JP4183443B2 - データ再配置方法及び装置 - Google Patents

データ再配置方法及び装置 Download PDF

Info

Publication number
JP4183443B2
JP4183443B2 JP2002151836A JP2002151836A JP4183443B2 JP 4183443 B2 JP4183443 B2 JP 4183443B2 JP 2002151836 A JP2002151836 A JP 2002151836A JP 2002151836 A JP2002151836 A JP 2002151836A JP 4183443 B2 JP4183443 B2 JP 4183443B2
Authority
JP
Japan
Prior art keywords
relocation
storage
data
storage subsystem
address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002151836A
Other languages
English (en)
Other versions
JP2003345522A (ja
Inventor
賢哲 江口
敬史 荒川
康友 山本
卓成 岩村
弘治 荒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2002151836A priority Critical patent/JP4183443B2/ja
Priority to US10/234,166 priority patent/US6895483B2/en
Publication of JP2003345522A publication Critical patent/JP2003345522A/ja
Priority to US11/052,072 priority patent/US7007147B2/en
Priority to US11/311,487 priority patent/US7162603B2/en
Priority to US11/649,767 priority patent/US7337292B2/en
Application granted granted Critical
Publication of JP4183443B2 publication Critical patent/JP4183443B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0605Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0631Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647Migration mechanisms
    • G06F3/0649Lifecycle management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653Monitoring storage devices or systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、複数のストレージサブシステムを有する計算機システムに係わり、特にストレージサブシステムから別のストレージサブシステムへデータの再配置を行う技術に関する。
【0002】
【従来の技術】
コンピュータシステムにおいて、高性能を実現する二次記憶システムの1つにディスクアレイシステムがある。ディスクアレイシステムは、複数の物理記憶装置をアレイ状に配置し、各物理記憶装置に分割格納されるデータのリード/ライトを並列に動作させることによって高性能なストレージを達成する。
【0003】
ディスクアレイシステムに関する論文としては、D.A.Patterson, G.Gibson, and R.H.Kats,”A Case forRedundant Arrays of Inexpensive Disks (ディスクアレイ)”(in Proc. ACM SIGMOD, pp.109−116, June 1988)がある。この論文は、冗長性を付加したディスクアレイシステムに対し、その構成に応じてレベル1からレベル5の種別を与えている。これらの種別に加えて冗長性無しのディスクアレイシステムをレベル0と呼ぶこともある。これら各レベルは冗長性の程度などによりコストや性能特性などが異なるため、ディスクアレイシステムを構築するにあたって複数のレベルのアレイ(物理記憶装置の組)を混在させることも多い。ここでは物理装置の組をパリティグループと呼ぶ。
【0004】
また単一の物理記憶装置についても性能や容量などによりコストが異なり、ディスクアレイシステムを構築するにあたって最適なコストパフォーマンスを実現するために、性能や容量の異なる複数種の物理記憶装置を用いることがある。
【0005】
ディスクアレイシステムに格納されるデータは、複数の物理記憶装置に分散して配置されるため、ディスクアレイシステムは、ディスクアレイシステムに接続するホストコンピュータがアクセスする論理記憶領域のアドレスと物理記憶装置の記憶領域のアドレスとを対応づける情報を保持する。
【0006】
特開2000−293317号公報は、ディスクアレイシステム内において、物理記憶領域間におけるデータの再配置を実行し、データの論理記憶領域に対する物理記憶領域への対応付けを、再配置前の物理記憶領域から再配置後の物理記憶領域に変更する技術を開示する。またディスクアレイシステムがホストコンピュータからの各論理記憶領域に対するアクセスによる負荷状況を管理し、その実績に応じて再配置後にデータが適正配置となるように再配置の内容を決定するという技術を開示する。
【0007】
また一般にコンピュータシステムで行われる処理は、ユーザのスケジュールに従って実行されているので、それに伴ってストレージサブシステムが受けるI/O要求も日、月、年などの中の特定の期間に上昇するような周期性を示す場合が多い。従って一般にユーザはストレージの利用率が上昇する特定期間のストレージの性能に関心があると考えられる。
【0008】
特開2001−67187号公報は、ストレージ内の記憶装置をその性能によってクラス分けをして管理し、ストレージは記憶装置の使用状況情報を蓄積し、設定された期間の使用状況情報に基づいて論理記憶領域の利用率を予測し、設定された時間にプログラムによって論理記憶領域の最適配置を実行する技術を開示する。
【0009】
ホストコンピュータおよびディスクアレイシステム等のストレージサブシステム間におけるデータ転送の技術としては、M.T.O’Keefe,”Shared File System and Fiber Channel”(inProc. Sixeth Goddard Conference on Mass Storage Systems and Technologies, pp.1−16. March 1998)に開示された技術がある。この技術は、高速のネットワークであるファイバ・チャネル(以下「FC」と称する)によって複数のホストコンピュータと複数のストレージサブシステムとを接続し、FC経由でデータ共有を実現するストレージ環境、いわゆるStorage Area Network(SAN)を実現するための技術である。このように、FC経由でデータ転送を行うことにより、一般的なネットワーク経由に比べてホストコンピュータおよびネットワークの負荷が削減される。
【0010】
高速なFCを使用しない一般的なネットワークに接続されたストレージサブシステムに保持されているファイル等のデータを複数のコンピュータで共有する技術としては、NFS(Network File System)が広く知られている。NFSを用いてネットワーク間でデータ共有を行う場合には、FCを使用する場合に比べてファイルを共有しているコンピュータや、コンピュータとストレージサブシステムをつなぐネットワークに対する負荷が大きくなる。しかしNFSを用いると、既存のネットワークを使用できることから、新たにFCのネットワークを敷設することと比較すると、新規設備コストを抑えられ、またファイル共有等の管理が容易である等の利点がある。
【0011】
更に”Building Storage Networks”(MARC FARLEY著、Osborne Publishing、ISBN:0−07−213072−5)のChapter10(P.302−P.340)やEvaluator Group Inc.(www.evaluatorgroup.com)の”The Evaluator Series Virtualization of Disk Storage”(WP−0007−1、September 2000)には、ストレージデバイスの仮想化とプール化の技術が開示されている。
【0012】
この技術は、複数のストレージサブシステムが提供するストレージの全体を1つにまとめ、ホストコンピュータには仮想的な1つのストレージ・プールとして見せる仮想化技術である。仮想化装置は、このストレージ・プールの中からホストコンピュータが必要とする記憶領域を仮想ストレージとしてホストコンピュータに提供する。このために仮想化装置は、ホストコンピュータが認識する仮想ストレージのアドレスをストレージサブシステムが認識するストレージのアドレスに変換するアドレス変換機能を備えている。
【0013】
【発明が解決しようとする課題】
特開2000−293317号公報に開示された技術によれば、1つのストレージサブシステム内での論理ボリュームの再配置が可能である。しかし複数のストレージサブシステムを有する計算機システムにおいて、異なるストレージサブシステム間でデータの再配置を行うことができない。
【0014】
データの再配置を行うには、ストレージサブシステム内のボリュームの性能情報、利用率の履歴、構成情報などが必要であるが、その量は膨大なものとなる。従ってストレージサブシステムの外部、例えばホストコンピュータが各ストレージサブシステムからこれらの情報を収集してデータの適正な再配置計画を作成することは困難である。
【0015】
同様に”Building Storage Networks”(MARCFARLEY著、Osborne Publishing、ISBN:0−07−213072−5)のChapter10(P.302−P.340)やEvaluator Group Inc.(www.evaluatorgroup.com)の”The Evaluator Series Virtualization of Disk Storage”(WP−0007−1、September 2000)に記載のストレージ仮想化技術を使えば、仮想化装置が複数のストレージサブシステムの構成情報などを管理することができ、個々のホストコンピュータがSAN上のストレージサブシステムを管理する必要がない。しかしストレージサブシステム間のデータ再配置を行うために、仮想化装置が各ストレージサブシステムの性能情報や利用率履歴を収集して管理し、適切な再配置計画を作成することはやはり困難である。
【0016】
本発明の目的は、異なるストレージサブシステム間でデータの再配置をホストコンピュータに対して透過的に実現することにある。
【0017】
【課題を解決する手段】
本発明は、ホストコンピュータと、複数のストレージサブシステムと、ストレージサブシステム間のデータ再配置を管理するデータ再配置管理手段とを有する計算機システムのデータ再配置技術であって、再配置元のストレージサブシステムによって当該ストレージサブシステム内の性能情報及び利用情報を保持し、これら性能情報及び利用情報に基づいて当該ストレージサブシステム内で記憶装置から別の記憶装置へのデータ再配置が可能か否か判定し、当該ストレージサブシステム内でのデータ再配置が不可の場合にデータ再配置管理手段に通知し、データ再配置管理手段の介入を経て再配置先のストレージサブシステムによって当該ストレージサブシステム内の記憶装置へデータ再配置が可能か否か判定し、再配置先のストレージサブシステムへのデータ再配置が可能な場合に、データ再配置管理手段の介入を経て再配置元のストレージサブシステムから再配置先のストレージサブシステムへのデータのコピーを行うデータ再配置技術を特徴とする。
【0018】
【発明の実施形態】
以下、本発明の実施形態について図面を参照しながら説明する。なおこれにより本発明が限定されるものではない。
【0019】
図1は、本実施形態の計算機システムの構成図である。本システムは、ホストコンピュータ130、クライアントコンピュータ110、ストレージサブシステム170、仮想化装置120、ストレージ管理端末160、装置間を接続するI/Oネットワーク140および装置間を接続するネットワーク150から構成される。
【0020】
ホストコンピュータ130は、オペレーティングシステム(OS)131、ファイルシステム(FS)135、ボリュームマネージャ132およびアプリケーションプログラム(AP)133を搭載し、その処理装置によって実行する。ボリュームマネージャ132は、当該ホストコンピュータ130が扱うボリュームを管理するプログラムである。ホストコンピュータ130は、ローカルディスクなどの記憶装置137を有する。またホストコンピュータ130は、I/Oネットワーク140と接続するためのI/Oインタフェース(I/F)134およびネットワーク150と接続するためのネットワークI/F136を有する。クライアントコンピュータ110もホストコンピュータ130と同様の構成であるが、本例ではサーバとなるホストコンピュータ130にアクセスするコンピュータとして位置付けている。
【0021】
ストレージサブシステム170は、ディスク・ドライブなどの物理記憶装置を有し、上位装置から発行されるリード/ライトなどのI/O要求に応答して要求されたデータを上位装置に送り、あるいは要求されたデータを物理記憶装置に書き込む。すなわちストレージサブシステム170は、ホストコンピュータ130にストレージを提供する。さらにストレージサブシステム170は、記憶装置の性能情報を保持し、また記憶装置の利用情報の履歴を保持し、利用率の高い記憶装置上の論理ボリュームを同一ストレージサブシステム170内または他のストレージサブシステム170の記憶装置上に再配置する。
【0022】
仮想化装置120は、複数のストレージサブシステム170が提供するストレージの全体をストレージ・プールとして管理し、ホストコンピュータ130に対してこのストレージ・プールを仮想化したストレージとして見せる。ボリューム管理情報126は、ホストコンピュータ130から見えるストレージのアドレスとストレージサブシステム170側のアドレスとの間のマッピング情報を格納するアドレス変換テーブルである。また仮想化装置120は、論理ボリュームをストレージサブシステム170から他のストレージサブシステム170に再配置する場合に、両ストレージサブシステム170の間に介入し、再配置処理を支援する。仮想化装置120は、ストレージ仮想化部123及びマネージャ122を搭載し、そのCPU(処理装置)によって実行する。ストレージ仮想化部123内のボリューム管理部125は、ボリューム管理情報126に設定されたアドレスや空き領域の保守管理を行う。ストレージ仮想化部123は、ボリューム管理情報126を参照しホストコンピュータ130にストレージ仮想化機能を提供する。またマネージャ122は、データ再配置管理手段として機能し、ストレージサブシステム170間に亘る再配置処理を支援するプログラムである。仮想化装置120は、ローカルディスクなどの記憶装置127を有する。また仮想化装置120は、I/Oネットワーク140と接続するためのI/OI/F121およびネットワーク150と接続するためのネットワークI/F124を有する。仮想化装置120は、CPUとメモリを有する計算機であり、マネージャ122及びストレージ仮想化部123の処理部の部分をメモリに格納し、CPUによって実行する。通常マネージャ122及びストレージ仮想化部123はプログラムとして実行されるが、それ以外の手段によって実行されてもよい。
【0023】
ストレージ管理端末160は、ストレージサブシステム170の保守・管理などを行うために使用されるが、本発明と直接関係しないので、詳細説明をしない。
【0024】
I/Oネットワーク140は、ストレージサブシステム170と上位装置との間にI/Oコマンド、リード/ライトデータなどを転送するための伝送路であり、LAN、FDDI、ファイバチャネル、SCSI、iSCSI、Infinibandなどによって実現される。ネットワーク150は、主としてストレージサブシステム170に関するI/O以外の制御指令などを転送するための伝送路である。
【0025】
ホストコンピュータ130が仮想化装置120の仮想化機能を利用するための2つの方式がある。1つはホストコンピュータ130が仮想化装置120のもつアドレス変換機能を利用する方式である。すなわちホストコンピュータ130がホスト側で認識する論理的な記憶装置のアドレスを仮想化装置120へ送ってストレージサブシステム170側で認識可能な論理記憶装置のアドレスを取得し、ホストコンピュータ130が後者のアドレスを用いて直接ストレージサブシステム170へI/O要求を発行する。もう1つはホストコンピュータ130が前者のアドレスを用いて仮想化装置120へI/O要求を発行する方式である。この場合には、仮想化装置120のストレージ仮想化部123が前者のアドレスを後者のアドレスに変換し、ホストコンピュータ130に代わってストレージサブシステム170へI/O要求を発行する。従って仮想化装置120がストレージサブシステム170からI/O終了報告を受け取り、I/O要求元のホストコンピュータ130に中継する。以下主として2番目の方式を用いる場合について説明する。
【0026】
図2は、ストレージサブシステム170の内部構成を示す図である。ストレージサブシステム170は、大きくストレージ制御部190と物理記憶装置201から構成され、両者はローカルなインタフェースを介して接続されている。複数の物理記憶装置201の集合は、パリティ・グループ200を形成する。
【0027】
ストレージ制御部190の内部記憶装置上にLU/論理/物理対応情報173、論理領域使用状況情報176、物理領域使用状況情報177、論理記憶装置管理情報178、物理記憶装置管理情報179および記憶装置性能情報180を格納する。LU/論理/物理対応情報173は、上位装置で認識可能なロジカルユニツト(LU)についてのアドレス、ストレージサブシステム170が認識可能な論理ボリュームについてのアドレスおよび物理記憶装置のアドレス間のマッピング情報を格納する。
【0028】
ストレージ制御部190は、記憶装置管理部181、コピー制御部182、性能情報取得部174及び利用情報取得部175の各処理部を有する。記憶装置管理部181は、LU/論理/物理対応情報173に基づいて記憶装置の管理を行う。コピー制御部182は、ストレージサブシステム170内あるいはストレージサブシステム170間に亘って実行される記憶装置間のデータコピーを制御する。性能情報取得部174は、外部から入力された記憶装置の性能情報を記憶装置性能情報180に格納する。また利用情報取得部175は、物理記憶装置および論理記憶装置の使用状況を収集し、各々物理領域使用状況情報177及び論理領域使用状況情報176に格納する。ストレージ制御部190は、ネットワーク150と接続するためのネットワークI/F171およびI/Oネットワーク140と接続するためのI/OI/F172を有する。
【0029】
ストレージ制御部190は、さらにデータ再配置部183を有する。データ再配置部183は、その記憶領域に再配置判断情報185、再配置実行時刻情報186および再配置情報188を格納する。また再配置実行部184及び再配置情報作成部187の各処理部を有する。再配置情報作成部187は、再配置判断情報185、物理領域使用状況情報177及び論理領域使用状況情報176に基づいて論理ボリュームの再配置が必要か否かを判定する。再配置が必要な場合には、当該ストレージサブシステム170内部であるいは仮想化装置120の支援を受けて再配置計画を作成して再配置情報188に格納する。再配置実行部184は、再配置実行時刻に達したとき、当該ストレージサブシステム170内部であるいは仮想化装置120の支援を受けて他のストレージサブシステム170との間で再配置処理を実行する。
【0030】
図3は、LU/論理/物理対応情報173のデータ構成を示す図である。LU/論理/物理対応情報173は、論理アドレスと物理アドレスとの対応関係についての情報を格納するテーブルである。論理アドレスは、LU(ロジカルユニット)番号、LU内アドレス、論理ボリューム番号および論理ボリューム内アドレスから成る。LU番号およびLU内アドレスは、仮想化装置120又はホストコンピュータ130が認識するアドレスである。LU内アドレスは例えばブロック番号によって識別される。論理ボリューム番号および論理ボリューム内アドレスは、ストレージサブシステム170が認識する論理アドレスである。物理アドレスは、P.G.番号(パリティ・グループ番号)、データ部のディスク装置番号およびディスク装置内アドレス、パリティ部のディスク装置番号およびディスク装置内アドレスから成る。ディスク装置内アドレスは、例えば物理的なブロック番号によって識別される。ストレージ制御部190は、外部からLU番号およびLU内アドレスを指定してリード/ライト要求を受けたとき、LU/論理/物理対応情報173を参照して指定された論理アドレスを物理アドレスに変換した後に物理記憶装置201にアクセスする。
【0031】
図4は、論理領域使用状況情報176のデータ構成を示す図である。論理領域使用状況情報176は、各論理ボリュームごと、I/O種別ごとにその論理ボリュームの占有時間を集計したテーブルである。占有時間は、物理記憶装置201に対するリード/ライト経過時間を示している。シーケンシャル/ランダムの区別は、上位からのコマンドの種別、指定されるデータのサイズ、あるいは連続する複数のリード/ライト要求によって指定されるアドレスの連続性などにより区別される。ライト・パリティは、パリティ部の書き込み時間を示す。占有時間は単位時間あたりの占有時間を示すので、これから容易に各論理ボリュームごとの利用率または論理ボリュームごと、I/O種別ごとの利用率を取得できる。論理領域使用状況情報176は、一定時間間隔ごとに時系列に保持される。特に日、週、月、年度、年の周期のうちで利用率が上昇する時間帯の論理領域使用状況情報176が重要である。利用情報取得部175は、このような論理ボリュームの使用状況に関するデータを収集し、論理領域使用状況情報176を作成する。
【0032】
図5は、論理記憶装置管理情報178のデータ構成を示す図である。論理記憶装置管理情報178は、各論理ボリュームごとにその論理ボリュームが所属するパリティ・グループ、サイズ(単位はMB、GBなど)、パス定義、状態およびボリューム性能を格納するテーブルである。パス定義は、上位からその論理ボリユームにアクセスするとき経由するI/Oポートの識別子である。状態としては、オンライン、オフライン、リザーブ、オンラインリザーブなどが区別される。オンラインはその論理ボリュームが上位装置から使用されている状態、オフラインは障害などにより使用できない状態、リザーブは予約された状態、オンラインリザーブは他のストレージサブシステム170からのデータ送信のために予約された状態である。ボリューム性能は、当該論理ボリュームあるいは所属するパリティ・グループの性能を表す指標である。
【0033】
図6は、物理領域使用状況情報177のデータ構成を示す図である。物理領域使用状況情報177は、各パリティ・グループごと、I/O種別ごとにそのパリティ・グループの占有時間を集計したテーブルである。占有時間の意味は論理領域使用状況情報176の占有時間と同じである。物理領域使用状況情報177は、一定時間間隔ごとに時系列に保持される。特に日、週、月、年度、年の周期のうちで利用率が上昇する時間帯の物理領域使用状況情報177が重要である。利用情報取得部175は、このようなパリティ・グループの使用状況に関するデータを収集し、物理領域使用状況情報177を作成する。
【0034】
図7は、物理記憶装置管理情報179のデータ構成を示す図である。物理記憶装置管理情報179は、各パリティ・グループについて、ボリューム性能、RAIDレベル、構成、シーケンシャル・ボリュームおよびHDD IDを設定する。ボリューム性能は、論理記憶装置管理情報178のボリューム性能と同じである。RAIDレベルおよび構成は、そのパリティ・グループのRAIDレベルとデイスク・ドライブの構成である。シーケンシャル・ボリュームは、そのパリティ・グループをシーケンシャル・アクセス用として定義するか否かを示す。HDD IDは、構成されるディスク・ドライブのタイプを示す識別子である。
【0035】
図8は、記憶装置性能情報180のデータ構成を示す図である。記憶装置性能情報180は、各物理ドライブの性能を示すテーブルである。インタフェース転送速度は、ストレージ制御部190と物理記憶装置201間のインタフェースのデータ転送速度である。コマンドオーバヘッドは、物理記憶装置201がストレージ制御部190から受けたコマンドを処理する時間である。
【0036】
記憶装置性能情報180に設定される物理ドライブの性能から各パリティ・グループの性能が決まり、ボリューム性能を設定可能である。1つのパリティ・グループ上にただ1つの論理ボリュームが設定されている場合には、論理ボリュームの性能はパリティ・グループの性能に等しい。しかし1つのパリティ・グループ上に複数の論理ボリュームが設定されている場合には、論理ボリューム間でアクセスの競合が生じ、そのパリティ・グループの利用率が上昇する可能性がある。そこで物理領域使用状況情報177を参照して利用率の高いパリティ・グループを抽出し、論理記憶装置管理情報178を参照してそのパリティ・グループ上に設定されている論理ボリュームを取得し、論理領域使用状況情報176を参照すると、そのパリティ・グループ上に設定されている各論理ボリュームの利用率の内訳が取得できる。このようにして得られた利用率の高い論理ボリュームが再配置の候補となる。
【0037】
図9は、ボリューム管理情報126のうちホストコンピュータ130に割り当てられたボリュームの全体を管理するボリューム管理情報126−1のデータ構成を示す図である。ボリューム管理情報126−1は、ホスト側アドレスとストレージサブシステム側アドレスとの対応関係についての情報を格納するテーブルである。ホスト側アドレスは、ボリューム番号とボリューム内アドレスから構成される。ストレージ側アドレスは、ストレージ装置番号、ポートアドレス、LU番号、LU内アドレス、状態およびエミュレーションタイプの各データ項目から構成される。ストレージ装置番号は、ストレージサブシステム170の識別子である。ポートアドレスは、I/Oネットワーク140においてストレージサブシステム170側のポートアドレスである。状態は、オンライン、オフライン、リザーブ、オンラインリザーブなどのうちの1つの状態である。エミュレーションタイプは、ホストコンピュータ130から見えるディスクのデータ形式をストレージサブシステム170でエミュレーションする場合のエミュレーションのタイプである。
【0038】
本テーブルは、ホストコンピュータ130が認識するストレージのアドレス(ホスト側アドレス)からストレージサブシステム170が提供するストレージのアドレス(ストレージ側アドレス)へのアドレス変換のためのテーブルである。ホスト側アドレスは、ホストがストレージ装置を認識してストレージ装置内の特定のデータにアクセスするために指定するアドレスであり、ここではボリューム番号とボリューム内アドレスから構成される。これはホストが例えばファイバチャネルでストレージに接続しているのであれば、ボリューム番号がWWNとLUNであり、ボリューム内アドレスが当該ボリューム番号に対応するボリューム内アドレスと置き換えられる。ホストがiSCSIでストレージと接続するのであれば、ボリューム番号がTCP/IPのIPアドレス、TCPのポート番号、iSCSI name、LUNであり、ボリューム内アドレスが当該ボリューム番号に対応するボリューム内アドレスと置き換えられる。ホストがメインフレームであれば、ボリューム番号はチャネルID、入出力装置番号とデバイス番号であり、ボリューム内アドレスが当該ボリューム番号に対応するボリューム内アドレスと置き換えられる。
【0039】
ストレージ側アドレスは、当該ストレージサブシステムに接続する計算機がストレージ装置およびその中のデータを特定しアクセスするために計算機に対して提供されるアドレスであり、ここではストレージ装置番号、ポートアドレス、LU番号、LU内アドレス、状態およびエミュレーションタイプの各項目から構成される。例えばストレージサブシステムに対してホストコンピュータがファイバチャネルでアクセスする場合は、ストレージ装置番号、ポートアドレスがWWN、LU番号がLUNに置き換えられる。iSCSIであれば、ストレージ装置番号、ポートアドレスが、IPアドレスとTCPポート番号、LU番号がiSCSI name、LUNと置き換えられる。メインフレームでは、ストレージ装置番号、ポートアドレス、LU番号がチャネルID、入出力装置番号、デバイス番号と置き換えられる。
【0040】
図10は、ボリューム管理情報126のうちホストコンピュータ130に割り当てられていないストレージの空き領域を管理するボリューム管理情報126−2のデータ構成を示す図である。仮想化装置120は、ボリューム管理情報126−1及びボリューム管理情報126−2に設定されるストレージ領域の全体をストレージ・プールとして管理する。
【0041】
図11は、再配置元のストレージサブシステム170に設定される再配置情報188−1のデータ構成を示す図である。再配置元を示す論理ボリューム番号904は、再配置元を論理ボリューム番号で設定する。再配置先905は、再配置先がストレージサブシステム170内か外かを区別するサブシステム内/外906と再配置先アドレスから構成される。再配置先アドレスは、ポートアドレス907と論理ボリューム番号908から成り、再配置先がサブシステム内の場合にはポートアドレス907として−1が設定される。状態909は再配置のためのデータコピー処理の処理状態910とコピー処理済みの場合のデータサイズ911を示す。実行時刻912は、再配置のためのコピー処理が実行される時刻である。
【0042】
図12は、再配置先のストレージサブシステム170に設定される再配置情報188−2のデータ構成を示す図である。再配置情報188−2は、再配置元としてサブシステム内/外902の区別と再配置元901のポートアドレス903、論理ボリューム番号904を設定する。そのデータ形式は再配置情報188−1の場合と同じである。また再配置先アドレスを示す論理ボリューム番号908は、再配置先を論理ボリューム番号で設定する。状態909および実行時刻912の形式は再配置情報188−1の場合と同じである。
【0043】
図13は、仮想化装置120に設定される再配置情報188−3のデータ構成を示す図である。再配置情報188−3は、再配置元901のアドレスと再配置先905のアドレスとの対応、状態909及び実行時刻912を格納する。再配置元901及び再配置先905は、各ポートアドレス903,907と論理ボリューム番号904,908から成り、その形式は再配置情報188−1の場合と同じである。また状態909および実行時刻912の形式は再配置情報188−1の場合と同じである。
【0044】
データ再配置部183に格納される再配置判断情報185は、データの再配置を行うか否か判断するための対象とする時間帯を設定する。その時間帯は、上記のように日、週、月、年度、年などの周期のうちストレージ利用率が上昇すると予想される時間帯である。再配置実行時刻情報186は、再配置のためのコピー処理を実行開始する時刻を設定する。その時刻は、ストレージ利用率が低下すると予想される時刻である。
【0045】
図14は、再配置情報作成部187の処理手順を示すフローチャートである。再配置情報作成部187は、再配置判断情報185を参照し、再配置対象期間を取得する(ステップ301)。次にこの対象期間について利用率の高い論理ボリュームを再配置対象のボリュームとして選択する(ステップ302)。対象期間の物理領域使用状況情報177を参照し、利用率があらかじめ設定された利用率上限を越えているパリティ・グループを1つ抽出する。次に対象期間の論理領域使用状況情報176を参照し、抽出されたパリティ・グループ上に設定された利用率最大の論理ボリュームを再配置対象のボリュームとして選択する。利用率上限を越えているパリティ・グループがなければ処理を終了する。次に当該サブシステム内での再配置計画を作成する(ステップ303)。再配置計画は、選択された論理ボリューム内データを別のパリティ・グループ上の使用されていない論理ボリュームへ移動する計画である。このときの条件は、移動先の論理ボリュームのボリューム性能が低下しないこと、この移動によって移動先のパリティ・グループの利用率が利用率上限を越えないと予測されることなどである。移動先の論理ボリュームのボリューム性能は、LU/論理/物理対応情報173及び論理記憶装置管理情報178を参照することによって判明する。移動先のパリティ・グループの予想利用率は、当該対象期間、移動先パリティ・グループの物理領域使用状況情報177に基づいて予測可能である。
【0046】
次に再配置情報作成部187は、当該サブシステム内で再配置可能か否か判定する(ステップ304)。対象とする論理ボリュームの現在のボリューム性能以上である空き領域(空き論理ボリューム)があり、かつ移動によって移動先のパリティ・グループの利用率上限を越えないと予測される場合に再配置可能である。再配置可能であれば、作成した再配置計画に基づいて再配置情報を作成し、再配置情報188−1に登録する(ステップ305)。その処理状態910を処理待ち(0)とし、再配置実行時刻情報186をその実行時刻912に設定する。再配置不可であれば、その旨を仮想化装置120に通知し(ステップ306)、仮想化装置120に再配置に必要な情報を送信する(ステップ307)。必要な情報とは、論理ボリューム番号、対応するLU番号とLU内アドレス範囲、対象期間、論理ボリュームの利用率履歴、そのボリューム性能、データサイズ、エミュレーションタイプ、RAIDレベル、実行時刻などである。
【0047】
図15は、仮想化装置120のマネージャ122の処理手順を示すフローチャートである。マネージャ122は、サブシステム内では再配置不可のストレージサブシステム170から再配置不可の通知と再配置対象ボリュームの再配置に必要な情報を受信する(ステップ401)。次にマネージャ122は、ボリューム管理情報126−2を参照して空き領域のある他のストレージサブシステム170へ再配置に必要な情報を送信し、再配置可能性を問い合わせる(ステップ402)。問合せは、ネットワーク150又はI/Oネットワーク140経由で行う。
【0048】
なおマネージャ122は、ボリューム管理情報126−2を参照して空き領域のある他のストレージサブシステム170を探索するとき、空き領域の他に他のストレージサブシステム170の保持する論理ボリュームについての簡略な性能情報を考慮してもよい。例えばストレージ仮想化部123は、ボリューム管理情報126とともに、ストレージサブシステム170内のポートアドレス、LU番号と対応して各論理ボリュームの平均利用率と最大利用率を性能情報として保持する。マネージャ122は、空き領域に加えて平均利用率、最大利用率の低い論理ボリュームを有するストレージサブシステム170を再配置候補として選択する。
【0049】
次に問合せ先から再配置可能か否かの結果と再配置関係情報を受信する(ステップ403)。再配置可能な場合には、候補となる論理ボリュームの番号など再配置に必要な情報を受信する。問合せ結果からいずれかの再配置先があるか否かを判定する(ステップ404)。再配置先があれば、1つ又は複数の再配置先のストレージサブシステム170の中から1つの再配置先を決定する(ステップ405)。次に決定した再配置先に再配置先決定と再配置元アドレスを通知し、他の再配置先候補に再配置先でないことを通知する(ステップ406)。次に決定した再配置先の対象となる論理ボリュームをリザーブする(ステップ407)。次に再配置元のストレージサブシステム170に再配置可能であることと再配置先アドレスを通知する(ステップ408)。再配置先アドレスは、ポートアドレスと論理ボリューム番号とから成る。次に再配置情報を作成し、再配置情報188−3に登録する(ステップ409)。その処理状態910を処理待ち(0)とし、決定した実行時刻を実行時刻912に設定する。
【0050】
再配置先がなければ、マネージャ122は、仮想化装置120の表示装置又はストレージ管理端末160の表示装置を介して管理者に再配置不可のストレージサブシステム170が生じたことを通知する(ステップ410)。すなわちストレージ・プール中で再配置不可のストレージサブシステム170について性能上の問題が残されたことになる。次に再配置元のストレージサブシステム170に再配置不可を通知する(ステップ411)。
【0051】
図16は、再配置先候補となるときの再配置情報作成部187の処理手順を示すフローチャートである。再配置情報作成部187は、仮想化装置120から再配置先についての問合せと再配置必要情報を受信する(ステップ311)。次に受信した対象期間を再配置判断情報185に設定する(ステップ312)。次にステップ303と同様の処理によって再配置計画を作成する(ステップ313)。
【0052】
次にステップ304と同じ判断基準によって再配置可能か否か判定する(ステップ314)。再配置可能であれば、再配置可能であることと再配置関係情報を仮想化装置120へ送信する(ステップ315)。次に仮想化装置120から当該ストレージサブシステム170が再配置先に決定したか否か応答を受信する(ステップ316)。再配置先に決定した場合には再配置元アドレスも受信する。当該ストレージサブシステム170が再配置先であれば(ステップ317YES)、作成した再配置計画に基づいて再配置情報を作成し、再配置情報188−2に登録する(ステップ318)。その処理状態910を処理待ち(0)とし、受信した実行時刻を実行時刻912に設定する。再配置不可であれば、仮想化装置120へ再配置不可を通知する(ステップ320)。
【0053】
図17は、再配置元の再配置情報作成部187の処理手順を示すフローチャートである。この処理手順は、図14のステップ307の処理に続くものである。再配置情報作成部187は、仮想化装置120から再配置可/不可の通知を受信する(ステップ331)。再配置可能である場合には再配置先アドレスと実行時刻を伴っている。次に受信したメッセージから他のストレージサブシステム170に再配置可能か否か判定する(ステップ332)。再配置可能であれば、受信したメッセージから再配置先アドレスを取得し(ステップ333)、再配置情報を作成して再配置情報188−1に登録する(ステップ334)。その処理状態910を処理待ち(0)とし、受信した実行時刻を実行時刻912に設定する。再配置不可であれば、再配置情報作成部187は、仮想化装置120又はストレージ管理端末160の管理者向けに再配置不可を通知する(ステップ335)。
【0054】
図18は、ストレージサブシステム間で再配置するときのマネージャ122及びボリューム管理部125の処理手順を示すフローチャートである。マネージャ122は、再配置情報188−3の実行時刻912を監視する。設定した時刻に達したとき、再配置元901および再配置先905へコピー準備指示を発行する(ステップ421)。再配置元および再配置先の両方からコピー処理準備完了を受信したとき(ステップ422)、再配置元のストレージサブシステム170へコピー開始指示を発行する(ステップ423)。この開始指示は再配置元アドレスとして論理ボリューム番号904を伴う。このとき再配置情報188−3の当該再配置案件の処理状態910を処理中状態に変更する。次に再配置元からコピー処理の終了通知を受信する(ステップ424)。このとき再配置情報188−3の当該再配置案件の処理状態910を終了状態に変更する。
【0055】
次にホストコンピュータ130から受信した再配置元ボリュームに対するライト要求を保留とし、記憶装置127上に保持する(ステップ425)。再配置元ボリュームに対するリード要求については、保留してもよいし、そのまま再配置元ストレージサブシステム170へ送信してもよい。次にコピー処理の終了報告前に再配置元へ送信したI/O処理の応答をすべて受信したとき(ステップ426)、ボリューム管理部125は、ボリューム管理情報126−1及びボリューム管理情報126−2を更新する(ステップ427)。すなわちボリューム管理情報126−1について、再配置元の論理ボリュームに対応するLU番号とLU内アドレス範囲を再配置先の論理ボリュームに対応するLU番号とLU内アドレス範囲に変更する。またボリューム管理情報126−2について、再配置先の論理ボリュームに対応するLU番号とLU内アドレス範囲を除外するよう更新し、再配置元の論理ボリュームに対応するLU番号とLU内アドレス範囲を追加するように更新する。次に再配置元および再配置先のストレージサブシステム170へコピー状態の解除指示を発行する(ステップ428)。これに伴って更新されたボリューム管理情報126−1に基づいてステップ425で保留されたライト要求をしかるべきストレージサブシステム170へ送信する。
【0056】
図19は、再配置元の再配置実行部184及びコピー制御部182の処理手順を示すフローチャートである。再配置実行部184は、仮想化装置120からコピー準備指示を受信する(ステップ341)。コピー処理準備が完了したとき仮想化装置120へ準備完了を応答する(ステップ342)。仮想化装置120からコピー指示を受信したとき(ステップ343)、再配置情報188−1の当該再配置案件の処理状態910を処理中状態に変更する。再配置元アドレスと再配置先アドレスを設定し、コピー制御部182を起動する(ステップ344)。再配置元アドレスは、コピー元ボリュームの先頭アドレスと終了アドレスを含む。また再配置先アドレスは、再配置先ストレージサブシステム170のポートアドレス907と論理ボリューム番号908を含む。
【0057】
コピー制御部182は、コピー処理を開始し(ステップ345)、指定されたコピー元の先頭アドレスのデータから順次コピー先アドレスを指定してコピー処理を行う(ステップ346)。コピー制御部182は、コピー終了か否か判定し(ステップ347)、終了していなければステップ346に戻ってコピー処理を継続する。再配置先のストレージサブシステム170は、この再配置のためのデータを受信し、再配置情報188−2に設定された論理ボリューム番号908の論理ボリュームに格納する。コピー処理が終了したとき(ステップ348)、再配置実行部184は、再配置情報188−1の当該再配置案件の処理状態910を処理終了待ちとし、仮想化装置120にコピー処理の終了を通知する(ステップ349)。この終了通知は再配置元の論理ボリューム番号904を伴う。次に仮想化装置120からコピー状態の解除指示を受信し(ステップ350)、再配置情報188−1の当該再配置案件の処理状態910を終了状態とする。ストレージサブシステム170内での再配置処理は、再配置実行部184が再配置情報188−1の実行時刻912を監視し、実行時刻に達した再配置案件についてコピー制御部182を起動してストレージサブシステム170内で配置元901から配置先905へのデータのコピーを行うだけである。
【0058】
図20は、コピー処理中を含むコピー元のストレージ制御部190の処理手順を示すフローチャートである。ストレージ制御部190は、ホストコンピュータ130又は仮想化装置120からI/O要求を受信すると(ステップ361)、再配置情報188−1及びLU/論理/物理対応情報173を参照してコピー中の論理ボリュームへのI/O要求か否かを判定する(ステップ362)。コピー中の論理ボリュームへのI/O要求であれば、ライト要求でなければ(ステップ363NO)、要求されたI/O処理を行い(ステップ364)、要求元のホストコンピュータ130又は仮想化装置120へI/O処理の終了報告を行う(ステップ365)。コピー中の論理ボリュームへのI/O要求でなければ(ステップ362NO)、ステップ364のI/O処理を行う。
【0059】
コピー中のボリュームへのI/O要求でありかつライト要求であれば(ステップ363YES)、コピー終了領域へのライト要求か否か判定する(ステップ366)。コピー終了領域へのライト要求でなければ、ステップ364へ行く。コピー終了領域へのライト要求であれば、ライトI/O処理によって変更されたデータを再配置先にコピーする(ステップ367)。再配置先へはデータとともにブロック番号などデータのアドレスが通知される。再配置先からこのデータのコピー終了の通知を受信すると(ステップ368)、I/O要求元のホストコンピュータ又は仮想化装置120へI/O処理終了を報告する(ステップ365)。
【0060】
【発明の効果】
本発明によれば、ストレージサブシステム内で収集された利用率履歴などの膨大な情報を外部で取り扱うことなく、ストレージサブシステム内およびストレージサブシステム間のデータ再配置を行うことができる。
【図面の簡単な説明】
【図1】実施形態の計算機システムの構成図である。
【図2】実施形態のストレージサブシステム170の内部構成を示す図である。
【図3】実施形態のLU/論理/物理対応情報173のデータ構成を示す図である。
【図4】実施形態の論理領域使用状況情報176のデータ構成を示す図である。
【図5】実施形態の論理記憶装置管理情報178のデータ構成を示す図である。
【図6】実施形態の物理領域使用状況情報177のデータ構成を示す図である。
【図7】実施形態の物理記憶装置管理情報179のデータ構成を示す図である。
【図8】実施形態の記憶装置性能情報180のデータ構成を示す図である。
【図9】実施形態のボリューム管理情報126−1のデータ構成を示す図である。
【図10】実施形態のボリューム管理情報126−2のデータ構成を示す図である。
【図11】実施形態の再配置情報188−1のデータ構成を示す図である。
【図12】実施形態の再配置情報188−2のデータ構成を示す図である。
【図13】実施形態の再配置情報188−3のデータ構成を示す図である。
【図14】実施形態の再配置元の再配置情報作成部187の処理手順を示すフローチャートである。
【図15】実施形態のマネージャ122の処理手順を示すフローチャートである。
【図16】実施形態の再配置先候補となるときの再配置情報作成部187の処理手順を示すフローチャートである。
【図17】実施形態の再配置元の再配置情報作成部187の処理手順を示すフローチャートである。
【図18】実施形態のマネージャ122及びボリューム管理部125の処理手順を示すフローチャートである。
【図19】実施形態の再配置元の再配置実行部184及びコピー制御部182の処理手順を示すフローチャートである。
【図20】実施形態のコピー元のストレージ制御部190の処理手順を示すフローチャートである。
【符号の説明】
120:仮想化装置、122:マネージャ、123:ストレージ仮想化部、125:ボリューム管理部、126:ボリューム管理情報、130:ホストコンピュータ、170:ストレージサブシステム、183:データ再配置部

Claims (8)

  1. 複数のストレージサブシステムと、前記ストレージサブシステム間のデータ再配置を管理するデータ再配置管理手段とを有する計算機システムのデータ再配置方法であって、
    再配置元の前記ストレージサブシステムは、前記ストレージサブシステム内の性能情報及び利用情報を保持し、前記性能情報及び利用情報に基づいて前記ストレージサブシステム内の記憶装置から当該ストレージサブシステム内の別の記憶装置へのデータ再配置が可能か否か判定し、当該ストレージサブシステム内でのデータ再配置が不可の場合に前記データ再配置管理手段に通知し、
    再配置先の前記ストレージサブシステムは、当該ストレージサブシステム内の性能情報及び利用情報を保持し、前記データ再配置管理手段からの問合せに応答し、再配置先の前記ストレージサブシステムによって当該性能情報及び利用情報に基づいて当該ストレージサブシステム内の記憶装置へデータ再配置が可能か否か判定し、
    前記再配置先のストレージサブシステムへのデータ再配置が可能な場合に、前記データ再配置管理手段は、前記再配置元のストレージサブシステムから前記再配置先のストレージサブシステムへのデータのコピーを行うために前記再配置元のストレージサブシステムにコピーの開始を指示することを特徴とするデータ再配置方法。
  2. 前記ストレージサブシステムは、前記データ再配置の実行時刻を記憶装置上に設定し、前記実行時刻に達したことを検出した前記データ再配置管理手段によって前記再配置先のストレージサブシステムに対してデータ再配置処理を起動することを特徴とする請求項1記載のデータ再配置方法。
  3. ホストコンピュータと、複数のストレージサブシステムと、複数の前記ストレージサブシステムが提供するストレージの全体を前記ホストコンピュータに対してストレージ・プールとして見せるストレージ仮想化手段とを有する計算機システムのデータ再配置方法であって、
    前記ストレージ仮想化手段は、前記ホストコンピュータが認識する記憶装置のアドレスを前記ストレージサブシステムが認識する記憶装置のアドレスへ変換するためのアドレス変換テーブルを参照して前記ホストコンピュータの要求するアドレスを前記ストレージサブシステムが認識するアドレスへ変換する手段を有し、さらに前記ストレージサブシステム間のデータ再配置を管理するデータ再配置管理手段を有し、
    再配置元の前記ストレージサブシステムは、当該ストレージサブシステム内の性能情報及び利用情報を保持し、前記性能情報及び利用情報に基づいて当該ストレージサブシステム内の記憶装置から当該ストレージサブシステム内の別の記憶装置へのデータ再配置が可能か否か判定し、当該ストレージサブシステム内でのデータ再配置が不可の場合に前記データ再配置管理手段に通知し、
    再配置先の前記ストレージサブシステムは、当該ストレージサブシステム内の性能情報及び利用情報を保持し、前記データ再配置管理手段からの問合せに応答し、再配置先の前記ストレージサブシステムによって当該性能情報及び利用情報に基づいて当該ストレージサブシステム内の記憶装置へデータ再配置が可能か否か判定し、
    前記再配置先のストレージサブシステムへのデータ再配置が可能な場合に、前記データ再配置管理手段は、前記再配置元のストレージサブシステムから前記再配置先のストレージサブシステムへのデータのコピーを行うために前記再配置元のストレージサブシステムにコピーの開始を指示し、
    再配置のための前記コピーが終了したとき、前記ストレージ仮想化手段は、前記アドレス変換テーブルの前記ストレージサブシステムが認識する記憶装置のアドレスのうち再配置されるデータに対応する前記再配置元のアドレスを前記再配置先のアドレスに変更することを特徴とするデータ再配置方法。
  4. 前記ストレージサブシステムは、前記データ再配置の実行時刻を記憶装置上に設定し、前記実行時刻に達したことを検出した前記データ再配置管理手段によって前記再配置先のストレージサブシステムに対してデータ再配置処理を起動することを特徴とする請求項3記載のデータ再配置方法。
  5. 前記ストレージ仮想化手段、前記ホストコンピュータから受信したI/O要求に付属するデータアドレスをストレージサブシステムが認識するアドレスへ変換し、前記I/O要求を前記ストレージサブシステムへ送信し、さらに前記コピーが終了した後に前記アドレス変換テーブルを変更するまでの間、前記ホストコンピュータから受信したI/O要求を保留として保持することを特徴とする請求項3記載のデータ再配置方法。
  6. ホストコンピュータと、複数のストレージサブシステムと、前記ストレージサブシステム間のデータ再配置を管理するデータ再配置管理手段とを有する計算機システムの中でデータ再配置元となるストレージサブシステムであって、
    性能情報及び利用情報を保持する手段と、
    前記性能情報及び利用情報に基づいて当該ストレージサブシステム内の記憶装置から当該ストレージサブシステム内の別の記憶装置へのデータ再配置が可能か否か判定する手段と、
    当該ストレージサブシステム内でのデータ再配置が不可の場合に、前記データ再配置管理手段に通知する手段と、
    前記データ再配置管理手段から再配置先の他のストレージサブシステムのアドレスを受信する手段と、
    再配置のためのデータを前記再配置先の前記他のストレージサブシステムへ向けて送信する再配置実行手段と、を有することを特徴とするストレージサブシステム。
  7. 前記再配置実行手段は、前記データ再配置管理手段からの指令を受けたとき再配置のためのデータ送信を開始することを特徴とする請求項6記載のストレージサブシステム。
  8. ホストコンピュータと、複数のストレージサブシステムと、前記ストレージサブシステム間のデータ再配置を管理するデータ再配置管理手段とを有する計算機システムの中でデータ再配置先となるストレージサブシステムであって、
    前記データ再配置管理手段から再配置先についての問合せと、再配置元のストレージサブシステム内の再配置元記憶装置に関する性能情報及び利用情報を受信する手段と、
    前記再配置元記憶装置に関する性能情報及び利用情報と当該ストレージサブシステム内の性能情報及び利用情報に基づいて当該ストレージサブシステム内の記憶装置へのデータ再配置が可能か否か判定する手段と、
    データ再配置が可能な場合に再配置可能であることを前記データ再配置管理手段に通知する手段と、
    再配置元のストレージサブシステムから再配置のためのデータを受信する手段と、を有することを特徴とするストレージサブシステム。
JP2002151836A 2002-05-27 2002-05-27 データ再配置方法及び装置 Expired - Fee Related JP4183443B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2002151836A JP4183443B2 (ja) 2002-05-27 2002-05-27 データ再配置方法及び装置
US10/234,166 US6895483B2 (en) 2002-05-27 2002-09-05 Method and apparatus for data relocation between storage subsystems
US11/052,072 US7007147B2 (en) 2002-05-27 2005-02-08 Method and apparatus for data relocation between storage subsystems
US11/311,487 US7162603B2 (en) 2002-05-27 2005-12-20 Method and apparatus for data relocation between storage subsystems
US11/649,767 US7337292B2 (en) 2002-05-27 2007-01-05 Method and apparatus for data relocation between storage subsystems

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002151836A JP4183443B2 (ja) 2002-05-27 2002-05-27 データ再配置方法及び装置

Publications (2)

Publication Number Publication Date
JP2003345522A JP2003345522A (ja) 2003-12-05
JP4183443B2 true JP4183443B2 (ja) 2008-11-19

Family

ID=29545387

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002151836A Expired - Fee Related JP4183443B2 (ja) 2002-05-27 2002-05-27 データ再配置方法及び装置

Country Status (2)

Country Link
US (4) US6895483B2 (ja)
JP (1) JP4183443B2 (ja)

Families Citing this family (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4026703B2 (ja) * 2001-11-28 2007-12-26 株式会社日立製作所 記憶装置の運用管理システムおよび運用管理方法
JP2003316522A (ja) * 2002-04-26 2003-11-07 Hitachi Ltd 計算機システムおよび計算機システムの制御方法
JP2004013215A (ja) * 2002-06-03 2004-01-15 Hitachi Ltd ストレージシステム、ストレージサブシステム、および、それらを含む情報処理システム
JP2004102374A (ja) * 2002-09-05 2004-04-02 Hitachi Ltd データ移行装置を有する情報処理システム
US20040078521A1 (en) * 2002-10-17 2004-04-22 International Business Machines Corporation Method, apparatus and computer program product for emulating an iSCSI device on a logical volume manager
US6986011B2 (en) * 2002-12-05 2006-01-10 International Business Machines Corporation High speed memory cloner within a data processing system
US6996693B2 (en) * 2002-12-05 2006-02-07 International Business Machines Corporation High speed memory cloning facility via a source/destination switching mechanism
US6986013B2 (en) * 2002-12-05 2006-01-10 International Business Machines Corporation Imprecise cache line protection mechanism during a memory clone operation
US7502917B2 (en) * 2002-12-05 2009-03-10 International Business Machines Corporation High speed memory cloning facility via a lockless multiprocessor mechanism
US6883083B1 (en) 2002-12-20 2005-04-19 Veritas Operating Corporation System and method for maintaining and accessing information regarding virtual storage devices
JP4283004B2 (ja) * 2003-02-04 2009-06-24 株式会社日立製作所 ディスク制御装置およびディスク制御装置の制御方法
JP4226350B2 (ja) 2003-02-17 2009-02-18 株式会社日立製作所 データ移行方法
JP2004302751A (ja) 2003-03-31 2004-10-28 Hitachi Ltd 計算機システムの性能管理方法、および、記憶装置の性能を管理する計算機システム
JP4285058B2 (ja) * 2003-04-21 2009-06-24 株式会社日立製作所 ネットワーク管理プログラム、管理計算機及び管理方法
US7302500B2 (en) * 2003-04-30 2007-11-27 Dynamic Network Factory, Inc. Apparatus and method for packet based storage virtualization
WO2004103011A1 (ja) * 2003-05-14 2004-11-25 Matsushita Electric Industrial Co., Ltd. リソース再配置方法、基地局及び無線網制御装置
US6973654B1 (en) * 2003-05-27 2005-12-06 Microsoft Corporation Systems and methods for the repartitioning of data
US20050015546A1 (en) * 2003-07-15 2005-01-20 Ofir Zohar Data storage system
JP4451118B2 (ja) * 2003-11-18 2010-04-14 株式会社日立製作所 情報処理システム、管理装置、論理デバイス選択方法及びプログラム
JP4320247B2 (ja) * 2003-12-24 2009-08-26 株式会社日立製作所 構成情報設定方法および装置
JP2005190106A (ja) * 2003-12-25 2005-07-14 Hitachi Ltd 論理ボリュームを管理する記憶制御サブシステム
JP2005196490A (ja) * 2004-01-07 2005-07-21 Hitachi Ltd データ多重化のためのシステム及び方法
US7639713B2 (en) * 2004-01-21 2009-12-29 Emc Corporation Database block network attached storage packet joining
JP2005234834A (ja) 2004-02-19 2005-09-02 Hitachi Ltd 論理ボリュームの再配置方法
JP4391265B2 (ja) 2004-02-26 2009-12-24 株式会社日立製作所 ストレージサブシステムおよび性能チューニング方法
JP2005276017A (ja) 2004-03-26 2005-10-06 Hitachi Ltd ストレージシステム
JP4455137B2 (ja) * 2004-04-20 2010-04-21 株式会社日立製作所 記憶サブシステム管理方法
JP4382602B2 (ja) * 2004-04-23 2009-12-16 株式会社日立製作所 リモートコピーシステム
US7304905B2 (en) * 2004-05-24 2007-12-04 Intel Corporation Throttling memory in response to an internal temperature of a memory device
JP2006048313A (ja) * 2004-08-04 2006-02-16 Hitachi Ltd 複数の管理者から管理されるストレージシステムの管理方法
US7523285B2 (en) * 2004-08-20 2009-04-21 Intel Corporation Thermal memory control
JP4182038B2 (ja) * 2004-08-26 2008-11-19 キヤノン株式会社 データ管理装置及び管理方法
US7395396B2 (en) 2004-08-30 2008-07-01 Hitachi, Ltd. Storage system and data relocation control device
US7096338B2 (en) 2004-08-30 2006-08-22 Hitachi, Ltd. Storage system and data relocation control device
JP4842909B2 (ja) * 2004-08-30 2011-12-21 株式会社日立製作所 ストレージシステム及びデータ再配置制御装置
JP2006072789A (ja) * 2004-09-03 2006-03-16 Hitachi Ltd ストレージシステム及びストレージシステムのデータ管理装置
JP4549787B2 (ja) * 2004-09-10 2010-09-22 株式会社日立製作所 ストレージ装置
US7062624B2 (en) * 2004-09-29 2006-06-13 Hitachi, Ltd. Method for managing volume groups considering storage tiers
JP4431022B2 (ja) * 2004-10-18 2010-03-10 株式会社日立製作所 コンピュータシステム及びその制御方法
US7523286B2 (en) * 2004-11-19 2009-04-21 Network Appliance, Inc. System and method for real-time balancing of user workload across multiple storage systems with shared back end storage
JP4643590B2 (ja) * 2004-11-29 2011-03-02 富士通株式会社 仮想ボリューム移築プログラム
US7321909B1 (en) * 2004-12-23 2008-01-22 Sun Microsystems, Inc. Method and apparatus for forwarding references to objects concurrently with space-incremental garbage collection
JP2006209237A (ja) * 2005-01-25 2006-08-10 Hitachi Ltd 記憶システム及びその制御方法並びに仮想化装置
JP4920898B2 (ja) * 2005-03-24 2012-04-18 株式会社日立製作所 計算機システム、データ管理方法およびプログラム
CN101156488B (zh) * 2005-04-05 2012-09-26 松下电器产业株式会社 无线电通信系统和无线电通信方法
US20060235905A1 (en) * 2005-04-14 2006-10-19 Rajesh Kapur Method and system for preserving real-time access to a system in case of a disaster
US7272727B2 (en) * 2005-04-18 2007-09-18 Hitachi, Ltd. Method for managing external storage devices
EP1881438A4 (en) * 2005-04-21 2011-02-23 Panasonic Corp CONTENT MANAGEMENT SYSTEM
JP4690765B2 (ja) * 2005-04-26 2011-06-01 株式会社日立製作所 ストレージ管理システム、ストレージ管理サーバ、データ再配置制御方法およびデータ再配置制御プログラム
JP2006331158A (ja) 2005-05-27 2006-12-07 Hitachi Ltd ストレージシステム
US7386662B1 (en) 2005-06-20 2008-06-10 Symantec Operating Corporation Coordination of caching and I/O management in a multi-layer virtualized storage environment
US7993585B2 (en) * 2005-07-14 2011-08-09 Battelle Memorial Institute Biological and chemical monitoring
US7499167B2 (en) * 2005-07-14 2009-03-03 Battelle Memorial Institute Aerosol trigger device and methods of detecting particulates of interest using an aerosol trigger device
JP4955996B2 (ja) * 2005-09-20 2012-06-20 株式会社日立製作所 ボリューム移行方法およびストレージネットワークシステム
JP4700459B2 (ja) 2005-09-27 2011-06-15 株式会社日立製作所 データ処理システム及びデータ管理方法並びにストレージシステム
US7996608B1 (en) 2005-10-20 2011-08-09 American Megatrends, Inc. Providing redundancy in a storage system
US7721044B1 (en) 2005-10-20 2010-05-18 American Megatrends, Inc. Expanding the storage capacity of a virtualized data storage system
US8010829B1 (en) 2005-10-20 2011-08-30 American Megatrends, Inc. Distributed hot-spare storage in a storage cluster
US7778960B1 (en) * 2005-10-20 2010-08-17 American Megatrends, Inc. Background movement of data between nodes in a storage cluster
US8010485B1 (en) 2005-10-20 2011-08-30 American Megatrends, Inc. Background movement of data between nodes in a storage cluster
JP4585423B2 (ja) * 2005-10-21 2010-11-24 株式会社日立製作所 性能情報収集方法及び計算機システム
JP4852298B2 (ja) * 2005-10-28 2012-01-11 株式会社日立製作所 仮想ボリュームを識別する情報を引き継ぐ方法及びその方法を用いたストレージシステム
JP4694350B2 (ja) * 2005-11-08 2011-06-08 株式会社日立製作所 ストレージ装置の起動可能なディスクグループ数の管理
JP4749140B2 (ja) * 2005-12-05 2011-08-17 株式会社日立製作所 データマイグレーション方法及びシステム
JP2007164650A (ja) 2005-12-16 2007-06-28 Hitachi Ltd 記憶制御装置及び記憶制御装置の制御方法
JP4757038B2 (ja) * 2006-01-25 2011-08-24 株式会社日立製作所 ストレージシステム及び記憶制御装置
JP4927408B2 (ja) * 2006-01-25 2012-05-09 株式会社日立製作所 記憶システム及びそのデータ復元方法
JP2007226347A (ja) * 2006-02-21 2007-09-06 Hitachi Ltd 計算機システム、計算機システムの管理装置、及びデータのリカバリー管理方法
JP4504329B2 (ja) * 2006-03-31 2010-07-14 株式会社東芝 ストレージシステム、当該ストレージシステムに用いられるストレージ及びアクセス制御方法
US7809892B1 (en) 2006-04-03 2010-10-05 American Megatrends Inc. Asynchronous data replication
JP2007280089A (ja) 2006-04-07 2007-10-25 Hitachi Ltd 容量拡張ボリュームの移行方法
JP4900784B2 (ja) 2006-04-13 2012-03-21 株式会社日立製作所 ストレージシステム及びストレージシステムのデータ移行方法
JP4856467B2 (ja) 2006-05-01 2012-01-18 株式会社日立製作所 ストレージ資源管理システム、ストレージ資源管理方法および管理計算機
JP4921054B2 (ja) * 2006-07-07 2012-04-18 株式会社日立製作所 負荷分散制御システム及び負荷分散制御方法
JP2008027312A (ja) * 2006-07-24 2008-02-07 Hitachi Ltd ストレージ装置及び変換ボード
JP2008046986A (ja) * 2006-08-18 2008-02-28 Hitachi Ltd ストレージシステム
JP4939152B2 (ja) * 2006-09-13 2012-05-23 株式会社日立製作所 データ管理システム及びデータ管理方法
JP4949791B2 (ja) * 2006-09-29 2012-06-13 株式会社日立製作所 ボリューム選択方法及び情報処理システム
JP4235220B2 (ja) * 2006-10-25 2009-03-11 株式会社日立製作所 計算機システムおよびデータ移行方法
JP4914173B2 (ja) * 2006-10-30 2012-04-11 株式会社日立製作所 再配置システムおよび再配置方法
JP4949804B2 (ja) * 2006-11-07 2012-06-13 株式会社日立製作所 統合管理計算機と記憶装置管理方法および計算機システム
JP2008123132A (ja) * 2006-11-09 2008-05-29 Hitachi Ltd 記憶制御装置及び記憶制御装置の論理ボリューム形成方法
US7734889B1 (en) * 2006-12-22 2010-06-08 Emc Corporation Methods and apparatus for distributing information to multiple nodes
US7908448B1 (en) 2007-01-30 2011-03-15 American Megatrends, Inc. Maintaining data consistency in mirrored cluster storage systems with write-back cache
US8498967B1 (en) 2007-01-30 2013-07-30 American Megatrends, Inc. Two-node high availability cluster storage solution using an intelligent initiator to avoid split brain syndrome
US8046548B1 (en) 2007-01-30 2011-10-25 American Megatrends, Inc. Maintaining data consistency in mirrored cluster storage systems using bitmap write-intent logging
JP4814119B2 (ja) * 2007-02-16 2011-11-16 株式会社日立製作所 計算機システム、ストレージ管理サーバ、及びデータ移行方法
JP2008217216A (ja) * 2007-03-01 2008-09-18 Hitachi Ltd 負荷分散方法及び計算機システム
JP5130764B2 (ja) * 2007-03-28 2013-01-30 日本電気株式会社 ストレージシステムおよびその省電力化方法ならびにプログラム
US8108580B1 (en) 2007-04-17 2012-01-31 American Megatrends, Inc. Low latency synchronous replication using an N-way router
JP2008276596A (ja) 2007-05-01 2008-11-13 Hitachi Ltd 記憶装置を決定する方法及び計算機
JP5117120B2 (ja) * 2007-06-18 2013-01-09 株式会社日立製作所 ストレージ装置のボリュームを管理する計算機システム、方法及びプログラム
JP5026212B2 (ja) * 2007-09-28 2012-09-12 株式会社日立製作所 計算機システム並びに管理装置及び管理方法
JP5154200B2 (ja) * 2007-11-09 2013-02-27 株式会社日立製作所 データ読出し方法、データ管理システム及びストレージシステム
JP2009116826A (ja) * 2007-11-09 2009-05-28 Hitachi Ltd ストレージ装置及び論理ボリューム移行方法
US7849265B2 (en) * 2007-12-18 2010-12-07 Hitachi, Ltd. Avoiding use of an inter-unit network in a storage system having multiple storage control units
US9110791B2 (en) * 2008-03-03 2015-08-18 Microsoft Technology Licensing, Llc Optimistic object relocation
JP2010086049A (ja) * 2008-09-29 2010-04-15 Hitachi Ltd 管理計算機及びその運用方法
JP2010086424A (ja) * 2008-10-01 2010-04-15 Hitachi Ltd ストレージ装置の管理装置
US8387046B1 (en) 2009-03-26 2013-02-26 Symantec Corporation Security driver for hypervisors and operating systems of virtualized datacenters
JP5274665B2 (ja) * 2009-04-21 2013-08-28 株式会社日立製作所 ストレージシステム、及びその制御方法、並びにプログラム
JP5241671B2 (ja) 2009-10-05 2013-07-17 株式会社日立製作所 記憶装置のデータ移行制御方法
US10133485B2 (en) * 2009-11-30 2018-11-20 Red Hat, Inc. Integrating storage resources from storage area network in machine provisioning platform
US8566297B1 (en) 2010-01-14 2013-10-22 Symantec Corporation Method to spoof data formats from image backups
US8290912B1 (en) 2010-01-29 2012-10-16 Symantec Corporation Endpoint virtualization aware backup
JP5421201B2 (ja) 2010-07-20 2014-02-19 株式会社日立製作所 計算機システムを管理する管理システム及び管理方法
WO2012017493A1 (ja) 2010-08-06 2012-02-09 株式会社日立製作所 計算機システム及びデータ移行方法
JP2012058912A (ja) * 2010-09-07 2012-03-22 Nec Corp 論理ユニット番号管理装置及び論理ユニット番号管理方法並びにそのプログラム
US8527633B2 (en) 2011-01-06 2013-09-03 International Business Machines Corporation Techniques for addressing geographical location issues in computing environments
JP5860462B2 (ja) 2011-03-02 2016-02-16 株式会社日立製作所 計算機システム及びデータ移行方法
JP6347055B2 (ja) * 2014-03-28 2018-06-27 パナソニックIpマネジメント株式会社 不揮発性メモリ装置
JP2016143166A (ja) * 2015-01-30 2016-08-08 富士通株式会社 制御装置,ストレージシステム及び制御プログラム
JP6736932B2 (ja) * 2016-03-24 2020-08-05 日本電気株式会社 情報処理システム、ストレージ装置、情報処理方法及びプログラム
US10782889B2 (en) * 2016-05-10 2020-09-22 Hewlett Packard Enterprise Development Lp Fibre channel scale-out with physical path discovery and volume move
JP7068573B2 (ja) 2018-01-17 2022-05-17 富士通株式会社 データ処理装置、データ処理システムおよびデータ処理プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5584042A (en) * 1993-06-01 1996-12-10 International Business Machines Corporation Dynamic I/O data address relocation facility
JP3181446B2 (ja) * 1993-09-24 2001-07-03 株式会社東芝 情報記憶装置
JPH08221372A (ja) 1995-02-10 1996-08-30 Fuji Facom Corp 分散処理システムにおける空き資源管理装置
JP3641872B2 (ja) * 1996-04-08 2005-04-27 株式会社日立製作所 記憶装置システム
US5996054A (en) * 1996-09-12 1999-11-30 Veritas Software Corp. Efficient virtualized mapping space for log device data storage system
JPH10154123A (ja) 1996-11-25 1998-06-09 Toshiba Corp ネットワークシステム
US6405284B1 (en) * 1998-10-23 2002-06-11 Oracle Corporation Distributing data across multiple data storage devices in a data storage system
JP2000163288A (ja) * 1998-11-30 2000-06-16 Nec Corp データ記憶システム、データ再配置方法及び記録媒体
JP3541744B2 (ja) 1999-08-30 2004-07-14 株式会社日立製作所 ストレージサブシステム及びその制御方法
JP2001337790A (ja) * 2000-05-24 2001-12-07 Hitachi Ltd 記憶システム及びその階層管理制御方法
US6925528B2 (en) * 2000-06-20 2005-08-02 Storage Technology Corporation Floating virtualization layers
US6766430B2 (en) * 2000-07-06 2004-07-20 Hitachi, Ltd. Data reallocation among storage systems
JP4115093B2 (ja) 2000-07-06 2008-07-09 株式会社日立製作所 計算機システム
JP4079244B2 (ja) * 2001-03-30 2008-04-23 日立ソフトウエアエンジニアリング株式会社 追記型記憶媒体ボリュームの再編成処理方法
US6895467B2 (en) * 2001-10-22 2005-05-17 Hewlett-Packard Development Company, L.P. System and method for atomizing storage
JP4087097B2 (ja) * 2001-11-12 2008-05-14 株式会社日立製作所 データベース管理システム情報を考慮したデータ再配置方法およびデータ再配置を行う計算機システム

Also Published As

Publication number Publication date
US20060095697A1 (en) 2006-05-04
US20030221063A1 (en) 2003-11-27
US20050138315A1 (en) 2005-06-23
US7162603B2 (en) 2007-01-09
US7007147B2 (en) 2006-02-28
US20070113037A1 (en) 2007-05-17
US7337292B2 (en) 2008-02-26
US6895483B2 (en) 2005-05-17
JP2003345522A (ja) 2003-12-05

Similar Documents

Publication Publication Date Title
JP4183443B2 (ja) データ再配置方法及び装置
US9639277B2 (en) Storage system with virtual volume having data arranged astride storage devices, and volume management method
US9747036B2 (en) Tiered storage device providing for migration of prioritized application specific data responsive to frequently referenced data
US8635427B2 (en) Data storage control on storage devices
JP3843713B2 (ja) 計算機システム及びそのデバイスの割り当て方法
JP4391265B2 (ja) ストレージサブシステムおよび性能チューニング方法
JP4341897B2 (ja) 記憶装置システム及びデータ複製方法
US8984221B2 (en) Method for assigning storage area and computer system using the same
JP5069011B2 (ja) ストレージモジュール及び容量プール空き容量調整方法
JP4235220B2 (ja) 計算機システムおよびデータ移行方法
US8650381B2 (en) Storage system using real data storage area dynamic allocation method
JP4800059B2 (ja) 仮想ストレージシステム及びその制御方法
WO2012147133A1 (en) Information storage system and storage system management method
JP5000234B2 (ja) 制御装置
JP2016118821A (ja) ストレージ管理装置、ストレージ管理方法およびストレージ管理プログラム
US8677094B2 (en) Storage system, release method, and secondary storage apparatus
US8572347B2 (en) Storage apparatus and method of controlling storage apparatus
US10242053B2 (en) Computer and data read method
US10552342B1 (en) Application level coordination for automated multi-tiering system in a federated environment
JP5246872B2 (ja) ストレージシステムおよびストレージ管理方法
Dell
JP2011086077A (ja) ストレージ装置、ストレージシステム、ディスクアレイ制御方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041008

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071112

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080805

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080902

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110912

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120912

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120912

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130912

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees