JP4497957B2 - 記憶制御システム - Google Patents

記憶制御システム Download PDF

Info

Publication number
JP4497957B2
JP4497957B2 JP2004061641A JP2004061641A JP4497957B2 JP 4497957 B2 JP4497957 B2 JP 4497957B2 JP 2004061641 A JP2004061641 A JP 2004061641A JP 2004061641 A JP2004061641 A JP 2004061641A JP 4497957 B2 JP4497957 B2 JP 4497957B2
Authority
JP
Japan
Prior art keywords
control system
information
storage
storage control
key information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004061641A
Other languages
English (en)
Other versions
JP2005250925A (ja
Inventor
勝広 内海
宏 桑原
圭史 田村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2004061641A priority Critical patent/JP4497957B2/ja
Priority to US10/834,873 priority patent/US7117331B2/en
Priority to DE602005017526T priority patent/DE602005017526D1/de
Priority to EP05250540A priority patent/EP1571543B1/en
Publication of JP2005250925A publication Critical patent/JP2005250925A/ja
Priority to US11/490,101 priority patent/US7237083B2/en
Priority to US11/798,658 priority patent/US7587567B2/en
Application granted granted Critical
Publication of JP4497957B2 publication Critical patent/JP4497957B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0607Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0605Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062Securing storage systems
    • G06F3/0622Securing storage systems in relation to access
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0632Configuration or reconfiguration of storage systems by initialisation or re-initialisation of storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0635Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662Virtualisation aspects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0637Permissions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662Virtualisation aspects
    • G06F3/0665Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、記憶制御システムに関する。
例えば、データセンタ等のような大規模なデータを取り扱うデータベースシステムでは、ホストコンピュータとは別に構成された記憶制御システムを用いてデータを管理する。この記憶制御システムは、例えば、多数の記憶デバイスをアレイ状に配設して構成されたRAID(Redundant Array of Independent Inexpensive Disks)のようなディスクアレイシステムである。
情報化社会の進展等につれて、データベースで管理すべきデータは、日々増大する。このため、より高性能、より大容量の記憶制御システムが求められており、この市場要求に応えるべく、新型の記憶制御システムが開発されている。新型の記憶制御システムを記憶システムに導入する方法としては、2つ考えられる。その一つは、旧型の記憶制御システムと新型の記憶制御システムとを完全に入れ替え、全て新型の記憶制御システムから記憶システムを構成する方法である(特許文献1:特表平10−508967号公報)。他の一つは、旧型の記憶制御システムからなる記憶システムに新型の記憶制御システムを新たに追加し、新旧の記憶制御システムを併存させる方法である。
なお、物理デバイスの記憶領域をセクタ単位で管理し、論理デバイスをセクタ単位で動的に構成する技術も知られている(特許文献2:特開2001−337850号公報)。
特表平10−508967号公報 特開2001−337850号公報
旧型の記憶制御システムから新型の記憶制御システムに完全に移行する場合(特許文献1)は、新型の記憶制御システムの機能、性能を利用することができるが、旧型の記憶制御システムを有効に利用することができず、導入コストも増大する。他方、旧型の記憶制御システムと新型の記憶制御システムとの併存を図る場合は、記憶システムを構成する記憶制御システムの数が増大し、新旧の記憶制御システムを管理し運用する手間が大きい。
また、旧型の記憶制御システムが備える記憶デバイスの応答性が低い場合、この旧型の記憶デバイスを記憶システムに接続することにより、システム全体の性能が低下する。例えば、旧型の記憶デバイスが機械的な動作(ヘッドシーク等)を伴う装置であって、機械的動作時間が長い場合や、旧型の記憶デバイスの備えるデータ転送用バッファの容量が少ない場合等である。
さらに、オープン系記憶デバイスとメインフレームや、特定の機能を備えた記憶デバイスのみ接続可能なサーバ等のように、旧型の記憶デバイスをそのままでは利用できない場合もある。
このような問題点を解決するための一つの方法として、例えば、第1と第2の記憶制御システムを連携させることにより、記憶資源を有効に利用できるようにする方法が考えられる。
しかし、この方法において、例えば、第1の記憶制御システムが、第2の記憶制御システムに関する制御システム情報をその第2の記憶制御システムから受信し、第1の記憶制御システムの制御プロセッサ(例えばマイクロプロセッサ)が、上記受信した制御システム情報に基づいて種々の処理を行うようになっている場合、第2の記憶制御システムの種類(例えば、機種或いはベンダ等)が変更されると、第1の記憶制御システムの制御プロセッサのマイクロプログラムを変更する必要が生じる。なぜなら、機種又はベンダ等が異なると、制御システム情報における各情報項目(例えばベンダIDや装置名称等)の位置、並び順、及びデータサイズが異なることがあり、或る第2記憶制御システム種類に対応したマイクロプログラムでは、別の第2記憶制御システム種類の外部記憶制御システムが出力する制御システム情報を取扱うことができない虞があるためである。
また、上記方法において、第1の記憶制御システムに上位装置が接続されている場合、第1の記憶制御システムに第2の記憶制御システムが連携されているからといって、上位装置が第1の記憶制御システムを介して第2の記憶制御システムに自由にアクセスできてしまうと、セキュリティの面で問題がある。
また、上記方法において、第1の記憶制御システムに上位装置が接続されている場合、上位装置が第1の記憶制御システムを介して第2の記憶制御システムの記憶容量の消費する場合、セキュリティを保ちつつ、消費する記憶容量に応じた課金ができると便利である。
従って、本発明は少なくとも次のいずれかの目的を達成するものである。
(1) 第2記憶制御システム種類が異なっても、第1の記憶制御システムの制御プロセッサのマイクロプログラムを変更する必要の無い第1の記憶制御サブシステムを提供する。
(2)第1の記憶制御システムに第2の記憶制御システム及び上位装置が接続されている場合、上位装置を第2の記憶制御システムに自由にアクセスさせない第1の記憶制御サブシステムを提供する。
(3)第1の記憶制御システムに第2の記憶制御システム及び上位装置が接続されていて、上位装置が第1の記憶制御システムを介して第2の記憶制御システムの記憶容量の消費する場合、セキュリティを保ちつつ、消費する記憶容量に応じた課金が行なわれるようにする第1の記憶制御システムを提供する。
本発明の更なる目的は、後の記載から明らかになるであろう。
本発明の第1の観点に従う記憶制御システムは、外部記憶制御システム及び上位装置と接続され、前記上位装置が前記外部記憶制御システム内の記憶資源にアクセスすることを制御する。前記記憶制御システムは、前記上位装置との間でやり取りされるデータを記憶する複数の論理記憶デバイスと、前記複数の論理記憶デバイスを備えた1又は複数の物理記憶デバイスと、前記上位装置と前記物理記憶デバイスとの間でやり取りされるデータを格納するキャッシュメモリと、前記データに関する制御情報が格納される共有メモリと、前記上位装置及び前記外部記憶制御システムの少なくとも一方と前記キャッシュメモリとの間のデータ通信を制御するチャネル制御部と、前記キャッシュメモリと前記物理記憶デバイスとの間のデータ通信を制御するディスク制御部と、一定の構成を有する1又は複数のキー情報を記憶するキー情報格納領域とを備える。前記1又は複数のキー情報の各々は、前記外部記憶制御システムの種類に対応しており、前記外部記憶制御システムに関する制御システム情報が有する複数の情報項目のうちのどの情報項目が前記制御システム情報中のどの場所に存在するかを示す情報要素を、前記キー情報中の所定場所に有する。前記チャネル制御部の制御プロセッサが、前記1又は複数のキー情報から選択されたキー情報中の前記情報要素が示す、前記受信した制御システム情報中の場所に、前記選択されたキー情報中の前記情報要素が示す情報項目に適合する情報項目が存在するか否かの判断を行い、肯定的な判断結果が得られた場合には、前記上位装置と前記外部記憶制御システム内の記憶資源との間の論理パスを形成し、一方、否定的な判断結果が得られた場合には、前記論理パスを形成しない。
本発明の第1の観点に従う第1の実施態様では、前記キー情報には、そのキー情報に対応する外部記憶制御システムのベンダID及び装置名称の少なくとも一方を示す情報要素と、前記ベンダID及び前記装置名称の少なくとも一方の、前記制御システム情報中の存在場所を示す情報要素と、前記ベンダID及び前記装置名称の少なくとも一方のデータサイズを示す情報要素とが含まれている。
本発明の第1の観点に従う第2の実施態様では、前記チャネル制御部には、前記記憶制御システムを保守又は管理するための保守管理システムが接続されている。前記チャネル制御部の制御プロセッサは、前記肯定的な判断結果が得られた場合には、前記受信した制御システム情報が有する全ての情報項目を前記保守管理システムに送信して表示させ、前記保守管理システムから論理パス形成要求を受けた場合に、前記論理パスを形成する。
本発明の第1の観点に従う第3の実施態様では、前記キー情報の所定の場所には、そのキー情報に対応する外部記憶制御システム内の記憶資源のうちの使用可能な記憶容量を示す情報要素が含まれている。前記チャネル制御部の制御プロセッサは、前記上位装置から書込み対象データを受けた場合、前記書込み対象データのデータサイズと、前記外部記憶制御システム内に蓄積されている1又は複数のデータのトータルデータサイズとの合計値が、前記外部記憶制御システムに対応したキー情報中の記憶容量が越えるか否かを判断し、超えない場合に、前期書込み対象データを前記外部記憶制御システム内の記憶資源に格納する。
本発明の第1の観点に従う第4の実施態様では、前記第3の実施態様において、前記チャネル制御部の制御プロセッサは、前記合計値が前記記憶容量を超えた場合、前記上位装置に、前記キー情報中の情報要素が示す記憶容量を増やすことが必要であることを通知し、その後、前記記憶容量を増やすためのデータを受信したならば、前記キー情報中の記憶容量の値を増やす。
本発明の第1の観点に従う第5の実施態様では、前記チャネル制御部の制御プロセッサは、前記論理パスを形成した後、所定のイベントが発生した場合には、前記外部記憶制御システムから前記制御システム情報を受信して、前記判断を行い、否定的な判断結果が得られたならば、前記論理パスを消去する。
本発明の第1の観点に従う第6の実施態様では、前記チャネル制御部には、前記記憶制御システムを保守又は管理するための保守管理システムが接続されている。前記保守管理システムは、データを記憶する保守管理記憶部を備えている。前記キー情報は、複数種類の外部記憶制御システムにそれぞれ対応した複数のキー情報を蓄積するキー管理データベースから前記保守管理システムにダウンロードされて前記キー情報格納領域に格納されたものである。前記キー情報格納領域は、前記共有メモリ、前記チャネル制御部の制御プロセッサが使用するローカルメモリ、及び前記保守管理記憶部のうちの少なくとも1つに設けられている。
本発明の第1の観点に従う第7の実施態様では、前記チャネル制御部には、ファイバチャネルアダプタ(例えばファイバチャネルスイッチに接続されるアダプタ)又はiSCSIアダプタが含まれている。前記制御プロセッサは、前記ファイバチャネルアダプタ又は前記iSCSIアダプタに搭載されている。なお、前記ファイバチャネルアダプタが含まれる場合、それに接続されるファイバチャネルスイッチには、外部記憶制御システムが接続されていても良い。
本発明の第1の観点に従う第8の実施態様では、前記第7の実施態様において、前記ファイバチャネルアダプタ又は前記iSCSIアダプタは、SCSIプロトコルに従う照会コマンド(例えばinquiryコマンド)を、前記外部記憶制御システムに送信し、前記照会コマンドに応答して、前記制御システム情報を前記外部記憶制御システムから受信する。
本発明の第1の観点に従う第9の実施態様では、前記論理記憶デバイスと前記物理記憶デバイスとの間に仮想中間記憶デバイスを備える。前記チャネル制御部の制御プロセッサは、前記仮想中間記憶デバイスにおける論理的な場所に対して、前記論理記憶デバイスと、前記外部記憶制御システム内の記憶資源である外部論理記憶デバイスとを対応付けることにより、前記論理パスを形成する。
本発明の第2の観点に従う記憶システムは、上位装置に接続される第1の記憶制御システムと、前記第1の記憶制御システムに接続される第2の記憶制御システムとを備える。
前記第2の記憶制御システムは、前記第1の記憶制御システムとの間のデータ通信を制御するチャネル制御部と、一定の構成を有する1又は複数のキー情報を記憶するキー情報格納領域とを備える。前記1又は複数のキー情報の各々は、前記第2の記憶制御システムの種類に対応しており、前記第2の記憶制御システムに関する制御システム情報が有する複数の情報項目のうちのどの情報項目が前記制御システム情報中のどの場所に存在するかを示す情報要素を、前記キー情報中の所定場所に有する。前記チャネル制御部の制御プロセッサが、前記1又は複数のキー情報から選択されたキー情報中の前記情報要素が示す、前記受信した制御システム情報中の場所に、前記選択されたキー情報中の前記情報要素が示す情報項目に適合する情報項目が存在するか否かの判断を行い、肯定的な判断結果が得られた場合には、前記制御システム情報に含まれる全ての情報項目を前記第1の記憶制御システムに送信し、一方、否定的な判断結果が得られた場合には、前記制御システム情報を送信しない、或いは、適合しない情報項目を除く情報項目のみを前記第1の記憶制御システムに送信する。
前記第1の記憶制御システムは、前記制御システム情報に含まれる全ての情報項目を前記第2の記憶制御システムから受信した場合、前記受信した情報項目を基に、前記上位装置と前記第2の記憶制御システム内の記憶資源との間の論理パスを形成し、一方、前記制御システム情報に含まれる全ての情報項目を受信しない又は一部の情報項目のみを受信した場合は、前記論理パスを形成しない。
ここで、第1及び第2の記憶制御システムの少なくとも一方としては、例えば、ディスクアレイ装置やファイバチャネルスイッチ等を挙げることができる。上位装置としては、例えば、パーソナルコンピュータ、メインフレーム等のコンピュータを挙げることができる。第1の記憶制御システムと第2の記憶制御システムとは、通信ネットワークを介して双方向通信可能に接続されており、第1の記憶制御システムと上位装置も通信ネットワークを介して双方向通信可能に接続されている。また、第2の記憶制御システムと上位装置との間も双方向通信可能に接続することができる。通信ネットワークとしては、例えば、LAN(Local Area Network)、SAN(Storage Area Network)、専用回線、インターネット等を挙げることができる。上位装置からのリクエストに応じたデータ処理としては、例えば、データの読み出し処理、データの書込み処理等を挙げることができる。第1の記憶制御システムと第2の記憶制御システムとは、同一サイト内に設置されてもよいし、それぞれ異なるサイトに設置されてもよい。また、第1の記憶制御システムが記憶デバイスを備えている場合、この記憶デバイスも中間記憶階層を介して論理ユニットに接続される。
本発明の第3の観点に従う記憶制御システムの制御方法は、以下の記憶制御システム、すなわち、
外部記憶制御システム及び上位装置と接続され、前記上位装置が前記外部記憶制御システム内の記憶資源にアクセスすることを制御する記憶制御システムに適用されるものである。その記憶制御システムは、一定の構成を有する1又は複数のキー情報を記憶するキー情報格納領域を備える。前記1又は複数のキー情報の各々は、前記外部記憶制御システムの種類に対応しており、前記外部記憶制御システムに関する制御システム情報が有する複数の情報項目のうちのどの情報項目が前記制御システム情報中のどの場所に存在するかを示す情報要素を、前記キー情報中の所定場所に有する。
前記制御方法は、前記1又は複数のキー情報から選択されたキー情報中の前記情報要素が示す、前記受信した制御システム情報中の場所に、前記選択されたキー情報中の前記情報要素が示す情報項目に適合する情報項目が存在するか否かの判断を行うステップと、肯定的な判断結果が得られた場合には、前記上位装置と前記外部記憶制御システム内の記憶資源との間の論理パスを形成するステップと、否定的な判断結果が得られた場合には、前記論理パスを形成しないステップとを有する。
本発明の第4の観点に従う記憶制御システムの制御方法は、以下の記憶制御システム、すなわち、上位装置に接続される第1の記憶制御システムと、前記第1の記憶制御システムに接続される第2の記憶制御システムとを備えた記憶システムにおける、前記第2の記憶制御システムに適用されるものである。前記第2の記憶制御システムは、一定の構成を有する1又は複数のキー情報を記憶するキー情報格納領域を備える。前記1又は複数のキー情報の各々は、前記外部記憶制御システムの種類に対応しており、前記外部記憶制御システムに関する制御システム情報が有する複数の情報項目のうちのどの情報項目が前記制御システム情報中のどの場所に存在するかを示す情報要素を、前記キー情報中の所定場所に有する。
前記制御方法は、前記1又は複数のキー情報から選択されたキー情報中の前記情報要素が示す、前記受信した制御システム情報中の場所に、前記選択されたキー情報中の前記情報要素が示す情報項目に適合する情報項目が存在するか否かの判断を行うステップと、肯定的な判断結果が得られた場合には、前記制御システム情報に含まれる全ての情報項目を前記第1の記憶制御システムに送信するステップと、否定的な判断結果が得られた場合には、前記制御システム情報を送信しない、或いは、適合しない情報項目を除く情報項目のみを前記第1の記憶制御システムに送信するステップとを有する。その場合、前記第1の記憶制御システムでは、例えば、前記制御システム情報に含まれる全ての情報項目を基に、前記上位装置と前記第2の記憶制御システム内の記憶資源との間の論理パスを形成するステップと、前記制御システム情報に含まれる全ての情報項目を受信しない又は一部の情報項目のみを受信した場合、前記論理パスを形成しないステップとが実行される。
以下、図面を参照して本発明の実施形態を説明する。
図1は、本実施形態に係る記憶システムの構成を示すブロック図である。
ホスト装置10は、例えば、CPU(Central Processing Unit)やメモリ等の情報処理資源を備えたコンピュータ装置であり、例えば、パーソナルコンピュータ、ワークステーション、メインフレーム等として構成される。ホスト装置10は、例えば、キーボードスイッチやポインティングデバイス、マイクロフォン等の情報入力装置(図示せず)と、例えば、モニタディスプレイやスピーカー等の情報出力装置(図示せず)とを備えている。さらに、ホスト装置10には、例えば、第1の記憶制御システム600が提供する記憶領域を使用するデータベースソフトウェア等のアプリケーションプログラム11と、通信ネットワークCN1を介して第1の記憶制御システム600にアクセスするためのアダプタ12とが設けられている。
ホスト装置10は、通信ネットワークCN1を介して第1の記憶制御システム600に接続されている。通信ネットワークCN1(及び、後述の通信ネットワークCN3及びCN4)としては、例えば、LAN、SAN(Storage Area Network)、インターネット、専用回線、公衆回線等を場合に応じて適宜用いることができる。LANを介するデータ通信は、例えば、TCP/IP(Transmission
Control Protocol/Internet Protocol)プロトコルに従って行われる。ホスト装置10がLANを介して記憶制御システム600に接続される場合、ホスト装置10は、ファイル名を指定してファイル単位でのデータ入出力を要求する。一方、ホスト装置10がSANを介して第1の記憶制御システム600に接続される場合、ホスト装置10は、ファイバチャネルプロトコルに従って、複数のディスク記憶装置(例えばハードディスクドライブ)により提供される記憶領域のデータ管理単位であるブロックを単位としてデータ入出力を要求する。通信ネットワークCN1がLANである場合、アダプタ12は、例えばLAN対応のネットワークカードである。通信ネットワークCN1がSANの場合、アダプタ12は、例えばホストバスアダプタである。
なお、図中では、ホスト装置10は、通信ネットワークCN1を介して第1の記憶制御システム600のみに接続されているが、ホスト装置10と第2の記憶制御システム40とを通信ネットワークCN2を介して接続してもよい。第2の通信ネットワークCN2は、例えば、SAN、LAN、インターネット、専用回線、公衆回線等から構成できるが、本実施形態では、ファイバチャネルスイッチ(以下、「FC−SW」と略記)2によって構成されるものとする。
第1の記憶制御システム600は、例えば、アレイ状に配列された多数のディスク記憶装置を備えるRAIDシステムである。但し、これに限らず、第1の記憶制御システム600を、高機能化されたインテリジェント型のファイバチャネルスイッチとして構成することもできる。第1の記憶制御システム600は、後述のように、第2の記憶制御システム40の有する記憶資源を自己の論理ボリューム(Logical Unit)としてホスト装置10に提供するものであるから、自己が直接支配するローカルな記憶デバイスを有していなくても良い。
第1の記憶制御システム600は、記憶制御サブシステム20と、ディスクユニット30とに大別することができる。記憶制御サブシステム20は、例えば、チャネル制御部21と、ディスク制御部800と、SVP(Service Processor)23と、キャッシュメモリ24と、共有メモリ25と、接続部26とを備えている。チャネル制御部21には、例えば、1以上のチャネルアダプタ(CHA)21Aと、1以上のファイバチャネルアダプタ(CHF)21Bとが含まれる。ディスク制御部800には、複数のディスクアダプタ(DKA)22が含まれる。
CHA21Aは、ホスト装置10との間のデータ通信を行うものである。CHA21は、ホスト装置10と通信を行うための通信ポート207Aを備えている。また、CHA21Aは、例えば、CPUやメモリ等を備えたマイクロコンピュータシステムとして構成されており、ホスト装置10から受信した各種コマンドを解釈して実行する。CHA21Aには、そのCHA21Aを識別するためのネットワークアドレス(例えば、IPアドレスやWWN)が割り当てられている。CHA21Aは、例えば、通信ネットワークCN1がLANであれば、ホスト装置10からファイルアクセス要求(例えば、ファイル名と、そのファイル名を持つファイルをリード又はライトする命令とを含んだ要求)を受けて、そのファイルアクセス要求を処理するNAS(Network Attached Storage)として振る舞うことができるようになっている。或いは、CHA21Aは、例えば、通信ネットワークCN1がSANであれば、ホスト装置10からブロックアクセス要求(ブロック単位のデータアクセス要求)を受け、そのブロックアクセス要求を処理することができるようになっている。なお、ブロック単位とは、後述のディスク記憶装置400上の記憶領域におけるデータの管理単位である。
CHF21Bは、通信ポート207Bを介してFC−SW2に接続される。CHF21Bは、例えば、CPUやメモリ等を備えたマイクロコンピュータシステムとして構成されており、FC−SW2を介して、第2の記憶制御システム40から受信したデータを処理する。CHF21Bの構成及び機能については、後に詳述する。
各DKA22は、ディスクユニット30内の論理的な記憶デバイス(以下、LDEV)31,32との間のデータ授受を行うものである。各DKA22は、LDEV31,32を備えるディスク型記憶装置400に接続するための通信ポート22Aを備えている。また、各DKA22は、CPUやメモリ等を備えたマイクロコンピュータシステムとして構成されている。各DKA22は、CHN21A或いはCHA21Cから受信したデータをLDEV31、32に書込んだり、また、LDEV31,32から読み出したデータをCHN21A或いはCHA21Cに送信したりする。各DKA22は、LDEV31,32との間でデータ入出力を行う場合、論理的なアドレスを物理的なアドレスに変換する。
キャッシュメモリ(以下、「CM」と略記する場合有り)24は、例えば揮発性又は不揮発性のメモリであり、ホスト装置10から受信したデータや、LDEV31,32から読出されたデータを一時的に記憶するものである。
共有メモリ(以下、「SM」と略記する場合有り)25は、例えば不揮発性のメモリであり、ホスト装置との間でやり取りされるデータに関する制御情報等が格納される。また、共有メモリ25には、ワーク領域(例えば、CHA21A、CHF21B及びDKA22のCPU間でやり取りされるメッセージを一時的に記憶する領域)が設定されるほか、後述するマッピングテーブルTm等の各種テーブル類も格納される。なお、LDEV31,32のいずれか1つあるいは複数を、キャッシュ用のディスクとして使用してもよい。
接続部26は、CHA21A、CHF21B、各DKA22、キャッシュメモリ24及び共有メモリ25を相互に接続させる。接続部26は、例えば、高速スイッチング動作によってデータ伝送を行う超高速クロスバスイッチ等のような高速バスとして構成することができる。
ディスユニット30には、アレイ状に配列された複数のディスク記憶装置400が含まれている。ディスク記憶装置400としては、例えば、ハードディスク、フレキシブルディスク、磁気テープ、半導体メモリ、光ディスク等のようなデバイスを用いることができる。ディスク記憶装置400の記憶領域上には、LDEV31、32が備えられている。なお、点線で示されるLDEV32は、第2の記憶制御システム40の有するLDEV42を、第1の記憶制御システム600に取り込んだ状態を示すものである。換言すれば、第1の記憶制御システム600から見て外部に存在するLDEV(以下、「外部LDEV」と言う)42が、第1の記憶制御システム600の内部LDEV32としてホスト装置10に提供される。
SVP23は、第1の記憶制御システム600の保守又は管理を行うための情報処理端末(例えばノート型のパーソナルコンピュータ)である。SVP23には、例えば、管理用のコンソール(図示せず)が接続される。SVP23は、第1の記憶制御システム600内の障害発生を監視してコンソールに表示させたり、コンソールからの指令に基づいてディスク記憶装置400の閉塞処理等を指示したりするようになっている。また、SVP23は、通信ネットワークCN4を介して第2の記憶制御システム40と通信することができる。また、SVP23は、通信ネットワークCN3を介してキー管理サーバ8及びストレージ管理端末6と通信することができる。キー管理サーバ8及びストレージ管理端末6については後に詳述する。
第2の記憶制御システム40は、第1の記憶制御システム600のような構成であっても良いし、第1の記憶制御システム600よりも簡易な構成であっても良い。例えば、第2の記憶制御システム40は、例えば、通信ポート41を持ったCHF217と、1又は複数のディスク記憶装置401とを備えている。ディスク記憶装置401の記憶領域上には、LDEV42が備えられている。第2の記憶制御システム40は、FC−SW2を介して第1の記憶制御システム600に接続されており、第2の記憶制御システム40のLDEV(つまり外部LDEV)42は、第1の記憶制御システム600の内部LDEV32として扱われるようになっている。
以上が、本実施形態に係る記憶システム1についての概要である。なお、参照番号801は、第1の記憶制御システム600を保守又は管理するための保守管理システムであり、例えば、SVP23及びストレージ管理端末6を含む。
図2は、第1の記憶制御システム600と第2の記憶制御システム40との論理的な接続構造を示す模式図である。
図示のように、第1の記憶制御システム600は、下層側から順番に、VDEV101と、LDEV31と、LUN103とからなる3層の記憶階層を有している。
VDEV101は、論理的な記憶階層の最下位に位置する仮想デバイス(Virtual
Device)である。VDEV101は、物理的な記憶資源を仮想化したものであり、RAID構成を適用することができる。即ち、1つのディスク記憶装置400から複数のVDEV101を形成することもできるし(スライシング)、複数のディスク記憶装置400から1つのVDEV101を形成することもできる(ストライピング)。図2中の左側に示すVDEV101は、例えば、所定のRAID構成に従ってディスク記憶装置400を仮想化している。
一方、図2中の右側に示すVDEV101は、第2の記憶制御システム40のディスク記憶装置401により提供される外部LDEV42を、後述のマッピングテーブルTmを用いてVDEV101にマッピングすることにより、第1の記憶制御システム600の内部LDEV32として使用できるようになっている。図に示す例では、4つの第2記憶制御システム40A〜40Dにそれぞれ存在する4つの外部LDEV42A〜42Dをストライピングすることにより、VDEV101を構築している。各外部LDEV42A〜42Dには、それぞれの通信ポート41A〜41DからそれぞれのLUN(Logical Unit Number)43A〜43Dを特定することにより、それぞれ個別にアクセスすることができる。各通信ポート41A〜41Dには、ユニークな識別情報であるWWN(World
Wide Name)が割り当てられている。このため、第1の記憶制御システム600は、WWN及びLUNの組合せをFC−SW2に指定すれば、FC−SW2を介して、その組合せに含まれるLUNに属する外部LDEV42を見ることができる。なお、LUNに属するLDEVが複数個有る場合には、複数のLDEVが1つの論理的な記憶デバイスとして、第1の記憶制御システム600からホスト装置10に提供される。
さて、VDEV101の上位には、内部LDEV32が設けられている。内部LDEV32は、仮想デバイス(VDEV)を仮想化した論理デバイスである。1つのVDEV101から2つの内部LDEV32に接続することもできるし、複数のVDEV101から1つの内部LDEV32に接続することもできる。内部LDEV32には、それぞれのLUN103を介してアクセスすることができる。このように、本実施形態では、LUN103と外部LDEV42との間に位置する中間記憶階層(VDEV101及び内部LDEV32)に外部LDEV42を接続することにより、外部LDEV42を第1の記憶制御システム600の内部LDEV32の1つとして利用できるようにしている。
図3は、他の論理的接続構造を示す模式図である。
図3では、第2の記憶制御システム40のディスク記憶装置401により提供される外部LDEV42は、複数の経路を備えた交代パス構成を有している。例えば、外部LDEV42には、2つの経路(アクセスデータパス)を介してそれぞれアクセスすることができる。一方の経路は、第1の通信ポート41(1)からLUN43を介して外部LDEV42に到達し、他方の経路は、第2の通信ポート41(2)から別のLUN43を介して外部LDEV42に到達する。従って、仮にいずれか一方の経路が障害等で使用不能な場合でも、他方の経路を介して外部LDEV42にアクセスすることができる。複数の経路からそれぞれアクセス可能な場合、一方の経路からデータを利用中に、他方の経路からアクセスしてデータを更新等することがないように、必要なデータ保護等が行われる。
なお、図3に示す例では、第1の記憶制御システム600は、第2の記憶制御システム40の記憶資源(外部LDEV42)を自己のVDEV101にマッピングすることにより、外部LDEV42を内部LDEV32として利用している。また、複数のLDEV32を1つのVDEV101上に設定し、このVDEV101には外部LDEV42が複数の経路を介してマッピングされている。ホスト装置10は、LUN103のみを認識しており(結果的に内部LDEV32まで認識しており)、LUN103よりも下の構造は、ホスト装置10に対して隠されている。複数の内部LDEV32は、それぞれ同一のVDEV101を利用し、このVDEV101は複数の経路を介して同一の外部LDEV32に接続されている。従って、図3に示す例では、第2の記憶制御システム40の有する交代パス構造を利用して、第1の記憶制御システム600の冗長性を高めることができる。
図4は、共有メモリ25に格納されたマッピングテーブルの構造例を示す。
マッピングテーブルTmには、VDEV101をそれぞれ識別するためのVDEV識別情報(以下、「VDEV#」と示す)と、外部LDEV42に関する情報(以下、「外部デバイス情報」と言う)とが対応付けられる。外部デバイス情報には、例えば、システム識別情報と、外部LDEV42の記憶容量と、デバイスの種別を示す情報と(例えば、テープ系デバイスかディスク系デバイスか等)、外部LDEV42へのパス情報とが含まれている。システム識別情報は、例えば、第2の記憶制御システム40のベンダID、機種、及び製造番号を含んだ情報である。パス情報は、例えば、各通信ポート41に固有の識別情報(WWN)と、LUN4とを含んで構成できる。なお、図4中に示すシステム識別情報やWWN等は、説明の便宜上の値であって特に意味はない。また、図4中の下側に示すVDEV番号「3」のVDEV101には、3個のパス情報が対応付けられている。即ち、このVDEV101(#3)にマッピングされる外部LDEV42は、その内部に3つの経路を有する交代パス構造を備えているが、VDEV101(#3)には、この交代パス構造を認識してマッピングされている。これら3つの経路のいずれを通っても同一の記憶領域にアクセスできることが判明しているため、いずれか1つまたは2つの経路に障害等が発生した場合でも、残りの正常な経路を介して所望のデータにアクセスできる。
図4に示すようなマッピングテーブルTmを採用することにより、第1の記憶制御システム600内の1つ以上の内部VDEV32に対し、1つまたは複数の外部LDEV42をマッピングすることができる。
さて、この実施形態では、上述した外部デバイス情報のうちの少なくともデバイス識別情報は、マッピングテーブルTmに登録することが許可された場合にのみ、マッピングテーブルTmに登録される。デバイス識別情報をマッピングテーブルTmに登録することを許可するか否かは、後述するキー情報を用いて判断される。以下、それについて詳述する。
図5は、キー情報が第1の記憶制御システム600に取り込まれるまでの処理流れを示す。
キー管理サーバ8には、キー管理データベース(以下、「キー管理DB」と略記)201が備えられる。キー管理DB201には、1又は複数種類の第2の記憶制御システム40にそれぞれ対応した1又は複数のキー情報が登録される。新種類の第2記憶制御システム40が販売される場合、その新種類の第2記憶制御システム40に対応したキー情報が新たにキー管理DB201に登録される。ここで、第2の記憶制御システム40の「種類」とは、例えば、ベンダ、装置名称及び装置バージョンの少なくとも1つを含む意味である。従って、例えば、2つの第2記憶制御システム40のベンダ、装置名称及び装置バージョンのうちの少なくとも1つが違っていれば、それら2つの第2記憶制御システム40は互いに種類が異なるということになる。
キー情報は、それに対応する種類の第2の記憶制御システム40が出力する制御システム情報のどこにどんな情報項目が書かれているかを示す情報である。具体的には、例えば、キー情報には、制御システム情報が有するベンダID及び装置名称がそれぞれどんなエントリ名であってどのバイト位置から何バイト分書かれているかが記録されている。キー情報には、図示のように、課金容量が含まれていても良い。課金容量とは、そのキー情報に対応した第2の記憶制御システム40が有する記憶容量のうちの、そのキー情報を購入した場合に使用可能になる記憶容量である。
ストレージ管理端末6は、SVP23を介して第1の記憶制御システム600を管理するための情報処理端末(例えばパーソナルコンピュータ又はワークステーション)である。ストレージ管理端末6は、例えば、第1の記憶制御システム600を介して第2の記憶制御システム40にアクセスするクライアントが使用する端末である。ストレージ管理端末6は、例えば、CPU及び管理端末記憶部(例えばメモリ又はハードディスク)205等のハードウェア資源と、OS(オペレーティングシステム)及びOS上で動作するWEBコンソール203等のソフトウェアとを備える。
FC−SW2には、複数の接続ポート215が備えられ、各接続ポート215に、第1の記憶制御システム600及び第2の記憶制御システム40が接続される。
この図5を参照して、キー情報がキー管理サーバからダウンロードされて第1の記憶制御システム600に格納されるまでの流れを説明する。
例えば、第2の記憶制御システム40Aが新発売される場合(S101)、その第2の記憶制御システム40Aに対応したキー情報(以下、参照符号を用いて「40Aキー情報」と言う)が新たにキー管理DB201に登録される(S102)。
ストレージ管理端末6のWEBコンソール203は、クライアントの操作に従って、キー管理サーバ6にアクセスする(S103A)。キー管理サーバ8は、そのアクセスに応答して、キー管理DB201に登録されている1又は複数のキー情報のうちの所望のキー情報を選択を受け付けるためのキー情報メニュー画面225をストレージ管理端末6に提供する(S103B)。
WEBコンソール203は、提供されたキー情報メニュー画面225を、ストレージ管理端末6のディスプレイ画面に表示する(S104)。その後、キー情報メニュー画面225に表示されている1又は複数のキー情報からクライアント所望のキー情報(以下、「40Aキー情報」であるとする)が選択された場合(S105)、WEBコンソール203は、選択されたキー情報が40Aキー情報であることをキー管理サーバ8に通知する。キー管理サーバ8は、その通知に応答して、クライアントに選択された40Aキー情報をキー管理DB201からストレージ管理端末6にダウンロードする(S106)。
ストレージ管理端末6は、ダウンロードされた40Aキー情報を管理端末記憶部205に格納する。管理端末記憶部205には、過去に1又は複数の別のキー情報がダウンロードされていれば、その1又は複数の別のキー情報が蓄積されていても良い。
ストレージ管理端末6は、管理端末記憶部205に格納された40Aキー情報を読み出してSVP23に転送する(S107)。
SVP23は、ストレージ管理端末6から受信した40Aキー情報をSVP記憶部(例えばメモリ又はハードディスク)207に格納する。SVP記憶部207には、過去に1又は複数の別のキー情報が受信されていれば、点線で示すように、その1又は複数の別のキー情報が蓄積されていても良い。
SVP23は、SVP記憶部207に格納した40Aキー情報を読出し、その40Aキー情報を、LAN等の内部通信ネットワークを介して、CHA21A及びCHF21Bに送信する(S108及びS109)。
CHF21Bに搭載されているチャネルプロセッサ(例えばマイクロプロセッサ、以下、「CHP」と言う)209は、受信した40Aキー情報を、接続部26を介してSM25に格納する(S110)。SM25には、過去に1又は複数の別のキー情報が受信されていれば、点線で示すように、その1又は複数の別のキー情報が蓄積されていても良い。このS110の処理は、CHF21Bに代えて又は加えて、CHA21Aに搭載されている図示しないCHPが行っても良い。
CHB21に搭載されているCHP209は、受信した40Aキー情報を、CHF21Bに搭載されているローカルメモリ(以下、「LM」と略記する場合有り)211にも格納する(S111)。LM211には、過去に1又は複数の別のキー情報が受信されていれば、点線で示すように、その1又は複数の別のキー情報が蓄積されていても良い。
以上の一連の処理流れによって、キー管理DB201に登録されている1又は複数のキー情報のうちのクライアント所望の40Aキー情報が、第1の記憶制御システム600に格納される。
なお、40Aキー情報は、第2の記憶制御システム40Aに転送されて、40Aキー情報が、第1の記憶制御システム600と、第2の記憶制御システム40A〜40Cとの間で共有されても良い。
具体的には、例えば、CHF21BのCHP209が、LM211又はSM25から40Aキー情報を読出し、その40Aキー情報を、通信ポート207B及びFC−SW2を介して(つまりファイバチャネル経由で)、そのFC−SW2に接続されている第2の記憶制御システム40A〜40Cに送信する。その場合、例えば、第2の記憶制御システム40AのCHF217に搭載されているCHP219が、受信した40Aキー情報を、CHF217から離れた場所にあるメモリ(例えばSM)223、又は、CHF217に搭載のLM221に格納する。
また、例えば、SVP23が、SVP記憶部207に格納されている40Aキー情報を読出し、その40Aキー情報を、通信ネットワークCN4(図1参照、例えばイーサネット(登録商標))を介して、第2の記憶制御システム40A〜40Cに送信する。その場合、例えば、第2の記憶制御システム40AのCHF217に搭載されているCHP219が、受信した40Aキー情報を、CHF217から離れた場所にあるメモリ(例えばSM)223、又は、CHF217に搭載のLM221に格納する。
さて、第1の記憶制御システム400に搭載のCHF(以下、第1CHF)21Bが有するCHP209は、後述するように、第2の記憶制御システム40Aに搭載のCHF(以下、第2CHF)217から制御システム情報を受信するが、その際に、LM211又はSM25に格納されたキー情報を用いて、VDEV#と制御システム情報とを対応付けても良いか否かを判断する(或いは、制御システム情報に含まれている複数の情報項目のうちどの情報項目を受け取るかを制御する)。
キー情報は、所定のファーマットになっている。具体的には、例えば、キー情報のどの場所にどんな種類の情報が書かれているかが予め決まっている。
そして、CHP209は、LM211から読込んだマイクロプログラム(以下、CHPプログラム)213により、キー情報を用いて、VDEV#と、第2記憶制御システム40から受信した制御システム情報との対応付けを許可するか否かの判断を行う。なお、CHPプログラム213は、キー情報の構成に基づいて作成されたものである。例えば、キー情報のどの場所にどんな種類の情報が書かれているかは予め決まっている。そのため、CHPプログラム213には、ベンダID及び装置名称のエントリ名、バイト位置及びバイト数を取得するために参照すべきキー情報中の場所や、取得したバイト位置及びバイト数に従って制御システム情報からベンダID及び装置名称を取得することが予め定められている。これ故、例えば、FC−SW2に接続される第2の記憶制御システム40の種類が新たに追加されても、追加された種類の第2の記憶制御システム40に対応したキー情報の構成は同じなので、CHPプログラム213を変更する必要はない。
以下、図6を参照して、第1の記憶制御システム600(例えば第1CHF21B)が、LM211又はSM25に格納されている1又は複数のキー情報を用いて、第2の記憶制御システム40Aから受信した制御システム情報をマッピングテーブルTmに登録する処理流れを説明する。
第1CHF21Bは、FC−SW2に調査コマンドを発行する(ステップS0A)。FC−SW2は、その調査コマンドに応答して、FC−SW2に接続されている第2記憶制御システム40にログインするために必要なログイン必要情報(例えば、FC−SW2に接続されている通信ポート41のWWN)を、第1CHF21Bに送信する(S0B)。
第1CHF21Bは、FC−SW2から受信した各第2記憶制御システム40毎のログイン必要情報をLM211に登録する(S0C)。
第1CHF21Bは、例えば、VDEV101と外部LDEV42とを対応付けることの要求をSVP23から受けた場合、LM211に登録されたログイン必要情報を用い、第1CHF21Bのイニシエータポート(207B)を介して、第2の記憶制御システム40Aにログインする(S1)。第2の記憶制御システム40のCHF(以下、第2CHF)217が、第1CHF21Bからのログインに対して応答を返すことにより(S2)、ログインが完了する。
次に、第1CHF21Bは、例えば、SCSI(Small Computer
System Interface)規格で定められている照会コマンド(inquiryコマンド)を、第2CHF217に送信する(S3)。ここで言う照会コマンドは、照会先の装置の種類及び構成を明らかにするために用いられるもので、照会コマンド発行元は、照会先装置の有する物理的構造を把握することができる。
例えば、照会コマンドを受信した第2CHF217は、第2記憶制御システム40Aに関する制御システム情報をメモリ223等から取得し、その制御システム情報を第1CHF21Bに送信し(S4)、所定の応答を返す(S5)。なお、ここで送信される制御システム情報には、例えば、第2記憶制御システム40AのベンダID、装置名称及び製造番号と、照会コマンドを受けた通信ポート41AのWWNと、そのWWNに属するLUNと、そのLUNに属するLDEV番号と、そのLDEVを備えているディスク種類とが含まれている。
第1CHF21Bは、読み込んだCHPプログラム213により、SM25又はLM211に登録されている1又は複数のキー情報から選択したキー情報を用いて、受信した制御システム情報をVDEV#にマッピングすることを許可するか否かを判断する(S6)。具体的には、例えば、第1CHF21Bは、選択したキー情報から、ベンダID及び装置名称のエントリ名、バイト位置及びバイト数を把握する。次に、第1CHF21Bは、受信した制御システム情報から、上記把握されたバイト位置及びバイト数に従うデータ内容を把握する。そして、第1CHF21Bは、上記把握されたデータ内容と、装置名称及びベンダIDのエントリ名とが適合するか否かの判断(以下、「キー/システム適合性判断」と言う)を行う。
S6のキー/システム適合性判断の結果、否定的な結果が得られた場合(S7でN)、第1CHF21Bは、SM25又はLM211に登録されている他の1以上のキー情報を用いて、S6の処理を行う(S8でN)。そして、第1CHF21Bは、SM25又はLM211に登録されている全てのキー情報を用いてS6を行っても、否定的な結果が得られた場合(S7でN、S8でY)、VDEV#に、制御システム情報を対応付けることを拒否する(S9)。その場合、例えば、第1CHF21Bは、受信した制御システム情報を消去しても良い。また、例えば、第1CHF21Bは、SVP23を介してストレージ管理端末6に、第2の記憶制御システム40Aに対応する40Aキー情報を購入することを促す情報を表示させても良い(S10)。その促す情報としては、例えば、キー情報を購入することを指示したメッセージであっても良いし、受信した制御システム情報のうちの、キー情報との適合性が得られなかった部分を除く部分のみであっても良い。後者の場合、制御システム情報の一部しか表示されないので、クライアントは、キー情報を購入する必要があることを推測することができる。
さて、S6のキー/システム適合性判断の結果、肯定的な結果が得られた場合(S7でY)、第1CHF21Bは、受信した制御システム情報(例えば、第2記憶制御システム40AのベンダID、装置名称及び製造番号を含んだシステム識別情報と、WWN及びLUNと、ディスク種類)を、マッピングテーブルTmの所定箇所(例えば、クライアントから指定されたVDEV#に対応した場所)に登録する(S11)。
次に、第1CHF21Bは、受信した制御システム情報中のLUNに属する外部LDEV42の記憶容量の問合せ(例えば、SCSIプロトコルに基づくリードキャパシティコマンド)を第2CHF217に送信する(S12)。第2CHF217は、メモリ223に登録されている記憶容量情報(例えば、LUNに属する1以上の外部LDEV42のトータル記憶容量)を参照し、問合せされた記憶容量(すなわち、外部LDEV42の記憶容量)を第1CHF21Bに返信し(S13)、応答を返す(S14)。第1CHF21Bは、受信した記憶容量を、マッピングテーブルTmの所定箇所(例えば、クライアントから指定されたVDEV#に対応した場所)に登録する(S15)。
以上の処理を行うことにより、VDEV#と制御システム情報及び記憶容量との対応付けが行われる。上述の説明によれば、キー情報は一種の情報フィルタであり、情報フィルタに対して入力された制御システム情報に含まれる複数の情報項目のうち、その情報フィルタを通過することができた情報項目のみが、マッピングテーブルTmに登録される。この観点から言えば、S6のキー/システム適合性判断の結果、否定的な結果が得られた場合は、制御システム情報中の情報項目のうちベンダID及び装置名称は、情報フィルタであるキー情報を通過することはできない。一方、肯定的な結果が得られた場合は、制御システム情報のうち、ベンダID及び装置名称を含む全ての情報項目が、キー情報を通過することができる。
ところで、上述したS6〜S9の処理は、第1CHF21Bに代えて又は加えて、第1CHF21Bのログイン先の第2CHF217が行っても良い。以下、図7を参照して、その場合に行なわれる処理流れの一例について説明する。
図7は、第1CHF21Bが、LM221又はメモリ223に格納されている1又は複数のキー情報を用いて、制御システム情報をVDEV#に対応付けても良いか否かを判断する場合の処理流れの一例を示す。
第1CHF21Bは、上述したS0A〜S3の処理を行う(S20A〜S23)。
第2CHF217は、メモリ223又はLM221に登録されている1又は複数のキー情報から選択したキー情報を用いて、例えばメモリ223に格納されている制御システム情報をVDEV#にマッピングすることを許可するか否かを判断する(S24)。具体的には、例えば、第2CHF217は、選択したキー情報から、ベンダID及び装置名称のエントリ名、バイト位置及びバイト数を把握する。次に、第2CHF217は、制御システム情報から、上記把握されたバイト位置及びバイト数に従うデータ内容を把握する。そして、第2CHF217は、上記把握されたデータ内容と、装置名称及びベンダIDのエントリ名とを用いて上述したキー/システム適合性判断を行う。
S24のキー/システム適合性判断の結果、否定的な結果が得られた場合(S27でN)、第2CHF217は、メモリ223又はLM221に登録されている他の1以上のキー情報を用いて、S24の処理を行う(S28でN)。そして、第2CHF217は、メモリ223又はLM221に登録されている全てのキー情報を用いてS24を行っても、否定的な結果が得られた場合(S27でN、S28でY)、VDEV#に、制御システム情報を対応付けることを拒否する(S29)。その場合、例えば、第2CHF21Bは、制御システム情報の全てを第1CHF21Bに送信しないか、或いは、適合性の無かったベンダID及び装置名称以外の情報項目(例えばWWN及びLUN等)を第1CHF21Bに送信しても良い。そのような情報項目が送信されても、マッピングテーブルTmには、必要な外部デバイス情報の全てが登録されるわけではないので、結局は、VDEV#と外部デバイス情報とは対応付けられない。
その後、第2CHF217は、上述したS10を行っても良い。
S24のキー/システム適合性判断の結果、肯定的な結果が得られた場合(S27でY)、第2CHF21Bは、上述したS4及びS5を行う(S31及びS32)。その後、S11〜S15と同様の処理が行われる(S33〜S37)。
さて、VDEV#と外部システム情報とのマッピングが行われた後、ホスト装置10が第1の記憶制御システム600を介して外部LDEV42との間でデータの入出力を行う場合は、後述する他のテーブルを参照してアドレス変換等が行われる。
図8〜図10を参照して、第1の記憶制御システム600と第2の記憶制御システム40との間のデータ入出力について説明する。まず、データを書き込む場合について、図8及び図9に基づいて説明する。図8は、データ書込み時の処理を示す模式図である。図9は、図8中の処理の流れを各種テーブルとの関係で示す説明図である。
ホスト装置10は、第1の記憶制御システム600から提供された内部LDEV31又は32にデータを書き込むことができる。例えば、SANの中に仮想的なSANサブネットを設定するゾーニングや、アクセス可能なLUNのリストをホスト装置10が保持するLUNマスキングという手法により、ホスト装置10を特定の内部LDEV32に対してのみアクセスさせるように設定できる。
ホスト装置10がデータを書き込もうとする内部LDEVが、VDEV101を介して内部のディスク記憶装置400に接続されている内部LDEV31の場合、通常の処理によってデータが書き込まれる。即ち、ホスト装置10からのデータは、いったんキャッシュメモリ24に格納され、キャッシュメモリ24からDKA22を介して、所定のディスク記憶装置400の所定アドレスに格納される。この際、DKA22は、論理的なアドレスを物理的なアドレスに変換する。また、RAID構成の場合、同一のデータが複数のディスク記憶装置400に記憶される。
これに対し、ホスト装置10が書き込もうとする内部LDEVが、VDEV102を介して外部の記憶デバイス42に接続されている内部LDEV32の場合、図8に示すような流れでデータが書き込まれる。図8(a)は記憶階層を中心に示す流れ図であり、図8(b)はキャッシュメモリ24の使われ方を中心に示す流れ図である。
ホスト装置10は、書込み先の内部LDEV32を特定するLDEV番号とこの内部LDEV32にアクセスするための通信ポート207Aを特定するWWNとを明示して、書込みコマンド(Write)を発行する(S121)。第1の記憶制御システム600は、ホスト装置10からの書込みコマンドを受信すると、第2の記憶制御システム40に送信するための書込みコマンドを生成し、第2の記憶制御システム40に送信する(S122)。第1の記憶制御システム600は、ホスト装置10から受信した書込みコマンド中の書込み先アドレス情報等を、外部LDEV42に合わせて変更することにより、新たな書込みコマンドを生成する。
次に、ホスト装置10は、書き込むべきデータを第1の記憶制御システム40に送信する(S123)。第1の記憶制御システム600に受信されたデータは、内部LDEV32からVDEV101を介して(S124)、外部LDEV42に転送される(S126)。ここで、第1の記憶制御システム600は、ホスト装置10からのデータをキャッシュメモリ24に格納した時点で、ホスト装置10に対し書込み完了の応答(Good)を返す(S125)。第2の記憶制御システム40は、第1の記憶制御システム600からデータを受信した時点で(あるいは記憶デバイス42に書込みを終えた時点で)、書込み完了報告を第1の記憶制御システム600に送信する(S126)。即ち、第1の記憶制御システム600がホスト装置10に対して書込み完了を報告する時期(S125)と、実際にデータが記憶デバイス42に記憶される時期とは相違する(非同期方式)。従って、ホスト装置10は、実際にデータが記憶デバイス42に格納される前にデータ書込み処理から解放され、別の処理を行うことができる。
図8(b)を参照する。キャッシュメモリ24には、多数のサブブロック24Aが設けられている。第1の記憶制御システム600は、ホスト装置10から指定された論理ブロックアドレスをサブブロックのアドレスに変換し、キャッシュメモリ24の所定箇所にデータを格納する(S124)。
図9を参照して、各種テーブルを利用してデータが変換される様子を説明する。図9の上部に示すように、ホスト装置10は、所定の通信ポート207Aに対し、LUN及び論理ブロックアドレス(LBA)を指定してデータを送信する。第1の記憶制御システム600は、内部LDEV32用に入力されたデータ(LUN+LBA)を、図9(a)に示す第1の変換テーブルT1に基づいて、VDEV101用のデータに変換する。第1の変換テーブルT1は、内部のLUN103を指定するデータをVDEV101用データに変換するための、LUN−LDEV−VDEV変換テーブルである。このテーブルT1は、例えばSM25に格納されている(後述のテーブルT2及びT2aについても同様である)。このテーブルT1は、例えば、LUNと、そのLUN103に対応するLDEV32の番号(LDEV#)及び最大スロット数と、LDEV102に対応するVDEV101の番号(VDEV#)及び最大スロット数等を対応付けることにより構成される。また、図示しないが、このテーブルT1には、どのLDEV32のどのLBAが、キャッシュメモリ24のどのスロットのどのサブブロックに対応するか等も登録されていても良い。このようなテーブルT1を第1の記憶制御システム600(例えば第1CHF21B)が参照することにより、ホスト装置10からのデータ(LUN+LBA)は、VDEV101用のデータ(VDEV#+SLOT#+SUBBLOCK#)に変換される。
次に、第1の記憶制御システム600は、図9(b)に示す第2の変換テーブルT2を参照して、VDEV101用のデータを、第2の記憶制御システム40の外部LUN(外部LDEV42)用に送信して記憶させるためのデータに変換する。第2の変換テーブルT2には、例えば、VDEV101の番号(VDEV#)と、そのVDEV101からのデータを第2の記憶制御システム40に送信するためのイニシエータポートの番号と、データ転送先の通信ポート41を特定するためのWWNと、その通信ポートを介してアクセス可能なLUNとが対応付けられている。この第2の変換テーブルT2に基づいて、第1の記憶制御システム600は、記憶させるべきデータの宛先情報を、イニシエータポート番号#+WWN+LUN+LBAの形式に変換する。このように宛先情報が変更されたデータは、指定されたイニシエータポートから通信ネットワークCN2を介して、指定された通信ポート41に到達する。そして、データは、指定されたLUN43でアクセス可能な外部LDEV42の所定の場所に格納される。外部LDEV42は、複数のディスク記憶装置401上に仮想的に構築されているので、データのアドレスは物理アドレスに変換されて、所定のディスクの所定アドレスに格納される。
図9(c)は、別の第2の変換テーブルT2aを示す。この変換テーブルT2aは、外部記憶デバイス42に由来するVDEV101に、ストライプやRAIDを適用する場合に使用される。変換テーブルT2aは、VDEV番号(VDEV#)と、ストライプサイズと、RAIDレベルと、第2の記憶制御システム40を識別するための番号(SS#(ストレージシステム番号))と、イニシエータポート番号と、通信ポート41のWWN及びLUN43の番号とを対応付けることにより構成されている。図9(c)に示す例では、1つのVDEV101は、SS#(1,4,6,7)で特定される合計4つの外部記憶制御システムを利用してRAID1を構成する。また、SS#1に割り当てられている3個のLUN(#0,#0,#4)は、同一デバイス(LDEV#)に設定されている。なお、LUN#0のボリュームは、2個のアクセスデータパスを有する交代パス構造を備えている。このように、本実施例では、外部に存在する複数の論理ボリューム(LDEV)からVDEV101を構成することにより、ストライピングやRAID等の機能を追加した上でホスト装置10に提供することができる。
図10を参照して、第2の記憶制御システム40の外部LDEV42からデータを読み出す場合の流れを説明する。
まず、ホスト装置10は、通信ポート207Aを指定して第1の記憶制御システム600にデータの読み出しコマンドを送信する(S131)。第1の記憶制御システム600は、読み出しコマンドを受信すると、要求されたデータを第2の記憶制御システム40から読み出すべく、読み出しコマンドを生成する。第1の記憶制御システム600は、生成した読み出しコマンドを第2の記憶制御システム40に送信する(S132)。第2の記憶制御システム40は、第1の記憶制御システム600から受信した読み出しコマンドに応じて、要求されたデータを外部LDEV42から読み出して、第1の記憶制御システム600に送信し(S133)、正常に読み出しが完了した旨を報告する(S135)。第1の記憶制御システム600は、図10(b)に示すように、第2の記憶制御システム40から受信したデータを、キャッシュメモリ24の所定の場所に格納する(S134)。
第1の記憶制御システム600は、キャッシュメモリ24に格納されたデータを読み出し、アドレス変換を行った後、LUN103等を介してホスト装置10にデータを送信し(S136)、読み出し完了報告を行う(S137)。これらデータ読み出し時の一連の処理では、図9と共に述べた変換操作が逆向きで行われる。
図10では、ホスト装置10からの要求に応じて、第2の記憶制御システム40からデータを読み出し、キャッシュメモリ24に保存するかのように示している。しかし、これに限らず、外部のLDEV42に記憶されているデータの全部または一部を、予めキャッシュメモリ24に記憶させておくこともできる。この場合、ホスト装置10からの読み出しコマンドに対し、直ちにキャッシュメモリ24からデータを読み出してホスト装置10に送信することができる。
以上、上述した実施形態によれば、第1CHF21Bに搭載されたCHP209のCHPプログラム213は、キー情報の構成に基づいて作成されたものである。そして、キー情報は、第2の記憶制御システム40の種類に関わらず一定のフォーマットになっている(すなわち、キー情報のどの場所にどんな種類の情報が書かれているかは予め決まっている)。そのため、一旦そのキー情報の構成に基づいてCHPプログラム213が作成された後は、例えば、FC−SW2に接続される第2の記憶制御システム40の種類が新たに追加されても、追加された種類の第2の記憶制御システム40に対応したキー情報の構成は同じなので、CHPプログラム213を変更する必要はない。
また、上述した実施形態によれば、キー情報は一種の情報フィルタであり、情報フィルタに対して入力された制御システム情報に含まれる複数の情報項目のうち、その情報フィルタを通過することができた情報項目のみが、VDEV101に対応付けられる。その結果、ホスト装置10は第2の記憶制御システム40内の外部LDEV42にアクセスすることができる。換言すれば、アクセスしたい外部LDEV42を備えた第2の記憶制御システム40の種類に対応するキー情報が第1の記憶制御システム600に無いと、ホスト装置10がその外部LDEV42にアクセスすることはできない。それ故、高いセキュリティが保たれる。
上述した実施形態に対し、上述した特許文献2(特開2001−337850号公報)は、記憶制御システムが直接支配下に置いている内部のディスク記憶装置の論理ボリュームをセクタ単位で再構成するだけのものであり、本実施形態のように、外部LDEV42を仮想的な内部のLDEV32として取り扱うものではない。
また、上述した実施形態によれば、キー管理サーバ8からダウンロードされたキー情報は、SVP23のSVP記憶部207、SM25及びLM211の少なくとも1つに格納される。例えば、SVP23のSVP記憶部207にキー情報が格納された場合は、キー情報を複数の記憶制御システムに送信し易い、換言すれば、複数の記憶制御システム間でキー情報を共有し易い。SM25又はLM211にキー情報が格納された場合は、キー情報を使用した処理を行う際、キー情報をSM25又はLM211から読み出せば良いので、SVP23のSVP記憶部207からキー情報を取得して行う場合に比べて処理を高速に行える。
ところで、上述した実施形態については、幾つかの変形例が考えられる。以下、それについて詳述する。
(1)第1の変形例。
図11は、本実施形態の第1変形例に係る処理流れの一例を示す。
第1の記憶制御システム600(例えば第1CHF21B)は、図6のS7でY、又は、図7のS32の後、取得したデータ(すなわち、キー情報を通過した情報項目の全て)を、ストレージ管理端末6(又はSVP23)に転送する(S50)。
ストレージ管理端末6(又はSVP23)は、受信したデータ(すなわち、キー情報を通過した情報項目の全て)を表示し、クライアント所望のVDEV#と受信したデータとの対応付けをするか否かをクライアントから受け付ける(S51)。
ストレージ管理端末6(又はSVP23)が対応付け要求をクライアントから受けた場合に(S52)、第1の記憶制御システム600は、図6のS11又は図7のS33の処理を実行する。
この第1の変形例によれば、VDEV101に対応付ける情報項目をクライアントに報知し、クライアントの意思に従って、VDEV101と制御システム情報との対応付けを行うことができる。
(2)第2の変形例。
図12は、本実施形態の第2変形例に係る処理流れの一例を示す。
この第2変形例では、キー情報に含まれている課金容量に従って、ホスト装置10が使用できる、第2の記憶制御システム40の記憶容量が制限される。以下、詳述する。
ホスト装置10が、第1の記憶制御システム600のCHA21Aに、外部LDEV42に対する書込みコマンドを送信した場合(S61)、CHA21Aは、SM25を介して第1CHF21B(又は第2CHF217)に書込みメッセージを送信すると共に(S62)、CM24上にバッファ領域を確保し、確保されたバッファ領域に、受信した書込みコマンドに含まれる書込み対象データを格納する(S63)。
第1CHF21B(又は第2CHF217)は、書込み対象データのデータサイズと、外部LDEV42に蓄積されている1又は複数のデータのトータルデータサイズとの合計値を算出する(S64)。そして、第1CHF21B(又は第2CHF217)は、算出された合計値と、外部LDEV42を有する第2記憶制御システム40に対応したキー情報に含まれている記憶容量とを比較する(S65)。
S65の比較の結果、合計値が課金容量以下であれば(S66でY)、第1CHF21B(又は第2CHF217)は、ライト処理を実行する(S67)。例えば、第1CHF21Bは、キャッシュメモリ24内の書込み対象データを第2の記憶制御システム40に転送する。
一方、S65の比較の結果、合計値が課金容量を超えていれば(S66)、第1CHF21B(又は第2CHF217)は、ライト処理を行わない(S68)。その場合、例えば、第1CHF21B(又は第2CHF217)は、ホスト装置10に、ライト処理を行わない旨と、キー情報の追加購入のメッセージとを表示させる(S69)。
なお、キー情報の追加購入のメッセージに従って、キー情報が追加購入される場合には、以下の処理が行われる。
図13は、キー情報が追加購入される場合に行なわれる処理流れの一例を示す。
ストレージ管理端末6が、キー管理サーバ8にアクセスし(S91)、キー管理サーバ8からキー情報メニュー画面を受けて表示する(S92)。そして、ストレージ管理端末6が、キー情報メニュー画面から選択されたキー情報についての追加購入をキー管理サーバ8に指示し(S93)、それに応答して、追加購入されたキー情報を取得する(S94)。
次に、ストレージ管理端末6は、SVP23に、追加購入されたキー情報を転送する(S95A)。SVP23は、受信したキー情報をSVP記憶部207に格納して、そのキー情報を第1又は第2の記憶制御システム600又は40(例えばCHF)に転送する(S95B)。
第1又は第2の記憶制御システム600又は40(例えばCHF)は、受信したキー情報が既にSM25等に格納されていて、そのキー情報が追加購入されたものでなければ(例えば、追加購入された旨のコードが受信したキー情報に付加されていなければ)(S96でN)、SM25等に登録されているキー情報中の記憶容量を追加することを行わない(S97)。一方、第1又は第2の記憶制御システム600又は40(例えばCHF)は、受信したキー情報が既にSM25等に格納されていて、そのキー情報が追加購入されたものであれば(例えば、追加購入された旨のコードが受信したキー情報に付加されていれば)(S96でY)、SM25等に登録されているキー情報中の記憶容量を追加する(S98)。
以上、上述した第2変形例によれば、第2の記憶制御システム40が有する記憶容量のうちの使用可能な記憶容量を、その第2の記憶制御システム40の種類に対応したキー情報中の記憶容量に制限することができる。
また、上述した第2変形例によれば、使用可能な記憶容量は、キー情報を追加購入することによって、増やすことができる。
なお、使用可能な記憶容量を増やすことは、同一のキー情報を追加購入する以外の方法によって行われても良い。また、キー情報中で、課金容量は、第2の記憶制御システム単位、WWN単位、或いはLUN単位毎に細かく設定することもできる。また、例えば、キー情報の追加購入処理は、ホスト装置10が行っても良い。
(3)第3変形例。
キー情報に含まれる情報項目の種類は、ベンダID及び装置名称の少なくとも1つに代えて又は加えて、他種の情報項目を採用することができる。
図14は、本実施形態の第3変形例に係るキー情報の構成例を示す。
第3変形例では、キー情報中の情報項目として、ベンダID及び装置名称に加えて、第2記憶制御システム40の製造番号、WWN、及びそのWWNに属するLUNが採用される。なお、追加された情報項目である製造番号、WWN及びLUNの各々について、エントリ名(その情報項目の内容)や、制御システム情報におけるバイト位置及びバイト数が記録される。
この第3変形例によれば、キー情報に含まれる情報項目の種類が増えるので、より高いセキュリティを実現することができる。
(4)第4変形例。
図15は、本実施形態の第4変形例に係る処理流れを示す。
第4変形例では、VDEV101と外部デバイス情報との対応付けが行われた後、その対応付けの正当性が判断される。
例えば、所定のイベントが発生した場合(例えば定期的に或いはクライアントからの要求に応答して)(S81)、図6のS1〜S5が行われる(S83〜S87)。
その後、第1の記憶制御システム600(例えば第1CHF21B)は、第2の記憶制御システム40から受信した制御システム情報と、その第2の記憶制御システム40の種類に対応したキー情報とを用いて、第2の記憶制御システム40が第1の記憶制御システム600に接続されていることの正当性の判断を行う(S88)。具体的には、例えば、第1の記憶制御システム600は、受信した制御システム情報の全ての情報項目が、情報フィルタであるキー情報を通過することができるか否かをチェックする。
S88の結果、第1の記憶制御システム600は、受信した制御システム情報の全ての情報項目がキー情報を通過することができる場合、上記接続は正当であると判断し(S89でY)、第2の記憶制御システム40(厳密には例えば外部LDEV42)との接続を維持する(S91)。
一方、S88の結果、第1の記憶制御システム600は、受信した制御システム情報中の一部の情報項目(例えばベンダID及び装置名称)がキー情報を通過できない場合、上記接続は不当であると判断する(S89でN)。第1の記憶制御システム600は、SM25等に格納されている他の1以上のキー情報についても、S88の処理を実行する(S90でN)。他の1以上のキー情報についても、S89でNとなれば(S90でY)、第1の記憶制御システム600は、第2の記憶制御システム40(厳密には例えば外部LDEV42)との接続は不当と判断し、その接続を解除する(S92)。具体的には、例えば、第1の記憶制御システム600は、その第2の記憶制御システム40に関する外部デバイス情報をマッピングテーブルTmから消去する。
上述した第4変形例によれば、VDEV101と外部デバイス情報との対応付けが行われた後、その対応付けの正当性が判断され、不当と判断された場合には、その対応付けを解除することができる。
(5)第5変形例。
図16は、本実施形態の第5変形例に係る記憶システムの構成例を示す。
この第5変形例では、ホスト装置10は、FC−SW2に接続され、FC−SW2を介して、第1記憶制御システム600に対するアクセス、及び、第1の記憶制御システム600を介しての第2の記憶制御システム40に対するアクセスが行われる。また、この場合、ホスト装置10には、FC−SW2と通信を行うためのファイバチャネルインターフェース(FC/IF)303が設けられる。
この第5変形例によれば、第1の記憶制御システム600において使用される通信ポートの数を減らすことができる。
(6)第6変形例。
図17は、本実施形態の第6変形例に係る記憶システムの構成例を示す。
第6変形例では、チャネル制御部21に、1以上のチャネルアダプタiSCSI(以下、CHI)21Cが含まれる。CHN21Cには、iSCSIプロトコル及びSCSIプロトコルに従って、通信ネットワーク(例えば、ゲートウェイ、ファイアウォール又はインターネット)CN5に接続された外部機器と通信を行うことができる。CHN21Cには、iSCSIネーム(iSCSIプロトコルにおけるユニークなID)が割当てられた通信ポート207Cが備えられている。通信ポート207Cは、通信ネットワークCN5に接続されている。
また、この第6変形例では、CHI217Sを有する第2の記憶制御システム40Sが備えられる。CHI217Sには、iSCSIネームが割当てられた通信ポート41Sが備えられている。通信ポート41Sは、通信ネットワークCN5に接続されている。
以上の構成により、第1の記憶制御システム600のCHI21Cと、第2の記憶制御システム40SのCHI217Sとが、通信ネットワークCN5を介して互いに通信することができる。
この第6変形例では、上述した実施形態と同様の処理を行うことができる。その際、WWNがiSCSIネームに置き換わる。
図18は、第6変形例において、第1の記憶制御システム600がキー情報を用いて制御システム情報をマッピングテーブルに登録する処理流れを示す。
この図18と、前述した図6とを比較すれば分かるように、WWNがiSCSIネームに置き換わるが、この処理流れS501〜S514では、図6を参照して説明した処理流れS1〜S14と同様になる。これにより、図19に例示するようなマッピングテーブルTmmが構築される。
以上の例から分かるように、上述した実施形態は、第1の記憶制御システム600と第2の記憶制御システム40SとがiSCSIプロトコルに基づいて通信し合う場合にも適用することができる。
(7)第7変形例。
図20は、本実施形態の第7変形例に係る記憶システムの構成例を示す。
第7変形例では、第2の記憶制御システム40に、第1の記憶制御システム600が接続されていない通信ネットワーク(第1の記憶制御システム600が接続されていても良い)CN6を介して第3の記憶制御システム80に接続されている。この場合、上述した実施形態を適用することで、ホスト装置10には、第3の記憶制御システム内の外部LDEV43を、第1の記憶制御システム600の内部LDEV32として認識させることができる。
また、この第7変形例では、例えば、第2の記憶制御システム40AのCHF217が、第3の記憶制御システム80内の外部LDEV43を第1の記憶制御システム600の内部LDEV32に対応付けるか否かを制御することができる。具体的には、例えば、図6において、第1の記憶制御システム600のCHF21Bが、キー情報を有している第2の記憶制御システム40のCHF217に置き換わり、第2の記憶制御システム40AのCHF217が、第3の記憶制御システム80のCHF217Cに置き換われば、外部LDEV43の対応付けに関する上述した制御を行うことができる。
なお、この第7変形例でも、第6の変形例を適用することができる。
以上、本発明の実施形態及び変形例を説明したが、これらは本発明の説明のための例示であって、本発明の範囲をこの実施形態及び変形例にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。例えば、上述した実施形態では、ディスクアレイ装置を中心に説明したが、これに限らず、インテリジェント化されたファイバチャネルスイッチにも適用することができる。また、例えば、図6及び図7で説明した第1CHF21Bの処理は、第1CHF21Bに代わって、第1の記憶制御システム600の他の構成要素(例えばCHA21A又はDKA22)が行っても良い。同様に、例えば、図6及び図7で説明した第2CHF217の処理は、第2CHF217に代わって、第2の記憶制御システム40の他の構成要素(例えばCHA又はDKA)が行っても良い。また、例えば、共有メモリ25及びキャッシュメモリ24は、物理的に分離せずに一体となっていても良い。また、例えば、第1CHF21Bは、FC−SW2だけでなくホスト装置10に接続されても良い。また、例えば、チャネル制御部21とディスク制御部800は一体となっていても良い。
本発明の一実施形態に係る記憶システムの構成を示すブロック図。 第1の記憶制御システム600と第2の記憶制御システム40との論理的な接続構造を示す模式図。 他の論理的構成の概要を示す模式図である。 マッピングテーブルの概要を示す説明図である。 キー情報が第1の記憶制御システム600に取り込まれるまでの処理流れを示す。 第1の記憶制御システム600がキー情報を用いて制御システム情報をマッピングテーブルに登録する処理流れを示す。 第1CHF21Bが、LM221又はメモリ223に格納されている1又は複数のキー情報を用いて、制御システム情報をVDEV#に対応付けても良いか否かを判断する場合の処理流れの一例を示す。 外部LDEVにデータを書き込む場合の概念図。 書込みデータのアドレス変換の様子を模式的に示す説明図。 外部LDEVからデータを読み出す場合の概念図である。 本実施形態の第1変形例に係る処理流れの一例を示す。 本実施形態の第2変形例に係る処理流れの一例を示す。 本実施形態の第2変形例において、キー情報が追加購入される場合に行なわれる処理流れの一例を示す。 本実施形態の第3変形例に係るキー情報の構成例を示す。 本実施形態の第4変形例に係る処理流れを示す。 本実施形態の第5変形例に係る記憶システムの構成例を示す。 本実施形態の第6変形例に係る記憶システムの構成例を示す。 第6変形例において、第1の記憶制御システム600がキー情報を用いて制御システム情報をマッピングテーブルに登録する処理流れを示す。 第6変形例におけるマッピングテーブルTmmの構成例を示す。 本実施形態の第7変形例に係る記憶システムの構成例を示す。
符号の説明
2…ファイバチャネルスイッチ(FC−SW)、6…ストレージ管理端末、8…キー管理サーバ、10…ホスト装置、11…アプリケーションプログラム、12…アダプタ、20…記憶制御サブシステム、21…チャネル制御部、21A…チャネルアダプタ(CHA)、21B…ファイバチャネルアダプタ(CHF)、22…ディスクアダプタ、23…SVP(Service Processor)、24…キャッシュメモリ、25…共有メモリ、26…接続部、30…ディスクユニット、31、32…内部LDEV、40…第2の記憶制御システム、41…通信ポート、42…外部LDEV、101…VDEV(仮想デバイス)、102…LDEV(論理デバイス)、103…LUN、600…第1の記憶制御システム、800…ディスク制御部、801…保守管理システム、Tm…マッピングテーブル

Claims (10)

  1. 外部記憶制御システム及び上位装置と接続され、前記上位装置が前記外部記憶制御システム内の記憶資源にアクセスすることを制御する記憶制御システムにおいて、
    複数の物理記憶デバイスと、
    前記上位装置と前記物理記憶デバイスとの間でやり取りされるデータを格納するキャッュメモリと、
    前記データに関する制御情報と、一定の構成を有する1又は複数のキー情報と、が格納される共有メモリと、
    前記上位装置及び前記外部記憶制御システムの少なくとも一方と前記キャッシュメモリとの間のデータ通信を制御するチャネル制御部と、
    前記キャッシュメモリと前記物理記憶デバイスとの間のデータ通信を制御し、前記複数の物理記憶デバイスを用いて複数の論理記憶デバイスを前記上位装置に提供するディスク制御部と、
    を備え、
    前記外部記憶制御システムは、前記外部記憶制御システムのベンダID及び装置名称の少なくとも一方を示す第1情報項目と、前記外部記憶制御システム内の論理記憶デバイスの識別子であるLUNを示す第2情報項目とを含む制御システム情報を有し、
    前記1又は複数のキー情報の各々は、
    そのキー情報に対応する外部記憶制御システムのベンダID及び装置名称の少なくとも一方とLUNとを示す第1情報要素と、前記制御システム情報中の前記第1情報項目と前記第2情報項目の格納位置を示す第2情報要素と、前記制御システム情報中の前記第1情報項目と前記第2情報項目のデータサイズを示す第3情報要素とを含み、
    前記外部記憶制御システムから前記制御システム情報を受信すると、
    前記チャネル制御部が、
    前記1又は複数のキー情報各々ついて、当該キー情報に含まれる前記第2情報要素が示す、前記受信した制御システム情報中の格納位置に、当該キー情報に含まれる前記第1要素中の前記第1情報項目および前記第2情報項目が示す前記外部記憶制御システムのベンダID及び装置名称の少なくとも一方とLUNとが、前記受信した制御システム情報の前記第1情報項目および前記第2情報項目として、当該キー情報に含まれる前記第3情報要素が示す前記第1情報項目および前記第2情報項目のデータサイズで、含まれるか否かの判断を行い、
    前記1又は複数のキー情報のいずれかにおいて肯定的な判断結果が得られた場合には、前記上位装置と前記外部記憶制御システム内の前記論理記憶デバイスとの間の論理パスを形成し、
    前記1又は複数のキー情報のいずれにおいても否定的な判断結果が得られた場合には、前記論理パスを形成しない、
    記憶制御システム。
  2. 前記チャネル制御部には、前記記憶制御システムを保守又は管理するための保守管理システムが接続されており、
    前記チャネル制御部の制御プロセッサは、前記肯定的な判断結果が得られた場合には、前記受信した制御システム情報が有する全ての情報項目を前記保守管理システムに送信して表示させ、前記保守管理システムから論理パス形成要求を受けた場合に、前記論理パスを形成する、
    請求項1記載の記憶制御システム。
  3. 前記キー情報の所定の場所には、そのキー情報に対応する外部記憶制御システム内の記憶資源のうちの使用可能な記憶容量を示す情報要素が含まれており、
    前記チャネル制御部の制御プロセッサは、前記上位装置から書込み対象データを受けた場合、前記書込み対象データのデータサイズと、前記外部記憶制御システム内に蓄積されている1又は複数のデータのトータルデータサイズとの合計値が、前記外部記憶制御システムに対応したキー情報中の記憶容量が越えるか否かを判断し、超えない場合に、前期書込み対象データを前記外部記憶制御システム内の記憶資源に格納する、
    請求項1記載の記憶制御システム。
  4. 前記チャネル制御部の制御プロセッサは、前記合計値が前記記憶容量を超えた場合、前記上位装置に、前記キー情報中の情報要素が示す記憶容量を増やすことが必要であることを通知し、その後、前記記憶容量を増やすためのデータを受信したならば、前記キー情報中の記憶容量の値を増やす、
    請求項記載の記憶制御システム。
  5. 前記チャネル制御部の制御プロセッサは、前記論理パスを形成した後、所定のイベントが発生した場合には、前記外部記憶制御システムから前記制御システム情報を受信して、前記判断を行い、否定的な判断結果が得られたならば、前記論理パスを消去する、
    請求項1記載の記憶制御システム。
  6. 前記チャネル制御部には、前記記憶制御システムを保守又は管理するための保守管理システムが接続されており、
    前記保守管理システムは、データを記憶する保守管理記憶部を備えており、
    前記キー情報は、複数種類の外部記憶制御システムにそれぞれ対応した複数のキー情報を蓄積するキー管理データベースから前記保守管理システムにダウンロードされて前記キー情報格納領域に格納されたものであり、
    前記キー情報格納領域は、前記共有メモリ、前記チャネル制御部の制御プロセッサが使用するローカルメモリ、及び前記保守管理記憶部のうちの少なくとも1つに設けられている、
    請求項1記載の記憶制御システム。
  7. 前記チャネル制御部には、前記外部記憶制御システムに接続されるファイバチャネルアダプタ又はi S C S I アダプタが含まれており、
    前記制御プロセッサは、前記ファイバチャネルアダプタ又は前記i S C S I アダプタに搭載されている、
    請求項1記載の記憶制御システム。
  8. 前記ファイバチャネルアダプタ又は前記i S C S I アダプタは、S C S I プロトコルに従う照会コマンドを前記外部記憶制御システムに送信し、前記照会コマンドに応答して、前記制御システム情報を前記外部記憶制御システムから受信する、
    請求項記載の記憶制御システム。
  9. 前記論理記憶デバイスと前記物理記憶デバイスとの間に仮想中間記憶デバイスを備え、
    前記チャネル制御部の制御プロセッサは、前記仮想中間記憶デバイスにおける論理的な場所に対して、前記論理記憶デバイスと、前記外部記憶制御システム内の記憶資源である外部論理記憶デバイスとを対応付けることにより、前記論理パスを形成する、
    請求項1記載の記憶制御システム。
  10. 上位装置に接続される第1の記憶制御システムと、前記第1の記憶制御システムに接続される第2の記憶制御システムとを備えた記憶システムにおいて、
    前記第2の記憶制御システムは、
    前記第1の記憶制御システムとの間のデータ通信を制御するチャネル制御部と、
    一定の構成を有する1又は複数のキー情報が格納される共有メモリと、
    を備え、
    前記第2の記憶制御システムは、前記第2の記憶制御システムのベンダID及び装置名称の少なくとも一方を示す第1情報項目と、前記第2の記憶制御システム内の論理記憶デバイスの識別子であるLUNを示す第2情報項目とを含む複数の情報項目を有する制御システム情報を備え、
    前記1又は複数のキー情報の各々は、
    そのキー情報に対応する第2の記憶制御システムのベンダID及び装置名称の少なくとも一方とLUNとを示す第1情報要素と、前記制御システム情報中の前記第1情報項目と前記第2情報項目の格納位置を示す第2情報要素と、前記制御システム情報中の前記第1情報項目と前記第2情報項目のデータサイズを示す第3情報要素とを含み、
    前記第1の記憶制御システムが、前記第2の記憶制御システムから前記制御システム情報を受信すると、
    前記チャネル制御部の制御プロセッサが、
    前記1又は複数のキー情報各々ついて、当該キー情報に含まれる前記第2情報要素が示す、前記受信した制御システム情報中の格納位置に、当該キー情報に含まれる前記第1要素中の前記第1情報項目および前記第2情報項目が示す前記第2の記憶制御システムのベンダID及び装置名称の少なくとも一方とLUNとが、前記受信した制御システム情報の前記第1情報項目および前記第2情報項目として、当該キー情報に含まれる前記第3情報要素が示す前記第1情報項目および前記第2情報項目のデータサイズで、含まれるか否かの判断を行い、
    前記1又は複数のキー情報のいずれかにおいて肯定的な判断結果が得られた場合には、前記制御システム情報に含まれる全ての情報項目を前記第1の記憶制御システムに送信し、
    前記1又は複数のキー情報のいずれにおいても否定的な判断結果が得られた場合には、前記制御システム情報を送信しない、或いは、適合しない情報項目を除く情報項目のみを前記第1の記憶制御システムに送信し、
    前記第1の記憶制御システムは、前記制御システム情報に含まれる全ての情報項目を前記第2の記憶制御システムから受信したとき、前記受信した情報項目を基に、前記上位装置と前記第2の記憶制御システム内の前記論理記憶デバイスとの間の論理パスを形成し、一方、前記制御システム情報に含まれる全ての情報項目を受信しない又は一部の情報項目のみを受信したときは、前記論理パスを形成しない、
    記憶システム。
JP2004061641A 2004-03-05 2004-03-05 記憶制御システム Expired - Fee Related JP4497957B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2004061641A JP4497957B2 (ja) 2004-03-05 2004-03-05 記憶制御システム
US10/834,873 US7117331B2 (en) 2004-03-05 2004-04-30 Storage control system
DE602005017526T DE602005017526D1 (de) 2004-03-05 2005-02-01 Speichersteuersystem
EP05250540A EP1571543B1 (en) 2004-03-05 2005-02-01 Storage control system
US11/490,101 US7237083B2 (en) 2004-03-05 2006-07-21 Storage control system
US11/798,658 US7587567B2 (en) 2004-03-05 2007-05-16 Storage control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004061641A JP4497957B2 (ja) 2004-03-05 2004-03-05 記憶制御システム

Publications (2)

Publication Number Publication Date
JP2005250925A JP2005250925A (ja) 2005-09-15
JP4497957B2 true JP4497957B2 (ja) 2010-07-07

Family

ID=34747683

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004061641A Expired - Fee Related JP4497957B2 (ja) 2004-03-05 2004-03-05 記憶制御システム

Country Status (4)

Country Link
US (3) US7117331B2 (ja)
EP (1) EP1571543B1 (ja)
JP (1) JP4497957B2 (ja)
DE (1) DE602005017526D1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3898651B2 (ja) * 2003-02-25 2007-03-28 株式会社東芝 情報表示装置、情報表示方法および情報表示システム
JP4613487B2 (ja) * 2003-11-07 2011-01-19 ソニー株式会社 電子機器、情報処理システム、情報処理装置および方法、プログラム、並びに記録媒体
JP4497957B2 (ja) 2004-03-05 2010-07-07 株式会社日立製作所 記憶制御システム
US7287127B2 (en) * 2004-08-05 2007-10-23 International Business Machines Corporation Adaptive scheduler using inherent knowledge of operating system subsystems for managing resources in a data processing system
JP2006134049A (ja) * 2004-11-05 2006-05-25 Hitachi Ltd ホスト装置が接続される制御装置の接続部とその制御装置が備える記憶デバイスとの間の論理パスを生成する装置及び方法
JP2006178811A (ja) * 2004-12-24 2006-07-06 Hitachi Ltd ストレージシステム及びストレージシステムのパス制御方法
JP4718285B2 (ja) * 2005-09-22 2011-07-06 株式会社日立製作所 ファイル管理機能を備えたコンピュータシステム、ストレージ装置およびファイル管理方法
CN101272295B (zh) * 2007-03-21 2012-01-25 联想(北京)有限公司 支持多投影源的虚拟网络投影系统及方法
JP2008250591A (ja) * 2007-03-30 2008-10-16 Hitachi Ltd デバイスを管理する計算機
JP2009181385A (ja) * 2008-01-31 2009-08-13 Hitachi Ltd ストレージシステム、その暗号鍵管理方法及び暗号鍵管理プログラム
JP5183403B2 (ja) * 2008-09-30 2013-04-17 株式会社日立製作所 ストレージシステムおよび制御プログラムならびにストレージシステム制御方法
WO2011111089A1 (ja) * 2010-03-08 2011-09-15 株式会社日立製作所 Raid1系のraidグループを有するストレージ装置、及び、raid1系のraidグループへの書込みの制御方法
CN102244653B (zh) 2010-05-14 2014-07-23 杭州华三通信技术有限公司 一种存储虚拟化的动态维护方法和系统
JP5425117B2 (ja) 2011-01-26 2014-02-26 株式会社日立製作所 計算機システム、及びその管理方法、並びにプログラム
JP5250143B2 (ja) * 2012-07-23 2013-07-31 株式会社日立製作所 ストレージシステムおよびストレージシステム制御方法
US9594512B1 (en) 2015-06-19 2017-03-14 Pure Storage, Inc. Attributing consumed storage capacity among entities storing data in a storage array
KR102664665B1 (ko) * 2016-08-22 2024-05-16 에스케이하이닉스 주식회사 메모리 시스템
WO2020113875A1 (zh) * 2018-12-07 2020-06-11 华为技术有限公司 一种控制设备的切换方法、控制设备、及存储系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000267982A (ja) * 1999-03-16 2000-09-29 Fuji Xerox Co Ltd 情報処理装置
JP2003316618A (ja) * 2002-04-26 2003-11-07 Hitachi Ltd コンピュータシステム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US131207A (en) * 1872-09-10 Improvement in friction clutches amd brakes
US169901A (en) * 1875-11-16 Improvement in water-wheels
US5325424A (en) * 1991-04-22 1994-06-28 Motorola, Inc. Method of automatically establishing a communication path between two devices
JPH06274384A (ja) * 1993-03-22 1994-09-30 N T T Data Tsushin Kk 実行ファイル差分抽出/更新装置及び実行ファイル差分抽出方法
JPH0895836A (ja) * 1994-09-21 1996-04-12 Midori Denshi Kk 記憶装置の区画データ変換装置および方法
US5680640A (en) 1995-09-01 1997-10-21 Emc Corporation System for migrating data by selecting a first or second transfer means based on the status of a data element map initialized to a predetermined state
JP4651230B2 (ja) 2001-07-13 2011-03-16 株式会社日立製作所 記憶システム及び論理ユニットへのアクセス制御方法
US6553471B1 (en) 2000-02-07 2003-04-22 Emc Corporation Controlling access to a storage device by controlling communication ports thereto
US6823398B1 (en) 2000-03-31 2004-11-23 Dphi Acquisitions, Inc. File system management embedded in a storage device
JP4719957B2 (ja) 2000-05-24 2011-07-06 株式会社日立製作所 記憶制御装置及び記憶システム並びに記憶システムのセキュリティ設定方法
JP2001337850A (ja) 2000-05-25 2001-12-07 Hitachi Ltd 記憶装置および記憶装置の制御方法
US7269631B2 (en) 2000-06-02 2007-09-11 Hewlett-Packard Development Company, L.P. Architecture for parallel distributed table driven I/O mapping
JP4039821B2 (ja) 2001-05-09 2008-01-30 株式会社日立製作所 ディスク制御装置を用いた計算機システムおよびその運用サービス
JP2003202964A (ja) 2002-01-09 2003-07-18 Hitachi Ltd 計算機システムの制御方法、計算機システム、記憶装置の制御方法及び記憶装置
JP4704659B2 (ja) 2002-04-26 2011-06-15 株式会社日立製作所 記憶装置システムの制御方法および記憶制御装置
JP2004072636A (ja) * 2002-08-08 2004-03-04 Fujitsu Ltd 画像転送方法、画像転送装置、コンピュータプログラム及び記録媒体
JP4497957B2 (ja) 2004-03-05 2010-07-07 株式会社日立製作所 記憶制御システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000267982A (ja) * 1999-03-16 2000-09-29 Fuji Xerox Co Ltd 情報処理装置
JP2003316618A (ja) * 2002-04-26 2003-11-07 Hitachi Ltd コンピュータシステム

Also Published As

Publication number Publication date
US20060259709A1 (en) 2006-11-16
US7587567B2 (en) 2009-09-08
EP1571543A3 (en) 2005-11-16
US7237083B2 (en) 2007-06-26
US20070226441A1 (en) 2007-09-27
US20050198434A1 (en) 2005-09-08
EP1571543B1 (en) 2009-11-11
US7117331B2 (en) 2006-10-03
EP1571543A2 (en) 2005-09-07
JP2005250925A (ja) 2005-09-15
DE602005017526D1 (de) 2009-12-24

Similar Documents

Publication Publication Date Title
EP1571543B1 (en) Storage control system
EP1571542B1 (en) Storage control system and method
JP4307202B2 (ja) 記憶システム及び記憶制御装置
EP2246777B1 (en) Storage system and operation method of storage system
JP4990505B2 (ja) 記憶制御装置及びストレージシステム
JP4555036B2 (ja) ストレージ装置及びストレージ装置のデバイス切替制御方法
JP4252301B2 (ja) 記憶システム及びそのデータバックアップ方法
JP4634136B2 (ja) 記憶制御システム
US8296468B2 (en) Storage controller and controlling method therefor
JP2006178811A (ja) ストレージシステム及びストレージシステムのパス制御方法
JP2005165444A (ja) ディスクアレイ装置、及びディスクアレイ装置の制御方法
JP4640770B2 (ja) 外部の装置に接続される制御装置
JP2006134049A (ja) ホスト装置が接続される制御装置の接続部とその制御装置が備える記憶デバイスとの間の論理パスを生成する装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070131

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100413

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100413

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4497957

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140423

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees