JP5391994B2 - ストレージシステム,制御装置および診断方法 - Google Patents
ストレージシステム,制御装置および診断方法 Download PDFInfo
- Publication number
- JP5391994B2 JP5391994B2 JP2009240572A JP2009240572A JP5391994B2 JP 5391994 B2 JP5391994 B2 JP 5391994B2 JP 2009240572 A JP2009240572 A JP 2009240572A JP 2009240572 A JP2009240572 A JP 2009240572A JP 5391994 B2 JP5391994 B2 JP 5391994B2
- Authority
- JP
- Japan
- Prior art keywords
- wiring
- unit
- control signal
- physical
- storage device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2089—Redundant storage control functionality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2002—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
- G06F11/2007—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media
- G06F11/201—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media between storage system components
Description
図10は複数のドライブエンクロージャをそなえたストレージシステムの構成を模式的に示す図である。
このコントローラエンクロージャ101は、図10に示すように、コントローラモジュール111a,111bおよびHDD105をそなえて構成されている。
RAIDコントローラ112はRAIDの実現にかかる制御を行なうものである。SASエキスパンダ104はRAIDコントローラ112とHDD105とを中継するものであり、ホストI/Oに基づくデータ転送を行なう。すなわち、RAIDコントローラ112は、データストレージシステム100にそなえられたHDD105に対して、SASエキスパンダ104を介してアクセスする。
また、コントローラエンクロージャ101において、RAIDコントローラ112は、同一のコントローラモジュール111a(111b)内のSASエキスパンダ104と、他のコントローラモジュール111b(111a)のSASエキスパンダ104とにそれぞれ接続されている。
また、エキスパンダモジュール103a,103bは互いにほぼ同様の構成を有しており、それぞれSASエキスパンダ104をそなえている。又、ドライブエンクロージャ102−1,102−2においては、各HDD105はそれぞれエキスパンダモジュール103a,103bの各SASエキスパンダ104とそれぞれ接続されている。
より詳細には、コントローラエンクロージャ101のコントローラモジュール111aのSASエキスパンダ104には、ドライブエンクロージャ102−1のエキスパンダモジュール103aのSASエキスパンダ104がワイドリンク201a−1を介して接続されている。同様に、コントローラエンクロージャ101のコントローラモジュール111bのSASエキスパンダ104には、ドライブエンクロージャ102−1のエキスパンダモジュール103bのSASエキスパンダ104がワイドリンク201b−1を介して接続されている。
また、ドライブエンクロージャ102−2のエキスパンダモジュール103a,103bの各SASエキスパンダ104は、ワイドリンク201a−3,201b−3を介して他のデバイス(図示省略)に接続されている。
ワイドリンク201は、物理配線(物理リンク)としてのphyを複数本(例えば4本)並列的に束ねることにより構成された通信線である。そして、データストレージシステム100においては、上位装置からのホストI/O等が、このワイドリンク201におけるいずれかphyを介して伝送される。
ここで、図11(a)に示すように、ワイドリンク201b−1の1つのphyに異常が生じた場合には、そのワイドリンク201b−1を経路とするホストI/Oで不定期にエラーが発生することになる。すなわち、図11(a),(b)に示す例においては、ワイドリンク201b−1のphy異常により、コントローラモジュール111a,111bは、ドライブエンクロージャ103bのSASエキスパンダ104に対するホストI/Oにおいて不定期にエラーを検出する。
このように、SASエキスパンダ104を縮退させると、システムの冗長性が失われ、又、ホストI/Oの性能効率も半減する。従って、SASエキスパンダ104の縮退を頻繁に行なうと、データストレージシステム100の性能が大きく低減するという課題がある。従って、システム管理者においては、データストレージシステム100の運用に際しては、SASエキスパンダ104の縮退は極力行ないたくないという要望がある。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本発明の他の目的の1つとして位置付けることができる。
効化する無効化部と、該無効化された該被選択物理配線以外の該物理配線を用いたデータ転送において、当該ストレージシステムに接続された上位装置から該記憶装置に対して送信される制御信号に基づくアクセス制御信号の、該物理配線を介したデータ転送結果に基づいて、伝送路異常の発生の有無を確認する確認部と、該確認部により該伝送路異常の発生が確認された場合に、該被選択物理配線を正常配線と認定する認定部と、該ストレージ機器と当該ストレージ機器に接続された並列配線とを隔離状態にする隔離部と、該記憶装置に対するアクセス制御信号を生成するアクセス制御信号生成部とをそなえ、該選択部が、該隔離部によって隔離された該並列配線について、当該並列配線に含まれる該複数の物理配線のうち少なくとも一の該物理配線を被選択物理配線として選択し、該無効化部が、該選択部により選択された該被選択物理配線を無効化し、該確認部が、該上位装置から該記憶装置に対して送信される該制御信号に基づく該アクセス制御信号に替えて、該アクセス制御信号生成部によって生成された該アクセス制御信号の、該無効化部により該無効化された該被選択物理配線以外の該物理配線を介したデータ転送結果に基づいて該伝送路異常の発生の有無を確認し、該認定部が、該確認部によって該伝送路異常の発生が確認された場合に、該被選択物理配線を正常であると認定する。
(1)並列配線における正常な物理配線を明確にすることができる。
(2)並列配線を構成する個々の物理配線の診断を容易且つ確実に行なうことができ利便性が高い。
図1は実施形態の一例としてのストレージシステムの機能構成例を模式的に示す図であり、図2はそのハードウェア構成例を模式的に示す図である。
本実施形態のストレージシステム1は、図1に示すように、1以上(図1に示す例では1つ)の上位装置4に接続され、この上位装置4に対して記憶領域を提供するものである。なお、上位装置4は、例えば、サーバ機能をそなえたコンピュータ(情報処理)である。
以下、本実施形態においては、ワイドリンク70を構成する4本のphyを符号#0〜#3を用いて特定する場合がある(図3〜図5等参照)。
ドライブエンクロージャ3−1,3−2は、それぞれ、複数(図1,図2に示す例では6つ)のHDD60をそなえ、これらのHDD60の記憶領域を利用可能に提供する装置である。これらのドライブエンクロージャ3−1,3−2は互いにほぼ同様の構成を有しており、それぞれエキスパンダモジュール40a,40bと6つのHDD60をそなえて構成されている。
また、エキスパンダモジュール40a,40bは互いにほぼ同様の構成を有しており、それぞれSASエキスパンダ20をそなえている。又、各ドライブエンクロージャ3において、各HDD60はそれぞれ各エキスパンダモジュール40a,40bのSASエキスパンダ20と接続されている。
以下、エキスパンダモジュールを示す符号としては、複数のエキスパンダモジュールのうち1つを特定する必要があるときには符号40a,40bを用いるが、任意のエキスパンダモジュールを指すときには符号40を用いる。
SASエキスパンダ20は、RAIDコントローラ10とHDD60とを中継するものであり、ホストI/Oに基づくデータ転送を行なう。すなわち、RAIDコントローラ10は、本ストレージシステム1にそなえられたHDD60に対して、SASエキスパンダ20を介してアクセスする。
ワイドポート21,22は、それぞれ他のSASエキスパンダ20と接続するためのポートであり、ワイドリンク70が接続される。すなわち、ワイドポート21,22には、ワイドリンク70のphyと同数(本実施形態ではphy#0〜#3の4つ)のポートがそなえられ、これらのポートにはワイドリンク70のphyがそれぞれ1つずつ接続される。すなわち、ワイドポート21,22は、phy#0〜#3に対応してそなえられている。
HDD60はデータを読み書き可能に格納する記憶装置である。図1に示す例においては6つのHDD60がそなえられており、これらのHDD60は、互いにほぼ同様の構成をそなえている。又、各HDD60は、エキスパンダモジュール40a,40bの各SASエキスパンダ20にそれぞれ通信可能に接続されている。
このコントローラエンクロージャ2は、図1に示すように、コントローラモジュール30a,30bおよびHDD60をそなえて構成されている。
コントローラエンクロージャ2には、ワイドリンク70a−1,70b−1を介してドライブエンクロージャ3−1が接続されている。又、ドライブエンクロージャ3−1には、ワイドリンク70a−2,70b−2を介してドライブエンクロージャ3−2が接続されている。
また、ドライブエンクロージャ3−2のエキスパンダモジュール40a,40bの各SASエキスパンダ20は、ワイドリンク70a−3,70b−3を介して他のデバイス(図示省略)に接続されている。
RAIDコントローラ10はRAIDの実現や種々の制御を行なうものであり、
図2に示すように、プロセッサ301,メモリ302,およびSASコントローラ304,305をそなえて構成されている。
SASコントローラ304,305は、SASに関する種々の制御を行なうものであり、SASコントローラ304はワイドポート306を、SASコントローラ305はワイドポート307を、それぞれそなえている。ワイドポート306,307は、それぞれSASキスパンダ25と通信可能に接続するためのポートであり、ワイドリンク71が接続される。
すなわち、ワイドポート306,307には、ワイドリンク71のphyと同数(本実施形態では4つ)のポートがそなえられ、これらのポートにはワイドリンク71のphyがそれぞれ1つずつ接続される。
これにより、コントローラモジュール30aのRAIDコントローラ10は、当該RAIDコントローラ10を搭載したコントローラモジュール30aのSASエキスパンダ25と、他のコントローラモジュール30bのSASエキスパンダ25との両方に対して接続可能に構成されている。同様に、コントローラモジュール30bのRAIDコントローラ10は、当該RAIDコントローラ10を搭載したコントローラモジュール30bのSASエキスパンダ25と、他のコントローラモジュール30aのSASエキスパンダ25との両方に対して接続可能に構成されている。
SASエキスパンダ25は、SASエキスパンダ20と同様に、RAIDコントローラ10に対して、SASエキスパンダ20やとHDD60を中継するものであり、ホストI/Oに基づくデータ転送を行なう。このSASエキスパンダ25はSASエキスパンダ20とほぼ同様の構成をそなえ、更に、ワイドポート24をそなえている。
例えば、プロセッサ301は、RAIDの実現や上位装置4からのホストI/Oに応じたHDD60へのアクセス制御等、既知のRAIDコントローラとしての種々の機能を実現する。
具体的には、プロセッサ301は、制御プログラム303を実行することにより、後述する、選択部11,無効化部12,確認部13,隔離部14,アクセス制御信号生成部17,認定部15および異常検出部16として機能する。
また、本ストレージシステム1において、いずれかのSASエキスパンダ20,25が切り離された場合には、そのSASエキスパンダ20の下流の同系のSASエキスパンダ20やワイドリンク70に対するアクセスも遮断される。
なお、本実施形態においては、a系もしくはb系のうち、同じ系を構成するようにカスケード接続されたワイドリンク70にそなえられたphy#0〜#3の各phyは、それぞれ一体的に扱われる。
これにより、例えば、ワイドリンク70a−1のphy#0は、ワイドリンク70a−2およびワイドリンク70a−3の各phy#0と一体的に取り扱われる。すなわち、phy#0を切り離す(無効化する)という場合には、これらのワイドリンク70a−1,70a−2,70a−3の全てのphy#0が無効化される。同様に、a系を構成するワイドリンク70においてphy#1を切り離す(無効化する)という場合にはワイドリンク70a−1,70a−2,70a−3の全てのphy#1が無効化される。又、a系を構成するワイドリンク70においてphy#2を切り離すという場合にはワイドリンク70a−1,70a−2,70a−3の全てのphy#2が無効化される。更に、a系を構成するワイドリンク70においてphy#3を切り離すという場合にはワイドリンク70a−1,70a−2,70a−3の全てのphy#3が無効化される。
確認部13は、ワイドリンク70のうち、無効化部12により無効化された被選択phy以外のphyを用いたデータ転送において伝送路異常によるデータ転送異常の発生の有無を確認する。具体的には、確認部13は、上位装置4から送信されるホストI/O(制御信号)に基づいてRAIDコントローラ10によって作成されたアクセス制御信号(ホストI/O制御信号)や、後述するアクセス制御信号生成部17によって生成されるアクセス制御信号(テストI/O制御信号)について、無効化部12により無効化された被選択phy以外のphyを介したデータ転送において、伝送路異常の発生の有無を確認する。
例えば、ホストI/O制御信号やテストI/O制御信号のphyを介したデータ転送中においてデータ転送エラーが検出された場合に、確認部13は、メモリ302等から無効化部12により無効化されているphyの識別情報を取得する。そして、確認部13は、メモリ302等に、当該識別番号に対応させて確認結果を示す情報(フラグ等)を格納する。
認定部15は、無効化部12により被選択phyが無効化されている状態において、この被選択phy以外のphyを用いたデータ転送において、伝送路異常の発生が確認部13により確認された場合に、この被選択phyを正常配線と認定する。被選択phyを切り離した状態での本ストレージシステム1の運用中において、伝送路異常が発生した場合には、この切り離していた被選択phyは安全なものであると判断できる。
図4および図5は本ストレージシステム1におけるphyの診断手法を例示する図である。ここで、図4は、図3に示した例においてphy#1を切り離した状態での運用時に伝送路異常が生じた状態を示す図、図5は図4に示す例において伝送路異常が検出されたphy#1を無効化部12が切り離した状態を示す図である。
そして、図5に示すように、残りの未確認のphyの中から、同様に選択した1本の被選択phyを試験的に切り離して運用を行なう。このような処理をワイドリンク70を構成する全てのphyに対して順次行なうことにより、安全なphyを切り分け、異常なphyを特定する。最終的に、このように特定した異常phyを本ストレージシステム1から切り離すことで伝送路(ワイドリンク70)の安全が確保できる。なお、異常phyの認定に際して、認定部15は、ワイドリンク70を構成する複数のphyのうち、正常配線であると認定しないphyを異常phy(異常配線)と認定する。
そして、このように切り替えられた被選択phyについて、無効化部12による被選択phyの無効化や、確認部13による被選択phy以外のphyを用いたデータ転送における伝送路異常の発生の有無の確認がそれぞれ行なわれる。
また、このように無効化部12により異常配線が無効化された状態での運用において、確認部13が更に伝送路異常を検出した場合には、隔離部14は、その伝送路異常にかかるSASエキスパンダ20およびワイドリンク70を本ストレージシステム1から隔離状態にする。
図6は本ストレージシステム1において切り離しを行なった状態を例示する図であり、コントローラモジュール30bの下流側のエキスパンダモジュール40b,40bを切り離した状態を示している。
そして、このようにSASエキスパンダ20を隔離状態にした場合には、切り離されたSASエキスパンダ20以外の部分を用いてストレージシステム1が運用される。
本ストレージシステム1を運用しながら、切り離されたSASエキスパンダ20に対してワイドリンク70のphyの診断を行なうことにより、異常phyの特定を早急に行なうことができる。これにより、ワイドリンク70における異常phyのみを切り離して運用することにより、ホストI/Oのデータ転送エラー発生を抑止することができる。
また、このように診断対象のワイドリンク70が隔離部14によって縮退された領域に含まれる場合には、確認部13は、上位装置4から送信されるホストI/Oに替えて、アクセス制御信号生成部17によって生成されたテストI/O制御信号(アクセス制御信号)を、無効化部12により無効化された被選択phy以外のphyを介してデータ転送させることにより伝送路異常によるデータ転送異常の発生の有無を確認する。
phyの診断を行なうに際して、例えば選択部11は、ワイドリンク70上の全てのphyに対して“危険phy”である旨の設定(マーク)を行なう(ステップA10)。この危険phyである旨のマークは、例えば、図示しないメモリ等の記憶領域において、各phyに対応させた所定の領域に任意のフラグを設定することにより行なう。
このように被選択phyを切り離した状態(1phy切り離し状態)で、本ストレージシステム1を所定時間運用し、確認部13は、この1phy切り離し状態での運用においてホストI/Oの伝送異常(エラー)が生じたか否かの確認を行なう(ステップA30:確認ステップ)。
次に、本ストレージシステム1の運用中における伝送路異常発生時の処理を、図8に示すフローチャート(ステップB10〜B130)に従って説明する。
本ストレージシステムの運用中においては、RAIDコントローラ10のプロセッサ301は、伝送路異常が発生しているかを常時監視する(ステップB10,ステップB10のNOルート参照)。そして、伝送路異常の発生が検出されると(ステップB10のYESルート参照)、次に、プロセッサ301は、その伝送路異常の発生頻度を確認する(ステップB20)。すなわち、検出された伝送路異常が本ストレージシステム1に与える影響が大きいものであるか否かの確認を行なう。
そして、無効化部12が、phy診断処理のステップA60において異常phyと診断されたphyを切り離し(ステップB40)、この異常phyが無効化されたワイドリンク70を用いた本ストレージシステム1の運用が行なわれる(ステップB50)。
なお、SASエキスパンダ20等の切り離しを行なうことは、上位装置4や図示しない管理装置等を介して本ストレージシステム1の管理者に通知される。管理者は、所定のタイミングで、これらの切り離されたエキスパンダモジュール40やワイドリンク70の保守作業を行なう。
また、上述の如きワイドリンク70のphyの診断を、上位装置4からのホストI/Oに基づくホストI/O制御信号を用いて行なうことにより、本ストレージシステム1を運用しながら実施することができる。
すなわち、離隔状態にされたSASエキスパンダ20に関して、ワイドリンク70を構成する複数のphyから選択した被選択phyを無効化部12により無効化した状態でテストI/Oの伝送を行なう。この際に伝送路異常が検出された場合に、この被選択phyを正常配線と認定することにより、ワイドリンク70における正常なphyを明確にすることができる。
そして、開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。
また、上述した実施形態においては、a系およびb系の2系統に冗長化されたストレージシステム1を示しているが、これに限定されるものではなく、3以上の系統に冗長化して構成してもよい。
図9(a)〜(e)は本ストレージシステム1におけるphyの診断手法の変形例を説明するための図である。
先ず、図9(a)に示すように、選択部11がワイドリンク70a−1(もしくは70b−1)のphy#0だけを被選択phyとして選択し、無効化部12によりこの被選択phyを無効化した状態で、ホストI/O制御信号もしくはテストI/O制御信号の送信を行ない、伝送路異常の有無の判断を行なうことで、この被選択phyの診断を行なう。
次に、図9(b)に示すように、選択部11がワイドリンク70a−2(もしくは70b−2)のphy#0だけを被選択phyとして選択し、無効化部12によりこの被選択phyを無効化した状態で、ホストI/O制御信号もしくはテストI/O制御信号の送信を行ない、伝送路異常の有無の判断を行なうことで、この被選択phyの診断を行なう。
また、同系の全てのワイドリンク70についてのphy#0の診断を行なった後には、次に、同系の全てのワイドリンク70についてのphy#1の診断を行なう。
次に、図9(e)に示すように、選択部11がワイドリンク70a−2(もしくは70b−2)のphy#1だけを被選択phyとして選択し、無効化部12によりこの被選択phyを無効化した状態で、ホストI/O制御信号もしくはテストI/O制御信号の送信を行ない、伝送路異常の有無の判断を行なうことで、この被選択phyの診断を行なう。
このように、本ストレージシステム1のワイドリンク70における未確認のphyの中から、選択した1本の被選択phyを試験的に切り離して運用を行なう。このような処理をワイドリンク70を構成する全てのphyに対して順次行なうことにより、安全なphyを切り分け、異常なphyを特定するのである。
このように、カスケード接続された複数のワイドリンク70a−1,70a−2,70a−3(70b−1,70b−2,70b−3)において、いずれか一部のワイドリンク70のphyを部分的に無効化することにより、異常phyの位置をより厳密に特定することができ、利便性が高い。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
記憶装置をそなえたストレージ機器をそなえ、複数の物理配線を並列して配線する並列配線により該ストレージ機器を接続するストレージシステムであって、
該複数の物理配線のうち少なくとも一の該物理配線を被選択物理配線として選択する選択部と、
該被選択物理配線を無効化する無効化部と、
該無効化された該被選択物理配線以外の該物理配線を用いたデータ転送において伝送路異常の発生の有無を確認する確認部と、
該確認部により該伝送路異常の発生が確認された場合に、該被選択物理配線を正常配線と認定する認定部とをそなえることを特徴とする、ストレージシステム。
該確認部が、当該ストレージシステムに接続された上位装置から該記憶装置に対して送信される制御信号に基づくアクセス制御信号の、該物理配線を介したデータ転送結果に基づいて、該伝送路異常の発生の有無を確認することを特徴とする、付記1記載のストレージシステム。
該ストレージ機器と当該ストレージ機器に接続された並列配線とを当該ストレージシステムから隔離状態にする隔離部と、
該記憶装置に対するアクセス制御信号を生成するアクセス制御信号生成部とをそなえ、
該選択部が、該隔離部によって隔離された該並列配線について、当該並列配線に含まれる該複数の物理配線のうち少なくとも一の該物理配線を被選択物理配線として選択し、
該無効化部が、該選択部により選択された該被選択物理配線を無効化し、
該確認部が、該上位装置から該記憶装置に対して送信される該制御信号に基づく該アクセス制御信号に替えて、該アクセス制御信号生成部によって生成された該アクセス制御信号の、該無効化部により無効化された該被選択物理配線以外の該物理配線を介したデータ転送結果に基づいて該伝送路異常の発生の有無を確認し、
該認定部が、該確認部によって該伝送路異常の発生が確認された場合に、該被選択物理配線を正常であると認定することを特徴とする、付記2記載のストレージシステム。
当該ストレージシステムにおける該アクセス制御信号の伝送路異常を検出する異常検出部をそなえ、
該認定部が該複数の物理配線のうち正常配線であると認定しない該物理配線を異常配線と認定するとともに、
該無効化部が当該異常配線を無効化し、
該異常配線が無効化された状態で該確認部が該伝送路異常を検出した場合に、該隔離部が、当該伝送路異常にかかる該ストレージ機器および並列配線を当該ストレージシステムから隔離状態にすることを特徴とする、付記1〜付記3のいずれか1項に記載のストレージシステム。
記憶装置をそなえたストレージ機器に複数の物理配線を並列して配線する並列配線を介して接続される制御装置であって、
該複数の物理配線のうち少なくとも一の該物理配線を被選択物理配線として選択する選択部と、
該被選択物理配線を無効化する無効化部と、
該無効化された該被選択物理配線以外の該物理配線を用いたデータ転送において伝送路異常の発生の有無を確認する確認部と、
該確認部により該伝送路異常の発生が確認された場合に、該被選択物理配線を正常配線と認定する認定部とをそなえることを特徴とする、制御装置。
該確認部が、当該制御装置に接続された上位装置から該記憶装置に対して送信される制御信号に基づくアクセス制御信号の、該物理配線を介したデータ転送結果に基づいて、該伝送路異常の発生の有無を確認することを特徴とする、付記5記載の制御装置。
(付記7)
該ストレージ機器と当該ストレージ機器に接続された並列配線とを隔離状態にする隔離部と、
該記憶装置に対するアクセス制御信号を生成するアクセス制御信号生成部とをそなえ、
該選択部が、該隔離部によって隔離された該並列配線について、当該並列配線に含まれる該複数の物理配線のうち少なくとも一の該物理配線を被選択物理配線として選択し、
該無効化部が、該選択部により選択された該被選択物理配線を無効化し、
該確認部が、該上位装置から該記憶装置に対して送信される該制御信号に基づく該アクセス制御信号に替えて、該アクセス制御信号生成部によって生成された該アクセス制御信号の、該無効化部により該無効化された該被選択物理配線以外の該物理配線を介したデータ転送結果に基づいて該伝送路異常の発生の有無を確認し、
該認定部が、該確認部によって該伝送路異常の発生が確認された場合に、該被選択物理配線を正常であると認定することを特徴とする、付記6記載の制御装置。
当該制御装置に接続された該並列配線における該アクセス制御信号の伝送路異常を検出する異常検出部をそなえ、
該認定部が該複数の物理配線のうち正常配線であると認定しない該物理配線を異常配線と認定するとともに、
該無効化部が当該異常配線を無効化し、
該異常配線が無効化された状態で該確認部が該伝送路異常を検出した場合に、該隔離部が、当該伝送路異常にかかる該ストレージ機器および並列配線を隔離状態にすることを特徴とする、付記5〜付記7のいずれか1項に記載の制御装置。
記憶装置をそなえたストレージ機器をそなえ、複数の物理配線を並列して配線する並列配線により該ストレージ機器を接続するストレージシステムにおける診断方法であって、
該複数の物理配線のうち少なくとも一の該物理配線を被選択物理配線として選択する選択ステップと、
該被選択物理配線を無効化する無効化ステップと、
該無効化された該被選択物理配線以外の該物理配線を用いたデータ転送において伝送路異常の発生の有無を確認する確認ステップと、
該確認ステップにおいて該伝送路異常の発生が確認された場合に、該被選択物理配線を正常配線と認定する認定ステップとをそなえることを特徴とする、診断方法。
該確認ステップにおいて、当該ストレージシステムに接続された上位装置から該記憶装置に対して送信される制御信号に基づくアクセス制御信号の、該物理配線を介したデータ転送結果に基づいて、該伝送路異常の発生の有無を確認することを特徴とする、付記9記載の診断方法。
該ストレージ機器と当該ストレージ機器に接続された並列配線とを当該ストレージシステムから隔離状態にする隔離ステップと、
該記憶装置に対するアクセス制御信号を生成するアクセス制御信号生成ステップとをそなえ、
該選択ステップにおいて、該隔離ステップにおいて隔離された該並列配線について、当該並列配線に含まれる該複数の物理配線のうち少なくとも一の該物理配線を被選択物理配線として選択し、
該無効化ステップにおいて、該選択ステップにおいて選択された該被選択物理配線を無効化し、
該確認ステップにおいて、該上位装置から該記憶装置に対して送信される該制御信号に基づく該アクセス制御信号に替えて、該アクセス制御信号生成ステップにおいて生成された該アクセス制御信号の、該無効化ステップにおいて無効化された該被選択物理配線以外の該物理配線を介したデータ転送結果に基づいて該伝送路異常の発生の有無を確認し、
該認定ステップにおいて、該確認ステップにおいて該伝送路異常の発生が確認された場合に、該被選択物理配線を正常であると認定することを特徴とする、付記10記載の診断方法。
当該ストレージシステムにおける該アクセス制御信号の伝送路異常を検出する異常検出ステップをそなえ、
該認定ステップにおいて該複数の物理配線のうち正常配線であると認定しない該物理配線を異常配線と認定するとともに、
該無効化ステップにおいて当該異常配線を無効化し、
該異常配線が無効化された状態で該確認ステップにおいてが該伝送路異常を検出した場合に、該隔離ステップにおいて、当該伝送路異常にかかる該ストレージ機器および並列配線を当該ストレージシステムから隔離状態にすることを特徴とする、付記9〜付記11のいずれか1項に記載の診断方法。
記憶装置をそなえたストレージ機器に複数の物理配線を並列して配線する並列配線を介して接続される制御装置において、判断機能をコンピュータに実行させるための診断プログラムであって、
該診断プログラムが、
該複数の物理配線のうち少なくとも一の該物理配線を被選択物理配線として選択する選択部と、
該被選択物理配線を無効化する無効化部と、
該無効化された該被選択物理配線以外の該物理配線を用いたデータ転送において伝送路異常の発生の有無を確認する確認部と、
該確認部により該伝送路異常の発生が確認された場合に、該被選択物理配線を正常配線と認定する認定部として、該コンピュータを機能させることを特徴とする、診断プログラム。
該確認部が、当該ストレージシステムに接続された上位装置から該記憶装置に対して送信される制御信号に基づくアクセス制御信号の、該物理配線を介したデータ転送結果に基づいて、該伝送路異常の発生の有無を確認することを特徴とする、付記13記載の診断プログラム。
該ストレージ機器と当該ストレージ機器に接続された並列配線とを隔離状態にする隔離部と、
該記憶装置に対するアクセス制御信号を生成するアクセス制御信号生成部として該コンピュータを機能させるとともに、
該選択部が、該隔離部によって隔離された該並列配線について、当該並列配線に含まれる該複数の物理配線のうち少なくとも一の該物理配線を被選択物理配線として選択し、
該無効化部が、該選択部により選択された該被選択物理配線を無効化し、
該確認部が、該上位装置から該記憶装置に対して送信される該制御信号に基づく該アクセス制御信号に替えて、該アクセス制御信号生成部によって生成された該アクセス制御信号の、該無効化部により該無効化された該被選択物理配線以外の該物理配線を介したデータ転送結果に基づいて該伝送路異常の発生の有無を確認し、
該認定部が、該確認部によって該伝送路異常の発生が確認された場合に、該被選択物理配線を正常であると認定することを特徴とする、付記14記載の診断プログラム。
当該制御装置に接続された該並列配線における該アクセス制御信号の伝送路異常を検出する異常検出部として該コンピュータを機能させるとともに、
該認定部が該複数の物理配線のうち正常配線であると認定しない該物理配線を異常配線と認定するとともに、
該無効化部が当該異常配線を無効化し、
該異常配線が無効化された状態で該確認部が該伝送路異常を検出した場合に、該隔離部が、当該伝送路異常にかかる該ストレージ機器および並列配線を隔離状態にすることを特徴とする、付記13〜付記15のいずれか1項に記載の診断プログラム。
2 コントローラエンクロージャ
3−1,3−2,3 ドライブエンクロージャ
4 上位装置
10 RAIDコントローラ(制御装置)
11 選択部
12 無効化部
13 確認部
14 隔離部
15 認定部
16 異常検出部
17 アクセス制御信号生成部
20 SASエキスパンダ
21,22,24,306,307 ワイドポート
30a,30b,30 コントローラモジュール
40a,40a,40 エキスパンダモジュール
60 HDD
70a−1,70a−2,70a−3,70b−1,70b−2,70b−3,70,71 ワイドリンク(並列配線)
301 プロセッサ
302 メモリ
303 制御プログラム
304,305 SASコントローラ
Claims (7)
- 記憶装置をそなえたストレージ機器をそなえ、複数の物理配線を並列して配線する並列配線により該ストレージ機器を接続するストレージシステムであって、
該複数の物理配線のうち少なくとも一の該物理配線を被選択物理配線として選択する選択部と、
該被選択物理配線を無効化する無効化部と、
該無効化された該被選択物理配線以外の該物理配線を用いたデータ転送において、当該ストレージシステムに接続された上位装置から該記憶装置に対して送信される制御信号に基づくアクセス制御信号の、該物理配線を介したデータ転送結果に基づいて、伝送路異常の発生の有無を確認する確認部と、
該確認部により該伝送路異常の発生が確認された場合に、該被選択物理配線を正常配線と認定する認定部と、
該ストレージ機器と当該ストレージ機器に接続された並列配線とを隔離状態にする隔離部と、
該記憶装置に対するアクセス制御信号を生成するアクセス制御信号生成部とをそなえ、
該選択部が、該隔離部によって隔離された該並列配線について、当該並列配線に含まれる該複数の物理配線のうち少なくとも一の該物理配線を被選択物理配線として選択し、
該無効化部が、該選択部により選択された該被選択物理配線を無効化し、
該確認部が、該上位装置から該記憶装置に対して送信される該制御信号に基づく該アクセス制御信号に替えて、該アクセス制御信号生成部によって生成された該アクセス制御信号の、該無効化部により該無効化された該被選択物理配線以外の該物理配線を介したデータ転送結果に基づいて該伝送路異常の発生の有無を確認し、
該認定部が、該確認部によって該伝送路異常の発生が確認された場合に、該被選択物理配線を正常であると認定することを特徴とする、ストレージシステム。 - エラーの発生頻度が所定値以上である場合に、
前記隔離部が該ストレージ機器と当該ストレージ機器に接続された並列配線とを隔離状態にして、該選択部が、該隔離部によって隔離された該並列配線について、当該並列配線に含まれる該複数の物理配線のうち少なくとも一の該物理配線を被選択物理配線として選択し、
該無効化部が、該選択部により選択された該被選択物理配線を無効化し、
該確認部が、該上位装置から該記憶装置に対して送信される該制御信号に基づく該アクセス制御信号に替えて、該アクセス制御信号生成部によって生成された該アクセス制御信号の、該無効化部により該無効化された該被選択物理配線以外の該物理配線を介したデータ転送結果に基づいて該伝送路異常の発生の有無を確認し、
該認定部が、該確認部によって該伝送路異常の発生が確認された場合に、該被選択物理配線を正常であると認定することを特徴とする、請求項1記載のストレージシステム。 - 記憶装置をそなえたストレージ機器に複数の物理配線を並列して配線する並列配線を介して接続される制御装置であって、
該複数の物理配線のうち少なくとも一の該物理配線を被選択物理配線として選択する選択部と、
該被選択物理配線を無効化する無効化部と、
該無効化された該被選択物理配線以外の該物理配線を用いたデータ転送において、当該ストレージシステムに接続された上位装置から該記憶装置に対して送信される制御信号に基づくアクセス制御信号の、該物理配線を介したデータ転送結果に基づいて、伝送路異常の発生の有無を確認する確認部と、
該確認部により該伝送路異常の発生が確認された場合に、該被選択物理配線を正常配線と認定する認定部と、
該ストレージ機器と当該ストレージ機器に接続された並列配線とを隔離状態にする隔離部と、
該記憶装置に対するアクセス制御信号を生成するアクセス制御信号生成部とをそなえ、
該選択部が、該隔離部によって隔離された該並列配線について、当該並列配線に含まれる該複数の物理配線のうち少なくとも一の該物理配線を被選択物理配線として選択し、
該無効化部が、該選択部により選択された該被選択物理配線を無効化し、
該確認部が、該上位装置から該記憶装置に対して送信される該制御信号に基づく該アクセス制御信号に替えて、該アクセス制御信号生成部によって生成された該アクセス制御信号の、該無効化部により該無効化された該被選択物理配線以外の該物理配線を介したデータ転送結果に基づいて該伝送路異常の発生の有無を確認し、
該認定部が、該確認部によって該伝送路異常の発生が確認された場合に、該被選択物理配線を正常であると認定することを特徴とする、制御装置。 - エラーの発生頻度が所定値以上である場合に、
前記隔離部が該ストレージ機器と当該ストレージ機器に接続された並列配線とを隔離状態にして、該選択部が、該隔離部によって隔離された該並列配線について、当該並列配線に含まれる該複数の物理配線のうち少なくとも一の該物理配線を被選択物理配線として選択し、
該無効化部が、該選択部により選択された該被選択物理配線を無効化し、
該確認部が、該上位装置から該記憶装置に対して送信される該制御信号に基づく該アクセス制御信号に替えて、該アクセス制御信号生成部によって生成された該アクセス制御信号の、該無効化部により該無効化された該被選択物理配線以外の該物理配線を介したデータ転送結果に基づいて該伝送路異常の発生の有無を確認し、
該認定部が、該確認部によって該伝送路異常の発生が確認された場合に、該被選択物理配線を正常であると認定することを特徴とする、請求項3記載の制御装置。 - 当該制御装置に接続された該並列配線における該アクセス制御信号の伝送路異常を検出する異常検出部をそなえ、
該認定部が該複数の物理配線のうち正常配線であると認定しない該物理配線を異常配線と認定するとともに、
該無効化部が当該異常配線を無効化し、
該異常配線が無効化された状態で該確認部が該伝送路異常を検出した場合に、該隔離部
が、当該伝送路異常にかかる該ストレージ機器および並列配線を隔離状態にすることを特徴とする、請求項3又は4記載の制御装置。 - 記憶装置をそなえたストレージ機器をそなえ、複数の物理配線を並列して配線する並列配線により該ストレージ機器を接続するストレージシステムにおける診断方法であって、
該複数の物理配線のうち少なくとも一の該物理配線を被選択物理配線として選択する選択ステップと、
該被選択物理配線を無効化する無効化ステップと、
該無効化された該被選択物理配線以外の該物理配線を用いたデータ転送において、当該ストレージシステムに接続された上位装置から該記憶装置に対して送信される制御信号に基づくアクセス制御信号の、該物理配線を介したデータ転送結果に基づいて、伝送路異常の発生の有無を確認する確認ステップと、
該確認ステップにおいて該伝送路異常の発生が確認された場合に、該被選択物理配線を正常配線と認定する認定ステップと、
該ストレージ機器と当該ストレージ機器に接続された並列配線とを隔離状態にする隔離ステップと、
該記憶装置に対するアクセス制御信号を生成するアクセス制御信号生成ステップとをそなえ、
該選択ステップにおいて、該隔離ステップにおいて隔離された該並列配線について、当該並列配線に含まれる該複数の物理配線のうち少なくとも一の該物理配線を被選択物理配線として選択し、
該無効化ステップにおいて、該選択ステップにおいて選択された該被選択物理配線を無効化し、
該確認ステップにおいて、該上位装置から該記憶装置に対して送信される該制御信号に基づく該アクセス制御信号に替えて、該アクセス制御信号生成ステップにおいて生成された該アクセス制御信号の、該無効化ステップにおいて該無効化された該被選択物理配線以外の該物理配線を介したデータ転送結果に基づいて該伝送路異常の発生の有無を確認し、
該認定ステップにおいて、該確認ステップにおいて該伝送路異常の発生が確認された場合に、該被選択物理配線を正常であると認定することを特徴とする、診断方法。 - エラーの発生頻度が所定値以上である場合に、
前記隔離ステップにおいて該ストレージ機器と当該ストレージ機器に接続された並列配線とを隔離状態にして、該選択ステップにおいて、該隔離ステップにおいて隔離された該並列配線について、当該並列配線に含まれる該複数の物理配線のうち少なくとも一の該物理配線を被選択物理配線として選択し、
該無効化ステップにおいて、該選択ステップにおいて選択された該被選択物理配線を無効化し、
該確認ステップにおいて、該上位装置から該記憶装置に対して送信される該制御信号に基づく該アクセス制御信号に替えて、該アクセス制御信号生成ステップにおいて生成された該アクセス制御信号の、該無効化ステップにおいて該無効化された該被選択物理配線以外の該物理配線を介したデータ転送結果に基づいて該伝送路異常の発生の有無を確認し、
該認定ステップにおいて、該確認ステップにおいて該伝送路異常の発生が確認された場合に、該被選択物理配線を正常であると認定することを特徴とする、請求項6記載の診断方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009240572A JP5391994B2 (ja) | 2009-10-19 | 2009-10-19 | ストレージシステム,制御装置および診断方法 |
US12/903,641 US20110093625A1 (en) | 2009-10-19 | 2010-10-13 | Storage system, control device, and diagnosis method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009240572A JP5391994B2 (ja) | 2009-10-19 | 2009-10-19 | ストレージシステム,制御装置および診断方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011086244A JP2011086244A (ja) | 2011-04-28 |
JP5391994B2 true JP5391994B2 (ja) | 2014-01-15 |
Family
ID=43880151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009240572A Expired - Fee Related JP5391994B2 (ja) | 2009-10-19 | 2009-10-19 | ストレージシステム,制御装置および診断方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20110093625A1 (ja) |
JP (1) | JP5391994B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5923976B2 (ja) | 2011-12-27 | 2016-05-25 | 富士通株式会社 | 接続装置、ストレージ装置、接続装置における処理方法、および処理プログラム |
US9336171B2 (en) * | 2012-11-06 | 2016-05-10 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Connection rate management in wide ports |
JP6056417B2 (ja) * | 2012-11-27 | 2017-01-11 | 富士通株式会社 | 制御システム、制御システムの異常診断方法及び制御システムの異常診断プログラム |
US10055272B2 (en) | 2013-10-24 | 2018-08-21 | Hitachi, Ltd. | Storage system and method for controlling same |
EP3200416B1 (en) * | 2014-11-11 | 2019-08-21 | Huawei Technologies Co., Ltd. | Sas system, traversal method and device thereof |
JP6380040B2 (ja) * | 2014-11-21 | 2018-08-29 | 富士通株式会社 | ストレージ装置、中継装置、および中継制御プログラム |
DE102018125297A1 (de) * | 2017-11-17 | 2019-05-23 | Samsung Electronics Co., Ltd. | Speichereinrichtung, die Peer-to-Peer-Kommunikation mit externer Einrichtung ohne Eingriff eines Host durchführt |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0887458A (ja) * | 1994-09-14 | 1996-04-02 | Toshiba Corp | プロセス制御用データ伝送装置及びi/oバス伝送障害の除去方法 |
JPH11296311A (ja) * | 1998-04-08 | 1999-10-29 | Hitachi Ltd | 記憶装置の耐故障制御方式 |
JP2001216206A (ja) * | 2000-02-01 | 2001-08-10 | Nec Corp | ループ状インターフェースの障害解析方法及び障害解析機能を有するシステム |
US20050193178A1 (en) * | 2004-02-27 | 2005-09-01 | William Voorhees | Systems and methods for flexible extension of SAS expander ports |
US7644168B2 (en) * | 2004-11-05 | 2010-01-05 | Hewlett-Packard Development Company, L.P. | SAS expander |
US20060194386A1 (en) * | 2005-02-25 | 2006-08-31 | Dell Products L.P. | Method and apparatus for supporting port aggregation of serial attached SCSI wide ports via virtual ports |
US7275935B2 (en) * | 2005-02-28 | 2007-10-02 | Kuang Wei Chen | Universal backplane connection or computer storage chassis |
US7447834B2 (en) * | 2005-06-29 | 2008-11-04 | Emc Corproation | Managing serial attached small computer systems interface communications |
US7738366B2 (en) * | 2005-09-13 | 2010-06-15 | Lsi Corporation | Methods and structure for detecting SAS link errors with minimal impact on SAS initiator and link bandwidth |
DE602006001446D1 (de) * | 2005-09-23 | 2008-07-24 | Infortrend Technology Inc | Redundantes Speichervirtualisierungssubsystem mit Datenpfadverzweigungsfunktion |
US20070070833A1 (en) * | 2005-09-29 | 2007-03-29 | Matthew Long | Interconnecting data storage components |
US20070079032A1 (en) * | 2005-09-30 | 2007-04-05 | Intel Corporation | Serial signal ordering in serial general purpose input output (SGPIO) |
US20070101158A1 (en) * | 2005-10-28 | 2007-05-03 | Elliott Robert C | Security region in a non-volatile memory |
TWI307034B (en) * | 2005-11-23 | 2009-03-01 | Infortrend Technology Inc | Storage virtualization subsystem and system with host-side redundancy via sas connectivity |
US7437462B2 (en) * | 2006-01-06 | 2008-10-14 | Dell Products L.P. | Method for zoning data storage network using SAS addressing |
JP4775846B2 (ja) * | 2006-03-20 | 2011-09-21 | 株式会社日立製作所 | 物理リンクの割当てを制御するコンピュータシステム及び方法 |
JP4640356B2 (ja) * | 2007-03-01 | 2011-03-02 | 日本電気株式会社 | リンク診断装置および方法 |
JP4475598B2 (ja) * | 2007-06-26 | 2010-06-09 | 株式会社日立製作所 | ストレージシステム及びストレージシステムの制御方法 |
JP4982304B2 (ja) * | 2007-09-04 | 2012-07-25 | 株式会社日立製作所 | 電源障害の発生を把握するストレージシステム |
-
2009
- 2009-10-19 JP JP2009240572A patent/JP5391994B2/ja not_active Expired - Fee Related
-
2010
- 2010-10-13 US US12/903,641 patent/US20110093625A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2011086244A (ja) | 2011-04-28 |
US20110093625A1 (en) | 2011-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5391994B2 (ja) | ストレージシステム,制御装置および診断方法 | |
TWI409624B (zh) | 自磁碟陣列隔離一驅動器以進行診斷操作 | |
US8677181B2 (en) | Storage apparatus and method of detecting power failure in storage apparatus | |
JP2013161235A (ja) | ストレージ装置、ストレージ装置の制御方法及びストレージ装置の制御プログラム | |
JP6455302B2 (ja) | バス通信システム | |
US7568119B2 (en) | Storage control device and storage control device path switching method | |
JP2007206766A (ja) | データストレージシステム、データストレージ制御装置及びその障害箇所診断方法。 | |
JP6135114B2 (ja) | ストレージ装置、エラー処理方法及びエラー処理プログラム | |
JP4486921B2 (ja) | ストレージ仮想化装置およびそれを用いたコンピュータシステム | |
US20130315058A1 (en) | Relay device, connection management method, and information communication system | |
JP2010205064A (ja) | 障害解析のためのトレース装置およびトレース方法 | |
JP2007299213A (ja) | Raid制御装置および障害監視方法 | |
TW201423582A (zh) | Sas擴展卡自動切換系統及方法 | |
JP4669263B2 (ja) | ストレージ装置 | |
JP4500346B2 (ja) | ストレージシステム | |
JP2010527846A (ja) | 共有メディアに接続する航空システムの監視方法と装置 | |
JP2011034219A (ja) | 故障検出方法及び監視装置 | |
US7801026B2 (en) | Virtualization switch and method for controlling a virtualization switch | |
JP5034649B2 (ja) | 情報記憶システム | |
JP6212947B2 (ja) | 情報処理装置、制御装置及び制御プログラム | |
JP2015158702A (ja) | ストレージシステム、制御装置及び制御プログラム | |
JP6996602B1 (ja) | Bmc、サーバシステム、装置安定度判定方法及びプログラム | |
JP2019121043A (ja) | 車両制御システムおよび車両制御装置 | |
JP6032369B2 (ja) | 情報処理装置、診断方法、診断プログラム、及び情報処理システム | |
JP6056417B2 (ja) | 制御システム、制御システムの異常診断方法及び制御システムの異常診断プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120720 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130625 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130917 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130930 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |