JP4102769B2 - 情報処理システム、その故障箇所特定方法、情報処理装置 - Google Patents

情報処理システム、その故障箇所特定方法、情報処理装置 Download PDF

Info

Publication number
JP4102769B2
JP4102769B2 JP2004049532A JP2004049532A JP4102769B2 JP 4102769 B2 JP4102769 B2 JP 4102769B2 JP 2004049532 A JP2004049532 A JP 2004049532A JP 2004049532 A JP2004049532 A JP 2004049532A JP 4102769 B2 JP4102769 B2 JP 4102769B2
Authority
JP
Japan
Prior art keywords
request
information processing
information
identification information
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004049532A
Other languages
English (en)
Other versions
JP2005242537A (ja
Inventor
善久 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Computertechno Ltd
Original Assignee
NEC Computertechno Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Computertechno Ltd filed Critical NEC Computertechno Ltd
Priority to JP2004049532A priority Critical patent/JP4102769B2/ja
Publication of JP2005242537A publication Critical patent/JP2005242537A/ja
Application granted granted Critical
Publication of JP4102769B2 publication Critical patent/JP4102769B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Description

本発明は、情報処理システム、その故障箇所特定方法、情報処理装置に関し、特に、プロセッサからデバイスに対して発行したリクエストに関してプロセッサがタイムアウトを検出したとき、サービスプロセッサは、主記憶装置、システム制御装置、入出力制御装置に記憶している情報を採取し、採取した情報を解析することにより、故障したデバイスを特定する情報処理システム、その故障箇所特定方法、情報処理装置に関する。
複数の情報処理装置と、各々の情報処理装置の入出力制御装置に接続する複数のデバイスとで構成し、情報処理装置の間でリクエストを送受信する大規模な情報処理システムは、社会的に重要な役割を果たすケースが多く、故障しないことと、故障した場合には、短時間で復旧することが重要となる。
従って、デバイスの故障に起因して、情報処理装置のプロセッサからデバイスに対して発行したリクエストに関してプロセッサがタイムアウトを検出したとき、故障したデバイスを即座に特定し、早急に情報処理システムを復旧することが必要となる。
しかし、従来、情報処理装置のプロセッサがデバイスに対して発行したリクエストに関してタイムアウトを検出したとき、情報処理システムは、プロセッサの内部レジスタの情報から、リクエストのターゲットのデバイスを即座に特定できないという欠点がある。
階層構造を持つ分散コンピュータシステムにおいて、データを上位または下位のコンピュータに通信する通信部と、データを送信したときに、データを送信した時刻を記憶する手段と、データを受信したときに、データを送信したときに記憶した時刻とデータを受信した時刻とから経過した時間を求める手段と、タイムアウトを設定する手段とを設け、コンピュータ相互間の通信において、タイムアウト値を自動的に設定し、タイムアウトが発生したとき、タイムアウトが発生したコンピュータを特定するものがある(例えば、特許文献1参照。)。
しかし、上記特許文献1の技術は、タイムアウトの発生したコンピュータ(情報処理装置)を特定しており、コンピュータに接続する多数のデバイスの中から故障したデバイスを特定することはできない。
特開2003ー233514号公報
以上説明したように、従来の情報処理装置のプロセッサは、入出力制御装置に接続するデバイスに対して発行したリクエストに関してタイムアウトを検出したとき、プロセッサの内部レジスタの情報からは、リクエストのターゲットのデバイスを特定することはできず、多数のデバイスを含む大規模な構成の情報処理装置では、故障箇所の特定に時間がかかるという課題がある。
また、上記特許文献1の技術は、タイムアウトの発生したコンピュータ(情報処理装置)を特定しており、コンピュータに接続する多数のデバイスの中から故障したデバイスを特定することはできないという課題がある。
本発明の目的は、上記課題を解決すべく、情報処理装置の間でリクエストを送受信する大規模な情報処理システムにおいて、デバイスが故障したことが原因で、情報処理装置のプロセッサがデバイスに対して発行したリクエストに関してタイムアウトを検出したとき、即座に故障デバイスを特定し、早期に復旧できる可用性を向上させた情報処理システム、その故障箇所特定方法、情報処理装置を提供することにある。
本発明の情報処理システムは、第一の情報処理装置と、第二の情報処理装置と、第二の情報処理装置に接続するデバイスと、第一の情報処理装置に対応して設けられ、第一の情報処理装置が第二の情報処理装置を介してデバイスに対してリクエストを発行した際に、リクエストにリクエスト識別情報を付加して第二の情報処理装置に送信する送信制御部と、第一の情報処理装置に対応して設けられ、リクエスト識別情報と、リクエストが発行された後の経過時間を示す情報とを保持する第一レジスタと、第二の情報処理装置に対応して設けられ、送信制御部から受信したリクエスト識別情報を保持すると共に、リクエストが送信されるデバイスのデバイス識別情報を保持する第二レジスタと、第二の情報処理装置に対応して設けられ、リクエストをデバイスに送信する入出力制御装置とを有することを特徴とする。
第一レジスタは、リクエストを実行中であるか否かを示す情報と、リクエストの発行元の識別情報と、リクエストの発行先の識別情報とをさらに保持するとともに、リクエストの実行時間をカウントするカウンタを含むことを特徴とする。
第二レジスタは、リクエストを実行中であるか否かを示す情報と、リクエストの発行元の識別情報とをさらに保持することを特徴とする。
情報処理システムがサービスプロセッサをさらに含み、サービスプロセッサは、第一レジスタおよび第二レジスタが保持するリクエストの識別情報を照合し、第二レジスタに保持しているデバイス識別情報を読み出すことにより、デバイスを特定することを特徴とする。
第一の情報処理装置は、リクエストを発行後、リクエストに対するリプライが返却されずデバイスの障害を検出したとき、リクエスト識別情報を主記憶装置に書き込むことを特徴とする。
本発明の情報処理システムの故障箇所特定方法は、第一の情報処理装置と第二の情報処理装置と第二の情報処理装置に接続されたデバイスとを含む情報処理システムの故障箇所特定方法において、第一の情報処理装置が第二の情報処理装置を介してデバイスに対してリクエストを発行した際に、第一の情報処理装置に対応して設けた送信制御部からリクエストにリクエスト識別情報を付加して第二の情報処理装置に送信し、第一の情報処理装置に対応して設けた第一レジスタにリクエスト識別情報とリクエストが発行された後の経過時間を示す情報とを保持し、第二の情報処理装置に対応して設けた第二レジスタに送信制御部から受信したリクエスト識別情報を保持すると共にリクエストを送信するデバイスのデバイス識別情報を保持し、第二の情報処理装置に対応して設けた入出力制御装置からリクエストをデバイスに送信し、故障が発生した際に、第一レジスタおよび第二レジスタが保持するリクエストの識別情報を照合し、第二レジスタに保持しているデバイス識別情報を読み出すことにより、デバイスを特定することを特徴とする。
本発明の情報処理システムは、第一バスと接続する複数の情報処理装置と、第二バスを介して情報処理装置と接続するサービスプロセッサと、第三バスを介して情報処理装置と接続する複数のデバイスとを有し、情報処理装置の間でリクエストを送受信する情報処理システムにおいて、情報処理装置は、デバイスと接続する入出力制御装置と、第四バスと接続する複数のプロセッサと、プロセッサの内部レジスタの情報を書き込む主記憶装置と、入出力制御装置とプロセッサと主記憶装置と第一バスとに接続するシステム制御装置とを有し、システム制御装置は、リクエストの識別情報とプロセッサの発行したリクエストの実行時間とを保持する第一レジスタを有し、入出力制御装置は、リクエストの識別情報とデバイスの識別情報とを保持する第二レジスタを有し、サービスプロセッサは、主記憶装置の情報と第一レジスタと第二レジスタとを読み出す手段と、読み出した情報からリクエストのターゲットとなるデバイスを特定する手段とを有することを特徴とする。
システム制御装置は、第四バスを介してプロセッサと接続するプロセッサバス制御部と、主記憶装置と接続する主記憶装置インタフェース部と、入出力制御装置と接続する入出力制御装置インタフェース部と、プロセッサバス制御部と主記憶装置インタフェース部と入出力制御装置インタフェース部と第一バスとに接続するシステムバス制御部とを有することを特徴とする。
第一レジスタは、リクエストを実行中であるか否かの識別情報と、リクエストの発行元の情報処理装置の識別情報と、リクエストの識別情報と、リクエストのターゲットの存在する情報処理装置の識別情報と、リクエストの実行時間をカウントするカウンタとで構成する第一フォーマットを有することを特徴とする。
第二レジスタは、リクエストを実行中であるか否かの識別情報と、リクエストの発行元の情報処理装置の識別情報と、リクエストの識別情報と、リクエストのターゲットとなるデバイスの識別情報とで構成する第二フォーマットを有することを特徴とする。
サービスプロセッサは、システム制御装置と主記憶装置と入出力制御装置とに第二バスを介して接続することを特徴とする。
サービスプロセッサは、プロセッサがデバイスの障害を検出したとき、障害発生のデバイスをコンソールに表示する手段を有することを特徴とする。
プロセッサバス制御部は、プロセッサからリクエストを受信したとき、第一フォーマットのワードの中からリクエストを実行中でない最若番のワードを算出し、算出したワードのリクエストを実行中であるか否かの識別情報を実行中にセットし、リクエストの発行元の情報処理装置の識別情報をセットし、リクエストの識別情報をセットし、リクエストのターゲットとなるデバイスの存在する情報処理装置の識別情報をセットし、リクエストの実行時間をカウントするカウンタをセットする手段を有することを特徴とする。
プロセッサバス制御部は、プロセッサからのリクエストに対するリプライをシステムバス制御部から受信したとき、第一フォーマットのワードの中から、リクエストを実行中であるか否かの識別情報が実行中で、かつ、リプライのリクエストの識別情報とリクエストの発行元の情報処理装置の識別情報とがワードのリクエストの識別情報とリクエストの発行元の情報処理装置の識別情報とに一致するワードを算出し、算出したワードをオール0にリセットする手段を有することを特徴とする。
入出力制御装置は、システム制御装置からリクエストを受信したとき、第二フォーマットのワードの中からリクエストを実行中でない最若番のワードを算出し、算出したワードのリクエストを実行中であるか否かの識別情報を実行中にセットし、リクエストの発行元の情報処理装置の識別情報をセットし、リクエストの識別情報をセットし、リクエストのターゲットとなるデバイスの識別情報をセットする手段を有することを特徴とする。
入出力制御装置は、デバイスからリクエストに対するリプライを受信したとき、第二フォーマットのワードの中から、リクエストを実行中であるか否かの識別情報が実行中で、かつ、リプライのデバイスの識別情報とワードのデバイスの識別情報とが一致するワードを算出し、算出したワードをオール0にリセットする手段を有することを特徴とする。
プロセッサは、リクエストを発行後、リクエストに対するリプライが返却されずデバイスの障害を検出したとき、内部レジスタの情報を主記憶装置に書き込み、サービスプロセッサへシステム制御装置を介してシステムの再立ち上げを要求する手段を有することを特徴とする。
プロセッサは、デバイスのタイムアウト障害を検出する手段を有することを特徴とする。
本発明の情報処理システムの故障箇所特定方法は、第一バスと接続する複数の情報処理装置と、第二バスを介して情報処理装置と接続するサービスプロセッサと、第三バスを介して情報処理装置と接続する複数のデバイスとを有し、情報処理装置の間でリクエストを送受信する情報処理システムの故障箇所特定方法において、情報処理装置は、デバイスと接続する入出力制御装置と、第四バスと接続する複数のプロセッサと、プロセッサの内部レジスタの情報を書き込む主記憶装置と、入出力制御装置とプロセッサと主記憶装置と第一バスとに接続するシステム制御装置とを有し、システム制御装置は、リクエストの識別情報とプロセッサの発行したリクエストの実行時間とを第一レジスタに保持するステップを有し、入出力制御装置は、リクエストの識別情報とデバイスの識別情報とを第二レジスタ保持するステップを有し、サービスプロセッサは、主記憶装置の情報と第一レジスタと第二レジスタとを読み出すステップと、読み出した情報からリクエストのターゲットとなるデバイスを特定するステップとを有することを特徴とする。
第一レジスタは、リクエストを実行中であるか否かの識別情報と、リクエストの発行元の情報処理装置の識別情報と、リクエストの識別情報と、リクエストのターゲットの存在する情報処理装置の識別情報と、リクエストの実行時間をカウントするカウンタとで構成する第一フォーマットを有することを特徴とする。
第二レジスタは、リクエストを実行中であるか否かの識別情報と、リクエストの発行元の情報処理装置の識別情報と、リクエストの識別情報と、リクエストのターゲットとなるデバイスの識別情報とで構成する第二フォーマットを有することを特徴とする。
サービスプロセッサは、プロセッサがデバイスの障害を検出したとき、障害発生のデバイスをコンソールに表示するステップを有することを特徴とする。
プロセッサは、リクエストを発行後、リクエストに対するリプライが返却されずデバイスの障害を検出したとき、内部レジスタの情報を主記憶装置に書き込むステップと、サービスプロセッサへシステム制御装置を介してシステムの再立ち上げを要求するステップとを有することを特徴とする。
本発明の情報処理装置は、サービスプロセッサと複数のデバイスとに接続する情報処理装置において、デバイスと接続する入出力制御装置と、リクエストを発行する複数のプロセッサと、プロセッサの内部レジスタの情報を書き込む主記憶装置と、入出力制御装置とプロセッサと主記憶装置とに接続するシステム制御装置とを有し、システム制御装置は、リクエストの識別情報とプロセッサの発行したリクエストの実行時間とを保持する第一レジスタを有し、入出力制御装置は、リクエストの識別情報とリクエストのターゲットとなるデバイスの識別情報とを保持する第二レジスタを有し、プロセッサは、リクエストを発行後、デバイスの障害を検出したとき、サービスプロセッサへシステム制御装置を介してシステムの再立ち上げを要求する手段を有することを特徴とする。
システム制御装置は、プロセッサと接続するプロセッサバス制御部と、主記憶装置と接続する主記憶装置インタフェース部と、入出力制御装置と接続する入出力制御装置インタフェース部と、プロセッサバス制御部と主記憶装置インタフェース部と入出力制御装置インタフェース部とサービスプロセッサとに接続するシステムバス制御部とを有することを特徴とする。
システムバス制御部は、第一バスと接続し、主記憶装置と入出力制御装置とシステム制御装置とは、第二バスを介してサービスプロセッサと接続し、入出力制御装置は、第三バスを介してデバイスと接続し、プロセッサバス制御部は、第四バスを介してプロセッサと接続することを特徴とする。
プロセッサは、デバイスのタイムアウト障害を検出する手段を有することを特徴とする。
第一レジスタは、リクエストを実行中であるか否かの識別情報と、リクエストの発行元の識別情報と、リクエストの識別情報と、リクエストのターゲットの存在する発行先の識別情報と、リクエストの実行時間をカウントするカウンタとで構成する第一フォーマットを有することを特徴とする。
第二レジスタは、リクエストを実行中であるか否かの識別情報と、リクエストの発行元の識別情報と、リクエストの識別情報と、リクエストのターゲットとなるデバイスの識別情報とで構成する第二フォーマットを有することを特徴とする。
本発明の情報処理システム、その故障箇所特定方法、情報処理装置によれば、サービスプロセッサは、主記憶装置に書き込んだプロセッサの内部レジスタの情報と、第一レジスタの情報と、第二レジスタの情報とを読み出し、読み出した情報からタイムアウトを発生したデバイスを特定して、コンソール上に障害デバイスを表示できるので、保守員が速やかに故障デバイスを特定して保守作業を行なうことができ、情報処理システムの可用性を向上させることができるという効果がある。
次に、本発明を実施するための最良の形態について、図面を参照して説明する。
図1は、本発明の情報処理システム1の実施の形態を示す概略構成ブロック図、図2は、図1中のシステム制御装置116の詳細を示す構成ブロック図である(図1、図2中、情報処理装置は、ノード101〜108と称す)。
図1を参照すると、情報処理システム1は、システムバス109と接続する複数のノード101〜108と、診断バス121を介してノード101〜108と接続するサービスプロセッサ120と、PCI(Peripheral Component Interconnect)バス122を介して各ノード101〜108と接続する複数のデバイス131ー1〜131ーnとを設け、各ノード101〜108の間でリクエストを送受信するよう構成する。デバイス131ー1〜131ーnは、磁気ディスク制御装置、光ディスク制御装置、磁気テープ制御装置などの周辺制御装置、ビデオカード装置、SCSIアダプタ装置、ネットワーク入出力装置などを含む。
なお、ノード102〜108の内部構成、PCIバス122、各ノード102〜108と接続する複数のデバイス131ー1〜131ーnとは、ノード101と同一故、図1中では省略している(但し、デバイス131ー1〜131ーnの数、種類は、同一でなくともよい)。
ノード101〜108は、デバイス131ー1〜131ーnと接続する入出力制御装置118と、プロセッサバス115と接続する複数のプロセッサ111〜114と、プロセッサ111〜114の内部レジスタ(図示せず)の情報を書き込む主記憶装置117と、入出力制御装置118とプロセッサ111〜114と主記憶装置117とシステムバス109とに接続するシステム制御装置116とで構成する。
システム制御装置116は、プロセッサ111〜114の発行したリクエストの実行時間を保持する第一レジスタ301を設け、入出力制御装置118は、リクエストのターゲットとなるデバイス131ー1〜131ーnの識別情報を保持する第二レジスタ302を設けて構成する。
サービスプロセッサ120は、診断バス121を介して、システム制御装置116と主記憶装置117と入出力制御装置118とに接続して構成する。
図2を参照すると、システム制御装置116は、プロセッサバス115を介してプロセッサ111〜114と接続し第一レジスタ301を有するプロセッサバス制御部211と、主記憶装置117と接続する主記憶装置インタフェース部212と、入出力制御装置118と接続する入出力制御装置インタフェース部214と、プロセッサバス制御部211と主記憶装置インタフェース部212と入出力制御装置インタフェース部214とシステムバス109とに接続するシステムバス制御部213とで構成する。
上述の構成において、ノード101〜108間をシステムバス109で接続し、サービスプロセッサ120とノード101〜108とを診断バス121で接続し、プロセッサ111〜114とシステム制御装置116とをプロセッサバス115で接続しているが、各々の接続をスター接続としてもよいことは云うまでもない。
次に、第一レジスタ301の構成について、図面を参照して説明する。
図3は、第一レジスタ301の1ワード分のフォーマットを示す図である。
いま、4個のプロセッサ111〜114が、リクエストを実行中に完了を待つことなく発行できる最大のリクエスト数を64個とすると、第一レジスタ301には、図3のフォーマットを64ワード分実装する。
図3を参照すると、ビット23は、ビット22〜ビット0の内容が有効であるか否か(リクエストを実行中であるか否か)を示し、リクエストを実行中のとき1、実行中でないときワードを無効とし0とする。
ビット22〜ビット20は、リクエスト発行元のノード101〜108の番号を示し、ビット19〜ビット13は、ノード101〜108内でユニークなノード内リクエストID(リクエストの識別情報)を示す。ビット12〜ビット10は、リクエストのターゲット(デバイス131ー1〜131ーn)の存在するノード101〜108の番号を示し、ビット9〜ビット0は、リクエストの実行時間をカウントするカウンタを示す。
なお、ビット9〜ビット0は、図示しないが、リクエストの実行時間を10ms単位で示し、10msごとに1を加算する。より詳細には、ビット9〜ビット0には、ビット23が1のとき、リクエスト発行後に発生した10msの立ち上がりパルスの数に1を加算した値を保持する。
次に、第二レジスタ302の構成について、図面を参照して説明する。
図4は、第二レジスタ302の1ワード分のフォーマットを示す図である。
入出力制御装置118が保持することのできる最大のリクエスト数を16個とすると、第二レジスタ302は、図4のフォーマットを16ワード分実装する。
図4を参照すると、ビット15は、ビット14〜ビット0の内容が有効であるか否かを示し、リクエストを実行中のとき1、実行中でないときワードを無効とし0とする。ビット14〜ビット12は、リクエスト発行元のノード101〜108の番号を示し、ビット11〜ビット5は、ノード101〜108内でユニークなノード内リクエストIDを示す。ビット4〜ビット0は、リクエストのターゲットとなるデバイスID(デバイスの識別情報)を示す。
次に、上述のように構成した情報処理システム1の動作について、図1〜図4を参照して、説明する。
プロセッサ111〜114のいずれかから、入出力制御装置118に接続するデバイス131ー1〜131ーnへアクセスするリクエストを、プロセッサバス115を介して発行する。
ここに、一例として、ノード101のプロセッサ111からノード102に接続するデバイス131ー1へアクセスするリクエストを発行する場合について、以下に説明する。
なお、ノード102内の構成要素およびノード102に接続するデバイスは、図示していないが、ノード102内の構成要素およびノード102に接続するデバイスは、ノード101内の構成要素およびノード101に接続するデバイス131ー1と同一符号で表示して、以下に説明する。
プロセッサバス制御部211は、ノード102に接続するデバイス131ー1へアクセスするリクエストを受け取ると、第一レジスタ301の64ワードの中から、ビット23が0である最若番のワードを算出し、ビット23を1にセットし、ビット22〜ビット20にリクエスト発行元のノード101の番号をセットし、ビット19〜ビット13にノード101内でユニークなノード内リクエストIDをセットし、ビット12〜ビット10にリクエストのターゲットが存在するノード102のノード番号をセットする。
ビット9〜ビット0には、ビット23が1の場合に、リクエスト発行後に発生した10msの立ち上がりパルスの数に1を加算した値を保持する。
次に、プロセッサバス制御部211は、リクエスト発行元のノード101の番号とノード内リクエストIDとターゲットの存在するノード102のノード番号とをリクエストに付加し、システムバス制御部213へリクエストを転送する。
システムバス制御部213は、プロセッサバス制御部211からリクエストを受け取ると、リクエストにリクエスト発行元のノード101の番号とノード内リクエストIDとを付加したまま、システムバス109を介して、ターゲットの存在するノード102へリクエストを転送する。
ノード102内のシステムバス制御部213は、システムバス109を介して、ノード102内の入出力制御装置118へ接続するデバイス131ー1へアクセスするリクエストを受け取ると、リクエストにリクエスト発行元のノード101の番号とリクエストIDとを付加したまま、入出力制御装置インタフェース部214へリクエストを転送する。
入出力制御装置インタフェース部214は、システムバス制御部213からリクエストを受け取ると、リクエストにリクエスト発行元のノード101の番号とリクエストIDとを付加したまま、入出力制御装置118へリクエストを転送する。
入出力制御装置118は、入出力制御装置インタフェース部214からリクエストを受け取ると、第二レジスタ302の16ワードの中からビット15が0である最若番のワードを算出し、ビット15を1にセットし、ビット14〜ビット12にリクエスト発行元のノード101の番号をセットし、ビット11〜ビット5にノード内リクエストIDをセットし、ビット4〜ビット0にリクエストのターゲットとなるデバイス131ー1のデバイスIDをセットし、ターゲットのデバイス131ー1へリクエストを転送する。
入出力制御装置118は、デバイス131ー1からリクエストに対するリプライを受け取った場合、第二レジスタ302の16ワードのレジスタの中から、ビット15が1で、デバイス131ー1のデバイスIDとビット4〜ビット0とが一致するワードを算出し、ビット15〜ビット0をオール0にリセットする。
次に、入出力制御装置118は、リクエスト発行元のノード101の番号とノード内リクエストIDとを付加して、リクエストに対するリプライを入出力制御装置インタフェース部214へ転送する。入出力制御装置インタフェース部214は、入出力制御装置118からリクエストに対するリプライを受け取ると、リクエスト発行元のノード101の番号とノード内リクエストIDとを付加して、システムバス制御部213へリクエストに対するリプライを転送する。
システムバス制御部213は、入出力装置インタフェース部214からリクエストに対するリプライを受け取ると、リクエスト発行元のノード101の番号とノード内リクエストIDとを参照して、リクエスト転送先のノード101を決定する。
システムバス制御部213は、リクエスト発行元のノード101の番号とノード内リクエストIDとを付加して、リクエストに対するリプライをシステムバス109を介して、転送先となるノード101のシステムバス制御部213へ転送する。
ノード101のシステムバス制御部213は、システムバス109からリクエストに対するリプライを受け取ると、リクエスト発行元のノード101の番号とノード内リクエストIDとを付加して、ノード101内のプロセッサバス制御部211へ転送する。
プロセッサバス制御部211は、システムバス制御部213からリクエストに対するリプライを受け取ると、第一レジスタ301の64ワードの中から、ビット23が1で、かつ、リプライのリクエスト発行元のノード101の番号とノード内リクエストIDとがビット22〜ビット13に一致するワードを算出し、ビット23〜ビット0をオール0にリセットする。
プロセッサバス制御部211は、リクエストに対するリプライを、プロセッサバス115を介して、リクエスト発行元のプロセッサ111へ転送する。
以上説明したように、ノード101〜108は、プロセッサバス制御部211にノード内リクエストIDとリクエスト実行時間とを保持する第一レジスタ301を設けている故、プロセッサ111〜118がデバイス131ー1〜131ーnへ発行したリクエストに関してタイムアウトを検出したとき、タイムアウトの原因となったリクエストを特定できる。
また、ノード101〜108は、入出力制御装置118に処理中のノード内リクエストIDとリクエストのターゲットとなるデバイスIDとを保持する第二レジスタ302を設けている故、リクエストIDからターゲットデバイスを特定できる。
次に、デバイス131ー1〜131ーnの故障が発生したときの情報処理システム1の動作について、図面を参照して説明する。
図5は、デバイス131ー1〜131ーnの故障が発生したときの情報処理システム1の動作を示すフローチャートである。
一例として、ノード101内のプロセッサ111がノード102に接続するデバイス131ー1へアクセスしたとき、デバイス131ー1の故障が発生したときの動作について説明する。
プロセッサ111〜114は、入出力制御装置118へ接続するデバイス131ー1〜131ーnへアクセスするリクエストを発行してから、タイムアウト障害を検出するまでのタイムアウト設定時間を10ms×2の9乗=5.12秒よりも大きい値、例えば10秒に設定する。
まず、プロセッサ111は、入出力制御装置118に接続するデバイス131ー1にアクセスするリクエストを発行後、リクエストに対するリプライが返却されず、タイムアウトを検出する(ステップ1)。
タイムアウトを検出したプロセッサ111は、図示しない内部レジスタの情報(タイムアウト検出情報、リクエストのアドレス情報など)を、ノード101内の主記憶装置117に書き込み(ステップ2)、サービスプロセッサ120へシステム制御装置116経由で、システムの再立ち上げを要求する(ステップ3)。
サービスプロセッサ120は、プロセッサ111からシステムの再立ち上げ要求を受け取ると、上記(ステップ2)で主記憶装置117にライトした情報を読み出し、プロセッサ111がタイムアウトを検出していたか否かをチェックする(ステップ5)。
チェックの結果、プロセッサ111がタイムアウトを検出していた場合、サービスプロセッサ120は、システムの再立ち上げを要求したプロセッサ111を有するノード101のプロセッサバス制御部211の第一レジスタ301を読み出す(ステップ6)。
サービスプロセッサ120は、読み出したレジスタ301の64個の各ワード(N=0〜N=63)について、先ず、ワードのN=0(ステップ7)に関して、以下に述べる(ステップ8)から(ステップ13)を実行し、以降、同様にN=63まで順次(ステップ8)から(ステップ13)を実行する(ステップ14)。なお、Nは、ワードの番号を示す。
サービスプロセッサ120は、ビット23が1であるか否かをチェックし(ステップ8)、ビット23が1のとき、ビット9〜ビット0のカウント値が1000000000(2進数)以上であるか否かをチェックし(ステップ9)、ビット9〜ビット0のカウント値が1000000000以上であるとき(リクエスト実行時間が5.12秒以上のとき)、そのワードのビット12〜ビット10に示すリクエストのターゲットが存在するノード番号のノード102内の入出力制御装置118の第二レジスタ302を読み出す(ステップ10)。
なお、プロセッサバス制御部211は、第一レジスタ301のビット9〜ビット0のカウント値がオール1となるときに、カウントを停止する制御を行う。
サービスプロセッサ120は、ノード102内の第二レジスタ302の16ワードの中で、ビット15が1、かつ、ビット14〜ビット12(リクエスト発行元のノード101の番号)とビット11〜ビット5(ノード内リクエストID)とが第一レジスタ301のビット22〜ビット20とビット19〜ビット13とに一致するワードがあるかをチェックする(ステップ11)。
一致するワードがあるか否かをチェックした結果(ステップ12)、一致するワードがあるとき、サービスプロセッサ120は、第二レジスタ302の一致したワードのビット4〜ビット0に示すデバイスIDのデバイス131ー1を故障デバイス131ー1と特定し、コンソール(図示せず)上に故障デバイス131ー1を表示し、次回のシステム立ち上げ時にデバイス131ー1を組み込まないようにシステム構成情報を変更する(ステップ13)。
サービスプロセッサ120は、ワード番号のN=0〜N=63までの64個のワードに対して、(ステップ8)から(ステップ13)を実行したか否かをチェックし(ステップ15)、64ワード全て実行済みのとき、プロセッサ111からの要求に従って、情報処理システム1を再立ち上げさせる(ステップ16)。
上記(ステップ5)において、プロセッサ111がタイムアウトを検出していない場合、(ステップ16)に進み、上記(ステップ8)でビット23が0、(ステップ9)で、ビット9〜ビット0が1000000000未満、(ステップ12)で一致するワードがないときは、何れも(ステップ14)に進む。
以上説明したように、サービスプロセッサ120に対して、プロセッサ111から情報処理システム1の再立ち上げ要求を行ったとき、サービスプロセッサ120は、主記憶装置117に書き込んだプロセッサ111の内部レジスタの情報と、第一レジスタ301の情報と、第二レジスタ302の情報とを読み出し、読み出した情報からタイムアウトの原因となったデバイス131ー1を特定し、コンソール上に表示するので、速やかに故障デバイス131ー1を特定して保守を行なうことができ、情報処理システム1の可用性を向上させることができるという効果がある。
本発明の情報処理システムの実施の形態を示す概略構成ブロック図である。 図1中のシステム制御装置の詳細を示す構成ブロック図である。 第一レジスタの1ワード分のフォーマットを示す図である。 第二レジスタの1ワード分のフォーマットを示す図である。 デバイスの故障が発生したときの情報処理システムの動作を示すフローチャートである。
符号の説明
1 情報処理システム
101〜108 ノード
109 システムバス
111〜114 プロセッサ
115 プロセッサバス
116 システム制御装置
117 主記憶装置
118 入出力制御装置
120 サービスプロセッサ
121 診断バス
122 PCIバス
131ー1〜131ーn デバイス
211 プロセッサバス制御部
212 主記憶装置インタフェース部
213 システムバス制御部
214 入出力制御装置インタフェース部
301 第一レジスタ
302 第二レジスタ

Claims (29)

  1. 第一の情報処理装置と、第二の情報処理装置と、前記第二の情報処理装置に接続するデバイスと、前記第一の情報処理装置に対応して設けられ、前記第一の情報処理装置が前記第二の情報処理装置を介して前記デバイスに対してリクエストを発行した際に、前記リクエストにリクエスト識別情報を付加して前記第二の情報処理装置に送信する送信制御部と、前記第一の情報処理装置に対応して設けられ、前記リクエスト識別情報と、前記リクエストが発行された後の経過時間を示す情報とを保持する第一レジスタと、前記第二の情報処理装置に対応して設けられ、前記送信制御部から受信した前記リクエスト識別情報を保持すると共に、前記リクエストが送信される前記デバイスのデバイス識別情報を保持する第二レジスタと、前記第二の情報処理装置に対応して設けられ、前記リクエストを前記デバイスに送信する入出力制御装置とを有することを特徴とする情報処理システム。
  2. 前記第一レジスタは、前記リクエストを実行中であるか否かを示す情報と、前記リクエストの発行元の識別情報と、前記リクエストの発行先の識別情報とをさらに保持するとともに、前記リクエストの実行時間をカウントするカウンタを含むことを特徴とする請求項1記載の情報処理システム。
  3. 前記第二レジスタは、前記リクエストを実行中であるか否かを示す情報と、前記リクエストの発行元の識別情報とをさらに保持することを特徴とする請求項1記載の情報処理システム。
  4. 前記情報処理システムがサービスプロセッサをさらに含み、前記サービスプロセッサは、前記第一レジスタおよび前記第二レジスタが保持する前記リクエストの識別情報を照合し、前記第二レジスタに保持している前記デバイス識別情報を読み出すことにより、前記デバイスを特定することを特徴とする請求項1記載の情報処理システム。
  5. 前記第一の情報処理装置は、前記リクエストを発行後、前記リクエストに対するリプライが返却されず前記デバイスの障害を検出したとき、前記リクエスト識別情報を主記憶装置に書き込むことを特徴とする請求項1記載の情報処理システム。
  6. 第一の情報処理装置と第二の情報処理装置と前記第二の情報処理装置に接続されたデバイスとを含む情報処理システムの故障箇所特定方法において、前記第一の情報処理装置が前記第二の情報処理装置を介して前記デバイスに対してリクエストを発行した際に、前記第一の情報処理装置に対応して設けた送信制御部から前記リクエストにリクエスト識別情報を付加して前記第二の情報処理装置に送信し、前記第一の情報処理装置に対応して設けた第一レジスタに前記リクエスト識別情報と前記リクエストが発行された後の経過時間を示す情報とを保持し、前記第二の情報処理装置に対応して設けた第二レジスタに前記送信制御部から受信した前記リクエスト識別情報を保持すると共に前記リクエストを送信する前記デバイスのデバイス識別情報を保持し、前記第二の情報処理装置に対応して設けた入出力制御装置から前記リクエストを前記デバイスに送信し、故障が発生した際に、前記第一レジスタおよび前記第二レジスタが保持する前記リクエストの識別情報を照合し、前記第二レジスタに保持している前記デバイス識別情報を読み出すことにより、前記デバイスを特定することを特徴とする情報処理システムの故障箇所特定方法。
  7. 第一バスと接続する複数の情報処理装置と、第二バスを介して前記情報処理装置と接続するサービスプロセッサと、第三バスを介して前記情報処理装置と接続する複数のデバイスとを有し、前記情報処理装置の間でリクエストを送受信する情報処理システムにおいて、前記情報処理装置は、前記デバイスと接続する入出力制御装置と、第四バスと接続する複数のプロセッサと、前記プロセッサの内部レジスタの情報を書き込む主記憶装置と、前記入出力制御装置と前記プロセッサと前記主記憶装置と前記第一バスとに接続するシステム制御装置とを有し、前記システム制御装置は、前記リクエストの識別情報と前記プロセッサの発行した前記リクエストの実行時間とを保持する第一レジスタを有し、前記入出力制御装置は、前記リクエストの識別情報と前記デバイスの識別情報とを保持する第二レジスタを有し、前記サービスプロセッサは、前記主記憶装置の情報と前記第一レジスタと前記第二レジスタとを読み出す手段と、読み出した情報から前記リクエストのターゲットとなる前記デバイスを特定する手段とを有することを特徴とする情報処理システム。
  8. 前記システム制御装置は、前記第四バスを介して前記プロセッサと接続するプロセッサバス制御部と、前記主記憶装置と接続する主記憶装置インタフェース部と、前記入出力制御装置と接続する入出力制御装置インタフェース部と、前記プロセッサバス制御部と前記主記憶装置インタフェース部と前記入出力制御装置インタフェース部と前記第一バスとに接続するシステムバス制御部とを有することを特徴とする請求項7記載の情報処理システム。
  9. 前記第一レジスタは、複数のワードからなり、前記ワードは、前記リクエストを実行中であるか否かの識別情報と、前記リクエストの発行元の前記情報処理装置の識別情報と、前記リクエストの識別情報と、前記リクエストのターゲットの存在する前記情報処理装置の識別情報と、前記リクエストの実行時間をカウントするカウント値とで構成する第一フォーマットを有することを特徴とする請求項7記載の情報処理システム。
  10. 前記第二レジスタは、複数のワードからなり、前記ワードは、前記リクエストを実行中であるか否かの識別情報と、前記リクエストの発行元の前記情報処理装置の識別情報と、前記リクエストの識別情報と、前記リクエストのターゲットとなる前記デバイスの識別情報とで構成する第二フォーマットを有することを特徴とする請求項7記載の情報処理システム。
  11. 前記サービスプロセッサは、前記システム制御装置と前記主記憶装置と前記入出力制御装置とに前記第二バスを介して接続することを特徴とする請求項7記載の情報処理システム。
  12. 前記サービスプロセッサは、前記プロセッサが前記デバイスの障害を検出したとき、障害発生の前記デバイスをコンソールに表示する手段を有することを特徴とする請求項7記載の情報処理システム。
  13. 前記プロセッサバス制御部は、前記プロセッサから前記リクエストを受信したとき、前記第一レジスタのワードの中から前記リクエストを実行中でない最若番の前記ワードを算出し、算出した前記ワードの前記リクエストを実行中であるか否かの識別情報を実行中にセットし、前記リクエストの発行元の前記情報処理装置の識別情報をセットし、前記リクエストの識別情報をセットし、前記リクエストのターゲットとなる前記デバイスの存在する前記情報処理装置の識別情報をセットし、前記リクエストの実行時間をカウントするカウント値をセットする手段を有することを特徴とする請求項8記載の情報処理システム。
  14. 前記プロセッサバス制御部は、前記プロセッサからの前記リクエストに対するリプライを前記システムバス制御部から受信したとき、前記第一レジスタのワードの中から、前記リクエストを実行中であるか否かの識別情報が実行中で、かつ、リプライの前記リクエストの識別情報と前記リクエストの発行元の前記情報処理装置の識別情報とが前記ワードの前記リクエストの識別情報と前記リクエストの発行元の前記情報処理装置の識別情報とに一致する前記ワードを算出し、算出した前記ワードをオール0にリセットする手段を有することを特徴とする請求項8記載の情報処理システム。
  15. 前記入出力制御装置は、前記システム制御装置からリクエストを受信したとき、前記第二レジスタのワードの中から前記リクエストを実行中でない最若番の前記ワードを算出し、算出した前記ワードの前記リクエストを実行中であるか否かの識別情報を実行中にセットし、前記リクエストの発行元の前記情報処理装置の識別情報をセットし、前記リクエストの識別情報をセットし、前記リクエストのターゲットとなる前記デバイスの識別情報をセットする手段を有することを特徴とする請求項7または8記載の情報処理システム。
  16. 前記入出力制御装置は、前記デバイスから前記リクエストに対するリプライを受信したとき、前記第二レジスタのワードの中から、前記リクエストを実行中であるか否かの識別情報が実行中で、かつ、リプライの前記デバイスの識別情報と前記ワードの前記デバイスの識別情報とが一致する前記ワードを算出し、算出した前記ワードをオール0にリセットする手段を有することを特徴とする請求項7または8記載の情報処理システム。
  17. 前記プロセッサは、前記リクエストを発行後、前記リクエストに対するリプライが返却されず前記デバイスの障害を検出したとき、前記内部レジスタの情報を前記主記憶装置に書き込み、前記サービスプロセッサへ前記システム制御装置を介してシステムの再立ち上げを要求する手段を有することを特徴とする請求項7記載の情報処理システム。
  18. 前記プロセッサは、前記デバイスのタイムアウト障害を検出する手段を有することを特徴とする請求項12または17記載の情報処理システム。
  19. 第一バスと接続する複数の情報処理装置と、第二バスを介して前記情報処理装置と接続するサービスプロセッサと、第三バスを介して前記情報処理装置と接続する複数のデバイスとを有し、前記情報処理装置の間でリクエストを送受信する情報処理システムの故障箇所特定方法において、前記情報処理装置は、前記デバイスと接続する入出力制御装置と、第四バスと接続する複数のプロセッサと、前記プロセッサの内部レジスタの情報を書き込む主記憶装置と、前記入出力制御装置と前記プロセッサと前記主記憶装置と前記第一バスとに接続するシステム制御装置とを有し、前記システム制御装置は、前記リクエストの識別情報と前記プロセッサの発行した前記リクエストの実行時間とを第一レジスタに保持するステップを有し、前記入出力制御装置は、前記リクエストの識別情報と前記デバイスの識別情報とを第二レジスタ保持するステップを有し、前記サービスプロセッサは、前記主記憶装置の情報と前記第一レジスタと前記第二レジスタとを読み出すステップと、読み出した情報から前記リクエストのターゲットとなる前記デバイスを特定するステップとを有することを特徴とする情報処理システムの故障箇所特定方法。
  20. 前記第一レジスタは、複数のワードからなり、前記ワードは、前記リクエストを実行中であるか否かの識別情報と、前記リクエストの発行元の前記情報処理装置の識別情報と、前記リクエストの識別情報と、前記リクエストのターゲットの存在する前記情報処理装置の識別情報と、前記リクエストの実行時間をカウントするカウント値とで構成する第一フォーマットを有することを特徴とする請求項19記載の情報処理システムの故障箇所特定方法。
  21. 前記第二レジスタは、複数のワードからなり、前記ワードは、前記リクエストを実行中であるか否かの識別情報と、前記リクエストの発行元の前記情報処理装置の識別情報と、前記リクエストの識別情報と、前記リクエストのターゲットとなる前記デバイスの識別情報とで構成する第二フォーマットを有することを特徴とする請求項19記載の情報処理システムの故障箇所特定方法。
  22. 前記サービスプロセッサは、前記プロセッサが前記デバイスの障害を検出したとき、障害発生の前記デバイスをコンソールに表示するステップを有することを特徴とする請求項19記載の情報処理システムの故障箇所特定方法。
  23. 前記プロセッサは、前記リクエストを発行後、前記リクエストに対するリプライが返却されず前記デバイスの障害を検出したとき、前記内部レジスタの情報を前記主記憶装置に書き込むステップと、前記サービスプロセッサへ前記システム制御装置を介してシステムの再立ち上げを要求するステップとを有することを特徴とする請求項19記載の情報処理システムの故障箇所特定方法。
  24. サービスプロセッサと複数のデバイスとに接続する情報処理装置において、前記デバイスと接続する入出力制御装置と、リクエストを発行する複数のプロセッサと、前記プロセッサの内部レジスタの情報を書き込む主記憶装置と、前記入出力制御装置と前記プロセッサと前記主記憶装置とに接続するシステム制御装置とを有し、前記システム制御装置は、前記リクエストの識別情報と前記プロセッサの発行した前記リクエストの実行時間とを保持する第一レジスタを有し、前記入出力制御装置は、前記リクエストの識別情報と前記リクエストのターゲットとなる前記デバイスの識別情報とを保持する第二レジスタを有し、前記プロセッサは、前記リクエストを発行後、前記デバイスの障害を検出したとき、前記サービスプロセッサへ前記システム制御装置を介してシステムの再立ち上げを要求する手段を有することを特徴とする情報処理装置。
  25. 前記システム制御装置は、前記プロセッサと接続するプロセッサバス制御部と、前記主記憶装置と接続する主記憶装置インタフェース部と、前記入出力制御装置と接続する入出力制御装置インタフェース部と、前記プロセッサバス制御部と前記主記憶装置インタフェース部と前記入出力制御装置インタフェース部と前記サービスプロセッサとに接続するシステムバス制御部とを有することを特徴とする請求項24記載の情報処理装置。
  26. 前記システムバス制御部は、第一バスと接続し、前記主記憶装置と前記入出力制御装置と前記システム制御装置とは、第二バスを介して前記サービスプロセッサと接続し、前記入出力制御装置は、第三バスを介して前記デバイスと接続し、前記プロセッサバス制御部は、第四バスを介して前記プロセッサと接続することを特徴とする請求項24記載の情報処理装置。
  27. 前記プロセッサは、前記デバイスのタイムアウト障害を検出する手段を有することを特徴とする請求項24記載の情報処理装置。
  28. 前記第一レジスタは、複数のワードからなり、前記ワードは、前記リクエストを実行中であるか否かの識別情報と、前記リクエストの発行元の識別情報と、前記リクエストの識別情報と、前記リクエストのターゲットの存在する発行先の識別情報と、前記リクエストの実行時間をカウントするカウント値とで構成する第一フォーマットを有することを特徴とする請求項24記載の情報処理装置。
  29. 前記第二レジスタは、複数のワードからなり、前記ワードは、前記リクエストを実行中であるか否かの識別情報と、前記リクエストの発行元の識別情報と、前記リクエストの識別情報と、前記リクエストのターゲットとなる前記デバイスの識別情報とで構成する第二フォーマットを有することを特徴とする請求項24記載の情報処理装置。
JP2004049532A 2004-02-25 2004-02-25 情報処理システム、その故障箇所特定方法、情報処理装置 Expired - Fee Related JP4102769B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004049532A JP4102769B2 (ja) 2004-02-25 2004-02-25 情報処理システム、その故障箇所特定方法、情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004049532A JP4102769B2 (ja) 2004-02-25 2004-02-25 情報処理システム、その故障箇所特定方法、情報処理装置

Publications (2)

Publication Number Publication Date
JP2005242537A JP2005242537A (ja) 2005-09-08
JP4102769B2 true JP4102769B2 (ja) 2008-06-18

Family

ID=35024239

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004049532A Expired - Fee Related JP4102769B2 (ja) 2004-02-25 2004-02-25 情報処理システム、その故障箇所特定方法、情報処理装置

Country Status (1)

Country Link
JP (1) JP4102769B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6579255B1 (ja) * 2018-12-28 2019-09-25 富士通クライアントコンピューティング株式会社 情報処理システム、および中継装置

Also Published As

Publication number Publication date
JP2005242537A (ja) 2005-09-08

Similar Documents

Publication Publication Date Title
US6523140B1 (en) Computer system error recovery and fault isolation
US10282250B1 (en) Apparatus and method for a coherent, efficient, and configurable cyclic redundancy check retry implementation for synchronous dynamic random access memory
US7823008B2 (en) Maintaining consistency in a remote copy data storage system
US8122176B2 (en) System and method for logging system management interrupts
US8122301B2 (en) Performing remote loads and stores over networks
CN110581887B (zh) 数据处理方法、装置、区块链节点及存储介质
JPH10320282A (ja) 仮想キャッシュ・コントロール方法及び装置
JP4834722B2 (ja) 演算処理装置及び演算処理装置の制御方法
US20060265523A1 (en) Data transfer circuit and data transfer method
JP4102769B2 (ja) 情報処理システム、その故障箇所特定方法、情報処理装置
CN111104266A (zh) 访问资源的分配方法、装置、存储介质和电子设备
JP4487756B2 (ja) コンピュータシステム及びシステム監視プログラム
US20050165974A1 (en) Computer apparatus and computer system
CN101126993B (zh) 数据处理系统、数据处理设备和数据处理方法
CN112783683B (zh) 数据处理方法、装置、设备及存储介质
CN115359834A (zh) 一种盘仲裁区域检测方法、装置、设备及可读存储介质
US7979644B2 (en) System controller and cache control method
US6880046B1 (en) Multiprocessor system and memory access method
CN113722143A (zh) 一种程序流监控方法、装置、电子设备以及存储介质
US7568121B2 (en) Recovery from failure in data storage systems
JP2006079485A (ja) 電子計算機における障害解析用情報収集方式
US20080022169A1 (en) Test system and method
CN112905602B (zh) 数据比对方法、计算设备及计算机存储介质
JP2017151511A (ja) 情報処理装置、動作ログ取得方法および動作ログ取得プログラム
US20220214910A1 (en) Information processing system, information processing apparatus, and information processing method

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20070126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071218

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080324

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110328

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110328

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120328

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130328

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130328

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140328

Year of fee payment: 6

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees