JP4629793B2 - 情報処理装置、エラー処理方法 - Google Patents

情報処理装置、エラー処理方法 Download PDF

Info

Publication number
JP4629793B2
JP4629793B2 JP2009507343A JP2009507343A JP4629793B2 JP 4629793 B2 JP4629793 B2 JP 4629793B2 JP 2009507343 A JP2009507343 A JP 2009507343A JP 2009507343 A JP2009507343 A JP 2009507343A JP 4629793 B2 JP4629793 B2 JP 4629793B2
Authority
JP
Japan
Prior art keywords
unit
error
processing
signal
processing units
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009507343A
Other languages
English (en)
Other versions
JPWO2008120352A1 (ja
Inventor
篤史 諸澤
孝治 石塚
俊和 植木
誠 畑井田
由佳 細川
威 大脇
崇史 山本
大介 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2008120352A1 publication Critical patent/JPWO2008120352A1/ja
Application granted granted Critical
Publication of JP4629793B2 publication Critical patent/JP4629793B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/1658Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/1629Error detection by comparing the output of redundant processing systems
    • G06F11/165Error detection by comparing the output of redundant processing systems with continued operation after detection of the error
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/1675Temporal synchronisation or re-synchronisation of redundant processing components
    • G06F11/1687Temporal synchronisation or re-synchronisation of redundant processing components at event level, e.g. by interrupt or result of polling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16Error detection or correction of the data by redundancy in hardware
    • G06F11/1629Error detection by comparing the output of redundant processing systems
    • G06F11/1641Error detection by comparing the output of redundant processing systems where the comparison is not performed by the redundant processing components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Hardware Redundancy (AREA)

Description

本発明は、互いに同期する複数の処理装置を有する情報処理装置、エラー処理方法に関するものである。
従来のミラーモード(2重化)を用いた情報処理システムについて説明する。ミラーモードとは、1つの系(同期部)と対象となるもう1つの系とを同期させて処理を行うことにより、1つの系で障害が発生しても対象となるもう1つの系がシステムを走行させる情報処理技術である。
ここで、ミラーモードを用いた従来の情報処理システムの構成について説明する。図25は、従来の情報処理システムの構成の一例を示すブロック図である。この情報処理システムは、同期動作を行う2つの系であるA系とB系からなり、制御システム1、A系の処理装置2a0,2a1、B系の処理装置2b0,2b1を備える。処理装置は、例えばCPUである。処理装置2a0,2a1,2b0,2b1は、内部にエラーチェッカを有する。制御システム1は、A系インターフェース(A IF)4a、B系インターフェース(B IF)4b、エラーチェッカ7a,7b、コンパレータ9、セレクタ生成部12、セレクタ14、共通部15を備える。このうち、処理装置2a0,2a1、A IF4a、エラーチェッカ7aをA系とし、処理装置2b0,2b1、B IF4b、エラーチェッカ7bをB系とする。
制御システム1は、経路3aとA IF4aを介して処理装置2a0,2a1に接続され、経路3bとB IF4bを介して処理装置2b0,2b1に接続されている。A系とB系が同期動作を行い、各系は、3箇所のエラーチェッカ(A系は、エラーチェッカ7a、処理装置2a0,2a1内部のエラーチェッカ、B系は、エラーチェッカ7b、処理装置2b0,2b1内部のエラーチェッカ)を有する。また、コンパレータ9は、A系の出力の信号5aとB系の出力の信号5bの同期チェックを行う。
共通部15の出力は、A IF4aを介して処理装置の2a0,2a1へ入力されると共に、B IF4bを介して処理装置の2b0,2b1へ入力される。従って、共通部15におけるUE(uncorrectable error)は、処理装置が共通部にリードした場合にA系及びB系に伝播し、A系及びB系の両方で検出される。
セレクタ生成部12は、コンパレータ9の出力の信号10、エラーチェッカ7aの出力の信号8a、エラーチェッカ7bの出力の信号8b、処理装置2a0内のエラーチェッカの出力の信号11a0、処理装置2a1内のエラーチェッカの出力の信号11a1、処理装置2b0内のエラーチェッカの出力の信号11b0、処理装置2b1内のエラーチェッカの出力の信号11b1に基づいて、判定を行う。セレクタ14は、セレクタ生成部12の判定結果の信号13に従って、信号5a,5bのいずれかを選択して共通部15へ出力する。
ここで、エラーチェッカがUEを検出した場合について説明する。
次に、セレクタ生成部12におけるエラー信号受信時の動作について説明する。図26は、従来のセレクタ生成部におけるUE信号受信時の動作の一例を示す表である。この表は、ケース番号毎に、セレクタ生成部12の入力であるA系エラー信号(信号8a,11a0,11a1)、B系エラー信号(信号8b,11b0,11b1)、同期エラー(比較エラー、信号10)の内容に対して、セレクタ生成部12の出力であるセレクト信号13の内容を示す。
A系エラー信号及びB系エラー信号は、それぞれA系のエラーチェッカでUEが検出されたこと、B系のエラーチェッカでUEが検出されたことを示す。同期エラーは、A系とB系の同期のエラーであり、コンパレータ9による比較結果が不一致であったこと(同期崩れ)を示す。セレクト信号13の内容は、信号5a,5b、エラーストップ(セレクトせず、システムが停止)のいずれかを示す。セレクト信号13の内容が「5a/5bどちらでもOK」と記されている場合、セレクタ生成部12は、信号5a,5bのどちらを選択しても同じ信号が得られるため、所定の決定方法により信号5a,5bのいずれかを選択する。所定の決定方法とは、例えば、予め設定された系を選択する、それ以前に選択されていた系を選択する等である。
図27は、従来のセレクタ生成部におけるエラー信号受信時の動作の一例を示すフローチャートである。まず、セレクタ生成部12は、UEの通知を受けたか否かの判断を行う(S11)。
UEの通知を受けた場合(S11,Yes)、セレクタ生成部12は、UEがどこから通知されたかの判断を行う(S21)。UEがA系からのエラーである場合(S21,A系エラー)、セレクタ生成部12は、信号5bをセレクトし(S22)、このフローは終了する。UEがB系からのエラーである場合(S21,B系エラー)、セレクタ生成部12は、信号5aをセレクトし(S23)、このフローは終了する。UEがA系とB系から同時に通知されたエラーである場合(S21,同時)、セレクタ生成部12は、信号をセレクトせず(S24、エラーストップ)、このフローは終了する。
処理S11においてUEの通知を受けていない場合(S11,No)、セレクタ生成部12は、コンパレータ9による同期チェック結果の判定を行う(S61)。同期エラーがない場合(S61,エラーなし)、セレクタ生成部12は、上述した決定方法により信号5a,5bのいずれかをセレクトし(S62)、このフローは終了する。同期エラーがある場合(S61,同期エラー)、セレクタ生成部12は、信号をセレクトせず(S63、エラーストップ)、このフローは終了する。
このセレクタ生成部12の動作によれば、比較エラーが検出された場合または両系でエラーが検出された場合(ケース番号=2,5〜11)、情報処理システムは停止する。
次に、各エラーチェッカ(エラーチェッカ7a,7b、処理装置2a0,2a1,2b0,2b1内部のエラーチェッカ)の動作について説明する。図28は、従来のエラーチェッカの動作の一例を示すフローチャートである。まず、エラーチェッカは、どんな種類のエラーが発生したかの判断を行う(S111)。エラーが発生していない場合(S111,No Error)、エラーチェッカは、何もせず、このフローは終了する。UEが発生した場合(S111,UE)、エラーチェッカは、セレクタ生成部12へUEの通知を行い(S112)、このフローは終了する。CEが発生した場合(S111,CE)、エラーチェッカは、CEのコレクトを行い(S113)、このフローは終了する。
例えば、B系でUEが検出された場合、上述したセレクタ生成部12の動作によりセレクタ14は信号5aを選択し、エラーが検出されたB系を切り離す。同様に、A系でUEが検出された場合、上述したセレクタ生成部12の動作によりセレクタセレクタ14は信号5bを選択し、エラーが検出されたB系を切り離すことでシステムの保護を図っている。
また、エラーチェッカ(correctable error)がCEを検出した場合について説明する。ここで、各系で割り込みによりCE処理を行うためのパスがある場合、CEを検出した系は、割り込み処理へのマスクを行う。
なお、本発明の関連ある従来技術として、装置の動作の一時停止時間を短縮するフォルトトレラントコンピュータ装置とその再同期化方法がある(例えば、特許文献1参照)。
特開2004−46599号公報
しかしながら、上述した情報処理システムのように、共通部15のUEがA系及びB系に伝播し、A系及びB系でエラーを認識するシステムで、且つ上述した動作を行うセレクタ生成部12を有するシステムは、シングルモードよりミラーモードの方がエラーに対して弱くなるケースがある。
ポイズニングデータを認識できない処理装置2a0が共通部15内の資源にリードを行い、その対象がUEであったケースについて説明する。ポイズニングデータとは、そのデータにエラーが検出された場合、そのエラーが既に検出済みであることを示すためにマーキングされたデータである。シングルモードの場合、処理装置2a0が共通部15をリードした時にリード対象がUEであった場合、共通部15はデータをポイズニングして処理装置2a0にデータを返す。処理装置2a0はポイズニングデータを認識できない為、処理装置2a0内のエラーチェッカは、UEと認識し、エラーログの記録及びシステムの続行が出来るか否かの判断を下すことができる。これに対してミラーモードの場合、共通部15がポイズニングデータを返し、処理装置2a0,2b0内のエラーチェッカが同時にUEを認識すると、UEは系の切り離し対象のエラーである為、信号11a0,11b0が同時にアサートされ、システムがSTOPしてしまう。
また、各系においてCE検知時に割り込みによるCE処理を処理するパスがある場合、シングルモードにおいては、CE信号を検知するとCEログの記録及びシステムの続行が可能である。しかし、前述の様にミラーモードにおいては、CEの割り込み処理へのマスクを行う為、CEログの記録が出来ない。なぜならば、エラーログの記録のために系に割り込み処理を入れると、両系の同期が取れなくなるためである。このエラーログの記録は、ハードエラーの予兆監視の面から見てとても重要なものである。従って、ミラーモードにおける信頼性に対する弊害となっている。
本発明は上述した問題点を解決するためになされたものであり、同期動作の信頼性を向上させる情報処理装置、エラー処理方法を提供することを目的とする。
上述した課題を解決するため、本発明は、互いに同期動作を行うことができる2つの処理部を有する情報処理装置であって、前記2つの処理部へ同一の信号を出力することができる共通部と、前記処理部毎に備えられ、対応する処理部で発生したエラーを検出する検出部と、前記2つの処理部からの出力を比較する比較部と、前記検出部による検出結果と前記比較部による比較結果とに基づいて、前記処理部から前記共通部への信号の制御を行い、2つの前記検出部により同時に同種のエラーが検出された場合、前記共通部のエラーと判定する制御部とを備える。
また、本発明は、互いに同期動作を行うことができる2つの処理部を有する情報処理装置であって、前記2つの処理部へ同一の信号を出力することができる共通部と、前記処理部毎に備えられ、対応する処理部で発生したエラーを検出する検出部と、前記処理部毎に備えられ、対応する検出部により検出されたエラーに関する情報を記録する記録部と、前記2つの処理部からの出力を比較する比較部と、前記検出部による検出結果と前記比較部による比較結果とに基づいて、前記処理部から前記共通部への信号の制御を行う制御部とを備える。
また、本発明は、互いに同期動作を行うことができる2つの処理部と、前記2つの処理部へ同一の信号を出力することができる共通部とを有する情報処理装置のエラー処理を行うエラー処理方法であって、前記処理部で発生したエラーを検出する検出ステップと、前記2つの処理部からの出力を比較する比較ステップと、前記検出ステップによる検出結果と前記比較ステップによる比較結果とに基づいて、前記処理部から前記共通部への信号の制御を行い、2つの前記検出部により同時に同種のエラーが検出された場合、前記共通部のエラーと判定する信号制御ステップとを実行する。
また、本発明は、互いに同期動作を行うことができる2つの処理部と、前記2つの処理部へ同一の信号を出力することができる共通部とを有する情報処理装置の制御を行うエラー処理方法であって、前記処理部で発生したエラーを検出する検出ステップと、検出ステップにより検出されたエラーに関する情報を記録する記録ステップと、前記2つの処理部からの出力を比較する比較ステップと、前記検出ステップによる検出結果と前記比較ステップによる比較結果とに基づいて、前記処理部から前記共通部への信号の制御を行う制御ステップとを実行する。
実施の形態1に係る情報処理システムの構成の一例を示すブロック図である。 実施の形態1に係るセレクタ生成部におけるUE信号受信時の動作の一例を示す表である。 実施の形態1に係るセレクタ生成部におけるエラー信号受信時の動作の一例を示すフローチャートである。 実施の形態2に係る情報処理システムの構成の一例を示すブロック図である。 実施の形態2に係るCE記録部の構成の一例を示す回路図である。 実施の形態2に係るエラーチェッカの動作の一例を示すフローチャートである。 実施の形態3に係る情報処理システムの構成の一例を示すブロック図である。 実施の形態3に係るセレクタ生成部におけるCE信号受信時の動作の一例を示す表である。 実施の形態3に係るセレクタ生成部におけるエラー信号受信時の動作のうち第1の処理を示すフローチャートである。 実施の形態3に係るセレクタ生成部におけるエラー信号受信時の動作のうち第2の処理を示すフローチャートである。 実施の形態3に係るエラーチェッカの動作の一例を示すフローチャートである。 実施の形態3に係るシステムボードにおける処理S210の動作を示すブロック図である。 実施の形態3に係るシステムボードにおける処理S220の動作を示すブロック図である。 実施の形態3に係るシステムボードにおける処理S230の動作を示すブロック図である。 実施の形態3に係るシステムボードにおける処理S240の動作を示すブロック図である。 実施の形態3に係るシステムボードにおける処理S250の動作を示すブロック図である。 実施の形態3に係るシステムボードにおける処理S260の動作を示すブロック図である。 実施の形態3に係るシステムボードにおける処理S270の動作を示すブロック図である。 実施の形態3に係るシステムボードにおける処理S280の動作を示すブロック図である。 実施の形態3に係るシステムボードにおける処理S290の動作を示すブロック図である。 実施の形態3に係るシステムボードにおける処理S310の動作を示すブロック図である。 実施の形態3に係るシステムボードにおける処理S320の動作を示すブロック図である。 実施の形態3に係るシステムボードにおける処理S410の動作を示すブロック図である。 実施の形態3に係るシステムボードにおける処理S420の動作を示すブロック図である。 従来の情報処理システムの構成の一例を示すブロック図である。 従来のセレクタ生成部におけるUE信号受信時の動作の一例を示す表である。 従来のセレクタ生成部におけるエラー信号受信時の動作の一例を示すフローチャートである。 従来のエラーチェッカの動作の一例を示すフローチャートである。
以下、実施の形態の例について図面を参照しつつ説明する。
実施の形態1.
まず、本実施の形態に係る情報処理システム(情報処理装置)の構成について説明する。
図1は、本実施の形態に係る情報処理システムの構成の一例を示すブロック図である。この図において、図25と同一符号は図25に示された対象と同一又は相当物を示しており、ここでの説明を省略する。この図は、図25と比較すると、セレクタ生成部12の代わりにセレクタ生成部12pを備える。
次に、本実施の形態に係る情報処理システムの動作について説明する。
この情報処理システムは、上述した従来の情報処理システムと同様、共通部15のUEが伝播するA系及びB系でエラーを認識する。
次に、セレクタ生成部12pにおけるエラー信号受信時の動作について説明する。
図2は、本実施の形態に係るセレクタ生成部におけるUE信号受信時の動作の一例を示す表である。この表は、図26と同様であるが、A系とB系でUEが検出され、且つ比較エラーがない場合(ケース番号=5,7,9)、上述した所定の決定方法により信号5a,5bのいずれかを選択する点が異なる。
図3は、本実施の形態に係るセレクタ生成部におけるエラー信号受信時の動作の一例を示すフローチャートである。この図において、図27と同一符号は図27に示された対象と同一又は相当物を示しており、ここでの説明を省略する。この図は、図27と比較すると、処理S24の代わりに処理S31を実行する。処理S21において、UEが同時にA系とB系から受けたエラーである場合(S21,同時)、セレクタ生成部12pは、コンパレータ9による同期チェック結果の判断を行う(S31)。同期エラーがない場合(S31,エラーなし)、セレクタ生成部12pは、上述した決定方法により信号5a,5bのいずれかをセレクトし(S32)、このフローは終了する。同期エラーである場合(S31,同期エラー)、セレクタ生成部12pは、信号をセレクトせず(S33、エラーストップ)、このフローは終了する。
各エラーチェッカ(エラーチェッカ7a,7b、処理装置2a0,2a1,2b0,2b1内部のエラーチェッカ)の動作は、図28のエラーチェッカと同様である。
上述したセレクタ生成部12pによれば、例えば、処理装置2a0、2b0が共通部15内の資源にリードを行い、その対象がUEであった場合、A系及びB系が同時にUEを検知しても、上述した従来の情報処理システムの様にセレクタ14によって停止することなく、共通部エラーと認識することが出来る。
他の要因によりエラーがA系及びB系で同時に検知された場合でも、コンパレータ9の同期チェックにより比較エラーの場合(ケース番号=6,8,10)は、エラーストップと判断するためシステムの信頼性は損なわれない。
本実施の形態によれば、システムを停止する必要のない共通部エラーがA系及びB系に伝播した場合において、A系及びB系に伝播したエラーを共通部エラーと認識することが可能となり、ミラーモードの信頼性の向上へ繋がる。
実施の形態2.
まず、本実施の形態に係る情報処理システム(情報処理装置)の構成について説明する。
図4は、本実施の形態に係る情報処理システムの構成の一例を示すブロック図である。この図において、図25と同一符号は図25に示された対象と同一又は相当物を示しており、ここでの説明を省略する。この図は、図25と比較すると、新たに、CE記録部16a,16bを備える。CE記録部16aは、エラーチェッカ7a、処理装置2a0,2a1内部のエラーチェッカで検出されたCEのログを記録する。同様に、CE記録部16bは、エラーチェッカ7b、処理装置2b0,2b1内部のエラーチェッカで検出されたCEのログを記録する。CE記録部16a,16bに記録されたログは、情報処理システムの外部により読み出される。
図5は、本実施の形態に係るCE記録部の構成の一例を示す回路図である。この図に示すように、CE記録部16a,16bは、簡単なカウンタ回路で構成される。この回路は、CE信号を受信する毎にカウンタとFF(フリップフロップ)を用いて、エラー回数を保持し、エラー回数がMax値に達するとMax回数を保持し続ける回路となっている。
次に、各エラーチェッカ(エラーチェッカ7a,7b、処理装置2a0,2a1,2b0,2b1内部のエラーチェッカ)の動作について説明する。図6は、本実施の形態に係るエラーチェッカの動作の一例を示すフローチャートである。この図において、図28と同一符号は図28に示された対象と同一又は相当物を示しており、ここでの説明を省略する。この図は、図28と比較すると、処理S113の代わりに処理S123を実行する。処理S111において、CEが発生した場合(S111,CE)、エラーチェッカは、CEのコレクトを行うと共に、接続されたCE記録部にエラーログを記録させ(S123)、このフローは終了する。
本実施の形態によれば、A系及びB系にCE記録部が備えられることにより、A系又はB系によるCE信号検知時にCEのログを記録しつつ、CE信号をコレクトし、系を切り離すことなくシステムを走行させることができる。従って、エラーログの収集の実現と共に、エラーの内容を利用したハードエラーの予兆監視への応用が期待でき、ミラーモードの信頼性の向上へ繋がる。
実施の形態3.
まず、本実施の形態に係る情報処理システム(情報処理装置)の構成について説明する。
本実施の形態に係る情報処理システムは、A系またはB系を制御システムから切り離しても再同期が可能であり、かつ、各系がCE検知時にCEのログを記録する機構を有している。
図7は、本実施の形態に係る情報処理システムの構成の一例を示すブロック図である。この図において、図25と同一符号は図25に示された対象と同一又は相当物を示しており、ここでの説明を省略する。この図は、図25と比較すると、セレクタ生成部12の代わりにセレクタ生成部12qを備え、処理装置2a0,2a1,2b0,2b1の代わりに、それぞれ処理装置2a0q,2a1q,2b0q,2b1qを備える。更に、処理装置2a0qで発生したエラーをセレクタ生成部12qへ通知する信号16a0、処理装置2a1qで発生したエラーをセレクタ生成部12qへ通知する信号16a1、処理装置2b0qで発生したエラーをセレクタ生成部12qへ通知する信号16b0、処理装置2b1qで発生したエラーをセレクタ生成部12qへ通知する信号16b1を備える。
処理装置2a0q,2a1q,2b0q,2b1qは、例えばCPUであり、それぞれCE検知時に割り込みによりCEのログを記録するCE記録機能を有する。
次に、本実施の形態に係る情報処理システムの動作について説明する。
まず、セレクタ生成部12qにおけるCE信号受信時の動作について説明する。
図8は、本実施の形態に係るセレクタ生成部におけるCE信号受信時の動作の一例を示す表である。この表は、ケース番号毎に、A系エラー信号(信号16a0,16a1)、B系エラー信号(信号16b0,16b1)、同期エラー(比較エラー、信号10)の内容に対して、セレクタ生成部12qの出力であるセレクト信号13の内容を示す。セレクト信号13の内容は、信号5a,5b、エラーストップのいずれかを示す。セレクト信号13の内容が「5a/5bどちらでもOK」と記されている場合、セレクタ生成部12qは、信号5a,5bのどちらを選択しても良く、上述した決定方法により信号5a,5bのいずれかを選択する。
図9は、本実施の形態に係るセレクタ生成部におけるエラー信号受信時の動作のうち第1の処理を示すフローチャートである。図10は、本実施の形態に係るセレクタ生成部におけるエラー信号受信時の動作のうち第2の処理を示すフローチャートである。図9と図10において、図27と同一符号は図27に示された対象と同一又は相当物を示しており、ここでの説明を省略する。まず、セレクタ生成部12qは、エラーの通知を受けたか否かの判断を行う(S1)。
エラーの通知を受けた場合(S1,Yes)、セレクタ生成部12qは、通知の中にUEがあるか否かの判断を行う(S2)。UEがある場合(S2,UE)、セレクタ生成部12qは、従来の処理S21以降と同様の処理を行う。CEがある場合(S2,CE Only)、セレクタ生成部12qは、CEがどこで発生したかの判断を行う(S71)。
処理S71においてCEがA系からのエラーである場合(S71,A系エラー)、セレクタ生成部12qは、コンパレータ9による同期チェック結果の判定を行い、同期エラーがない場合(S72,エラーなし)、信号5aをセレクトし(S73)、同期エラーがある場合(S72,同期エラー)、信号をセレクトせず(S74、エラーストップ)、このフローは終了する。
処理S71においてCEがB系からのエラーである場合(S71,B系エラー)、セレクタ生成部12qは、コンパレータ9による同期チェック結果の判定を行い、同期エラーがない場合(S75,エラーなし)、信号5bをセレクトし(S76)、同期エラーがある場合(S75,同期エラー)、信号をセレクトせず(S77、エラーストップ)、このフローは終了する。
処理S71においてCEがA系とB系から同時に通知されたエラーである場合(S71,同時)、セレクタ生成部12qは、コンパレータ9による同期チェック結果の判定を行い、同期エラーがない場合(S78,エラーなし)、上述した決定方法により信号5a,5bのいずれかをセレクトし(S79)、同期エラーがある場合(S78,同期エラー)、信号をセレクトせず(S80、エラーストップ)、このフローは終了する。
処理S1において、エラーの通知を受けていない場合(S1,No)、セレクタ生成部12qは、従来の処理S61以降と同様の処理を行う。
次に、各エラーチェッカ(エラーチェッカ7a,7b、処理装置2a0q,2a1q,2b0q,2b1q内部のエラーチェッカ)の動作について説明する。図11は、本実施の形態に係るエラーチェッカの動作の一例を示すフローチャートである。この図において、図28と同一符号は図28に示された対象と同一又は相当物を示しており、ここでの説明を省略する。この図は、図28と比較すると、処理S113の代わりに処理S133を実行する。処理S111においてCEが発生した場合(S111,CE)、エラーチェッカは、CEのコレクトを行うと共に、接続されたセレクタ生成部12qにCEを通知し(S133)、このフローは終了する。
処理装置2a0q内部のエラーチェッカは、CEを検知するとセレクタ生成部12qへエラー信号16a0を送信する。CE信号を受信したセレクタ生成部12qは、エラーが検出されたA系の信号5aを選択し、エラーが検出されていない方のB系をシステムから切り離す。その後、エラーが検出された系の処理装置2a0qは、CE信号をコレクトし、割り込みによりCE記録機能がエラーログを記録する。
ログ記録後、セレクタ生成部12qは、切り離したB系を再びシステムに接続し両系の同期を図る再同期化を行う。従って、CEのログを記録しつつ、システムの同期を維持することができる。また、処理装置がCEのログを記録することより、外部からCEログの記録を読み出す為の機構は必要としないため、実施の形態2のようなCE記録部を挿入する必要はない。
次に、再同期化の動作の一例について説明する。
以下、本実施の形態の情報処理システムをシステムボード(SB)60とし、処理装置2a0q,2a1q,2b0q,2b1qをそれぞれCPU70,CPU71,CPU72,CPU73とし、制御システム1をノースブリッジ80とした例を用いて、再同期化の動作を説明する。
本実施の形態における再同期化とは、CPU再同期化を短時間(OSのタイムアウト検出期間内)で行うことにより、OS稼動中の再同期化を実現する技術である。
まず、ノースブリッジ80が、片方の系のCPUでのエラーによる冗長(同期)崩れを検出する(S210)。図12は、本実施の形態に係るシステムボードにおける処理S210の動作を示すブロック図である。ここでは、B系のCPU72に異常が発生した場合を示す。また、CPU70とCPU72、CPU71とCPU73がそれぞれ同期運転による冗長化されたCPUペアであるとする。
次に、ノースブリッジ80は、異常CPU72に接続されたCPUバスの動作を停止させ、以降の当該CPUバスから外部への命令発行を停止する(S220)。図13は、本実施の形態に係るシステムボードにおける処理S220の動作を示すブロック図である。
次に、ノースブリッジ80は、冗長構成のペアになっている正常CPUバスへ片系停止を割り込み通知する(S230)。図14は、本実施の形態に係るシステムボードにおける処理S230の動作を示すブロック図である。ここで、ノースブリッジ80は、正常CPU70,71に対してB系停止を通知する。
次に、ノースブリッジ80は、外部からの命令を抑止するため、外部命令をRetryさせ続ける(S240)。図15は、本実施の形態に係るシステムボードにおける処理S240の動作を示すブロック図である。この図に示すように、システムボード60のノースブリッジ80は、グローバルアドレスクロスバー62を介してシステムボード(SB)61のノースブリッジ81に接続されている。ここで、システムボード61のノースブリッジ81がシステムボード60への命令を発行すると、その命令はグローバルアドレスクロスバー62を介して(S241)、システムボード60へ送られる(S242)。その命令を受け取ったシステムボード60のノースブリッジ80は、システムボード61へのRetryを発行し、そのRetryはグローバルアドレスクロスバー62を介して(S243)、システムボード61へ送られる(S244)。
次に、ノースブリッジ80は、正常CPUから再同期化時に最低限必要なCPU内部情報をメモリへ退避させるように、ファームウェア指示を出す(S250)。図16は、本実施の形態に係るシステムボードにおける処理S250の動作を示すブロック図である。ここで、ノースブリッジ80は、正常CPU70,71に対して、CPU内部情報をメモリ74へ退避するように指示する。
次に、ノースブリッジ80からの指示を受けた正常CPU70,71は、その指示に従ってキャッシュデータ(CPU内部情報)をメモリ74へ書き出す(S260)。図17は、本実施の形態に係るシステムボードにおける処理S260の動作を示すブロック図である。
次に、ノースブリッジ80は、正常CPU全てのキャッシュデータのメモリ書き出しが完了した時点で、ノースブリッジ80内部のスヌープタグ(各CPUのキャッシュステート情報)をクリアする(S270)。図18は、本実施の形態に係るシステムボードにおける処理S270の動作を示すブロック図である。
次に、ノースブリッジ80は、各CPU70,71,72,73に対して同時にCPUリセット発行を行い、CPUの同期運転を再開させる(S280)。図19は、本実施の形態に係るシステムボードにおける処理S280の動作を示すブロック図である。
次に、ノースブリッジ80は、各CPU70,71,72,73の初期化を行い、処理S260でメモリへ退避した情報を各CPUペアへ復元する(S290)。図20は、本実施の形態に係るシステムボードにおける処理S290の動作を示すブロック図である。
ここでの状態に応じて次の2つのケースのいずれかが実行される。
第1のケースは、全てのCPUにおいて、初期化および内部情報の復元が完了した場合である。その時点で、ノースブリッジ80は、処理S240で行った外部命令の抑止を解除する(S310)。図21は、本実施の形態に係るシステムボードにおける処理S310の動作を示すブロック図である。
次に、ノースブリッジ80は、運用を再開し(S320)、再同期化は終了する。図22は、本実施の形態に係るシステムボードにおける処理S320の動作を示すブロック図である。この図に示すように、その後、ノースブリッジ81がノースブリッジ80への命令を発行すると、その命令はグローバルアドレスクロスバー62を介して(S321)、ノースブリッジ80へ送られる(S322)。その命令を受け取って処理したノースブリッジ80は、ノースブリッジ81への応答を発行し、その応答はグローバルアドレスクロスバー62を介して(S323)、ノースブリッジ81へ送られる(S324)。
なお、ノースブリッジ80は、再同期化実施回数のカウントを行うと共に、そのカウントに対して再同期可能上限回数を設定しておき、実施回数≧上限回数となった場合は、再同期化を実施せずに異常発生CPUバスの停止のみ行い、正常なCPUバスのみの片系運転でシステムの継続運転を行う。
第2のケースは、CPUの初期化および内部情報の復元が全て完了せず、再同期化の最中に再度処理S210のような同期崩れが発生した場合である。この場合、ノースブリッジ80は、再同期化を中断し、正常なCPUバスのみの片系運転を行い、処理S240で行った外部命令の抑止を解除する(S410)。図23は、本実施の形態に係るシステムボードにおける処理S410の動作を示すブロック図である。
次に、ノースブリッジ80は、運用を再開し(S420)、再同期化は終了する。図24は、本実施の形態に係るシステムボードにおける処理S420の動作を示すブロック図である。この図に示すように、その後、ノースブリッジ81がノースブリッジ80への命令を発行すると、処理S321〜S324が実行される。
本実施の形態によれば、A系及びB系の処理装置のソフトがCE信号検出時にログを記録する機能を有し、且つA系またはB系によるCE信号検出時にCEが検出されていない方の系をシステムから切り離すことにより、処理装置のソフトを用いて実施の形態2より詳細なエラーログの収集が可能となる。詳細なエラーログの収集の実現によりハードエラーの予兆監視への応用が期待でき、ミラーモードの信頼性の向上へ繋がる。
なお、上述した実施の形態1,2,3は、互いに組み合わせても良い。
なお、処理部は、実施の形態におけるA系またはB系に対応する。また、検出部は、実施の形態におけるエラーチェッカに対応する。また、比較部は、実施の形態におけるコンパレータに対応する。また、制御部は、実施の形態におけるセレクタ生成部に対応する。また、記録部は、実施の形態におけるCE記録部または処理装置におけるCE記録機能に対応する。
また、検出ステップは、実施の形態におけるエラーチェッカの処理に対応する。また、比較ステップは、実施の形態におけるコンパレータの処理に対応する。また、制御ステップは、実施の形態におけるセレクタ生成部の処理に対応する。また、記録ステップは、実施の形態におけるCE記録部の処理または処理装置におけるCE記録機能に対応する。また、再同期ステップは、実施の形態における再同期化に対応する。
以上説明したように、本発明によれば、同期動作の信頼性を向上させることができる。

Claims (6)

  1. 互いに同期動作を行うことができる2つの処理部を有する情報処理装置であって、
    前記2つの処理部へ同一の信号を出力することができる共通部と、
    前記処理部毎に備えられ、対応する処理部で発生したエラーを検出する検出部と、
    前記2つの処理部からの出力を比較する比較部と、
    前記検出部による検出結果と前記比較部による比較結果とに基づいて、前記処理部から前記共通部への信号の制御を行い、前記2つの処理に対応する検出部のそれぞれにより同時にUE(uncorrectable error)が検出され、且つ前記比較部により前記2つの処理部からの出力が同期していると判定された場合、前記共通部のエラーと判定する制御部と
    を備える情報処理装置。
  2. 請求項1に記載の情報処理装置において、
    前記2つの処理部に対応する検出部のそれぞれにより同時に前記UEが検出され、且つ前記比較部により前記2つの処理部からの出力が同期していると判定された場合、
    前記制御部は、前記共通部のエラーと判定し、前記2つの処理部からの出力のうち、いずれかを選択する情報処理装置。
  3. 互いに同期動作を行うことができる2つの処理部を有する情報処理装置であって、
    前記2つの処理部へ同一の信号を出力することができる共通部と、
    前記処理部毎に備えられ、対応する処理部で発生したエラーを検出する検出部と、
    前記処理部毎に備えられ、対応する検出部により検出されたCE(Correctable Error)に関する情報を記録する記録部と、
    前記2つの処理部からの出力を比較する比較部と、
    前記検出部による検出結果と前記比較部による比較結果とに基づいて、前記処理部から前記共通部への信号の制御を行う制御部とを備え
    前記検出部により前記CEが検出された場合、
    前記制御部は、前記2つの処理部のうち前記CEが検出された処理部から前記共通部へ信号を伝達し、
    前記CEが検出された処理部に対応する記録部は、前記検出部により検出されたCEに関する情報を記録し、
    前記共通部は、前記2つの処理部の再同期を行う情報処理装置。
  4. 請求項3に記載の情報処理装置において、
    前記検出部により前記CEが検出された場合、
    前記制御部は、前記2つの処理部のうち前記CEが検出されなかった処理部を前記情報処理装置から切り離す情報処理装置。
  5. 請求項3または請求項4に記載の情報処理装置において、
    前記記録部は、カウンタを有し、
    前記CEに関する情報は、CEの数である情報処理装置。
  6. 互いに同期動作を行うことができる2つの処理部と、前記2つの処理部へ同一の信号を出力することができる共通部とを有する情報処理装置のエラー処理を行うエラー処理方法であって、
    前記処理部で発生したエラーを検出する検出ステップと、
    前記2つの処理部からの出力を比較する比較ステップと、
    前記検出ステップによる検出結果と前記比較ステップによる比較結果とに基づいて、前記処理部から前記共通部への信号の制御を行い、前記検出ステップにより前記2つの処理部のそれぞれで同時にUE(uncorrectable error)が検出され、且つ前記比較ステップにより前記2つの処理部からの出力が同期していると判定された場合、前記共通部のエラーと判定する信号制御ステップと
    を実行するエラー処理方法。
JP2009507343A 2007-03-29 2007-03-29 情報処理装置、エラー処理方法 Expired - Fee Related JP4629793B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2007/056858 WO2008120352A1 (ja) 2007-03-29 2007-03-29 情報処理装置、エラー処理方法

Publications (2)

Publication Number Publication Date
JPWO2008120352A1 JPWO2008120352A1 (ja) 2010-07-15
JP4629793B2 true JP4629793B2 (ja) 2011-02-09

Family

ID=39807945

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009507343A Expired - Fee Related JP4629793B2 (ja) 2007-03-29 2007-03-29 情報処理装置、エラー処理方法

Country Status (5)

Country Link
US (1) US8078920B2 (ja)
EP (2) EP2372554B1 (ja)
JP (1) JP4629793B2 (ja)
AT (1) ATE537502T1 (ja)
WO (1) WO2008120352A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103443774A (zh) * 2007-09-25 2013-12-11 富士通株式会社 信息处理装置和控制方法
WO2010103562A1 (ja) 2009-03-09 2010-09-16 富士通株式会社 情報処理装置、情報処理装置の制御方法、及び情報処理装置の制御プログラム
DE102010048352B3 (de) * 2010-10-13 2012-04-26 Fujitsu Technology Solutions Intellectual Property Gmbh Schnittstellenüberwachungsvorrichtung für einen Schnittstellenanschluss und Verwendung einer Schnittstellenüberwachungsvorrichtung
US10649829B2 (en) * 2017-07-10 2020-05-12 Hewlett Packard Enterprise Development Lp Tracking errors associated with memory access operations
JP6923250B2 (ja) * 2018-12-14 2021-08-18 Necプラットフォームズ株式会社 システム及び暗号化処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04153838A (ja) * 1990-10-18 1992-05-27 Fujitsu Ltd 二重化システムのエラーチェック回路
JPH07271626A (ja) * 1994-03-28 1995-10-20 Toshiba Corp ディジタル制御システム
JP2005165807A (ja) * 2003-12-04 2005-06-23 Hitachi Ltd プロセッサ多重化システムにおける動作比較方式
JP2006209565A (ja) * 2005-01-31 2006-08-10 Yokogawa Electric Corp 情報処理装置および情報処理方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4965717A (en) * 1988-12-09 1990-10-23 Tandem Computers Incorporated Multiple processor system having shared memory with private-write capability
US5295258A (en) * 1989-12-22 1994-03-15 Tandem Computers Incorporated Fault-tolerant computer system with online recovery and reintegration of redundant components
JPH04302332A (ja) 1991-03-29 1992-10-26 Toshiba Corp 2重化cpuシステムの同期化方式
FR2686991A1 (fr) * 1992-02-05 1993-07-30 Sextant Avionique Procede, systeme et processeur de communication entre une pluralite de sous-ensembles d'un equipement.
US5809533A (en) * 1993-02-18 1998-09-15 Unisys Corporation Dual bus system with multiple processors having data coherency maintenance
FR2721122B1 (fr) * 1994-06-14 1996-07-12 Commissariat Energie Atomique Unité de calcul à pluralité de calculateurs redondants.
EP0729097A1 (en) * 1995-02-07 1996-08-28 Sun Microsystems, Inc. Method and apparatus for run-time memory access checking and memory leak detection of a multi-threaded program
KR100234504B1 (ko) * 1995-09-18 1999-12-15 포만 제프리 엘 선택된 고장에 대한 고장정보를 포착하는 집적회로의 테스트 방법 및 내장된 자기 테스트 장치
DE19809089A1 (de) * 1998-02-25 1999-08-26 Siemens Ag Synchronisations- und/oder Datenaustauschverfahren für sichere, hochverfügbare Rechner und hierzu geeignete Einrichtung
FR2797964B1 (fr) * 1999-08-23 2002-03-29 Thomson Csf Sextant Dispositif de controle securise de commutation de donnees
US6543016B1 (en) * 1999-11-04 2003-04-01 Agere Systems Inc. Testing content-addressable memories
JP4302332B2 (ja) 2000-05-19 2009-07-22 理想科学工業株式会社 感熱孔版原紙の製版方法、製版装置及び孔版印刷版
JP2002014943A (ja) 2000-06-30 2002-01-18 Nippon Telegr & Teleph Corp <Ntt> 耐故障性システム及びその故障検出方法
DE10040389A1 (de) * 2000-08-18 2002-03-07 Infineon Technologies Ag Hochgeschwindigkeitsprozessor
JP3537087B2 (ja) * 2000-09-29 2004-06-14 Necエレクトロニクス株式会社 半導体装置及び半導体装置の検査方法
FR2819598B1 (fr) * 2001-01-16 2003-04-11 Thomson Csf Dispositif de synchronisation tolerant aux pannes pour reseau informatique temps reel
US7065672B2 (en) * 2001-03-28 2006-06-20 Stratus Technologies Bermuda Ltd. Apparatus and methods for fault-tolerant computing using a switching fabric
US7194556B2 (en) * 2001-03-30 2007-03-20 Intel Corporation Method and apparatus for high accuracy distributed time synchronization using processor tick counters
GB2377024A (en) * 2001-06-29 2002-12-31 Motorola Inc Fault tolerant measurment data outputting system
EP1376356A1 (en) * 2002-06-26 2004-01-02 Fujitsu Siemens Computers, LLC Error reporting network in multiprocessor computer
JP2004046599A (ja) * 2002-07-12 2004-02-12 Nec Corp フォルトトレラントコンピュータ装置、その再同期化方法及び再同期化プログラム
JP3640187B2 (ja) * 2002-07-29 2005-04-20 日本電気株式会社 マルチプロセッサシステムの障害処理方法、マルチプロセッサシステム及びノード
US7055060B2 (en) * 2002-12-19 2006-05-30 Intel Corporation On-die mechanism for high-reliability processor
JP4155088B2 (ja) * 2003-04-18 2008-09-24 日本電気株式会社 情報処理装置
JP4153838B2 (ja) 2003-07-04 2008-09-24 株式会社東芝 画像形成装置の機能及び性能制限装置
US8799706B2 (en) * 2004-03-30 2014-08-05 Hewlett-Packard Development Company, L.P. Method and system of exchanging information between processors
GB0411054D0 (en) * 2004-05-18 2004-06-23 Ricardo Uk Ltd Fault tolerant data processing
JP4168403B2 (ja) * 2004-12-21 2008-10-22 日本電気株式会社 フォールトトレラントシステム、これで用いる制御装置、アクセス制御方法、及び制御プログラム
US8595557B2 (en) * 2005-02-23 2013-11-26 International Business Machines Corporation Method and apparatus for verifying memory testing software
JP4330547B2 (ja) * 2005-03-17 2009-09-16 富士通株式会社 情報処理システムの制御方法、情報処理システム、情報処理システムの制御プログラム、冗長構成制御装置
JP4667092B2 (ja) * 2005-03-17 2011-04-06 富士通株式会社 情報処理装置、情報処理装置におけるデータ制御方法
JP4667093B2 (ja) * 2005-03-17 2011-04-06 富士通株式会社 二重化記憶装置及び二重化記憶装置の制御方法
US7350007B2 (en) * 2005-04-05 2008-03-25 Hewlett-Packard Development Company, L.P. Time-interval-based system and method to determine if a device error rate equals or exceeds a threshold error rate
US8826288B2 (en) * 2005-04-19 2014-09-02 Hewlett-Packard Development Company, L.P. Computing with both lock-step and free-step processor modes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04153838A (ja) * 1990-10-18 1992-05-27 Fujitsu Ltd 二重化システムのエラーチェック回路
JPH07271626A (ja) * 1994-03-28 1995-10-20 Toshiba Corp ディジタル制御システム
JP2005165807A (ja) * 2003-12-04 2005-06-23 Hitachi Ltd プロセッサ多重化システムにおける動作比較方式
JP2006209565A (ja) * 2005-01-31 2006-08-10 Yokogawa Electric Corp 情報処理装置および情報処理方法

Also Published As

Publication number Publication date
EP2372554A3 (en) 2012-01-18
JPWO2008120352A1 (ja) 2010-07-15
US8078920B2 (en) 2011-12-13
EP2141596A1 (en) 2010-01-06
WO2008120352A1 (ja) 2008-10-09
US20100077262A1 (en) 2010-03-25
EP2372554A2 (en) 2011-10-05
ATE537502T1 (de) 2011-12-15
EP2141596A4 (en) 2010-10-27
EP2372554B1 (en) 2013-03-20
EP2141596B1 (en) 2011-12-14

Similar Documents

Publication Publication Date Title
KR100566338B1 (ko) 폴트 톨러런트 컴퓨터 시스템, 그의 재동기화 방법 및 재동기화 프로그램이 기록된 컴퓨터 판독가능 기억매체
KR100566339B1 (ko) 폴트 톨러런트 컴퓨터 시스템, 그 재동기화 방법, 및 그 재동기화 프로그램을 갖는 컴퓨터 판독가능 저장매체
US7500139B2 (en) Securing time for identifying cause of asynchronism in fault-tolerant computer
EP2175371B1 (en) Synchronization control apparatuses, information processing apparatuses, and synchronization management methods
JP2006260259A (ja) 情報処理システムの制御方法、情報処理システム、情報処理システムの制御プログラム、冗長構成制御装置
JP4629793B2 (ja) 情報処理装置、エラー処理方法
JP5287974B2 (ja) 演算処理システム、再同期方法、およびファームプログラム
JP2004046455A (ja) 情報処理装置
KR100583214B1 (ko) 정보 처리 장치
JPH0375834A (ja) パリティの置換装置及び方法
JP4209866B2 (ja) 監視装置、監視方法および情報処理装置
JP2006178688A (ja) 多重化装置及びレガシーデバイス多重化方法
JP3015537B2 (ja) 電子計算機の二重化方式
JP4887837B2 (ja) マルチノードコンピュータシステム、統合サービスプロセッサ及びそれらに用いる多重化制御方法
JP2003345676A (ja) 二重化メモリシステム
JPH0713792A (ja) ホットスタンバイシステムにおけるエラー制御方式
JPS6339065A (ja) デ−タ転送装置
JPH02135535A (ja) 情報処理システム
JPS62113241A (ja) 障害回復装置
JPH09114687A (ja) プロセッサ診断回路とこれを備えたディスクコントローラ
JPH04211841A (ja) 二重化処理装置
JPH05289896A (ja) フォールトトレラントコンピュータ
JPH0581056A (ja) 電子計算機の二重化方式
JPS6341943A (ja) 論理装置のエラ−回復方式
JP2009037448A (ja) 障害検出装置、障害検出方法及び障害検出プログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101109

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees