JP4872058B2 - 自動障害対応システム - Google Patents

自動障害対応システム Download PDF

Info

Publication number
JP4872058B2
JP4872058B2 JP2008126316A JP2008126316A JP4872058B2 JP 4872058 B2 JP4872058 B2 JP 4872058B2 JP 2008126316 A JP2008126316 A JP 2008126316A JP 2008126316 A JP2008126316 A JP 2008126316A JP 4872058 B2 JP4872058 B2 JP 4872058B2
Authority
JP
Japan
Prior art keywords
failure
information
fault
avoidance
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008126316A
Other languages
English (en)
Other versions
JP2009276929A (ja
Inventor
聡 岩垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Systems Ltd
Original Assignee
Hitachi Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Systems Ltd filed Critical Hitachi Systems Ltd
Priority to JP2008126316A priority Critical patent/JP4872058B2/ja
Publication of JP2009276929A publication Critical patent/JP2009276929A/ja
Application granted granted Critical
Publication of JP4872058B2 publication Critical patent/JP4872058B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Test And Diagnosis Of Digital Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Debugging And Monitoring (AREA)

Description

本発明は、障害が発生したサーバ等の復旧作業の効率化及び自動化を可能とする自動障害対応システムに関する。
従来、基幹業務を担うシステムにおいて、いち早く障害の発生を検出するために、別途監視サーバを設け、障害の検出とエンジニアへの報知が行われている。例えば特許文献1では、業務サーバやネットワーク機器等の複数の監視対象機器とネットワーク上に接続され、各装置の障害対策情報をデータベースに蓄積し、各装置に障害が発生した場合、発生した障害と同種又は類似する障害情報及びその対処方法がデータベースに蓄積されている場合、これを表示部に自動的に表示させる方法が開示されている。
また、特許文献2では、特許文献1と同様に発生した障害内容が類似し、障害対処情報を有する障害情報をデータベースから抽出し、これに基づいて障害を回避する所定のコマンドを自動生成し、障害発生中のサーバに適用して復旧を試みるシステムが開示されている。また、本文献には、対処情報がデータベースに蓄積されていない場合は、対処できる可能性がある障害対処情報に基づき、予め決められた優先順によって順次実行され、監視対象サーバが障害から復旧するまで行う方法も開示されている。
特開2005−202446号公報 特許第3826940号公報
しかしながら、特許文献1の方法では、表示された対処方法によって障害を回避する作業は人的作業に頼らざるを得ず、表示装置の監視を行う人員を削減することは容易ではない。また、特許文献2の方法では、障害が発生し、これを復旧するまでを全自動化する方法であるが、条件が一致する障害対処情報がない場合、対処の実績が無い情報に基づいて障害復旧を試みるのだが、ミッションクリティカルなシステムにおいて、このように対処実績の無い障害対処情報をシステムが復旧するまで順次試みるというのは、システムの復旧に長時間支障が出る可能性があり現実的に難しい。
本発明は上記課題を鑑みてなされたものであり、既知事例に基づき発生した障害を自動復旧させ、既知事例が存在しない場合においても迅速なシステムの復旧が可能な自動障害対応システムを提供することを目的とする。
請求項1に係る自動障害対応システムは、監視対象となる監視対象サーバの監視を行い、該監視対象サーバに発生した障害を検知する障害検知手段と、
該監視対象サーバが使用するオペレーティングシステム及びプログラムの動作ログの資料を採取する資料採取手段と、
前記採取された資料から障害情報を示すキーワードを抽出するキーワード抽出手段と、
過去に発生した障害情報及びその対処方法を蓄積した事例情報データベースと
前記キーワード抽出手段によって抽出されたキーワードに基づいて前記事例情報データベースから前記障害情報の対処方法となる類似事例を抽出する類似事例抽出手段と、
IPアドレスやホスト名などのネットワーク環境情報、プログラムのインストールフォルダや各種設定値などのプログラム動作環境に代表される前記監視対象サーバの環境情報を蓄積した環境情報データベースと
前記類似事例抽出手段から抽出される類似事例の類似事例情報と、前記環境データベースから抽出される前記監視対象サーバの環境情報に基づいて、障害を自動的に対処するための障害回避ファイルを生成する障害回避ファイル生成手段と、
前記障害回避ファイルを前記監視対象サーバに適用する障害回避ファイル適用手段と、
を備え、前記監視対象サーバに障害が発生した場合、前記障害検知手段はこれを検出し、前記資料採取手段によって動作ログを採取するよう指示を行い、前記キーワード抽出手段によって採取された動作ログから所定のキーワードを抽出し、抽出されたキーワードに基づいて前記類似事例抽出手段は前記事例データベースから前記類似事例情報を取得し、前記障害回避ファイル生成手段は、前記類似事例情報から前記障害対処方法に関する情報を解析し、前記環境データベースから取得した障害が発生した前記監視対象サーバの環境情報に対応する前記障害回避ファイルを生成し、前記障害回避ファイル適用手段がこれを前記監視対象サーバに適用することを特徴とする。
請求項1の構成によれば、監視対象サーバを定期的に監視し、障害を検知した場合は、障害が発生した前後の動作ログを採取し、当該ファイルから障害発生のトリガーとなるエラーログ等を検索し、エラーコードなどのキーワードを抽出し、該キーワードによって類似事例抽出手段は事例DBから類似事例を抽出し、当該類似事例に含まれる障害に対応するための障害回避情報を取得し、これに基づき障害回避ファイルを生成、監視対象サーバに送信して監視対象サーバにこれを適用することができる。
請求項2に係る自動障害対応システムは、請求項1記載の自動障害対応システムにおいて、前記障害回避ファイル生成手段は、前記障害回避ファイルを生成する際に、該障害回避ファイルが行う手順を詳細に記載する調査報告書を自動生成可能なことを特徴とする。
請求項2の構成によれば、障害回避ファイル生成手段が障害回避ファイルを生成する際の操作手順及び解決方法を、調査報告書に利用し、顧客又はサービスマンへ送付することができる。
請求項1に係る自動障害対応システムは、監視対象となる監視対象サーバの監視を行い、該監視対象サーバに発生した障害を検知する障害検知手段と、
該監視対象サーバが使用するオペレーティングシステム及びプログラムの動作ログの資料を採取する資料採取手段と、
前記採取された資料から障害情報を示すキーワードを抽出するキーワード抽出手段と、
過去に発生した障害情報及びその対処方法を蓄積した事例情報データベースと
前記キーワード抽出手段によって抽出されたキーワードに基づいて前記事例情報データベースから前記障害情報の対処方法となる類似事例を抽出する類似事例抽出手段と、
IPアドレスやホスト名などのネットワーク環境情報、プログラムのインストールフォルダや各種設定値などのプログラム動作環境に代表される前記監視対象サーバの環境情報を蓄積した環境情報データベースと
前記類似事例抽出手段から抽出される類似事例の類似事例情報と、前記環境データベースから抽出される前記監視対象サーバの環境情報に基づいて、障害を自動的に対処するための障害回避ファイルを生成する障害回避ファイル生成手段と、
前記障害回避ファイルを前記監視対象サーバに適用する障害回避ファイル適用手段と、
を備え、前記監視対象サーバに障害が発生した場合、前記障害検知手段はこれを検出し、前記資料採取手段によって動作ログを採取するよう指示を行い、前記キーワード抽出手段によって採取された動作ログから所定のキーワードを抽出し、抽出されたキーワードに基づいて前記類似事例抽出手段は前記事例データベースから前記類似事例情報を取得し、前記障害回避ファイル生成手段は、前記類似事例情報から前記障害対処方法に関する情報を解析し、前記環境データベースから取得した障害が発生した前記監視対象サーバの環境情報に対応する前記障害回避ファイルを生成し、前記障害回避ファイル適用手段がこれを前記監視対象サーバに適用するので、監視対象サーバに障害が発生してから障害を回避し、システムが回復するまでの間の全ての作業を自動化することができ、人的要因による作業の遅延を防止することができる。また、サービススタッフ等の人員の削減を図ることができる。
請求項2に係る自動障害対応システムは、請求項1記載の自動障害対応システムにおいて、前記障害回避ファイル生成手段は、前記障害回避ファイルを生成する際に、該障害回避ファイルが行う手順を詳細に記載する調査報告書を自動生成可能なので、顧客又はサービスマンの下に障害の詳細内容及び解決方法を記す調査報告書を速やかに届けることができる。
以下、本発明を実施するための最良の形態としての実施例を図1から図4を参照して説明する。もちろん、本発明は、その発明の趣旨に反さない範囲で、実施例において説明した以外のものに対しても容易に適用可能なことは説明を要するまでもない。
本実施例における自動障害対応システムの構成について、図1に基づいて説明する。1は自動障害対応システムである。2は自動障害対応システム1によってその動作を監視される監視対象サーバである。3は顧客担当者又は障害対応を行うサービスマンである。
11は、監視対象サーバ2のヘルスチェックを行い、障害を検出するための障害検知手段である。12は障害が発生した監視対象サーバ2から動作ログ等の資料31を採取する資料採取手段である。13は採取した資料からエラーコード等の障害を判別するキーワード32を抽出するキーワード抽出手段である。21は障害情報及びその対処方法が蓄積される事例DB(データベース)である。14は、キーワード抽出手段13により抽出されたキーワードに基づいて事例DB21から類似事例を抽出する類似事例抽出手段である。22は監視対象サーバ2のネットワーク情報やインストールフォルダ、その他個々のサーバの情報を蓄積する環境DB(データベース)である。15は障害が発生した監視対象サーバに関する環境情報を環境DB22から取得し、該環境情報と、類似事例抽出手段14によって抽出された類似事例情報33とに基づいて、若しくは後述の調査結果36に基づいて、監視対象サーバ2に発生した障害を対処するための障害回避ファイル34及び障害の原因や障害回避ファイルが動作した場合の説明を記す調査報告書35を生成する障害回避ファイル生成手段である。16は、障害回避ファイル生成手段15によって生成された障害回避ファイル34を監視対象サーバ2に送信し実行する障害回避ファイル適用手段である。17は、顧客又はサービスマンに調査報告書35を送信する報告書送付手段である。4はエンジニアであり、事例DB21から類似事例が抽出できない場合等の例外が生じた場合、手動にて調査結果36を作成し、障害回避ファイル生成手段15に送り、以降の処理を継続する。
続いて、自動障害対応システムの動作の概要を図2に基づいて説明する。障害検知手段11は、複数の監視対象サーバ2の障害発生状態を随時チェック(ヘルスチェック)する(S201)。障害検知手段11によって障害が検出された場合(S202)、資料採取手段12により、障害が発生した監視対象サーバ2から、障害が発生した時刻又は当該時刻の前後所定時間内に記録されたOSやプログラムのログ等の障害情報の資料31を取得する(S203)。キーワード抽出手段13は、取得した資料31を解析し、例えばシステムのエラーコード及びエラー発生時刻における他のプログラムやOSのログ等からキーワードを抽出し(S204)、類似事例抽出手段14に送る(S205)。類似事例抽出手段14は、抽出されたキーワードに基づいて事例DB21から監視対象サーバ2に発生した障害の類似事例を全文検索により抽出する(S206)。この時、環境DB22から監視対象サーバ2におけるシステムの環境情報を取得し、事例DB21から類似事例を検索する際のキーワードとして付加を行ってもよい。既知の事例が複数抽出された場合は、検索スコアの最も高い結果を障害回避ファイル生成手段15へ送る(S208)。障害回避ファイル生成手段15は、送られた事例情報から障害の対処に関する情報を解析し、障害回避ファイル34を生成する(S209)。その際、調査報告書35の生成も同時に行う。生成された障害回避ファイル34は、障害回避ファイル適用手段16によって障害が発生した監視対象サーバ2に送信され、実行される(S210)。事例DBから類似事例が抽出されない場合(S207)、若しくは障害回避ファイル34の適用を持っても障害が解消されない場合(S211)は、自動障害対応システム1(またはサポートセンター100)に再度資料を送信し(S212)、エンジニア4による監視対象サーバ2の解析が行われ(S213)、解析結果から調査結果36を作成し(S214)、障害回避ファイル生成手段15に調査結果36を送信する(S215)。
以上のような構成の自動障害対応システムによれば、監視対象サーバ2に障害が発生し、システムダウン等が起こったとしても、当該障害のエラーログ等を自動的に採取し、これに関連する既知事例を検索し、類似事例の詳細な情報から障害を回避するための対策ファイルを生成し、これを自動的に障害が発生した監視対象サーバに適用することで、無人で迅速な障害回避を行うことができ、障害対応に当たる人員の大幅削減が可能となる。また、既知事例に存在しない場合、又は障害回避ファイルの適用をもってしても障害が回避できない場合は、エラーログ等の資料をエンジニアに送信することで、人的作業を促し、迅速に監視対象サーバの復旧作業を行うことができる。
図3は、自動障害システムを複数社のサーバを監視する大規模サポートセンターに適用し、監視対象サーバに直接接続する手段を各社に設置した例を示している。A社〜C社にはそれぞれに監視対象サーバ2、これを監視する障害検知手段11、動作ログ等の資料を採取する資料採取手段12を有しており、資料採取手段12はインターネット等の公衆ネットワークを介してサポートセンターのキーワード抽出手段13と接続している。即ち、顧客環境側で監視対象サーバの監視を行い、障害が発生した際の障害回避ファイルの生成をサポートセンター側にて行う構成である。このような構成によれば、各社で発生した障害情報及びその対処方法は同一の事例データベースを用いるため、蓄積される情報量が各社毎にシステムを構成するよりも増加し、類似事例抽出手段14による類似事例の抽出の際の事例データのヒット率を向上させることができる。また、高負荷な解析機能たる類似事例抽出手段14、障害回避ファイル生成手段15及び事例DB21、環境DB22等を集中させることができ、顧客側設置コストの軽減し、顧客による各データベースのメンテナンス作業を行う必要がなくなる。更に、類似事例が存在せず、障害回避ファイル生成手段15による障害回避ファイル35の生成ができない場合でも、サポートセンター内にてエンジニアによる人的作業にて障害の調査、解析を行うことができるので、物理的障害ではない限り顧客環境において障害を無人で対応することができる。
図4は、図3と同様、自動障害システムを複数社のサーバを監視する大規模サポートセンターに適用し、図3と異なり顧客側に採取した資料からキーワードを抽出するキーワード抽出手段13、及び障害回避ファイル生成手段15、環境DB22を設置する例を示している。A〜C社には、それぞれに障害検知手段11、資料採取手段12、キーワード抽出手段13、障害回避ファイル生成手段15、障害回避ファイル適用手段16、報告書送付手段17及び環境DB22が設置される。図3の場合と比較して、顧客毎に各手段を設置する必要があり、設置コストは肥大化するが、動作ログ等の資料が多くなってしまうような場合においても、同社内にてファイル等の送受信ができるためネットワーク負荷を抑えることが可能となり、更に近年の情報漏洩に対する危機意識の向上から、社外に持ち出せない内容の資料があったとしても、サポートセンター側へ送信を行うのはキーワードのみという最低限の情報なので、セキュリティの向上を図ることができる。
以上、本発明の実施例について詳述したが、本発明は前記実施例に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。例えば、上記実施例において、障害検知手段11及び資料採取手段12は監視対象サーバ2内に有するとしてもよい。その際、物理的なサーバの故障等による障害の検知ができなくなる可能性はあるが、構成を縮小し、コストダウンを図ることができる。また、各手段及びデータベースは同一のサーバにて稼動してもよいし、複数のサーバに分散してもよい。
本実施例における、自動障害対応システムの構成を示すブロック図である。 同上、自動障害対応システムの動作を示すフローチャート図である。 同上、自動障害対応システムの第一の適用例を示すブロック図である。 同上、自動障害対応システムの第二の適用例を示すブロック図である。
符号の説明
1 自動障害対応システム
11 障害検知手段
12 資料採取手段
13 キーワード抽出手段
14 類似事例抽出手段
15 障害回避ファイル生成手段
16 障害回避ファイル適用手段
17 報告書送付手段
21 事例DB
22 環境DB
31 資料
32 キーワード
33 類似事例
34 障害回避ファイル
35 調査報告書
36 調査結果
2 監視対象サーバ
3 サービスマン
4 エンジニア
100 サポートセンター

Claims (2)

  1. 監視対象となる監視対象サーバの監視を行い、該監視対象サーバに発生した障害を検知する障害検知手段と、
    該監視対象サーバが使用するオペレーティングシステム及びプログラムの動作ログの資料を採取する資料採取手段と、
    前記採取された資料から障害情報を示すキーワードを抽出するキーワード抽出手段と、
    過去に発生した障害情報及びその対処方法を蓄積した事例情報データベースと
    前記キーワード抽出手段によって抽出されたキーワードに基づいて前記事例情報データベースから前記障害情報の対処方法となる類似事例を抽出する類似事例抽出手段と、
    IPアドレスやホスト名などのネットワーク環境情報、プログラムのインストールフォルダや各種設定値などのプログラム動作環境に代表される前記監視対象サーバの環境情報を蓄積した環境情報データベースと
    前記類似事例抽出手段から抽出される類似事例の類似事例情報と、前記環境データベースから抽出される前記監視対象サーバの環境情報に基づいて、障害を自動的に対処するための障害回避ファイルを生成する障害回避ファイル生成手段と、
    前記障害回避ファイルを前記監視対象サーバに適用する障害回避ファイル適用手段と、
    を備え、前記監視対象サーバに障害が発生した場合、前記障害検知手段はこれを検出し、前記資料採取手段によって動作ログを採取するよう指示を行い、前記キーワード抽出手段によって採取された動作ログから所定のキーワードを抽出し、抽出されたキーワードに基づいて前記類似事例抽出手段は前記事例データベースから前記類似事例情報を取得し、前記障害回避ファイル生成手段は、前記類似事例情報から前記障害対処方法に関する情報を解析し、前記環境データベースから取得した障害が発生した前記監視対象サーバの環境情報に対応する前記障害回避ファイルを生成し、前記障害回避ファイル適用手段がこれを前記監視対象サーバに適用することを特徴とする自動障害対応システム。
  2. 前記障害回避ファイル生成手段は、前記障害回避ファイルを生成する際に、該障害回避ファイルが行う手順を詳細に記載する調査報告書を自動生成可能なことを特徴とする請求項1記載の自動障害対応システム。
JP2008126316A 2008-05-13 2008-05-13 自動障害対応システム Active JP4872058B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008126316A JP4872058B2 (ja) 2008-05-13 2008-05-13 自動障害対応システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008126316A JP4872058B2 (ja) 2008-05-13 2008-05-13 自動障害対応システム

Publications (2)

Publication Number Publication Date
JP2009276929A JP2009276929A (ja) 2009-11-26
JP4872058B2 true JP4872058B2 (ja) 2012-02-08

Family

ID=41442321

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008126316A Active JP4872058B2 (ja) 2008-05-13 2008-05-13 自動障害対応システム

Country Status (1)

Country Link
JP (1) JP4872058B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8823536B2 (en) * 2010-04-21 2014-09-02 Microsoft Corporation Automated recovery and escalation in complex distributed applications
CN102223252A (zh) * 2011-06-15 2011-10-19 中国联合网络通信集团有限公司 物联网终端故障处理方法、物联网平台及系统
JP5746067B2 (ja) * 2012-02-17 2015-07-08 アルパイン株式会社 動作エラー処理装置および動作エラー処理方法
WO2016132716A1 (ja) * 2015-02-17 2016-08-25 日本電気株式会社 文書処理装置及び文書処理方法
JP2017201471A (ja) * 2016-05-06 2017-11-09 株式会社野村総合研究所 支援装置
JP6795646B2 (ja) * 2019-03-27 2020-12-02 みずほ情報総研株式会社 リカバリー支援システム、リカバリー支援方法及びリカバリー支援プログラム
KR102460638B1 (ko) * 2022-08-17 2022-10-28 (주)시큐레이어 에러 이벤트에 대한 가이드 정보를 제공하기 위한 방법 및 서버

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0887423A (ja) * 1994-09-14 1996-04-02 Toshiba Corp ソフトウエアツールのトラブル対応支援システム
JP3916232B2 (ja) * 2002-11-27 2007-05-16 日本電気株式会社 ナレッジ型運用管理システム,方法およびプログラム
JP2004240588A (ja) * 2003-02-04 2004-08-26 Canon Inc 情報処理システム
JP2005202446A (ja) * 2004-01-13 2005-07-28 Hitachi Ltd 障害監視復旧支援装置
JP4689963B2 (ja) * 2004-02-12 2011-06-01 Necフィールディング株式会社 コンピュータ遠隔診断修復システム、サーバ、プログラム、及び方法
JP3826940B2 (ja) * 2004-06-02 2006-09-27 日本電気株式会社 障害復旧装置および障害復旧方法、マネージャ装置並びにプログラム
JP2006344061A (ja) * 2005-06-09 2006-12-21 Hitachi Ltd シナリオ適用支援方法、管理サーバおよび管理プログラム

Also Published As

Publication number Publication date
JP2009276929A (ja) 2009-11-26

Similar Documents

Publication Publication Date Title
JP4872058B2 (ja) 自動障害対応システム
KR101545215B1 (ko) 데이터 센터 장애 이벤트 관리 자동화 시스템 및 방법
JP5736881B2 (ja) ログ収集システム、装置、方法及びプログラム
JP6048038B2 (ja) 情報処理装置,プログラム,情報処理方法
US8601319B2 (en) Method and apparatus for cause analysis involving configuration changes
CN106789306B (zh) 通信设备软件故障检测收集恢复方法和系统
CN111814999B (zh) 一种故障工单生成方法、装置、设备
JPWO2004061681A1 (ja) 運用管理方法および運用管理サーバ
CN111046011A (zh) 日志收集方法、系统、节点、电子设备及可读存储介质
CN107766208B (zh) 一种监控业务系统的方法、系统及装置
JP2008217735A (ja) 障害解析システム、方法、及び、プログラム
CN112416705A (zh) 一种异常信息的处理方法和装置
CN109062723A (zh) 服务器故障的处理方法和装置
CN102841589A (zh) 环境在线监测仪器远程智能维护系统
CN102662787A (zh) 一种保护系统盘raid的方法
JP5503177B2 (ja) 障害情報収集装置
KR101086797B1 (ko) Rfid 미들웨어 관리 시스템의 장애 관리 장치 및 방법
CN112256470A (zh) 故障服务器定位方法及装置、存储介质及电子设备
CN117220917A (zh) 一种基于云计算的网络实时监控方法
JP2003085003A (ja) 障害復旧援助方法、及び、障害復旧援助システム
US20220398143A1 (en) Network monitoring apparatus, method, and program
JP2010218267A (ja) 障害発生確率算出システム,障害発生確率算出方法及びプログラム
JP2003296141A (ja) 障害事前検知システム、障害事前検知方法、障害事前検知サーバ及び障害事前検知端末
JP2012118800A (ja) 運用管理障害対応システム及び運用管理障害対応方法
CN113420917B (zh) 对业务系统未来故障预测的方法、计算机设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111004

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111019

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141202

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4872058

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250