JP6223897B2 - 異常検知装置及び異常検知システム - Google Patents

異常検知装置及び異常検知システム Download PDF

Info

Publication number
JP6223897B2
JP6223897B2 JP2014085638A JP2014085638A JP6223897B2 JP 6223897 B2 JP6223897 B2 JP 6223897B2 JP 2014085638 A JP2014085638 A JP 2014085638A JP 2014085638 A JP2014085638 A JP 2014085638A JP 6223897 B2 JP6223897 B2 JP 6223897B2
Authority
JP
Japan
Prior art keywords
score
calculation unit
matrix
metascore
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014085638A
Other languages
English (en)
Other versions
JP2015207818A (ja
Inventor
隆夫 村上
隆夫 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2014085638A priority Critical patent/JP6223897B2/ja
Publication of JP2015207818A publication Critical patent/JP2015207818A/ja
Application granted granted Critical
Publication of JP6223897B2 publication Critical patent/JP6223897B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephonic Communication Services (AREA)
  • Computer And Data Communications (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Selective Calling Equipment (AREA)

Description

本発明は、複数の検査対象から得られた複数の状態データを用いて、検査対象の異常検知を行う異常検知装置及び異常検知システムに関する。
異常検知システムとして、例えば、スマートメータ、監視カメラ、制御装置などのセンサ、或いはトラヒック種別毎のネットワークトラヒックなどを検査対象とし、複数の検査対象の各々から観測される状態データを用いて、検査対象の異常検知を行うシステムがある。
異常検知システムを構築するに際して、特許文献1には、「ネットワークトラヒックからタイムスロット毎にカウントしたトラヒック種別毎のパケット数を特徴量として生成する特徴量生成工程と、前記特徴量生成工程で生成された特徴量を用いてトラヒック種別を要素とする各要素間の相関係数を算出する相関係数算出工程と、前記相関係数算出工程で算出された相関係数を用いてヒストグラムを生成するヒストグラム生成工程と、前記ヒストグラム生成工程で生成されたヒストグラムを用いて異常度を算出する異常度算出工程とを有するネットワーク異常検知方法であって、前記ヒストグラムから算出される相関係数の発生確率を用いて類似性を評価する状態類似性評価工程と、前記状態類似性評価工程で算出された相関係数の発生確率をマトリックスとして表し、発生確率の値に割り当てた色を用いて画像化を行う可視化工程とを有することを特徴とするネットワーク異常検知方法」が開示されている。
特許第4677569号公報
前記特許文献1には、トラヒック種別毎のネットワークトラヒックを検査対象とし、タイムスロット毎にカウントしたパケット数を検査対象の状態データとして、N(Nは2以上の整数)個の検査対象(要素)の任意のペアに対して相関係数を算出することが記載されている。このとき算出する相関係数の数は、Nの2乗のオーダーである。従って、検査対象間の相関係数を算出するにも、全ての検査対象に対して、各検査対象間の相関係数を算出しなければならず、検査対象数Nが大きいときには、各検査対象間の相関係数の算出処理に時間がかかる。このため、特許文献1に記載された方法では、異常検知を高速に行うには十分ではない。
本発明の目的は、検査対象数Nが大きい場合でも、複数の検査対象に対する異常検知を高速化することができる異常検知装置及び異常検知システムを提供することにある。
前記課題を解決するために、本発明は、状態データの発生元となる複数個の検査対象の中から、当該複数個の検査対象よりも数の少ない、1以上の検査対象を代表点として選択する代表点選択部と、前記各検査対象と前記代表点との組み合わせから構成される複数のペアを生成し、前記各ペアに属する検査対象から得られた状態データと前記各ペアに属する代表点から得られた状態データ同士の類似度又は距離で定義されるスコアを前記ペア毎に算出するスコア算出部と、前記スコア算出部の各算出結果を基にメタスコア行列を算出するメタスコア行列算出部と、前記メタスコア行列算出部の算出によるメタスコア行列の中のいずれかの行ベクトルの値を基に当該行ベクトルに対応する検査対象の異常の有無を判定する異常判定部と、を有し、前記メタスコア行列算出部は、前記スコア算出部の各算出結果から、前記各ペアのスコアを要素に含むスコア行列を生成し、当該生成したスコア行列に属する複数の行ベクトルであって、前記各検査対象の特徴量を示す複数のスコアベクトル同士の類似度又は距離で定義されるメタスコアを前記スコアベクトル毎に算出し、当該各算出結果から、前記各スコアベクトルのメタスコアを要素に含むメタスコア行列を算出してなることを特徴とする。
本発明によれば、検査対象数Nが大きい場合でも、複数の検査対象に対する異常検知を高速化することができる。
本発明の実施例1を示す異常検知システムの構成図である。 センサ・異常検知装置及び監視装置のハードウェア構成図である。 実施例1におけるメタスコア行列算出処理を説明するためのフローチャートである。 メタスコア行列算出処理を説明するための概念図である。 スコアに基づく異常検知処理を説明するためのフローチャートである。 スコアに基づく異常検知処理を説明するための概念図である。 センサを可視化する処理を説明するためのフローチャートである。 可視化情報を表示する処理を説明するための概念図である。 本発明の実施例2を示す異常検知システムの構成図である。 実施例2におけるメタスコア行列算出処理を説明するためのフローチャートである。
以下、本発明の一実施例を図面に基づいて説明する。なお、これにより本発明が限定されるものではない。
本実施例は、スマートメータ、監視カメラ、制御装置などのセンサを検査対象とし、N(Nは、2以上の整数)個のセンサに対して異常検知を行うシステムである。
図1は、本発明の実施例1を示す異常検知システムの構成図である。図1において、異常検知システムは、N(Nは、2以上の整数)個のセンサ100と、各センサ100を検査対象として、各センサ100に対して異常検知を行う異常検知装置200と、各センサ100の可視化情報を表示する監視装置300と、ネットワーク400及びネットワーク500から構成される。各センサ100は、ネットワーク400を介して異常検知装置200に接続され、異常検知装置200は、ネットワーク500を介して監視装置300に接続される。ネットワーク400とネットワーク500は、例えば、インターネット、キャリア網、専用線などから構成される。
各センサ100は、ネットワーク400を介して異常検知装置200と情報の授受を行う通信インタフェース(I/F)101と、データベース110を有し、データベース110に格納された状態データ111をネットワーク400を介して異常検知装置200に送信する状態データ発生元として構成される。状態データ111は、センサ100の検出対象又は監視対象、或いは制御対象の状態を示す状態データ、例えば、センサ100が、スマートメータの場合、検出対象から得られた電力使用量の時系列データであり、監視カメラの場合、監視対象の監視画像データ或いは監視動画データであり、制御装置の場合、制御対象の異常の有無を示すデータである。
異常検知装置200は、代表点選択部201と、検査対象・代表点間スコア算出部203と、メタスコア行列算出部204と、優先順位算出部205と、異常判定部206と、可視化情報生成部207と、通信インタフェース(I/F)209から構成される。
代表点選択部201は、N個のセンサ(検査対象)100の中から、M個(Mは、Nよりも小さい1以上の整数)センサを代表点(pivot)として選択する機能を有する。検査対象・代表点間スコア算出部203は、N個のセンサ100に属する各センサ100とM個の代表点(pivot)に属する各代表点との任意の組み合わせ(ペア)毎に、各ペアに属するセンサ100から得られた状態データと、各ペアに属する代表点から得られた状態データとの一致度合(状態データ同士の一致度合)を示す類似度、或いは状態データ同士の不一致度合を示す距離で定義されるスコアを、センサ100と代表点との相互相関を示す相関値として(NM個)算出する機能を有する。
メタスコア行列算出部204は、検査対象・代表点間スコア算出部203の算出による各スコアを、各センサ100に対応づけて並べたスコアベクトルを、相関値を並べた相関ベクトル(行ベクトル)として一対生成し、生成した各スコアベクトル同士の類似度(各スコアベクトルを構成するスコア(相関値)同士の一致度合を示す類似度)、或いは各スコアベクトル同士の距離(各スコアベクトルを構成するスコア(相関値)同士の不一致度合を示す距離)で定義されるメタスコアをN×N個算出し、算出した各メタスコアを要素とするメタスコア行列を算出する機能を有する。
優先順位算出部205は、メタスコア行列算出部204により算出されたメタスコア行列を用いて、N個のセンサ100に対して、異常検知処理の優先順位を付ける機能を有する。異常判定部206は、優先順位算出部205により算出された優先順位の高い順に、判定対象となるセンサ100を選択し、選択したセンサ100と、代表点から外れた検査対象を示す非代表点(複数の検査対象から代表点を選択した残りの検査対象に相当するもの)との組み合わせから構成される複数の補助ペアを生成し、選択したセンサ100から得られた状態データと、非代表点から得られた状態データ同士の類似度又は距離で定義されるスコアを補助ペア毎に算出し、算出した各スコアと、検査対象・代表点間スコア算出部203の算出によるスコアのうち選択したセンサ100と代表点との相関から得られたスコアとを含む行ベクトルの値(例えば、行ベクトルを構成するスコアの平均値)と閾値とを比較して、選択したセンサ100の異常の有無を判定する機能を有する。
可視化情報生成部207は、メタスコア行列算出部204の算出によるメタスコア行列に対して、クラスタリング或いは多次元尺度構成法を用いて、N個のセンサ100の可視化情報を生成する機能を有する。通信インタフェース(I/F)209は、ネットワーク400を介して各センサ100と情報の授受を行うと共に、ネットワーク500を介して監視装置300と情報の授受を行う機能を有する。
監視装置300は、各センサ100の可視化情報を画面上に表示する可視化情報表示部301と、ネットワーク500を介して異常検知装置200と情報の授受を行う通信インタフェース(I/F)302から構成される。
図2は、センサ・異常検知装置及び監視装置のハードウェア構成図である。図2において、各センサ100と、異常検知装置200及び監視装置300は、CPU(Central Processing Unit)600と、メモリ601と、HDD(Hard Disk Drive)602と、入力装置603と、出力装置604及び通信装置605から構成され、各部バス606を介して互いに接続される。
各センサ100の場合、CPU600は、センサ100全体を統括制御する制御部として機能し、メモリ601に格納されたコンピュータプログラムに従って各種の処理を実行する。例えば、CPU600は、電力系統に接続された入力装置603から、状態データとして、電力使用量の時系列データが入力された場合、入力された時系列データを管理するための演算処理を実行し、処理結果をHDD602に格納する共に出力装置604に出力し、時系列データを通信装置605を介して異常検知装置200に送信する。この際、HDD602は、データベース110として機能し、通信装置605は、通信インタフェース(I/F)101として機能する。
異常検知装置200の場合、CPU600が、メモリ601に格納されたコンピュータプログラムを実行することにより、代表点選択部201と、検査対象・代表点間スコア算出部203と、メタスコア行列算出部204と、優先順位算出部205と、異常判定部206と、可視化情報生成部207及び通信インタフェース(I/F)209は、各部に付加された機能を発揮することができる。即ち、CPU600によって各部の処理が実行される。
監視装置300の場合、CPU600が、メモリ601に格納されたコンピュータプログラムを実行することにより、可視化情報表示部301及び通信インタフェース(I/F)302は、各部に付加された機能を発揮することができる。即ち、CPU600によって各部の処理が実行される。
図3は、実施例1におけるメタスコア行列算出処理を説明するためのフローチャートである。この処理は、各センサ100から状態データが送信されたことを条件に、異常検知装置200のCPU600によって開始される。
N個のセンサ100は、それぞれ状態データ111を異常検知装置200に送信する(S101)。
異常検知装置200が、各センサ100から状態データ111を受信すると、CPU600は処理を開始する。まず、代表点選択部201は、N個(S1、S2、S3、・・・、Sn)のセンサ(検査対象)100の中から、M個(Mは、Nよりも小さい1以上の整数)のセンサを代表点(pivot)として選択する(S102)。M個のセンサを代表点として選択する場合、N個のセンサ100の中からランダムに選択することができる。
この際、各センサ100が配置されている場所が互いに離れているものを代表点に選択することで、代表点に選択された各センサ100が配置されている場所の影響を考慮して、異常検知を行うことができる。例えば、相隣接した場所に配置された各センサ100を代表点のセンサとして選択すると、これらのセンサを含むエリア内で停電等が発生した場合、停電が発生したエリア内のセンサから状態データを取得することができない。これに対して、互いに離れた場所に配置された各センサを代表点のセンサとして選択した場合、一方のセンサを含むエリア内で停電等が発生しても、少なくとも、他方のセンサから状態データを取得することができる。なお、予め、センサ100の個数がN個であることが分かっている場合、M個の代表点を選択する処理を、異常検知装置200が、各センサ100から状態データを受信する前に実行することもできる。
次に、検査対象・代表点間スコア算出部203は、N個のセンサ100に属する各センサ100とM個の代表点(pivot)に属する各代表点との任意の組み合わせ(ペア)毎に、各ペアに属するセンサ100から得られた状態データと、各ペアに属する代表点から得られた状態データとの一致度合(状態データ同士の一致度合)を示す類似度、或いは状態データ同士の不一致度合を示す距離で定義されるスコアを、センサ100と代表点との相互相関を示す相関値として、NM個算出する(S103)。スコアは、例えば、時系列データ同士の相互相関、画像同士の相互相関、動画同士のEarth Mover’s Distanceなどから算出することができる。
次に、メタスコア行列算出部204は、検査対象・代表点間スコア算出部203の算出による各スコアを、センサ100毎に並べて、行ベクトルを示すスコアベクトル(相関値を並べた相関ベクトル)を一対生成し、生成した各スコアベクトル同士の類似度(各スコアベクトルを構成するスコア(相関値)同士の一致度合を示す類似度)、或いは各スコアベクトル同士の距離(各スコアベクトルを構成するスコア(相関値)同士の不一致度合を示す距離)で定義されるメタスコアをN×N個算出し、算出した各メタスコアを要素とするメタスコア行列を算出し(S104)、このルーチンでの処理を終了する。
図4は、メタスコア行列算出処理を説明するための概念図である。図4において、この例では、N個のセンサ100を、それぞれS1、S2、・・・、Snとし、代表点の数を示すMは、M=3であり、代表点となるセンサ100を、それぞれS1、S2、S3とし、非代表点となるセンサ100を、それぞれS4、S5、・・・、Snとしている。
検査対象・代表点間のスコアを算出するに際して、検査対象・代表点間スコア算出部203は、N個のセンサ100とM個(3個)の代表点との組み合わせ(ペア)毎に、各ペアに属するセンサ100から得られた状態データと、各ペアに属する代表点から得られた状態データとの一致度合(状態データ同士の一致度合)を示す類似度を算出し、算出値をスコアとする。
例えば、N個のセンサ100の中のセンサS1と、代表点に属するセンサS1をペアとした場合、両者の状態データは等しいので、類似度が最も高く、類似度は、「1」として算出される。一方、N個のセンサ100の中のセンサS1と、代表点に属するセンサS2をペアとした場合、両者の状態データの一致度合を求めて、類似度を算出する。この際、類似度が「0.9」と算出された場合、「0.9」をスコアとする。同様に、N個のセンサ100の中のセンサS1と、代表点に属するセンサS3をペアとした場合、両者の状態データの一致度合を求めて、類似度を算出する。この際、類似度が「0.8」と算出された場合、「0.8」をスコアとする。
同様の処理を、N個のセンサ100に属するセンサS2、・・・、Snと代表点に属するセンサS1、S2、S3との各ペアについて実行することで、スコア行列700を構成する各スコアを算出することができる。なお、N個のセンサ100の中のセンサS5と、代表点に属するセンサS1〜S3をそれぞれペアとした場合、両者の状態データの類似度が低いので、類似度が、それぞれ「0.04」、「0.03」、「0.02」として算出される。
メタスコア行列算出部204は、算出された各スコア(NM個のスコア)からスコア行列700を生成することができる。スコア行列700が生成された場合、メタスコア行列算出部204は、N個のセンサ100に属するセンサS1、・・・、Sn毎に、各センサに対応するスコアを並べて行ベクトルを生成することで、この行ベクトルをスコアベクトル701として生成することができる。この際、センサS1に対応するスコアベクトル701として、S1[1 0.9 0.8]が生成され、センサS2に対応するスコアベクトル701として、S2[0.9 1 0.9]が生成され、・・・、センサSnに対応するスコアベクトル701として、Sn[0.7 0.8 0.9]が生成される。
次に、メタスコア行列算出部204は、N個のセンサ100に属するセンサS1、・・・、Snに対応したスコアベクトル701を一対生成し、各スコアベクトル701同士の類似度、即ち、各スコアベクトル701を構成するスコア同士の類似度を算出する。この際、一方のスコアベクトル701の中のセンサS1と、他方のスコアベクトル701の中のセンサS1とをペアとし、両者のコアの類似度を算出し、この算出値をメタスコアとする。例えば、両者のコアの類似度が「1」であれば、「1」をメタスコアとする。また、一方のスコアベクトル701の中のセンサS1と、他方のスコアベクトル701の中のセンサS2とをペアとし、両者のコアの類似度が、「0.4」であれば、「0.4」をメタスコアとする。同様の処理を、一方のスコアベクトル701の中のセンサS2〜Snと、他方のスコアベクトル701の中のセンサS2〜Snとをそれぞれペアとし、両者のコアの類似度を算出し、各算出値をメタスコアとする。メタスコア行列算出部204は、各算出されたメタスコアから、各スコアベクトル701同士の類似度を要素とするメタスコア行列702を生成することができる。
ここで、メタスコアは、例えば、スコアベクトル間のLpノルム、相関係数で算出することができる。この際、各センサ100のスコアベクトル701は、各センサ100を簡潔に表現する特徴量になっている。従って、スコアベクトル710からメタスコア行列702を高速に算出することができる。この際、メタスコア行列702の各要素(メタスコア)は、スコア行列700の各要素(スコア)と高い相関を持っている。
このように本実施例では、スコア行列700の要素を一部(センサS1〜Snと代表点なるセンサS1〜S3とのペアの状態データ同士の類似度から得られたスコア)求めた後、スコアベクトル701を生成し、生成したスコアベクトル701から、スコア行列700の各要素と高い相関を有する要素を含むメタスコア行列702を高速に算出することができる。
図5は、スコアに基づく異常検知処理を説明するためのフローチャートである。この処理は、メタスコア行列702が算出された後、開始される。
図5において、まず、優先順位算出部205は、メタスコア行列算出部204により算出されたメタスコア行例702を参照し、N個のセンサ100に属する各センサS1、S2、・・・、Snのメタスコア(計N個)の平均値を行ベクトル毎に算出し、N個のセンサ100に属する各センサS1、S2、・・・、Snに対して、算出値の小さい順(或いは大きい順)に優先順位(1位、2位、・・・、N位)を付ける(S201)。この際、優先順位の高い順に、N個のセンサ100に属する各センサを、S01、S02、・・・、S0nとすることができる。なお、各センサS1、S2、・・・、Snのメタスコア(計N個)の平均値を算出する代わりに、中央値、最頻値、25パーセンタイル、75パーセンタイルなどの統計量を用いても良い。
次に、異常判定部206は、異常判定を行ったセンサ数iを0に初期化する(ステップS202)。
この後、異常判定部206は、N個のセンサ100に属する各センサの中から、優先順位の高い順に判定対象となるセンサを選択し、選択したセンサ、例えば、優先順位の最も高いセンサS01と、代表点以外のセンサであって非代表点となるセンサS4〜Snとの補助ペアを生成し、生成した各補助ペアについて、各補助ペアに属するセンサS01から得られた状態データと、各補助ペアに属する非代表点のセンサS4〜Snから得られた状態データとの類似度から、スコア(計N−M個)を算出する(ステップS203)。
次に、異常判定部206は、優先順位の最も高いセンサS01について算出したスコアの平均値と閾値とを比較し、優先順位の最も高いセンサS01が正常か異常かの判定を行う(S204)。ステップS204で異常と判定した場合、異常判定部206は、優先順位の最も高いセンサS01が異常である旨の情報を通信インタフェース209を介して管理者に送信する。また、優先順位の最も高いセンサS01が正常か異常かの判定を行う場合、スコア(計N個)の平均値が、閾値を下回った(或いは上回った)ことを条件に、異常と判定することができる。なお、スコア(計N個)の平均値の代わりに、中央値、最頻値、25パーセンタイル、75パーセンタイルなどの統計量を用いても良い。
次に、異常判定部206は、異常判定を行ったセンサ数iを1増やし(S205)、この後、異常判定を行ったセンサ数iがNであるか否かを判定し(S206)、異常判定を行ったセンサ数iがNでない場合には、ステップS203の処理に戻り、ステップS203〜ステップS206の処理を繰り返し、異常判定を行ったセンサ数iがNである場合には、このルーチンでの処理を終了する。
図6は、スコアに基づく異常検知処理を説明するための概念図である。図6において、各センサ100の異常の有無を判定するに際して、優先順位算出部205は、メタスコア行列算出部204により算出されたメタスコア行例702を参照し、N個のセンサ100に属する各センサS1、S2、・・・、Snのメタスコア(計N個)の平均値を行ベクトル毎に算出し、各算出値を、例えば、「0.35」、「0.54」、「0.23」、「0.32」、「0.18」、・・・、「0.34」とする。この場合、算出値「0.18」が最も小さいので、N個のセンサ100に属するセンサS5を、優先順位第1位のセンサS01とする。
次に、異常判定部206は、優先順位第1位のセンサS01(N個のセンサ100に属するセンサS5)と、非代表点となるセンサS4〜Snとの補助ペアを生成し、各補助ペアについて、各補助ペアに属するセンサS01から得られた状態データと、各補助ペアに属する非代表点のセンサS4〜Snから得られた状態データとの類似度から、スコア(「0.05」、「1」、・・・、「0.04」)を算出する。
次に、異常判定部206は、優先順位の最も高いセンサS01について、スコアの平均値(行ベクトルの平均値)を算出し、算出した平均値、例えば、「0.04」と閾値とを比較し、算出した平均値が、例えば、閾値を下回っていた場合、優先順位の最も高いセンサS01が、異常と判定する。
ここで、各センサ(検査対象)100のスコアベクトル701は、各センサ100を簡潔に表現する特徴量になっているため、スコアベクトル701の類似度(或いは距離)で定義されるメタスコアの平均値などの統計量が小さい(或いは大きい)ほど、他のセンサ100とは異なる(即ち、異常である)可能性が高い。このため、メタスコアの値に従って各センサ100に優先順位を付けて異常判定を行うことで、早い段階で異常なセンサ100を検知することが可能となる。
また、優先順位に従って選択されたセンサ100に対しては、選択されたセンサ100と、代表点及び非代表点との相関を示す各スコアの平均値などの統計量を用いて異常判定を行っているので、スコア行列の要素(計N×N個)を全て求めた後、各センサ100に対して、各スコアの平均値などの統計量を用いて異常判定を行う場合と同じ判定精度を実現することができる。
このように本実施例では、スコア行列700の要素を一部(各センサ100と代表点S1〜S3との相関を示すスコア)求めて、メタスコア行列702を生成した後、メタスコアの平均値などの統計量が小さい(或いは大きい)順に優先順位を付け、優先順位の高いセンサ(検査対象)と非代表点とのスコアを算出し、算出したスコアの値を基に各センサ100の異常の有無を判定している。こうすることで、スコア行列700の要素(計N×N個)を全て求めた後、各センサ100に対して、スコア行列700のスコアの値を基に、異常の有無を判定する場合と同じ判定精度を実現しつつ、高速に、センサ100の異常検知を行うことができる。
図7は、センサを可視化する処理を説明するためのフローチャートである。この処理は、メタスコア行列が算出された後、CPU600によって開始される。
図7において、異常検知装置200の可視化情報生成部207は、メタスコア行列算出部204の算出によるメタスコア行列702に対してクラスタリング或いは多次元尺度構成法を用いることで、N個のセンサ100の可視化情報を生成する(S301)。N個のセンサ100の可視化情報を生成する場合、例えば、Ward法などのクラスタリング手法を用いて樹形図を生成する方法や、多次元尺度構成法を用いて検査対象を二次元空間にマッピングする方法を採用することができる。前者の場合は、樹形図が、後者の場合は、検査対象の二次元空間へのマッピング情報が可視化情報となる。
次に、可視化情報生成部207は、生成した可視化情報を監視装置300に送信する(S302)。
可視化情報を受信した監視装置300では、可視化情報表示部301が、受信した可視化情報をディスプレイ(出力装置604)に表示し(S303)、このルーチンでの処理を終了する。
図8は、可視化情報を表示する処理を説明するための概念図である。図8において、可視化情報表示部301は、受信した可視化情報をディスプレイ(出力装置604)に表示するに際して、メタスコア行列702に対して、多次元尺度構成法を用いて各センサS1〜Snの画像を二次元空間にマッピングする。この際、ほとんどのセンサ100の画像800は、表示領域の左下の方にマッピングされているが、表示領域の右側には、4つのセンサ100の画像801〜804がマッピングされ、表示領域の上側には、2つのセンサ100の画像805、806がマッピングされていることが分かる。
通常、ほとんどのセンサ100は正常であることを考慮すると、右側と上側にマッピングされているセンサ100の画像801〜806が異常であると判断することができる。また、右側にマッピングされている4つのセンサ100の画像801〜804と、上側にマッピングされている2つのセンサ100の画像805、806は、種類の異なる異常センサ100の画像であることが分かる。例えば、監視カメラの動画において、右側の4つのセンサ100の画像801〜804は、不審者Aの動画であり、上側の2つのセンサ100の画像805〜806は不審者Bの動画である。
このように、各センサ100の画像800〜806を可視化することで、センサ100全体を俯瞰した上で、複数の異常センサの検知やその分類(例えば、不審者Aと不審者Bの分類)を行うことができる。また、この可視化情報は、メタスコア行列702から生成しているため、スコア行列700の要素を全て求めることなく、得ることができる。
このように本実施例では、スコア行列700の要素を一部求めて、メタスコア行列702を生成した後、メタスコア行列702を基に可視化情報を生成する。こうすることで、センサ数Nが大きい場合でも、高速に可視化情報を得ることができ、センサ100全体を俯瞰した上で複数の異常センサの検知やその分類を行うことができる。
また、各センサ(検査対象)100のスコアベクトル701は、各センサ100を簡潔に表現する特徴量であり、スコアベクトル701のメタスコアの平均値などの統計量が小さい(或いは大きい)ほど、センサ100に異常が発生している可能性が高い。このため、異常判定部206は、各センサ100の異常の有無を判定するに際して、メタスコア行列算出部204の算出によるメタスコア行列の中のいずれかの行ベクトルの値を基に当該行ベクトルに対応したセンサ(行ベクトルに属する複数のメタスコアの算出元となるセンサ)の異常の有無を判定することで、より高速にセンサの異常を検知することができる。例えば、異常判定部206は、メタスコア行列702のうち、センサ5に対応した行ベクトルに属するメタスコアの平均値と閾値とを比較して、センサ5の異常の有無を判定することができる。
本実施例によれば、スコア行列700を算出するに際して、N(センサ数)×N個のスコアを算出することなく、N(センサ数)×代表点(3個)のスコアを算出するだけでよいので、センサ数Nセンサ数Nが大きい場合でも、各センサ100の異常の有無を高速に判定することができる。また、優先順位の高い順(状態データの類似度の低い順)に、各センサの異常の有無を判定することで、異常センサをより高速に検知することができる。さらに、代表点となるセンサ100として、互いに離れた位置に配置されたセンサ100を選択することで、センサ100が配置された環境の影響を考慮して、センサ100の異常を検知することができる。
本実施例は、トラヒック種別毎のネットワークトラヒックを検査対象とし、N(Nは2以上の整数)個のトラヒック種別のネットワークトラヒックに対して異常検知を行うシステムである。トラヒック種別としては、TCP(Transmission Control Protocol)、IP(Internet Protocol)などのプロトコルやACK(Acknowledgement)、SYN(Synchronization)などのフラグなどによってトラヒックを分類するものを用いることができる。
図9は、本発明の実施例2を示す異常検知システムの構成図である。図9において、異常検知システムは、測定されたネットワークトラヒックに対して異常検知を行う異常検知装置200と、検査対象の可視化情報を表示する監視装置300及びネットワーク500から構成され、異常検知装置200が、監視対象ネットワーク700に接続される。監視対象ネットワーク700は、例えば、インターネット、キャリア網などから構成される。
異常検知装置200は、実施例1と同様に、代表点選択部201と、検査対象・代表点間スコア算出部203と、メタスコア行列算出部204と、優先順位算出部205と、異常判定部206と、可視化情報生成部207と、通信インタフェース(I/F)209を有し、さらに、実施例1とは異なり、状態データ抽出部202と、トラヒック測定部208を備えて構成される。なお、異常検知装置200と監視装置300のハードウェアは、実施例1と同様の構成である(図2参照)。
トラヒック測定部208は、通信インタフェース(I/F)209を介して、監視対象ネットワーク700のネットワークトラヒックを測定する機能を有する。状態データ抽出部202は、トラヒック測定部208の測定結果から、トラヒック種別毎にネットワークトラヒックの状態データ、例えば、タイムスロット毎にカウントしたパケット数を並べたベクトルを抽出する機能を有する。なお、代表点選択部201と、検査対象・代表点間スコア算出部203と、メタスコア行列算出部204と、優先順位算出部205と、異常判定部206と、可視化情報生成部207及び通信インタフェース(I/F)209は、検査対象として、センサ100の代わりに、N個のトラヒック種別毎のネットワークトラヒックを用いるが、処理内容は、実施例1と同様である。
図10は、実施例2におけるメタスコア行列算出処理を説明するためのフローチャートである。
図10において、異常検知装置200のトラヒック測定部208は、通信インタフェース(I/F)209を介して、監視対象ネットワーク700からネットワークトラヒックを測定する(S401)。
次に、状態データ抽出部202は、トラヒック測定部208の測定結果から、トラヒック種別毎にネットワークトラヒックの状態データ、例えば、タイムスロット毎にカウントしたパケット数を並べたベクトルを抽出する(S402)。
次に、代表点選択部201は、N個(S1、S2、S3、・・・、Sn)のネットワークトラヒック(検査対象)の中から、M個(Mは、Nよりも小さい1以上の整数)のネットワークトラヒックを代表点(pivot)として選択する(S102)。M個のネットワークトラヒックを代表点として選択する場合、N個のネットワークトラヒックの中からランダムに選択することができる。
次に、検査対象・代表点間スコア算出部203は、N個のネットワークトラヒック(検査対象)に属する各ネットワークトラヒックとM個の代表点(pivot)に属する各代表点との任意の組み合わせ(ペア)毎に、各ペアに属するネットワークトラヒックから得られた状態データと、各ペアに属する代表点から得られた状態データとの一致度合(状態データ同士の一致度合)を示す類似度、或いは状態データ同士の不一致度合を示す距離で定義されるスコアを、ネットワークトラヒックと代表点との相互相関を示す相関値として、NM個算出する(S103)。スコアは、例えば、タイムスロット毎にカウントしたパケット数を並べたベクトル同士の相関係数などから算出することができる。
次に、メタスコア行列算出部204は、検査対象・代表点間スコア算出部203の算出による各スコアを、トラヒック種別毎に並べて、行ベクトルを示すスコアベクトル(相関値を並べた相関ベクトル)を一対生成し、生成した各スコアベクトル同士の類似度(各スコアベクトルを構成するスコア(相関値)同士の一致度合を示す類似度)、或いは各スコアベクトル同士の距離(各スコアベクトルを構成するスコア(相関値)同士の不一致度合を示す距離)で定義されるメタスコアをN×N個算出し、算出した各メタスコアを要素とするメタスコア行列を算出し(S104)、このルーチンでの処理を終了する。なお、メタスコアは、例えば、スコアベクトル間のLpノルム、相関係数から算出することができる。
この後、優先順位算出部205は、メタスコア行列算出部204の算出によるメタスコア行列を参照し、図5のステップS201と同様の処理を実行し、N個のネットワークトラヒックのメタスコア(計N個)の平均値を行ベクトル毎に算出し、N個のネットワークトラヒックに対して、算出値の小さい順(或いは大きい順)に優先順位(1位、2位、・・・、N位)を付ける。
次に、異常判定部206は、図5のステップS202〜ステップS206と同様の処理を実行し、N個のネットワークトラヒックの中から、優先順位の高い順に、判定対象となるネットワークトラヒックを選択し、選択したネットワークトラヒック、例えば、優先順位の最も高いネットワークトラヒックと、代表点以外のネットワークトラヒックであって非代表点となるネットワークトラヒックとの補助ペアを生成し、生成した各補助ペアについて、各補助ペアに属するネットワークトラヒックから得られた状態データと、各補助ペアに属する非代表点のネットワークトラヒックから得られた状態データとの類似度から、スコア(計N−M個)を算出する。
次に、異常判定部206は、優先順位の最も高いネットワークトラヒックについて算出したスコアの平均値と閾値とを比較し、優先順位の最も高いネットワークトラヒックが正常か異常かの判定を行う。この後、異常判定部206は、優先順位の高い順に、各ネットワークトラヒックについて算出したスコアの平均値と閾値とを比較し、各ネットワークトラヒックが正常か異常かの判定を行う。
また、可視化情報生成部207は、図7のステップS301〜ステップS302と同様の処理を実行し、メタスコア行列算出部204の算出によるメタスコア行列に対して、クラスタリング或いは多次元尺度構成法を用いることで、N個のネットワークトラヒックの可視化情報を生成し、生成した可視化情報を監視装置300に送信する。監視装置300は、図7のステップS303と同様の処理を実行し、受信した可視化情報をディスプレイ(出力装置604)に表示する。
本実施例によれば、ネットワークトラヒック数Nが大きい場合でも、各ネットワークトラヒックの異常の有無を高速に判定することができる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、異常検知装置200の出力装置604を、監視装置300の可視化情報表示部301と同一の機能を有する可視化情報表示部として構成することもできる。
また、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能等は、それらの一部又は全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、IC(Integrated Circuit)カード、SD(Secure Digital)メモリカード、DVD(Digital Versatile Disc)等の記録媒体に記録して置くことができる。
100 センサ、101 通信インタフェース部、110 データベース、111 状態データ、200 異常検知装置、201 代表点選択部、202 状態データ抽出部、203 検査対象・代表点間スコア算出部、204 メタスコア行列算出部、205 優先順位算出部、206 異常判定部、207 可視化情報生成部、208 トラヒック測定部、209 通信インタフェース部、300 監視装置、301 可視化情報表示部、302 通信インタフェース部、400 ネットワーク、500 ネットワーク、600 CPU、601 メモリ、602 HDD、603 入力装置、604 出力装置、605 通信装置、 700 監視対象ネットワーク。

Claims (15)

  1. 状態データの発生元となる複数個の検査対象の中から、当該複数個の検査対象よりも数の少ない、1以上の検査対象を代表点として選択する代表点選択部と、
    前記各検査対象と前記代表点との組み合わせから構成される複数のペアを生成し、前記各ペアに属する検査対象から得られた状態データと前記各ペアに属する代表点から得られた状態データ同士の類似度又は距離で定義されるスコアを前記ペア毎に算出するスコア算出部と、
    前記スコア算出部の各算出結果を基にメタスコア行列を算出するメタスコア行列算出部と、
    前記メタスコア行列算出部の算出によるメタスコア行列の中のいずれかの行ベクトルの値を基に当該行ベクトルに対応する検査対象の異常の有無を判定する異常判定部と、を有し、
    前記メタスコア行列算出部は、
    前記スコア算出部の各算出結果から、前記各ペアのスコアを要素に含むスコア行列を生成し、当該生成したスコア行列に属する複数の行ベクトルであって、前記各検査対象の特徴量を示す複数のスコアベクトル同士の類似度又は距離で定義されるメタスコアを前記スコアベクトル毎に算出し、当該各算出結果から、前記各スコアベクトルのメタスコアを要素に含むメタスコア行列を算出してなることを特徴とする異常検知装置。
  2. 請求項1に記載の異常検知装置であって、
    前記メタスコア行列算出部の算出によるメタスコア行列を構成する各行ベクトルの値を基に前記各検査対象の優先順位を算出する優先順位算出部を有し、
    前記異常判定部は、
    前記優先順位算出部により算出された優先順位の高い順に前記検査対象を選択し、前記メタスコア行列算出部の算出によるメタスコア行列を構成する各行ベクトルの値のうち、前記選択した検査対象に対応した行ベクトルの値と閾値とを比較して、前記選択した検査対象の異常の有無を判定することを特徴とする異常検知装置。
  3. 請求項1に記載の異常検知装置であって、
    前記メタスコア行列算出部の算出によるメタスコア行列を構成する各行ベクトルの値を基に前記各検査対象の優先順位を算出する優先順位算出部を有し、
    前記異常判定部は、
    前記優先順位算出部により算出された優先順位に高い順に前記検査対象を選択し、前記選択した検査対象と、前記代表点から外れた検査対象を示す非代表点との組み合わせから構成される複数の補助ペアを生成し、前記選択した検査対象から得られた状態データと、前記非代表点から得られた状態データ同士の類似度又は距離で定義されるスコアを前記補助ペア毎に算出し、前記算出した各スコアと、前記スコア算出部の算出によるスコアのうち前記選択した検査対象と前記代表点との相関から得られたスコアとを含む行ベクトルの値と閾値とを比較して、前記選択した検査対象の異常の有無を判定することを特徴とする異常検知装置。
  4. 請求項1に記載の異常検知装置であって、
    前記メタスコア行列算出部の算出によるメタスコア行列に対してクラスタリング或いは多次元尺度構成法を用いて、前記各検査対象の可視化情報を生成する可視化情報生成部と、
    前記可視化情報生成部の生成による可視化情報をディスプレイに表示する可視化情報表示部と、を有することを特徴とする異常検知装置。
  5. 請求項1に記載の異常検知装置であって、
    前記代表点選択部は、
    複数個の検査対象の中から、互いに離れた場所に配置された、2以上の検査対象を前記代表点として選択してなることを特徴とする異常検知装置。
  6. 請求項1に記載の異常検知装置であって、
    ネットワークのネットワークトラヒックを測定するトラヒック測定部と、
    前記トラヒック測定部の測定結果から、トラヒック種別毎にネットワークトラヒックの状態データを抽出し、抽出した状態データを前記スコア算出部に転送する状態データ抽出部を有することを特徴とする異常検知装置。
  7. 請求項1〜5のうちいずれか1項に記載の異常検知装置であって、
    前記検査対象は、
    検出対象又は監視対象、或いは制御対象から得られた状態データを発生するセンサであることを特徴とする異常検知装置。
  8. 請求項6に記載の異常検知装置であって、
    前記検査対象は、
    トラヒック種別毎に分類されたネットワークトラヒックであって、タイムスロット毎にカウントしたカウント数を並べたベクトルを状態データとするネットワークトラヒックであることを特徴とする異常検知装置。
  9. 状態データの発生元となる複数個の検査対象に対する異常検知を行う異常検知装置と、
    前記異常検知装置とネットワークを介して情報の授受を行って、前記検査対象を監視する監視装置と、を有する異常検知システムであって、
    前記異常検知装置は、
    前記複数個の検査対象の中から、当該複数個の検査対象よりも数の少ない、1以上の検査対象を代表点として選択する代表点選択部と、
    前記各検査対象と前記代表点との組み合わせから構成される複数のペアを生成し、前記各ペアに属する検査対象から得られた状態データと前記各ペアに属する代表点から得られた状態データ同士の類似度又は距離で定義されるスコアを前記ペア毎に算出するスコア算出部と、
    前記スコア算出部の各算出結果を基にメタスコア行列を算出するメタスコア行列算出部と、
    前記メタスコア行列算出部の算出によるメタスコア行列の中のいずれかの行ベクトルの値を基に当該行ベクトルに対応する検査対象の異常の有無を判定する異常判定部と、
    前記メタスコア行列算出部の算出によるメタスコア行列の中のいずれかの行ベクトルの値を基に当該行ベクトルに対応する検査対象の異常の有無を判定する異常判定部と、
    前記メタスコア行列算出部の算出によるメタスコア行列に対してクラスタリング或いは多次元尺度構成法を用いて、前記各検査対象の可視化情報を生成する可視化情報生成部と、を有し、
    前記監視装置は、
    前記可視化情報生成部の生成による可視化情報をディスプレイに表示する可視化情報表示部を有し、
    前記異常検知装置のメタスコア行列算出部は、
    前記スコア算出部の各算出結果から、前記各ペアのスコアを要素に含むスコア行列を生成し、当該生成したスコア行列に属する複数の行ベクトルであって、前記各検査対象の特徴量を示す複数のスコアベクトル同士の類似度又は距離で定義されるメタスコアを前記スコアベクトル毎に算出し、当該各算出結果から、前記各スコアベクトルのメタスコアを要素に含むメタスコア行列を算出してなることを特徴とする異常検知システム。
  10. 請求項9に記載の異常検知システムであって、
    前記異常検知装置は、
    前記メタスコア行列算出部の算出によるメタスコア行列を構成する各行ベクトルの値を基に前記各検査対象の優先順位を算出する優先順位算出部を有し、
    前記異常判定部は、
    前記優先順位算出部により算出された優先順位の高い順に前記検査対象を選択し、前記メタスコア行列算出部の算出によるメタスコア行列を構成する各行ベクトルの値のうち、前記選択した検査対象に対応した行ベクトルの値と閾値とを比較して、前記選択した検査対象の異常の有無を判定することを特徴とする異常検知システム。
  11. 請求項9に記載の異常検知システムであって、
    前記異常検知装置は、
    前記メタスコア行列算出部の算出によるメタスコア行列を構成する各行ベクトルの値を基に前記各検査対象の優先順位を算出する優先順位算出部を有し、
    前記異常判定部は、
    前記優先順位算出部により算出された優先順位に高い順に前記検査対象を選択し、前記選択した検査対象と、前記代表点から外れた検査対象を示す非代表点との組み合わせから構成される複数の補助ペアを生成し、前記選択した検査対象から得られた状態データと、前記非代表点から得られた状態データ同士の類似度又は距離で定義されるスコアを前記補助ペア毎に算出し、前記算出した各スコアと、前記スコア算出部の算出によるスコアのうち前記選択した検査対象と前記代表点との相関から得られたスコアとを含む行ベクトルの値と閾値とを比較して、前記選択した検査対象の異常の有無を判定することを特徴とする異常検知システム。
  12. 請求項9に記載の異常検知システムであって、
    前記代表点選択部は、
    複数個の検査対象の中から、互いに離れた場所に配置された、2以上の検査対象を前記代表点として選択してなることを特徴とする異常検知システム。
  13. 請求項9に記載の異常検知システムであって、
    前記異常検知装置は、
    監視対象ネットワークのネットワークトラヒックを測定するトラヒック測定部と、
    前記トラヒック測定部の測定結果から、トラヒック種別毎にネットワークトラヒックの状態データを抽出し、抽出した状態データを前記スコア算出部に転送する状態データ抽出部を有することを特徴とする異常検知システム。
  14. 請求項9〜12のうちいずれか1項に記載の異常検知システムであって、
    前記検査対象は、
    検出対象又は監視対象、或いは制御対象から得られた状態データを発生するセンサであることを特徴とする異常検知システム。
  15. 請求項13に記載の異常検知システムであって、
    前記検査対象は、
    トラヒック種別毎に分類されたネットワークトラヒックであって、タイムスロット毎にカウントしたカウント数を並べたベクトルを状態データとするネットワークトラヒックであることを特徴とする異常検知システム。
JP2014085638A 2014-04-17 2014-04-17 異常検知装置及び異常検知システム Active JP6223897B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014085638A JP6223897B2 (ja) 2014-04-17 2014-04-17 異常検知装置及び異常検知システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014085638A JP6223897B2 (ja) 2014-04-17 2014-04-17 異常検知装置及び異常検知システム

Publications (2)

Publication Number Publication Date
JP2015207818A JP2015207818A (ja) 2015-11-19
JP6223897B2 true JP6223897B2 (ja) 2017-11-01

Family

ID=54604348

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014085638A Active JP6223897B2 (ja) 2014-04-17 2014-04-17 異常検知装置及び異常検知システム

Country Status (1)

Country Link
JP (1) JP6223897B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101807175B1 (ko) * 2016-01-27 2018-01-18 전자부품연구원 라이트 테라피 제공 방법 및 서버
JP6616791B2 (ja) * 2017-01-04 2019-12-04 株式会社東芝 情報処理装置、情報処理方法およびコンピュータプログラム
JP7226103B2 (ja) * 2019-05-29 2023-02-21 オムロン株式会社 制御システム、サポート装置およびサポートプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007055222A1 (ja) * 2005-11-08 2007-05-18 Tohoku University ネットワーク異常検知方法およびネットワーク異常検知システム
EP2413124B1 (en) * 2009-03-24 2018-07-18 Hitachi Construction Machinery Co., Ltd Device for detecting abnormality in construction machine
JP5465689B2 (ja) * 2011-02-28 2014-04-09 株式会社日立製作所 高精度な類似検索システム

Also Published As

Publication number Publication date
JP2015207818A (ja) 2015-11-19

Similar Documents

Publication Publication Date Title
JP6585482B2 (ja) 機器診断装置及びシステム及び方法
JP6330922B2 (ja) 情報処理装置および情報処理方法
JP7346176B2 (ja) データ系列の異常検出におけるビン分割された四分位数間範囲の分析のためのシステム及び方法
EP3547057A1 (en) Abnormality detection system, support device, and abnormality detection method
US20170097863A1 (en) Detection method and information processing device
JP6183450B2 (ja) システム分析装置、及び、システム分析方法
US10796796B2 (en) Fault diagnosis apparatus, fault diagnosis method, and fault diagnosis program
WO2013042789A1 (ja) 運用管理装置、運用管理方法、及びプログラム
WO2019087803A1 (ja) 画像処理装置、画像処理方法及び記録媒体
CN112272763B (zh) 异常探测装置、异常探测方法以及计算机可读取的存储介质
JP2012059063A5 (ja)
JP6223897B2 (ja) 異常検知装置及び異常検知システム
CN107832771B (zh) 气象数据处理装置、方法、系统及记录介质
US20200041988A1 (en) Display method, display device, and program
JP2013041173A (ja) 障害予測システム及びプログラム
WO2014132611A1 (ja) システム分析装置、及び、システム分析方法
US20210224383A1 (en) Abnormality detection device
WO2018235266A1 (ja) 検査装置、検査方法及び検査プログラム
JPWO2019244203A1 (ja) 診断装置、診断方法及びプログラム
JP6398383B2 (ja) 異常診断装置
US20190265088A1 (en) System analysis method, system analysis apparatus, and program
JP2007243459A (ja) トラヒック状態抽出装置及び方法ならびにコンピュータプログラム
CN114584377A (zh) 流量异常检测方法、模型的训练方法、装置、设备及介质
JPWO2019073512A1 (ja) システム分析方法、システム分析装置、および、プログラム
JP5668425B2 (ja) 障害検知装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161116

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170920

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171004

R150 Certificate of patent or registration of utility model

Ref document number: 6223897

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150