JP6547275B2 - 情報処理システム、情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理システム、情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP6547275B2
JP6547275B2 JP2014219946A JP2014219946A JP6547275B2 JP 6547275 B2 JP6547275 B2 JP 6547275B2 JP 2014219946 A JP2014219946 A JP 2014219946A JP 2014219946 A JP2014219946 A JP 2014219946A JP 6547275 B2 JP6547275 B2 JP 6547275B2
Authority
JP
Japan
Prior art keywords
data
information processing
dimensions
dimension
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014219946A
Other languages
English (en)
Other versions
JP2016085704A (ja
Inventor
亮介 笠原
亮介 笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2014219946A priority Critical patent/JP6547275B2/ja
Priority to US14/874,536 priority patent/US10284583B2/en
Priority to EP15189291.6A priority patent/EP3016033A1/en
Publication of JP2016085704A publication Critical patent/JP2016085704A/ja
Application granted granted Critical
Publication of JP6547275B2 publication Critical patent/JP6547275B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、情報処理システム、情報処理装置、情報処理方法、及びプログラムに関する。
あるデータについて、このデータが異常な値(外れ値)であるか否かを識別する機械学習の手法が知られており、このような手法を用いることにより、例えば、規格外の製品や欠陥がある製品を検知する技術が従来より知られている。あるデータが異常な値であるか否かを識別する手法は、教師あり異常検知手法、半教師あり異常検知手法、教師なし異常検知手法の3通りに大別される。
ここで、十分な規模の学習データが得られない状況において、教師あり異常検知手法を用いて、入力されたデータを分類(識別)する技術が従来より知られている(例えば特許文献1参照)。
しかしながら、上記の従来技術においては、教師あり異常検知手法を用いているため、学習データとして異常な値を示すデータを得ることが難しい場合には、識別の精度が低い場合があるといった問題がある。すなわち、例えば、ある製品を識別するための学習データとして、正常な値を示すデータは大量に得ることができる一方で、異常な値を示すデータはほとんど得ることができない場合、異常な値を示すデータの学習が少ないため、識別の精度が低くなる場合がある。
他方、半教師あり異常検知手法は、学習データとして正常な値を示すデータのみを用いる手法であり、一般に、教師あり異常検知手法に比べて識別の精度が低い場合が多いものの、想定外の異常な値も検知することができるという利点を有する。
本発明の一実施形態は、上記の点に鑑みてなされたもので、半教師あり異常検知を用いて、高い精度で識別することを目的とする。
上記目的を達成するため、本発明の一実施形態は、1以上の情報処理装置を含む情報処理システムであって、多次元の第1のデータを入力するデータ入力手段と、前記第1のデータに基づき、該第1のデータの次元数よりも少ない所定の次元数の第2のデータであって、前記第1のデータの特徴を表す第2のデータを生成する次元削減手段と、前記第1のデータと前記第2のデータとに基づき、半教師あり異常検知により該第1のデータが正常を示すデータであるか又は異常を示すデータであるかを識別する識別手段と、を有することを特徴とする。
本発明の一実施形態によれば、半教師あり異常検知を用いて、高い精度で識別することができる。
第1の実施形態に係る情報処理装置の一例のハードウェア構成図である。 第1の実施形態に係る情報処理装置の一例の処理ブロック図である。 第1の実施形態に係る学習処理の一例のフローチャートである。 Stacked Auto−Encodersの一例を説明するための図である。 Stacked Auto−Encodersの学習方法の一例を説明するための図である。 第1の実施形態に係る識別処理の一例のフローチャートである。 第1の実施形態に係る識別結果の一例を示す図である。 第2の実施形態に係る情報処理装置の一例の処理ブロック図である。 第2の実施形態に係る学習処理の一例のフローチャートである。 第2の実施形態に係る識別処理の一例のフローチャートである。 第3の実施形態に係る情報処理装置の一例の処理ブロック図である。 第3の実施形態に係る学習処理の一例のフローチャートである。 第3の実施形態に係る識別処理の一例のフローチャートである。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
[第1の実施形態]
まず、第1の実施形態に係る情報処理装置10のハードウェア構成について説明する。図1は、第1の実施形態に係る情報処理装置の一例のハードウェア構成図である。
図1に示すように、情報処理装置10は、CPU(Central Processing Unit)11と、HDD(Hard Disk Drive)12と、RAM(Random Access Memory)13と、ROM(Read Only Memory)14と、入力装置15と、表示装置16と、外部I/F17と、撮像装置18とを備え、それぞれがバスBで接続されている。
CPU11は、ROM14やHDD12等の記憶装置からプログラムやデータをRAM13上に読み出し、処理を実行することで、情報処理装置10全体の制御や機能を実現する演算装置である。
HDD12は、プログラムやデータを格納している不揮発性の記憶装置である。格納されるプログラムやデータには、例えば、本実施形態を実現するためのプログラム、情報処理装置10全体を制御する基本ソフトウェアであるOS(Operating System)、OS上において各種機能を提供するアプリケーションソフトウェア等がある。HDD12は格納しているプログラムやデータを所定のファイルシステム及び/又はDB(データベース)により管理している。なお、情報処理装置10は、HDD12の代わりに又はHDD112と併せて、SSD(Solid State Drive)等を備えていてもよい。
RAM13は、プログラムやデータを一時保持する揮発性の半導体メモリ(記憶装置)である。ROM14は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ(記憶装置)である。
入力装置15は、ユーザが各種操作信号を入力するのに用いられる装置である。入力装置15は、例えば、各種操作ボタン、タッチパネル、キーボード、マウス等である。
表示装置16は、情報処理装置10による処理結果を表示する装置である。表示装置16は、例えば、ディスプレイ等である。
外部I/F17は、外部装置とのインタフェースである。外部装置には、例えば、USB(Universal Serial Bus)メモリ、SDカード、CD、DVD等がある。
撮像装置18は、撮像により画像データ等の多次元データを生成する装置である。撮像装置18は、例えば、撮像動作により物体の複数の分光情報を取得する分光カメラ等である。
ここで、多次元データとは、多次元のベクトルデータとして表すことができるデータを言う。例えば、640×480ピクセルの画像データは、640×480次元=合計307200次元のベクトルデータとして表すことができる多次元データである。同様に、例えば、所定の6つの角度の光源から物体に照射された光により取得された31波長の分光情報は、6×31次元=合計186次元のベクトルデータとして表すことができる多次元データである。さらに、これらに限られず、多次元データには、音データや文書データ等の各種電子データが含まれる。以降では、多次元データは、多次元のベクトルデータとして表されているものとして説明する。
本実施形態では、情報処理装置10において、正常なモデルに属する複数の多次元データ(すなわち、ポジティブデータ)を用いて予め学習を行うことにより(半教師あり学習)、入力された多次元データがポジティブデータであるか否かを識別するものである。
なお、図1では、情報処理装置10が撮像装置18を有する構成としたが、これに限られず、例えば、情報処理装置10と撮像装置18とがLAN(Local Area Network)やインターネット等のネットワーク等を介して通信可能に接続されていてもよい。また、情報処理装置10と撮像装置18とが例えばUSBケーブル等を介して通信可能に接続されていてもよい。すなわち、本実施形態は、情報処理装置10と、撮像装置18とを有する情報処理システムにも適用され得る。
さらに、情報処理装置10又は情報処理システムは、撮像装置18を必ずしも有している必要はなく、情報処理装置10又は情報処理システムは、上述したような多次元データを生成する各種装置(例えば、マイク装置等)を有する構成としてもよい。また、情報処理装置10又は情報処理システムは、例えば外部装置に格納された多次元データを、外部I/F17等を介して又はHDD12等から入力する構成としてもよい。
本実施形態に係る情報処理装置10は、上記ハードウェア構成を有することにより、後述する各種処理を実現することができる。
<ソフトウェア構成>
次に、第1の実施形態に係る情報処理装置10のソフトウェア構成について説明する。図2は、第1の実施形態に係る情報処理装置の一例の処理ブロック図である。
図2に示すように、情報処理装置10は、データ入力部101と、次元削減部102と、次元復元部103と、誤差算出部104と、データ識別部105とを有する。
データ入力部101は、例えばCPU11等により実現され、多次元データを入力する。データ入力部101は、例えば、外部I/F17等を介して又はHDD12等から学習データ1000を入力する。また、データ入力部101は、例えば、撮像装置18に生成された識別対象データ2000を入力する。
ここで、学習データ1000は、後述する次元削減部102、次元復元部103、及びデータ識別部105の学習に用いる正常なモデルに属する複数の多次元データ(すなわち、ポジティブデータ)である。例えば、画像データの被写体が人か人以外をデータ識別部105で識別する場合、学習データ1000とは、人が写っている画像データである。また、例えば、ある製品の塗料の品質(測色結果)が所定の規格を満たすか否かをデータ識別部105で識別する場合、学習データ1000とは、所定の規格を満たす品質の塗料から得られた分光情報である。なお、以降では複数の学習データ1000について、各々区別する場合はそれぞれ「学習データ1000」、「学習データ1000」、・・・と表す。
一方、識別対象データ2000は、データ識別部105により識別させる対象のデータである。すなわち、識別対象データ2000により、識別対象データ2000が異常な値を示すデータ(異常値データ)であるか正常な値を示すデータ(正常値データ)であるかが判定(識別)される。ここで、識別対象データ2000が異常値データであるとは、例えば、人が写っている画像データを正常値データとした場合に、人以外のもの(例えば、犬)が写っている画像データである。また、例えば、ある製品の塗料から得られた、所定の規格を満たす品質を示す分光情報を正常値データとした場合に、所定の規格を満たさない品質を示す分光情報が異常値データとなる。
なお、上述したように、学習データ1000は、例えば、USBメモリ、SDカード、CD、DVD等の外部装置に格納されており、外部I/F17を介して情報処理装置10に入力されてもよいし、HDD12等に格納されていてもよい。また、識別対象データ2000は、例えば、撮像装置18の撮像動作により生成されてもよいし、外部装置に格納されており外部I/F17を介して情報処理装置10に入力されてもよい。
次元削減部102は、例えばCPU11等により実現され、入力された多次元データの次元数を削減する。すなわち、次元削減部102は、入力された多次元データを、この多次元データの特性を表し、かつ、この多次元データの次元数よりも少ない次元数の特徴ベクトルを生成する。なお、次元削減部102は、例えば、多層ニューラルネットワークの一種であるStacked Auto−Encodersや主成分分析(PCA:Principal Component Analysis)等の手法を用いることができる。
次元復元部103は、例えばCPU11等により実現され、次元削減部102により次元数が削減された後の多次元データを、元の次元数に復元する。すなわち、次元復元部103は、次元削減部102により生成された特徴ベクトルを、元の多次元データの次元数に復元した多次元データを生成する。なお、次元復元部103は、次元削減部102と同様に、例えば、多層ニューラルネットワークの一種であるStacked Auto−Encodersや主成分分析(PCA:Principal Component Analysis)等の手法を用いることができる。
誤差算出部104は、例えばCPU11等により実現され、入力された多次元データが次元削減部102により次元削減されたことにより発生した誤差量を算出する。すなわち、誤差算出部104は、入力された多次元データと、次元復元部103により復元された後の多次元データとの差分を計算することで、誤差量を算出する。
データ識別部105は、例えばCPU11等により実現され、半教師あり異常検知の手法を用いて識別対象データ2000の識別を行う。すなわち、データ識別部105は、予め学習データ1000に基づき学習されたモデル等に基づき、識別対象データ2000が異常値データあるか否かを識別(判定)する。なお、データ識別部105が用いる半教師あり異常検知の手法は、例えば、密度ベースの外れ値検出手法であるLOF(Local Outlier Factor)やSVM(Support Vector Machine)の評価関数を変更した外れ値検出手法であるOne−Class SVM等を用いることができる。
なお、上記の次元削減部102、次元復元部103、及びデータ識別部105は、後述するように学習データ1000を用いて予め学習させておく必要がある。
<処理の詳細>
次に、本実施形態に係る情報処理装置10の処理の詳細について説明する。本実施形態に係る情報処理装置10は、学習データ1000を用いて、次元削減部102、次元復元部103、及びデータ識別部105を予め学習させておく必要がある。そして、本実施形態に係る情報処理装置10は、学習された次元削減部102、次元復元部103、及びデータ識別部105等により識別対象データ2000の識別を行う。
≪学習処理≫
まず、学習データ1000を用いて、本実施形態に係る情報処理装置10の次元削減部102、次元復元部103、及びデータ識別部105を学習させる処理について説明する。図3は、第1の実施形態に係る学習処理の一例のフローチャートである。なお、上述したように、学習データ1000は、正常なモデルに属する複数の多次元データ(すなわち、正常値データ、ポジティブデータ)である。すなわち、以降で説明する学習処理は、半教師あり学習である。
ステップS301において、データ入力部101は、学習データ1000を入力する。なお、データ入力部101は、学習データ1000を、例えば、USBメモリ、SDカード、CD、DVD等の外部装置から外部I/F17を介して又はHDD12等から入力する。また、データ入力部101は、学習データ1000を、例えば、LANやインターネット等のネットワークを介して入力してもよいし、撮像装置18の撮像動作により学習データ1000を生成して入力してもよい。
ステップS302において、次元削減部102及び次元復元部103は、入力された学習データ1000を用いて、学習を行う。なお、ここでは一例として次元削減部102及び次元復元部103が、主成分分析の手法を用いて実現される場合又はStacked Auto−Encodersの手法を用いて次元される場合の2つの場合について説明する。ただし、次元削減部102及び次元復元部103は、これらの2つの場合に限られず、種々の次元削減及び次元復元の手法を用いて実現することができる。
(主成分分析)
まず、次元削減部102及び次元復元部103が主成分分析の手法を用いて実現される場合について説明する。この場合、次元削減部102及び次元復元部103の学習とは、入力された学習データ1000に基づき、各主成分に対応する固有ベクトルを求めることに相当する。以降では、学習データ1000は、30個の100次元のベクトルデータであるものとして説明する。また、次元削減部102は、100次元のベクトルデータを、25次元のベクトルデータに削減するものとする。ただし、次元削減部102による次元削減後の次元数は、設計事項であり、25次元に限られず、任意の次元数でよい。このことは、Stacked Auto−Encodersの手法を用いる場合も同様である。
このとき、各学習データ1000〜100030を、それぞれy、・・・、y30として、以下のように表す。
Figure 0006547275
このとき、Yを以下のように定義する。
Figure 0006547275
そして、Yの分散共分散行列Aを以下の式により演算する。
Figure 0006547275
次に、以下の固有値方程式を解くことで、固有値λを求める。なお、Iは単位行列である。
Figure 0006547275
次に、各固有値λに対して、以下の関係を満たす固有ベクトルxを求める。
Figure 0006547275
ここで、上記の(式4)で求めた固有値λのうち、最も大きい値の固有値λが第一主成分となる。したがって、これをλと表し、このλに対して上記の(式5)により求められた固有ベクトルをxとする。
同様に、上記の(式4)で求めた固有値λのうち、λの次に大きい値の固有値λが第二主成分となる。したがって、これをλと表し、このλに対して上記の(式5)により求められた固有ベクトルをxとする。
以降、同様にして固有ベクトルx〜x25を得ることができる。ここで得られた固有ベクトルx〜x25は、例えば、HDD12等に保存される(つまり、次元削減部102による削減後の次元数と同数の固有ベクトルを保存する)。これにより、学習データ1000を用いて、次元削減部102及び次元復元部103が学習される。なお、後述する処理(識別処理)において、ここで得られた固有ベクトルx〜x25を用いて、次元削減及び次元復元が行われる。
(Stacked Auto−Encoders)
次に、次元削減部102及び次元復元部103が多層ニューラルネットワークの一種であるStacked Auto−Encodersの手法を用いて実現される場合について説明する。この場合、次元削減部102及び次元復元部103の学習とは、入力された学習データ1000に基づき、Stacked Auto−Encodersの各層のネットワーク係数(これは「重み」とも称される)を調整することに相当する。なお、このようなネットワーク係数は、所定のパラメータの一例である。
なお、Stacked Auto−Encodersとは、Auto−Encoderと呼ばれるニューラルネットワークを積み重ねて多層とした構成のニューラルネットワークである。ここで、Auto−Encoderとは、入力層と出力層のニューロン数(ユニット数)が同数であり、かつ、中間層(隠れ層)のニューロン数(ユニット数)が入力層(出力層)より少ない構成のニューラルネットワークである。
以降では、次元削減部102及び次元復元部103は、図4に示すような5層から構成されるStacked Auto−Encodersにより実現されるものとして説明する。すなわち、次元削減部102は、入力された100次元のベクトルデータを、50次元のベクトルデータに次元削減した後、25次元のベクトルデータに削減する。一方、次元復元部103は、入力された25次元のベクトルデータを、50次元のベクトルデータに次元復元した後、100次元のベクトルデータに次元復元する。図4に示すStacked Auto−Encodersの学習について、図5を用いて説明する。ここで、各学習データ1000は、主成分分析の場合と同様に、上記の(式1)で表されるものとする。
Stacked Auto−Encodersの学習は、Stacked Auto−Encodersを構成するAuto−Encoder毎に行われる。したがって、図4に示すStacked Auto−Encodersは、Stacked Auto−Encodersを構成する第1のAuto−Encoder及び第2のAuto−Encoderについて、学習を行う(図5のS1及びS2)。そして、最後に、Fine−trainingと呼ばれる学習を行う(図5のS1)。
S1)まず、図4のStacked Auto−Encodersを構成する第1のAuto−Encoderについて、学習データ1000を用いて学習を行う。すなわち、第1層(入力層)のニューロン数が100、第2層(中間層、隠れ層)のニューロン数が50、第3層(出力層)のニューロン数が100の第1のAuto−Encoderについて、学習データ1000を用いて学習を行う。
このような学習は、各i(i=1,・・・,30)に対して、yを第1のAuto−Encoderの入力データ及び教師データとして誤差逆伝播法(Backpropagation)により学習を行えばよい。つまり、学習データ1000を用いて、第1のAuto−Encoderの入力データと出力データが同じになるように、誤差逆伝播法によりネットワーク係数の調整を行う。
S2)次に、図4のStacked Auto−Encodersを構成する第2のAuto−Encoderについて、第1のAuto−Encoderの第2層(中間層、隠れ層)に対する入力データを用いて学習を行う。
ここで、第1のAuto−Encoderにおいて、入力層(第1層)の各ニューロンと第2層の上からj番目のニューロンとの間のネットワーク係数をそれぞれw1,j、・・・、w100,jとすると、第2のAuto−Encoderの入力データは以下の(式6)で表される。
Figure 0006547275
したがって、各i(i=1,・・・,30)に対して、zを第2のAuto−Encoderの入力データ及び教師データとして誤差逆伝播法により学習を行えばよい。つまり、30個の50次元のベクトルデータzを用いて、第2のAuto−Encoderの入力データzと出力データが同じになるように、誤差逆伝播法によりネットワーク係数の調整を行う。
S3)Stacked Auto−Encodersを構成するすべてのAuto−Encoderについて学習を行った後、Fine−training(又は、Fine−Tuning)と呼ばれる学習を行う。Fine−trainingとは、学習を行ったすべてのAuto−Encoderから構成されたStacked Auto−Encodersについて学習データ1000を用いて学習を行うことである。すなわち、各i(i=1,・・・,30)に対して、yをStacked Auto−Encodersの入力データ及び教師データとして誤差逆伝播法により学習を行えばよい。つまり、学習データ1000を用いて、Stacked Auto−Encodersの入力データと出力データが同じになるように、誤差逆伝播法によりネットワーク係数の調整を行う。
このようなFine−trainingを最後に行うことで、Stacked Auto−Encodersの各ネットワーク係数が微調整され、次元削減部102及び次元復元部103の性能を向上させることができる。すなわち、後述する識別処理において、入力された識別対象データ2000のデータ識別部105による識別精度を向上させることができる。
なお、上記では、一例として、各層のニューロン数が100、50、25、50、100である5層のStacked Auto−Encodersを用いて、説明したが、これに限られない。Stacked Auto−Encodersの各層のニューロン数、及び、ニューラルネットワークを構成する層の数は設計事項であり、任意の数を選択することができる。
ただし、次元削減部102による次元削減及び次元復元部103による次元復元は、複数の層に分けて行うことが好ましい。例えば、上記のように100次元のベクトルデータを25次元のベクトルデータに削減する場合、各層のニューロン数が100、25、100である3層のStacked Auto−Encodersを用いて次元削減を行うよりも、上記の例のように複数の層(上記の例では5層)に分けて順次、次元数を削減する構成とする方が好ましい。
ステップS303において、誤差算出部104は、各学習データ1000について次元削減及び次元復元された後の誤差を算出する。すなわち、上記のステップS302で学習された次元削減部102及び次元復元部103に、各学習データ1000を入力する。そして、誤差算出部104は、入力された各学習データ1000と、次元復元された後の各学習データ1000との誤差を算出する。
例えば、入力される各学習データ1000が上記の(式1)で表されるものとする。このとき、各yを入力して次元削減部102により次元削減した後、次元復元部103により次元復元した結果(出力)をそれぞれYとすると、誤差算出部104は、各iに対してyとYの差分を計算することにより誤差Δを算出する。つまり、誤差算出部104は、各i(i=1〜30)に対して以下の(式7)を計算する。
Figure 0006547275
なお、上記のステップS302において次元削減部102及び次元復元部103が適切に学習されている場合、上記のΔは略ゼロベクトルとなる。これは、入力された多次元データを次元削減部102により次元削減した結果である特徴ベクトルを、次元復元部103により次元復元すれば入力された多次元データが略復元されることを示している。
ステップS304において、データ識別部105は、上記のステップS303で算出された誤差Δを用いて学習を行う。
例えば、データ識別部105に用いる外れ値検出手法としてLOFを用いる場合、誤差Δを多次元空間(上記の例では100次元空間)にプロットして、ポジティブデータを表すデータ集合(ポジティブモデル)が生成する。なお、このようなデータ集合は、例えば、HDD12等に格納すればよい。
また、例えば、データ識別部105に用いる外れ値検出手法としてOne−Class SVMを用いる場合、誤差Δを多次元空間(上記の例では100次元空間)にプロットして、ポジティブデータを表すデータ集合(ポジティブモデル)が生成する。そして、このデータ集合と、多次元空間上の所定の点とを分ける所定の平面(又は曲面)を求める。
このようにデータ識別部105を学習させておくことで、後述する識別処理において、LOFやOne−Class SVM等の外れ値検出手法を用いて識別対象データ2000が異常値データ(外れ値)であるか否かを識別することができる。
≪識別処理≫
次に、上記で説明したような学習処理を行った次元削減部102、次元復元部103、及びデータ識別部105を用いて、識別対象データ2000の識別を行う処理について説明する。なお、識別対象データ2000の識別とは、上述したように、この識別対象データ2000が異常値データであるか否かを判別することである。図6は、第1の実施形態に係る識別処理の一例のフローチャートである。
ステップS601において、データ入力部101は、識別対象データ2000を入力する。なお、データ入力部101は、識別対象データ2000を、例えば、撮像装置18の撮像動作により生成して入力する。また、データ入力部101は、識別対象データ2000を、例えば、USBメモリ、SDカード、CD、DVD等の外部装置から外部I/F17を介して又はHDD12等から入力してもよい。さらに、データ入力部101は、識別対象データ2000を、例えば、LANやインターネット等のネットワークを介して入力してもよい。
ステップS602及びステップS603において、次元削減部102は、入力された識別対象データ2000の次元数を削減して、特徴ベクトルを生成する。そして、次元復元部103は、特徴ベクトルの次元数を、識別対象データ2000と同じ次元数に復元する。なお、ここでは一例として次元削減部102及び次元復元部103が、主成分分析の手法を用いて実現される場合又はStacked Auto−Encodersの手法を用いて次元される場合の2つの場合について説明する。ただし、次元削減部102及び次元復元部103は、これらの2つの場合に限られず、種々の次元削減及び次元復元の手法を用いて実現することができる。
(主成分分析)
まず、次元削減部102及び次元復元部103が主成分分析の手法を用いて実現される場合について説明する。以降では、識別対象データ2000は、100次元のベクトルデータであるものとして説明する。また、次元削減部102は、100次元のベクトルデータを、25次元のベクトルデータに削減するものとする。
このとき、識別対象データ2000を、aとして、以下のように表す。
Figure 0006547275
また、学習処理において予めHDD12等に保存した固有ベクトルx〜x25を、以下のように表す。
Figure 0006547275
そして、各jに対して以下の(式10)を計算する。すなわち、識別対象データ2000と各固有ベクトルx〜x25との相関演算を行う。
Figure 0006547275
このようにして得られた多次元データλ=(λ,λ,・・・,λ25)が特徴ベクトルである。すなわち、多次元データλは、識別対象データ2000を次元削減部102により25次元に次元削減したベクトルである。
次に、上記で得られた特徴ベクトルλを用いて、各jに対して以下の(式11)を計算する。
Figure 0006547275
このようにして得られた多次元データA=(A,A,・・・,A100)が、次元復元後の多次元データである。すなわち、多次元データAは、特徴ベクトルλを次元復元部103により100次元に次元復元した多次元データである。
以上のようにして、次元削減部102及び次元復元部103は、主成分分析の手法を用いて識別対象データ2000の次元削減及び次元復元を行う。
(Stacked Auto−Encoders)
次に、次元削減部102及び次元復元部103が多層ニューラルネットワークの一種であるStacked Auto−Encodersの手法を用いて実現される場合について説明する。ここで、識別対象データ2000は、主成分分析の場合と同様に、上記の(式8)で表されるものとする。
このとき識別対象データ2000を示す多次元データa=(a,a,・・・,a100)を、上記の学習処理により予め学習された図4に示すStacked Auto−Encodersの第1層(入力層)に入力する。すると、Stacked Auto−Encodersにより次元削減及び次元復元された出力データである多次元データA=(A,A,・・・,A100)を得ることができる。すなわち、図4に示すStacked Auto−Encodersに多次元データaを入力すると、次元削減部102により50次元に次元削減した後、さらに25次元に次元削減する。このようにして得られた25次元の多次元データが特徴ベクトルλである。そして、特徴ベクトルλを次元復元部103により50次元に次元復元した後、さらに100次元に次元復元し、多次元データAを得ることができる。
以上のようにして、次元削減部102及び次元復元部103は、多層ニューラルネットワークの一種であるStacked Auto−Encodersの手法を用いて識別対象データ2000の次元削減及び次元復元を行う。
ステップS604において、誤差算出部104は、識別対象データ2000について次元削減及び次元復元された後の誤差を算出する。すなわち、上記のステップS602及びS603で得られた多次元データAと、識別対象データ2000を示す多次元データaとを誤差算出部104に入力して、aとAの差分を計算することにより誤差Δを算出する。つまり、誤差算出部104は、以下の(式12)を計算する。
Figure 0006547275
なお、これは、識別対象データ2000がポジティブデータ(正常値データ)である場合、上記のΔは略ゼロベクトルとなることを示している。他方、識別対象データ2000がネガティブデータ(異常値データ)である場合、上記のΔは、|Δ|>Cとなるある定数Cが存在することを示している。これにより、次のステップS605において、データ識別部105による識別対象データ2000の識別を行うことができる。
ステップS605において、データ識別部105は、上記のステップS604で算出された誤差Δを用いて、識別対象データ2000の識別を行う。
例えば、データ識別部105に用いる外れ値検出手法としてLOFを用いる場合、予め学習処理においてプロットしたポジティブデータを表すデータ集合と同じ多次元空間に、誤差Δをプロットする。そして、誤差Δをプロットした点のまわりの点の密度に基づきLOF値(LOFスコア)を算出し、算出されたLOFスコアが所定の基準値以上である場合、データ識別部105は、識別対象データ2000を異常値データあると判別する。なお、上記の所定の基準値は、予めユーザ等により設定された値である。
また、例えば、データ識別部105に用いる外れ値検出手法としてOne−Class SVMを用いる場合、予め学習処理においてプロットしたポジティブデータを表すデータ集合と同じ多次元空間に、誤差Δをプロットする。そして、誤差Δを入力とした所定の関数値(評価関数の値)が、学習処理において求めた所定の平面(又は曲面)によって分けられた多次元空間のいずれに属するかにより、識別対象データ2000が異常値データであるか否かを判別する。すなわち、データ識別部105は、誤差Δを入力とした所定の関数値が、所定の点が含まれる多次元空間に属する場合、識別対象データ2000を異常値データあると識別する。一方、データ識別部105は、誤差Δを入力とした所定の関数値が、ポジティブデータを表すデータ集合が含まれる多次元空間に属する場合、識別対象データ2000を正常値を示すデータであると識別する。
このようにして、データ識別部105は、識別対象データ2000が異常値データであるか又は正常値データであるかを識別することができる。
ここで、本実施形態における情報処理装置10の識別結果の一例について説明する。図7は、第1の実施形態に係る識別結果の一例を示す図である。図7では、異常データ検出機として、それぞれ、(1)外れ値検出手法としてOne−Class SVMを用いた従来の識別機、(2)外れ値検出手法としてLOFを用いた従来の識別機、(3)本実施形態に係る情報処理装置10のエラー率(誤検出率)を示したものである。なお、(3)の情報処理装置10の次元削減部102及び次元復元部103は、7層から構成され、各層のニューロン数が第1層から順に186、100、50、25、50、100、186であるStacked Auto−Encodersを用いたものである。
図7の(1)〜(3)それぞれについて、同じポジティブデータを用いて学習を行い、識別対象データとして186次元の多次元データを複数用いて識別を行った場合のエラー率の計測を行った。すると、図7に示すように、従来の方式である(1)及び(2)に比べて本実施形態に係る情報処理装置10は、エラー率が低いため、異常データ検出機として非常に有効であることがわかる。
[第2の実施形態]
次に、第2の実施形態に係る情報処理装置10について説明する。第2の実施形態に係る情報処理装置10は、誤差算出部104を有しない点が第1の実施形態と異なる。なお、以降では、第1の実施形態と同様の機能を有する箇所及び同一の処理を行う箇所については、第1の実施形態と同一の符号を用いて、その説明を省略する。
<ソフトウェア構成>
まず、第2の実施形態に係る情報処理装置10のソフトウェア構成について説明する。図8は、第2の実施形態に係る情報処理装置の一例の処理ブロック図である。
図8に示すように、第2の実施形態に係る情報処理装置10は、誤差算出部104を有しない点及びデータ識別部105Aの機能が第1の実施形態と異なる。
データ識別部105Aは、識別対象データ2000の識別を行う。ただし、第2の実施形態に係る情報処理装置10のデータ識別部105Aは、学習データ1000と、この学習データ1000を次元削減及び次元復元した多次元データとに基づき学習を行う。また、第2の実施形態に係る情報処理装置10のデータ識別部105Aは、識別対象データ2000と、この識別対象データ2000を次元削減及び次元復元した多次元データとに基づき識別を行う。
<処理の詳細>
次に、本実施形態に係る情報処理装置10の処理の詳細について説明する。
≪学習処理≫
まず、学習データ1000を用いて、本実施形態に係る情報処理装置10の次元削減部102、次元復元部103、及びデータ識別部105を学習させる処理について説明する。図9は、第2の実施形態に係る学習処理の一例のフローチャートである。第2の実施形態に係る学習処理は、ステップS901の処理が第1の実施形態と異なる。したがって、以降では、このステップS901の処理について説明する。
ステップS901において、データ識別部105Aは、各学習データ1000を示す各多次元データyと、ステップS302で学習された次元削減部102及び次元復元部103に各yを入力して得た結果(出力)Yとを用いて学習を行う。
例えば、データ識別部105Aに用いる外れ値検出手法としてLOFを用いる場合、各iに対して200次元の多次元データ(y,Y)を多次元空間(上記の例ではy及びYはともに100次元であるから、200次元空間)にプロットして、ポジティブデータを表すデータ集合(ポジティブモデル)が生成する。なお、このようなデータ集合は、例えば、HDD12等に格納すればよい。
また、例えば、データ識別部105Aに用いる外れ値検出手法としてOne−Class SVMを用いる場合、各iに対して200次元の多次元データ(y,Y)を多次元空間(上記の例ではy及びYはともに100次元であるから、200次元空間)にプロットして、ポジティブデータを表すデータ集合(ポジティブモデル)が生成する。そして、このデータ集合と、多次元空間上の所定の点とを分ける所定の平面(又は曲面)を求める。
≪識別処理≫
次に、上記で説明したような学習処理を行った次元削減部102、次元復元部103、及びデータ識別部105を用いて、識別対象データ2000の識別を行う処理について説明する。図10は、第2の実施形態に係る識別処理の一例のフローチャートである。第2の実施形態に係る学習処理は、ステップS1001の処理が第1の実施形態と異なる。したがって、以降では、このステップS1001の処理について説明する。
ステップS1001において、データ識別部105Aは、識別対象データ2000を示す多次元データaと、ステップS602及びS603で得られた多次元データAとを用いて、識別対象データ2000の識別を行う。
例えば、データ識別部105Aに用いる外れ値検出手法としてLOFを用いる場合、予め学習処理においてプロットしたポジティブデータを表すデータ集合と同じ多次元空間(すなわち、200次元空間)に、200次元の多次元データ(a,A)をプロットする。そして、多次元データ(a,A)をプロットした点のまわりの点の密度に基づきそれぞれLOF値(LOFスコア)を算出し、算出されたLOFスコアが所定の基準値以上であるか否かを判定する。
また、例えば、データ識別部105Aに用いる外れ値検出手法としてOne−Class SVMを用いる場合、予め学習処理においてプロットしたポジティブデータを表すデータ集合と同じ多次元空間に、200次元の多次元データ(a,A)をプロットする。そして、多次元データ(a,A)を入力とした所定の関数値(評価関数の値)が、学習処理において求めた所定の平面(又は曲面)によって分けられた多次元空間のいずれに属するかにより、識別対象データ2000が異常値データであるか否かを判別する。
[第3の実施形態]
次に、第3の実施形態に係る情報処理装置10について説明する。第3の実施形態に係る情報処理装置10は、次元復元部103を有しない点が第2の実施形態と異なる。なお、以降では、第2の実施形態と同様の機能を有する箇所及び同一の処理を行う箇所については、第2の実施形態と同一の符号を用いて、その説明を省略する。
<ソフトウェア構成>
まず、第3の実施形態に係る情報処理装置10のソフトウェア構成について説明する。図11は、第3の実施形態に係る情報処理装置の一例の処理ブロック図である。
データ識別部105Bは、識別対象データ2000の識別を行う。ただし、第3の実施形態に係る情報処理装置10のデータ識別部105Bは、学習データ1000と、この学習データ1000を次元削減した多次元データとに基づき学習を行う。また、第3の実施形態に係る情報処理装置10のデータ識別部105Bは、識別対象データ2000と、この識別対象データ2000を次元削減した多次元データとに基づき識別を行う。
<処理の詳細>
次に、本実施形態に係る情報処理装置10の処理の詳細について説明する。
≪学習処理≫
まず、学習データ1000を用いて、本実施形態に係る情報処理装置10の次元削減部102及びデータ識別部105を学習させる処理について説明する。図12は、第3の実施形態に係る学習処理の一例のフローチャートである。第3の実施形態に係る学習処理は、ステップS1201及びS1202の処理が第2の実施形態と異なる。したがって、以降では、このステップS1201及びS1202の処理について説明する。
ステップS1201において、次元削減部102は、入力された学習データ1000を用いて、学習を行う。これは、図3のステップS302で説明したのと同様の学習を行い、次元復元部103の学習結果を破棄すればよい。例えば、図4に示すStacked Auto−Encodersの学習を行った場合、第1層〜第3層により構成される多層ニューラルネットワークを取り出して、これを次元削減部102とすればよい。
ステップS1202において、データ識別部105Bは、各学習データ1000を示す各多次元データyと、ステップS302で学習された次元削減部102に各yを入力して得た結果(出力)λとを用いて学習を行う。ここで、λは各yの特徴ベクトルである。
例えば、データ識別部105Bに用いる外れ値検出手法としてLOFを用いる場合、各iに対して125次元の多次元データ(y,λ)を多次元空間(上記の例ではyが100次元、λが25次元であるから、125次元空間)にプロットして、ポジティブデータを表すデータ集合(ポジティブモデル)が生成する。なお、このようなデータ集合は、例えば、HDD12等に格納すればよい。
また、例えば、データ識別部105Bに用いる外れ値検出手法としてOne−Class SVMを用いる場合、各iに対して125次元の多次元データ(y,λ)を多次元空間(上記の例ではyが100次元、λが25次元であるから、125次元空間)にプロットして、ポジティブデータを表すデータ集合(ポジティブモデル)が生成する。そして、このデータ集合と、多次元空間上の所定の点とを分ける所定の平面(又は曲面)を求める。
≪識別処理≫
次に、上記で説明したような学習処理を行った次元削減部102及びデータ識別部105を用いて、識別対象データ2000の識別を行う処理について説明する。図13は、第3の実施形態に係る識別処理の一例のフローチャートである。第3の実施形態に係る学習処理は、ステップS1301の処理が第2の実施形態と異なる。したがって、以降では、このステップS1301の処理について説明する。
ステップS1301において、データ識別部105Bは、識別対象データ2000を示す多次元データaと、ステップS602で得られた特徴ベクトルλとを用いて、識別対象データ2000の識別を行う。
例えば、データ識別部105Bに用いる外れ値検出手法としてLOFを用いる場合、予め学習処理においてプロットしたポジティブデータを表すデータ集合と同じ多次元空間(すなわち、125次元空間)に、多次元データ(a,λ)をプロットする。そして、多次元データ(a,λ)をプロットした点のまわりの点の密度に基づきそれぞれLOF値(LOFスコア)を算出し、算出されたLOFスコアが所定の基準値以上であるか否かを判定する。
また、例えば、データ識別部105Bに用いる外れ値検出手法としてOne−Class SVMを用いる場合、予め学習処理においてプロットしたポジティブデータを表すデータ集合と同じ多次元空間に、多次元データ(a,λ)をプロットする。そして、多次元データ(a,λ)を入力とした所定の関数値(評価関数の値)が、学習処理において求めた所定の平面(又は曲面)によって分けられた多次元空間のいずれに属するかにより、識別対象データ2000が異常値データであるか否かを判別する。
<まとめ>
以上のように第1の実施形態に係る情報処理装置10は、予め正常値データにより学習された次元削減部102及び次元復元部103により次元削減及び次元復元を行った結果と、入力データとの誤差を用いることにより高い精度で異常検知を行うことができる。
また、第2の実施形態に係る情報処理装置10は、誤差算出部104を不要とすることにより、情報処理装置10の構成を簡易にするとともに、高い精度で異常検知を行うことができる。
また、第3の実施形態に係る情報処理装置10は、さらに次元復元部103を不要とすることにより、情報処理装置10の構成をさらに簡易にするとともに、高い精度で異常検知を行うことができる。
なお、データ入力部101は、データ入力手段の一例である。次元削減部102は、次元削減手段の一例である。次元復元部103は、次元復元手段の一例である。誤差算出部104は、誤差算出手段の一例である。データ識別部105は、識別手段の一例である。
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
10 情報処理装置
11 CPU
12 HDD
13 RAM
14 ROM
15 入力装置
16 表示装置
17 外部I/F
18 撮像装置
101 データ入力部
102 次元削減部
103 次元復元部
104 誤差算出部
105 データ識別部
1000 学習データ
2000 識別対象データ
特開2014−26455号公報

Claims (10)

  1. 1以上の情報処理装置を含む情報処理システムであって、
    多次元の第1のデータを入力するデータ入力手段と、
    前記第1のデータを、主成分分析又はニューラルネットワークにより、前記第1のデータの次元数よりも少ない所定の次元数の第2のデータであって、前記第1のデータの特徴を表す第2のデータを生成する次元削減手段と、
    前記第1のデータと前記第2のデータとに基づき、LOF又はOne−Class SVMにより実現されるモデルを用いて、半教師あり異常検知により前記第1のデータが正常を示すデータであるか又は異常を示すデータであるかを識別する識別手段と、
    を有し、
    前記モデルは、正常を示すデータと、該正常を示すデータを前記次元削減手段で次元数を削減したデータを前記正常を示すデータと同じ次元数に復元したデータとの誤差を用いて予め学習されている、情報処理システム。
  2. 前記第2のデータに基づき、該第1のデータの次元数と同じ次元数の第3のデータを生成する次元復元手段を有し、
    前記識別手段は、
    前記第1のデータと前記第3のデータとに基づき、前記モデルを用いて、半教師あり異常検知により該第1のデータが正常を示すデータであるか又は異常を示すデータであるかを識別
    前記モデルは、正常を示すデータと、該正常を示すデータを前記次元削減手段で次元数を削減したデータを前記次元復元手段で前記正常を示すデータと同じ次元数に復元したデータとの誤差を用いて予め学習されている、請求項1記載の情報処理システム。
  3. 前記第1のデータと前記第3のデータとの差分を計算することにより、前記次元削減手段による誤差を示す誤差データを算出する誤差算出手段を有し、
    前記識別手段は、
    前記誤差データに基づき、前記モデルを用いて、半教師あり異常検知により前記第1のデータが正常を示すデータであるか又は異常を示すデータであるかを識別
    前記モデルは、前記誤差算出手段により算出された、正常を示すデータと、該正常を示すデータを前記次元削減手段で次元数を削減したデータを前記次元復元手段で前記正常を示すデータと同じ次元数に復元したデータとの誤差を示す誤差データを用いて予め学習されている、請求項2記載の情報処理システム。
  4. 前記ニューラルネットワークは、Stacked Auto−Encodersである、請求項1ないし3のいずれか一項に記載の情報処理システム。
  5. 前記ニューラルネットワークは、予め1以上の正常を示すデータを用いて所定のパラメータが学習されている、請求項4に記載の情報処理システム。
  6. 前記情報処理システムは、撮像装置を含み、
    前記第1のデータは、前記撮像装置により生成された多次元データである、請求項1ないしのいずれか1項に記載の情報処理システム。
  7. 前記撮像装置は、分光カメラ装置である、請求項記載の情報処理システム。
  8. 多次元の第1のデータが入力される情報処理装置であって、
    前記第1のデータを、主成分分析又はニューラルネットワークにより、前記第1のデータの次元数よりも少ない所定の次元数の第2のデータであって、前記第1のデータの特徴を表す第2のデータを生成する次元削減手段と、
    前記第1のデータと前記第2のデータとに基づき、LOF又はOne−Class SVMにより実現されるモデルを用いて、半教師あり異常検知により前記第1のデータが正常を示すデータであるか又は異常を示すデータであるかを識別する識別手段と、
    を有し、
    前記モデルは、正常を示すデータと、該正常を示すデータを前記次元削減手段で次元数を削減したデータを前記正常を示すデータと同じ次元数に復元したデータとの誤差を用いて予め学習されている、情報処理装置。
  9. 多次元の第1のデータが入力される情報処理装置に用いられる情報処理方法であって、
    前記第1のデータを、主成分分析又はニューラルネットワークにより、前記第1のデータの次元数よりも少ない所定の次元数の第2のデータであって、前記第1のデータの特徴を表す第2のデータを生成する次元削減手順と、
    前記第1のデータと前記第2のデータとに基づき、LOF又はOne−Class SVMにより実現されるモデルを用いて、半教師あり異常検知により前記第1のデータが正常を示すデータであるか又は異常を示すデータであるかを識別する識別手順と、
    を有し、
    前記モデルは、正常を示すデータと、該正常を示すデータを前記次元削減手順で次元数を削減したデータを前記正常を示すデータと同じ次元数に復元したデータとの誤差を用いて予め学習されている、情報処理方法。
  10. 多次元の第1のデータが入力される情報処理装置を、
    前記第1のデータを、主成分分析又はニューラルネットワークにより、前記第1のデータの次元数よりも少ない所定の次元数の第2のデータであって、前記第1のデータの特徴を表す第2のデータを生成する次元削減手段と、
    前記第1のデータと前記第2のデータとに基づき、LOF又はOne−Class SVMにより実現されるモデルを用いて、半教師あり異常検知により前記第1のデータが正常を示すデータであるか又は異常を示すデータであるかを識別する識別手段と、
    として機能させ
    前記モデルは、正常を示すデータと、該正常を示すデータを前記次元削減手段で次元数を削減したデータを前記正常を示すデータと同じ次元数に復元したデータとの誤差を用いて予め学習されている、プログラム。
JP2014219946A 2014-10-29 2014-10-29 情報処理システム、情報処理装置、情報処理方法、及びプログラム Expired - Fee Related JP6547275B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014219946A JP6547275B2 (ja) 2014-10-29 2014-10-29 情報処理システム、情報処理装置、情報処理方法、及びプログラム
US14/874,536 US10284583B2 (en) 2014-10-29 2015-10-05 Information processing system, information processing apparatus, and information processing method
EP15189291.6A EP3016033A1 (en) 2014-10-29 2015-10-12 Information processing system, information processing apparatus, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014219946A JP6547275B2 (ja) 2014-10-29 2014-10-29 情報処理システム、情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2016085704A JP2016085704A (ja) 2016-05-19
JP6547275B2 true JP6547275B2 (ja) 2019-07-24

Family

ID=54329392

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014219946A Expired - Fee Related JP6547275B2 (ja) 2014-10-29 2014-10-29 情報処理システム、情報処理装置、情報処理方法、及びプログラム

Country Status (3)

Country Link
US (1) US10284583B2 (ja)
EP (1) EP3016033A1 (ja)
JP (1) JP6547275B2 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6247627B2 (ja) * 2014-11-25 2017-12-13 日本電信電話株式会社 異常値検出装置およびその動作方法
US9898441B2 (en) * 2016-02-05 2018-02-20 Google Llc Matrix processing apparatus
EP3472759A1 (de) * 2016-07-25 2019-04-24 Siemens Aktiengesellschaft Verfahren und vorrichtung zum rechnergestützten analysieren mindestens eines zweiten eingabevektors eines zielsystems
JP6599294B2 (ja) * 2016-09-20 2019-10-30 株式会社東芝 異常検知装置、学習装置、異常検知方法、学習方法、異常検知プログラム、および学習プログラム
WO2018058426A1 (zh) * 2016-09-29 2018-04-05 清华大学 硬件神经网络转换方法、计算装置、编译方法和神经网络软硬件协作系统
CN106656981B (zh) * 2016-10-21 2020-04-28 东软集团股份有限公司 网络入侵检测方法和装置
JP6789762B2 (ja) * 2016-11-02 2020-11-25 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
KR101836096B1 (ko) * 2016-12-02 2018-03-12 주식회사 수아랩 이미지 데이터의 상태 판단 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램
JP6545728B2 (ja) * 2017-01-11 2019-07-17 株式会社東芝 異常検知装置、異常検知方法、および異常検知プログラム
US10685432B2 (en) 2017-01-18 2020-06-16 Ricoh Company, Ltd. Information processing apparatus configured to determine whether an abnormality is present based on an integrated score, information processing method and recording medium
JP6809250B2 (ja) 2017-01-23 2021-01-06 株式会社リコー 情報処理装置、情報処理方法およびプログラム
US10931694B2 (en) * 2017-02-24 2021-02-23 LogRhythm Inc. Processing pipeline for monitoring information systems
JP2018195119A (ja) * 2017-05-18 2018-12-06 住友電装株式会社 異変検出装置及び異変検出方法
US11924048B2 (en) 2017-06-09 2024-03-05 British Telecommunications Public Limited Company Anomaly detection in computer networks
US11509671B2 (en) 2017-06-09 2022-11-22 British Telecommunications Public Limited Company Anomaly detection in computer networks
GB2563280B (en) * 2017-06-09 2021-05-26 British Telecomm Anomaly detection in computer networks
DE102017210787A1 (de) * 2017-06-27 2018-12-27 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln von Anomalien in einem Kommunikationsnetzwerk
JP6572269B2 (ja) * 2017-09-06 2019-09-04 株式会社東芝 学習装置、学習方法、およびプログラム
CN109508846A (zh) * 2017-09-15 2019-03-22 新奥(中国)燃气投资有限公司 一种机组数据异常波动的检测方法及装置
CN109521725A (zh) * 2017-09-20 2019-03-26 西门子公司 检测异常数据的方法、装置和设备以及机器可读介质
JP7030485B2 (ja) * 2017-11-17 2022-03-07 ヤフー株式会社 抽出装置、抽出方法、及び抽出プログラム
KR102171491B1 (ko) * 2017-12-21 2020-10-29 동의대학교 산학협력단 딥러닝을 이용한 양품 선별 방법
US10810408B2 (en) * 2018-01-26 2020-10-20 Viavi Solutions Inc. Reduced false positive identification for spectroscopic classification
US11009452B2 (en) 2018-01-26 2021-05-18 Viavi Solutions Inc. Reduced false positive identification for spectroscopic quantification
JP7020156B2 (ja) * 2018-02-06 2022-02-16 オムロン株式会社 評価装置、動作制御装置、評価方法、及び評価プログラム
CN108470336B (zh) * 2018-03-29 2021-06-29 天津大学 基于堆栈式自动编码器的立体图像质量评价方法
CN110472646B (zh) * 2018-05-09 2023-02-28 富士通株式会社 数据处理设备、数据处理方法及介质
KR102285987B1 (ko) * 2018-10-10 2021-08-04 주식회사 케이티 건물 내 설비의 이상을 탐지하는 방법, 시스템 및 컴퓨터 프로그램
CN112188532A (zh) * 2019-07-02 2021-01-05 中国移动通信集团贵州有限公司 网络异常检测模型的训练方法、网络检测方法及装置
JP7363145B2 (ja) 2019-07-12 2023-10-18 株式会社リコー 学習装置および学習方法
FR3098961B1 (fr) * 2019-07-17 2022-03-04 Electricite De France Procédé d’identification de données aberrantes dans d’un jeu de données d’entrée acquises par au moins un capteur
KR102202842B1 (ko) * 2019-08-13 2021-01-14 서울대학교산학협력단 크리스토펠 함수의 과다한 연산량을 커널화 와서스타인 오토인코더를 이용하여 개선한 고차원 비지도 이상 탐지 학습 방법 및 학습 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
US11574071B2 (en) 2020-07-28 2023-02-07 Bank Of America Corporation Reliability of information security controls for attack readiness
KR102271740B1 (ko) * 2020-09-11 2021-07-02 주식회사 뉴로클 이상 탐지 방법 및 이를 위한 장치
CN112488238B (zh) * 2020-12-14 2022-11-15 桂林电子科技大学 一种基于对抗自编码器的混合异常检测方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0740472B1 (en) * 1990-03-16 2002-12-11 Fujitsu Limited An image data processing system
JPH08227410A (ja) * 1994-12-22 1996-09-03 Just Syst Corp ニューラルネットワークの学習方法、ニューラルネットワークおよびニューラルネットワークを利用した音声認識装置
EP1071974B1 (fr) * 1998-04-15 2004-01-28 Vincent Lauer Microscope generant une representation tridimensionnelle d'un objet et images generees par ce microscope
US6683695B1 (en) * 1999-07-21 2004-01-27 Electronic Design To Market, Inc. Method and apparatus for detecting properties of reflective transparent surface coatings on a sheet of transparent material
US6304775B1 (en) * 1999-09-22 2001-10-16 Leonidas D. Iasemidis Seizure warning and prediction
JP3749107B2 (ja) * 1999-11-05 2006-02-22 ファブソリューション株式会社 半導体デバイス検査装置
US8544087B1 (en) * 2001-12-14 2013-09-24 The Trustess Of Columbia University In The City Of New York Methods of unsupervised anomaly detection using a geometric framework
US9306966B2 (en) * 2001-12-14 2016-04-05 The Trustees Of Columbia University In The City Of New York Methods of unsupervised anomaly detection using a geometric framework
US7263467B2 (en) * 2002-09-30 2007-08-28 University Of Florida Research Foundation Inc. Multi-dimensional multi-parameter time series processing for seizure warning and prediction
AU2003298563C1 (en) * 2002-08-27 2009-03-26 Arizona Board Of Regents For And On Behalf Of Arizona State University Optimization of multi-dimensional time series processing for seizure warning and prediction
US7383239B2 (en) * 2003-04-30 2008-06-03 Genworth Financial, Inc. System and process for a fusion classification for insurance underwriting suitable for use by an automated system
US20040218919A1 (en) * 2003-04-30 2004-11-04 Lucent Technologies Inc. Method and apparatus for Q-factor monitoring using forward error correction coding
WO2006081318A2 (en) * 2005-01-26 2006-08-03 University Of Florida Research Foundation, Inc. Multi-dimensional dynamical analysis
US7679740B2 (en) * 2005-07-14 2010-03-16 Chemimage Corporation Method and apparatus for multimodal detection
KR100957760B1 (ko) * 2005-11-30 2010-05-13 후지쯔 마이크로일렉트로닉스 가부시키가이샤 3차원 그래픽 장치, 3차원 그래픽 방법, 3차원 그래픽 프로그램을 기록한 컴퓨터 판독 기록매체
US8346691B1 (en) * 2007-02-20 2013-01-01 Sas Institute Inc. Computer-implemented semi-supervised learning systems and methods
US7978090B2 (en) * 2008-04-30 2011-07-12 International Business Machines Corporation Apparatus, system, and method for safely and securely storing materials
JP5137805B2 (ja) 2008-12-15 2013-02-06 キヤノン株式会社 検査システム及びその制御方法、コンピュータプログラム
JP5363927B2 (ja) * 2009-09-07 2013-12-11 株式会社日立製作所 異常検知・診断方法、異常検知・診断システム、及び異常検知・診断プログラム
JP5406705B2 (ja) * 2009-12-28 2014-02-05 キヤノン株式会社 データ補正装置及び方法
US8487378B2 (en) * 2011-01-21 2013-07-16 Taiwan Semiconductor Manufacturing Company, Ltd. Non-uniform channel junction-less transistor
US8937617B1 (en) * 2011-04-20 2015-01-20 Google Inc. Matching views between a three-dimensional geographical image and a two-dimensional geographical image
WO2013063269A2 (en) * 2011-10-25 2013-05-02 Case Western Reserve University Compounds and methods of treating ocular disorders
JP2014026455A (ja) 2012-07-26 2014-02-06 Nippon Telegr & Teleph Corp <Ntt> メディアデータ解析装置、方法、及びプログラム
WO2015049087A1 (en) * 2013-10-02 2015-04-09 Asml Netherlands B.V. Methods & apparatus for obtaining diagnostic information relating to an industrial process
US9700219B2 (en) * 2013-10-17 2017-07-11 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve
US9536177B2 (en) * 2013-12-01 2017-01-03 University Of Florida Research Foundation, Inc. Distributive hierarchical model for object recognition in video
JP6340795B2 (ja) 2013-12-27 2018-06-13 株式会社リコー 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び移動体制御装置
US10191956B2 (en) * 2014-08-19 2019-01-29 New England Complex Systems Institute, Inc. Event detection and characterization in big data streams
US10089660B2 (en) * 2014-09-09 2018-10-02 Stc.Unm Online review assessment using multiple sources
US9922272B2 (en) * 2014-09-25 2018-03-20 Siemens Healthcare Gmbh Deep similarity learning for multimodal medical images

Also Published As

Publication number Publication date
US10284583B2 (en) 2019-05-07
JP2016085704A (ja) 2016-05-19
US20160127405A1 (en) 2016-05-05
EP3016033A1 (en) 2016-05-04

Similar Documents

Publication Publication Date Title
JP6547275B2 (ja) 情報処理システム、情報処理装置、情報処理方法、及びプログラム
TWI638157B (zh) Inspection device and inspection method
JP7223839B2 (ja) 異常検出および/または予知保全のためのコンピュータ実装方法、コンピュータプログラム製品およびシステム
JP2017097718A (ja) 識別処理装置、識別システム、識別処理方法、およびプログラム
US10757125B2 (en) Anomaly detection method and recording medium
WO2018131219A1 (ja) 異常検知装置、異常検知方法、および記憶媒体
US20170147921A1 (en) Learning apparatus, recording medium, and learning method
US20190164057A1 (en) Mapping and quantification of influence of neural network features for explainable artificial intelligence
CN106547852B (zh) 异常数据检测方法及装置、数据预处理方法及系统
TW202024827A (zh) 用於半導體及顯示器工序設備工具中的設備健康監測及錯誤偵測的深度自動編碼器
CN105225222B (zh) 对不同图像集的感知视觉质量的自动评估
JP6476802B2 (ja) 情報処理装置及び情報処理方法
JP7213701B2 (ja) 加工装置、加工方法、加工プログラム、及び検査装置
CN113095402B (zh) 一种基于编码输入的生成对抗网络故障检测方法及系统
WO2019176990A1 (ja) 検査装置、画像識別装置、識別装置、検査方法、及び検査プログラム
Cheng et al. A distribution‐free multivariate control chart for phase I applications
WO2016084326A1 (ja) 情報処理システム、情報処理方法、及び、記録媒体
WO2020255224A1 (ja) 異常検知装置、学習装置、異常検知方法、学習方法、異常検知プログラム、及び学習プログラム
JP7056259B2 (ja) 検査システム、識別システム、及び識別器評価装置
JP2020047010A (ja) 情報推定装置及び情報推定方法
Favorskaya et al. Image inpainting based on self-organizing maps by using multi-agent implementation
WO2020240770A1 (ja) 学習装置、推定装置、学習方法、推定方法及びプログラム
WO2021024297A1 (ja) 敵対的事例検知システム、方法およびプログラム
JP7309134B2 (ja) 可視化方法、これに用いるプログラム、および、可視化装置、並びに、これを備える判別装置
WO2021210413A1 (ja) 判別対象の分類方法、これに用いるプログラム、および、判別装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171010

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190528

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190610

R151 Written notification of patent or utility model registration

Ref document number: 6547275

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees