JP7487144B2 - 情報処理装置、方法及びプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置、方法及びプログラムに関する。

オートエンコーダは、入出力が一致するようにパラメータが学習されたニューラルネットワークである。オートエンコーダは、学習に使用していない入力データを再現しない性質を利用して、異常検知に用いることもできる。しかし、オートエンコーダのネットワーク構造によっては、学習に使用した正常データすらも再現できない場合や、反対に、学習に使用していない異常データをそのまま返す恒等写像をしてしまう場合があり、いずれの場合であっても異常検知性能が低くなってしまう。

An & Cho, "Variational Autoencoder based Anomaly Detection using Reconstruction Probability" Special, Lecture on IE 2:1－18, 2015

本発明が解決しようとする課題は、高い異常検知性能を有するオートエンコーダの作成を支援することである。

実施形態に係る情報処理装置は、算出部と出力制御部とを有する。算出部は、互いに異なるネットワーク構造を有する複数のオートエンコーダ各々について、正常データに関する第１の入出力誤差と、前記正常データとは異なる疑似異常データに関する第２の入出力誤差とを算出する。出力制御部は、前記ネットワーク構造と前記第１の入出力誤差及び前記第２の入出力誤差との関係を表す関係データを出力する。

第１実施形態に係る情報処理装置の構成例を示す図 オートエンコーダを利用した異常検知に係る処理例を示す図 オートエンコーダを利用した異常検知の処理例を示す図 ボトルネックノード数毎の出力データの遷移を示す図 ボトルネックノード数毎の入出力誤差とＡＵＲＯＣとの関係を表すグラフ 第１実施形態に係る情報処理装置によるネットワーク構造の設計支援処理の典型的な流れを示す図 図６のステップＳ６０１において学習される複数のオートエンコーダを模式的に示す図 疑似異常データの生成処理を模式的に示す図 各オートエンコーダについての正常データ及び疑似異常データ各々に関する入出力誤差の算出処理を模式的に示す図 ボトルネックノード数と誤差平均との関係を表すグラフの一例を示す図 ボトルネックノード数と誤差平均差分との関係を表すグラフの一例を示す図 第２実施形態に係る情報処理装置の構成例を示す図 第２実施形態に係る情報処理装置によるネットワーク構造の設計支援処理の典型的な流れを示す図 推奨範囲が重畳された、ボトルネックノード数と誤差平均との関係を表すグラフの一例を示す図 推奨範囲が重畳された、ボトルネックノード数と誤差平均差分との関係を表すグラフの一例を示す図 出力データ一覧の一例を示す図

以下、図面を参照しながら本実施形態に係わる情報処理装置、方法及びプログラムを説明する。

（第１実施形態）
図１は、第１実施形態に係る情報処理装置１００の構成例を示す図である。図１に示すように、情報処理装置１００は、処理回路１、記憶装置２、入力機器３、通信機器４及び表示機器５を有するコンピュータである。処理回路１、記憶装置２、入力機器３、通信機器４及び表示機器５間のデータ通信はバスを介して行われる。

処理回路１は、ＣＰＵ（Central Processing Unit）等のプロセッサとＲＡＭ（Random Access Memory）等のメモリとを有する。処理回路１は、正常データ取得部１１、モデル学習部１２、疑似異常データ取得部１３、性能指標算出部１４、記録部１５、出力制御部１６及び異常検知部１７を有する。処理回路１は、オートエンコーダのネットワーク構造の設計支援等に関する設計支援プログラムを実行することにより、上記各部１１～１７の各機能を実現する。設計支援プログラムは、記憶装置２等の非一時的コンピュータ読み取り可能な記録媒体に記憶されている。設計支援プログラムは、上記各部１１～１７の全ての機能を記述する単一のプログラムとして実装されてもよいし、幾つかの機能単位に分割された複数のモジュールとして実装されてもよい。また、上記各部１１～１７は特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）等の集積回路により実装されてもよい。この場合、単一の集積回路に実装されても良いし、複数の集積回路に個別に実装されてもよい。

正常データ取得部１１は、正常データを取得する。正常データは、オートエンコーダに入力される入力データの一種であり、検査対象が正常時であるときのデータである。例えば、検査対象が工場機械である場合、当該工場機械が正常運転しているときに当該工場機械又はその検査機器等が出力するデータである。また、検査対象が半導体製品等の物品である場合、当該物品が正常であるときに当該物品の検査機器が出力するデータである。

モデル学習部１２は、互いに異なるネットワーク構造を有する複数のオートエンコーダを学習する。典型的には、モデル学習部１２は、正常データに基づいて複数のオートエンコーダを学習する。

疑似異常データ取得部１３は、疑似異常データを取得する。疑似異常データは、疑似的に生成された異常データである。異常データは、正常データとは異なるデータである。すなわち、異常データは、オートエンコーダの学習に使用されないデータであり、オートエンコーダが再現できないデータである。例えば、検査対象が工場機械である場合、当該工場機械が異常運転しているときに当該工場機械又はその検査機器等が出力するデータである。検査対象が半導体製品等の物品である場合、当該物品が異常であるときに当該物品の検査機器が出力するデータである。検査対象の異常を事前に再現することは困難な場合が多く、そのため、異常データは、オートエンコーダの学習時に用意することが難しい。疑似異常データは、各オートエンコーダの異常検知性能を評価するため、疑似的に生成された異常データである。疑似異常データは、正常データにデータオーグメンテーションを施したデータでもよいし、正常データとは異なる他のドメインのデータでもよい。

性能指標算出部１４は、複数のオートエンコーダ各々について、正常データに関する第１の入出力誤差と、当該正常データとは異なる疑似異常データに関する第２の入出力誤差とを算出する。入出力誤差は再構成誤差とも呼ばれている。また、性能指標算出部１４は、第１の入出力誤差と第２の入出力誤差との差分を算出してもよい。第１の入出力誤差は、正常データと、当該正常データを入力したときのオートエンコーダの出力データとの誤差である。第２の入出力誤差は、疑似異常データと、当該疑似異常データを入力したときのオートエンコーダの出力データとの誤差である。第１の入出力誤差、第２の入出力誤差、第１の入出力誤差と第２の入出力誤差との差分等は、各オートエンコーダの性能を評価する指標（以下、性能指標と呼ぶ）の一例である。

記録部１５は、オートエンコーダのネットワーク構造毎に性能指標を記憶装置２等に記録し、ネットワーク構造と性能指標との関係データ（以下、構造・性能関係データと呼ぶ）を生成する。

出力制御部１６は、構造・性能関係データを出力する。構造・性能関係データは、表示機器５に表示されてもよいし、通信機器４を介してコンピュータ等の外部機器に出力されてもよいし、記憶装置２に記憶されてもよい。

異常検知部１７は、オートエンコーダを利用して異常検知を行う。例えば、異常検知部１７は、モデル学習部１２により学習された複数のオートエンコーダのうちの、ユーザ等により入力機器３等を介して選択されたオートエンコーダを利用して異常検知を行う。

記憶装置２は、ＲＯＭ（Read Only Memory）やＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、集積回路記憶装置等により構成される。記憶装置２は、正常データ、疑似異常データ、性能指標、構造・性能関係データ、設定プログラム等を記憶する。

入力機器３は、ユーザからの各種指令を入力する。入力機器３としては、キーボードやマウス、各種スイッチ、タッチパッド、タッチパネルディスプレイ等が利用可能である。入力機器３からの出力信号は処理回路１に供給される。なお、入力機器３としては、処理回路１に有線又は無線を介して接続されたコンピュータの入力機器であってもよい。

通信機器４は、情報処理装置１００にネットワークを介して接続された外部機器との間でデータ通信を行うためのインタフェースである。

表示機器５は、種々の情報を表示する。例えば、表示機器５は、出力制御部１６による制御に従い、構造・性能関係データを表示する。表示機器５としては、ＣＲＴ（Cathode-Ray Tube）ディスプレイや液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、ＬＥＤ（Light-Emitting Diode）ディスプレイ、プラズマディスプレイ又は当技術分野で知られている他の任意のディスプレイが適宜利用可能である。また、表示機器５は、プロジェクタでもよい。

以下、第１実施形態に係る情報処理装置１００について詳細に説明する。

まずは、異常検知部１７により実行される、オートエンコーダを利用した異常検知の処理例について簡単に説明する。図２は、オートエンコーダ２０の模式図である。図２に示すように、オートエンコーダ２０は、入力層２１、隠れ層２２及び出力層２３を有するニューラルネットワークである。入力層２１には入力データが入力される。隠れ層２２は、入力データに対して符号化と復号化とを直列的に実行して、当該入力データから出力データに変換する。出力層２３は、出力データを出力する。

図２に示すように、隠れ層２２は、複数の隠れ層で構成される。これら複数の隠れ層２２は、全結合層、コンボリューション層、その他の如何なる層で構成されてもよい。複数の隠れ層２２にはボトルネック層２４が含まれる。ボトルネック層２４は、複数の隠れ層２２のうちの最も幅が小さい層である。「幅」は、全結合層におけるノード数又は畳み込み層におけるチャネル数に相当する。ボトルネック層２４の位置は、入力層２１と出力層２３との間にあれば特に限定されない。なお、「位置」は、ボトルネック層２４の入力層２１又は出力層２３からボトルネック層２４までの各隠れ層２２の個数に対応する。「位置」は深さとも呼ばれる。幅と位置とは、ネットワーク構造を規定するパラメータの一つである。入力データが入力層２１からボトルネック層２４へ伝播して特徴マップに縮約され、特徴マップがボトルネック層２４から出力層２３へ伝播して、入力データと同一の解像度を有する出力データに復元される。オートエンコーダ２０は、エンコーダ・デコーダ・ネットワークとも呼ばれる。

図３は、オートエンコーダを利用した異常検知の処理例を示す図である。図３に示すように、異常検知部１７は、入力データをオートエンコーダに入力して当該入力データに対応する出力データを生成する。入力データは画像データや波形データ等が想定されるが、如何なる形式でもよい。理想的なオートエンコーダであれば、入力データが正常データである場合、オートエンコーダからは当該入力データを再現した出力データが出力され、入力データが異常データである場合、オートエンコーダからは当該入力データとは異なる出力データが出力される。

図３に示すように、異常検知部１７は、入力データと出力データとの入出力誤差を算出する（ステップＳ３０１）。入出力誤差は、入力データ値と出力データ値との同一サンプリング点同士の差分に基づく指標である。入力データが正常データである場合、入出力誤差は略ゼロである。入力データが異常データである場合、入出力誤差は略ゼロにはならない。

ステップＳ３０１が行われると異常検知部１７は、入出力誤差に基づいて異常の有無を判定する（ステップＳ３０２）。例えば、入出力誤差が閾値以上であれば異常であると判定し、入出力誤差が閾値未満であれば正常であると判定する。すなわち、入力データが正常データであれば、入出力誤差が閾値未満であるので、正しく正常であると判定される。入力データが異常データであれば、入出力誤差が閾値以上であるので、正しく異常であると判定される。このようにして、オートエンコーダを利用して異常検知が行われる。

本実施形態に係る異常検知性能は、オートエンコーダの性能であるとし、正常データである入力データを正しく再現し、異常データである入力データを正しく再現しない能力であるとする。異常検知性能は、ボトルネック層２４の幅や位置等のネットワーク構造に依存する。

図４は、ボトルネック層のノード数（以下、ボトルネックノード数と呼ぶ）毎の出力データの遷移を示す図である。図４に示すように、入力データは、「０」から「９」までの数字が描画された画像データであるとする。オートエンコーダは、「０」、「１」、「３」～「９」の画像データについては学習されており、「２」の画像データについては学習されていないものとする。すなわち、「０」「１」「３」～「９」は正常データであり、「２」は異常データである。図４に示すように、ボトルネックノード数が４以下である場合、オートエンコーダは、異常データだけでなく正常データも再現ができていない。ボトルネックノード数が５１２以上である場合、オートエンコーダは、正常データだけでなく異常データも再現できてしまっており、恒等写像的な学習が行われてしまっている。これらの場合、オートエンコーダは、良好な異常検知性能を発揮できていないといえる。一方、ボトルネックノード数が８～６４の範囲の場合、オートエンコーダは、正常データは再現できているが、異常データは再現できておらず、良好な異常検知性能を発揮しているといえる。

図５は、ボトルネックノード数（ＮＵＭＢＥＲ ＯＦ ＮＯＤＥＳ）毎の入出力誤差（ＬＯＳＳ）とＡＵＲＯＣとの関係を表すグラフである。図５の横軸はボトルネックノード数、左縦軸は入出力誤差、右縦軸はＡＵＲＯＣを表す。図５の入出力誤差は、正常データに関する入出力誤差と異常データに関する入出力誤差との双方を反映した入出力誤差であるとする。ＡＵＲＯＣはＲＯＣ曲線のＡＵＣ（曲線下面積）である。ＡＵＲＯＣは、異常データを正しく再現しない比率である真陽性率と正常データを正しく再現する比率である真陰性率との比率であり、オートエンコーダの異常検知性能を評価する性能指標の一例である。教師有り学習では入出力誤差の大小で最適な学習パラメータを実験的に決定することが可能である。しかし、図５に示すように、オートエンコーダで行われる教師無し学習では、入出力誤差を下げても、ＡＵＲＯＣが向上するとは限らない。従って入出力誤差を最小化するのみではオートエンコーダの最適な学習パラメータを決定することはできない。これは、図４に示すように、入出力誤差を減少させるためボトルネックノード数を増加させると、恒等写像が生じ、その結果、異常検知性能が低下するためである。なお、学習パラメータは、機械学習により訓練される重み係数やバイアス等のパラメータである。

第１実施形態に係る情報処理装置１００は、異常検知性能の良好なオートエンコーダのネットワーク構造を提供することを支援する。

図６は、第１実施形態に係る情報処理装置１００によるネットワーク構造の設計支援処理の典型的な流れを示す図である。ユーザのよる入力機器３を介して入力された開始指示又は予め設定された所定のトリガを契機として、処理回路１は、記憶装置２から設計支援プログラムを読み出して実行することにより、ネットワーク構造の設計支援処理を開始する。なお、図６の開始時点において既に正常データ取得部１１により正常データが取得され、記憶装置２に格納されているものとする。正常データは、特に限定されないが、図４に示すような、アラビア数字が描画された画像データであるとする。各画像データには１個の数字が描画されている。描画されているアラビア数字は１桁でもよいし２桁以上でもよく、また、２個以上の画像データに同一の数字が描画されていてもよい。

図６に示すように、モデル学習部１２は、正常データに基づいて、異なるネットワーク構造を有する複数のオートエンコーダを学習する（ステップＳ６０１）。ステップＳ６０１においてモデル学習部１２は、共通の正常データに基づいて複数のオートエンコーダを個別に教師無し学習する。これにより各オートエンコーダの重みやバイアス等の学習パラメータが決定される。

複数のオートエンコーダ間において異なるように設定されるネットワーク構造としては、ボトルネック層に関する幅や位置が挙げられる。上記の通り、幅は、ノード数やチャネル数を意味する。位置は、ボトルネック層の入力層又は出力層からの深さを意味する。本実施例においては、複数のオートエンコーダにおいて、ボトルネック層の幅、より詳細には、ボトルネックノード数が異なるものとする。

図７は、ステップＳ６０１において学習される複数のオートエンコーダ２０_ｎを模式的に示す図である。なお、「ｎ」はオートエンコーダの番号を表し、２≦ｎ≦Ｎである。「Ｎ」はオートエンコーダの総数であり、Ｎ≧２である。図７に示すように、未学習のＮ個のオートエンコーダ２０_ｎが用意される。各オートエンコーダ２０_ｎは、ネットワーク構造の一例であるボトルネック層２４_ｎのノード数（ボトルネックノード数）が異なるように設計されている。なお、ボトルネック層２４_ｎを除いた各層の幅は同一であるとする。また、ボトルネック層２４_ｎの位置も同一であるとする。学習されるオートエンコーダの個数は特に限定されない。また、ボトルネックノード数の下限及び上限も特に限定されない。

ステップＳ６０１が行われると疑似異常データ取得部１３は、正常データに基づいて疑似異常データを生成する（ステップＳ６０２）。

図８は、疑似異常データの生成処理を模式的に示す図である。図８に示すように、疑似異常データ取得部１３は、ステップＳ６０１においてオートエンコーダの学習に使用した正常データにデータオーグメンテーションを施して疑似異常データを生成する。データオーグメンテーションは、水平移動、並行移動、例えば、水平及び／又は垂直への数ピクセルのシフトとする。また、データオーグメンテーションは、反転、回転等の他の変形でもよい。なお、データオーグメンテーションは、画像サイズの変形は伴わないものとする。すなわち、正常データと疑似異常データとの画像サイズは同一である。

ステップＳ６０２が行われると性能指標算出部１４は、複数のオートエンコーダ各々について、正常データに関する入出力誤差と疑似異常データに関する入出力誤差とを算出する（ステップＳ６０３）。

図９は、各オートエンコーダ２０_ｎについての正常データ及び疑似異常データ各々に関する入出力誤差の算出処理を模式的に示す図である。図９に示すように、性能指標算出部１４は、まず、オートエンコーダ２０_ｎに正常データ（入力正常データ）を入力して当該正常データに対応する出力データ（出力正常データ）を算出する。そして性能指標算出部１４は、入力正常データと出力正常データとの誤差を入出力誤差として算出する。同様に、性能指標算出部１４は、まず、オートエンコーダ２０_ｎに疑似異常データ（入力疑似異常データ）を入力して当該疑似異常データに対応する出力データ（以下、出力疑似異常データと呼ぶ）を算出する。そして性能指標算出部１４は、入力疑似異常データと出力疑似異常データとの誤差を入出力誤差として算出する。性能指標算出部１４は、複数のオートエンコーダ２０_ｎ各々について、正常データと疑似異常データとの双方について入出力誤差を算出する。入出力誤差は、入力データと出力データとの誤差を評価する指標である。入出力誤差としては、例えば、誤差平均が用いられるとよい。誤差平均は、入力データと出力データとの画素毎の差分の平均として定義される。

ここで、正常データと疑似異常データとをそれぞれｘ^ｎ _iとｘ^ｐａ _ｉとする。「ｉ」はｉ番目のデータを示す。入力がｘ^ｎ _i及びｘ^ｐａ _ｉのときのボトルネックノード数ｋのオートエンコーダの出力をそれぞれｙ^ｎ _i（ｋ）及びｙ^ｐａ _i（ｋ）とする。正常データに関する入出力の誤差平均Ｌ_ｎ（ｋ）は下記の（１）式により、疑似異常データに関する入出力の誤差平均Ｌ_ｐａ（ｋ）は、下記の（２）式により算出される。（１）式のＮ_ｎは正常データのデータ数であり、（２）式のＮ_ｐａは疑似異常データのデータ数である。

ステップＳ６０３が行われると記録部１５は、ネットワーク構造毎に入出力誤差を記録する（ステップＳ６０４）。より詳細には、ネットワーク構造毎に、正常データに関する入出力誤差と疑似異常データに関する入出力誤差とが記録される。このネットワーク構造毎の正常データに関する入出力誤差と疑似異常データに関する入出力誤差との関係を示す構造・性能関係データを、構造・誤差関係データと呼ぶことにする。例えば、ネットワーク構造がボトルネックノード数である場合、記録部１５は、構造・誤差関係データとして、各ボトルネックノード数ｋと、当該ボトルネックノード数のときの誤差平均Ｌ_ｎ（ｋ）及びＬ_ｐａ（ｋ）を記録する。また、記録部１５は、構造・誤差関係データとして、各ボトルネックノード数ｋと、当該ボトルネックノード数のときの誤差平均Ｌ_ｎ（ｋ）と誤差平均Ｌ_ｐａ（ｋ）との差分（以下、誤差平均差分と呼ぶ）Ｌ_ｐａ（ｋ）－Ｌ_ｎ（ｋ）を記録してもよい。誤差平均差分は、ネットワーク構造に関する性能指標の一例であり、性能指標算出部１４により算出される。

ステップＳ６０４が行われると出力制御部１６は、ネットワーク構造と入出力誤差との関係データ（構造・誤差関係データ）を出力する（ステップＳ６０５）。ステップＳ６０５において出力制御部１６は、構造・誤差関係データとして、構造・誤差関係データを表すグラフを、表示機器５に表示する。構造・誤差関係データを表すグラフとして、ボトルネックノード数と誤差平均との関係を表すグラフやボトルネックノード数と誤差平均差分との関係を表すグラフが表示される。

図１０は、ボトルネックノード数と誤差平均との関係を表すグラフの一例を示す図である。図１０に示すように、グラフは、縦軸が誤差平均（ＬＯＳＳ）を表し、横軸がボトルネックノード数（ＮＯＤＥＳ）を表す。図１０には、正常データに関する誤差平均を表す曲線１０１と疑似異常データ１０２に関する誤差平均を表す曲線とが示されている。図１１は、ボトルネックノード数と誤差平均差分との関係を表すグラフの一例を示す図である。図１１に示すように、グラフは、縦軸が誤差平均差分（ＤＩＦＦ）を表し、横軸がボトルネックノード数（ＮＯＤＥＳ）を表す。図１１には、誤差平均差分を表す曲線１１１が示されている。正常データに関する誤差平均Ｌ_ｎ（ｋ）で正常データを再現できるかが分かる。疑似異常データに関する誤差平均Ｌ_ｐａ（ｋ）で恒等写像が生じているかが分かる。

ユーザは、図１０や図１１等のグラフを観察して最適なボトルネックノード数を決定する。ユーザは、誤差平均Ｌ_ｎ（ｋ）が小さく且つ誤差平均Ｌ_ｐａ（ｋ）が大きいボトルネックノード数を、最適なネットワーク構造として決定するとよい。または、誤差平均差分Ｌ_ｐａ（ｋ）－Ｌ_ｎ（ｋ）が大きいときのボトルネックノード数を、最適なネットワーク構造として決定する。図１０及び図１１の場合、おおよそボトルネックノード数が８以上のとき、正常データの再現不良が解消され、おおよそボトルネックノード数が１００以上のとき、疑似異常データの恒等写像が生じていることが分かる。この場合、８以上１００未満のボトルネックノード数を有するオートエンコーダが比較的高精度であることが期待されるので、この範囲の何れかのボトルネックノード数を有するオートエンコーダが最適なボトルネックノード数を有するオートエンコーダとして決定されるとよい。

誤差平均Ｌ_ｎ（ｋ）と誤差平均Ｌ_ｐａ（ｋ）との双方のグラフを表示するか、誤差平均差分Ｌ_ｐａ（ｋ）－Ｌ_ｎ（ｋ）のグラフを表示するかは、ユーザが入力機器３等を介して任意に指定可能である。また、誤差平均Ｌ_ｎ（ｋ）と誤差平均Ｌ_ｐａ（ｋ）との何れか一方のグラフが表示されてもよい。

最適なネットワーク構造は、ステップＳ６０１において学習されたものの中から決定されてもよいし、ステップＳ６０１において学習されていないネットワーク構造が決定されてもよい。ステップＳ６０１において学習されていないネットワーク構造が決定された場合、当該ネットワーク構造を有するオートエンコーダがモデル学習部１２により学習されるとよい。この際、モデル学習部１２は、正常データに基づいて当該ネットワーク構造を有するオートエンコーダを教師無し学習すればよい。その後、ユーザにより決定されたオートエンコーダを利用して異常検知部１７により異常検知が行われてもよい。

ステップＳ６０５が行われると、図６に示す設計支援処理が終了する。

なお、上記の第１実施形態は種々の変形が可能である。一例として、情報処理装置１００はモデル学習部１２を有しなくてもよい。この場合、情報処理装置１００は、外部機器によりステップＳ６０１に従い学習された、異なるネットワーク構造を有する複数のオートエンコーダを取得すればよい。他の例として、情報処理装置１００は、異常検知部１７を有しなくてもよい。

上記実施例によれば、情報処理装置１００は、性能指標算出部１４と出力制御部１６とを有する。性能指標算出部１４は、互いに異なるネットワーク構造を有する複数のオートエンコーダ各々について、正常データに関する第１の入出力誤差と、正常データとは異なる疑似異常データに関する第２の入出力誤差とを算出する。出力制御部１６は、ネットワーク構造と第１の入出力誤差及び第２の入出力誤差との関係を表す関係データを出力する。

第１の入出力誤差は正常データの再現度合いを計る指標として機能し、第２の入出力誤差は疑似異常データの恒等写像度合いを計る指標として機能する。ボトルネック層の幅や位置等の異なるネットワーク構造はオートエンコーダによる異常検知精度に大きな影響を与える。上記の構成の通り、ネットワーク構造と第１の入出力誤差及び第２の入出力誤差との関係を表す関係データを出力することにより、オートエンコーダの最適ネットワーク構造の設計を支援することが可能になる。よって、異常検知性能の良好なオートエンコーダを得ることが可能になる。また、本実施形態によれば、実際の異常データを使用する教師有り学習ではなく、教師無し学習により複数のオートエンコーダを学習すればよく、したがって、実際の異常データを用いることなく、良好な異常検知性能を達成することが可能になる。

（第２実施形態）
第２実施形態に係る情報処理装置は、最適なネットワーク構造を推論する。以下、第２実施形態について説明する。なお以下の説明において、第１実施形態と略同一の機能を有する構成要素については、同一符号を付し、必要な場合にのみ重複説明する。

図１２は、第２実施形態に係る情報処理装置２００の構成例を示す図である。図１２に示すように、情報処理装置２００の処理回路１は、設計支援プログラムを実行することにより正常データ取得部１１、モデル学習部１２、疑似異常データ取得部１３、性能指標算出部１４、記録部１５、出力制御部１６及び異常検知部１７に加え、推論部１８を有する。

推論部１８は、正常データに関する入出力誤差と疑似異常データに関する入出力誤差との関係を表す構造・誤差関係データに基づいて、ネットワーク構造の推奨範囲又は最適値を推論する。

図１３は、第２実施形態に係る情報処理装置２００によるネットワーク構造の設計支援処理の典型的な流れを示す図である。ユーザのよる入力機器３を介して入力された開始指示又は予め設定された所定のトリガを契機として、処理回路１は、記憶装置２から設計支援プログラムを読み出して実行することにより、ネットワーク構造の設計支援処理を開始する。図１３に示すステップＳ１３０１～Ｓ１３０４は図６に示すステップＳ６０１～Ｓ６０４と同様であるので、ここでの説明を省略する。また、ネットワーク構造はボトルネックノード数であるとする。

ステップＳ１３０４が行われると推論部１８は、ステップＳ１３０４において記録された入出力誤差に基づいてネットワーク構造（ボトルネックノード数）の推奨範囲を推論する（ステップＳ１３０５）。より詳細には、推論部１８は、正常データに関する入出力誤差と疑似異常データに関する入出力誤差との差分に基づいてボトルネックノード数の推奨範囲を推論する。

図１４は、推奨範囲１４１が重畳された、ボトルネックノード数と誤差平均との関係を表すグラフの一例を示す図である。図１５は、推奨範囲１４１が重畳された、ボトルネックノード数と誤差平均差分との関係を表すグラフの一例を示す図である。なお、誤差平均は入出力誤差の一例であり、誤差平均差分は正常データに関する入出力誤差と疑似異常データに関する入出力誤差との差分の一例である。図１４及び図１５に示すように、推奨範囲１４１は、誤差平均差分が閾値以上であるボトルネックノード数の範囲に設定される。図１４及び図１５の場合、閾値は０．０６程度に設定される。推奨範囲１４１は、正常データの再現度合いが第１水準以上であり且つ疑似異常データの恒等写像度合いが第２水準以下である範囲を意味する。正常データの再現度合いは正常データの入出力誤差により評価される。入出力誤差が小さいほど再現度合いが高いことを意味する。図１４の場合、第１水準は、０．０２程度に設定される。疑似異常データの恒等写像度合いは疑似異常データの入出力誤差により評価される。入出力誤差が小さいほど恒等写像度合いが高いことを意味する。図１４の場合、第２水準は、０．０７程度に設定される。このように定義される推奨範囲１４１を満たすボトルネックノード数を有するオートエンコーダは、正常データの再現度合いが高く且つ異常データの再現度合いが低いといえ、異常検出精度が高いといえる。

ステップＳ１３０５が行われると出力制御部１６は、ステップＳ１３０５において推論された推奨範囲を出力する（ステップＳ１３０６）。ステップＳ１３０６において出力制御部１６は、推奨範囲を、表示機器５に表示する。例えば、出力制御部１６は、図１４に示すように、推奨範囲１４１を、ボトルネックノード数と誤差平均との関係を表すグラフに重畳して表示してもよいし、図１５に示すように、ボトルネックノード数と誤差平均差分との関係を表すグラフに重畳して表示してもよい。このように推奨範囲を表示することにより、ユーザは、容易に推奨範囲１４１を確認することが可能になる。また、入出力誤差とボトルネックノード数との関係を表すグラフに重畳して推奨範囲１４１を表示することにより、推奨範囲１４１の信憑性を推し量ることも可能になる。

ステップＳ１３０６が行われると、図１３に示す設計支援処理が終了する。ユーザにより決定されたオートエンコーダを利用して異常検知部１７により異常検知が行われてもよい。なお、異常検知部１７は情報処理装置２００に含まれていなくてもよい。

なお、図１３に示す設計支援処理は種々の変形が可能である。上記の実施例において推論部１８は、正常データに関する入出力誤差と疑似異常データに関する入出力誤差との差分に基づいてネットワーク構造の推奨範囲を推論するものとした。しかしながら、推奨範囲の推論方法はこれに限定されない。例えば、推論部１８は、ネットワーク構造の変化に伴う正常データの入出力誤差、疑似異常データの入出力誤差及び／又は入出力誤差差分の変化に基づいて推奨範囲を推論してもよい。

図１４を参照すると、正常データの入出力誤差が急激に減少するボトルネックノード数と、疑似異常データの入出力誤差が急激に減少するボトルネックノード数との間の範囲が推奨範囲に設定されるとよい。具体的には、推論部１８は、正常データの入出力誤差と疑似異常データの入出力誤差との各々について、ボトルネックノード数毎に当該ボトルネックノード数での微分値を算出する。そして推論部１８は、正常データの入出力誤差の各微分値に基づいて推奨範囲の最小ノード数を特定する。例えば、微分値が最小値をとるボトルネックノード数、微分値が閾値より小さく且つ絶対値が比較的小さい範囲に収束する直前のボトルネックノード数等が最小ノード数として特定されるとよい。また、推論部１８は、各疑似異常データの入出力誤差の微分値に基づいて推奨範囲の最大ノード数を特定する。例えば、微分値が最小値をとるボトルネックノード数、微分値が閾値より小さく且つ絶対値が比較的小さい範囲に収束する直前のボトルネックノード数等が最大ノード数として特定されるとよい。最小ノード数と最大ノード数との間の範囲が推奨範囲に設定される。正常データの入出力誤差の曲線形状と疑似異常データの曲線形状とに基づいて、正常データの入出力誤差が急激に減少する最小ノード数と、疑似異常データの入出力誤差が急激に減少する最大ノード数とを特定してもよい。最小ノード数と最大ノード数との間の範囲が推奨範囲に設定される。

図１５を参照すると、入出力誤差差分が急激に上昇するボトルネックノード数と、急激に減少するボトルネックノード数との間の範囲が推奨範囲に設定されてもよい。具体的には、推論部１８は、ボトルネックノード数毎に当該ボトルネックノード数での入出力誤差差分の微分値を算出する。そして推論部１８は、入出力誤差差分の各微分値に基づいて推奨範囲の最小ノード数と最大ノード数とを特定する。例えば、微分値が最大値をとるボトルネックノード数、微分値が閾値より大きく且つ絶対値が比較的小さい範囲に収束する直前のボトルネックノード数等が最小ノード数として特定されるとよい。また、微分値が最小値をとるボトルネックノード数、微分値が閾値より小さく且つ絶対値が比較的小さい範囲に収束する直後のボトルネックノード数等が最大ノード数として特定されるとよい。入出力誤差差分の曲線形状に基づいて、入出力誤差差分が急激に上昇する最小ノード数と、入出力誤差差分が急激に減少する最大ノード数とを特定し、両ノード数間を推奨範囲として特定してもよい。入出力誤差差分の最大値の９０％等の所定範囲を推奨範囲として特定してもよい。

上記実施例において推論部１８は、推奨範囲を推論するものとした。しかしながら、推論部１８は、ネットワーク構造と、正常データの入出力誤差及び疑似異常データの入出力誤差との関係データ（構造・誤差関係データ）に基づいてネットワーク構造の最適値を推論してもよい。例えば、推論部１８は、正常データの入出力誤差と疑似異常データの入出力誤差との差分が最大値をとるネットワーク構造を最適値として特定する。また、推論部１８は、推奨範囲に含まれるネットワーク構造の中から、計算コストや等の他の条件を満足するネットワーク構造を最適値として特定してもよい。出力制御部１６は、最適値を表示機器５に表示するとよい。表示形態は特に限定されず、単に最適に対応するネットワーク構造の数値を表示してもよいし、最適値も推奨範囲と同様、ボトルネックノード数と誤差平均との関係を表すグラフやボトルネックノード数と誤差平均差分との関係を表すグラフに重畳して表示してもよい。また、推奨範囲と共に最適値を表示してもよい。なお、最適値は、ステップＳ６０１又はステップＳ１３０１で学習されたネットワーク構造から選択されてもよいし、学習されていないネットワーク構造が選択されてもよい。

上記実施例において推論部１８は、ステップＳ６０１やＳ１３０１において、比較的広範に亘る複数のネットワーク構造のオートエンコーダを一度に網羅的に学習するものとした。しかしながら、推論部１８は、広範に亘る複数のネットワーク構造のオートエンコーダを階層的に学習してもよい。以下、この実施例について図６の例に倣い説明する。

まず、ステップＳ６０１において推論部１８は、広範に亘り離散的に設定された少数個のネットワーク構造のオートエンコーダを学習する。例えば、図１０や図１１の例の場合、１０^０、１０^１、１０^２、１０^３、１０^４の５個のボトルネックノード数のオートエンコーダについて学習が行われる。そしてステップＳ６０２～ステップＳ６０５を実行して、この５個のボトルネックノード数各々と入出力誤差との関係を表すグラフが表示機器５に表示される。ユーザは、グラフを観察し、詳細に検討したいボトルネックノード数の範囲を、入力機器３を介して指定する。推論部１８は、指定された範囲に亘り離散的に設定された複数のネットワーク構造のオートエンコーダを学習する。例えば、１０^１～１０^２の範囲が指定された場合、１０、２５、５０、７５、１００の５個のボトルネックノード数のオートエンコーダについて学習が行われる。そしてステップＳ６０２～ステップＳ６０５を実行して、この５個のボトルネックノード数各々と入出力誤差との関係を表すグラフが表示機器５に表示される。これにより、指定された範囲について詳細に最適なボトルネックノード数を検討することが可能になる。このように階層的に学習を行うことにより、学習するオートエンコーダの個数を減らすことが可能になり、効率的に最適なネットワーク構造を探索することが可能になる。

（変形例）
上記実施例については、正常データに対してデータオーグメンテーションを施して生成されたデータを疑似異常データの具体例に挙げて説明した。変形例に係る疑似異常データは、正常データとは異なる他のドメインのデータでもよい。以下、変形例について図６の例に倣い説明する。

まず、ステップＳ６０１においてモデル学習部１２は、正常データに基づいて、異なるネットワーク構造を有する複数のオートエンコーダを学習する。正常データは、図４等に示すような、数字が描画された画像データであるとする。ステップＳ６０２において疑似異常データ取得部１３は、正常データとは異なるドメインの画像データを記憶装置２や外部機器等から取得する。ドメインとは、画像データの場合、描画対象や撮影条件、画像パラメータ等を意味する。例えば、疑似異常データとして、衣類や靴等が描画された画像データであるとする。その後、上記実施例と同様、ステップＳ６０３～Ｓ６０５が行われ、ネットワーク構造と入出力誤差との関係を表すグラフ等が表示機器５に表示される。

この際、出力制御部１６は、ネットワーク構造毎の、疑似異常データを入力したときの複数のオートエンコーダ各々の出力データの一覧を出力してもよい。この一覧を出力データ一覧と呼ぶことにする。出力データ一覧について説明する。なお、ネットワーク構造は、一例として、ボトルネックノード数であるとする。

図１６は、出力データ一覧１６１の一例を示す図である。図１６に示すように、出力データ一覧１６１は、ボトルネックノード数各々について、複数のオートエンコーダ各々の出力画像データを配列している。換言すれば、出力データ一覧１６１は、ボトルネックノード数の変化に伴う、複数のオートエンコーダ各々の出力画像データの変化を表している。最上列には、オートエンコーダへの入力画像データ（疑似異常データ）として、１０種類の衣類又は靴が描画された画像データが配列されている。各疑似異常データを入力したときの各ボトルネックノード数のオートエンコーダからの出力画像データが、縦軸に沿って配列されている。

図１６に示す出力データ一覧は、例えば、表示機器５に表示される。ユーザは、出力データ一覧１６１を参照することにより、ボトルネックノード数の変化に伴う出力画像データの変化を視覚的に把握することが可能になる。例えば、概ね、ボトルネックノード数が１では、出力画像データが正常データすらも再現しておらず、異常検知精度としては再現不良であり、１０～９６の範囲では、出力画像データが疑似異常データを再現しておらず、異常検知精度としては比較的良好であり、２５６～１０２４の範囲では、出力画像データが疑似異常データを再現しており、恒等写像を起こしているのが視覚的に分かる。

上記例では、疑似異常データとして他ドメインのデータを使用する場合に、出力データ一覧を出力するものとしたが、本実施形態はこれに限定されない。正常データに対してデータオーグメンテーションを施したデータを疑似異常データとして使用する場合にも出力データ一覧を出力してもよい。また、出力データ一覧は、表示機器５に表示するのみならず、記憶装置２に記憶してもよいし、通信機器４を介して外部機器に表示されてもよい。

上記例では、ネットワーク構造がボトルネック層の幅又は深さである場合を例に挙げて説明したが、本実施形態はこれに限定されない。ネットワーク構造が、ボトルネック層の幅及び深さの組合せであってもよい。

かくして、高い異常検知性能を有するオートエンコーダの作成を支援することが可能になる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…処理回路、２…記憶装置、３…入力機器、４…通信機器、５…表示機器、１１…正常データ取得部、１２…モデル学習部、１３…疑似異常データ取得部、１４…性能指標算出部、１５…記録部、１６…出力制御部、１７…異常検知部、１８…推論部。

Claims (13)

1. 互いに異なるネットワーク構造を有する複数のオートエンコーダ各々について、正常データに関する第１の入出力誤差と、前記正常データとは異なる疑似異常データに関する第２の入出力誤差とを算出する算出部と、
   前記ネットワーク構造と前記第１の入出力誤差及び前記第２の入出力誤差との関係を表す関係データを出力する出力制御部と、
   を具備する情報処理装置。
2. 前記正常データに基づいて前記複数のオートエンコーダを学習する学習部を更に備える、請求項１記載の情報処理装置。
3. 前記複数のオートエンコーダは、前記ネットワーク構造として、互いにボトルネック層の幅及び／又は位置が異なる、請求項１記載の情報処理装置。
4. 前記関係データに基づいて、前記ネットワーク構造の推奨範囲又は最適値を推論する推論部を更に備える、請求項１記載の情報処理装置。
5. 前記推論部は、
   前記第１の入出力誤差と前記第２の入出力誤差との差分と、
   前記ネットワーク構造の変化に伴う前記第１の入出力誤差、前記第２の入出力誤差及び／又は前記差分の変化と、の少なくとも一方に基づいて前記推奨範囲又は最適値を推論する、
   請求項４記載の情報処理装置。
6. 前記出力制御部は、前記関係データに前記推奨範囲又は最適値を表示する、請求項４記載の情報処理装置。
7. 前記正常データにデータオーグメンテーションを施して前記疑似異常データを生成する生成部を更に備える、請求項１記載の情報処理装置。
8. 前記生成部は、前記データオーグメンテーションとして、前記正常データに対して水平移動、並行移動、反転及び／又は回転を施す、請求項７記載の情報処理装置。
9. 前記疑似異常データは、前記正常データとは異なるドメインのデータである、請求項１記載の情報処理装置。
10. 前記出力制御部は、前記関係データとして、
    前記ネットワーク構造と前記第１の入出力誤差との関係と、
    前記ネットワーク構造と前記第２の入出力誤差との関係と、
    前記ネットワーク構造と、前記第１の入出力誤差と前記第２の入出力誤差との差分との関係と、の少なくとも一つを表すグラフを出力する、
    請求項１記載の情報処理装置。
11. 前記出力制御部は、前記ネットワーク構造毎の、前記疑似異常データを入力したときの前記複数のオートエンコーダ各々の出力データの一覧を出力する、請求項１記載の情報処理装置。
12. 互いに異なるネットワーク構造を有する複数のオートエンコーダ各々について、正常データに関する第１の入出力誤差と、前記正常データとは異なる疑似異常データに関する第２の入出力誤差とを算出し、
    前記ネットワーク構造と前記第１の入出力誤差及び前記第２の入出力誤差との関係を出力する、
    ことを具備する情報処理方法。
13. コンピュータに、
    互いに異なるネットワーク構造を有する複数のオートエンコーダ各々について、正常データに関する第１の入出力誤差と、前記正常データとは異なる疑似異常データに関する第２の入出力誤差とを算出させる機能と、
    前記ネットワーク構造と前記第１の入出力誤差及び前記第２の入出力誤差との関係を出力させる機能と、
    を実現させる情報処理プログラム。