JP7006724B2 - 分類装置、分類方法、及び、プログラム - Google Patents

分類装置、分類方法、及び、プログラム Download PDF

Info

Publication number
JP7006724B2
JP7006724B2 JP2020085749A JP2020085749A JP7006724B2 JP 7006724 B2 JP7006724 B2 JP 7006724B2 JP 2020085749 A JP2020085749 A JP 2020085749A JP 2020085749 A JP2020085749 A JP 2020085749A JP 7006724 B2 JP7006724 B2 JP 7006724B2
Authority
JP
Japan
Prior art keywords
data
classification
unit
learning
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020085749A
Other languages
English (en)
Other versions
JP2021179885A (ja
Inventor
祐矢 新谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2020085749A priority Critical patent/JP7006724B2/ja
Publication of JP2021179885A publication Critical patent/JP2021179885A/ja
Application granted granted Critical
Publication of JP7006724B2 publication Critical patent/JP7006724B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Description

本開示は、分類装置、分類方法、及び、プログラムに関する。
従来から、教師有り学習と呼ばれる、学習データに教師データ(正解ラベル)を付して機械学習する方法が知られている。
例えば、特許文献1には、正解ラベルが付された学習データを用いて、ラベリングモデルを定義するパラメータを機械学習させておき、機械学習させたラベリングモデルを用いて入力データに対してラベリングを行う技術が開示されている。
特開2019-40335号公報
しかしながら、特許文献1に開示された技術では、1つの学習データ(入力値)に1つの正解ラベル(出力値)が対応しているため、学習データの特徴を有さない入力データに対する分類性能が低く、分類精度を高めるためには多数の特定パターンの学習が必要であった。
本開示は上述した問題点を解決するためになされたものであり、学習データの特徴を有さないデータが入力された場合であっても、分類精度の低下を抑制することができる分類装置、分類方法及びプログラムを提供することを目的とするものである。
本開示の分類装置は、入力データの分類結果を含む出力データを出力する分類装置であって、前記入力データを取得する取得部と、学習データを用いて学習して生成された分類モデルを用いて、前記取得部で取得された前記入力データを分類した分類結果を出力する分類部と、前記学習データの特徴を学習して生成された異常検知モデルを用いて、前記取得部で取得された前記入力データの特徴が、前記学習データの特徴を有する場合に正常、前記学習データの特徴を有さない場合に異常を示す検知結果を含む検知結果データを出力する異常検知部と、前記異常検知部の検知結果が正常を示す場合、前記分類部の分類結果を含む出力データを出力する出力部とを備えることを特徴とするものである。
本開示は、学習データの特徴を有さないデータが入力された場合であっても、分類精度の低下を抑制することができる分類装置、分類方法及びプログラムを提供できるという効果を奏する。
実施形態1に係る分類装置の構成を示す図である。 分類モデルを学習する分類モデル学習部の構成を示す図である。 3層のニューラルネットワークを示す図である。 分類モデル学習部の学習処理に関するフローチャートである。 異常検知モデルを学習する異常検知モデル学習部の構成を示す図である。 異常検知モデル学習部の学習処理に関するフローチャートである。 情報処理装置を構成するハードウェア装置の一例を示す図である。 分類装置の処理に関するフローチャートである。 実施形態2に係る分類装置の構成を示す図である。 クラスタリング処理に関するフローチャートである。 出力データに応じた画像を表示部に表示させた一例を示す図である。
以下、本開示の実施の形態について図面を参照しながら詳細に説明する。
実施の形態1
<構成>
図1は、本開示の実施形態1に係る分類装置の構成を示す図である。
分類装置1は、入力データの分類結果を含む出力データを出力するための装置である。本開示の分類装置1においては、例えば、「リンゴ」「バナナ」の画像を示す画像データが入力データとして入力されるものとして説明する。また、本開示の分類装置1は、例えば、「リンゴ」「バナナ」といった分類結果を含む出力データを出力するものとして説明する。入力データとしては、例えば、画像を示す画像データ、音声を示す音声データ、センサなどで検出された検出データ、現象を数量で示す統計データ、又は、人の行動、物の移動、通信の利用状況などの記録を示す履歴データなどを含む。なお、入力データとして、これら以外のデータを含んでいてもよい。本開示の分類装置1においては、画像データが入力データとして用いられた例について説明する。
分類装置1は、取得部11、分類部12、異常検知部13、及び、出力部14を備える。取得部11は、入力データを取得し、取得した入力データを分類部12及び異常検知部13に出力する。
分類部12は、学習データと教師データを用いた教師あり学習により生成された分類モデル24を用いて、取得部11で取得された入力データを分類した分類結果を出力する。分類モデル24は、分類モデル記憶部23に記憶される。
本開示の分類部12においては、分類モデル24は、学習データと教師データを用いた教師あり学習により生成されたものとして説明するが、教師データを用いない教師なし学習により生成されてもよい。分類モデル記憶部23は、例えば、ネットワークを介して分類装置1に接続され、この分類装置1とは別個の装置であってもよい。また、分類モデル記憶部23は、分類装置1に内蔵されていてもよい。さらに、分類モデル記憶部23は、クラウドサーバ上に存在していてもよい。
本開示の分類装置1においては、「リンゴ」「バナナ」の画像を示す画像データが学習データとして用いられ、「オレンジ」の画像を示す画像データが学習データとして用いられていない例について説明する。また、本開示の分類装置1においては、「リンゴ」「バナナ」の画像を示す画像データを、学習データの特徴を有する画像データと称し、「オレンジ」の画像を示す画像データを、学習データの特徴を有さない画像データと称する。
分類部12は、例えば、「オレンジ」の画像を示す画像データが入力データとして入力された場合のように、学習データの特徴を有さない入力データに対する分類性能が十分でない。そのため、分類部12は、学習データの特徴を有さない画像データが入力データとして入力された場合、誤った分類結果を示す分類結果データを出力部14に出力してしまう可能性がある。
異常検知部13は、取得部11で取得された入力データについて、正常又は異常を検知した検知結果を含む検知結果データを出力部14に出力する。また、異常検知部13は、例えば、取得部11で取得された入力データの特徴が、学習データの特徴を有する場合に正常、学習データの特徴を有さない場合に異常を示す検知結果を含む検知結果データを出力部14に出力してもよい。また、異常検知部13は、例えば、学習データの特徴を有する入力データを正常、学習データの特徴を有さない入力データを異常として検知するための異常検知モデル34を用いて、入力データの正常、又は、異常を検知し、検知結果を含む検知結果データを出力部14に出力してもよい。異常検知モデル34は、異常検知モデル記憶部33に記憶される。
異常検知モデル記憶部33は、例えば、ネットワークを介して分類装置1に接続され、この分類装置1とは別個の装置であってもよい。また、異常検知モデル記憶部33は、分類装置1に内蔵されていてもよい。さらに、異常検知モデル記憶部33は、クラウドサーバ上に存在していてもよい。
出力部14は、異常検知部13から出力された検知結果データ、及び、分類部12から出力された分類結果データに基づいて出力データを生成する。例えば、出力部14は、異常検知部13から出力された検知結果データが正常を示す場合、分類部12から出力された分類結果データが示す分類結果を含む出力データを出力する。ここで、出力部14は、例えば、図示せぬ表示部に対して出力データを出力し、表示部に出力データに応じた画像を表示させてもよい。また、出力部14は、例えば、図示せぬ情報処理端末に対して出力データを出力し、情報処理端末に出力データに応じた処理を実行させてもよい。また、出力部14は、例えば、図示せぬ機械に対して出力データを出力し、機械に出力データに応じた動作を実行させてもよい。
図2は、分類モデルを学習する分類モデル学習部の構成を示す図である。
分類モデル学習部2は、データ取得部21、及び、分類モデル生成部22を備える。データ取得部21は、学習データ、及び、教師データを取得する。分類モデル生成部22は、データ取得部21で取得した学習データと教師データを用いた教師あり学習により、入力データを分類するための分類モデル24を生成する。分類モデル24は、分類モデル記憶部23に記憶される。本開示の分類モデル学習部2においては、例えば、学習データが「リンゴ」「バナナ」の画像を示す画像データであり、教師データが「リンゴ」「バナナ」を示す正解ラベルとする。この場合、分類モデル生成部22は、教師有り学習により、入力データを「リンゴ」又は「バナナ」に分類するための分類モデル24を生成する。以降、分類モデル24の学習フェーズについて詳述する。
<分類モデルの学習フェーズ>
データ取得部21は、学習データと教師データを学習用データとして取得する。分類モデル生成部22は、データ取得部21から出力される学習データと教師データの組合せに基づいて作成される学習用データに基づいて、入力データに対する分類結果を学習する。すなわち、学習データと教師データから最適な分類結果を推論する学習済モデル(分類モデル24)を生成する。学習用データは、学習データと教師データを互いに関連付けたデータである。
なお、分類モデル学習部2は、例えば、ネットワークを介して分類装置1に接続され、この分類装置1とは別個の装置であってもよい。また、分類モデル学習部2は、分類装置1に内蔵されていてもよい。さらに、分類モデル学習部2は、クラウドサーバ上に存在していてもよい。
分類モデル生成部22が用いる学習アルゴリズムは教師あり学習等の公知のアルゴリズムを用いることができる。一例として、ニューラルネットワークを適用した場合について説明する。分類モデル生成部22は、例えば、ニューラルネットワークモデルに従って、いわゆる教師あり学習により、分類結果を学習する。ここで、教師あり学習とは、入力と結果(ラベル)のデータの組を学習装置に与えることで、それらの学習用データにある特徴を学習し、入力から結果を推論する手法をいう。
ニューラルネットワークは、複数のニューロンからなる入力層、複数のニューロンからなる中間層(隠れ層)、及び複数のニューロンからなる出力層で構成される。中間層は、1層、又は2層以上でもよい。
図3は、3層のニューラルネットワークを示す図である。
例えば、図3に示すような3層のニューラルネットワークであれば、複数の入力が入力層(X1-X3)に入力されると、その値に重みW1(w11-w16)を掛けて中間層(Y1-Y2)に入力され、その結果にさらに重みW2(w21-w26)を掛けて出力層(Z1-Z3)から出力される。この出力結果は、重みW1とW2の値によって変わる。
本開示において、ニューラルネットワークは、データ取得部21によって取得される学習データと教師データの組合せに基づいて作成される学習用データに従って、いわゆる教師あり学習により、分類結果を学習する。すなわち、ニューラルネットワークは、入力層に学習データを入力して出力層から出力された結果が、教師データに近づくように重みW1とW2を調整することで学習する。
分類モデル生成部22は、以上のような学習を実行することで学習済モデル(分類モデル24)を生成し、出力する。分類モデル記憶部23は、分類モデル生成部22から出力された分類モデル24を記憶する。なお、分類モデル生成部22は、例えば、Deep Learning、CNN(Convolutional Neural Network)、SSD(Single Shot MultiBox Detector)などの公知の方法を用いて、分類モデル24を生成してもよい。また、分類モデル生成部22は、少なくとも、学習データを用いた学習により分類モデル24を生成すればよく、例えば、教師データを用いない教師なし学習により分類モデル24を生成してもよい。
次に、分類モデル学習部2が学習する処理について説明する。
図4は、分類モデル学習部の学習処理に関するフローチャートである。
ステップa1において、データ取得部21は学習データと教師データを取得する。なお、学習データと教師データを同時に取得するものとしたが、学習データと教師データを関連づけて入力できれば良く、学習データと教師データのデータをそれぞれ別のタイミングで取得しても良い。ステップa2において、分類モデル生成部22は、データ取得部21によって取得される学習データと教師データの組合せに基づいて作成される学習用データに従って、いわゆる教師あり学習により、分類結果を学習し、学習済モデル(分類モデル24)を生成する。ステップa3において、分類モデル記憶部23は、分類モデル生成部22が生成した学習済モデル(分類モデル24)を記憶する。
図5は異常検知モデルを学習する異常検知モデル学習部の構成を示す図である。
異常検知モデル学習部3は、データ取得部31、及び、異常検知モデル生成部32を備える。異常検知モデル生成部32は、データ取得部31で取得した学習データを用いた教師なし学習により、学習データの特徴を有する入力データを正常、学習データの特徴を有さない入力データを異常として検知するための異常検知モデル34を生成する。異常検知モデル34は、異常検知モデル記憶部33に記憶される。本開示においては、学習データが「リンゴ」「バナナ」を示す複数の画像データである。この場合、異常検知モデル生成部32は、教師なし学習により、異常検知モデル34を生成し、学習データ(リンゴ、バナナ)の特徴を有する「リンゴ」「バナナ」を示す入力データを「正常」として検知し、学習データ(リンゴ、バナナ)の特徴を有さない入力データを「異常」として検知する。
以降、異常検知モデル34の学習フェーズについて詳述する。
<異常検知モデルの学習フェーズ>
データ取得部31は、複数の学習データを学習用データとして取得する。
異常検知モデル生成部32は、データ取得部31から出力される学習用データに基づいて、入力データに対する異常の有無を学習する。すなわち、学習用データから入力データに対する異常の有無を推論する学習済モデル(異常検知モデル34)を生成する。
異常検知モデル生成部32が用いる学習アルゴリズムとしては教師なし学習を用いることができる。教師なし学習とは、結果(正解ラベル)を含まない学習用データを異常検知モデル学習部3に与えることで、それらの学習用データに含まれた学習データの特徴を学習する手法をいう。
異常検知モデル生成部32は、例えば、Deep Metric Learningなどの異常検知モデルを用いて、類似した特徴を有する学習データを密集させ、異なる特徴を有する学習データを引き離すように訓練してもよい。このように訓練された異常検知モデルにおいては、既に学習済の学習データと、学習されていない入力データとの違いが、特徴量空間における距離で示される。この異常検知モデルでは、「学習データ」そのものではなく、「学習データと学習データの関係」を学習しているため、学習データに存在しない入力データについても、特徴量空間上の何れの位置にするかで、学習済か否かを検知することが可能となる。具体的には、特徴量空間上において、入力データと学習データが一定以上近くにある場合には学習済とし、そうでなければ学習済でない、つまり、異常とすることで、異常検知が実現可能となる。また、異常検知モデル生成部32は、例えば、AnoGAN(Anomaly Detection with Generative Adversarial Networks)、One class SVMなどの公知の異常検知モデルを用いてもよい。
異常検知モデル生成部32は、以上のような学習を実行することで学習済モデル(異常検知モデル34)を生成し、出力する。異常検知モデル記憶部33は、異常検知モデル生成部32から出力された学習済モデル(異常検知モデル34)を記憶する。
なお、異常検知モデル生成部32は、例えば、ネットワークを介して分類装置1に接続され、この分類装置1とは別個の装置であってもよい。また、異常検知モデル生成部32は、分類装置1に内蔵されていてもよい。さらに、異常検知モデル生成部32は、クラウドサーバ上に存在していてもよい。
次に、異常検知モデル学習部3が学習する処理について説明する。
図6は、異常検知モデル学習部の学習処理に関するフローチャートである。
ステップb1において、データ取得部31は複数の学習データを取得する。なお、複数の学習データを同時に取得するものとしたが、複数の学習データを関連づけて入力できれば良く、複数の学習データをそれぞれ別のタイミングで取得しても良い。
ステップb2において、異常検知モデル生成部32は、データ取得部31によって取得される複数の学習データの組合せに基づいて作成される学習用データに従って、いわゆる教師なし学習により、入力データに対する異常の有無を学習し、学習済モデル(異常検知モデル34)を生成する。
ステップb3において、異常検知モデル記憶部33は、異常検知モデル生成部32が生成した学習済モデル(異常検知モデル34)を記憶する。
図7は、分類装置を構成するハードウェア装置の一例を示す図である。
分類装置1は、CPU(Central Processing Unit)41と、RAM42(Random Access Memory)と、ROM(Read only Memory)43と、通信I/F45とを備える。CPU41は、各種の演算を行うプロセッサであり、図1,図2、図5に示す、分類部12と、異常検知部13と、出力部14と、分類モデル生成部22という各機能を実現する。RAM42は、CPU41がプログラムを実行する際のワークエリアとして機能する揮発性のメモリである。ROM43は、CPU41によって実行されるプログラムおよび当該プログラムによって使用されるデータ等を格納する。通信I/F45は、通信ネットワークを介して他の機器からデータを受信してCPU41へ送り、CPU41が生成したデータを、通信ネットワークを介して他の機器へ送信する。なお、分類装置1が異常検知モデル学習部3を備える場合、分類装置1のCPU41は、異常検知モデル学習部3の機能を実現してもよい。
<運用フェーズ>
図8は、分類装置の処理に関するフローチャートである。
分類装置1の取得部11は、入力データを取得する(ステップc1)。
次に、分類部12は、取得部11で取得された入力データを、分類モデル記憶部23に記憶された分類モデル24を用いて分類し、分類結果を示す分類結果データを出力する(ステップc2)。ここで、例えば、分類部12は、学習データの特徴を有する画像データ(例えば、リンゴ、バナナ)が入力データとして入力された場合、夫々の入力データの特徴に応じて分類し、分類結果を示す分類結果データを出力する。ただし、分類部12は、学習データの特徴を有さない画像データ(例えば、オレンジ)が入力データとして入力された場合、誤った分類結果を示す分類結果データを出力してしまう可能性がある。
異常検知部13は、取得部11で取得された入力データの特徴が、学習データの特徴を有する場合に正常、学習データの特徴を有さない場合に異常を示す検知結果を含む検知結果データを出力する(ステップc3)。ここで、例えば、異常検知部13は、学習データの特徴を有する画像データ(例えば、リンゴ、バナナ)が入力データとして入力された場合、入力データを正常として検知し、正常を示す検知結果を含む検知結果データを出力する。一方、異常検知部13は、学習データの特徴を有さない画像データ(例えば、オレンジ)が入力データとして入力された場合、入力データを異常として検知し、異常を示す検知結果を含む検知結果データを出力する。
ステップc3において、異常と検知されなかった場合(ステップc4:NO)、出力部14は、分類部12から出力された分類結果データが示す分類結果を含む出力データを出力する(ステップc5)。ここで、出力部14は、例えば、図示せぬ表示部に対して出力データを出力し、表示部に出力データに応じた画像を表示させてもよい。出力部14は、例えば、分類結果のみを出力、表示させてもよいし、入力データ及び分類結果を出力、表示させてもよい。
一方、ステップc3において、異常と検知された場合(ステップc4:YES)、出力部14は、分類部12から出力された分類結果を含む出力データを出力しない。
<実施の形態1の効果>
本実施形態によれば、分類装置1は、異常検知モデル34を用いて、学習データの特徴を有さないデータが入力データとして入力された場合には、当該入力データを異常検知部13で異常と検知し、当該入力データの分類結果を含む出力データを出力しない。これにより、分類装置1は、学習データの特徴を有さない入力データの誤った分類結果を含む出力データを出力する可能性を低減できる。これにより、分類装置1は、分類精度が低下することを抑制することができるという効果を奏する。
実施の形態2 クラスタリング
上述した実施の形態1において分類装置1は、学習データの特徴を有さないデータが入力データとして入力された場合には、当該入力データを異常検知部13で異常と検知し、当該入力データの分類結果を含む出力データを出力しなかった。しかしながら、これに限らず、分類装置1は、異常検知部13で異常と検知された入力データを含んだ出力データ(異常データ)を出力してもよい。
図9は、実施の形態2に係る分類装置の構成を示す図である。
実施の形態2に係る分類装置1の出力部14は、異常検知部13の検知結果が異常を示す場合、異常と検知された入力データを異常データとして異常データ記憶部15に記憶する。また、分類装置1は、異常データ記憶部15に記憶された異常データを再分類(クラスタリング)するクラスタリング部16を備えてもよい。以降、異常データ記憶部15に記憶された出力データを異常データと称する。
クラスタリング部16は、いわゆる教師なし学習によって、異常データ記憶部15に記憶された異常データを部分集合にクラスタリングする。また、クラスタリング部16は、1つの部分集合に属するデータに対して1つの正解ラベルを対応づける。例えば、「オレンジ」の画像を示す画像データの部分集合に対して、「オレンジ」を示す正解ラベルを対応づける。なお、正解ラベルを対応づける処理は、例えば、解析技術などを用いて自動的に行われてもよいし、図示せぬ表示装置などに部分集合に属するデータを表示させて人為的に行われてもよいし、夫々を適宜組み合わせてもよい。また、クラスタリング部16は、正解ラベルが対応づけられたデータをクラスタリング結果データとして出力する。
図10は、クラスタリング処理に関するフローチャートである。
ステップd1において、クラスタリング部16は、異常データ記憶部15に記憶された異常データを取得する。
ステップd2において、クラスタリング部16は、異常データ記憶部15に記憶された異常データを部分集合にクラスタリングする。
ステップd3において、クラスタリング部16は、1つの部分集合に属する異常データに対して1つの正解ラベルを対応づける。例えば、「オレンジ」の画像を示す画像データの部分集合に対して、「オレンジ」を示す正解ラベルを対応づける。
ステップd4において、クラスタリング部16は、正解ラベル、及び、正解ラベルが対応づけられた異常データを含むクラスタリング結果データを出力する。ここで、クラスタリング部16は、分類モデル学習部2及び異常検知モデル学習部3に対して、クラスタリング結果データを出力してもよい。また、クラスタリング部16は、図示せぬ記憶部にクラスタリング結果データを記憶してもよい。
<分類モデル学習部2の再学習フェーズ>
クラスタリング処理以降、任意のタイミングで、分類モデル学習部2のデータ取得部21は、クラスタリング結果データに含まれた異常データを学習データとして、正解ラベルを教師データとして取得する。分類モデル学習部2の分類モデル生成部22は、データ取得部21で取得した学習データと教師データを用いた教師あり学習により、入力データを分類するための分類モデル24を生成する。分類モデル24は、分類モデル記憶部23に記憶される。ここで、例えば、学習データ(異常データ)が「オレンジ」を示す画像データであり、教師データが「オレンジ」を示す正解ラベルとする。この場合、分類モデル生成部22は、教師有り学習により、入力データを「リンゴ」「バナナ」に加え「オレンジ」に分類するための分類モデル24を生成する。
<異常検知モデル学習部3の再学習フェーズ>
クラスタリング処理以降、任意のタイミングで、異常検知モデル学習部3のデータ取得部31は、クラスタリング結果データに含まれた異常データを学習データとして取得する。異常検知モデル生成部32は、データ取得部31で取得した学習データを用いた教師なし学習により、入力データを分類するための異常検知モデル34を生成する。異常検知モデル34は、異常検知モデル記憶部33に記憶される。ここで、例えば、学習データ(異常データ)が「オレンジ」を示す複数の画像データであるものとする。この場合、異常検知モデル生成部32は、教師なし学習により、学習データ(オレンジ)の特徴を有する入力データを「正常」として検知するための異常検知モデル34を生成する。
<実施の形態2の効果>
本実施形態によれば、分類装置1の出力部14は、異常検知部13の検知結果が異常を示す場合、異常と検知された入力データを異常データとして異常データ記憶部15に記憶する。これにより、異常データ記憶部15には、学習データの特徴を有さない異常データのみが記憶される。即ち、再学習に係るデータセットの構築に係る手間を軽減することができるという効果を奏する。
また、分類装置1は、クラスタリング部16で、異常データ記憶部15に記憶された異常データをクラスタリングする。また、分類装置1は、クラスタリング部16で、正解ラベル、及び、正解ラベルが対応づけられた異常データを含むクラスタリング結果データを出力する。これにより、分析・アノテーション作業を容易にすることができるという効果を奏する。また、学習データの特徴を有さない異常データのなかから、再学習すべきデータを特定しやすくなるという効果を奏する。
また、分類装置1は、分類モデル学習部2で、クラスタリング結果データを学習データ及び教師データとして再学習した分類モデル24を生成する。また、分類装置1は、異常検知モデル学習部3で、クラスタリング結果データを学習データとして再学習した異常検知モデル34を生成する。これにより、学習データの特徴を有さない入力データ(異常データ)が入力された場合であっても、その異常データに基づいて再学習した分類モデル24及び/又は異常検知モデル34を自動/半自動で容易に生成することができるという効果を奏する。
なお、クラスタリング部16は、再分類(クラスタリング)結果を使って、基準を設けてクラスタリング結果を最適にする出力の割り当てを行うことで、出力の予測を実現することができる。なお、クラスタリング部16は、特徴量そのものの抽出を学習する深層学習(Deep Learning)の他、K-means clustering、t-SNEなどの他の公知の方法を用いることもできる。
なお、クラスタリング部16は、例えば、ネットワークを介して分類装置1に接続され、この分類装置1とは別個の装置であってもよい。また、クラスタリング部16は、分類装置1に内蔵されていてもよい。さらに、クラスタリング部16は、分類モデル学習部2及び/又は異常検知モデル学習部3に内蔵されていてもよい。さらに、クラスタリング部16は、クラウドサーバ上に存在していてもよい。
変形例
・変形例1
上述した実施形態においては、異常検知部13は、異常検知モデル生成部32で学習した異常検知モデル34を用いて入力データの正常又は異常を検知するものとして説明したが、外部から学習済モデルを取得し、この学習済モデルに基づいて入力データの正常又は異常を検知するようにしてもよい。
・変形例2
上述した実施形態においては、異常検知モデル34は、分類装置1の外部の異常検知モデル記憶部33に記憶されていた。しかしながら、これに限らず、異常検知モデル34は、分類装置1の内部に備えられた記憶部に記憶されていてもよい。また、異常検知モデル34は、1つの分類装置1に限らず、複数の分類装置1に利用されてもよい。
・変形例3
上述した実施形態においては、分類モデル24は、分類装置1の外部の分類モデル記憶部23に記憶されていた。しかしながら、これに限らず、分類モデル24は、分類装置1の内部に備えられた記憶部に記憶されていてもよい。また、分類モデル24は、1つの分類装置1に限らず、複数の分類装置1に利用されてもよい。
・変形例4
上述した実施形態において、出力部14は、異常検知部13の検知結果が正常を示す場合、正常と検知された入力データの分類結果を含む出力データを出力した。また、出力部14は、異常検知部13の検知結果が異常を示す場合、異常と検知された入力データを異常データとして異常データ記憶部15に記憶した。しかしながら、これに限らず、出力部14は、分類結果だけを出力するのではなく、検知結果、及び/又は入力データを適宜組み合わせて出力してもよい。
図11は、出力データに応じた画像を表示部に表示させた一例を示す図である。
出力部14は、例えば、図11に示すように、図示せぬ表示部に対して出力データを出力し、表示部に出力データに応じた画像を表示させてもよい。ここで、出力部14は、例えば、検知結果が正常を示す場合、図11(1)に示すように、分類結果データの分類結果のみを出力、表示させてもよい。また、出力部14は、例えば、検知結果が異常を示す場合、図11(2)に示すように、分類結果データの分類結果、及び、検知結果データの検知結果を出力、表示させてもよい。また、出力部14は、例えば、図11(3)に示すように、入力データに応じた画像、分類結果、及び、検知結果をそれぞれ組み合わせて出力、表示させてもよい。これにより、異常を示す情報を付加したうえで、入力データの分類結果が出力されるから、どのような入力データが学習データの特徴を有さないデータなのかを把握しやすくすることができるといった効果を奏する。
・変形例5
異常検知部13は、学習データの特徴点と、入力データの特徴点との類似度を算出し、算出した類似度が所定の閾値よりも低い入力データを異常として検知してもよい。ここで、例えば、異常検知部13は、学習データの特徴点、及び、入力データの特徴点を抽出する。そして、異常検知部13は、抽出した特徴点同士を比較し、その距離などに基づいて類似度を算出する。ここで、異常検知部13は、類似度の範囲を0から100の数値で表し、数値が大きいほど類似しているものとしてもよい。この場合、異常検知部13は、図示せぬ操作部から指定された閾値よりも低い入力データを異常として検知する。これにより、異常検知部13は、異常検知モデルを再学習させることなく、異常検知モデルによって正常/異常と検知される基準を変更することができるという効果を奏する。
・変形例6
学習データは、例えば、学習データに応じた画像中に分類の対象が存在する位置を示したり、学習データに応じた音声中に分類の対象が存在する位置を示したりする位置情報を含んでいてもよい。そして、分類モデル生成部22は、学習データに含まれた位置情報が示す位置を分類の対象とする。また、異常検知モデル生成部32は、学習データに含まれた位置情報が示す位置を異常又は正常を検知する対象とする。これにより、学習データに含まれる分類の対象の位置を指定することができるから、対象の範囲を指定しない場合に比べて、分類精度の低下を抑制することができるといった効果を奏する。
・変形例7
上述した実施の形態において、分類装置1の分類部12は、学習データが示す形状的な特徴を学習した分類モデル24を用いて、取得部11で取得した入力データが示す形状的な特徴で分類した分類結果を出力した。しかしながら、分類装置1の分類部12は、学習データが示す数量的な特徴を学習した分類モデル24を用いて、取得部11で取得された入力データが示す数量的な特徴で分類した分類結果を出力してもよい。例えば、分類装置1は、形状的な特徴を学習済である「歩行者」が「3人」写っている画像データを学習データとして学習する。そして、分類装置1は、「歩行者」が「3人」写っている画像データを入力データとして入力された場合に、「3人」を出力データとして出力してもよい。また、分類装置1は、「1人」「2人」の「歩行者」が写っている画像データを夫々学習データとして学習することで、「1人」「2人」「3人」という連続値を出力データとして出力できるようにしてもよい。さらに、分類装置1は、数値的な分類結果として、対象物の数だけではなく、対象物の移動速度、対象物の移動方向、又は、対象物の有無などを出力してもよい。対象物の移動速度の場合、分類装置1は、例えば、形状的な特徴を学習済である「歩行者」の「移動速度」を学習データとして学習する。そして、分類装置1は、「歩行者」の「移動速度」を出力データとして出力する。また、対象物の移動方向の場合、分類装置1は、例えば、形状的な特徴を学習済である「歩行者」の「移動方向」を学習する。そして、分類装置1は、「歩行者」の「移動方向」を出力データとして出力する。更に、分類装置1は、「歩行者」の「移動方向」毎の「数」を出力データとして出力してもよい。また、対象物の有無の場合、分類装置1は、形状的な特徴を学習済である「自動車」の「有無」を学習する。そして、分類装置1は、「自動車」の「有無」を出力データとして出力する。例えば、駐車場などで、車室毎に駐停車している自動車の有無を出力してもよい。このように、分類装置1の分類部12は、ビデオカメラで撮像された映像を入力データとすることにより、撮像フレームに含まれた対象物の数、対象物の移動速度、対象物の移動方向、又は、対象物以外の有無などを数値的な分類結果として出力することができる。
また、分類装置1の異常検知モデル生成部32は、正常時における数値的な分類結果(対象物の数、移動速度、移動方向、又は、対象物以外の有無)を学習データの特徴として学習した異常検知モデル34を生成してもよい。そして、分類装置1の異常検知部13は、学習データが示す数量的な特徴を学習した異常検知モデル34を用いて、取得部で取得された入力データが、学習データの特徴を有する場合に正常、前記学習データの特徴を有さない場合に異常を示す検知結果を含む検知結果データを出力してもよい。対象物の移動速度の場合、分類装置1は、例えば、正常時における学習データの特徴として、「自動車」の「時速1~60KM」の「移動速度」を学習したものとする。この場合、分類装置1は、「自動車」の「移動速度」が「時速1~60KM」の場合に正常、それ以外の場合に異常を示す検知結果を含む検知結果データを出力する。このように、分類装置1の異常検知部13は、ビデオカメラで撮影された映像を入力データとすることにより、異常な混雑、異常な動き(速度、方向)、異常な物の存在(ゴミ、忘れ物、自転車、自動車、盗難)を検知することができる。
上述した分類装置1が実施する処理は、コンピュータを機能させるためのプログラムとして構成されてもよい。
1 分類装置、 11 取得部、 12 分類部、 13 異常検知部、 14 出力部、 15 異常データ記憶部、 16 クラスタリング部、 2 分類モデル学習部、 21 データ取得部、 22 分類モデル生成部、 23 分類モデル記憶部、 24 分類モデル、 3 異常検知モデル学習部、 31 データ取得部、 32 異常検知モデル生成部、 33 異常検知モデル記憶部、 34 異常検知モデル、 41 CPU、 42 RAM、 43 ROM、 45 通信I/F

Claims (9)

  1. 入力データの分類結果を含む出力データを出力する分類装置であって、
    前記入力データを取得する取得部と、
    学習データを用いて学習して生成された分類モデルを用いて、前記取得部で取得された前記入力データを分類した分類結果を出力する分類部と、
    前記学習データの特徴を学習して生成された異常検知モデルを用いて、前記取得部で取得された前記入力データの特徴が、前記学習データの特徴を有する場合に正常、前記学習データの特徴を有さない場合に異常を示す検知結果を含む検知結果データを出力する異常検知部と、
    前記異常検知部の検知結果が正常を示す場合、前記分類部の分類結果を含む出力データを出力する出力部と
    を備えることを特徴とする分類装置。
  2. 前記分類部は、
    前記学習データと教師データを用いた教師あり学習により前記入力データを分類するために生成された分類モデルを用いて、前記取得部で取得された前記入力データを分類した分類結果を出力すること
    を特徴とする請求項1に記載の分類装置。
  3. 前記異常検知部は、
    前記学習データを用いた教師なし学習により前記学習データの特徴を学習して生成された異常検知モデルを用いて、前記入力データの正常、又は、異常を検知すること
    を特徴とする請求項1又は2に記載の分類装置。
  4. 前記出力部は、
    前記異常検知部の検知結果が異常を示す場合、前記入力データを異常データとして異常データ記憶部に記憶すること
    を特徴とする請求項1に記載の分類装置。
  5. 前記異常データ記憶部に記憶された前記異常データをクラスタリングするクラスタリング部を備え、
    前記クラスタリング部でクラスタリングされた異常データを前記学習データとすること
    を特徴とする請求項4に記載の分類装置。
  6. 前記異常検知部は、
    前記学習データの特徴と前記入力データの特徴との類似度を算出し、当該類似度が所定の閾値よりも低い入力データを異常として検知すること
    を特徴とする請求項1~5の何れか1項に記載の分類装置。
  7. 前記分類部は、
    前記学習データの数値的及び/又は形状的な特徴を学習した分類モデルを用いて、前記取得部で取得された前記入力データを数値的及び/又は形状的に分類した分類結果を出力すること
    を特徴とする請求項1~6の何れか1項に記載の分類装置。
  8. 入力データを取得する取得ステップと、
    学習データを用いて学習して生成された分類モデルを用いて、前記取得ステップで取得された前記入力データを分類した分類結果を出力する分類ステップと、
    前記学習データの特徴を学習して生成された異常検知モデルを用いて、前記取得ステップで取得された前記入力データの特徴が、前記学習データの特徴を有する場合に正常、前記学習データの特徴を有さない場合に異常を示す検知結果を含む検知結果データを出力する異常検知ステップと、
    前記異常検知ステップの検知結果が正常を示す場合、前記分類ステップの分類結果を含む出力データを出力する出力ステップと、
    を備えることを特徴とする分類方法。
  9. 入力データを取得する取得ステップと、
    学習データを用いて学習して生成された分類モデルを用いて、前記取得ステップで取得された前記入力データを分類した分類結果を出力する分類ステップと、
    前記学習データの特徴を学習して生成された異常検知モデルを用いて、前記取得ステップで取得された前記入力データの特徴が、前記学習データの特徴を有する場合に正常、前記学習データの特徴を有さない場合に異常を示す検知結果を含む検知結果データを出力する異常検知ステップと、
    前記異常検知ステップの検知結果が正常を示す場合、前記分類ステップの分類結果を含む出力データを出力する出力ステップと、
    をコンピュータに実行させることを特徴とするプログラム。
JP2020085749A 2020-05-15 2020-05-15 分類装置、分類方法、及び、プログラム Active JP7006724B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020085749A JP7006724B2 (ja) 2020-05-15 2020-05-15 分類装置、分類方法、及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020085749A JP7006724B2 (ja) 2020-05-15 2020-05-15 分類装置、分類方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2021179885A JP2021179885A (ja) 2021-11-18
JP7006724B2 true JP7006724B2 (ja) 2022-01-24

Family

ID=78511608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020085749A Active JP7006724B2 (ja) 2020-05-15 2020-05-15 分類装置、分類方法、及び、プログラム

Country Status (1)

Country Link
JP (1) JP7006724B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102473778B1 (ko) * 2022-02-18 2022-12-05 주식회사 위니드소프트 인공지능 기반의 스마트 화재감지장치, 이를 포함하는 비화재보 분석 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017167834A (ja) 2016-03-16 2017-09-21 セコム株式会社 学習データ選択装置
JP2019159669A (ja) 2018-03-12 2019-09-19 オムロン株式会社 制御装置、制御システム、制御方法及び制御プログラム
JP2020042737A (ja) 2018-09-13 2020-03-19 株式会社東芝 モデル更新支援システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017167834A (ja) 2016-03-16 2017-09-21 セコム株式会社 学習データ選択装置
JP2019159669A (ja) 2018-03-12 2019-09-19 オムロン株式会社 制御装置、制御システム、制御方法及び制御プログラム
JP2020042737A (ja) 2018-09-13 2020-03-19 株式会社東芝 モデル更新支援システム

Also Published As

Publication number Publication date
JP2021179885A (ja) 2021-11-18

Similar Documents

Publication Publication Date Title
Canizo et al. Multi-head CNN–RNN for multi-time series anomaly detection: An industrial case study
US20220222929A1 (en) Method and device for testing the robustness of an artificial neural network
CN109697434B (zh) 一种行为识别方法、装置和存储介质
US20180204068A1 (en) Semantic representation module of a machine-learning engine in a video analysis system
KR102306658B1 (ko) 이종 도메인 데이터 간의 변환을 수행하는 gan의 학습 방법 및 장치
Andrews Sobral et al. Highway traffic congestion classification using holistic properties
CN110263728B (zh) 基于改进的伪三维残差神经网络的异常行为检测方法
JP7007829B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20130177235A1 (en) Evaluation of Three-Dimensional Scenes Using Two-Dimensional Representations
JP2018520404A (ja) ニューラルネットワークのためのトレーニング基準としてのフィルタ特異性
Kundu et al. Advancements and recent trends in emotion recognition using facial image analysis and machine learning models
US20190108400A1 (en) Actor-deformation-invariant action proposals
Zhao et al. Driver drowsiness recognition via transferred deep 3D convolutional network and state probability vector
JP7006724B2 (ja) 分類装置、分類方法、及び、プログラム
CN116343080A (zh) 一种动态稀疏关键帧视频目标检测方法、装置及存储介质
Madan et al. Temporal cues from socially unacceptable trajectories for anomaly detection
WO2021200392A1 (ja) データ調整システム、データ調整装置、データ調整方法、端末装置及び情報処理装置
Tanchotsrinon et al. Facial expression recognition using graph-based features and artificial neural networks
US20230260259A1 (en) Method and device for training a neural network
CN113994349A (zh) 用于训练机器学习系统的方法和设备
Sharan et al. Multi-level drowsiness detection using multi-contrast convolutional neural networks and single shot detector
CN112990428A (zh) 重复性人类活动异常运动检测
Geng [Retracted] Adaptive Gaussian Incremental Expectation Stadium Parameter Estimation Algorithm for Sports Video Analysis
Ghori et al. Automatic driver drowsiness detection system
KR102608171B1 (ko) 인공 지능 기반의 이상 탐지를 위한 장치 및 이를 위한 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211220