JP7106391B2 - 画像判定方法、画像判定装置および画像判定プログラム - Google Patents

Description

開示の実施形態は、画像判定方法、画像判定装置および画像判定プログラムに関する。

従来、機械学習を利用して、画像解析を行う技術が知られている。たとえば、特許文献１に開示の技術は、分類結果が既知である複数の画像について算出した特徴ベクトルを用いて機械学習を実行し、機械学習で得られた結果に基づいて、分類結果が未知である画像の分類を行うものである。

こうした技術を利用することにより、たとえば製造された製品の画像から、かかる製品が正常品であるか否か、また、正常品でなければ何が異常か、を分類することができる。

特開２０１５－０１１５５２号公報

しかしながら、上述した従来技術には、機械学習を利用した画像判定を簡便に且つ精度よく行ううえで、さらなる改善の余地がある。

具体的には、たとえば上述した製品の異常に傷や色ムラといった無数のパターンが存在する場合、それらのパターンをすべて分類可能な分類モデルを生成するためには、大量の学習用データの収集と長時間の学習が必要であり、煩雑である。

また、通常の運用において、取得が容易なのは正常時の正常画像であり、異常発生時の異常画像は入手が困難である。したがって、運用の初期段階等においては、十分に分類パターンを学習することが難しく、分類モデルの精度を担保できなかった。

また、正常画像であっても、いわゆる外れ値に該当するような正常画像がある場合、これを正常分として学習してしまうと、分類モデルに精度劣化が生じるおそれがある。

実施形態の一態様は、上記に鑑みてなされたものであって、機械学習を利用した画像判定を簡便に且つ精度よく行うことができる画像判定方法、画像判定装置および画像判定プログラムを提供することを目的とする。

実施形態の一態様に係る画像判定方法は、第１学習工程と、第２学習工程と、評価工程と、第１判定工程と、第２判定工程とを含む。前記第１学習工程は、正例となる学習用画像を用いた機械学習である第１学習を実行することによって、正常画像をモデル化した正常モデルを生成する。前記第２学習工程は、負例となる前記学習用画像を用いた機械学習である第２学習を実行することによって、異常画像のパターンをモデル化した異常分類モデルを生成する。前記評価工程は、判定対象画像を前記正常モデルへ入力することによって得られる該正常モデルの出力値に基づいて前記判定対象画像の正常状態からの乖離度を評価する。前記第１判定工程は、前記乖離度に基づいて前記判定対象画像が異常であるか否かを判定する。前記第２判定工程は、前記第１判定工程によって前記判定対象画像が異常であると判定された場合に、前記判定対象画像を前記異常分類モデルへ入力することによって得られる該異常分類モデルの出力値に基づいて前記パターンを判定する。また、前記第１判定工程は、前記判定対象画像が異常である場合に、前記乖離度が各画素に割り当てられたマッピング画像から前記乖離度に基づいて異常対象領域を抽出し、当該異常対象領域を前記異常分類モデルへ入力させる。また、前記第２判定工程は、当該異常対象領域が前記異常分類モデルへ入力されることによって得られる分類結果および該分類結果に対する類似度に基づいて前記パターンを判定する。

実施形態の一態様によれば、機械学習を利用した画像判定を簡便に且つ精度よく行うことができる。

図１Ａは、実施形態に係る画像判定方法の概要説明図（その１）である。 図１Ｂは、実施形態に係る画像判定方法の概要説明図（その２）である。 図２は、実施形態に係る画像判定装置のブロック図である。 図３Ａは、正常画像の具体例を示す図である。 図３Ｂは、正常モデルによる検知結果の具体例を示す図（その１）である。 図３Ｃは、正常モデルによる検知結果の具体例を示す図（その２）である。 図３Ｄは、正常モデルによる検知結果の具体例を示す図（その３）である。 図３Ｅは、正常モデルによる検知結果の具体例を示す図（その４）である。 図３Ｆは、正常モデルによる検知結果の具体例を示す図（その５）である。 図３Ｇは、正常モデルによる検知結果の具体例を示す図（その６）である。 図４Ａは、画像判定装置が実行する処理手順を示すフローチャート（その１）である。 図４Ｂは、画像判定装置が実行する処理手順を示すフローチャート（その２）である。 図５は、画像判定装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。 図６Ａは、その他の実施形態に係る学習用画像の具体例を示す図（その１）である。 図６Ｂは、その他の実施形態に係る学習用画像の具体例を示す図（その２）である。 図６Ｃは、その他の実施形態に係る判定対象画像の具体例を示す図（その１）である。 図６Ｄは、その他の実施形態に係る判定対象画像の具体例を示す図（その２）である。

以下、添付図面を参照して、本願の開示する画像判定方法、画像判定装置および画像判定プログラムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

まず、実施形態に係る画像判定方法の概要について、図１Ａおよび図１Ｂを参照して説明する。図１Ａおよび図１Ｂは、実施形態に係る画像判定方法の概要説明図（その１）および（その２）である。

なお、以下では、製品として歯車が製造され、かかる歯車の出荷前検査等において不良品を検知する場合を例に挙げて説明を行う。

図１Ａに示すように、実施形態に係る画像判定方法では、まず正常な歯車の画像である「正常画像」のみを学習用データセットとした機械学習を実行し（ステップＳ１）、正常モデル１２ｃを生成する。

なお、「正常画像」であっても、照度等にばらつきがある場合があるので、図１Ａに示すように、「正常画像」にも複数の正常パターンを準備することが好ましい。これにより、照度等のばらつきに頑健な正常モデル１２ｃを生成することが可能となる。

そして、実施形態に係る画像判定方法では、生成した正常モデル１２ｃへ判定対象となる「判定対象画像」を入力し、これにより正常モデル１２ｃが出力する出力値に基づいて正常との誤差（以下、「正常状態からの乖離度」または単に「乖離度」と言う）を画素ごとに算出する（ステップＳ２）。そして、かかる乖離度の総和が大きければ、異常と判定する（ステップＳ３）。

すなわち、実施形態に係る画像判定方法では、「正常画像」のみに基づく正常モデル１２ｃにより、まず正常か異常かを判定することとした。つまり、実施形態に係る画像判定方法では、正常状態からの乖離度に基づき異常を検知するため、多種多量の異常パターンを学習していなくとも、未知の異常を異常として検知することが可能である。これにより、運用初期で学習用データが少ない段階でも、正常モデル１２ｃを用いた異常判定が可能となる。

なお、図３Ｂ等を用いた説明で後述するが、実施形態に係る画像判定方法では、ステップＳ２で算出した画素ごとの乖離度が割り当てられたマッピング画像を生成し、かかるマッピング画像から異常とされる異常対象領域を抽出する。かかる異常対象領域に基づいては、後述する異常分類モデル１２ｄを用いた異常分類処理を行うことができる。かかる点については、図１Ｂに示す異常分類処理で述べる。

また、図１ＡのステップＳ３で異常と判定された場合であっても、抽出された異常判定領域や、これを視認する人の知見等により、誤検知と判定できる場合がある。かかる場合は、実施形態に係る画像判定方法では、該当の判定対象画像を用いた追加学習を行い（ステップＳ４）、正常モデル１２ｃを更新する。これにより、運用中においても適宜、正常モデル１２ｃの精度を向上させることができる。

ところで、上記した正常モデル１２ｃによっては、異常を検知することはできても、その異常のパターンまで分類することはできない。そこで、実施形態に係る画像判定方法では、図１Ｂに示すように、過去に検知した不良品の画像（以下、「異常画像」と言う）の異常対象領域Ｒ１，Ｒ２，Ｒ３…を学習用データセットとした機械学習を実行し（ステップＳ５）、異常分類モデル１２ｄを生成する。

すなわち、実施形態に係る画像判定方法では、正常画像をモデル化した正常モデル１２ｃだけでなく、過去の異常検知時の異常画像に基づいて異常パターンをモデル化した異常分類モデル１２ｄをあわせて用いることによって、異常パターンの分類まで行うこととした。

ここで、「異常画像」は、図中に示すように、たとえば「文字違い」や「欠け有り」といった異常パターンごとでクラスタリングされている。かかる異常画像に基づいて生成される異常分類モデル１２ｄにより、言わば不良品の異常パターンをモデル化することができる。

そして、実施形態に係る画像判定方法では、かかる異常分類モデル１２ｄに対し、たとえば正常モデル１２ｃに基づいて異常と判定された「判定対象画像」の異常対象領域ＲＸを入力する。その結果として、異常分類モデル１２ｄは、分類結果（たとえば図中の「クラスＩＤ」）とかかる分類結果に対する類似度を出力する（ステップＳ６）。

なお、ここで、分類結果に対する類似度が小さい場合、未知の異常パターンである可能性がある。そこで、かかる場合は、実施形態に係る画像判定方法では、人の知見等に基づき、新しい異常パターンの分類クラスを追加設定し、該当の異常対象領域を用いた追加学習を行い（ステップＳ７）、異常分類モデル１２ｄを更新する。これにより、運用中においても適宜、異常分類モデル１２ｄの精度を向上させることができる。

一方、分類結果に対する類似度が大きい場合は、既知の異常パターンである可能性が高いので、実施形態に係る画像判定方法では、異常分類モデル１２ｄから得た分類結果を通知することとなる（ステップＳ８）。

なお、異常分類モデル１２ｄには、図中のクラスＩＤ「００４」に示すように、外れ値を示す正常分を含むことができる。かかる外れ値の正常分を異常パターンとして含んでおき、異常分類モデル１２ｄにより分類結果としてかかるクラスＩＤ「００４」が得られたならば、これを異常でなく正常と通知することによって、仮に外れ値の正常分で正常モデル１２ｃを追加学習した場合に起こりうる正常モデル１２ｃの精度劣化を防止することができる。

以下、上述した画像判定方法を適用した画像判定装置１０の構成について、さらに具体的に説明する。

図２は、本実施形態に係る画像判定装置１０のブロック図である。なお、図２では、本実施形態の特徴を説明するために必要な構成要素を機能ブロックで表しており、一般的な構成要素についての記載を省略している。

換言すれば、図２に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。たとえば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

なお、図２を用いた説明では、これまでに既に述べた構成要素については、説明を簡略化するか、省略する場合がある。

図２に示すように、画像判定装置１０は、制御部１１と、記憶部１２とを備える。制御部１１は、取得部１１ａと、第１学習部１１ｂと、第２学習部１１ｃと、評価部１１ｄと、第１判定部１１ｅと、第２判定部１１ｆとを備える。

記憶部１２は、ハードディスクドライブや不揮発性メモリ、レジスタといった記憶デバイスであって、第１学習用データセット１２ａと、第２学習用データセット１２ｂと、正常モデル１２ｃと、異常分類モデル１２ｄと、評価情報１２ｅとを記憶する。評価情報１２ｅは、乖離度情報１２ｅａと、マッピング画像１２ｅｂと、分類結果１２ｅｃと、類似度１２ｅｄとを含む。

制御部１１は、画像判定装置１０の全体制御を行う。取得部１１ａは、クラスタリングされた学習用画像を取得する。学習用画像は、正常モデル１２ｃを生成するための第１学習用の正常画像と、異常分類モデル１２ｄを生成するための第２学習用の異常画像とを含む。

また、取得部１１ａは、第２学習における異常対象領域を取得する。かかる領域はたとえば、画像判定装置１０に接続されたキーボードやマウス、タッチパネルといった操作部２０から指定することができる。なお、予め異常対象領域の識別に関する情報を記憶部１２などに保持しておき、取得部１１ａは、かかる情報から異常対象領域を抽出することとしてもよい。異常対象領域のそれぞれには分類クラスが紐付けられている。

また、取得部１１ａは、取得した学習用画像のうちの正常画像を第１学習用データセット１２ａへ格納する。また、取得部１１ａは、異常画像のうちの異常対象領域を第２学習用データセット１２ｂへ格納する。

また、取得部１１ａは、後述する第１判定部１１ｅから誤検知との判定結果を受け付けた場合に、該当の正常画像を追加学習用として取得して、第１学習用データセット１２ａへ格納する。

また、取得部１１ａは、後述する第２判定部１１ｆから追加学習要との判定結果を受け付けた場合に、該当の異常画像の異常対象領域ＲＸを追加学習用として取得して、第２学習用データセット１２ｂへ格納する。

第１学習部１１ｂは、第１学習用データセット１２ａを取得し、これを用いた機械学習を実行して、正常モデル１２ｃを生成する。第２学習部１１ｃは、第２学習用データセット１２ｂを取得し、これを用いた機械学習を実行して、異常分類モデル１２ｄを生成する。

なお、機械学習のアルゴリズムとしては、ＶＡＥ（Variational Auto Encoder）やＧＡＮ（Generative Adversarial Network）等を用いることができる。これらのアルゴリズムについては公知であるので、ここでの詳しい説明は省略する。

評価部１１ｄは、判定対象画像を取得し、これを正常モデル１２ｃへ入力して、正常モデル１２ｃからの出力結果を受け取る。そして、評価部１１ｄは、受け取った出力結果に基づいて判定対象画像の画素ごとの乖離度を算出し、乖離度情報１２ｅａへ格納する。また、評価部１１ｄは、算出した乖離度をそれぞれ各画素に割り当てたマッピング画像１２ｅｂを生成する。

また、評価部１１ｄは、後述する第１判定部１１ｅから判定対象画像が異常との判定結果を受け付けた場合に、かかる判定結果に含まれる異常対象領域ＲＸを異常分類モデル１２ｄへ入力して、異常分類モデル１２ｄからの出力結果を受け取る。そして、評価部１１ｄは、受け取った出力結果を分類結果１２ｅｃおよび類似度１２ｅｄへ格納する。

第１判定部１１ｅは、乖離度情報１２ｅａを参照して、乖離度の総和が所定の判定閾値より大である場合に、画像判定装置１０に接続された表示部３０等を介して異常を通知する。

また、第１判定部１１ｅは、かかる乖離度の総和が所定の判定閾値より大である場合に、該当の判定対象画像を評価部１１ｄから取得して追加学習の対象となる画像であるか否か、すなわち、誤検知であるか否かを判定する。

かかる判定は、たとえば誤検知を識別する閾値を別途設けたうえで、乖離度の総和や乖離度のばらつきといった乖離度に関する統計量等がかかる閾値以上であるか否かにより行うことができる。また、第１判定部１１ｅは、該当の判定対象画像またはマッピング画像１２ｅｂを表示部３０へ表示させ、人の知見等により誤検知であるか否かを判定させて、その判定結果を受け付けるようにしてもよい。

また、第１判定部１１ｅは、誤検知であると判定された場合に、かかる判定結果を取得部１１ａへ通知するとともに、該当の判定対象画像を正常モデル１２ｃの追加学習用として取得部１１ａに取得させる。第１学習部１１ｂは、かかる追加学習用の画像に基づいて第１学習を実行し、正常モデル１２ｃを更新する。

また、第１判定部１１ｅは、誤検知でないと判定された場合に、マッピング画像１２ｅｂから異常対象領域ＲＸを抽出し、かかる異常対象領域ＲＸを含む異常との判定結果を取得部１１ａへ通知する。

第２判定部１１ｆは、分類結果１２ｅｃおよび類似度１２ｅｄを参照して、類似度１２ｅｄが所定の判定閾値より大である場合に、表示部３０等を介して分類結果１２ｅｃを通知する。

また、第２判定部１１ｆは、類似度１２ｅｄが所定の判定閾値以下である場合に、追加学習要との判定結果を取得部１１ａへ通知するとともに、該当の異常画像の異常対象領域ＲＸを異常分類モデル１２ｄの追加学習用として取得部１１ａに取得させる。

取得部１１ａは、かかる通知に基づいて、操作部２０等を介して新しい異常パターンの分類クラスの追加設定を受け付ける。第２学習部１１ｃは、かかる追加学習用の異常対象領域ＲＸおよび追加設定の内容に基づいて第２学習を実行し、異常分類モデル１２ｄを更新する。

次に、これまでの説明を分かりやすくするために、正常画像、および、正常モデル１２ｃによる検知結果の具体例を図３Ａ～図３Ｇに示す。図３Ａは、正常画像の具体例を示す図である。また、図３Ｂ～図３Ｇは、正常モデル１２ｃによる検知結果の具体例を示す図（その１）～（その６）である。

上記したように、正常モデル１２ｃの生成には、図３Ａに示すように、「正常品」の正常画像が用いられる。すなわち、第１学習用データセット１２ａには、図３Ａに示すような正常画像が格納され、第１学習部１１ｂがこれを用いて正常モデル１２ｃを生成する。なお、既に述べたように、正常画像にも照度が異なる等、複数の正常パターンを準備することが好ましい。これにより、照度のばらつきに頑健な正常モデル１２ｃを生成することが可能となる。また、異なるのは照度に限らず、たとえば輝度や彩度、角度等であってもよい。

そして、このような正常画像から生成された正常モデル１２ｃに対しては、評価部１１ｄが判定対象画像を入力することとなる。そして、その結果得られる正常モデル１２ｃの出力値に基づいて、評価部１１ｄは画素ごとの乖離度を算出するとともに、マッピング画像１２ｅｂを生成する。

ここで、図３Ｂに示す「不良品＃１」があったものとする。図中のＭ１部に示すように、「不良品＃１」は、刻印されるべき文字が違う「文字違い」の不良品である。かかる「不良品＃１」の画像が判定対象画像として入力された場合、評価部１１ｄはかかる画像を正常モデル１２ｃへ入力し、その出力値に基づいて同図の「検知結果」に示すようなマッピング画像１２ｅｂを生成する。

すなわち、図３Ｂの例の例においては、文字の刻印位置に相当する領域が明らかに他の領域とは異なるマッピング画像１２ｅｂが生成される。第１判定部１１ｅは、乖離度の総和が所定の判定閾値より大であるならば（すなわち異常ならば）、かかる他とは異なる領域を異常対象領域ＲＸとして抽出することとなる。

また、図３Ｃに示すのは、歯車の一部が欠けている（図中のＭ２部参照）「欠け有り」の「不良品＃２」である。かかる「不良品＃２」の画像が判定対象画像として入力された場合は、同図の「検知結果」に示すように、欠けの位置に相当する領域が明らかに他の領域とは異なるマッピング画像１２ｅｂが生成され、異常ならば、かかる他とは異なる領域が異常対象領域ＲＸとして抽出されることとなる。

また、図３Ｄに示すのは、内径の一部に突起が形成された（図中のＭ３部参照）「突起有り」の「不良品＃３」である。かかる「不良品＃３」の画像が判定対象画像として入力された場合は、同図の「検知結果」に示すように、突起の位置に相当する領域が明らかに他の領域とは異なるマッピング画像１２ｅｂが生成され、異常ならば、かかる他とは異なる領域が異常対象領域ＲＸとして抽出されることとなる。

また、図３Ｅに示すのは、内径が正規の寸法でない（図中のＭ４部参照）「内径違い」の「不良品＃４」である。かかる「不良品＃４」の画像が判定対象画像として入力された場合は、同図の「検知結果」に示すように、歯車の内径部に相当する領域が明らかに他の領域とは異なるマッピング画像１２ｅｂが生成され、異常ならば、かかる他とは異なる領域が異常対象領域ＲＸとして抽出されることとなる。

また、図３Ｆに示すのは、内径の周縁部が正規の寸法でない（図中のＭ５部参照）「周縁部違い」の「不良品＃５」である。かかる「不良品＃５」の画像が判定対象画像として入力された場合は、同図の「検知結果」に示すように、歯車の内径部の周縁部に相当する領域が明らかに他の領域とは異なるマッピング画像１２ｅｂが生成され、異常ならば、かかる他とは異なる領域が異常対象領域ＲＸとして抽出されることとなる。

また、図３Ｇに示すのは、汚損のある（図中のＭ６部参照）「汚損有り」の「不良品＃６」である。かかる「不良品＃６」の画像が判定対象画像として入力された場合は、同図の「検知結果」に示すように、汚損部分に相当する領域が明らかに他の領域とは異なるマッピング画像１２ｅｂが生成され、異常ならば、かかる他とは異なる領域が異常対象領域ＲＸとして抽出されることとなる。

そして、抽出された各異常対象領域ＲＸは、第２学習用データセット１２ｂへ格納され、第２学習部１１ｃがこれを用いて異常分類モデル１２ｄを生成または更新することとなる。

次に、実施形態に係る画像判定装置１０が実行する処理手順について、図４Ａおよび図４Ｂを用いて説明する。図４Ａおよび図４Ｂは、実施形態に係る画像判定装置１０が実行する処理手順を示すフローチャート（その１）および（その２）である。

図４Ａに示すように、まず学習対象期間であるか否かが判定される（ステップＳ１０１）。学習対象期間は、たとえば画像判定装置１０の運用初回や、運用前に予め正常モデル１２ｃおよび異常分類モデル１２ｄを作成しておく場合の所定期間に相当する。

ここで、学習対象期間である場合（ステップＳ１０１，Ｙｅｓ）、第１学習部１１ｂが正常画像の学習用データセット（すなわち、第１学習用データセット１２ａ）から機械学習により正常モデル１２ｃを生成する（ステップＳ１０２）。

そして、取得部１１ａが、過去に検知した異常画像中の異常対象領域と分類クラスの設定を受け付ける（ステップＳ１０３）。そして、第２学習部１１ｃが、異常対象領域の学習用データセット（すなわち、第２学習用データセット１２ｂ）から機械学習により異常分類モデル１２ｄを生成する（ステップＳ１０４）。

なお、学習対象期間でない場合（ステップＳ１０１，Ｎｏ）、ステップＳ１０５（図４Ｂ参照）へ移行する。

つづいて、図４Ｂに示すように、評価部１１ｄが、判定対象画像を正常モデル１２ｃへ入力し、画素ごとの正常状態からの乖離度を算出する（ステップＳ１０５）。そして、第１判定部１１ｅが、乖離度の総和が所定の判定閾値より大であるか否かを判定する（ステップＳ１０６）。

ここで、乖離度の総和が所定の判定閾値より大である場合（ステップＳ１０６，Ｙｅｓ）、第１判定部１１ｅは異常を通知し（ステップＳ１０７）、つづいて誤検知であるか否かを判定する（ステップＳ１０８）。なお、乖離度の総和が所定の判定閾値以下である場合（ステップＳ１０６，Ｎｏ）、処理を終了する。

ステップＳ１０８で誤検知でないと判定された場合（ステップＳ１０８，Ｎｏ）、第１判定部１１ｅが、解離度が各画素に割り当てられたマッピング画像１２ｅｂから、異常対象領域ＲＸを抽出する（ステップＳ１０９）。

一方、ステップＳ１０８で誤検知であると判定された場合（ステップＳ１０８，Ｙｅｓ）、第１学習部１１ｂが、該当の画像を追加学習分とした機械学習により正常モデル１２ｃを更新し（ステップＳ１１０）、処理を終了する。

ステップＳ１０９の後、評価部１１ｄが、異常対象領域ＲＸを異常分類モデル１２ｄへ入力し、分類結果と類似度を算出する（ステップＳ１１１）。

そして、第２判定部１１ｆが、類似度が所定の判定閾値より大であるか否かを判定する（ステップＳ１１２）。ここで、類似度が所定の判定閾値より大である場合（ステップＳ１１２，Ｙｅｓ）、第２判定部１１ｆは、分類結果を通知する（ステップＳ１１３）。

一方、類似度が所定の判定閾値以下である場合（ステップＳ１１２，Ｎｏ）、取得部１１ａが、操作部２０等を介した該当の異常対象領域ＲＸの分類クラスの追加設定を受け付ける（ステップＳ１１４）。

そして、第２学習部１１ｃが、該当の異常対象領域ＲＸを追加学習分とした機械学習により異常分類モデル１２ｄを更新し（ステップＳ１１５）、処理を終了する。

なお、上述してきた実施形態に係る画像判定装置１０は、たとえば図５に示すような構成のコンピュータ６０によって実現される。図５は、画像判定装置１０の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ６０は、ＣＰＵ（Central Processing Unit）６１、ＲＡＭ（Random Access Memory）６２、ＲＯＭ（Read Only Memory）６３、ＨＤＤ（Hard Disk Drive）６４、通信インタフェース（Ｉ／Ｆ）６５、入出力インタフェース（Ｉ／Ｆ）６６、およびメディアインタフェース（Ｉ／Ｆ）６７を備える。

ＣＰＵ６１は、ＲＯＭ６３またはＨＤＤ６４に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ６３は、コンピュータ６０の起動時にＣＰＵ６１によって実行されるブートプログラムや、コンピュータ６０のハードウェアに依存するプログラム等を格納する。

ＨＤＤ６４は、ＣＰＵ６１によって実行されるプログラムおよび当該プログラムによって使用されるデータ等を格納する。通信インタフェース６５は、通信ネットワークを介して他の機器からデータを受信してＣＰＵ６１へ送り、ＣＰＵ６１が生成したデータを、通信ネットワークを介して他の機器へ送信する。

ＣＰＵ６１は、入出力インタフェース６６を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。ＣＰＵ６１は、入出力インタフェース６６を介して、入力装置からデータを取得する。また、ＣＰＵ６１は、生成したデータを、入出力インタフェース６６を介して出力装置へ出力する。

メディアインタフェース６７は、記録媒体６８に格納されたプログラムまたはデータを読み取り、ＲＡＭ６２を介してＣＰＵ６１に提供する。ＣＰＵ６１は、当該プログラムを、メディアインタフェース６７を介して記録媒体６８からＲＡＭ６２上にロードし、ロードしたプログラムを実行する。記録媒体６８は、たとえばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

たとえば、コンピュータ６０が実施形態に係る画像判定装置１０として機能する場合、コンピュータ６０のＣＰＵ６１は、ＲＡＭ６２上にロードされたプログラムを実行することにより、制御部１１の各機能を実現する。また、ＨＤＤ６４には、記憶部１２内のデータが記憶される。コンピュータ６０のＣＰＵ６１は、これらのプログラムを、記録媒体６８から読み取って実行するが、他の例として、他の装置から、通信ネットワークを介してこれらのプログラムを取得してもよい。

上述してきたように、実施形態に係る画像判定装置１０は、第１学習部１１ｂと、第２学習部１１ｃと、評価部１１ｄと、第１判定部１１ｅと、第２判定部１１ｆとを含む。第１学習部１１ｂは、正例となる学習用画像を用いた機械学習である第１学習を実行することによって、正常画像をモデル化した正常モデル１２ｃを生成する。第２学習部１１ｃは、負例となる学習用画像を用いた機械学習である第２学習を実行することによって、異常画像のパターンをモデル化した異常分類モデル１２ｄを生成する。評価部１１ｄは、判定対象画像を正常モデル１２ｃへ入力することによって得られる正常モデル１２ｃの出力値に基づいて判定対象画像の正常状態からの乖離度を評価する。第１判定部１１ｅは、上記乖離度に基づいて判定対象画像が異常であるか否かを判定する。第２判定部１１ｆは、第１判定部１１ｅによって判定対象画像が異常であると判定された場合に、判定対象画像を異常分類モデル１２ｄへ入力することによって得られる異常分類モデル１２ｄの出力値に基づいて上記パターンを判定する。

したがって、本実施形態に係る画像判定装置１０によれば、機械学習を利用した画像判定を簡便に且つ精度よく行うことができる。

（その他の実施形態）
ところで、上述した実施形態では、画像判定装置１０を歯車の不良品の検知に用いる場合を例に挙げたが、無論、画像判定装置１０の用途を限定するものではない。たとえば、画像判定装置１０は、駐車場の満空判別に用いることができる。

図６Ａおよび図６Ｂは、その他の実施形態に係る学習用画像の具体例を示す図（その１）および（その２）である。また、図６Ｃおよび図６Ｄは、その他の実施形態に係る判定対象画像の具体例を示す図（その１）および（その２）である。

満空判別は、駐車場の駐車スペースの空き状況を判定するものである。かかる満空判別において駐車場の完全空車状態を正例とする場合、学習用画像は図６Ａおよび図６Ｂに示すようなものとなる。

なお、図６Ａおよび図６Ｂに示すように、同じ完全空車状態であっても、たとえば照度の異なる画像が学習用画像として取得されることで、時間帯や天候などの違いによる結果のばらつきを吸収した画像判定を行うことが可能となる。なお、既に述べたが、異なるのは照度に限らず、たとえば輝度や彩度、角度などであってもよい。

そして、満空判別は、このような学習用画像に基づいて作成された正常モデル１２ｃおよび異常分類モデル１２ｄにより、駐車場の駐車スペースの空き状況を判定することとなる。たとえば、図６Ｃに示す画像が判定対象画像として入力されるものとする。

かかる場合、正常モデル１２ｃから得られる乖離度により、少なくとも完全空車状態ではないことを判定することができる。また、そのうえで、異常と判定されるならば、異常対象領域ＲＸとしては、図６Ｃで車両が駐車中の領域、すなわち図６Ａに示す領域Ｒ１１，Ｒ１２に対応する領域が抽出される。そして、かかる異常対象領域ＲＸが異常分類モデル１２ｄへ入力されることによって、たとえば領域Ｒ１１，Ｒ１２に車両が駐車中であるとの分類結果を得ることができる。なお、分類結果のパターンとしては、車両の駐車中に限らず、人がいる、油染みがある、影が差している等、様々な状況を網羅することが可能である。

なお、図６Ｃは「照度：高」の画像であるが、これは図６Ａに示したのと同じく「照度：高」の学習用画像を学習していたことにより、精度よく判定することが可能となる。

また、たとえば、図６Ｄに示す画像が判定対象画像として入力されるものとする。かかる場合も、正常モデル１２ｃから得られる乖離度により、少なくとも完全空車状態ではないことを判定することができ、そのうえで、図６Ｄで車両が駐車中の領域、すなわち図６Ｂに示す領域Ｒ１３，Ｒ１４に対応する領域が異常対象領域ＲＸとして抽出される。そして、かかる異常対象領域ＲＸが異常分類モデル１２ｄへ入力されることによって、たとえば領域Ｒ１３，Ｒ１４に車両が駐車中であるとの分類結果を得ることができる。なお、図６Ｄは「照度：低」の画像であるが、これは図６Ｂに示したのと同じく「照度：低」の学習用画像を学習していたことにより、精度よく判定することが可能となる。

また、図６Ｃおよび図６Ｄに示した例は、普通乗用車が駐車されている場合を示すものであるが、駐車スペースごとに異なる種類の車両、たとえば軽車両や、トラックなどが駐車されている画像を学習用画像として用いることで、該当の駐車スペースに駐車中の車両の種類まで特定することが可能である。また、無論、車両が駐車中であると判定された駐車スペースの数を計数することで、残りの駐車スペースの数を報知することも可能となる。

また、上述した実施形態では、機械学習のアルゴリズムとしてＶＡＥやＧＡＮを用いることとしたが、用いるアルゴリズムを限定するものではない。したがって、ＳＶＭ（Support Vector Machine）のようなパターン識別器を用いたサポートベクタ回帰等の回帰分析手法により機械学習を実行し、正常モデル１２ｃおよび異常分類モデル１２ｄを生成してもよい。また、ここで、パターン識別器はＳＶＭに限らず、たとえばアダブースト（AdaBoost）などであってもよい。また、ランダムフォレストなどを用いてもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１０ 画像判定装置
１１ａ 取得部
１１ｂ 第１学習部
１１ｃ 第２学習部
１１ｄ 評価部
１１ｅ 第１判定部
１１ｆ 第２判定部
１２ａ 第１学習用データセット
１２ｂ 第２学習用データセット
１２ｃ 正常モデル
１２ｄ 異常分類モデル
１２ｅ 評価情報
１２ｅａ 乖離度情報
１２ｅｂ マッピング画像
１２ｅｃ 分類結果
１２ｅｄ 類似度

Claims (6)

1. 正例となる学習用画像を用いた機械学習である第１学習を実行することによって、正常画像をモデル化した正常モデルを生成する第１学習工程と、
   負例となる前記学習用画像を用いた機械学習である第２学習を実行することによって、異常画像のパターンをモデル化した異常分類モデルを生成する第２学習工程と、
   判定対象画像を前記正常モデルへ入力することによって得られる該正常モデルの出力値に基づいて前記判定対象画像の正常状態からの乖離度を評価する評価工程と、
   前記乖離度に基づいて前記判定対象画像が異常であるか否かを判定する第１判定工程と、
   前記第１判定工程によって前記判定対象画像が異常であると判定された場合に、前記判定対象画像を前記異常分類モデルへ入力することによって得られる該異常分類モデルの出力値に基づいて前記パターンを判定する第２判定工程と
   を含み、
   前記第１判定工程は、
   前記判定対象画像が異常である場合に、前記乖離度が各画素に割り当てられたマッピング画像から前記乖離度に基づいて異常対象領域を抽出し、当該異常対象領域を前記異常分類モデルへ入力させ、
   前記第２判定工程は、
   当該異常対象領域が前記異常分類モデルへ入力されることによって得られる分類結果および該分類結果に対する類似度に基づいて前記パターンを判定する
   ことを特徴とする画像判定方法。
2. 前記第１判定工程は、
   前記乖離度に基づいて前記判定対象画像が異常であるとの判定結果が誤検知であると判定される場合に、前記判定対象画像を追加学習分とした前記第１学習を前記第１学習工程に実行させることによって前記正常モデルを更新する
   ことを特徴とする請求項１に記載の画像判定方法。
3. 前記第２判定工程は、
   前記類似度が所定の判定閾値以下である場合に、前記異常対象領域を追加学習分とした前記第２学習を前記第２学習工程に実行させることによって前記異常分類モデルを更新する
   ことを特徴とする請求項１または２に記載の画像判定方法。
4. 前記第２学習工程は、
   外れ値を示す前記正常画像を前記負例となる前記学習用画像として用いて前記第２学習を実行し、
   前記第２判定工程は、
   前記類似度が所定の判定閾値より大であり、かつ、前記分類結果が前記外れ値の前記正常画像を示す場合に、前記判定対象画像は正常であると通知する
   ことを特徴とする請求項１、２または３に記載の画像判定方法。
5. 正例となる学習用画像を用いた機械学習である第１学習を実行することによって、正常画像をモデル化した正常モデルを生成する第１学習部と、
   負例となる前記学習用画像を用いた機械学習である第２学習を実行することによって、異常画像のパターンをモデル化した異常分類モデルを生成する第２学習部と、
   判定対象画像を前記正常モデルへ入力することによって得られる該正常モデルの出力値に基づいて前記判定対象画像の正常状態からの乖離度を評価する評価部と、
   前記乖離度に基づいて前記判定対象画像が異常であるか否かを判定する第１判定部と、
   前記第１判定部によって前記判定対象画像が異常であると判定された場合に、前記判定対象画像を前記異常分類モデルへ入力することによって得られる該異常分類モデルの出力値に基づいて前記パターンを判定する第２判定部と
   を備え、
   前記第１判定部は、
   前記判定対象画像が異常である場合に、前記乖離度が各画素に割り当てられたマッピング画像から前記乖離度に基づいて異常対象領域を抽出し、当該異常対象領域を前記異常分類モデルへ入力させ、
   前記第２判定部は、
   当該異常対象領域が前記異常分類モデルへ入力されることによって得られる分類結果および該分類結果に対する類似度に基づいて前記パターンを判定する
   ことを特徴とする画像判定装置。
6. 正例となる学習用画像を用いた機械学習である第１学習を実行することによって、正常画像をモデル化した正常モデルを生成する第１学習手順と、
   負例となる前記学習用画像を用いた機械学習である第２学習を実行することによって、異常画像のパターンをモデル化した異常分類モデルを生成する第２学習手順と、
   判定対象画像を前記正常モデルへ入力することによって得られる該正常モデルの出力値に基づいて前記判定対象画像の正常状態からの乖離度を評価する評価手順と、
   前記乖離度に基づいて前記判定対象画像が異常であるか否かを判定する第１判定手順と、
   前記第１判定手順によって前記判定対象画像が異常であると判定された場合に、前記判定対象画像を前記異常分類モデルへ入力することによって得られる該異常分類モデルの出力値に基づいて前記パターンを判定する第２判定手順と
   をコンピュータに実行させ、
   前記第１判定手順は、
   前記判定対象画像が異常である場合に、前記乖離度が各画素に割り当てられたマッピング画像から前記乖離度に基づいて異常対象領域を抽出し、当該異常対象領域を前記異常分類モデルへ入力させ、
   前記第２判定手順は、
   当該異常対象領域が前記異常分類モデルへ入力されることによって得られる分類結果および該分類結果に対する類似度に基づいて前記パターンを判定する
   ことを特徴とする画像判定プログラム。

Images