JPWO2020071162A1 - 教師データ生成装置、検査装置およびコンピュータプログラム - Google Patents

Abstract

学習用プログラムに入力する教師データを素早く大量に生成することが可能な教師データ生成装置を提供する。本発明の教師データ生成装置(１２）は、機械学習に用いられる教師データを生成する。教師データ生成装置が生成した教師データを用いて機械学習により生成される学習済みモデルは、被検査物を撮像した画像を当該学習済みモデルに入力することにより被検査物が正常品か否かの検査を行う検査装置で用いられる。教師データ生成装置は、被検査物が写る入力画像から、所定の条件を満たす判定対象を含んだ１以上の判定対象画像を抽出する判定対象画像抽出部（１２０）と、判定対象画像に写る被検査物を正常品と非正常品のいずれかに振り分ける振分操作に基づき、それぞれの判定対象画像と振り分けの結果とを対応付ける振分処理部（２５）と、それぞれの判定対象画像と振り分けの結果とが対応付けられた教師データを記憶する教師データ記憶部（１２６）とを備える。

Description

本発明は、被検査物を撮影した画像に基づき被検査物を検査する検査装置において、被検査物の良否判定を行うための学習済みモデルを生成すべく機械学習させる教師データを生成する教師データ生成装置に関する。

Ｘ線検査装置は、Ｘ線発生部とＸ線検出部とを対向させ、これらの間を通るように被検査物をコンベア等の搬送装置で順次搬送し、被検査物がＸ線発生部とＸ線検出部との間を通過する際に得られるＸ線透過データを用いて、被検査物のＸ線透過画像を構築し、当該Ｘ線透過画像を用いて被検査物を非破壊で検査する装置である。その用途としては、例えば、包装された商品の内容物に異物が混入していないかを検査する異物混入検査、内容物が所定の個数を備えているかを検査する個数検査、内容物にひび割れ等の欠陥が発生していないかを検査する欠陥検査などがある。これらの検査は食品、医薬品、工業部品等の様々な物品に対して行われる。また、Ｘ線検査装置以外にも、被検査物を撮影した画像に基づき被検査物を検査する検査装置が実用化されている。

この種の検査装置では、所定の判定基準に基づき、被検査物を良品と不良品とに振り分ける。従来、この判定基準は予め定義されたものであったが、昨今の機械学習技術の発達により、学習用プログラムに教師データ（学習用データ）を入力することにより生成される学習済みモデルを判定基準として用いるものが提案されている（例えば特許文献１を参照）。

特開２０１１−０８９９２０号公報

学習済みモデルは、多数の教師データを入力して学習を繰り返すことにより判定の精度を改善することが可能であるが、これまで教師データを効率よく大量に準備することは容易でなかった。特に画像を教師データとする場合には、その画像の条件（サイズ、コントラスト等）を揃えつつ、合否の判定結果を伴った画像を大量に準備するために、多大な労力が必要とされていた。

本発明は上記の課題に鑑みてなされたものであり、学習用プログラムに入力する教師データを素早く大量に生成することが可能な教師データ生成装置を提供することを目的とする。

本発明の教師データ生成装置は機械学習に用いられる教師データを生成する。教師データ生成装置が生成した教師データを用いて機械学習により生成される学習済みモデルは、被検査物を撮像した画像を当該学習済みモデルに入力することにより被検査物が正常品か否かの検査を行う検査装置で用いられるものである。教師データ生成装置は、被検査物が写る入力画像から、所定の条件を満たす判定対象を含んだ１以上の判定対象画像を抽出する判定対象画像抽出部と、判定対象画像に写る被検査物を正常品と非正常品のいずれかに振り分ける振分操作に基づき、それぞれの判定対象画像と振り分けの結果とを対応付ける振分処理部と、それぞれの判定対象画像と振り分けの結果とが対応付けられた教師データを記憶する教師データ記憶部とを備える。

本発明では、判定対象画像抽出部は、入力画像に対し画像処理を行い、処理済み画像を出力する画像処理部と、所定の判定条件に基づき、処理済み画像に含まれる判定対象を特定する判定対象特定部と、判定対象特定部が特定した判定対象を含む判定対象画像を、処理済み画像から切り出して出力する画像切出し部とを備えるとよい。

本発明では、画像切出し部は、判定対象特定部が特定した判定対象を含む最小矩形を特定し、当該最小矩形に含まれる画像を所定のサイズにリサイズした画像を判定対象画像として、出力するとよい。

本発明では、判定対象画像抽出部は、判定対象画像の明暗を正規化して出力するとよい。

本発明では、ディスプレイと、ディスプレイによる表示を制御する表示制御手段とをさらに備えるとよい。そして、表示制御手段は、ディスプレイの第１領域に複数の判定対象画像を並べて表示させるとともに、ディスプレイの第２領域に入力画像を、判定対象画像に対応する領域を指し示す表示を重畳しつつ表示させるとよい。

本発明では、表示制御手段は、ディスプレイの第１領域に表示された複数の判定対象画像のうちの１つが選択されると、ディスプレイの第２領域に表示された入力画像における当該選択された判定画像に対応する領域を指し示す表示をさせるとよい。

本発明に係るコンピュータプログラムは、コンピュータを上記のいずれかの教師データ生成装置として機能させるとよい。

検査装置１の構成を示すブロック図である。 検査部１０の構成の一例を示す図である。 教師データ生成部１２の構成を示すブロック図である。 判定対象特定部における所定の判定条件の一例を示す図である。 判定対象特定部における所定の判定条件の他の例を示す図である。 判定対象画像の明度の正規化における入出力の関係を示すグラフである。 判定対象以外のものの映り込みを削除する処理を示す図である。 判定対象画像を表示する画面の一例を示す図である。 判定対象画像表示領域おける判定結果を示す情報の表示例を示す図である。 情報表示領域におけるスコアや判定結果等の表示例を示す図である。 学習モードでの検査装置１の動作の手順を示すフローチャートである。 検査モードでの検査装置１の動作の手順を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。なお、以下の説明では、同一の部材には同一の符号を付し、一度説明した部材については適宜その説明を省略する。

〔検査装置１の構成〕
図１は、被検査物２が正常品か否かを検査する検査装置１の構成を示すブロック図である。検査装置１は、検査部１０、制御部１１、ディスプレイ１６及び操作インタフェース１８を備える。検査装置１が検査する被検査物２は、正常品２Ａの中に除去すべき不良品（例えば欠け、割れ等のある製品、相対質量や形状が異常な製品、シール部に噛み込みが生じた製品等）、異物（例えば、小石、骨等）が混入したものである。以下では、これらの不良品、異物等の被検査物２から除去すべきものを総称して除去対象物２Ｂと呼ぶ。除去対象物２Ｂは本発明における非正常品に相当する。

検査装置１は、検査モードと学習モードを備える。検査モードでは、検査部１０にて撮影した被検査物２の画像に対し機械学習実行部１４により生成される学習済みモデルを適用して被検査物２に混入した除去対象物２Ｂを検出する検査を行う。検査モードにおいて、検査装置１は、被検査物２を撮影した画像を解析することにより被検査物２に混入している除去対象物２Ｂを検出する。一方、学習モードでは、検査部１０等で撮影した被検査物２の画像をもとに教師データ生成部１２により教師データを生成して、この教師データを機械学習実行部１４に入力し、学習済みモデルに学習を行わせる。

検査部１０は、検査を行うために必要な被検査物２の画像を撮影する。検査部１０の例としては、被検査物２のＸ線透過画像を撮像するＸ線検査装置が挙げられるが、被検査物２の画像に基づき検査を行う検査装置であればこれに限定されない。検査モードにおいて、検査部１０は、撮影した被検査物２の画像に対して機械学習実行部１４により予め生成された学習済みモデルを適用して被検査物２の検査を行う。また、検査部１０は、撮影した被検査物２の画像を、学習モードにおいて教師データ生成部１２への入力画像として提供する。

図２は、検査部１０の構成の一例を示している。この例では、電磁波としてＸ線を照射してＸ線透過画像を検査のための画像として取得する。検査部１０は、搬送部１０１、電磁波照射部１０２、電磁波検出部１０３、画像構成部１０４、記憶部１０５、及び判定部１０６を備える。

搬送部１０１は、１または複数のベルトコンベアで構成され、画像を撮影する検査領域まで被検査物２を搬送し、検査領域から被検査物２を排出させる。電磁波照射部１０２は、画像を撮影するのに必要な電磁波（例えば、Ｘ線、可視光等）を、検査領域に照射する。電磁波照射部１０２は、例えば搬送部１０１における被検査物２が載置される搬送面に垂直に、電磁波を照射するように配置される。検査対象領域は、電磁波照射部１０２から照射される電磁波が外部に漏れるのを防ぐべく、必要に応じて遮蔽カバーで覆われる。

電磁波検出部１０３は、搬送部１０１を挟んで電磁波照射部１０２と対向する位置に配置される。電磁波検出部１０３は、電磁波照射部１０２が照射した電磁波を検出可能な検出素子を複数備え、検査領域を通過して電磁波検出部１０３に到達する電磁波の空間的分布を検出する。電磁波検出部１０３は、例えば、ラインセンサ、エリアセンサ、ＴＤＩ（Time Delay Integration）センサ等とするとよい。

電磁波照射部１０２と電磁波検出部１０３の間の検査領域に被検査物２が存在すると、電磁波照射部１０２から照射された電磁波は被検査物２の各位置における当該電磁波の透過率に応じて減衰されて電磁波検出部１０３に到達することになり、被検査物２の内部の状態が電磁波検出部１０３によって検出される電磁波強度のコントラストの分布として観測される。

画像構成部１０４は、電磁波検出部１０３で検出した電磁波強度のコントラストの分布を２次元の画像として構成し、記憶部１０５に当該画像のデータを格納する。記憶部１０５は、ＲＡＭ、ハードディスク等の記憶装置により構成される。

判定部１０６は、画像構成部１０４が構成した被検査物２の画像に機械学習実行部１４により予め生成された学習済みモデルを適用して、被検査物２の検査（良否の判定）を行う。なお、画像構成部１０４及び判定部１０６は、後述する制御部１１の一部として構成されてもよい。

ディスプレイ１６は、液晶ディスプレイ等の表示装置であり、検査装置１の操作画面や各種画像を表示する。操作インタフェース１８は、スイッチ、マウス、キーボード等の入力手段であり、ユーザによる検査装置の操作入力を受け付ける。

制御部１１は検査装置１の各構成要素の制御を司る。制御部１１は、例えばＣＰＵ、記憶素子等により構成されるコンピュータにより構成される。制御部１１は、教師データ生成部１２と機械学習実行部１４とを含んでいる。教師データ生成部１２は本発明の教師データ生成装置に相当し、機械学習実行部１４は本発明の学習済みモデル生成装置に相当する。

教師データ生成部１２は、検査装置１の学習モードにおいて、機械学習実行部１４にて実施される機械学習に用いられる教師データを生成する。図３は、教師データ生成部１２の構成を示すブロック図である。図３に示すように、教師データ生成部１２は、判定対象画像抽出部１２０、表示制御部１２４、振分処理部１２５、及び教師データ記憶部１２６を備える。

判定対象画像抽出部１２０は、被検査物２が写る入力画像から除去対象物２Ｂとして検出すべきものの候補が写る１以上の判定対象画像を抽出する。図３に示したように、判定対象画像抽出部１２０は、画像処理部１２１、判定対象特定部１２２、及び画像切出し部１２３を備える。

画像処理部１２１は、入力画像に対しフィルタリング等の画像処理を行い、処理済み画像を出力する。画像処理部１２１が行う画像処理は、例えば、平均化フィルタ、ガウシアンフィルタ等で画像をぼかしノイズを軽減する処理や、微分フィルタ（Ｒｏｂｅｒｔｓフィルタ、Ｐｒｅｗｉｔｔフィルタ、Ｓｏｂｅｌフィルタ等）やラプラシアンフィルタなどの特徴抽出フィルタにより例えばエッジを強調する処理等とするとよい。

判定対象特定部１２２は、所定の判定条件に基づき、処理済み画像に含まれる判定対象を特定する。所定の判定条件としては、例えば、一定の明るさの基準レベルを設定し、それよりも暗い（あるは明るい）部分を判定対象とする方法（図４）や、画像内における明るさの大まかな変化（被検査物２の厚さの変化とほぼ一致する）に沿って位置によって変化する基準レベルを設定し、基準レベルよりも暗い（あるは明るい）部分を判定対象とする方法（図５）が挙げられる。基準レベルを明るさの大まかな変化からどの程度離すかは、想定する除去対象物２Ｂ（異物）の密度やサイズに応じて設定するとよい。これらの明るさに基づく判定に加え、検出したい除去対象物２Ｂに応じて、形状、面積などの条件を適宜組み合わせるとよい。

画像処理部１２１にて行われる画像処理の種類や条件（以下、これらを総称して画像処理条件と呼ぶ）、及び判定対象特定部１２２における判定条件は、入力画像の中から抽出しようとする除去対象物２Ｂの候補の種類に応じて選択される。例えば、厚みが一定の被検査物２に対しては、一定の明るさの基準レベルに基づく判定条件を用いるとよく、厚みが一定でない被検査物２に対しては、明るさの大まかな変化に沿って変化する基準レベルを用いるとよい。

画像切出し部１２３は、判定対象特定部１２２が特定した判定対象を含む判定対象画像を、処理済み画像から切り出して出力する。画像切出し部１２３が行う処理の具体例としては、画像切出し部１２３は、判定対象特定部１２２が特定した判定対象を含む最小矩形を特定し、当該最小矩形に含まれる画像を所定のサイズにリサイズした画像を判定対象画像として出力するとよい。あるいは、設定画面等から切り出しサイズ（矩形の縦及び横のピクセル数）をユーザが設定できるようにして、この設定された切り出しサイズで画像切出し部１２３が判定対象を含む画像を切出すとともに所定のサイズにリサイズして判定対象画像として出力してもよい。判定対象特定部１２２が特定した判定対象の中に設定された切り出しサイズに収まらない大きさのものが含まれる場合、画像切出し部１２３は、そのような判定対象が設定されたサイズの領域に含まれるように画像を縮小した上で、設定された切り出しサイズで画像を切り出すとよい。サイズの揃った画像は機械学習の教師データとして好適である。

画像切出し部１２３は、判定対象画像に対しさらに画像処理を施してもよい。例えば、画像切出し部１２３は、判定対象画像の明暗を正規化して出力するとよい。具体的には、図６に示したように、画像切出し部１２３は、もとの判定対象画像内に含まれる最も暗い画素の明度を最大限暗くなるように（最小明度Ｉ_ｍｉｎとなるように）、かつ、最も明るい画素の明度を最大限明るくなるように（最大明度Ｉ_ｍａｘとなるように）、明度を正規化するとよい。このようにすれば、各判定対象画像を明るさが揃ったコントラストの強い画像とすることができ、機械学習に適した画像とすることができる。なお、正規化の方法は上記に限定されない。また、画像切出し部１２３は、判定対象画像に写りこんだ判定対象以外のものを削除する処理を行ってもよい。具体的には、図７に示したように、画像切出し部１２３は、もとの判定対象画像内に含まれる最も大きなブロブ（ＢＬＯＢ；明度が所定値以下（二値化した場合には値が０）となる一塊の画素群）以外のブロブを消去する処理を行うとよい。このようにすれば、判定対象以外のものの映り込みが判定に影響することを防ぐことができる。

表示制御部１２４は、ディスプレイでの表示を制御する。なお、表示制御部１２４は、検査装置１は検査装置１内で教師データ生成部１２以外の構成と共用されるものであってもよい。表示制御部１２４は、判定対象画像抽出部１２０により抽出された判定対象画像を、ディスプレイ１６に選択可能に表示させる。図８は、判定対象画像をディスプレイ１６に表示する際の表示例を示している。判定対象表示画面は、入力画像表示Ｒ２、判定対象画像表示領域Ｒ１、情報表示領域Ｒ３を備えている。判定対象画像表示領域Ｒ１は、判定対象画像が並べて表示される領域である。判定対象画像表示領域Ｒ１には、判定対象画像のほか、各判定対象画像に対する合否の振り分けを行うためのユーザインタフェース等が表示される。入力画像表示Ｒ２は入力画像が表示される領域である。情報表示領域Ｒ３は、選択された判定対象画像に関する情報（例えば、画像ファイルの名称、格納場所等）が表示される領域である。

入力画像表示Ｒ２に入力画像を表示する際、抽出された判定対象画像に対応する領域（つまり、判定対象を含む最小矩形）を指し示す表示を重畳して表示するとよい。具体的には、判定対象を含む最小矩形の枠を、入力画像に重畳して表示するとよい。この判定対象画像に対応する領域を示す表示は、ユーザが表示／非表示を選択できるように構成されるとよい。

判定対象画像表示領域Ｒ１に判定対象画像を並べて表示する際、既存の学習済みモデルにて各判定対象画像の判定を行った場合のスコア（このスコアが高いほど（あるは低いほど）正常品２Ａである可能性が高いという判定結果を意味する）の順にソートして、判定対象画像を表示するとよい。

また、判定対象画像表示領域Ｒ１に並べて表示する個々の判定対象画像に対し、図９に示すように判定結果を示す情報を視認可能に表示してもよい。具体的には、個々の判定対象画像に重畳または隣接する位置にスコアや判定結果（正常品／除去対象物の別）等を表示してもよい。また、個々の判定対象画像について、正常品か除去対象物かを示す表示上の演出をしてもよい。例えば、正常品か除去対象物かに応じて、異なる色の枠で囲む等とするとよい。

判定対象画像表示領域Ｒ１に表示された判定対象画像の１つをクリックすることで、その判定対象画像を選択することができる。判定対象画像表示領域Ｒ１で判定対象画像を選択すると、判定対象画像表示領域Ｒ１においては選択された判定対象画像が枠で囲まれて表示され、入力画像表示Ｒ２においては、選択された判定対象画像に対応する最小矩形が、他とは区別できるよう（例えば、二重の枠で囲まれて）に表示される。

上記とは反対に、入力画像表示Ｒ２に表示された判定対象画像に対応する最小矩形の１つをクリックすることで、当該最小矩形に対応する判定対象画像を選択することができる。このようにして入力画像表示Ｒ２をクリックすると、判定対象画像表示領域Ｒ１においては選択された最小矩形に対応する判定対象画像が枠で囲まれて表示され、入力画像表示Ｒ２においては、選択された最小矩形が、他とは区別できるよう（例えば、二重の枠で囲まれて）に表示される。このような入力画像と選択した判定対象画像とを対応付けた表示を行うことにより、選択した判定対象画像が入力画像においてどのように映っているのかを一見して把握することが可能になる。

また、判定対象画像が選択されると、入力画像表示Ｒ２において、選択された判定対象画像に対応する部分を拡大して表示するとよい。このようにすれば、着目した判定対象画像に対応する部分を、容易に詳しく確認することができる。また、選択された判定対象画像について、情報表示領域Ｒ３において、図１０に示すようにスコアや判定結果（正常品／除去対象物の別）等を表示してもよい。

振分処理部１２５は、切出された判定対象画像について、判定対象画像に写る被検査物２が正常品２Ａなのか除去対象物２Ｂなのかをユーザが目視に基づいて振り分ける。ユーザによる被検査物に対する判定結果を振り分ける操作が行われると、振分処理部１２５はその操作に応じて選択されている判定対象画像を正常品２Ａと除去対象物２Ｂのいずれかに振り分け、それぞれの判定対象画像と判定結果とを対応付けた教師データを教師データ記憶部１２６に記憶させる。被検査物に対する判定結果を振り分ける操作とは、例えば、ユーザがディスプレイ１６を見ながら操作インタフェース１８を操作して判定対象画像を選択し、選択中の判定対象画像に写る被検査物２が正常品２Ａなのか除去対象物２Ｂなのかをユーザが目視して判定し、正常品２Ａの場合にはＯＫボタンをクリックし、除去対象物２Ｂの場合にはＮＧボタンをクリックするといった操作である。なお、ユーザが操作して判定対象画像を選択するのではなく、振分処理部１２５により自動的に決定された順番に従って複数の判定対象画像に対して順次振り分ける操作を行うように構成してもよい。

教師データ記憶部１２６は、ＲＡＭ、ハードディスク等の記憶装置により構成される。教師データ記憶部１２６は、検査部１０における記憶部１０５を兼用してもよい。教師データ記憶部１２６が教師データを記憶する方法は、判定対象画像に写る被検査物２が正常品２Ａと除去対象物２Ｂとのいずれであるかを識別可能に記憶してさえいればいかなる方法であってもよい。例えば、教師データ記憶部１２６は、正常品２Ａと判定された判定対象画像と除去対象物２Ｂと判定された判定対象画像とを、互いに異なるフォルダに分けて記憶するとよい。あるいは、教師データ記憶部１２６は、判定対象画像に写る被検査物２が正常品２Ａと除去対象物２Ｂとのいずれであるかを示す情報を、判定対象画像のファイル名や付加情報としてファイルに埋め込んでもよい。なお、教師データ記憶部１２６は、検査装置１が各種情報を記憶するために備える記憶媒体を共用する形で用いてもよい。

機械学習実行部１４は、学習済みモデルに機械学習を実行させるための学習用プログラムを実行する。機械学習実行部１４は、上記のように教師データ生成部１２が生成して教師データ記憶部１２６に記憶した教師データを学習用プログラムに入力して機械学習を行い、学習済みモデルを生成する。機械学習実行部１４は、新規に機械学習を行い新たな学習済みモデルを生成することもできるし、既存の学習済みモデルに対して追加的に機械学習を行うことにより新たな学習済みモデルを生成することもできる。新規に学習済みモデルを生成する場合には、予め準備した初期の（未学習の）学習済みモデルに対して機械学習を行うとよい。機械学習実行部１４は、生成する学習済みモデルについて、教師データ生成部１２が教師データを生成する際の画像処理部１２１での画像処理条件、判定対象特定部１２２での判定条件、及び画像切出し部１２３での判定対象画像の切出し条件を関連付けて記録するとよい。

続いて、以上のように構成される検査装置１の動作を、学習モードと検査モードのそれぞれについて説明する。

〔学習モードにおける動作〕
図１１は、学習モードでの検査装置１の動作の手順を示すフローチャートである。学習モードは、検査装置１の操作インタフェース１８にて学習モードを選択することにより開始される。学習モードが開始されると、ディスプレイ１６に学習モード用の操作画面が表示される。ユーザは、この学習モード用の操作画面を以下の手順で操作することによって、教師データの生成及び、学習済みモデルに対する機械学習を行うことができる。

はじめに、教師データ生成部１２は、ユーザによる入力画像を選択する操作を受け付ける（ステップＳ１００）。入力画像は、検査部１０にて実際に撮影された被検査物２の画像であってもよいし、学習用に別途準備された画像であってもよい。続いて、教師データ生成部１２は、ユーザによる学習済みモデルを選択する操作を受け付ける（ステップＳ１１０）。ここで選択される学習済みモデルは、後段の機械学習において追加の学習が行われる対象となる。なお、新規に学習済みモデルを生成する場合には、ステップＳ１１０を省略してもよい。

続いて、教師データ生成部１２は、画像処理条件を選択する操作を受け付け、選択に応じた画像処理を実施する（ステップＳ１２０）。具体的には、操作画面に表示される画像処理条件の選択項目をユーザが選ぶことにより、画像処理条件が選択される。このとき、教師データ生成部１２は、選択された画像処理条件での画像処理を入力画像に施した結果を、選択が確定する前に確認しやすくすべく、プレビュー画像をディスプレイ１６に表示させるとよい。選択が確定されると、画像処理部１２１は、選択内容に応じた画像処理を実施して処理済み画像を出力する。

続いて、教師データ生成部１２は、判定対象特定部１２２での判定条件を設定する操作を受け付け、設定に応じた判定を実施する（ステップＳ１３０）。具体的には、操作画面に表示される判定条件の選択項目をユーザが選ぶことにより、画像処理条件が設定される。このとき、教師データ生成部１２は、選択された判定条件での除去対象物２Ｂの候補の抽出結果を、選択が確定する前に確認しやすくすべく、抽出結果を入力画像に重畳したプレビュー画像をディスプレイ１６に表示させるとよい。選択が確定されると、判定対象特定部１２２は、選択内容に応じた判定（除去対象物２Ｂの候補の抽出）を実施する。

続いて、教師データ生成部１２は、画像切出し部１２３で判定対象画像を切出す条件の設定を受け付け、設定に応じた判定対象画像の切出しを実施する（ステップＳ１４０）具体的には、操作画面に表示される、判定対象画像のサイズ、正規化の要否等の設定項目に所望の設定を入力することにより、判定対象画像を切出す条件が設定される。切出す条件の設定が確定されると、画像切出し部１２３は、設定内容に応じて判定対象画像の切出し処理を実施する。このとき切出された判定対象画像は、正常品２Ａか除去対象物２Ｂかの振り分けがされていない判定対象画像用のフォルダに格納される。

なお、ステップＳ１１０において選択した学習済みモデルに画像処理条件、判定条件、及び切出し条件が関連付けられている場合、教師データ生成部１２はステップＳ１２０〜ステップＳ１４０を省略しつつ、学習済みモデルに関連付けられている画像処理条件、判定条件及び切出し条件が選択・されたものとして以後の処理を行うようにしてもよい。このようにすれば、学習済みモデルに対する過去に行わられた機械学習と同じ条件で、追加の機械学習を行うことができ、学習済みモデルの高精度化が期待できる。

続いて、教師データ生成部１２は、ステップＳ１４０で切り出した判定対象画像のそれぞれについて、正常品２Ａと除去対象物２Ｂのいずれに振り分けるかを選択する操作を受け付け、選択に応じて判定対象画像と判定結果とを対応付けた教師データとして記録する（ステップＳ１５０）。

ステップＳ１５０に続いて、機械学習実行部１４は、ステップＳ１５０で生成した教師データに基づく機械学習を実行する指示を受け付け、当該指示に応じて学習用プログラムを実行して学習済みモデルに対する機械学習を実施する（ステップＳ１６０）。このとき、機械学習実行部１４は、既存の学習済みモデルに対して追加的に機械学習を実施するのか、新規に学習済みモデルを生成するのかをユーザに選択させるインタフェースを操作画面に表示する。既存の学習済みモデルに追加的に機械学習を実施する場合、ユーザに学習済みモデルを選択させるメニューを提示するとよい。なお、この段階での学習済みモデルの選択を省略し、ステップＳ１１０で選択した学習済みモデルに対して機械学習を実施するように構成してもよい。そして、ステップＳ１６０での機械学習を終了すると、学習モードでの一連の処理が完了となる。

〔検査モードにおける動作〕
図１２は、検査モードでの検査装置１の動作の手順を示すフローチャートである。検査モードは、検査装置１の操作インタフェース１８にて検査モードを選択することにより開始される。検査モードが開始されると、ディスプレイ１６に検査モード用の操作画面が表示される。ユーザは、この検査モード用の操作画面を以下の手順で操作することによって、被検査物２の検査を行うことができる。

はじめに、検査装置１は、ユーザによる検査条件を設定する操作を受け付ける（ステップＳ２００）。検査条件としては、画像撮影時のＸ線や可視光等の照射強度、露光時間、搬送速度等の一般的な検査装置の条件に加え、除去対象物２Ｂの判定に用いる学習済みモデルの選択が含まれる。

検査条件の設定が完了すると、ユーザによる所定の操作に応じて、検査部１０は被検査物２の検査を開始する。すなわち、検査部１０は、被検査物２を撮影位置まで搬送して撮影を行い（ステップＳ２１０）、撮影した画像を学習済みモデルに入力して画像中に除去対象物２Ｂが含まれているか否かを判定する。具体的には、学習済みモデルは画像中に写る被検査物２のそれぞれに対して０から１の数値（スコア）を出力する。このスコアは、例えば１に近いほど除去対象物２Ｂである可能性が高いという判定結果を表している。検査部１０では、学習済みモデルが出力するスコアに対して所定の閾値を設け、当該閾値以上のスコアの被検査物２を除去対象物２Ｂとし、この除去対象物２Ｂについて必要な処理を行う（ステップＳ２２０）。ここで、必要な処理とは、例えば、撮影した画像とともに除去対象物２Ｂを示す図形（例えば枠）をディスプレイ１６に表示する処理、除去対象物２Ｂを除去する処理、除去対象物２Ｂと正常品２Ａとを振り分ける処理等である。以上で１単位の被検査物２に対する検査が完了となる。なお、被検査物２が連続して検査装置１に送り込まれる場合、検査装置１は上記の一連の工程を繰り返すことで連続的に被検査物２の検査を実施する。

以上のような構成により、検査装置１は、学習モードにおいて学習用プログラムに入力する教師データを素早く大量に生成することができ、生成した教師データを入力として機械学習することにより学習済みモデルを生成することができる。そして検査モードにおいては、学習モードで生成した学習済みモデルを用いて精度の高い検査を行うことが可能となる。

〔実施形態の変形〕
なお、上記に本実施形態を説明したが、本発明はこれらの例に限定されるものではない。
例えば、上記実施形態では、教師データ生成部１２及び機械学習実行部１４は、検査装置１に内蔵されていたが、教師データ生成部１２及び機械学習実行部１４は、検査装置１に内蔵されずに個別の教師データ生成装置、あるいは学習済みモデル生成装置として提供されてもよい。例えば、上記の教師データ生成部１２及び機械学習実行部１４として機能させるコンピュータプログラムをコンピュータに実行させることにより教師データ生成部１２及び機械学習実行部１４を実現してもよい。

また、上記の実施形態では、判定対象画像抽出部１２０は画像切出し部１２３を備え、この画像切出し部１２３が入力画像から判定対象を含む判定対象画像を切り出して出力したが、判定対象画像抽出部１２０が判定対象画像を切り出すことなく処理する構成としてもよい。例えば、入力画像に含まれる判定対象を判定対象特定部１２２で特定し、特定した判定対象について入力画像内にてラベリング処理を行うように（つまり、別画像として切り出すことなく入力画像内で特定された判定対象を識別できるように）構成してもよい。この場合、入力画像内に含まれる各判定対象について、それぞれ正常品か非正常品かを振り分けるように構成するとよい。

また、前述の各実施形態に対して、当業者が適宜、構成要素の追加、削除、設計変更を行ったものや、各実施形態の特徴を適宜組み合わせたものも、本発明の要旨を備えている限り、本発明の範囲に含有される。

１ 検査装置
１０ 検査部
１２ 教師データ生成部
１２０ 判定対象画像抽出部
１２１ 画像処理部
１２２ 判定対象特定部
１２３ 画像切出し部
１２４ 表示制御部
１２５ 振分処理部
１２６ 教師データ記憶部
１４ 機械学習実行部
１６ ディスプレイ
１８ 操作インタフェース
２ 被検査物
２Ａ 正常品
２Ｂ 除去対象物

Claims (7)

1. 機械学習に用いられる教師データを生成する教師データ生成装置であって、
   前記教師データを用いて前記機械学習により生成される学習済みモデルは、被検査物を撮像した画像を当該学習済みモデルに入力することにより前記被検査物が正常品か否かの検査を行う検査装置で用いられるものであり、
   前記被検査物が写る入力画像から、所定の条件を満たす判定対象を含んだ１以上の判定対象画像を抽出する判定対象画像抽出部と、
   前記判定対象画像に写る前記被検査物を正常品と非正常品のいずれかに振り分ける振分操作に基づき、それぞれの前記判定対象画像と振り分けの結果とを対応付ける振分処理部と、
   それぞれの前記判定対象画像と振り分けの結果とが対応付けられた教師データを記憶する教師データ記憶部とを備える
   ことを特徴とする教師データ生成装置。
2. 前記判定対象画像抽出部は、前記入力画像に対し画像処理を行い、処理済み画像を出力する画像処理部と、
   所定の判定条件に基づき、前記処理済み画像に含まれる前記判定対象を特定する判定対象特定部と、
   前記判定対象特定部が特定した前記判定対象を含む前記判定対象画像を、前記処理済み画像から切り出して出力する画像切出し部と
   を備えることを特徴とする請求項１に記載の教師データ生成装置。
3. 前記画像切出し部は、前記判定対象特定部が特定した前記判定対象を含む最小矩形を特定し、当該最小矩形に含まれる画像を所定のサイズにリサイズした画像を前記判定対象画像として、出力することを特徴とする請求項２に記載の教師データ生成装置。
4. 前記判定対象画像抽出部は、前記判定対象画像の明暗を正規化して出力することを特徴とする請求項１から３のいずれか１項に記載の教師データ生成装置。
5. ディスプレイと、前記ディスプレイによる表示を制御する表示制御手段とをさらに備え、
   前記表示制御手段は、前記ディスプレイの第１領域に複数の前記判定対象画像を並べて表示させるとともに、前記ディスプレイの第２領域に前記入力画像を、前記判定対象画像に対応する領域を指し示す表示を重畳しつつ表示させることを特徴とする、請求項１から４のいずれか１項に記載の教師データ生成装置。
6. 前記表示制御手段は、前記ディスプレイの第１領域に表示された複数の前記判定対象画像のうちの１つが選択されると、前記ディスプレイの第２領域に表示された前記入力画像における当該選択された判定画像に対応する領域を指し示す表示をさせることを特徴とする、請求項５に記載の教師データ生成装置。
7. コンピュータを請求項１から請求項６のいずれか１項に記載の教師データ生成装置として機能させるコンピュータプログラム。

Images