JP7076747B2

JP7076747B2 - 分類器の学習支援システム、学習データの収集方法、検査システム

Info

Publication number: JP7076747B2
Application number: JP2018090669A
Authority: JP
Inventors: 昌司西川; 孝伊藤
Original assignee: リョーエイ株式会社
Priority date: 2018-05-09
Filing date: 2018-05-09
Publication date: 2022-05-30
Anticipated expiration: 2038-05-09
Also published as: JP2019196964A

Description

本発明は、分類器の学習支援システム、学習データの収集方法、検査システムに関するものである。

ダイカストやアルミ鋳造などで作られた粗形材の内部には、アルミ溶湯を固める際に生じる空洞が生じている。この空洞は鋳巣と呼ばれており、空気の巻きこみや、離型剤が高温にさらされることで発生するガス、アルミが凝固する際のヒケなどが、その発生原因となっている。粗形材は、後の工程で、機械加工によって一部分が切削されて最終製品となるが、機械加工で切削した加工面には、鋳巣が現れることや、欠けが生じることがある（図１２参照）。加工面上に現れた鋳巣や欠けは、他の部品と組み上げた最終的な製品において、油やエア、冷却水などの漏れの原因となる。

このため、機械加工を行った後、加工面の検査が行われている。一般的な加工面の検査は作業員の目視によるものである。目視検査のためには、生産ライン上の限られた時間内で欠陥を見つけ出すことができる熟練した作業者が必要である。しかし、生産ライン上での数時間にわたる連続した確認作業は、集中力を要する重労働であるため、機械化による検査の自動化が望まれている。

特許文献１に記載されているように、表面形状を把握するために、画像処理を行うことが知られている。しかしながら、機械加工時に発生する切削痕やクーラント液、切子や切削油などの誤認要素が、検査時に加工面上に残っており、単に凹凸を確認するだけでは、これらの誤認要素を欠陥と判定してしまうことが多かった（図１３参照）。なお、切削痕は加工の跡が表面に模様として現れているものであり、凹凸のレベルが小さく平坦が担保されているため、品質上の問題はない。またクーラント液や切子、切削油などは後に拭き取りで除去できるため不良ではない。

このようなことから、検査の際には、これらの誤認要素と欠陥（まとめて違和点と称する）から、欠陥のみを分類する必要がある。また、近年新たな手法として、ディープラーニングを用いて学習を行った分類器を用いて、欠陥を判定する自動検査が試みられている。この方法は、単に凹凸を確認するだけではなく、表面欠陥による凹凸と支障の無い原因による凹凸を振り分けることができ得るため、期待がされている。

特開２０１４－２３５０６６号公報

しかしながら、この手法を成立させようとすると、分類器を学習させるために、表面欠陥を有する面を撮影した画像と、表面欠陥が無い面を撮影した画像を用意する必要がある。検出精度を高めるためには、このような画像の数を増やす必要があり、実際に求められる画像の量は、数万枚を超えるほど膨大である。また、これらの画像には、表面欠陥が有ることや無いこと、表面欠陥がある場合は、どの位置にあるのかといった情報をラベル付けする必要がある。

このような情報がラベル付けされた大量の画像を、事前に準備することは困難なため、はじめは少ない画像で学習した分類器を準備し、実際の生産ライン上で検査と平行して撮影画像を蓄積して学習のための画像を増やし、適宜、分類器に再学習をさせることで次第に精度を向上させていくことが、実際的である。

分類器の判定結果が間違っており修正の必要がある場合や、特定箇所の違和点に関し、分類器が表面欠陥であるか否かを十分に判定できなかった場合などは、特に、作業者が違和点を確認し、ラベル付けやマーキングを行う作業が発生するが、この際、ライン上の実際の製品と画像の双方を作業者が確認し、画像と実物を対応させたうえで判定する必要がある。このような作業を量産と並行して実施するのは、手間がかかり面倒であるため、極力、作業者の負担を抑制できるようにすることが求められている。

本件の発明者は、この点について鋭意検討することにより、解決を試みた。本発明の課題は、分類器を学習させる情報を取得する作業を効率的に行えるようにすることである。

上記課題を解決するため、深層学習を用いて検査対象物の表面欠陥の特徴を学習する分類器の学習支援システムであって、分類器により表面欠陥である確率が所定の範囲にあると判定された部位を示すマーカー画像を、検査対象物に対して投影する投影機と、投影機で投影された部位についての作業者の判断結果を入力する判断結果入力部と、を備えた、分類器の学習支援システムとする。

また、判断結果入力部を用いて入力された作業者の判断結果がラベル付けされた画像情報を記憶する記憶部と、記憶部で記憶された情報を用いて分類器の学習を行う演算部と、を備えた構成することが好ましい。

また、作業者の判断結果を表示するディスプレイを備えた構成することが好ましい。

また、投影機が投影可能な位置で、検査対象物の位置を定める位置決め機構を備えた構成することが好ましい。

また、深層学習を用いて検査対象物の表面欠陥の特徴を学習する分類器に用いられる学習データの収集方法であって、
検査台に載せられた検査対象物に対して影の発生を抑制するように照明で照らし、分類器により、表面欠陥である確率が所定の範囲にあると判定された部位を示すマーカー画像を検査対象物に投影し、投影機で投影された部位についての作業者の判断結果を入力し、入力した内容を学習データとして収集する学習データの収集方法とする。

また、検査対象物の水平面に照射するマーカー画像を作業者が視認する際の、水平面と視線がなす角度が、作業者の正面に設置された投影機が検査対象物にマーカー画像を投影する投影方向と水平面がなす角度よりも大きく、かつ、９０度未満であるようにすることが好ましい。

また、深層学習により学習した内容を用いて検査対象物の表面欠陥の有無を判定する分類器と、分類器で得られた結果から、合格品と判断された検査対象物が搬送される第一の搬送ラインと、分類器で得られた結果から、合格品と判断されなかった検査対象物を載せる検査台と、検査台に向けて検査対象物を搬送する第二の搬送ラインと、検査台上の検査対象物に対して影の発生を抑制するように照らす照明と、照明で照らされた検査対象物に対して、分類器により、表面欠陥である確率が所定の範囲にあると判定された部位を示すマーカー画像を検査対象物に投影する投影機と、投影機で投影された部位についての作業者の判断結果を入力する判断結果入力部と、を備えた、検査システムとする。

本発明では、分類器を学習させる情報を取得する作業を効率的に行えるようにすることが可能となる。

学習支援システムを備えた検査システムの平面図である。分類器の判定による検査対象物のふるい分けを表す図である。学習支援システムの検査台に載せた検査対象物に対してマーカー画像を投影した状態を示した図である。学習支援システムの斜視図である。ただし、投影機による投影範囲も示している。学習支援システムの正面図である。ただし、投影機による投影範囲も示している。学習支援システムの側面図である。ただし、投影機による投影範囲も示している。投影機と検査対象物を検査している作業者を表した図である。検査対象物の検査の流れと分類器の学習の流れの例を表すフロー図である。第一の閾値と第二の閾値の設定と、学習回数が増すことによりグレーゾーンが減少することを表す図である。違和点の切り出しを表す図である。学習支援システムの動きの例を表すフロー図である。表面欠陥の例を示す図である。誤認される違和点の例を示す図である。

以下に発明を実施するための形態を示す。図１に示すことから理解されるように、実施形態の学習支援システム１は、深層学習を用いて検査対象物９１の表面欠陥の特徴を学習する分類器１１の学習支援システム１である。また、この学習支援システム１は、分類器１１により表面欠陥である確率が所定の範囲にあると判定された部位を示すマーカー画像９９を、検査対象物９１に対して投影する投影機１３と、投影機１３で投影された部位についての作業者Ｓの判断結果を入力する判断結果入力部１４と、を備えている。このため、分類器１１を学習させる情報を取得する作業を効率的に行うことが可能となる。

ここで、学習支援システム１が学習の支援をする分類器１１について説明する。実施形態の分類器１１は深層学習によって表面欠陥の学習をしているものであり、図２に示すように、ダイカスト粗形材などの検査対象物９１（ワーク）を自動検査するために用いられる。この際、分類器１１は検査対象物９１の画像を取得し、その画像の中から違和点を抽出し、この違和点に対して欠陥が存在するか否かを判定する。欠陥が存在しないと判定されたものは合格品として扱われ、特定の箇所に集められる。また、合格品として扱われなかったものについては、別の場所に送られる。

実施形態においては、分類器１１で合格品として扱われなかったものについて、作業者Ｓが目視で確認をし、合格品であるか否かを判断する。この際、分類器１１で違和点として抽出された箇所について、目視の確認を行う。また学習支援システム１では、分類器１１で違和点として抽出された部分について、実際の検査対象物９１にマーカー画像９９を投影し、作業者Ｓが、確認すべき部分を明確にしている。このため、作業時間を短縮するなど、作業効率を高めることができる。また、作業者Ｓの判断結果を入力できるようにし、この判断結果を分類器１１の学習に用いるようにしている。

このようなことを可能とするため、実施形態の検査システム２０は、深層学習により学習した内容を用いて検査対象物９１の表面欠陥の有無を判定する分類器１１と、分類器１１で得られた結果から、合格品と判断された検査対象物９１が搬送される第一の搬送ライン２１と、分類器１１で得られた結果から、合格品と判断されなかった検査対象物９１を載せる検査台１６と、検査台１６に向けて検査対象物９１を搬送する第二の搬送ライン２２と、検査台１６上の検査対象物９１に対して影の発生を抑制するように照らす照明１２と、照明１２で照らされた検査対象物９１に対して、分類器１１により、表面欠陥である確率が所定の範囲にあると判定された部位を示すマーカー画像９９を検査対象物９１に投影する投影機１３と、投影機１３で投影された部位についての作業者Ｓの判断結果を入力する判断結果入力部１４と、を備えている。また、検査台１６で検査した検査対象物９１を第一の搬送ライン２１に搬送可能な第三の搬送ライン２３と、検査台１６で検査した検査対象物９１を不適合品の集積箇所に向けて搬送可能な第四の搬送ライン２４も、備えている。なお、第一の搬送ライン２１で搬送された検査対象物９１はストアーラック９３に集められる。また、作業者Ｓが必要に応じて確認できるように、違和点などに関する情報が表示できるディスプレイ１５が検査台１６に隣接して配置されている（図３参照）。なお、実施形態では、学習支援システム１を機能させる演算と分類器１１を機能させる演算は、同一の計算機３１で行われる。

実施形態の学習支援システム１は、検査対象物９１を置く検査台１６と、検査用の複数の照明１２と、マーカー画像９９を投影する投影機１３であるプロジェクタと、作業者Ｓの判断結果を入力する判断結果入力部１４を備えている。また、照明１２などを切り替える切替スイッチや、作業内容などを確認するために用いることができるディスプレイ１５を備えている。このディスプレイ１５は、作業者Ｓの判断結果を表示することができる。なお、実施形態においては、判断結果入力部１４を用いて入力された作業者Ｓの判断結果がラベル付けされた画像情報を記憶する記憶部と、記憶部で記憶された情報を用いて分類器１１の学習を行う演算部とを、分類器１１の計算機３１が担っているが、分類器１１に用いられる計算機とは別に、演算部として機能する計算機３１を備えるようにしても良い。

検査台１６は、人の手やロボットで検査対象物９１をセッティングするような卓状のものでも、コンベアなどの搬送機そのものの一部でもよいが、検査対象物９１を毎回定められた位置にセットする位置決め機構を備えることが好ましい。位置決め機構は投影機１３が投影可能な位置で、検査対象物９１の位置を定めるものである。位置決め機構は、検査対象物９１に備えた穴に挿すピンであったり、検査対象物９１を押し付けるブロックであったり、各種のセンサなどであってもよい。なお、検査台１６と、検査台１６に置かれた検査対象物９１との位置関係を認識できるカメラなどのセンサを用い、撮影した画像情報の位置補正を行う場合は、位置決め機構を用いないようにすることもできる。

検査用の複数の照明１２は、検査台１６に載せられた検査対象物９１に対して影の発生を抑制するために用いられるものであるが、一般的な目視検査に用いる白色照明１２を使用すれば良い。これらの照明１２は、検査対象物９１の検査領域に影が生じないように前後左右の四方向を照らすように配置すること、若しくは更に上方向から照らすように配置することが好ましいが、目視検査に必要な明るさが確保できるのであれば、これより台数が少なくても良いし、その他の配置でもよい。

マーカー画像９９を投影する投影機１３は、図４から図６に示すことから理解されるように、検査対象物９１の検査領域全体に画像を投影できるものを用いることが好ましい。ところで、切削により加工面が形成された検査対象物９１の検査領域などは、鏡面に近いものとなる。したがって、投影機１３の正反射光が作業者Ｓの目に直接入ると、まぶしくて検査に支障をきたす。また、作業者Ｓとの角度によっては、外乱光によって、投影したマーカー画像９９がほとんど見えない場合がある。一方、一般的に作業者Ｓが検査する場合、検査対象物９１の面と視線がなす角度θ１は、４５乃至９０度であり、この角度よりも浅い角度で投影を行えば、作業者Ｓの目に正反射光は入らない。したがって、投影機１３は、検査対象物９１にマーカー画像９９を投影する投影方向と水平面がなす角度θ２が０度より大きく４５度未満となるように設置することが望ましい。特に３０度付近がより好ましい。また、投影機１３は、超短焦点の机上投影可能なものとし、検査対象物９１を挟むように作業者Ｓの反対側に設置することが好ましい（図７参照）。ただし、検査対象物９１の特徴や空間の制約などに応じて、投影機１３の種類や設置位置、姿勢などを適宜定めても良い。

また、検査対象物９１の水平面に照射するマーカー画像９９を作業者Ｓが視認する際の、水平面と視線がなす角度θ１は、作業者Ｓの正面に設置された投影機１３が検査対象物９１にマーカー画像９９を投影する投影方向と水平面がなす角度θ２よりも大きく、かつ、９０度未満であるようにすることが好ましい。特に、水平面と視線がなす角度θ１は４５～６０度であることが好ましい。

ところで、実施形態の学習支援システム１には、投影機１３で投影された部位についての作業者Ｓの判断結果を入力する判断結果入力部１４として、判定スイッチを備えている。実施形態の判定スイッチには、投影機１３で投影された部位に表面欠陥があると作業者Ｓが判断した際に操作するＮＧボタンと、表面欠陥が無いと作業者Ｓが判断した際に操作するＯＫボタンを備えている。この判定スイッチは、検査台１６などに固定した固定式とし、作業者Ｓの手の届く範囲に設置するようにしても良いし、作業者Ｓが手に持てるような、可動式としても良い。可動式の場合、計算機３１に対して有線で接続されていても、無線で接続されていても良い。判定スイッチには、入力内容を取り消すボタンや、前に判断した違和点を選択するためのボタンなどを備えても良い。このような装置を用いて入力した内容を学習データとして収集する。

実施形態の学習支援システム１は、照明１２の照射と投影機１３の照射を切り替える切り替えスイッチを備えている。この切り替えスイッチは、照明１２と投影機１３の何れ一方が消され、他方が照射された状態とするものである。切り替えスイッチは手で操作できるようなボタン式やレバー式でもよいが、判定スイッチの誤操作を防止するために、足で操作できる足踏み式にしても良い。なお、実施形態の学習支援システム１は、確認用のディスプレイ１５を備えているが、このディスプレイ１５は一般的なもので良く、検査作業の邪魔にならない位置に配置すれば良い。

ここで、分類器１１による自動判定と、学習支援システム１を用いて分類器１１を学習させる流れについて、図８に示すフローを例に挙げて説明する。まず、初期段階の学習を行わせるため、分類器１１に学習を行わせる（Ｓ００１）。次に学習がなされた分類器１１を用いて判定を行うため、検査対象物９１を撮影可能な箇所にセットする（Ｓ００２）。セットが完了した後、検査対象物９１を撮影する（Ｓ００３）。自動判定を行うためには、検査対象物９１の検査部位の画像を高解像度で取得する必要がある。なお、一度の撮影で検査対象物９１の全体が撮影できることが望ましいが、検査対象物９１が大きい場合など、一度で全体の撮影ができない場合、検査対象物９１の一部分ずつを撮影し、複数回の撮影で検査対象物９１の全体を捉えられるようにすればよい。この際、カメラ又は検査対象物９１をスライドさせて複数回撮影を行えばよい。

次に、撮影により得られた画像情報から、違和点を抽出する（Ｓ００４）。この例では、抽出されるのは、綺麗な面以外の全てであり、鋳巣、欠けなどの欠陥の他に、加工痕、クーラント液、切子、切削油などの誤認要素も違和点として抽出される。この違和点の抽出には、既存の画像処理方法を用いても良いし、深層学習の手法を用いても良い。

抽出された違和点について、表面欠陥であるか否かを判定する（Ｓ００５）。抽出した違和点は、深層学習によって学習した分類器１１によって判定される。深層学習によって学習した分類器１１は、該当する違和点が欠陥である確率を出力する。実施形態では、この出力値を評価するために、第一の閾値と第二の閾値を設定している（図９参照）。出力値が第一の閾値と第二の閾値の間にある場合は、作業者Ｓによる確認が必要である対象として扱われる。

通常、出力値が第一の閾値と第二の閾値の間にある場合は、欠陥であるかどうかが不明なグレーゾーンと判断する。また、第一の閾値よりも出力値が小さければ、欠陥ではないと判断する。また、第二の閾値よりも出力値が大きければ、欠陥であると判断する。なお、ここで用いる第一の閾値は、実際の検査で、欠陥ではないと判断するために用いられる値にあわせる必要は無く、第二の閾値に関しても、実際の検査で、欠陥であると判断するために用いられる値にあわせる必要は無い。第一の閾値は、実際に欠陥でないと判断する閾値よりも小さく設定するのが好ましく、第二の閾値は、実際に欠陥であると判断する閾値よりも大きく設定するのが好ましい。

学習の最初期段階では、第一の閾値と第二の閾値の間が広くなるように調整するようにしても良く、全ての違和点をグレーゾーンと判定するように設定しても良い。なお、学習の初期段階であれば、グレーゾーンと判定されるものが多いが、学習が進むことによりグレーゾーンと判定されるものが少なくなるように第一の閾値と第二の閾値を設定することが好ましい（図９参照）。

ステップ００５でグレーゾーンに該当した検査対象物９１の違和点は、学習支援システム１を用いて、実際の検査対象物９１の違和点の位置にマーカー画像９９を投影する。これにより、検査対象物９１を見た作業者Ｓは、チェックする箇所を素早く判断することができる。作業者Ｓは、チェックする箇所に表面欠陥が有るか否かを判定する（Ｓ００６）。

また、この判定結果を入力する。この際、一つの検査対象物９１に複数の違和点がある場合は、全ての違和点に対して判定結果を入力する。なお、一つの検査対象物９１に複数の違和点がある場合、一つの違和点に対しての判定結果を入力すると、この入力信号に連動して、別の違和点の位置にマーカー画像９９を投影するように切り替えるようにしても良い。

判定された入力結果を登録する（Ｓ００７）。この際の入力結果の登録の方法はどのようなものであっても良いが、例えば、グレーゾーンと判定された部分の画像を撮影画像全体から切り出し、作業者Ｓの判定結果に基づいてラベル付けをし、記憶部であるデータベースに登録すればよい（図１０参照）。また、撮影画像全体、若しくは一部のうち、作業者Ｓにより表面欠陥であると判定された部分をマーキングして登録しても良い。なお、記憶部に登録する際は、拡大、変形、色調補正などといった既存の手法を用いてデータ数を増幅させても良い。

ある検査対象物９１に対しての違和点に関する全ての判定がなされたら、その後、検査対象物９１がまだ残されているかを判定する（Ｓ００８）。まだ、検査対象物９１が残されている場合、再びステップ００２の工程に進み、必要な限り、同様な工程を繰り返す。

ステップ００８で検査対象物９１が残されていないと判定した場合、再学習を行うかを判定する（Ｓ００９）。再学習を行う基準は、どのようなものでもよく、例えば、一定期間ごとに再学習を行うようにすればよい。一連の工程を経ることにより記憶部には、データ数が増加しているため、再学習をすることにより、分類器１１の判定精度を向上させることが可能となる。

次に、学習支援システム１を用いて、作業者Ｓが違和点についての判断を行う流れと、判断された結果が記憶部に記憶されるまでの流れについて、図１１に示すフローを例に挙げて説明する。まず、分類器１１が自動検査を行うことに伴って作成された画像情報やグレーゾーンと判断された違和点のリストを、学習支援システム１を機能させるために取得する。なお、検査対象物９１が大きく、複数に分割して撮影した場合は、同一の検査対象物９１に関する全ての画像の位置を補正して結合する。この際、同一の検査対象物９１に対して複数作成されたリストに関しても結合するのが好ましい。

まず、検査対象物９１を検査台１６上に位置を合わせて設置する。この検査対象物９１に関する、グレーゾーンと判定されたある違和点を示したマーカー画像９９を投影するために必要な画像の生成を行う。実施形態における、この画像は、単色の背景に違和点の位置を示すマーカー画像９９が一つ描かれたものである。背景色は、検査対象物９１の表面状態によって最もマーカー画像９９の色が映える任意の色を用いればよい。マーカー画像９９の形状は、目視検査を妨げなければ、丸や四角など任意のものでよく、またその色もマーカー画像９９の色が検査対象物９１の表面上で視認しやすいものがよい。たとえば、白色の背景に、中を白抜きした青色の四角形でグレーゾーンとされた違和点を囲う、といったものである。背景色を含む全画像上におけるマーカー画像９９の位置は、画像を検査対象物９１上に投影した際、検査対象物９１の該当グレーゾーン部にマーカー画像９９がぴったり合う場所である。これは検査対象物９１の設置場所とグレーゾーンと判定された違和点の位置から算出することにより導き出せばよい。

次に、生成したマーカー画像９９を検査対象物９１上に投影する。このマーカー画像９９の位置を作業者Ｓが確認して、検査を行う。ところで、検査対象物９１の特性によって、検査用の照明１２が点灯した状態では、投影したマーカー画像９９が見づらい場合がある。この場合、作業者Ｓは手元の切り替えスイッチを操作することによって、マーカー画像９９の投影と、検査用の照明１２の点灯を交互に切り替えて検査を行うことができる。

作業者Ｓは目視での検査を終えると、手元のOKボタン若しくはNGボタンのどちらかを押して判断を行い、その結果がリスト上に登録される。なお、誤判断を修正可能なように、取り消しボタンを備えている場合は、取り消しボタンが押されたら、一つ前の状態に戻すこともできる。なお、このようにして、順次、作業者Ｓによる判断をすすめていく。

一連の検査中には、ディスプレイ１５に検査対象物９１の画像とともに、すべてのグレーゾーン領域を矩形で囲んだり、塗りつぶしたりして表示するものとしても良い。その色や形状によって、判断前、判断中、判断済み（OK）、判断済み（NG）の区分けをし、作業者Ｓが現在どのグレーゾーン領域を検査しているかをわかるようにすることが望ましい。

作業者Ｓによってリスト内のすべての判断が終了したら、判断されたグレーゾーン部分の画像を撮影画像全体から切り出し、作業者Ｓの判断結果に基づいてラベル付けをしてデータベースに登録する。又は、撮影画像全体、もしくは一部のうち、NG判定されたグレーゾーン部分をマーキングしたものをデータベースに登録してもよい。なおデータベースに登録する際は、既存の手法（拡大、変形、色調補正など）でデータ数を増幅させてもよい。同様にして、分類器１１側から次の検査対象物９１のグレーゾーンの情報リストを受け取り、上記作業を繰り返せば、学習用データベースを増やしていくことができる。

本発明では、深層学習（ディープラーニング）に必要な、大量の画像データを収集する際の、検査対象物９１上の対象部位がOKなのかNGなのかを実際の検査対象物９１で確認する作業が短時間で進められる。これは、「ディスプレイ１５に映し出されている画像を見て、確認作業が必要な箇所を理解したうえで、当該箇所を実際の検査対象物９１から探し出す」という作業が廃止できたことによるところが大きい。というのも、作業者Ｓはディスプレイ１５が示す画像と実際の検査対象物９１を比較する必要はなく、検査対象物９１のみを見て確認作業が必要な箇所を把握できるからである。また、実施形態では、作業者Ｓが対象部位を目視確認し、OKボタンやNGボタンを選択すれば、対象部の画像情報にラベル付け、もしくはマーキングがなされて、学習用画像がデータベースに蓄積される。このため、学習用データベースの情報の蓄積作業に必要な作業者Ｓの工数が大幅に削減された。

以上、一つの実施形態を例に挙げて本発明を説明してきたが、本発明は上記実施形態に限定されることはなく、各種の態様とすることが可能である。例えば、樹脂製品の検査に適用させても良い。

分類器により、表面欠陥が生じていないと判定されたものについても、その一部について作業者が表面欠陥のチェックをするようにしても良い。

また、発明の要旨に支障が無ければ、例示した手順を入れ替えて行っても良く、その一部を削除したり、何らかの手順を付加したりしても良い。

また、学習支援システムでの違和点のチェックは、グレーゾーンと判断されたものに限る必要は無く、不合格品や、違和点の存在した合格品の一部などをチェックするものとしても良い。

また、表面欠陥である確率は段階的に変化するもの出る必要は無く、０％か否かの何れかしかない場合でもよい。

１学習支援システム
１１分類器
１２照明
１３投影機
１４判断結果入力部
１５ディスプレイ
１６検査台
２０検査システム
２１第一の搬送ライン
２２第二の搬送ライン
９１検査対象物
９９マーカー画像
Ｓ作業者

Claims

深層学習を用いて生産ラインを流れる検査対象物の表面欠陥の特徴を学習する分類器の学習支援システムであって、
分類器により表面欠陥である確率が所定の範囲にあると判定された部位を示すマーカー画像を、検査対象物の鏡面様の部分に対して投影する投影機と、
検査対象物に対して影の発生を抑制するように照らすことが可能なように配置された照明と、
投影機で投影された部位についての作業者の判断結果を入力する判断結果入力部と、
判断結果入力部を用いて入力された作業者の判断結果がラベル付けされた画像情報を記憶する記憶部と、
記憶部で記憶された情報を用いて分類器の学習を行う演算部と、
を備え、
投影機から検査対象物にマーカー画像を投影する投影方向と水平面がなす角度が０度より大きく４５度未満となる分類器の学習支援システム。
作業者の判断結果を表示するディスプレイを備えた請求項１に記載の分類器の学習支援システム。
投影機が投影可能な位置で、検査対象物の位置を定める位置決め機構を備えた請求項１又は２に記載の分類器の学習支援システム。
深層学習を用いて生産ラインを流れる検査対象物の表面欠陥の特徴を学習する分類器に用いられる学習データの収集方法であって、
検査台に載せられた検査対象物に対して影の発生を抑制するように照明で照らし、
投影機により、表面欠陥である確率が所定の範囲にあると判定された部位を示すマーカー画像を投影方向と水平面がなす角度が０度より大きく４５度未満となるように検査対象物の鏡面様の部分に投影し、
投影機で投影された部位についての作業者の判断結果を入力し、
入力した内容を学習データとして収集する学習データの収集方法。
検査対象物の水平面に照射するマーカー画像を作業者が視認する際の、水平面と視線がなす角度が、
作業者の正面に設置された投影機が検査対象物にマーカー画像を投影する投影方向と水平面がなす角度よりも大きく、かつ、９０度未満である請求項４に記載の学習データの収集方法。
深層学習により学習した内容を用いて検査対象物の表面欠陥の有無を判定する分類器と、
分類器で得られた結果から、合格品と判断された検査対象物が搬送される第一の搬送ラインと、
分類器で得られた結果から、合格品と判断されなかった検査対象物を載せる検査台と、
検査台に向けて検査対象物を搬送する第二の搬送ラインと、
検査台上の検査対象物に対して影の発生を抑制するように照らす照明と、
照明で照らされた検査対象物に対して、分類器により、表面欠陥である確率が所定の範囲にあると判定された部位を示すマーカー画像を投影方向と水平面がなす角度が０度より大きく４５度未満となるように検査対象物の鏡面様の部分に投影する投影機と、
投影機で投影された部位についての作業者の判断結果を入力する判断結果入力部と、
を備えた、検査システム。