JP6544716B2 - データ生成装置、データ生成方法及びデータ生成プログラム - Google Patents
データ生成装置、データ生成方法及びデータ生成プログラム Download PDFInfo
- Publication number
- JP6544716B2 JP6544716B2 JP2017240507A JP2017240507A JP6544716B2 JP 6544716 B2 JP6544716 B2 JP 6544716B2 JP 2017240507 A JP2017240507 A JP 2017240507A JP 2017240507 A JP2017240507 A JP 2017240507A JP 6544716 B2 JP6544716 B2 JP 6544716B2
- Authority
- JP
- Japan
- Prior art keywords
- images
- image
- detection target
- inspection object
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 59
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 230000007547 defect Effects 0.000 claims description 335
- 238000007689 inspection Methods 0.000 claims description 322
- 238000003384 imaging method Methods 0.000 claims description 285
- 238000001514 detection method Methods 0.000 claims description 199
- 238000006243 chemical reaction Methods 0.000 claims description 55
- 238000005286 illumination Methods 0.000 claims description 36
- 238000012937 correction Methods 0.000 claims description 22
- 238000011156 evaluation Methods 0.000 claims description 17
- 238000012549 training Methods 0.000 claims description 9
- 230000010365 information processing Effects 0.000 claims description 8
- 238000005259 measurement Methods 0.000 description 154
- 238000012545 processing Methods 0.000 description 51
- 230000008569 process Effects 0.000 description 46
- 238000003702 image correction Methods 0.000 description 38
- 238000012360 testing method Methods 0.000 description 24
- 238000010801 machine learning Methods 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000012854 evaluation process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Description
まず、図1を用いて、本発明が適用される場面の一例について説明する。図1は、本実施形態に係るデータ生成装置100の適用場面の一例を模式的に例示した機能ブロック図である。本実施形態に係るデータ生成装置100は、撮像装置153によって様々な撮像条件で撮像された検査対象物の画像に基づいて、検査対象物に検出対象部位が含まれているか否かを、第1学習部130や第2学習部140によって学習された識別器(a、b、c、A、B、…)によって判定し、ある撮像条件で撮像された画像に基づいて検査対象物に検出対象部位が含まれていると判定された場合に、他の撮像条件で撮像された検査対象物の画像に検出対象部位に関する情報を転記して、複数の新たな学習用データを生成する装置である。
[機能構成]
次に、図1を用いて、本実施形態に係るデータ生成装置100の機能構成の一例を説明する。データ生成装置100は、学習用データを用いて、検査対象物の欠陥の有無と、検査対象物に欠陥が含まれる場合には、その欠陥の位置と、その欠陥の種類と、を含む属性情報(ラベル)を出力する識別器を生成する機能を備える。ここで、検査対象物に複数の欠陥が含まれる場合には、属性情報は、欠陥の有無と、複数の欠陥の位置と、それらの欠陥の種類と、を含んでよい。また、データ生成装置100は、検査対象物を計測した計測画像を取得し、生成された識別器を用いて、検査対象物の属性情報を出力する機能を備える。したがって、データ生成装置100は、検査対象物の計測画像を取得し、計測画像に基づいて検査対象物の欠陥の有無に関する情報を含む計測結果を出力する検査システムとして機能する。
画像収集部110は、学習用データを生成するためのサンプル画像を取得する。サンプル画像は、検査対象物を撮像した画像でもよく、また、公知の画像合成技術により生成されたCG画像であってもよい。画像収集部110が取得したサンプル画像は、属性付与部111にて、各画像に対して、又は、複数の画像に対して、属性情報の付与が行われる。すなわち、属性付与部111は、サンプル画像に対して属性情報を付与することで、サンプル画像を学習用データにする。
図2は、本実施形態に係るデータ生成装置の第1学習部130及び第2学習部140における処理の内容を示す概念図である。第1学習部130は、画像収集部110から、学習用データを取得する。なお、第1学習部130は、後述する画像修正部120から、学習用データを取得してもよい。第1学習部130は、取得した学習用データを用いた機械学習を実行し、識別器(a、b、c、・・・)を生成する第1学習処理部131を有する。識別器(a、b、c、・・・)は、画像データを入力とし、当該画像に含まれる欠陥の有無と、1又は複数の欠陥が含まれる場合にはその位置及びその種類と、を含む属性情報を出力するものである。識別器(a、b、c、・・・)には、画像データ以外のデータが入力されてもよい。例えば、識別器(a、b、c、・・・)には、検査対象物の画像を撮像した撮像条件が入力されたり、検査対象物の識別情報が入力されたりしてもよい。ここで、撮像条件は、検査対象物と撮像装置153との相対的な配置条件及び検査対象物を照らす照明条件を含んでよい。検査対象物と撮像装置153との相対的な配置条件は、検査対象物をどのような方向から、どのような距離で撮像したかを特定する条件であってよい。また、照明条件は、検査対象物を照らす照明器具をどのように用いたかを特定する条件であってよく、例えば照明器具の明るさを段階的に変えられる場合、どのような明るさで検査対象物を照らしたかを特定する条件であってよい。なお、撮像条件として、撮像装置153が備えるレンズ等の光学系や受光素子等に関する条件を含んでもよい。
引き続き、図2を用いて、第2学習部140における処理の内容を説明する。第2学習部140は、所定の生成処理によって生成された識別器に対する追加学習(再学習)を行う。なお、第2学習部140について、第1学習部130と共通する要素については、その記載を省略する。
図3は、本実施形態に係るデータ生成装置100の計測部150における処理の内容を示す概念図である。計測部150は、学習用データを用いた学習処理及び評価処理によって生成された識別器を用いて、撮像装置153により撮像された検査対象物の計測画像の属性情報を出力させ、判定部152により検査対象物に欠陥が含まれているか否かを判定して、欠陥の有無に関する情報(判定結果)を含む属性情報及び計測画像を含む計測結果を出力する。属性情報は、欠陥の有無に関する情報(判定結果)、1又は複数の欠陥が含まれる場合にはその欠陥の位置及び種類、を含む。また、計測結果は、撮像装置153による撮像条件を含んでもよい。
計測結果管理部160は、計測結果に含まれる計測画像と、判定部152が識別器を用いて出力する計測画像の判定結果を少なくとも含む、計測画像の属性情報とを関連付けて記憶する計測結果DB161を有する。なお、計測結果管理部160は、検査対象物を識別するための識別情報を、計測結果とともに取得してもよいし、撮像装置153による検査対象物の撮像条件を、計測結果とともに取得してもよい。このとき、検査対象物の識別情報及び撮像条件は、計測部150から取得してもよく、所定のインタフェースを介して外部より取得してもよい。また、計測結果DB161は、属性情報に含まれる属性の種別に応じて、例えば、欠陥の種類の属性に関連付けて、計測画像を分類して記憶してもよい。
本実施形態において、ユーザインタフェース170は、第2作業者が、判定部152による判定結果や計測画像の属性情報を確認するために用いられたり、計測画像に関連付けられた欠陥に関する情報を修正する操作(修正操作)を実行するために用いられたりする。ユーザインタフェース170は、少なくとも計測画像及び計測部150による計測結果を表示するための表示部(液晶表示装置等)、及び、第2作業者による修正操作を行うための入力部(タッチパネル、キーボード、マウス等)を有する。ユーザインタフェース170の表示部には、複数の計測画像とともに、当該複数の計測画像それぞれに関連付けられた欠陥に関する情報が表示されてもよい。第2作業者は、表示部に表示された計測画像及び欠陥に関する情報に基づいて、関連付けられた欠陥に関する情報の正誤を判断し、入力部を用いてその正誤に関する情報を入力することができる。計測画像に関連付けられた欠陥に関する情報が正しくないと判断される場合、入力部によって、欠陥に関する正しい情報を入力することができる。
画像修正部120は、2以上の異なる撮像条件で検査対象物を撮像した複数の画像のうちいずれかに基づいて、判定部152により検査対象物に欠陥が含まれていると判定された場合に、欠陥に関する情報を複数の画像それぞれに関連付けて、複数の学習用データの生成を行う。画像修正部120は、生成部121、修正画像データベース(以下、「修正画像DB」と称す。)122、変換部123及び評価部124を有する。
次に、図4を用いて、本実施形態に係るデータ生成装置100のハードウェア構成の一例を説明する。本実施形態に係るデータ生成装置100は、演算装置101、出力装置191、入力装置192及び撮像装置153を備える情報処理装置であってよい。ここで、出力装置191及び入力装置192は、ユーザインタフェース170及びユーザインタフェース180を構成する。
図5は、本実施形態に係るデータ生成装置100により実行される第1処理の内容を示すフローチャートである。第1処理は、学習済みの識別器によって、異なる撮像条件で撮像された複数の計測画像に基づいて、検査対象物に欠陥が含まれているか否かを判定し、複数の画像のうちいずれかに基づいて検査対象物に欠陥が含まれていると判定された場合に、欠陥に関する情報を複数の画像それぞれに関連付けて、複数の新たな学習用データを生成する処理である。
<4.1>
図9は、本実施形態の第1変形例に係るデータ生成装置100により実行される第2処理の内容を示すフローチャートである。第1処理では、基準画像の選択を受け付けたのに対し、第2処理は、判定部152により、複数の画像のうち2以上の画像に基づいて検査対象物に欠陥が含まれていると判定された場合に、2以上の画像についての判定部152による判定結果の信頼度に応じて、2以上の画像からいずれか一枚を選択し、選択した一枚の画像から得られる欠陥に関する情報を複数の画像それぞれに関連付けて、複数の新たな学習用データを生成する処理である。第1変形例に係るデータ生成装置100による新たな学習用データの生成処理は、判定部152による判定結果の信頼度に応じて画像を選択する点で、先に説明した実施形態に係るデータ生成装置により実行される生成処理と相違する。その他の処理については、第1変形例に係るデータ生成装置100により実行される処理と、実施形態に係るデータ生成装置により実行される処理は同じであってよい。
本実施形態の第2変形例に係るデータ生成装置100は、判定部152により、複数の画像のうち2以上の画像に基づいて検査対象物に欠陥が含まれていると判定された場合に、2以上の画像についての判定部152により欠陥が含まれると判定された領域の面積に応じて、2以上の画像からいずれか一枚を選択し、選択した一枚の画像から得られる欠陥に関する情報を複数の画像それぞれに関連付けて、複数の新たな学習用データを生成する。第2変形例に係るデータ生成装置100による新たな学習用データの生成処理は、判定部152による判定結果の信頼度ではなく、欠陥が含まれると判定された領域の面積に応じて画像を選択する点で、第1変形例における生成処理と相違する。その他の処理については、第2変形例に係るデータ生成装置100により実行される処理と、第1変形例に係るデータ生成装置により実行される処理は同じであってよい。
検査対象物の画像と前記検査対象物画像に含まれる検出対象部位に関する情報とを含む学習用データを用いて学習された識別器(a、b、c、A、B、…)によって、前記検査対象物の複数の画像に基づいて前記検査対象物に検出対象部位が含まれているか否かを判定する判定部(152)と、
2以上の異なる撮像条件で前記検査対象物を撮像した前記複数の画像を取得する取得部(153)と、
前記判定部(152)によって前記複数の画像のうちいずれかに基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記検出対象部位に関する情報を前記複数の画像に含まれる他の画像に関連付けて、新たな学習用データを生成する生成部(121)と、
を備えるデータ生成装置。
前記判定部(152)は、前記複数の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定する場合に、前記検出対象部位の種類を判定し、
前記生成部(121)は、前記判定部(152)によって前記複数の画像のうちいずれかに基づいて前記検査対象物に検出対象部位が含まれていると判定され、前記検出対象部位の種類が判定された場合に、前記検出対象部位の種類に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
付記1に記載のデータ生成装置。
前記判定部(152)は、前記複数の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定する場合に、前記検出対象部位の位置を判定し、
前記生成部(121)は、前記判定部(152)によって前記複数の画像のうちいずれかに基づいて前記検査対象物に検出対象部位が含まれていると判定され、前記検出対象部位の位置が判定された場合に、前記検出対象部位の位置に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
付記1又は2に記載のデータ生成装置。
前記撮像条件は、前記検査対象物を照らす照明条件を含み、
前記生成部(121)は、前記判定部(152)によって前記複数の画像のうちいずれかに基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記複数の画像に含まれる他の画像の前記照明条件を、前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
付記1から3のいずれか一項に記載のデータ生成装置。
前記撮像条件は、前記検査対象物と撮像装置との相対的な配置条件を含み、
前記複数の画像の前記配置条件に基づいて、前記複数の画像のうち一枚の画像における前記検出対象部位の位置を、前記複数の画像に含まれる他の画像における前記検出対象部位の位置に変換する変換部(123)をさらに備え、
前記生成部(121)は、前記判定部(152)によって前記一枚の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記変換部(123)により変換された前記検出対象部位の位置に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
付記3に記載のデータ生成装置。
前記複数の画像の対応関係に基づいて、前記複数の画像のうち一枚の画像における前記検出対象部位の位置を、前記複数の画像に含まれる他の画像における前記検出対象部位の位置に変換する変換部(123)をさらに備え、
前記生成部(121)は、前記判定部(152)によって前記一枚の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記変換部(123)により変換された前記検出対象部位の位置に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
付記3に記載のデータ生成装置。
前記生成部(121)は、前記検査対象物の3次元モデルに基づいて、前記複数の画像において前記検出対象部位が隠れず撮像できるか否かを判定し、前記検出対象部位が隠れず撮像できると判定された場合に、前記変換部(123)により変換された前記検出対象部位の位置に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
付記5又は6に記載のデータ生成装置。
前記判定部(152)によって前記複数の画像のうちいずれか一枚の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記一枚の画像と前記複数の画像の前記撮像条件の差が閾値以下であるか否かを評価する評価部(124)をさらに備え、
前記生成部(121)は、前記複数の画像のうち、前記評価部により前記撮像条件の差が閾値以下であると評価された画像に前記検出対象部位に関する情報を関連付けて、前記新たな学習用データを生成する、
付記1から7のいずれか一項に記載のデータ生成装置。
前記判定部(152)により、前記複数の画像のうち2以上の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記2以上の画像についての前記判定部(152)による判定結果の信頼度に応じて、前記2以上の画像からいずれか一枚を選択し、選択した一枚の画像から得られる前記検出対象部位に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
付記1から8のいずれか一項に記載のデータ生成装置。
前記判定部(152)により、前記複数の画像のうち2以上の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記2以上の画像について前記判定部(152)により前記検出対象部位が含まれると判定された領域の面積に応じて、前記2以上の画像からいずれか一枚を選択し、選択した一枚の画像から得られる前記検出対象部位に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
付記1から8のいずれか一項に記載のデータ生成装置。
前記検出対象部位は、前記検査対象物に含まれる欠陥の部位であり、
前記生成部(121)により前記複数の画像に含まれる他の画像に関連付けられた前記欠陥に関する情報について、修正操作を受け付ける入力部(170)をさらに備え、
前記生成部(121)は、前記修正操作に基づいて、前記複数の画像それぞれに関連付ける前記欠陥に関する情報を修正して、前記新たな学習用データを生成する、
付記1から10のいずれか一項に記載のデータ生成装置。
検査対象物の画像と前記検査対象物画像に含まれる検出対象部位に関する情報とを含む学習用データを用いて学習された識別器(a、b、c、A、B、…)によって、前記検査対象物の複数の画像に基づいて前記検査対象物に検出対象部位が含まれているか否かを判定することと、
2以上の異なる撮像条件で前記検査対象物を撮像した前記複数の画像を取得することと、
前記判定することによって前記複数の画像のうちいずれかに基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記検出対象部位に関する情報を前記複数の画像に含まれる他の画像に関連付けて、新たな学習用データを生成することと、
を含むデータ生成方法。
データ生成装置に備えられた演算装置を、
検査対象物の画像と前記検査対象物画像に含まれる検出対象部位に関する情報とを含む学習用データを用いて学習された識別器(a、b、c、A、B、…)によって、前記検査対象物の複数の画像に基づいて前記検査対象物に検出対象部位が含まれているか否かを判定する判定部(152)、
2以上の異なる撮像条件で前記検査対象物を撮像した前記複数の画像を取得する取得部(153)、及び
前記判定部(152)によって前記複数の画像のうちいずれかに基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記検出対象部位に関する情報を前記複数の画像に含まれる他の画像に関連付けて、新たな学習用データを生成する生成部(121)、
として動作させるデータ生成プログラム。
Claims (13)
- 検査対象物の画像と前記検査対象物に含まれる検出対象部位に関する情報とを含む学習用データを用いて学習された識別器によって、前記検査対象物の複数の画像に基づいて前記検査対象物に検出対象部位が含まれているか否かを判定する判定部と、
2以上の異なる撮像条件で前記検査対象物を撮像した前記複数の画像を取得する取得部と、
前記判定部によって前記複数の画像のうちいずれかに基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記検出対象部位に関する情報を前記複数の画像に含まれる他の画像に関連付けて、新たな学習用データを生成する生成部と、
を備えるデータ生成装置。 - 前記判定部は、前記複数の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定する場合に、前記検出対象部位の種類を判定し、
前記生成部は、前記判定部によって前記複数の画像のうちいずれかに基づいて前記検査対象物に検出対象部位が含まれていると判定され、前記検出対象部位の種類が判定された場合に、前記検出対象部位の種類に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
請求項1に記載のデータ生成装置。 - 前記判定部は、前記複数の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定する場合に、前記検出対象部位の位置を判定し、
前記生成部は、前記判定部によって前記複数の画像のうちいずれかに基づいて前記検査対象物に検出対象部位が含まれていると判定され、前記検出対象部位の位置が判定された場合に、前記検出対象部位の位置に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
請求項1又は2に記載のデータ生成装置。 - 前記撮像条件は、前記検査対象物を照らす照明条件を含み、
前記生成部は、前記判定部によって前記複数の画像のうちいずれかに基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記複数の画像に含まれる他の画像の前記照明条件を、前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
請求項1から3のいずれか一項に記載のデータ生成装置。 - 前記撮像条件は、前記検査対象物と撮像装置との相対的な配置条件を含み、
前記複数の画像の前記配置条件に基づいて、前記複数の画像のうち一枚の画像における前記検出対象部位の位置を、前記複数の画像に含まれる他の画像における前記検出対象部位の位置に変換する変換部をさらに備え、
前記生成部は、前記判定部によって前記一枚の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記変換部により変換された前記検出対象部位の位置に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
請求項3に記載のデータ生成装置。 - 前記複数の画像の対応関係に基づいて、前記複数の画像のうち一枚の画像における前記検出対象部位の位置を、前記複数の画像に含まれる他の画像における前記検出対象部位の位置に変換する変換部をさらに備え、
前記生成部は、前記判定部によって前記一枚の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記変換部により変換された前記検出対象部位の位置に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
請求項3に記載のデータ生成装置。 - 前記生成部は、前記検査対象物の3次元モデルに基づいて、前記複数の画像において前記検出対象部位が隠れず撮像できるか否かを判定し、前記検出対象部位が隠れず撮像できると判定された場合に、前記変換部により変換された前記検出対象部位の位置に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
請求項5又は6に記載のデータ生成装置。 - 前記判定部によって前記複数の画像のうちいずれか一枚の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記一枚の画像と前記複数の画像の前記撮像条件の差が閾値以下であるか否かを評価する評価部をさらに備え、
前記生成部は、前記複数の画像のうち、前記評価部により前記撮像条件の差が閾値以下であると評価された画像に前記検出対象部位に関する情報を関連付けて、前記新たな学習用データを生成する、
請求項1から7のいずれか一項に記載のデータ生成装置。 - 前記判定部により、前記複数の画像のうち2以上の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記2以上の画像についての前記判定部による判定結果の信頼度に応じて、前記2以上の画像からいずれか一枚を選択し、選択した一枚の画像から得られる前記検出対象部位に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
請求項1から8のいずれか一項に記載のデータ生成装置。 - 前記判定部により、前記複数の画像のうち2以上の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記2以上の画像について前記判定部により前記検出対象部位が含まれると判定された領域の面積に応じて、前記2以上の画像からいずれか一枚を選択し、選択した一枚の画像から得られる前記検出対象部位に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
請求項1から8のいずれか一項に記載のデータ生成装置。 - 前記検出対象部位は、前記検査対象物に含まれる欠陥の部位であり、
前記生成部により前記複数の画像に含まれる他の画像に関連付けられた前記欠陥に関する情報について、修正操作を受け付ける入力部をさらに備え、
前記生成部は、前記修正操作に基づいて、前記複数の画像に含まれる他の画像に関連付ける前記欠陥に関する情報を修正して、前記新たな学習用データを生成する、
請求項1から10のいずれか一項に記載のデータ生成装置。 - 検査対象物の画像と前記検査対象物画像に含まれる検出対象部位に関する情報とを含む学習用データを用いて学習された識別器によって、前記検査対象物の複数の画像に基づいて前記検査対象物に検出対象部位が含まれているか否かを判定することと、
2以上の異なる撮像条件で前記検査対象物を撮像した前記複数の画像を取得することと、
前記判定することによって前記複数の画像のうちいずれかに基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記検出対象部位に関する情報を前記複数の画像に含まれる他の画像に関連付けて、新たな学習用データを生成することと、
を含むデータ生成方法。 - データ生成装置に備えられた演算装置を、
検査対象物の画像と前記検査対象物画像に含まれる検出対象部位に関する情報とを含む学習用データを用いて学習された識別器によって、前記検査対象物の複数の画像に基づいて前記検査対象物に検出対象部位が含まれているか否かを判定する判定部、
2以上の異なる撮像条件で前記検査対象物を撮像した前記複数の画像を取得する取得部、及び
前記判定部によって前記複数の画像のうちいずれかに基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記検出対象部位に関する情報を前記複数の画像に含まれる他の画像に関連付けて、新たな学習用データを生成する生成部、
として動作させるデータ生成プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017240507A JP6544716B2 (ja) | 2017-12-15 | 2017-12-15 | データ生成装置、データ生成方法及びデータ生成プログラム |
PCT/JP2018/045264 WO2019117068A1 (ja) | 2017-12-15 | 2018-12-10 | データ生成装置、データ生成方法及びデータ生成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017240507A JP6544716B2 (ja) | 2017-12-15 | 2017-12-15 | データ生成装置、データ生成方法及びデータ生成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019109577A JP2019109577A (ja) | 2019-07-04 |
JP6544716B2 true JP6544716B2 (ja) | 2019-07-17 |
Family
ID=66819282
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017240507A Active JP6544716B2 (ja) | 2017-12-15 | 2017-12-15 | データ生成装置、データ生成方法及びデータ生成プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6544716B2 (ja) |
WO (1) | WO2019117068A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6641447B2 (ja) * | 2017-12-26 | 2020-02-05 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
JP7339051B2 (ja) * | 2019-07-30 | 2023-09-05 | 三菱重工業株式会社 | 点検支援システム、サーバ装置、点検支援方法、及び点検支援プログラム |
WO2021028714A1 (en) * | 2019-08-13 | 2021-02-18 | Omron Corporation | Method, apparatuses, computer program and medium including computer instructions for performing inspection of an item |
JP2021081835A (ja) * | 2019-11-15 | 2021-05-27 | ソニーグループ株式会社 | 生成装置および生成方法 |
JP6898020B1 (ja) * | 2020-02-17 | 2021-07-07 | クリスタルメソッド株式会社 | 情報処理装置及び情報処理方法 |
JP2022189274A (ja) * | 2021-06-11 | 2022-12-22 | 日立Astemo株式会社 | 外観検査装置、外観検査方法、画像生成装置および画像生成方法 |
WO2023199729A1 (ja) * | 2022-04-14 | 2023-10-19 | 株式会社Nttドコモ | 画像認識装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014178957A (ja) * | 2013-03-15 | 2014-09-25 | Nec Corp | 学習データ生成装置、学習データ作成システム、方法およびプログラム |
JP6403261B2 (ja) * | 2014-12-03 | 2018-10-10 | タカノ株式会社 | 分類器生成装置、外観検査装置、分類器生成方法、及びプログラム |
-
2017
- 2017-12-15 JP JP2017240507A patent/JP6544716B2/ja active Active
-
2018
- 2018-12-10 WO PCT/JP2018/045264 patent/WO2019117068A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2019109577A (ja) | 2019-07-04 |
WO2019117068A1 (ja) | 2019-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6544716B2 (ja) | データ生成装置、データ生成方法及びデータ生成プログラム | |
JP6573226B2 (ja) | データ生成装置、データ生成方法及びデータ生成プログラム | |
US10885618B2 (en) | Inspection apparatus, data generation apparatus, data generation method, and data generation program | |
JP6924413B2 (ja) | データ生成装置、データ生成方法及びデータ生成プログラム | |
WO2023077404A1 (zh) | 缺陷检测方法、装置和系统 | |
US11982628B2 (en) | System and method for detecting defects on imaged items | |
JP4908995B2 (ja) | 欠陥分類方法及びその装置並びに欠陥検査装置 | |
JP2019087078A (ja) | データ生成装置、データ生成方法及びデータ生成プログラム | |
US6941009B2 (en) | Method for evaluating pattern defects on a water surface | |
JP2018005640A (ja) | 分類器生成装置、画像検査装置、及び、プログラム | |
JP5718781B2 (ja) | 画像分類装置および画像分類方法 | |
JP5342606B2 (ja) | 欠陥分類方法及びその装置 | |
CN103972124B (zh) | 图案化晶圆缺点检测系统及其方法 | |
JP2006275952A (ja) | パターン評価方法、パターン位置合わせ方法およびプログラム | |
JP2014137284A (ja) | 教師データ作成支援装置、教師データ作成装置、画像分類装置、教師データ作成支援方法、教師データ作成方法および画像分類方法 | |
JP2017107313A (ja) | 教師データ作成支援方法、画像分類方法、教師データ作成支援装置および画像分類装置 | |
JP2017162232A (ja) | 教師データ作成支援装置、画像分類装置、教師データ作成支援方法および画像分類方法 | |
TW577995B (en) | An image searching defect detector | |
Zhou et al. | Development and Evaluation of a Vision Inspection System for Plastic Bottle Measurement | |
JP2022123235A (ja) | 画像検査装置、画像検査方法及び学習済みモデル生成装置 | |
CN117670775A (zh) | 一种故障检测方法、装置、可读存储介质及电子设备 | |
JP2018198034A (ja) | 画像分類システム、画像分類機能付製造装置、画像分類用の識別器、及び画像分類方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190401 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190401 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190527 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6544716 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190609 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |