JP7487469B2 - 画像生成装置、画像生成方法及びプログラム - Google Patents
画像生成装置、画像生成方法及びプログラム Download PDFInfo
- Publication number
- JP7487469B2 JP7487469B2 JP2019223729A JP2019223729A JP7487469B2 JP 7487469 B2 JP7487469 B2 JP 7487469B2 JP 2019223729 A JP2019223729 A JP 2019223729A JP 2019223729 A JP2019223729 A JP 2019223729A JP 7487469 B2 JP7487469 B2 JP 7487469B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- abnormality
- abnormal
- abnormal image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 27
- 230000002159 abnormal effect Effects 0.000 claims description 162
- 230000005856 abnormality Effects 0.000 claims description 43
- 238000012549 training Methods 0.000 claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000011179 visual inspection Methods 0.000 claims description 10
- 230000000873 masking effect Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000002950 deficient Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000011265 semifinished product Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
まず、本実施形態に係る画像生成装置10の全体構成について、図1を参照しながら説明する。図1は、本実施形態に係る画像生成装置10の全体構成の一例を示す図である。
次に、本実施形態に係る画像生成装置10のハードウェア構成について、図5を参照しながら説明する。図5は、本実施形態に係る画像生成装置10のハードウェア構成の一例を示す図である。
次に、本実施形態に係る画像生成処理の実施例1及び実施例2について説明する。上述したように、実施例1では、学習用の異常画像数は十分であるものの、学習用の正常画像数が十分でないものとする(つまり、記憶部104には十分な数の異常画像が記憶されているものの、正常画像は十分でない数しか記憶されていないものとする。)。一方で、実施例2では、学習用の正常画像数は十分であるものの、学習用の異常画像数が十分でないものとする(つまり、記憶部104には十分な数の正常画像が記憶されているものの、異常画像は十分でない数しか記憶されていないものとする。)。
以降では、実施例1における画像生成処理の流れについて、図6を参照しながら説明する。図6は、実施例1における画像生成処理の流れを示すフローチャートである。なお、以降の画像生成処理では、或る1つの異常画像から正常画像を生成する場合について説明する。複数の異常画像に対して画像生成処理を実行する場合には、複数の異常画像の各々の異常画像に対して画像生成処理を繰り返し実行すればよい。
以降では、実施例2における画像生成処理の流れについて、図7を参照しながら説明する。図7は、実施例2における画像生成処理の流れを示すフローチャートである。なお、以降の画像生成処理では、或る1つの異常画像から新たな異常画像を生成する場合について説明する。複数の異常画像に対して画像生成処理を実行する場合には、複数の異常画像の各々の異常画像に対して画像生成処理を繰り返し実行すればよい。
以上のように、本実施形態に係る画像生成装置10は、異常画像の異常領域を自動的に特定した上で、特定した異常領域をマスクすることで疑似的に正常画像を生成したり、特定した異常領域以外の領域にランダムイレージングを適用して新たな異常画像を生成したりすることができる。このため、例えば、目的分類器を学習するための正常画像数が十分でない場合や異常画像数が十分でない場合等に、学習用の正常画像数や異常画像数を増やすことが可能になる。したがって、本実施形態に係る画像生成装置10を用いることで、高い性能の目的分類器を得ることができるようになる。
101 異常種類分類部
102 領域特定部
103 画像生成部
104 記憶部
201 入力装置
202 表示装置
203 外部I/F
203a 記録媒体
204 通信I/F
205 プロセッサ
206 メモリ装置
207 バス
Claims (10)
- 対象物の外観検査に用いられる分類器を学習するための画像を生成する画像生成装置であって、
外観に異常がある対象物を撮影した異常画像を入力として、前記異常の種類を特定する第1の特定部と、
前記異常画像中で前記異常の箇所を示す領域を特定する第2の特定部と、
前記第2の特定部で特定された領域を、前記分類器の学習に使用しない領域に設定した前記異常画像を正常画像として生成する画像生成部と、
を有する画像生成装置。 - 前記画像生成部は、
前記第2の特定部で特定された領域をマスクすることで、前記分類器の学習に使用しない領域を設定する、請求項1に記載の画像生成装置。 - 前記画像生成部は、
前記正常画像に対して、左右若しくは上下又は上下左右の反転、ノイズ付加及び色の補正のうちの少なくとも1つを行うことで、新たな正常画像を生成する、請求項1又は2に記載の画像生成装置。 - 対象物の外観検査に用いられる分類器を学習するための画像を生成する画像生成装置であって、
外観に異常がある対象物を撮影した異常画像を入力として、前記異常の種類を特定する第1の特定部と、
前記異常画像中で前記異常の箇所を示す領域を特定する第2の特定部と、
前記第2の特定部で特定された領域をデータ拡張に使用しない領域に設定した前記異常画像に対して、前記データ拡張を行うことで新たな異常画像を生成する画像生成部と、
を有し、
前記データ拡張は、ランダムイレージングであり、
前記画像生成部は、
前記ランダムイレージングの対象となる領域と、前記第2の特定部で特定された領域との少なくとも一部が重畳しているか否かを判定し、
前記少なくとも一部が重畳していないと判定した場合は、前記異常画像に前記ランダムイレージングを行って前記新たな異常画像を生成し、
前記少なくとも一部が重畳していると判定した場合は、前記新たな異常画像を生成しない、画像生成装置。 - 前記画像生成部は、
前記新たな異常画像に対して、左右若しくは上下又は上下左右の反転、ノイズ付加及び色の補正のうちの少なくとも1つを行うことで、新たな異常画像を更に生成する、請求項4に記載の画像生成装置。 - 前記第1の特定部は、
異常画像と前記異常画像中の異常の種類とが含まれる学習データを用いて予め学習された畳み込みニューラルネットワークによって、入力された異常画像の種類を特定し、
前記第2の特定部は、
前記畳み込みニューラルネットワークに対してGrad-CAMを用いることで、前記異常の箇所を示す領域を特定する、請求項1乃至5の何れか一項に記載の画像生成装置。 - 対象物の外観検査に用いられる分類器を学習するための画像を生成する画像生成方法であって、
外観に異常がある対象物を撮影した異常画像を入力として、前記異常の種類を特定する第1の特定手順と、
前記異常画像中で前記異常の箇所を示す領域を特定する第2の特定手順と、
前記第2の特定手順で特定された領域を、前記分類器の学習に使用しない領域に設定した前記異常画像を正常画像として生成する画像生成手順と、
をコンピュータが実行する画像生成方法。 - 対象物の外観検査に用いられる分類器を学習するための画像を生成する画像生成方法であって、
外観に異常がある対象物を撮影した異常画像を入力として、前記異常の種類を特定する第1の特定手順と、
前記異常画像中で前記異常の箇所を示す領域を特定する第2の特定手順と、
前記第2の特定手順で特定された領域をデータ拡張に使用しない領域に設定した前記異常画像に対して、前記データ拡張を行うことで新たな異常画像を生成する画像生成手順と、
をコンピュータが実行し、
前記データ拡張は、ランダムイレージングであり、
前記画像生成手順は、
前記ランダムイレージングの対象となる領域と、前記第2の特定手順で特定された領域との少なくとも一部が重畳しているか否かを判定し、
前記少なくとも一部が重畳していないと判定した場合は、前記異常画像に前記ランダムイレージングを行って前記新たな異常画像を生成し、
前記少なくとも一部が重畳していると判定した場合は、前記新たな異常画像を生成しない、画像生成方法。 - 対象物の外観検査に用いられる分類器を学習するための画像を生成する画像生成装置を、
外観に異常がある対象物を撮影した異常画像を入力として、前記異常の種類を特定する第1の特定部、
前記異常画像中で前記異常の箇所を示す領域を特定する第2の特定部、
前記第2の特定部で特定された領域を、前記分類器の学習に使用しない領域に設定した前記異常画像を正常画像として生成する画像生成部、
として機能させるためのプログラム。 - 対象物の外観検査に用いられる分類器を学習するための画像を生成する画像生成装置を、
外観に異常がある対象物を撮影した異常画像を入力として、前記異常の種類を特定する第1の特定部、
前記異常画像中で前記異常の箇所を示す領域を特定する第2の特定部、
前記第2の特定部で特定された領域をデータ拡張に使用しない領域に設定した前記異常画像に対して、前記データ拡張を行うことで新たな異常画像を生成する画像生成部、
として機能させ、
前記データ拡張は、ランダムイレージングであり、
前記画像生成部は、
前記ランダムイレージングの対象となる領域と、前記第2の特定部で特定された領域との少なくとも一部が重畳しているか否かを判定し、
前記少なくとも一部が重畳していないと判定した場合は、前記異常画像に前記ランダムイレージングを行って前記新たな異常画像を生成し、
前記少なくとも一部が重畳していると判定した場合は、前記新たな異常画像を生成しない、プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019223729A JP7487469B2 (ja) | 2019-12-11 | 2019-12-11 | 画像生成装置、画像生成方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019223729A JP7487469B2 (ja) | 2019-12-11 | 2019-12-11 | 画像生成装置、画像生成方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021093004A JP2021093004A (ja) | 2021-06-17 |
JP7487469B2 true JP7487469B2 (ja) | 2024-05-21 |
Family
ID=76312453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019223729A Active JP7487469B2 (ja) | 2019-12-11 | 2019-12-11 | 画像生成装置、画像生成方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7487469B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023183314A (ja) * | 2022-06-15 | 2023-12-27 | 株式会社Sumco | ウェーハの判定方法、判定プログラム、判定装置、ウェーハの製造方法及びウェーハ |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012026982A (ja) | 2010-07-27 | 2012-02-09 | Panasonic Electric Works Sunx Co Ltd | 検査装置 |
WO2018008593A1 (ja) | 2016-07-04 | 2018-01-11 | 日本電気株式会社 | 画像診断学習装置、画像診断装置、方法およびプログラムを格納する記憶媒体 |
JP2018205123A (ja) | 2017-06-05 | 2018-12-27 | 学校法人梅村学園 | 画像検査システムの性能調整のための検査用画像を生成する画像生成装置及び画像生成方法 |
JP2019114116A (ja) | 2017-12-25 | 2019-07-11 | オムロン株式会社 | データ生成装置、データ生成方法及びデータ生成プログラム |
-
2019
- 2019-12-11 JP JP2019223729A patent/JP7487469B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012026982A (ja) | 2010-07-27 | 2012-02-09 | Panasonic Electric Works Sunx Co Ltd | 検査装置 |
WO2018008593A1 (ja) | 2016-07-04 | 2018-01-11 | 日本電気株式会社 | 画像診断学習装置、画像診断装置、方法およびプログラムを格納する記憶媒体 |
JP2018205123A (ja) | 2017-06-05 | 2018-12-27 | 学校法人梅村学園 | 画像検査システムの性能調整のための検査用画像を生成する画像生成装置及び画像生成方法 |
JP2019114116A (ja) | 2017-12-25 | 2019-07-11 | オムロン株式会社 | データ生成装置、データ生成方法及びデータ生成プログラム |
Non-Patent Citations (1)
Title |
---|
Sajjad Taheritanjani(外2名),Automatic Damage Detection of Fasteners in Overhaul Processes,2019 IEEE 15th International Conference on Automation Science and Engineering (CASE),米国,IEEE,2019年08月22日,p.1289-1295 |
Also Published As
Publication number | Publication date |
---|---|
JP2021093004A (ja) | 2021-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3655923B1 (en) | Weakly supervised anomaly detection and segmentation in images | |
US10803398B2 (en) | Apparatus and method for information processing | |
JP7386812B2 (ja) | 照明推定 | |
JP2018200685A (ja) | 完全教師あり学習用のデータセットの形成 | |
JP2010017274A (ja) | 画像処理装置及び画像処理プログラム | |
US20170278235A1 (en) | Fast density estimation method for defect inspection application | |
US10504037B1 (en) | Systems and methods for automated document review and quality control | |
TWI598884B (zh) | 用以改善非揮發性記憶體良率的方法及裝置 | |
JP2016110290A (ja) | 情報処理装置及び情報処理方法 | |
CN104881355A (zh) | 一种用于检测测试覆盖的方法和系统 | |
CN114586062A (zh) | 缺陷图像生成装置和方法 | |
US9508006B2 (en) | System and method for identifying trees | |
JP7487469B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
CN103837135B (zh) | 工件检测方法及其系统 | |
CN111709951B (zh) | 目标检测网络训练方法及系统及网络及装置及介质 | |
JP7294678B2 (ja) | 学習モデル生成装置、地物変化判定装置、学習モデル生成方法、地物変化判定方法、及びプログラム | |
JP5799823B2 (ja) | テストデータ生成装置、テストデータ生成プログラムおよびテストデータ生成方法 | |
EP3608868B1 (en) | Firefly detection using a plurality of buffers | |
WO2024087163A1 (zh) | 坏点检测模型训练方法、坏点检测方法以及坏点修复方法 | |
US20230196545A1 (en) | Computing device for predicting a profile using deep learning and operating method thereof | |
JP2020135659A (ja) | パラメータ決定方法、パラメータ決定装置、及びプログラム | |
WO2020195958A1 (ja) | 学習方法、判定方法、プログラム、学習システム、学習用データセットの生成方法、及び、学習用データセット | |
JP2019159905A (ja) | 生成プログラム、生成装置及び生成方法 | |
CN107704340A (zh) | Pe镜像文件生成方法、装置及电子设备 | |
CN116342395A (zh) | 图像修复方法、图像修复装置、电子设备、介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231031 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240305 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240326 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240409 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240422 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7487469 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |