JP7426261B2 - 学習装置、画像検査装置、学習済みパラメータ、学習方法、および画像検査方法 - Google Patents
学習装置、画像検査装置、学習済みパラメータ、学習方法、および画像検査方法 Download PDFInfo
- Publication number
- JP7426261B2 JP7426261B2 JP2020041013A JP2020041013A JP7426261B2 JP 7426261 B2 JP7426261 B2 JP 7426261B2 JP 2020041013 A JP2020041013 A JP 2020041013A JP 2020041013 A JP2020041013 A JP 2020041013A JP 7426261 B2 JP7426261 B2 JP 7426261B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- learning
- inspection
- statistics
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 75
- 238000000034 method Methods 0.000 title claims description 20
- 238000009826 distribution Methods 0.000 claims description 60
- 230000005856 abnormality Effects 0.000 claims description 55
- 230000002950 deficient Effects 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 22
- 238000012360 testing method Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims 1
- 230000010365 information processing Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 8
- 230000007547 defect Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 235000019557 luminance Nutrition 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000004800 variational method Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
図1は、実施形態の画像検査装置10を示す図である。画像検査装置10は、対象物90の画像を解析することによって、対象物90の欠陥(異常)を検出する。対象物90は、具体的には錠剤であるが、錠剤に限定されない。画像検査装置10は、カメラ110と、情報処理装置120とを備える。カメラ110は、情報処理装置120と電気的に接続されている。カメラ110は、イメージセンサを備えている。カメラ110は、イメージセンサを用いて対象物90を撮像することにより得られる画像信号を、情報処理装置120へ出力する。カメラ110に撮像される対象物90は、所定の位置に停止していてもよいし、ベルトコンベヤなどの搬送機構により、所定の方向へ移動していてもよい。
図4は、変分オートエンコーダ20を概念的に示す図である。オートエンコーダとは、自己符号化器とも称される、ニューラルネットの技術である。画像検査装置100では、オートエンコーダの一例として、変分オートエンコーダ(VAE:Variational Auto Encoder)が利用される。なお、エンコーダとして、敵対的生成ネットワーク(GAN:Generative Adversarial Network)が用いられてもよい。
p(x|z)=p(x|θ(z))
学習部143は、変分オートエンコーダ20を用いて学習を行う。学習用データとして、複数の対象物画像91は、良品の対象物90を撮像して得られる良品画像が使用される。学習部143は、変分オートエンコーダ20における入力と出力の誤差(再構成誤差)を最小化するように、内部パラメータを更新する学習を行う。この学習のために、誤差関数L(x)が定義される。学習部143は、各良品画像を変分オートエンコーダ20に入力し、確率的再急降下法を用いて、入力された各良品画像を再構成するように学習することによって、畳み込み層21、第1逆畳み込み層231、および第2逆畳み込み層233の内部パラメータを更新する。次の式は、学習時に使用される誤差関数L(x)である。
図5は、検査部145による検査の流れを概念的に示す図である。図5では、検査対象である検査画像93が、欠陥部NG1を有する場合を示している。
以上、実施形態について説明してきたが、本発明は上記のようなものに限定されるものではなく、様々な変形が可能である。
100 画像検査装置
120 情報処理装置(学習装置)
125 記憶部
143 学習部
145 検査部
20 変分オートエンコーダ
31 統計量取得部
33 異常度取得部
35 補正部
37 異常検出部
90 対象物
91 対象物画像
93 検査画像
931 平均画像
933 分散画像
935 歪度画像
937 異常度画像
939 補正画像
Claims (12)
- 画像検査装置を構築するための学習装置であって、
複数の対象物画像を学習用データとし、入力と出力の誤差が小さくなるように、かつ、単位画素ごとに、特定の分布で近似された分布の平均、分散、および高次統計量を出力するように確率モデルを学習する学習部、
を備える、学習装置。 - 請求項1に記載の学習装置であって、
前記対象物画像が、良品を撮像した良品画像である、学習装置。 - 請求項1または請求項2に記載の学習装置であって、
前記特定の分布が、正規分布である、学習装置。 - 請求項1から請求項3のいずれか1項に記載の学習装置であって、
前記確率モデルが、変分オートエンコーダである、学習装置。 - 請求項1から請求項4のいずれか1項に記載の学習装置であって、
前記高次統計量が、歪度または尖度である、学習装置。 - 請求項1から請求項5のいずれか1項に記載の学習装置により学習が行われた学習モデルを用いる画像検査装置であって、
検査対象である検査画像を、前記学習部によって得られた学習済みパラメータを有する前記確率モデルに入力し、前記検査画像に対する単位画素ごとの平均、分散、および高次統計量を取得する統計量取得部と、
前記統計量取得部によって取得される平均、分散、および高次統計量に基づいて、前記検査画像における異常を検出する異常検出部と、
を含む、画像検査装置。 - 請求項6に記載の画像検査装置であって、
前記異常検出部は、
前記検査画像のうち、前記統計量取得部によって取得された高次統計量が所定の閾値を越える単位画素を除外して、異常を検出する、画像検査装置。 - 請求項1から請求項5のいずれか1項に記載の学習装置によって取得される、前記確率モデルの学習済みパラメータ。
- 画像検査方法を構築するための学習方法であって、
複数の対象物画像を学習用データとし、入力と出力の誤差が小さくなるように、かつ、単位画素ごとに、特定の分布で近似された分布の平均、分散、および高次統計量を出力するように確率モデルを学習する工程、
を含む、学習方法。 - 画像検査装置であって、
複数の対象物画像を学習用データとし、入力と出力の誤差が小さくなるように、かつ、
単位画素ごとに、特定の分布で近似された分布の平均、分散、および高次統計量を出力するように学習された学習済みパラメータを有する確率モデルを用いて、検査画像の各単位画素に対する平均、分散、および高次統計量を取得する統計量取得部と、
前記統計量取得部によって得られる、前記検査画像の各単位画素に対する平均、分散、および高次統計量に基づいて、前記検査画像における異常を検出する異常検出部と、
を備える、画像検査装置。 - 請求項10に記載の画像検査装置であって、
前記異常検出部は、前記検査画像のうち、前記統計量取得部によって取得された高次統計量が所定の閾値を越える単位画素を除外して、異常を検出する、画像検査装置。 - 画像検査方法であって、
複数の対象物画像を学習用データとし、入力と出力の誤差が小さくなるように、かつ、単位画素ごとに、特定の分布で近似された分布の平均、分散、および高次統計量を出力するように学習された学習済みパラメータを有する確率モデルを用いて、検査画像の各単位画素に対する平均、分散、および高次統計量を取得する統計量取得工程と、
前記統計量取得工程によって得られる、前記検査画像の各単位画素に対する平均、分散、および高次統計量に基づいて、前記検査画像における異常を検出する異常検出工程と、
を含む、画像検査方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020041013A JP7426261B2 (ja) | 2020-03-10 | 2020-03-10 | 学習装置、画像検査装置、学習済みパラメータ、学習方法、および画像検査方法 |
PCT/JP2020/041655 WO2021181749A1 (ja) | 2020-03-10 | 2020-11-09 | 学習装置、画像検査装置、学習済みパラメータ、学習方法、および画像検査方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020041013A JP7426261B2 (ja) | 2020-03-10 | 2020-03-10 | 学習装置、画像検査装置、学習済みパラメータ、学習方法、および画像検査方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021144314A JP2021144314A (ja) | 2021-09-24 |
JP7426261B2 true JP7426261B2 (ja) | 2024-02-01 |
Family
ID=77671506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020041013A Active JP7426261B2 (ja) | 2020-03-10 | 2020-03-10 | 学習装置、画像検査装置、学習済みパラメータ、学習方法、および画像検査方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7426261B2 (ja) |
WO (1) | WO2021181749A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7439157B2 (ja) * | 2022-03-30 | 2024-02-27 | 本田技研工業株式会社 | 検査装置 |
WO2024034451A1 (ja) * | 2022-08-08 | 2024-02-15 | 株式会社神戸製鋼所 | 学習済みモデルの生成方法、判定装置、判定方法、及びプログラム |
WO2024068203A1 (en) | 2022-09-28 | 2024-04-04 | Carl Zeiss Smt Gmbh | Computer implemented method for defect detection in an imaging dataset of a wafer, corresponding computer-readable medium, computer program product and systems making use of such methods |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018195119A (ja) | 2017-05-18 | 2018-12-06 | 住友電装株式会社 | 異変検出装置及び異変検出方法 |
JP2019016292A (ja) | 2017-07-10 | 2019-01-31 | 凸版印刷株式会社 | コンテンツ生成装置、コンテンツ生成方法及びプログラム |
JP2019506739A (ja) | 2016-01-06 | 2019-03-07 | ケーエルエー−テンカー コーポレイション | 外れ値検出を通じた特徴選択及び自動処理窓監視 |
US20190287230A1 (en) | 2018-03-19 | 2019-09-19 | Kla-Tencor Corporation | Semi-supervised anomaly detection in scanning electron microscope images |
US20190332900A1 (en) | 2018-04-30 | 2019-10-31 | Elekta Ab | Modality-agnostic method for medical image representation |
JP6621117B1 (ja) | 2018-10-25 | 2019-12-18 | 株式会社アルム | 画像処理装置、画像処理システム、および画像処理プログラム |
JP2019537135A (ja) | 2016-11-04 | 2019-12-19 | ディープマインド テクノロジーズ リミテッド | ニューラルネットワークを使用したシーンの理解および生成 |
US20200034654A1 (en) | 2018-07-30 | 2020-01-30 | Siemens Healthcare Gmbh | Deep Variational Method for Deformable Image Registration |
JP2020035097A (ja) | 2018-08-28 | 2020-03-05 | 株式会社モルフォ | 画像識別装置、画像識別方法及び画像識別プログラム |
-
2020
- 2020-03-10 JP JP2020041013A patent/JP7426261B2/ja active Active
- 2020-11-09 WO PCT/JP2020/041655 patent/WO2021181749A1/ja active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019506739A (ja) | 2016-01-06 | 2019-03-07 | ケーエルエー−テンカー コーポレイション | 外れ値検出を通じた特徴選択及び自動処理窓監視 |
JP2019537135A (ja) | 2016-11-04 | 2019-12-19 | ディープマインド テクノロジーズ リミテッド | ニューラルネットワークを使用したシーンの理解および生成 |
JP2018195119A (ja) | 2017-05-18 | 2018-12-06 | 住友電装株式会社 | 異変検出装置及び異変検出方法 |
JP2019016292A (ja) | 2017-07-10 | 2019-01-31 | 凸版印刷株式会社 | コンテンツ生成装置、コンテンツ生成方法及びプログラム |
US20190287230A1 (en) | 2018-03-19 | 2019-09-19 | Kla-Tencor Corporation | Semi-supervised anomaly detection in scanning electron microscope images |
US20190332900A1 (en) | 2018-04-30 | 2019-10-31 | Elekta Ab | Modality-agnostic method for medical image representation |
US20200034654A1 (en) | 2018-07-30 | 2020-01-30 | Siemens Healthcare Gmbh | Deep Variational Method for Deformable Image Registration |
JP2020035097A (ja) | 2018-08-28 | 2020-03-05 | 株式会社モルフォ | 画像識別装置、画像識別方法及び画像識別プログラム |
JP6621117B1 (ja) | 2018-10-25 | 2019-12-18 | 株式会社アルム | 画像処理装置、画像処理システム、および画像処理プログラム |
Non-Patent Citations (2)
Title |
---|
佐藤 一輝 外3名,深層教師なし異常部分検知のための偶然的不確実さを考慮した異常度,電子情報通信学会技術研究報告[online],日本,一般社団法人電子情報通信学会,2019年06月19日,第119巻, 第89号,pp. 15-20 |
立花 亮介 外2名,深層生成モデルによる非正則化異常度を用いた工業製品の異常検知,一般社団法人 人工知能学会第32回全国大会論文集DVD [DVD-ROM] 2018年度 人工知能学会全国大会(第32回),日本,一般社団法人 人工知能学会,2018年06月08日 |
Also Published As
Publication number | Publication date |
---|---|
JP2021144314A (ja) | 2021-09-24 |
WO2021181749A1 (ja) | 2021-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7426261B2 (ja) | 学習装置、画像検査装置、学習済みパラメータ、学習方法、および画像検査方法 | |
US11341626B2 (en) | Method and apparatus for outputting information | |
JP7004145B2 (ja) | 欠陥検査装置、欠陥検査方法、及びそのプログラム | |
JPWO2020031984A1 (ja) | 部品の検査方法及び検査システム | |
US11315231B2 (en) | Industrial image inspection method and system and computer readable recording medium | |
CN110619618A (zh) | 一种表面缺陷检测方法、装置及电子设备 | |
US20140348415A1 (en) | System and method for identifying defects in welds by processing x-ray images | |
JP6844563B2 (ja) | 検査装置、画像識別装置、識別装置、検査方法、及び検査プログラム | |
JP2017107541A (ja) | 情報処理装置、情報処理方法、プログラムおよび検査システム | |
JP7453813B2 (ja) | 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット | |
JP2015087940A (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN114429441A (zh) | 一种异常检测方法及装置、设备、存储介质 | |
US20240005477A1 (en) | Index selection device, information processing device, information processing system, inspection device, inspection system, index selection method, and index selection program | |
JP7414629B2 (ja) | 学習用データ処理装置、学習装置、学習用データ処理方法、およびプログラム | |
JP7460391B2 (ja) | 学習装置、画像検査装置、プログラム、および学習方法 | |
JP2022029262A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および学習装置 | |
KR20230036650A (ko) | 영상 패치 기반의 불량 검출 시스템 및 방법 | |
Kim et al. | CECvT: Initial Diagnosis of Anomalies in Thermal Images | |
US20230274409A1 (en) | Method for automatic quality inspection of an aeronautical part | |
JP2023008416A (ja) | 異常検知システムおよび異常検知方法 | |
WO2021229905A1 (ja) | 画像検査装置、画像検査方法及び学習済みモデル生成装置 | |
WO2022181304A1 (ja) | 検査システムおよび検査プログラム | |
Topp et al. | How can NDT 4.0 improve the Probability of Detection (POD)? | |
WO2021229901A1 (ja) | 画像検査装置、画像検査方法及び学習済みモデル生成装置 | |
JP2024010338A (ja) | 教師データ作成方法及び作成装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7426261 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |