JP6989860B2 - 画像検査装置、画像検査方法及びプログラム - Google Patents
画像検査装置、画像検査方法及びプログラム Download PDFInfo
- Publication number
- JP6989860B2 JP6989860B2 JP2020137534A JP2020137534A JP6989860B2 JP 6989860 B2 JP6989860 B2 JP 6989860B2 JP 2020137534 A JP2020137534 A JP 2020137534A JP 2020137534 A JP2020137534 A JP 2020137534A JP 6989860 B2 JP6989860 B2 JP 6989860B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature amount
- unit
- inspection
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Description
図1に示すように、本実施形態の画像検査装置1は、検査画像の「正常」又は「異常」を画像判定する良否判定部10を備えている。良否判定部10は、検査画像に映っている検査対象物100の「正常」又は「異常」を画像から判定する。また、画像検査装置1は、教師画像の「正常」又は「異常」を高精度に判定するようにパラメータが調整される学習部50を備えている。学習部50は、教師画像に映っている検査対象物100と、その検査対象物100の「正常」又は「異常」の情報とに基づいて、教師画像の「正常」又は「異常」を高精度に判定できるようにモデルや各種パラメータが調整される。
図1に示すように、良否判定部10は、特徴量抽出部11と、次元削減部12と、異常度算出部13とを備えている。
図1を参照して、学習部50は、特徴量抽出部51と、次元削減部52と、異常度算出部53とを備えている。また、学習部50は、データセット作成部55を備えている。
y =g(x2)=g(f(x1))・・・(2)
例えば、次元削減部52は、入力された第1特徴量x1と、第2教師データセットD2を構成する複数のラベル付き学習用画像の正常ラベル又は異常ラベルとから、次元削減された第2特徴量x2を出力する次元削減関数f(x1)を導出するように学習する。同時に、次元削減部52は、第2特徴量x2の出力を「正常」又は「異常」に回帰させる回帰関数g(x2)を導出するように学習する。そして、次元削減部52は、第2特徴量x2を出力するとともに、「正常」又は「異常」を「0」又は「1」に回帰させる連続値yを出力する。
図8を参照して、学習部50の学習手順について説明する。ここでは、検査精度が高くなるように次元削減部52と異常度算出部53とが学習される場合について説明する。
図9を参照して、良否判定部10による検査画像IMの「正常」又は「異常」の判定とともに、注視箇所を算出する注視箇所算出部40について説明する。注視箇所算出部40は、検査画像IMに対応するように、良否判定部10の判定結果に対して貢献の高い個所を注視箇所として表示できるようにする。
図1に示す、自動設定部57について詳述する。学習部50は、検査精度が高く得られるようになる第1~第3学習器のモデル及び各種パラメータの組合せを決める自動設定部57を備えている。
G19」、「ResNet50」、「InceptionV3」及び「MobileNetV2」のうちの1つを含んでいるとともに、第2要素に1つの特徴量抽出層を含むものである。また、例えば、自動設定部57で設定される組合せは、第3要素に「部分最小二乗回帰」又は「主成分回帰」を含んでいるとともに、第4要素に1つのハイパーパラメータを含むものである。また、例えば、自動設定部57で設定される組合せは、第5要素に「OneClassSVM」、「isolation forest」、「local outlier factor」及び「kernel density estimation」のうちの1つを含むものである。
のステップSB1)に戻り、次の組合せの設定、検査精度の測定及び検査精度の記憶(図12のステップSB2~SB4)を行う。
・良否判定部10と学習部50とがそれぞれ相違する小型コンピューター等の情報処理装置として構成されていてもよい。このとき、これらの2つの情報処理装置の全体又は一部の組合せで画像検査装置1が構成される。
Claims (14)
- 画像から第1特徴量を抽出する特徴量抽出部と、
検査対象物が映された検査画像の前記第1特徴量を次元削減して第2特徴量を算出する次元削減部と、
前記第2特徴量に基づいて前記検査画像の異常度を算出し、前記検査画像が異常であるか否かを判定する異常度算出部と、
を備え、
前記特徴量抽出部は、前記検査対象物の映されていない画像を一部又は全部に含む画像セットに基づいて学習された所定のネットワーク構造からなる学習器を用いて前記第1特徴量を抽出するものであり、
前記次元削減部は、正常ラベル又は異常ラベルが個別に関連付けられた、複数の教師画像の前記第1特徴量と、前記正常ラベル又は前記異常ラベルとに基づいて導出された学習器を用いて、前記第1特徴量を次元削減して前記第2特徴量を算出する
画像検査装置。 - 前記異常度算出部は、前記異常ラベルには対応していない、かつ、前記正常ラベルに対応している前記第2特徴量に基づいて導出された学習器を用いて前記異常度を算出する
請求項1に記載の画像検査装置。 - 前記次元削減部の学習器は、前記第2特徴量を前記正常ラベル又は前記異常ラベルへ回帰させることができるように学習される
請求項1又は2に記載の画像検査装置。 - 前記次元削減部の学習器は、部分最小二乗回帰又は主成分回帰により構成されている
請求項1から3のいずれか一項に記載の画像検査装置。 - 前記正常ラベル又は前記異常ラベルが個別に関連付けられた前記複数の教師画像から、前記次元削減部や前記異常度算出部の学習に用いられる複数の学習データと、検査精度の試験に用いられる複数の試験データとを作成するデータセット作成部を備える
請求項1から4のいずれか一項に記載の画像検査装置。 - 前記特徴量抽出部は、前記検査対象物の映されていない画像を一部又は全部に含む画像セットに基づいて学習された所定のネットワーク構造からなる学習器を用いて前記第1特徴量を抽出するものであり、
前記特徴量抽出部の学習器に対して、複数の種類のネットワーク構造から1つのネットワーク構造を設定する、及び/又は、前記次元削減部の学習器に対して、複数の種類のモデルから1つのモデルを設定する、自動設定部を備える
請求項1から5のいずれか一項に記載の画像検査装置。 - 前記検査画像の前記第1特徴量に基づいてヒートマップを作成するヒートマップ作成部を備える
請求項1から6のいずれか一項に記載の画像検査装置。 - 前記検査画像の前記第1特徴量と、前記次元削減部の学習器と、前記異常度算出部の学習器と、前記異常度とに基づいて前記第1特徴量の各次元に関連付けられる重みをそれぞれ算出する特徴量重み算出部とを備え、
前記ヒートマップ作成部は、前記第1特徴量の各次元を前記関連付けられる重みで重みづけするとともに、前記第1特徴量の各次元のチャンネル方向の総和に基づいて前記ヒートマップを作成する
請求項7に記載の画像検査装置。 - 前記検査画像が異常であるか否かを示す表示と、前記検査画像に対応する前記ヒートマップとを表示する画像表示部をさらに備える
請求項7又は8に記載の画像検査装置。 - 画像から第1特徴量を抽出する特徴量抽出部と、
検査対象物が映された検査画像の前記第1特徴量を次元削減して第2特徴量を算出する次元削減部と、
前記第2特徴量に基づいて前記検査画像の異常度を算出し、前記検査画像が異常であるか否かを判定する異常度算出部と、
を備え、
前記次元削減部は、正常ラベル又は異常ラベルが個別に関連付けられた、複数の教師画像の前記第1特徴量と、前記正常ラベル又は前記異常ラベルとに基づいて、前記第2特徴量を前記正常ラベル又は前記異常ラベルへ回帰させることができるように学習される学習器を用いて、前記第1特徴量を次元削減して前記第2特徴量を算出する
画像検査装置。 - コンピューターにより実行される画像検査方法であって、
画像から第1特徴量を抽出する特徴量抽出ステップと、
検査対象物が映された検査画像の前記第1特徴量を次元削減して第2特徴量を算出する次元削減ステップと、
前記第2特徴量に基づいて前記検査画像の異常度を算出し、前記検査画像が異常であるか否かを判定する異常度算出ステップと、
を備え、
前記特徴量抽出ステップは、前記検査対象物の映されていない画像を一部又は全部に含む画像セットに基づいて学習された所定のネットワーク構造からなる学習器を用いて前記第1特徴量を抽出するものであり、
前記次元削減ステップは、正常ラベル又は異常ラベルが個別に関連付けられた、複数の教師画像の前記第1特徴量と、前記正常ラベル又は前記異常ラベルとに基づいて導出された学習器を用いて、前記第1特徴量を次元削減して前記第2特徴量を算出する
画像検査方法。 - 前記異常度算出ステップは、前記異常ラベルには対応していない、かつ、前記正常ラベルに対応している前記第2特徴量に基づいて導出された学習器を用いて前記異常度を算出する
請求項11に記載の画像検査方法。 - 前記特徴量抽出ステップは、前記検査対象物の映されていない画像を一部又は全部に含む画像セットに基づいて学習された所定のネットワーク構造からなる学習器を用いて前記第1特徴量を抽出するものであり、
前記特徴量抽出ステップにおける学習器に対して、複数の種類のネットワーク構造から1つのネットワーク構造を設定する、及び/又は、前記次元削減ステップにおける学習器に対して、複数の種類のモデルから1つのモデルを設定する、自動設定ステップを備える
請求項11又は12に記載の画像検査方法。 - 請求項11から13のいずれか一項に記載の画像検査方法をコンピューターに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020137534A JP6989860B2 (ja) | 2020-05-02 | 2020-08-17 | 画像検査装置、画像検査方法及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020081625 | 2020-05-02 | ||
JP2020137534A JP6989860B2 (ja) | 2020-05-02 | 2020-08-17 | 画像検査装置、画像検査方法及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020081625 Division | 2020-05-02 | 2020-05-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021176070A JP2021176070A (ja) | 2021-11-04 |
JP6989860B2 true JP6989860B2 (ja) | 2022-01-12 |
Family
ID=78372212
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020137534A Active JP6989860B2 (ja) | 2020-05-02 | 2020-08-17 | 画像検査装置、画像検査方法及びプログラム |
JP2022519936A Pending JPWO2021225097A1 (ja) | 2020-05-02 | 2021-04-27 | |
JP2024048142A Pending JP2024075727A (ja) | 2020-05-02 | 2024-03-25 | 画像検査装置、画像検査方法及びプログラム |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022519936A Pending JPWO2021225097A1 (ja) | 2020-05-02 | 2021-04-27 | |
JP2024048142A Pending JP2024075727A (ja) | 2020-05-02 | 2024-03-25 | 画像検査装置、画像検査方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (3) | JP6989860B2 (ja) |
WO (1) | WO2021225097A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023132481A (ja) * | 2022-03-11 | 2023-09-22 | パナソニックIpマネジメント株式会社 | 画像処理装置および画像処理方法 |
WO2024079991A1 (ja) * | 2022-10-12 | 2024-04-18 | パナソニックIpマネジメント株式会社 | 分類モデル生成システム、分類モデル生成方法及びプログラム |
JP7366325B1 (ja) | 2022-12-14 | 2023-10-20 | 三菱電機株式会社 | 情報処理装置 |
WO2024127684A1 (ja) * | 2022-12-14 | 2024-06-20 | 三菱電機株式会社 | 情報処理装置 |
CN116664966B (zh) * | 2023-03-27 | 2024-02-20 | 北京鹰之眼智能健康科技有限公司 | 一种红外图像处理系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002174603A (ja) | 2000-12-08 | 2002-06-21 | Olympus Optical Co Ltd | 欠陥分類方法 |
WO2017068675A1 (ja) | 2015-10-22 | 2017-04-27 | 富士通株式会社 | プログラム生成装置、プログラム生成方法および生成プログラム |
WO2018105028A1 (ja) | 2016-12-06 | 2018-06-14 | 三菱電機株式会社 | 検査装置及び検査方法 |
WO2018209161A1 (en) | 2017-05-12 | 2018-11-15 | The Regents Of The University Of Michigan | Individual and cohort pharmacological phenotype prediction platform |
JP2018535732A (ja) | 2015-10-13 | 2018-12-06 | エレクタ、インク.Elekta, Inc. | 組織パラメータ推定を用いたmrデータからの擬似ct生成 |
JP2019170881A (ja) | 2018-03-29 | 2019-10-10 | 大日本印刷株式会社 | コンピュータプログラム、分類装置、分類方法、画像出力装置及び画像出力装置の動作方法 |
JP2019531560A (ja) | 2016-07-05 | 2019-10-31 | ナウト, インコーポレイテッドNauto, Inc. | 自動運転者識別システムおよび方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007027263A (ja) * | 2005-07-13 | 2007-02-01 | Canon Inc | 露光装置および方法、位置検出装置および方法、ならびにデバイス製造方法 |
JP7074460B2 (ja) * | 2017-11-10 | 2022-05-24 | アズビル株式会社 | 画像検査装置および方法 |
JP6958277B2 (ja) * | 2017-11-20 | 2021-11-02 | 日本製鉄株式会社 | 異常判定方法及び装置 |
-
2020
- 2020-08-17 JP JP2020137534A patent/JP6989860B2/ja active Active
-
2021
- 2021-04-27 WO PCT/JP2021/016866 patent/WO2021225097A1/ja active Application Filing
- 2021-04-27 JP JP2022519936A patent/JPWO2021225097A1/ja active Pending
-
2024
- 2024-03-25 JP JP2024048142A patent/JP2024075727A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002174603A (ja) | 2000-12-08 | 2002-06-21 | Olympus Optical Co Ltd | 欠陥分類方法 |
JP2018535732A (ja) | 2015-10-13 | 2018-12-06 | エレクタ、インク.Elekta, Inc. | 組織パラメータ推定を用いたmrデータからの擬似ct生成 |
WO2017068675A1 (ja) | 2015-10-22 | 2017-04-27 | 富士通株式会社 | プログラム生成装置、プログラム生成方法および生成プログラム |
JP2019531560A (ja) | 2016-07-05 | 2019-10-31 | ナウト, インコーポレイテッドNauto, Inc. | 自動運転者識別システムおよび方法 |
WO2018105028A1 (ja) | 2016-12-06 | 2018-06-14 | 三菱電機株式会社 | 検査装置及び検査方法 |
WO2018209161A1 (en) | 2017-05-12 | 2018-11-15 | The Regents Of The University Of Michigan | Individual and cohort pharmacological phenotype prediction platform |
JP2019170881A (ja) | 2018-03-29 | 2019-10-10 | 大日本印刷株式会社 | コンピュータプログラム、分類装置、分類方法、画像出力装置及び画像出力装置の動作方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021176070A (ja) | 2021-11-04 |
WO2021225097A1 (ja) | 2021-11-11 |
JPWO2021225097A1 (ja) | 2021-11-11 |
JP2024075727A (ja) | 2024-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6989860B2 (ja) | 画像検査装置、画像検査方法及びプログラム | |
JP6693938B2 (ja) | 外観検査装置 | |
KR20190075707A (ko) | 딥러닝을 이용한 양품 선별 방법 | |
CN108900546A (zh) | 基于lstm的时间序列网络异常检测的方法与装置 | |
Kaya et al. | Process capability analyses based on fuzzy measurements and fuzzy control charts | |
JP5254612B2 (ja) | グラフィック再検査ユーザ設定インタフェース | |
EP3591604A1 (en) | Defect rate analytics to reduce defectiveness in manufacturing | |
US10775780B2 (en) | Causal relation model building system and method thereof | |
JP6711323B2 (ja) | プロセスの異常状態診断方法および異常状態診断装置 | |
CN107111312A (zh) | 监视在工业现场运行的过程的至少一个步骤的监视装置和监视方法 | |
Gutiérrez-Carvajal et al. | Condition-based diagnosis of mechatronic systems using a fractional calculus approach | |
WO2019176989A1 (ja) | 検査システム、識別システム、及び学習データ生成装置 | |
JP2020085583A (ja) | 検査装置及び検査方法 | |
JP7354421B2 (ja) | エラー要因の推定装置及び推定方法 | |
CN114139589A (zh) | 故障诊断方法、装置、设备与计算机可读存储介质 | |
KR20220034196A (ko) | 레시피 정보 제시 시스템, 레시피 에러 추정 시스템 | |
JP2020042669A (ja) | 検査装置及び機械学習方法 | |
Wu et al. | Fuzzy nonlinear programming approach for evaluating and ranking process yields with imprecise data | |
US11846933B2 (en) | Apparatus, system and method for developing industrial process solutions using artificial intelligence | |
US20210157707A1 (en) | Transferability determination apparatus, transferability determination method, and recording medium | |
US20230021965A1 (en) | Methods and systems for assessing printed circuit boards | |
Fleischer et al. | Statistical quality control in micro-manufacturing through multivariate μ-EWMA chart | |
TW202221549A (zh) | 優化光譜儀的輸出結果的方法及使用該方法的電子裝置 | |
Su et al. | Characterisation and evaluation of identicality for digital twins for the manufacturing domain | |
KR102552115B1 (ko) | 범용성을 가지는 기계 학습 프로그램 기록매체 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200817 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200817 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20201210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210316 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210511 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210601 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210826 |
|
C876 | Explanation why request for accelerated appeal examination is justified |
Free format text: JAPANESE INTERMEDIATE CODE: C876 Effective date: 20210826 |
|
C272 | Notice of ex officio correction |
Free format text: JAPANESE INTERMEDIATE CODE: C272 Effective date: 20210921 |
|
C305 | Report on accelerated appeal examination |
Free format text: JAPANESE INTERMEDIATE CODE: C305 Effective date: 20210929 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20211005 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20211012 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20211109 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20211109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6989860 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |