JP2024034864A - 情報処理方法、コンピュータプログラム及び情報処理装置 - Google Patents
情報処理方法、コンピュータプログラム及び情報処理装置 Download PDFInfo
- Publication number
- JP2024034864A JP2024034864A JP2022139388A JP2022139388A JP2024034864A JP 2024034864 A JP2024034864 A JP 2024034864A JP 2022139388 A JP2022139388 A JP 2022139388A JP 2022139388 A JP2022139388 A JP 2022139388A JP 2024034864 A JP2024034864 A JP 2024034864A
- Authority
- JP
- Japan
- Prior art keywords
- image
- partial
- information processing
- difference value
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 50
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000004590 computer program Methods 0.000 title claims abstract description 6
- 238000007689 inspection Methods 0.000 claims description 113
- 238000000605 extraction Methods 0.000 claims description 44
- 239000000284 extract Substances 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000002950 deficient Effects 0.000 claims description 9
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 abstract description 8
- 238000012545 processing Methods 0.000 description 46
- 230000005856 abnormality Effects 0.000 description 37
- 238000003860 storage Methods 0.000 description 28
- 238000011960 computer-aided design Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 17
- 238000012360 testing method Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 238000005530 etching Methods 0.000 description 12
- 239000002184 metal Substances 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 6
- 238000012795 verification Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
【解決手段】本実施の形態に係る情報処理方法は、情報処理装置が、検査対象物を撮影した撮影画像を取得し、取得した前記撮影画像から所定の図形要素が写された部分画像を複数抽出し、抽出した複数の部分画像を基に、前記所定の図形要素の基準画像を生成し、前記部分画像と前記基準画像との差分値を算出し、算出した差分値に基づいて前記検査対象物の状態を検出する。
【選択図】図10
Description
図1は、本実施の形態に係る情報処理システムの概要を説明するための模式図である。本実施の形態に係る情報処理システムは、製造装置又は生産装置等により製造又は生産等された工業製品等の異常を検知するシステムである。図示の例では、工業製品の一例として、エッチング加工機100が加工したエッチング加工品101が検査対象物として扱われている。エッチング加工機100は、例えば金属板等の素材の表面に所望のパターンでレジスト処理を施し、化学薬品などの腐食作用を利用してレジスト処理がなされていない部分を溶解又は浸食等することにより、目的の形状への加工を行う装置である。エッチング加工機100は、例えばCADデータ103に基づいて金属板等の素材を加工し、同形状のエッチング加工品101を多数製作することができる。
図3は、本実施の形態に係る検査装置1の構成を示すブロック図である。本実施の形態に係る検査装置1は、処理部11、記憶部(ストレージ)12、通信部(トランシーバ)13、表示部(ディスプレイ)14及び操作部15等を備えて構成されている。検査装置1は、例えばエッチング加工品101を撮影するカメラ3が接続されたパーソナルコンピュータ等の汎用の情報処理装置を用いて構成され得る。また検査装置1がカメラ3を備えていてもよく、検査装置1はカメラ付きのスマートフォン又はタブレット型端末装置等であってもよい。検査装置1がスマートフォン又はタブレット型端末装置等である場合、処理部11及び記憶部12等の機能は、サーバ装置又はクラウド等の遠隔の装置に設けられてもよい。また本実施の形態に係る情報処理システムのカメラ3として、カメラ付きのスマートフォン又はタブレット型端末装置等が用いられてもよい。
図4は、本実施の形態に係る検査装置1が行う異常検出処理の手順を示すフローチャートである。本実施の形態に係る情報処理システムでは、エッチング加工機100により金属板のエッチング加工処理が行われ、複数のエッチング加工品101が製造される。カメラ3は、製造されたエッチング加工品101を個別に撮影し、各エッチング加工品101の撮影画像を検査装置1へ送信する。本実施の形態に係る検査装置1の処理部11の撮影画像取得部11aは、カメラ3から送信されるエッチング加工品101の撮影画像を通信部13にて受信することにより取得し(ステップS1)、取得した撮影画像を撮影画像記憶部12bに記憶する。撮影画像取得部11aは、検査対象となる全てのエッチング加工品101についての撮影画像の取得を完了したか否かを判定する(ステップS2)。全ての撮影画像の取得を完了していない場合(S2:NO)、撮影画像取得部11aは、ステップS1へ処理を戻し、撮影画像の取得を繰り返し行う。
本実施の形態に係る検査装置1は、図4のフローチャートに示した異常検出処理を行った後、この処理の結果等の情報をユーザに提供するための検査結果画面を表示部14に表示する。図10は、検査結果画面の一例を示す模式図である。図示の検査結果画面には、検査対象物の撮影画像を表示する撮影画像領域151と、1つの図形要素に関する情報を表示する個別情報領域152と、検査対象物に含まれる全ての図形要素に関する情報を表示する全体情報領域153とが設けられている。例えば、撮影画像領域151は検査結果画面の上部左側に設けられ、個別情報領域152は検査結果画面の上部右側に設けられ、全体情報領域153は検査結果画面の下部に設けられる。
本実施の形態においては、エッチング加工機100が加工した全てのエッチング加工品101の撮影画像を基に基準画像を生成しているが、これに限るものではなく、一部の撮影画像のみを用いて基準画像を生成してもよい。例えば全てのエッチング加工品101の中からユーザが良品と判断した複数のエッチング加工品101の撮影画像を基に基準画像を生成してもよい。
以上の構成の本実施の形態に係る情報処理システムでは、検査装置1が、一又は複数の検査対象物(例えばエッチング加工品101)を撮影した一又は複数の撮影画像を取得し、取得した撮影画像から直線又は円弧等の所定の図形要素が写された部分画像を複数抽出し、抽出した複数の部分画像を基に図形要素の基準画像を生成し、部分画像と基準画像との差分値を算出し、算出した差分値に基づいて検査対象物の状態(例えば異常の有無)を検出する。検査対象物の撮影画像を基に生成した基準画像に基づいて状態を検出する構成であるため、検査装置1は、状態を検出するよう予め機械学習がなされた学習モデル等を用いることなく、撮影画像に基づいて検査対象物の状態を検出することが期待できる。
3 カメラ
11 処理部
11a 撮影画像取得部
11b 部分画像抽出部
11c 基準画像生成部
11d 差分算出部
11e 状態検出部
11f 表示処理部
12 記憶部
12a プログラム
12b 撮影画像記憶部
13 通信部
14 表示部
15 操作部
99 記録媒体
100 エッチング加工機
101 エッチング加工品
101a 十字溝
101b 鍵穴
102 撮影画像
103 CADデータ
111~114 直線
121~124 円弧
131 フィルタ
151 撮影画像領域
151a 矩形枠
152 個別情報領域
152a グラフ
152b 水平線
152c 画像
153 全体情報領域
153a 矩形枠
153b 水平線
161 円形枠
Claims (14)
- 情報処理装置が、
検査対象物を撮影した撮影画像を取得し、
取得した前記撮影画像から所定の図形要素が写された部分画像を複数抽出し、
抽出した複数の部分画像を基に、前記所定の図形要素の基準画像を生成し、
前記部分画像と前記基準画像との差分値を算出し、
算出した差分値に基づいて前記検査対象物の状態を検出する、
情報処理方法。 - 前記検査対象物の設計図情報を取得し、
前記設計図情報を基に、前記撮影画像から前記所定の図形要素が写された部分画像を抽出する、
請求項1に記載の情報処理方法。 - 前記設計図情報から所定の図形要素が描かれた部分を抽出し、
前記部分に対応する部分画像を前記撮影画像から抽出する、
請求項2に記載の情報処理方法。 - 前記設計図情報は、当該設計図情報に描かれた図形要素の種類に係る分類情報を含み、
同じ種類の図形要素について抽出した複数の部分画像を基に、基準画像を種類毎に生成する、
請求項2に記載の情報処理方法。 - 前記撮影画像から前記所定の図形要素が写された部分と当該部分の周辺部分との勾配を前記部分画像として抽出する、
請求項1に記載の情報処理方法。 - 第1方向の勾配と前記第1方向に直交する第2方向の勾配とを前記部分画像として抽出する、
請求項5に記載の情報処理方法。 - 前記部分画像は、前記図形要素のサイズに応じた要素数の勾配値を格納した一次元配列であり、
前記基準画像は、複数の部分画像について要素毎の勾配値の統計値を格納した一次元配列であり、
前記部分画像の一次元配列と前記基準画像の一次元配列との要素毎の差分値を算出する、
請求項5に記載の情報処理方法。 - 抽出した一の部分画像に関して算出した一次元配列の差分値を第1グラフとして出力する、
請求項7に記載の情報処理方法。 - 複数の部分画像について、一の部分画像毎に作成した第1グラフを複数連結した第2グラフを出力する、
請求項8に記載の情報処理方法。 - 前記差分値との比較により前記検査対象物の良/不良を判定するための閾値を示す基準線を前記第1グラフ又は前記第2グラフに出力する、
請求項9に記載の情報処理方法。 - 前記撮影画像、前記第1グラフ及び前記第2グラフを含む画面を出力し、
前記差分値及び前記閾値の比較により不良と判定された部分画像の位置を前記撮影画像に示す、
請求項10に記載の情報処理方法。 - 前記撮影画像又は前記第2グラフにて、前記撮影画像に含まれる複数の図形要素の1つの選択を受け付け、
受け付けた図形要素が写された部分画像に関する第1グラフを出力する、
請求項11に記載の情報処理方法。 - コンピュータに、
検査対象物を撮影した撮影画像を取得し、
取得した前記撮影画像から所定の図形要素が写された部分画像を複数抽出し、
抽出した複数の部分画像を基に、前記所定の図形要素の基準画像を生成し、
前記部分画像と前記基準画像との差分値を算出し、
算出した差分値に基づいて前記検査対象物の状態を検出する
処理を実行させる、コンピュータプログラム。 - 検査対象物を撮影した撮影画像を取得する取得部と、
取得した前記撮影画像から所定の図形要素が写された部分画像を複数抽出する抽出部と、
抽出した複数の部分画像を基に、前記所定の図形要素の基準画像を生成する生成部と、
前記部分画像と前記基準画像との差分値を算出する算出部と、
算出した差分値に基づいて前記検査対象物の状態を検出する検出部と
を備える、情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022139388A JP7290780B1 (ja) | 2022-09-01 | 2022-09-01 | 情報処理方法、コンピュータプログラム及び情報処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022139388A JP7290780B1 (ja) | 2022-09-01 | 2022-09-01 | 情報処理方法、コンピュータプログラム及び情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7290780B1 JP7290780B1 (ja) | 2023-06-13 |
JP2024034864A true JP2024034864A (ja) | 2024-03-13 |
Family
ID=86721401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022139388A Active JP7290780B1 (ja) | 2022-09-01 | 2022-09-01 | 情報処理方法、コンピュータプログラム及び情報処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7290780B1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1074812A (ja) * | 1996-06-26 | 1998-03-17 | Hitachi Ltd | 被検査パターンの検査方法及び製造プロセス診断方法並びに半導体基板の製造方法 |
JPH1173513A (ja) * | 1997-06-25 | 1999-03-16 | Matsushita Electric Works Ltd | パターン検査方法及びその装置 |
JPH11201908A (ja) * | 1998-01-16 | 1999-07-30 | Nec Corp | 外観検査装置、外観検査方法及び外観検査プログラムを記録した記録媒体 |
JP2005156475A (ja) * | 2003-11-28 | 2005-06-16 | Hitachi High-Technologies Corp | パターン欠陥検査装置およびパターン欠陥検査方法 |
WO2011096544A1 (ja) * | 2010-02-08 | 2011-08-11 | 株式会社日立ハイテクノロジーズ | 欠陥検査方法及びその装置 |
JP2011158367A (ja) * | 2010-02-02 | 2011-08-18 | Hitachi Metals Ltd | 被検査物の検査方法、検査用プログラム及び検査装置 |
JP2017072501A (ja) * | 2015-10-08 | 2017-04-13 | 株式会社日立パワーソリューションズ | 欠陥検査方法、及びその装置 |
-
2022
- 2022-09-01 JP JP2022139388A patent/JP7290780B1/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1074812A (ja) * | 1996-06-26 | 1998-03-17 | Hitachi Ltd | 被検査パターンの検査方法及び製造プロセス診断方法並びに半導体基板の製造方法 |
JPH1173513A (ja) * | 1997-06-25 | 1999-03-16 | Matsushita Electric Works Ltd | パターン検査方法及びその装置 |
JPH11201908A (ja) * | 1998-01-16 | 1999-07-30 | Nec Corp | 外観検査装置、外観検査方法及び外観検査プログラムを記録した記録媒体 |
JP2005156475A (ja) * | 2003-11-28 | 2005-06-16 | Hitachi High-Technologies Corp | パターン欠陥検査装置およびパターン欠陥検査方法 |
JP2011158367A (ja) * | 2010-02-02 | 2011-08-18 | Hitachi Metals Ltd | 被検査物の検査方法、検査用プログラム及び検査装置 |
WO2011096544A1 (ja) * | 2010-02-08 | 2011-08-11 | 株式会社日立ハイテクノロジーズ | 欠陥検査方法及びその装置 |
JP2017072501A (ja) * | 2015-10-08 | 2017-04-13 | 株式会社日立パワーソリューションズ | 欠陥検査方法、及びその装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7290780B1 (ja) | 2023-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7004145B2 (ja) | 欠陥検査装置、欠陥検査方法、及びそのプログラム | |
KR101934313B1 (ko) | 검사 이미지들 내에서 결함들을 검출하기 위한 시스템, 방법 및 컴퓨터 프로그램 제품 | |
TWI597689B (zh) | 使用表面形貌屬性之缺陷分類 | |
JP6794737B2 (ja) | 情報処理装置、情報処理方法、プログラムおよび検査システム | |
JP5075111B2 (ja) | 画像分類基準更新方法、プログラムおよび画像分類装置 | |
TWI616823B (zh) | 使用以cad為基礎之環境背景屬性之缺陷分類 | |
JP4603512B2 (ja) | 異常領域検出装置および異常領域検出方法 | |
JP6078234B2 (ja) | 荷電粒子線装置 | |
JP6632288B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
CN109410192B (zh) | 一种多纹理分级融合的织物缺陷检测方法及其装置 | |
JP2003059984A (ja) | 欠陥データ解析方法および検査装置並びにレビューシステム | |
JP2006098151A (ja) | パターン検査装置およびパターン検査方法 | |
JP2006351888A (ja) | パターン検査装置およびそれを用いた半導体検査システム | |
JP2013224833A (ja) | 外観検査装置、外観検査方法及びコンピュータプログラム | |
JP2008047664A (ja) | パターン検査装置及び半導体検査システム | |
JP2008227028A (ja) | データ処理装置、およびデータ処理方法 | |
CN114902280A (zh) | 分析装置及分析方法 | |
CN115298539A (zh) | 外观检查系统和计算机程序 | |
US20230237641A1 (en) | Inspection support device for structure, inspection support method for structure, and program | |
JP7290780B1 (ja) | 情報処理方法、コンピュータプログラム及び情報処理装置 | |
JP3848514B2 (ja) | 顕著性算出装置及び方法 | |
JP6546385B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
CN116229236A (zh) | 一种基于改进YOLO v5模型的结核杆菌检测方法 | |
US20230005157A1 (en) | Pattern-edge detection method, pattern-edge detection apparatus, and storage medium storing program for causing a computer to perform pattern-edge detection | |
JP7414629B2 (ja) | 学習用データ処理装置、学習装置、学習用データ処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221213 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230601 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7290780 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |