JP7290780B1 - 情報処理方法、コンピュータプログラム及び情報処理装置 - Google Patents
情報処理方法、コンピュータプログラム及び情報処理装置 Download PDFInfo
- Publication number
- JP7290780B1 JP7290780B1 JP2022139388A JP2022139388A JP7290780B1 JP 7290780 B1 JP7290780 B1 JP 7290780B1 JP 2022139388 A JP2022139388 A JP 2022139388A JP 2022139388 A JP2022139388 A JP 2022139388A JP 7290780 B1 JP7290780 B1 JP 7290780B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- information processing
- partial
- graphic element
- difference value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 44
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000004590 computer program Methods 0.000 title claims abstract description 6
- 238000007689 inspection Methods 0.000 claims abstract description 127
- 238000000034 method Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 15
- 230000002950 deficient Effects 0.000 claims description 12
- 238000013461 design Methods 0.000 claims description 11
- 238000003491 array Methods 0.000 claims description 5
- 230000002093 peripheral effect Effects 0.000 claims description 4
- 238000010801 machine learning Methods 0.000 abstract description 8
- 238000012545 processing Methods 0.000 description 47
- 238000000605 extraction Methods 0.000 description 39
- 230000005856 abnormality Effects 0.000 description 30
- 238000003860 storage Methods 0.000 description 30
- 239000000284 extract Substances 0.000 description 25
- 238000011960 computer-aided design Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 14
- 238000005530 etching Methods 0.000 description 14
- 230000002159 abnormal effect Effects 0.000 description 12
- 239000002184 metal Substances 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
Description
図1は、本実施の形態に係る情報処理システムの概要を説明するための模式図である。本実施の形態に係る情報処理システムは、製造装置又は生産装置等により製造又は生産等された工業製品等の異常を検知するシステムである。図示の例では、工業製品の一例として、エッチング加工機100が加工したエッチング加工品101が検査対象物として扱われている。エッチング加工機100は、例えば金属板等の素材の表面に所望のパターンでレジスト処理を施し、化学薬品などの腐食作用を利用してレジスト処理がなされていない部分を溶解又は浸食等することにより、目的の形状への加工を行う装置である。エッチング加工機100は、例えばCADデータ103に基づいて金属板等の素材を加工し、同形状のエッチング加工品101を多数製作することができる。
図3は、本実施の形態に係る検査装置1の構成を示すブロック図である。本実施の形態に係る検査装置1は、処理部11、記憶部(ストレージ)12、通信部(トランシーバ)13、表示部(ディスプレイ)14及び操作部15等を備えて構成されている。検査装置1は、例えばエッチング加工品101を撮影するカメラ3が接続されたパーソナルコンピュータ等の汎用の情報処理装置を用いて構成され得る。また検査装置1がカメラ3を備えていてもよく、検査装置1はカメラ付きのスマートフォン又はタブレット型端末装置等であってもよい。検査装置1がスマートフォン又はタブレット型端末装置等である場合、処理部11及び記憶部12等の機能は、サーバ装置又はクラウド等の遠隔の装置に設けられてもよい。また本実施の形態に係る情報処理システムのカメラ3として、カメラ付きのスマートフォン又はタブレット型端末装置等が用いられてもよい。
図4は、本実施の形態に係る検査装置1が行う異常検出処理の手順を示すフローチャートである。本実施の形態に係る情報処理システムでは、エッチング加工機100により金属板のエッチング加工処理が行われ、複数のエッチング加工品101が製造される。カメラ3は、製造されたエッチング加工品101を個別に撮影し、各エッチング加工品101の撮影画像を検査装置1へ送信する。本実施の形態に係る検査装置1の処理部11の撮影画像取得部11aは、カメラ3から送信されるエッチング加工品101の撮影画像を通信部13にて受信することにより取得し(ステップS1)、取得した撮影画像を撮影画像記憶部12bに記憶する。撮影画像取得部11aは、検査対象となる全てのエッチング加工品101についての撮影画像の取得を完了したか否かを判定する(ステップS2)。全ての撮影画像の取得を完了していない場合(S2:NO)、撮影画像取得部11aは、ステップS1へ処理を戻し、撮影画像の取得を繰り返し行う。
本実施の形態に係る検査装置1は、図4のフローチャートに示した異常検出処理を行った後、この処理の結果等の情報をユーザに提供するための検査結果画面を表示部14に表示する。図10は、検査結果画面の一例を示す模式図である。図示の検査結果画面には、検査対象物の撮影画像を表示する撮影画像領域151と、1つの図形要素に関する情報を表示する個別情報領域152と、検査対象物に含まれる全ての図形要素に関する情報を表示する全体情報領域153とが設けられている。例えば、撮影画像領域151は検査結果画面の上部左側に設けられ、個別情報領域152は検査結果画面の上部右側に設けられ、全体情報領域153は検査結果画面の下部に設けられる。
本実施の形態においては、エッチング加工機100が加工した全てのエッチング加工品101の撮影画像を基に基準画像を生成しているが、これに限るものではなく、一部の撮影画像のみを用いて基準画像を生成してもよい。例えば全てのエッチング加工品101の中からユーザが良品と判断した複数のエッチング加工品101の撮影画像を基に基準画像を生成してもよい。
以上の構成の本実施の形態に係る情報処理システムでは、検査装置1が、一又は複数の検査対象物(例えばエッチング加工品101)を撮影した一又は複数の撮影画像を取得し、取得した撮影画像から直線又は円弧等の所定の図形要素が写された部分画像を複数抽出し、抽出した複数の部分画像を基に図形要素の基準画像を生成し、部分画像と基準画像との差分値を算出し、算出した差分値に基づいて検査対象物の状態(例えば異常の有無)を検出する。検査対象物の撮影画像を基に生成した基準画像に基づいて状態を検出する構成であるため、検査装置1は、状態を検出するよう予め機械学習がなされた学習モデル等を用いることなく、撮影画像に基づいて検査対象物の状態を検出することが期待できる。
3 カメラ
11 処理部
11a 撮影画像取得部
11b 部分画像抽出部
11c 基準画像生成部
11d 差分算出部
11e 状態検出部
11f 表示処理部
12 記憶部
12a プログラム
12b 撮影画像記憶部
13 通信部
14 表示部
15 操作部
99 記録媒体
100 エッチング加工機
101 エッチング加工品
101a 十字溝
101b 鍵穴
102 撮影画像
103 CADデータ
111~114 直線
121~124 円弧
131 フィルタ
151 撮影画像領域
151a 矩形枠
152 個別情報領域
152a グラフ
152b 水平線
152c 画像
153 全体情報領域
153a 矩形枠
153b 水平線
161 円形枠
Claims (12)
- 情報処理装置が、
検査対象物を撮影した撮影画像を取得し、
取得した前記撮影画像から所定の図形要素が写された部分と当該部分の周辺部分との勾配値を格納した、前記図形要素のサイズに応じた要素数の一次元配列を部分画像として複数抽出し、
抽出した複数の部分画像について要素毎の勾配値の統計値を格納した一次元配列を、前記所定の図形要素の基準画像として生成し、
前記部分画像の一次元配列と前記基準画像の一次元配列との要素毎の差分値を算出し、
算出した差分値に基づいて前記検査対象物の状態を検出する、
情報処理方法。 - 抽出した一の部分画像に関して算出した一次元配列の差分値を第1グラフとして出力する、
請求項1に記載の情報処理方法。 - 複数の部分画像について、一の部分画像毎に作成した第1グラフを複数連結した第2グラフを出力する、
請求項2に記載の情報処理方法。 - 前記差分値との比較により前記検査対象物の良/不良を判定するための閾値を示す基準線を前記第1グラフ又は前記第2グラフに出力する、
請求項3に記載の情報処理方法。 - 前記撮影画像、前記第1グラフ及び前記第2グラフを含む画面を出力し、
前記差分値及び前記閾値の比較により不良と判定された部分画像の位置を前記撮影画像に示す、
請求項4に記載の情報処理方法。 - 前記画面に出力された前記撮影画像に含まれる複数の図形要素の1つの選択、又は、前記画面に出力された前記第2グラフに対する位置の選択を受け付け、
選択を受け付けた図形要素又は位置に対応する部分画像に関する第1グラフを出力する、
請求項5に記載の情報処理方法。 - 前記検査対象物の設計図情報を取得し、
前記設計図情報を基に、前記撮影画像から前記所定の図形要素が写された部分画像を抽出する、
請求項1に記載の情報処理方法。 - 前記設計図情報から所定の図形要素が描かれた部分を抽出し、
前記部分に対応する部分画像を前記撮影画像から抽出する、
請求項7に記載の情報処理方法。 - 前記設計図情報は、当該設計図情報に描かれた図形要素の種類に係る分類情報を含み、
同じ種類の図形要素について抽出した複数の部分画像を基に、基準画像を種類毎に生成する、
請求項7に記載の情報処理方法。 - 第1方向の勾配と前記第1方向に直交する第2方向の勾配とを前記部分画像として抽出する、
請求項1に記載の情報処理方法。 - コンピュータに、
検査対象物を撮影した撮影画像を取得し、
取得した前記撮影画像から所定の図形要素が写された部分と当該部分の周辺部分との勾配値を格納した、前記図形要素のサイズに応じた要素数の一次元配列を部分画像として複数抽出し、
抽出した複数の部分画像について要素毎の勾配値の統計値を格納した一次元配列を、前記所定の図形要素の基準画像として生成し、
前記部分画像の一次元配列と前記基準画像の一次元配列との要素毎の差分値を算出し、
算出した差分値に基づいて前記検査対象物の状態を検出する
処理を実行させる、コンピュータプログラム。 - 検査対象物を撮影した撮影画像を取得する取得部と、
取得した前記撮影画像から所定の図形要素が写された部分と当該部分の周辺部分との勾配値を格納した、前記図形要素のサイズに応じた要素数の一次元配列を部分画像として複数抽出する抽出部と、
抽出した複数の部分画像について要素毎の勾配値の統計値を格納した一次元配列を、前記所定の図形要素の基準画像として生成する生成部と、
前記部分画像の一次元配列と前記基準画像の一次元配列との要素毎の差分値を算出する算出部と、
算出した差分値に基づいて前記検査対象物の状態を検出する検出部と
を備える、情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022139388A JP7290780B1 (ja) | 2022-09-01 | 2022-09-01 | 情報処理方法、コンピュータプログラム及び情報処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022139388A JP7290780B1 (ja) | 2022-09-01 | 2022-09-01 | 情報処理方法、コンピュータプログラム及び情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7290780B1 true JP7290780B1 (ja) | 2023-06-13 |
JP2024034864A JP2024034864A (ja) | 2024-03-13 |
Family
ID=86721401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022139388A Active JP7290780B1 (ja) | 2022-09-01 | 2022-09-01 | 情報処理方法、コンピュータプログラム及び情報処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7290780B1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005156475A (ja) | 2003-11-28 | 2005-06-16 | Hitachi High-Technologies Corp | パターン欠陥検査装置およびパターン欠陥検査方法 |
WO2011096544A1 (ja) | 2010-02-08 | 2011-08-11 | 株式会社日立ハイテクノロジーズ | 欠陥検査方法及びその装置 |
JP2011158367A (ja) | 2010-02-02 | 2011-08-18 | Hitachi Metals Ltd | 被検査物の検査方法、検査用プログラム及び検査装置 |
JP2017072501A (ja) | 2015-10-08 | 2017-04-13 | 株式会社日立パワーソリューションズ | 欠陥検査方法、及びその装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3660763B2 (ja) * | 1996-06-26 | 2005-06-15 | 株式会社日立製作所 | 被検査パターンの検査方法及び製造プロセス診断方法並びに半導体基板の製造方法 |
JPH1173513A (ja) * | 1997-06-25 | 1999-03-16 | Matsushita Electric Works Ltd | パターン検査方法及びその装置 |
JP3120767B2 (ja) * | 1998-01-16 | 2000-12-25 | 日本電気株式会社 | 外観検査装置、外観検査方法及び外観検査プログラムを記録した記録媒体 |
-
2022
- 2022-09-01 JP JP2022139388A patent/JP7290780B1/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005156475A (ja) | 2003-11-28 | 2005-06-16 | Hitachi High-Technologies Corp | パターン欠陥検査装置およびパターン欠陥検査方法 |
JP2011158367A (ja) | 2010-02-02 | 2011-08-18 | Hitachi Metals Ltd | 被検査物の検査方法、検査用プログラム及び検査装置 |
WO2011096544A1 (ja) | 2010-02-08 | 2011-08-11 | 株式会社日立ハイテクノロジーズ | 欠陥検査方法及びその装置 |
JP2017072501A (ja) | 2015-10-08 | 2017-04-13 | 株式会社日立パワーソリューションズ | 欠陥検査方法、及びその装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2024034864A (ja) | 2024-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20040155877A1 (en) | Image processing apparatus | |
US7931602B2 (en) | Gaze guidance degree calculation system, gaze guidance degree calculation program, storage medium, and gaze guidance degree calculation method | |
JP6716996B2 (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
CN107111872B (zh) | 信息处理装置、信息处理方法、及存储介质 | |
JP2016115331A (ja) | 識別器生成装置、識別器生成方法、良否判定装置、良否判定方法、プログラム | |
KR101992044B1 (ko) | 정보 처리 장치, 방법, 및 컴퓨터 프로그램 | |
TWI773063B (zh) | 圖像產生系統及圖像產生方法 | |
CN112348958A (zh) | 关键帧图像的采集方法、装置、系统和三维重建方法 | |
JP2013224833A (ja) | 外観検査装置、外観検査方法及びコンピュータプログラム | |
TWI784537B (zh) | 檢查裝置、檢查方法及檢查程式 | |
JP2018055199A (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
JP3661635B2 (ja) | 画像処理方法およびその装置 | |
JP7290780B1 (ja) | 情報処理方法、コンピュータプログラム及び情報処理装置 | |
JP7329951B2 (ja) | 画像処理装置およびその制御方法 | |
JP6546385B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
JP5259348B2 (ja) | 高さ情報取得装置、高さ情報取得方法、及びプログラム | |
US20230005157A1 (en) | Pattern-edge detection method, pattern-edge detection apparatus, and storage medium storing program for causing a computer to perform pattern-edge detection | |
WO2021260765A1 (ja) | 寸法計測装置、半導体製造装置及び半導体装置製造システム | |
JP2022064506A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
WO2020158261A1 (ja) | 画像マッチング判定方法、画像マッチング判定装置、および画像マッチング判定方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
US11640535B2 (en) | Probability acquisition apparatus and probability acquisition method | |
CN111435969A (zh) | 图像处理装置及其控制方法、记录介质和信息处理系统 | |
WO2024047782A1 (ja) | 点群データ描画システム、サーバ、点群データ描画装置、および点群データ描画方法 | |
TWI779696B (zh) | 視角影像的生成系統與生成方法 | |
US20230107740A1 (en) | Methods and systems for automated three-dimensional object detection and extraction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221213 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20221213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230601 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7290780 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |