JP7290780B1 - 情報処理方法、コンピュータプログラム及び情報処理装置 - Google Patents

情報処理方法、コンピュータプログラム及び情報処理装置 Download PDF

Info

Publication number
JP7290780B1
JP7290780B1 JP2022139388A JP2022139388A JP7290780B1 JP 7290780 B1 JP7290780 B1 JP 7290780B1 JP 2022139388 A JP2022139388 A JP 2022139388A JP 2022139388 A JP2022139388 A JP 2022139388A JP 7290780 B1 JP7290780 B1 JP 7290780B1
Authority
JP
Japan
Prior art keywords
image
information processing
partial
graphic element
difference value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022139388A
Other languages
English (en)
Other versions
JP2024034864A (ja
Inventor
アブドゥルラーマン アブドゥルガニ
エンリケ アリアガ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Exa Wizards Inc
Original Assignee
Exa Wizards Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Exa Wizards Inc filed Critical Exa Wizards Inc
Priority to JP2022139388A priority Critical patent/JP7290780B1/ja
Application granted granted Critical
Publication of JP7290780B1 publication Critical patent/JP7290780B1/ja
Publication of JP2024034864A publication Critical patent/JP2024034864A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】機械学習を行うことなく、撮影画像に基づいて検査対象物の状態を検出することが期待できる情報処理方法、コンピュータプログラム及び情報処理装置を提供する。【解決手段】本実施の形態に係る情報処理方法は、情報処理装置が、検査対象物を撮影した撮影画像を取得し、取得した前記撮影画像から所定の図形要素が写された部分画像を複数抽出し、抽出した複数の部分画像を基に、前記所定の図形要素の基準画像を生成し、前記部分画像と前記基準画像との差分値を算出し、算出した差分値に基づいて前記検査対象物の状態を検出する。【選択図】図10

Description

本発明は、撮影画像に基づく検査対象物の検査を行う情報処理方法、コンピュータプログラム及び情報処理装置に関する。
特許文献1においては、ウェハの領域画像を生成して、これに対応するCAD(Computer Aided Design)データと共に登録し、登録した画像同士を比較することでウェハ上の欠陥を検出し、欠陥の位置情報をCAD座標で生成する欠陥検出方法が提案されている。
米国特許出願公開第2007/0280527号明細書
近年、検査対象物を撮影した撮影画像を基に、検査対象物の異常検出又は検査対象物の良品/不良品の判定等を行う手法の1つとして、機械学習により予め学習がなされた学習モデルを用いる方法が広く利用されている。しかしながら機械学習を用いる方法では、学習モデルの学習を行うために多くのデータを予め準備する必要がある。学習用のデータには、例えば検査対象物を撮影した複数の撮影画像と、各画像に写された検査対象物が良品/不良品のいずれであるかを示すラベルとが対応付けられたデータが用いられ得る。このようなデータを大量に用意することは容易ではない。
本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、機械学習を行うことなく、撮影画像に基づいて検査対象物の状態を検出することが期待できる情報処理方法、コンピュータプログラム及び情報処理装置を提供することにある。
一実施形態に係る情報処理方法は、情報処理装置が、検査対象物を撮影した撮影画像を取得し、取得した前記撮影画像から所定の図形要素が写された部分と当該部分の周辺部分との勾配値を格納した、前記図形要素のサイズに応じた要素数の一次元配列を部分画像として複数抽出し、抽出した複数の部分画像について要素毎の勾配値の統計値を格納した一次元配列を、前記所定の図形要素の基準画像として生成し、前記部分画像の一次元配列と前記基準画像の一次元配列との要素毎の差分値を算出し、算出した差分値に基づいて前記検査対象物の状態を検出する。
一実施形態による場合は、機械学習を行うことなく、撮影画像に基づいて検査対象物の状態を検出することが期待できる。
本実施の形態に係る情報処理システムの概要を説明するための模式図である。 エッチング加工品の一例を示す模式的平面図である。 本実施の形態に係る検査装置の構成を示すブロック図である。 本実施の形態に係る検査装置が行う異常検出処理の手順を示すフローチャートである。 部分画像として抽出する図形要素の一例を示す模式図である。 部分画像として抽出する図形要素の一例を示す模式図である。 部分画像の抽出を説明するための模式図である。 基準画像の生成を説明するための模式図である。 差分算出を説明するための模式図である。 検査結果画面の一例を示す模式図である。 更新された検査結果画面の一例を示す模式図である。 図11の検査結果画面の一部を拡大した拡大図である。
本発明の実施形態に係る情報処理システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
<システム概要>
図1は、本実施の形態に係る情報処理システムの概要を説明するための模式図である。本実施の形態に係る情報処理システムは、製造装置又は生産装置等により製造又は生産等された工業製品等の異常を検知するシステムである。図示の例では、工業製品の一例として、エッチング加工機100が加工したエッチング加工品101が検査対象物として扱われている。エッチング加工機100は、例えば金属板等の素材の表面に所望のパターンでレジスト処理を施し、化学薬品などの腐食作用を利用してレジスト処理がなされていない部分を溶解又は浸食等することにより、目的の形状への加工を行う装置である。エッチング加工機100は、例えばCADデータ103に基づいて金属板等の素材を加工し、同形状のエッチング加工品101を多数製作することができる。
本実施の形態に係る情報処理システムは、エッチング加工機100が制作したエッチング加工品101をカメラ等にて撮影し、複数のエッチング加工品101を撮影して得られる複数の撮影画像を基に、検査装置1が各エッチング加工品101の異常の有無を判定し、各エッチング加工品101の良品/不良品の判定を行う。また検査装置1は、これらの判定処理に、エッチング加工品101の設計図情報に相当するCADデータ103を利用してもよい。本実施の形態に係る情報処理システムでは、予め機械学習がなされた学習モデル、いわゆるAI(Artificial Intelligence)を用いて撮影画像から異常等を判定するのではなく、検査対象となるエッチング加工品101の撮影画像を基に異常等を判定する。
図2は、エッチング加工品101の一例を示す模式的平面図である。図示のエッチング加工品101は、長方形状の金属板の表面にエッチング加工を施すことにより、凹部(溝)及び孔(穴)等を形成したものである。本例では、金属板の長手方向の一側に、4つの十字型の溝が2×2のマトリクス状の配置で形成されている。また金属板の他側に、4つの鍵穴型の貫通孔が2×2のマトリクス状の配置で形成されている。以下、十字型の溝を十字溝101aと呼び、鍵穴型の貫通孔を鍵穴101bと呼ぶ。十字溝101aは、縦横に交差した直線状の溝と、この溝の先端部分に設けられた円形の穴とを組み合わせた形状である。十字溝101aは、金属板を貫通していない。これに対して鍵穴101bは、金属板を貫通して形成されている。鍵穴101bは、円形の貫通孔と、長方形の貫通孔とを組み合わせた形状である。
<装置構成>
図3は、本実施の形態に係る検査装置1の構成を示すブロック図である。本実施の形態に係る検査装置1は、処理部11、記憶部(ストレージ)12、通信部(トランシーバ)13、表示部(ディスプレイ)14及び操作部15等を備えて構成されている。検査装置1は、例えばエッチング加工品101を撮影するカメラ3が接続されたパーソナルコンピュータ等の汎用の情報処理装置を用いて構成され得る。また検査装置1がカメラ3を備えていてもよく、検査装置1はカメラ付きのスマートフォン又はタブレット型端末装置等であってもよい。検査装置1がスマートフォン又はタブレット型端末装置等である場合、処理部11及び記憶部12等の機能は、サーバ装置又はクラウド等の遠隔の装置に設けられてもよい。また本実施の形態に係る情報処理システムのカメラ3として、カメラ付きのスマートフォン又はタブレット型端末装置等が用いられてもよい。
処理部11は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)又は量子プロセッサ等の演算処理装置、ROM(Read Only Memory)及びRAM(Random Access Memory)等を用いて構成されている。処理部11は、記憶部12に記憶されたプログラム12aを読み出して実行することにより、検査対象物であるエッチング加工品101の異常検出に関する種々の処理を行う。
記憶部12は、例えばハードディスク等の大容量の記憶装置を用いて構成されている。記憶部12は、処理部11が実行する各種のプログラム、及び、処理部11の処理に必要な各種のデータを記憶する。本実施の形態において記憶部12は、処理部11が実行するプログラム12aを記憶する。また記憶部12には、エッチング加工機100が加工したエッチング加工品101をカメラ3が撮影した撮影画像を記憶する撮影画像記憶部12bが設けられている。また記憶部12は、検査対象物であるエッチング加工品101の設計図情報であるCADデータ103を記憶する。
本実施の形態においてプログラム(コンピュータプログラム、プログラム製品)12aは、メモリカード又は光ディスク等の記録媒体99に記録された態様で提供され、検査装置1は記録媒体99からプログラム12aを読み出して記憶部12に記憶する。ただし、プログラム12aは、例えば検査装置1の製造段階において記憶部12に書き込まれてもよい。また例えばプログラム12aは、遠隔のサーバ装置等が配信するものを検査装置1が通信にて取得してもよい。例えばプログラム12aは、記録媒体99に記録されたものを書込装置が読み出して検査装置1の記憶部12に書き込んでもよい。プログラム12aは、ネットワークを介した配信の態様で提供されてもよく、記録媒体99に記録された態様で提供されてもよい。
撮影画像記憶部12bは、カメラ3が撮影したエッチング加工品101の撮影画像を記憶する。検査装置1は、カメラ3からエッチング加工品101の撮影画像を取得し、各エッチング加工品101を識別するID又は番号等の識別情報と共に撮影画像を撮影画像記憶部12bに記憶する。なお本実施の形態に係る情報処理システムでは、検査対象となる1つのエッチング加工品101につき少なくとも1枚の撮影画像が必要であり、例えば検査の対象となるエッチング加工品101がN個存在する場合、検査装置1は、少なくともN枚の撮影画像をカメラ3から撮影画像記憶部12bに記憶する。ただし、1枚の撮影画像に複数個のエッチング加工品101が撮影されてもよく、この場合に検査装置1は、1枚の撮影画像をエッチング加工品101毎に分割して撮影画像記憶部12bに記憶してよい。
通信部13は、例えば通信ケーブルを介してカメラ3に接続され、カメラ3との通信を行う。通信部13は、例えばUSB(Universal Serial Bus)又はLAN(Local Area Network)等の通信規格に基づいて通信を行ってよい。また通信部13は、通信ケーブルを介すことなく、無線通信によりカメラ3との通信を行ってもよい。通信部13は、例えばカメラ3から送信されるエッチング加工品101の撮影画像を受信して撮影画像記憶部12bに記憶し、処理部11から与えられた制御命令等をカメラ3へ送信する。
表示部14は、液晶ディスプレイ等を用いて構成されており、処理部11の処理に基づいて種々の画像及び文字等を表示する。操作部15は、ユーザの操作を受け付け、受け付けた操作を処理部11へ通知する。例えば操作部15は、機械式のボタン又は表示部14の表面に設けられたタッチパネル等の入力デバイスによりユーザの操作を受け付ける。また例えば操作部15は、マウス及びキーボード等の入力デバイスであってよく、これらの入力デバイスは検査装置1に対して取り外すことが可能な構成であってもよい。
また本実施の形態に係る検査装置1には、記憶部12に記憶されたプログラム12aを処理部11が読み出して実行することにより、撮影画像取得部11a、部分画像抽出部11b、基準画像生成部11c、差分算出部11d、状態検出部11e及び表示処理部11f等が、ソフトウェア的な機能部として処理部11に実現される。なお本図においては、処理部11の機能部として、検査対象物の異常検出の処理に関連する機能部を図示し、これ以外の処理に関する機能部は図示を省略している。
撮影画像取得部11aは、通信部13にてカメラ3との間でデータの送受信を行うことによって、カメラ3が撮影したエッチング加工品101の撮影画像を取得する処理を行う。例えばカメラ3はエッチング加工機100が加工した複数のエッチング加工品101を順に撮影し、撮影により得られた撮影画像を検査装置1へ順に送信する。検査装置1の撮影画像取得部11aは、カメラ3から送信される撮影画像を順に受信し、例えば受信順に番号を付すことでエッチング加工品101に識別情報を付し、識別情報と撮影画像とを対応付けて撮影画像記憶部12bに記憶する。
部分画像抽出部11bは、撮影画像記憶部12bに記憶された各撮影画像について、所定の図形要素が写された部分画像を抽出する処理を行う。本実施の形態において部分画像抽出部11bは、所定の図形要素として「直線」及び「円弧」が写された部分画像を撮影画像から抽出する。1つの撮影画像に所定の図形要素が複数存在する場合、部分画像抽出部11bは、1つの撮影画像から複数の部分画像を抽出する。部分画像抽出部11bによる撮影画像からの部分画像の抽出は、例えば記憶部12に記憶されたCADデータ103を用いて行われてもよく、また例えばCADデータ103を用いずに、撮影画像のみに基づいて行われてもよい。なお本実施の形態においては、部分画像抽出部11bが抽出する図形要素を「直線」及び「円弧」とするが、これに限るものではない。部分画像抽出部11bは、例えば「円」、「楕円」又は「スプライン曲線」等の曲線で構成される図形要素を抽出してもよく、また例えば「三角形」、「四角形」又は「多角形」等の複数の直線で構成される図形要素を抽出してもよく、また例えば直線及び曲線を組み合わせて構成される図形要素を抽出してもよい。部分画像抽出部11bが部分画像として抽出する図形要素は、どのような図形であってもよい。
また本実施の形態に係る部分画像抽出部11bは、撮影画像から所定の図形要素が写された画素の画素値を単に抽出して部分画像とするのではなく、所定の図形要素が写された画素の画素値と、この画素の周辺に存在する画素の画素値との勾配を算出することで、算出した勾配値を画素値として有する部分画像を抽出する。更に本実施の形態に係る部分画像抽出部11bは、撮影画像のx方向に関して所定の図形要素が写された画素の勾配値を抽出したx方向の部分画像と、撮影画像のy方向に関して所定の図形要素が写された画素の勾配値を抽出したy方向の部分画像との2種類の部分画像を抽出する。即ち部分画像抽出部11bは、撮影画像に写された所定の図形要素の1つにつき、x方向の部分画像とy方向の部分画像との2つの部分画像を抽出する。
基準画像生成部11cは、部分画像抽出部11bが抽出した複数の部分画像を基に、所定の図形要素に関する基準画像を生成する処理を行う。部分画像抽出部11bは、1つの撮影画像から所定の図形要素が写された部分画像を複数抽出することができ、複数の撮影画像から更に多くの部分画像を抽出することができる。基準画像生成部11cは、検査対象となる複数の撮影画像の全てから抽出した同種別の図形要素に関する全ての部分画像を基に、この図形要素の基準画像を生成する。基準画像生成部11cは、同種別の図形要素の全ての部分画像について、画素値(勾配値)の平均値又は中央値等の統計値を算出し、この統計値を画素値として有する基準画像を生成する。なお本実施の形態において部分画像抽出部11bはx方向の部分画像とy方向の部分画像とを抽出するため、基準画像生成部11cは、x方向の部分画像に基づいてx方向の基準画像を生成し、y方向の部分画像に基づいてy方向の基準画像を生成する。
差分算出部11dは、部分画像抽出部11bが抽出した部分画像と、基準画像生成部11cが生成した基準画像との差分値を算出する処理を行う。本実施の形態において部分画像抽出部11bが抽出する直線の図形要素の部分画像は例えば1×M(Mは直線の長さに応じて定まる)のサイズの画像であり、基準画像生成部11cが生成する基準画像は同じく1×Mのサイズの画像である。即ち、部分画像及び基準画像は、M個の画素値(勾配値)を有する1次元配列のデータである。差分算出部11dは、部分画像と基準画像との対応する画素値の差分値をそれぞれ算出し、1×Mのサイズの差分値の1次元配列のデータを生成する。また差分算出部11dは、部分画像抽出部11bが抽出した全ての部分画像について、対応する基準画像との差分値を出力する。
状態検出部11eは、差分算出部11dが算出した差分値に基づいて、検査対象物であるエッチング加工品101の異常を検出する処理を行う。状態検出部11eは、差分算出部11dが算出した差分値と、異常であるか否かを判定するための閾値とを比較し、差分値が閾値を超える部分画像に写された図形要素を異常箇所と検出する。状態検出部11eは、少なくとも1つの異常箇所が検出されたエッチング加工品101について異常があると判断し、不良品と判断する。状態検出部11eは、1つも異常箇所が検出されないエッチング加工品101を良品と判断する。なお本実施の形態において差分値と比較する閾値は、ユーザにより設定を変更することが可能である。
表示処理部11fは、画像及び文字等の種々の情報を表示部14に表示する処理を行う。本実施の形態において表示処理部11fは、状態検出部11eによる異常の有無の検出結果を表示部14に表示する。また表示処理部11fは、エッチング加工品101の撮影画像と共に、差分算出部11dが算出した差分値のグラフ、部分画像抽出部11bが抽出した部分画像、基準画像生成部11cが生成した基準画像、及び、良品/不良品を判定する閾値等の情報を含む画面を表示部14に表示する。ユーザは表示されたこの画面に基づいて、エッチング加工品101の異常箇所等を検証することができる。
<異常検出処理>
図4は、本実施の形態に係る検査装置1が行う異常検出処理の手順を示すフローチャートである。本実施の形態に係る情報処理システムでは、エッチング加工機100により金属板のエッチング加工処理が行われ、複数のエッチング加工品101が製造される。カメラ3は、製造されたエッチング加工品101を個別に撮影し、各エッチング加工品101の撮影画像を検査装置1へ送信する。本実施の形態に係る検査装置1の処理部11の撮影画像取得部11aは、カメラ3から送信されるエッチング加工品101の撮影画像を通信部13にて受信することにより取得し(ステップS1)、取得した撮影画像を撮影画像記憶部12bに記憶する。撮影画像取得部11aは、検査対象となる全てのエッチング加工品101についての撮影画像の取得を完了したか否かを判定する(ステップS2)。全ての撮影画像の取得を完了していない場合(S2:NO)、撮影画像取得部11aは、ステップS1へ処理を戻し、撮影画像の取得を繰り返し行う。
全ての撮影画像の取得を完了した場合(S2:YES)、処理部11の部分画像抽出部11bは、複数の検査対象物の中から1つの検査対象物を選択する(ステップS3)。部分画像抽出部11bは、選択した検査対象物の撮影画像を撮影画像記憶部12bから読み出し、この撮影画像から所定の図形要素が写された一又は複数の部分画像を抽出する(ステップS4)。部分画像抽出部11bは、全ての検査対象物の撮影画像について部分画像の抽出を完了したか否かを判定する(ステップS5)。全ての部分画像の抽出を完了していない場合(S5:NO)、部分画像抽出部11bは、ステップS3へ処理を戻し、別の検査対象物を選択して撮影画像からの部分画像の抽出を繰り返し行う。
図5及び図6は、部分画像として抽出する図形要素の一例を示す模式図である。図5及び図6には、図2に示したエッチング加工品101に形成された1つの十字溝101aを拡大して図示している。図5に示すように、本例の十字溝101aには、4種類の直線111~114が図形要素として含まれている。直線111,112は、図5において上下方向(垂直方向、y方向)に延びる直線である。直線111は、左側に溝の外側の面(金属板の表面)が存在し、右側に溝の内側の面(溝の底面)が存在し、これらの面の境界となる線である。直線112は、左側に溝の内側の面が存在し、右側に溝の外側の面が存在し、これらの面の境界となる線である。また、直線113,114は図5において左右方向(水平方向、x方向)に延びる直線である。直線113は、上側に溝の外側の面が存在し、下側に溝の内側の面が存在し、これらの面の境界となる線である。直線114は、上側に溝の内側の面が存在し、下側に溝の外側の面が存在し、これらの面の境界となる線である。十字溝101aは上下左右に対称な形状であるため、1つの十字溝101aには4種類の直線111~114が2つずつ存在する。
また図6に示すように、本例の十字溝101aには、4種類の円弧121~124が図形要素として含まれている。図6において、円弧121は十字溝101aの上側端部に形成された円弧であり、円弧122は十字溝101aの左側端部に形成された円弧であり、円弧123は十字溝101aの下側端部に形成された円弧であり、円弧124は十字溝101aの右側端部に形成された円弧である。なお本実施の形態において部分画像抽出部11bは、撮影画像から円弧の写された画素を抽出し、抽出した複数の画素を直線状に並べなおすことで、後続の処理を直線の場合と同じ手順で行っている。
図5及び図6に示すように、1つの十字溝101aには、8個の直線111~114と、4個の円弧121~124とが含まれている。図3に示すようにエッチング加工品101には4つの十字溝101aが形成されているため、エッチング加工品101には32個の直線111~114と、16個の円弧121~124とが含まれている。
また図示は省略するが、同様にしてエッチング加工品101の1つの鍵穴101bには、3個の直線と、1個の円弧とが含まれている。図3に示すようにエッチング加工品101には4つの鍵穴101bが形成されているため、エッチング加工品101には鍵穴101bに関して12個の直線と4個の円弧とが含まれている。なお本実施の形態においては、十字溝101a及び鍵穴101bに含まれる直線について、長さ及び向きが同じであれば同じ種類の直線として扱ってよい。円弧についても同様である。
部分画像抽出部11bは、エッチング加工品101の撮影画像からこれらの図形要素の部分画像を抽出する。このときに部分画像抽出部11bは、例えば記憶部12に記憶されたCADデータ103を基に、撮影画像のいずれの箇所にこれらの図形要素が配置されているかを把握することができる。部分画像抽出部11bは、CADデータ103に含まれる図形要素の位置に対応する撮影画像の位置から、この図形要素が写された画素を抽出することで、部分画像を抽出することができる。
本実施の形態においてCADデータ103には、エッチング加工品101に形成する十字溝101a及び鍵穴101b等を構成する直線及び曲線等の図形要素の位置、向き及びサイズ等の情報が含まれている。部分画像抽出部11bは、CADデータ103に含まれるこれらの図形要素を抽出し、各図形要素の向き及びサイズ等に基づいて図形要素の種類を分類する。あるいは、ユーザが予めCADデータ103に含まれる図形要素の種類等を分類し、各図形要素にその種類を示す分類情報を付与しておき、部分画像抽出部11bがCADデータ103に含まれる各図形要素の分類情報を取得し、分類情報に基づいて各図形要素の種類を把握してもよい。
また部分画像抽出部11bは、CADデータ103を用いずに部分画像の抽出を行ってもよい。この場合に検査装置1はCADデータ103を記憶部12に記憶しておかなくてよい。例えば部分画像抽出部11bは、撮影画像に対してエッジを検出する画像処理を行い、エッジとして検出された画素が所定数を超えて連続している箇所を図形要素とみなすことができる。部分画像抽出部11bは、これら検出した図形要素について、向き及びサイズ等に基づいて図形要素の種類を分類する。
また例えば部分画像抽出部11bは、図形要素を検出するように予め機械学習がなされた学習モデルを用いて、撮影画像から図形要素を検出してもよい。学習モデルには、例えばCNN(Convolutional Neural Network)等の構成の学習モデルが用いられ得る。撮影画像から所定の物を検出する学習モデルは、既存の技術であるため、詳細な説明は省略する。学習済の学習モデルは、例えば撮影画像を入力として受け付け、この撮影画像に含まれる図形要素の位置及びサイズ等の情報を出力する。更に学習モデルは図形要素の種類を分類して出力してもよく、部分画像抽出部11bが学習モデルにより検出された図形要素の向き及びサイズ等に基づいて図形要素の種類を分類してもよい。
また本実施の形態に係る部分画像抽出部11bは、撮影画像において所定の図形要素が写された画素の画素値を部分画像として抽出するのではなく、図形要素が写された画素とその周辺の画素との勾配を部分画像として抽出する。図7は、部分画像の抽出を説明するための模式図である。図7の左側には、撮影画像に含まれる直線111及びその周囲を拡大して図示している。本図において1つの正方形が1つの画素を表しており、ハッチングを付した正方形は直線111が写された画素であり、ハッチングを付していない正方形は直線111の周辺の画素である。部分画像抽出部11bは、直線111が写された複数の画素に対して、例えば3画素×3画素のサイズのフィルタ131を用いた勾配値の算出を行うことで、各画素の勾配値を有する部分画像を抽出する。例えば、図形要素の直線111の長さがN画素分である場合、部分画像抽出部11bが抽出する部分画像は、1画素×N画素のサイズの画像(1次元配列)となる。
フィルタ131には、例えばソーベルフィルタが用いられ得る。ソーベルフィルタは、勾配値(1次微分値)を算出するフィルタであり、画像のエッジ抽出等に用いられるフィルタである。ソーベルフィルタには、元の画像に対して横方向(x方向、左右方向)の勾配値を算出するものと、縦方向(y方向、上下方向)の勾配値を算出するものとが存在する。本実施の形態においては、両方向のソーベルフィルタをそれぞれ用いることで、x方向の勾配値を有する部分画像と、y方向の勾配値を有する部分画像との2種類の部分画像を、部分画像抽出部11bは撮影画像から抽出する。
なお本実施の形態においては、x方向及びy方向の2種類の部分画像を部分画像抽出部11bが抽出しているが、これに限るものではなく、部分画像抽出部11bは1種類又は3種類以上の部分画像を抽出してもよい。部分画像抽出部11bは、例えばラプラシアンフィルタを用いて、x方向及びy方向の両方向に関する2次微分値を算出して部分画像としてもよい。また部分画像抽出部11bは、ソーベルフィルタ又はラプラシアンフィルタ以外のフィルタを用いて部分画像を抽出してよい。更に部分画像抽出部11bは、このようなフィルタを用いた演算処理を行わず、図形要素が写された画素の画素値を単に抽出して部分画像としてもよい。
図4に示すフローチャートにおいて、全ての部分画像の抽出を完了した場合(S5:YES)、処理部11の基準画像生成部11cは、抽出した部分画像を用いて基準画像を生成する(ステップS6)。図8は、基準画像の生成を説明するための模式図である。基準画像生成部11cは、撮影画像から抽出された複数の部分画像について、同じ種類の画像要素について抽出された複数の部分画像を取得する。同じ種類の画像要素の部分画像は同じサイズの画像(1次元配列)である。基準画像生成部11cは、同じ種類の画像要素について抽出された全ての部分画像について、対応する画素値(配列の要素)の平均値又は中央値等の統計値を算出し、算出した統計値を画素値として有する基準画像を生成する。生成される基準画像のサイズは、生成に用いられた各部分画像と同じサイズである。
また本実施の形態においては、上述のように1つの画像要素についてx方向の勾配値を有する部分画像とy方向の勾配値を有する部分画像との2つの部分画像が抽出される。基準画像生成部11cは、x方向の部分画像とy方向の部分画像とについてそれぞれ別に基準画像を生成する。即ち本実施の形態においては、1つの図形要素について、x方向の基準画像とy方向の基準画像との2種類の基準画像が生成される。
図4に示すフローチャートのステップS6にて基準画像を生成した後、処理部11の差分算出部11dは、複数の検査対象物の中から1つの検査対象物を選択する(ステップS7)。差分算出部11dは、選択した検査対象物の撮影画像から抽出した一又は複数の部分画像と、各部分画像について生成された基準画像との差分値を算出する(ステップS8)。図9は、差分算出を説明するための模式図である。図9の左側には部分画像を示し、図9の中央には基準画像を示し、図9の右側には差分値の配列を示している。上述のように、部分画像及び基準画像は同じサイズの画像(一次元配列)である。差分算出部11dは、部分画像の各画素値(勾配値)から基準画像の対応する画素値(勾配値の統計値)を引いた値を差分値としてそれぞれ算出し、得られた複数の差分値を部分画像及び基準画像と同じサイズの一次元配列に格納する。なお差分算出部11dは、基準画像の画素値から部分画像の画素値を引いた差分値を算出してもよい。また本実施の形態においては、上述のようにx方向の部分画像及び基準画像と、y方向の部分画像及び基準画像との2種類の部分画像及び基準画像が生成される。差分算出部11dは、x方向の部分画像及び基準画像を基にx方向の差分値を算出し、y方向の部分画像及び基準画像を基にy方向の差分値を算出する。
差分算出部11dが検査対象物の撮影画像に含まれる全ての部分画像について差分値を算出した後、処理部11の状態検出部11eは、ステップS8にて検査対象物について算出した複数の差分値と、予め定められた閾値とを比較し、差分値が閾値を超えるか否かを判定する(ステップS9)。少なくとも1つの差分値が閾値を超える場合(S9:YES)、この検査対象物について異常があると判定し(ステップS10)、ステップS12へ処理を進める。全ての差分値が閾値を超えない場合(S9:NO)、状態検出部11eは、この検査対象物について異常がないと判定し(ステップS11)、ステップS12へ処理を進める。処理部11は、全ての検査対象物について異常の有無の判定を終了したか否かを判定する(ステップS12)。全ての検査対象物について異常の有無の判定を終了していない場合(S12:NO)、処理部11は、ステップS7へ処理を戻し、別の検査対象物を選択して異常の有無の判定を行う。全ての検査対象物について異常の有無の判定を終了した場合(S12:YES)、処理部11は、異常検出処理を終了する。
<情報表示>
本実施の形態に係る検査装置1は、図4のフローチャートに示した異常検出処理を行った後、この処理の結果等の情報をユーザに提供するための検査結果画面を表示部14に表示する。図10は、検査結果画面の一例を示す模式図である。図示の検査結果画面には、検査対象物の撮影画像を表示する撮影画像領域151と、1つの図形要素に関する情報を表示する個別情報領域152と、検査対象物に含まれる全ての図形要素に関する情報を表示する全体情報領域153とが設けられている。例えば、撮影画像領域151は検査結果画面の上部左側に設けられ、個別情報領域152は検査結果画面の上部右側に設けられ、全体情報領域153は検査結果画面の下部に設けられる。
検証結果画面の撮影画像領域151は、検査対象のエッチング加工品101の1つについての撮影画像を表示するための領域である。検査装置1は、例えば複数のエッチング加工品101の中からいずれか1つの選択をユーザから受け付け、選択された1つのエッチング加工品101について撮影画像を撮影画像領域151に表示する。例えば検査装置1は、エッチング加工品101に対して付された識別情報の入力を受け付けることで、撮影画像を表示する1つのエッチング加工品101の選択を受け付けることができる。また例えば検査装置1は、複数のエッチング加工品101の撮影画像のサムネイル画像を一覧表示し、サムネイル画像から1つの選択を受け付けることで、撮影画像を表示する1つのエッチング加工品101の選択を受け付けることができる。複数のサムネイル画像の一覧表示は、例えば差分値の最大値の順番、又は、エッチング加工が行われた順番等の適宜の順番で行われてよい。
また検査装置1は、撮影画像領域151に表示した撮影画像に対し、ユーザが選択した一の図形要素を囲む矩形枠151aを重ねて表示する。図10に示す例では、エッチング加工品101に形成された4つの鍵穴101bのうちの左下側の1つの鍵穴101bが有する左側の垂直線が矩形枠151aで囲まれており、この垂直線がユーザにより選択されたことを示している。ユーザは、例えばマウスによるクリック操作等を撮影画像領域151に表示された撮影画像に対して行うことにより、クリックした位置に対応する図形領域を選択することができる。
また図示は省略するが、検査装置1は、記憶部12にエッチング加工品101のCADデータ103を記憶している場合、撮影画像領域151に表示したエッチング加工品101の撮影画像に重ねて、CADデータ103を表示してもよい。ユーザは、例えばメニュー選択又はショートカットキーの操作等により、CADデータ103の重畳表示の有無を切り替えることができる。
また検査装置1は、検証結果画面の個別情報領域152の上側に、ユーザにより選択された図形要素について上述の方法で算出された差分値のグラフ152aを表示する。上述のように、差分値は1次元配列のデータとして生成され、本実施の形態においてはx方向の差分値とy方向の差分値とが算出される。差分値のグラフ152aは、横軸を1次元配列のインデックス番号とし、縦軸を差分値としたグラフであり、本例ではグラフの左半分にy方向の差分値を示し、右半分にx方向の差分値を示している。
また検査装置1は、異常の有無を判定する為に差分値と比較する閾値をグラフ152aに水平線152bとして重畳して表示する。本例では、閾値がプラス及びマイナスの2つの値で設定され、この2つの閾値の範囲間に差分値が存在すれば異常なし(良品)であり、2つの閾値の範囲外に差分値が存在すれば異常あり(不良品)である。本例のグラフ152aでは、全ての差分値が閾値の範囲内に存在するため、選択されている図形要素に異常がないことがわかる。なお図4に示したフローチャートのステップS9において差分値が閾値を超えるか否かを判定しているが、本例の場合には差分値の絶対値が閾値の絶対値を超えるか否かを判定すればよい。
また検査装置1は、検証結果画面の個別情報領域152の下側に、選択された図形要素に関する一又は複数の画像152cを並べて表示する。検査装置1は、例えば撮影画像領域151に表示した矩形枠151aに囲まれている部分を拡大した画像152cを、個別情報領域152の下側に表示してもよい。また検査装置1は、抽出した部分画像、生成した基本画像、算出した差分値を画像化したもの等の画像152cを、個別情報領域152の下側に表示してもよい。
検証結果画面の全体情報領域153には、撮影画像領域151に撮影画像が表示されたエッチング加工品101に含まれる複数(全て)の図形要素について、上述の方法で算出された差分値のグラフが表示される。全体情報領域153のグラフは、個別情報領域152に表示される1つの図形要素に関するグラフを左右方向に関して圧縮し、複数の図形要素についての圧縮したグラフを横方向に連結したものである。上述のように差分値はx方向及びy方向についてそれぞれ算出され、本例では全体情報領域153の左側にy方向の差分値のグラフを連結し、右側にx方向の差分値を連結している。
また検査装置1は、全体情報領域153のグラフ上に、2つの矩形枠153aを重ねて表示する。矩形枠153aは、選択されている1つの図形要素に相当するグラフの部分を囲んで表示される。2つの矩形枠153aのうち、左側の矩形枠153aは選択された図形要素のy方向の差分値のグラフを囲み、右側の矩形枠153aは選択された図形要素のx方向の差分値のグラフを囲む。この2つの矩形枠153aに囲まれたグラフを抽出して拡大表示したものが、個別情報領域152のグラフ152aに相当する。ユーザは、例えば全体情報領域153のグラフ上でマウスによるクリック操作等を行うことにより、クリックした位置に表示されたグラフ対応する図形領域を選択することができる。
また検査装置1は、全体情報領域153のグラフに、異常の有無を判定する為に差分値と比較する閾値を水平線153bとして重畳して表示する。この閾値は、個別情報領域152のグラフに水平線152bとして示された閾値と同じものである。
本実施の形態に係る検査装置1は、図示の検査結果画面において、異常の有無を判定する為に差分値と比較する閾値を変更する操作をユーザから受け付ける。検査装置1は、検査結果画面の個別情報領域152のグラフ152aに表示した閾値を示す水平線152b、又は、全体情報領域153のグラフに表示した閾値を示す水平線153bに対して、例えばユーザによるマウスを利用したドラッグ操作を受け付ける。検査装置1は、このドラッグ操作に応じてグラフの水平線152b及び153bを上下方向へ移動させると共に、水平線152b,153bの位置に応じて閾値を変更する。なお検査装置1は、いずれか1つの水平線152b,153bに対するドラッグ操作に応じて、4つの水平線152b,153bを連動して移動させる。
ユーザにより閾値の変更が行われた場合、検査装置1は、選択されているエッチング加工品101のみでなく、選択されていないエッチング加工品101を含むすべてのエッチング加工品101について、差分値と変更された閾値との比較を行い、異常の有無の判定を行う。図示は省略するが、検査装置1は、更新された閾値を用いて異常の有無を再判定した結果に関する情報、例えば異常と判定されたエッチング加工品101の数又は歩留り等の情報を記載したダイアログボックスを検査結果画面に重畳して表示する。
また検査装置1は、変更された閾値に基づく再判定を行った結果を、検査結果画面に反映させて更新する。図11は、更新された検査結果画面の一例を示す模式図である。また図12は、図11の検査結果画面の一部を拡大した拡大図である。図10に示した検査結果画面ではエッチング加工品101に異常は検出されていなかったが、ユーザが閾値を下げたことにより検査装置1はエッチング加工品101の異常を検出し、図11に示す検査結果画面にこれを反映させている。図11の検査結果画面の個別情報領域152のグラフ152aに示されているように、ユーザが閾値を下げたことにより、差分値が閾値を超える部分が生じている。検査装置1は、差分値が閾値を超えた箇所を異常箇所とし、検査結果画面の撮影画像領域151に表示されたエッチング加工品101の撮影画像に、異常箇所に対応する画素を囲む円形枠161を重ねて表示する。図12に示す例では、異常箇所を囲む2つの円形枠161が表示されている。
<その他>
本実施の形態においては、エッチング加工機100が加工した全てのエッチング加工品101の撮影画像を基に基準画像を生成しているが、これに限るものではなく、一部の撮影画像のみを用いて基準画像を生成してもよい。例えば全てのエッチング加工品101の中からユーザが良品と判断した複数のエッチング加工品101の撮影画像を基に基準画像を生成してもよい。
また検査装置1は、生成した基準画像及びユーザが設定した閾値等の情報を記憶しておき、例えばエッチング加工機100にてエッチング加工品101の追加製造などが行われた場合、新たなエッチング加工品101の検査を行う際に新たに基準画像を生成せず、記憶しておいた基準画像を用いて検査を行ってもよい。
また検査装置1が基準画像等の情報を記憶しておくことにより、追加加工されたエッチング加工品101の撮影をカメラ3にて行う際に、ユーザは撮影環境の調整を行うことができる。例えばユーザは、追加加工された複数のエッチング加工品101の中から良品と判断し得る1つのエッチング加工品101を選んで撮影を行い、得られた撮影画像を記憶しておいた基準画像に基づいて検査装置1に検査を実施させ、図10に示した検査結果画面を表示させる。ユーザは、例えば検査結果画面の全体情報領域153に表示されたグラフを基に、差分値が小さくなるようにエッチング加工品101の撮影条件、例えば撮影位置又は明るさ等の条件を調整することができる。エッチング加工品101の撮影、撮影画像に基づく検査、及び、検査結果に基づく撮影条件の調整をユーザが繰り返し行うことで、基準画像を生成した際のエッチング加工品101の撮影条件に近い条件を再現することができる。
<まとめ>
以上の構成の本実施の形態に係る情報処理システムでは、検査装置1が、一又は複数の検査対象物(例えばエッチング加工品101)を撮影した一又は複数の撮影画像を取得し、取得した撮影画像から直線又は円弧等の所定の図形要素が写された部分画像を複数抽出し、抽出した複数の部分画像を基に図形要素の基準画像を生成し、部分画像と基準画像との差分値を算出し、算出した差分値に基づいて検査対象物の状態(例えば異常の有無)を検出する。検査対象物の撮影画像を基に生成した基準画像に基づいて状態を検出する構成であるため、検査装置1は、状態を検出するよう予め機械学習がなされた学習モデル等を用いることなく、撮影画像に基づいて検査対象物の状態を検出することが期待できる。
また本実施の形態に係る情報処理システムでは、検査装置1が、検査対象物の設計図情報(例えばCADデータ103等)を取得し、CADデータ103を基に撮影画像から所定の図形要素が写された部分画像を抽出する。例えば検査装置1は、設計図情報から所定の図形要素が描かれた部分を抽出し、抽出した部分に対応する部分画像を撮影画像から抽出することができる。また例えば検査装置1は、設計図情報に描かれた図形要素の種類の分類情報を基に、同じ種類の図形要素について抽出した複数の部分画像を基に、基準画像を種類毎に生成する。これらにより情報処理システムは、検査対象物の設計図情報を利用して、精度の良い部分画像の抽出及び基準画像の生成等を実現することが期待できる。
また本実施の形態に係る情報処理システムでは、検査装置1が、撮影画像において所定の図形要素が写された部分とその周辺部分との勾配値を算出し、この勾配値を部分画像とする。また検査装置1は、撮影画像の第1方向(x方向、水平方向、左右方向)及び第2方向(y方向、垂直方向、上下方向)について勾配値をそれぞれ算出して部分画像とする。これらにより情報処理システムは、図形要素の特徴をより強調した部分画像を用いて状態検出を行うことが期待できる。
また本実施の形態に係る情報処理システムでは、検査装置1が、図形要素のサイズ(例えば直線の長さ等)に応じた要素数の勾配値を格納した一次元配列を部分画像とし、複数の部分画像について要素毎の勾配値の統計値(例えば平均値又は中央値等)を格納した一次元配列を基準画像とし、部分画像の一次元配列と基準画像の一次元配列との要素毎の差分値を算出する。これにより情報処理システムは、図形要素が写された複数の画素について、基準画像との差分値を画素毎に算出して状態検出を行うことができる。
また本実施の形態に係る情報処理システムでは、検査装置1が、一の部分画像に関して算出した一次元配列の差分値を、第1グラフ(検査結果画面の個別情報領域152のグラフ152a)として表示する。また検査装置1は、複数の部分画像について作成した第1グラフを複数連結した第2グラフ(検査結果画面の全体情報領域153のグラフ)を表示する。また検査装置1は、第1グラフ又は第2グラフに検査対象物の良/不良(異常なし/異常あり)を判定する為の閾値を示す基準線(水平線152b、153b)を表示する。また検査装置1は、撮影画像、第1グラフ及び第2グラフを含む検査結果画面を表示し、差分値及び閾値の比較により不良(異常)と判定された部分画像の位置を撮影画像に示す。これにより情報処理システムは、検査対象物の検査結果に関する情報をユーザに対して提示することができる。
なお本実施の形態においては、検査対象物をエッチング加工品101としたが、これに限るものではなく、情報処理システムは様々な加工品又は製造品等を検査対象物として状態検出を行ってよい。また本実施の形態においては、図形要素として直線及び円弧を例に説明を行ったが、図形要素は直線及び円弧以外の種々のものであってよい。また図10~図12に示した検査結果画面の構成は一例であってこれに限るものではなく、検査装置1はどのような構成の画面で検査結果をユーザに提示してもよい。
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
各実施形態に記載した事項は相互に組み合わせることが可能である。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の2以上のクレームを引用するクレームを記載する形式(マルチクレーム形式)を用いているが、これに限るものではない。マルチクレームを少なくとも1つ引用するマルチクレーム(マルチマルチクレーム)を記載する形式を用いて記載してもよい。
1 検査装置
3 カメラ
11 処理部
11a 撮影画像取得部
11b 部分画像抽出部
11c 基準画像生成部
11d 差分算出部
11e 状態検出部
11f 表示処理部
12 記憶部
12a プログラム
12b 撮影画像記憶部
13 通信部
14 表示部
15 操作部
99 記録媒体
100 エッチング加工機
101 エッチング加工品
101a 十字溝
101b 鍵穴
102 撮影画像
103 CADデータ
111~114 直線
121~124 円弧
131 フィルタ
151 撮影画像領域
151a 矩形枠
152 個別情報領域
152a グラフ
152b 水平線
152c 画像
153 全体情報領域
153a 矩形枠
153b 水平線
161 円形枠

Claims (12)

  1. 情報処理装置が、
    検査対象物を撮影した撮影画像を取得し、
    取得した前記撮影画像から所定の図形要素が写された部分と当該部分の周辺部分との勾配値を格納した、前記図形要素のサイズに応じた要素数の一次元配列を部分画像として複数抽出し、
    抽出した複数の部分画像について要素毎の勾配値の統計値を格納した一次元配列を、前記所定の図形要素の基準画像として生成し、
    前記部分画像の一次元配列と前記基準画像の一次元配列との要素毎の差分値を算出し、
    算出した差分値に基づいて前記検査対象物の状態を検出する、
    情報処理方法。
  2. 抽出した一の部分画像に関して算出した一次元配列の差分値を第1グラフとして出力する、
    請求項に記載の情報処理方法。
  3. 複数の部分画像について、一の部分画像毎に作成した第1グラフを複数連結した第2グラフを出力する、
    請求項に記載の情報処理方法。
  4. 前記差分値との比較により前記検査対象物の良/不良を判定するための閾値を示す基準線を前記第1グラフ又は前記第2グラフに出力する、
    請求項に記載の情報処理方法。
  5. 前記撮影画像、前記第1グラフ及び前記第2グラフを含む画面を出力し、
    前記差分値及び前記閾値の比較により不良と判定された部分画像の位置を前記撮影画像に示す、
    請求項に記載の情報処理方法。
  6. 前記画面に出力された前記撮影画像に含まれる複数の図形要素の1つの選択、又は、前記画面に出力された前記第2グラフに対する位置の選択を受け付け、
    選択を受け付けた図形要素又は位置に対応する部分画像に関する第1グラフを出力する、
    請求項に記載の情報処理方法。
  7. 前記検査対象物の設計図情報を取得し、
    前記設計図情報を基に、前記撮影画像から前記所定の図形要素が写された部分画像を抽出する、
    請求項1に記載の情報処理方法。
  8. 前記設計図情報から所定の図形要素が描かれた部分を抽出し、
    前記部分に対応する部分画像を前記撮影画像から抽出する、
    請求項に記載の情報処理方法。
  9. 前記設計図情報は、当該設計図情報に描かれた図形要素の種類に係る分類情報を含み、
    同じ種類の図形要素について抽出した複数の部分画像を基に、基準画像を種類毎に生成する、
    請求項7に記載の情報処理方法。
  10. 第1方向の勾配と前記第1方向に直交する第2方向の勾配とを前記部分画像として抽出する、
    請求項に記載の情報処理方法。
  11. コンピュータに、
    検査対象物を撮影した撮影画像を取得し、
    取得した前記撮影画像から所定の図形要素が写された部分と当該部分の周辺部分との勾配値を格納した、前記図形要素のサイズに応じた要素数の一次元配列を部分画像として複数抽出し、
    抽出した複数の部分画像について要素毎の勾配値の統計値を格納した一次元配列を、前記所定の図形要素の基準画像として生成し、
    前記部分画像の一次元配列と前記基準画像の一次元配列との要素毎の差分値を算出し、
    算出した差分値に基づいて前記検査対象物の状態を検出する
    処理を実行させる、コンピュータプログラム。
  12. 検査対象物を撮影した撮影画像を取得する取得部と、
    取得した前記撮影画像から所定の図形要素が写された部分と当該部分の周辺部分との勾配値を格納した、前記図形要素のサイズに応じた要素数の一次元配列を部分画像として複数抽出する抽出部と、
    抽出した複数の部分画像について要素毎の勾配値の統計値を格納した一次元配列を、前記所定の図形要素の基準画像として生成する生成部と、
    前記部分画像の一次元配列と前記基準画像の一次元配列との要素毎の差分値を算出する算出部と、
    算出した差分値に基づいて前記検査対象物の状態を検出する検出部と
    を備える、情報処理装置。
JP2022139388A 2022-09-01 2022-09-01 情報処理方法、コンピュータプログラム及び情報処理装置 Active JP7290780B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022139388A JP7290780B1 (ja) 2022-09-01 2022-09-01 情報処理方法、コンピュータプログラム及び情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022139388A JP7290780B1 (ja) 2022-09-01 2022-09-01 情報処理方法、コンピュータプログラム及び情報処理装置

Publications (2)

Publication Number Publication Date
JP7290780B1 true JP7290780B1 (ja) 2023-06-13
JP2024034864A JP2024034864A (ja) 2024-03-13

Family

ID=86721401

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022139388A Active JP7290780B1 (ja) 2022-09-01 2022-09-01 情報処理方法、コンピュータプログラム及び情報処理装置

Country Status (1)

Country Link
JP (1) JP7290780B1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005156475A (ja) 2003-11-28 2005-06-16 Hitachi High-Technologies Corp パターン欠陥検査装置およびパターン欠陥検査方法
WO2011096544A1 (ja) 2010-02-08 2011-08-11 株式会社日立ハイテクノロジーズ 欠陥検査方法及びその装置
JP2011158367A (ja) 2010-02-02 2011-08-18 Hitachi Metals Ltd 被検査物の検査方法、検査用プログラム及び検査装置
JP2017072501A (ja) 2015-10-08 2017-04-13 株式会社日立パワーソリューションズ 欠陥検査方法、及びその装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3660763B2 (ja) * 1996-06-26 2005-06-15 株式会社日立製作所 被検査パターンの検査方法及び製造プロセス診断方法並びに半導体基板の製造方法
JPH1173513A (ja) * 1997-06-25 1999-03-16 Matsushita Electric Works Ltd パターン検査方法及びその装置
JP3120767B2 (ja) * 1998-01-16 2000-12-25 日本電気株式会社 外観検査装置、外観検査方法及び外観検査プログラムを記録した記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005156475A (ja) 2003-11-28 2005-06-16 Hitachi High-Technologies Corp パターン欠陥検査装置およびパターン欠陥検査方法
JP2011158367A (ja) 2010-02-02 2011-08-18 Hitachi Metals Ltd 被検査物の検査方法、検査用プログラム及び検査装置
WO2011096544A1 (ja) 2010-02-08 2011-08-11 株式会社日立ハイテクノロジーズ 欠陥検査方法及びその装置
JP2017072501A (ja) 2015-10-08 2017-04-13 株式会社日立パワーソリューションズ 欠陥検査方法、及びその装置

Also Published As

Publication number Publication date
JP2024034864A (ja) 2024-03-13

Similar Documents

Publication Publication Date Title
US20040155877A1 (en) Image processing apparatus
US7931602B2 (en) Gaze guidance degree calculation system, gaze guidance degree calculation program, storage medium, and gaze guidance degree calculation method
JP6716996B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
CN107111872B (zh) 信息处理装置、信息处理方法、及存储介质
JP2016115331A (ja) 識別器生成装置、識別器生成方法、良否判定装置、良否判定方法、プログラム
KR101992044B1 (ko) 정보 처리 장치, 방법, 및 컴퓨터 프로그램
TWI773063B (zh) 圖像產生系統及圖像產生方法
CN112348958A (zh) 关键帧图像的采集方法、装置、系统和三维重建方法
JP2013224833A (ja) 外観検査装置、外観検査方法及びコンピュータプログラム
TWI784537B (zh) 檢查裝置、檢查方法及檢查程式
JP2018055199A (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
JP3661635B2 (ja) 画像処理方法およびその装置
JP7290780B1 (ja) 情報処理方法、コンピュータプログラム及び情報処理装置
JP7329951B2 (ja) 画像処理装置およびその制御方法
JP6546385B2 (ja) 画像処理装置及びその制御方法、プログラム
JP5259348B2 (ja) 高さ情報取得装置、高さ情報取得方法、及びプログラム
US20230005157A1 (en) Pattern-edge detection method, pattern-edge detection apparatus, and storage medium storing program for causing a computer to perform pattern-edge detection
WO2021260765A1 (ja) 寸法計測装置、半導体製造装置及び半導体装置製造システム
JP2022064506A (ja) 画像処理装置、画像処理方法、及びプログラム
WO2020158261A1 (ja) 画像マッチング判定方法、画像マッチング判定装置、および画像マッチング判定方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
US11640535B2 (en) Probability acquisition apparatus and probability acquisition method
CN111435969A (zh) 图像处理装置及其控制方法、记录介质和信息处理系统
WO2024047782A1 (ja) 点群データ描画システム、サーバ、点群データ描画装置、および点群データ描画方法
TWI779696B (zh) 視角影像的生成系統與生成方法
US20230107740A1 (en) Methods and systems for automated three-dimensional object detection and extraction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221213

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230601

R150 Certificate of patent or registration of utility model

Ref document number: 7290780

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150