JP6236203B2 - Inspection apparatus and inspection method - Google Patents
Inspection apparatus and inspection method Download PDFInfo
- Publication number
- JP6236203B2 JP6236203B2 JP2013000233A JP2013000233A JP6236203B2 JP 6236203 B2 JP6236203 B2 JP 6236203B2 JP 2013000233 A JP2013000233 A JP 2013000233A JP 2013000233 A JP2013000233 A JP 2013000233A JP 6236203 B2 JP6236203 B2 JP 6236203B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- data
- mark
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、検査装置及び検査方法に関する。 The present invention relates to an inspection apparatus and an inspection method.
電子部品が実装された基板等を装置に組み込む際に、その基板に実装された電子部品に不良が無いかの外観検査が必要となる。例えば、基板上の部品に破損や欠落があった場合、コネクタに変形があった場合、あるいはハンダ付けに不良があった場合、その基板を装置に組み込むと装置を破損等させてしまうため、外観上で判断できる不良は目視による外観検査が行われていた。この外観検査を自動化する装置として、従来、以下のようなものがあった。 When a substrate or the like on which an electronic component is mounted is incorporated into the apparatus, an appearance inspection is required to check whether the electronic component mounted on the substrate is defective. For example, if a component on the board is damaged or missing, if a connector is deformed, or if there is a defect in soldering, the board will be damaged if it is incorporated into the equipment. The visual inspection of the defects that can be judged above was performed. Conventionally, there have been the following devices for automating the appearance inspection.
例えば、被検査画像をマスタ画像と比較する検査方法や、ウエハに３点の位置合わせポイントを設ける欠陥検査装置や、照明器の方向を変えて撮影する外観検査装置が知られている（例えば、特許文献１、特許文献２及び特許文献３参照）。
For example, an inspection method for comparing an image to be inspected with a master image, a defect inspection apparatus for providing three alignment points on a wafer, and an appearance inspection apparatus for photographing by changing the direction of an illuminator are known (for example, Patent Document 1,
しかし、上記先行技術においては、外観検査を行うにあたって、検査対象となるウエハや基板を正確に位置決めする必要があった。 However, in the above prior art, it is necessary to accurately position a wafer or substrate to be inspected when performing an appearance inspection.
そこで、一側面では、検査対象の位置決めが正確に行われない場合であっても外観検査を行うことができる検査装置及び検査方法を提供することを目的とする。 Therefore, an object of one aspect is to provide an inspection apparatus and an inspection method capable of performing an appearance inspection even when the inspection object is not accurately positioned.
一つの案では、検査対象を撮像した画像データと、前記検査対象と対応した図面データとの画像の比較を行う第一の比較部と、前記画像の比較において良品と判定された検査対象に対し、前記検査対象の影を含む画像データと、外観上の良品の影を含む画像データである良品データとの比較を行う第二の比較部と、を有し、前記第一の比較部は、第１のマークを含む図面データを記憶する記憶部と、前記図面データに対応した検査対象の画像データであって、第２のマークを含む画像データを取り込む取り込み部と、前記第１のマークと前記第２のマークを基にして前記画像データの補正を行う補正部と、前記記憶部に記憶された前記図面データと、前記補正部によって補正された前記画像データにより画像の比較を行う画像比較部と、を有し、前記記憶部は、検査対象に応じて異なる複数の図面データを記憶して、前記補正部は、前記記憶部に記憶された複数の図面データの中から検査対象に応じた図面データにより前記画像データの補正を行い、前記画像比較部は、前記検査対象に応じた図面データと補正された前記画像データにより画像の比較を行う。
In one proposal, the first comparison unit that compares the image data of the image to be inspected with the drawing data corresponding to the object to be inspected, and the object to be inspected determined to be non-defective in the image comparison , the image data including the shadow of said object, and a second comparing unit for comparing the defective data is image data including the shadow of the non-defective appearance, have a, the first comparing unit, A storage unit for storing drawing data including a first mark; a capturing unit that captures image data including inspection data corresponding to the drawing data; and the first mark; A correction unit that corrects the image data based on the second mark, the image data that is compared with the drawing data stored in the storage unit, and the image data corrected by the correction unit And The storage unit stores a plurality of different drawing data according to the inspection object, and the correction unit is configured to select the image based on the drawing data corresponding to the inspection object from the plurality of drawing data stored in the storage unit. The data is corrected, and the image comparison unit compares the image based on the drawing data corresponding to the inspection object and the corrected image data .
一態様によれば、検査対象の位置決めが正確に行われない場合であっても外観検査を行うことができる検査装置及び検査方法を提供することができる。 According to one aspect, it is possible to provide an inspection apparatus and an inspection method capable of performing an appearance inspection even when the inspection object is not accurately positioned.
以下、図面に基づいて本発明の実施の形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図１は、外観検査装置のシステム構成を説明する機能ブロック図の一例である。図１において、外観検査システム１００は、外観検査装置１に接続された機器類によって構成される。外観検査装置１には、スキャナ２、カメラ３、照明システム４、データサーバ５が接続されている。
FIG. 1 is an example of a functional block diagram illustrating a system configuration of an appearance inspection apparatus. In FIG. 1, the
外観検査装置１は、機能ブロックとして、スキャナ制御部１１、カメラ制御部１２、照明制御部１３、通信制御部１４、図面データ記憶部１５、画像データ記憶部１６、画像データ補正部１７、画像データ比較部１８、及び良品画像データ記憶部１９を備えている。外観検査装置１の各機能ブロックは、ハードウエアで実装してもソフトウエアで実装しても良い。また、インターフェイスボード等によるミドルウエアにより実装しても良い。例えば、図示しないＣＰＵ、メモリ、記憶装置等のハードウエアを利用して実行されるアプリケーションソフトウエアとして実装することができる。本実施例で示す機能ブロックは、その機能を説明するための便宜上の機能の区分けであるため、例えば、２以上の機能ブロックを１つの機能ブロックとして実装したり、１つの機能ブロックをさらに複数の機能ブロックに分割して実装したりすることができる。
The appearance inspection apparatus 1 includes, as functional blocks, a
スキャナ２は、図面を読み込んで図面データとする。スキャナ２によって読み込まれた図面データは、スキャナ制御部１１によって外観検査装置１に取り込まれる。スキャナ制御部１１は、例えば、図示しないスキャナ制御用の拡張ボードを、外観検査装置のバスに取り付けたものであっても良い。また、スキャナ制御部１１は、規格化されたシリアルバスを制御するものであっても良い。
The
スキャナ制御部１１によって取り込まれた図面データは、図面データ記憶部１５に記憶される。記憶される図面データは、スキャナ２によって読み込まれた画像データを、例えば規格化された方式により画像圧縮したものであっても良い。また、スキャナ制御部１１等によって、画像データに対して微分加工、あるいは２値化等の画像補正をした画像データであっても良い。また、ラスタデータである画像データから、スキャナ制御部１１等によってベクタデータを抽出したものであっても良い。図面データ記憶部１５は、図示しない内部メモリやハードディスクなどの記憶手段を利用することができる。
The drawing data captured by the
カメラ３は、検査対象の基板等の画像を撮影して画像データとする。カメラ３によって撮影された画像データは、カメラ制御部１２によって外観検査装置１に取り込まれる。カメラ制御部１２は、例えば、図示しないカメラ制御用の拡張ボードを、外観検査装置のバスに取り付けたものであっても良い。また、カメラ制御部１２は、規格化されたシリアルバスを制御するものとして、スキャナ制御部１１と共用するものであっても良い。
The
カメラ制御部１２によって取り込まれた画像データは、画像データ記憶部１６に記憶される。記憶される画像データは、カメラ３によって読み込まれた画像データを、例えば規格化された方式により画像圧縮したものであっても良い。また、カメラ制御部１２等によって、画像データに対して微分加工、あるいは２値化等の画像補正をした画像データであっても良い。また、ラスタデータである画像データから、カメラ制御部１２等によってベクタデータを抽出したものであっても良い。画像データ記憶部１６は、図示しない内部メモリやハードディスクなどの記憶手段を利用することができる。
The image data captured by the
照明制御部１３は、検査対象をカメラ３で撮影するために、照明システム４の照明の点灯を制御する。例えば、照明システム４が検査対象に対して異なる角度から照明を当てるように設置位置を異にする複数の照明を備えている場合、各照明の点灯／消灯のタイミングを制御して、検査対象に異なる角度から照明が当てられる様に制御する。また、検査対象に合わせて照度や光の照射範囲を調整しても良い。照明システム４は、光源として、キセノンランプ、ハロゲンランプ、またはＬＥＤランプなどが利用される。照明制御部１３は、移動している検査対象物に対して例えばキセノンランプを短時間発光させることにより、カメラ３にて静止した検査対象の画像データを撮影することができる。
The
通信制御部１４は、外観検査装置１の外部装置との通信を制御する。本実施例においては、外観検査装置１が、外部装置としてデータサーバ５に有線又は無線のネットワークにより接続されている。データベースサーバ５は、図面ＤＢ５１と画像ＤＢ５２を備えている。図面ＤＢ５１には、スキャナ２で読み込んだ図面データを、図面データ記憶部１５に記憶させるのに加えて、又は図面データ記憶部１５に記憶するのに代えて、記憶させることができる。同様に、画像ＤＢ５２には、カメラ３で撮影した画像データを、画像データ記憶部１６に記憶させるのに加えて、又は画像データ記憶部１６に記憶させるのに代えて、記憶させることができる。つまり、本実施例においては、図面データ記憶部１５及び画像データ記憶部１６を内部ストレージとして利用するのと同様に、図面ＤＢ５１及び画像ＤＢ５２を外部ストレージとして利用することを可能としている。
The
ここで、図１で図示するデータベースサーバ５には、１台の外観検査装置１が接続されている様子を示しているが、例えばデータベースサーバ５に複数の外観検査装置が接続されるシステムにおいては、図面ＤＢ５１に記憶された図面データ、及び画像ＤＢ５２に記憶された画像データを、複数の外観検査装置で共有することができる。このシステム構成により、スキャナ２で読み込んだ図面データを他の外観検査装置で流用することができる。また、カメラ３で撮影された画像データを他の外観検査装置で流用することができる。
Here, the
画像データ補正部１７は、カメラ３で撮影された画像データを、図面データを基に補正する。補正の方法の詳細は後述する。
The image data correction unit 17 corrects the image data captured by the
画像データ比較部１８は、画像データ補正部で補正された画像データを図面データと比較して、部品の欠陥やハンダの不良を判定する。判定の方法の詳細は後述する。 The image data comparison unit 18 compares the image data corrected by the image data correction unit with the drawing data, and determines a component defect or a solder defect. Details of the determination method will be described later.
良品画像データ記憶部１９は、既に目視検査で良品であると判断された検査対象をカメラ３で撮影した画像データを記憶する。良品画像データの使用方法については後述する。
The non-defective product image
次に、外観検査装置１の動作について、図２、図３及び図４を用いて説明する。図２は、外観検査装置の第１のフェーズの動作を説明するフローチャートの一例である。図４は、ずれ補正の動作を説明するフローチャートの一例である。また、図２及び図４のフローチャートの各ステップの詳細は、適宜別図面にて説明する。また、図２のＡの部分から続くフローチャートは、第２のフェーズにおける動作として図３において後述する。 Next, the operation of the appearance inspection apparatus 1 will be described with reference to FIGS. FIG. 2 is an example of a flowchart for explaining the operation of the first phase of the appearance inspection apparatus. FIG. 4 is an example of a flowchart for explaining the shift correction operation. Details of each step in the flowcharts of FIGS. 2 and 4 will be described with reference to other drawings as appropriate. Further, the flowchart continuing from the portion A in FIG. 2 will be described later with reference to FIG. 3 as the operation in the second phase.
図２において、先ず、図面データを取り込む（Ｓ１１）。Ｓ１１における図面の取り込みは、図５を用いて説明する。 In FIG. 2, first, drawing data is fetched (S11). Drawing capture in S11 will be described with reference to FIG.
図５において、図面データの取り込みは２つの方法により行われる。第１の方法は、検査対象の図面が印字された紙をスキャナ２に読み込ませ、それを直接外観検査装置１に取り込む方法である。第２の方法は、検査対象の図面が予め図面データとして記憶されたものを読み出して取り込む方法である。
In FIG. 5, drawing data is fetched by two methods. The first method is a method in which a paper on which a drawing to be inspected is printed is read by the
先ず、第１の方法を図５にて説明する。図５において、検査対象のマスタ図面であるＭ１は用紙に印字されている。この実施例では、マスタ図面Ｍ１は部品が搭載された電子基板の図面である。マスタ図面Ｍ１の図示網掛け部分は、ＣＰＵ、メモリ、コンデンサ、抵抗、コネクタ等の電子部品が取り付けられた図面が印字された部分であり、図５では記載を省略して網掛けで表している。マスタ図面Ｍ１には、位置決めの基準となるマークである、マスターマークｍｍ１、ｍｍ２及びｍｍ３が印字されている。また、用紙の下部には、図番と、図番に相当する２次元バーコードが印字されている。この用紙を、スキャナ２に読み込ませる。スキャナ２は、送信先の選択をタッチパネルにより行い、印字された図面をスキャンして読み取り、外観検査装置１に送信する。外観検査装置１は、送信された図面データとして取り込む。第１の方法においては、図面データの取り込みは、スキャナ制御部１１が行う。
First, the first method will be described with reference to FIG. In FIG. 5, M1 which is a master drawing to be inspected is printed on paper. In this embodiment, the master drawing M1 is a drawing of an electronic board on which components are mounted. The shaded portion in the master drawing M1 is a portion on which a drawing in which electronic components such as a CPU, memory, capacitor, resistor, and connector are attached is printed. In FIG. . In the master drawing M1, master marks mm1, mm2, and mm3, which are marks serving as positioning references, are printed. Further, a figure number and a two-dimensional barcode corresponding to the figure number are printed at the bottom of the sheet. This paper is read by the
次に第２の方法を同じく図５にて説明する。図５において、図面データは、データベースサーバ５の図面ＤＢ５１に既に存在しているものとする。図面データの図面ＤＢ５１への入力は、例えば、第１の方法で説明したスキャナ２による図面の読み込みにて、図面データの送信先をデータベースサーバ５にして、ネットワークを通じて入力する方法や、画像検査装置１から入力する方法がある。第２の方法において、図面データの取り込みは、通信制御部１４がネットワークを通じて、図面ＤＢ５１に記憶されている図面データから行う。
Next, the second method will be described with reference to FIG. In FIG. 5, it is assumed that the drawing data already exists in the
本実施例における画像検査装置は、図面データの取り込みを、上記２つの方法を選択して、いずれかの方法によって行うことができる。 The image inspection apparatus according to the present embodiment can fetch drawing data by selecting one of the two methods described above.
なお、印字されたマスタ図面Ｍ１は必ずしも検査対象と同縮尺の図面でなくても良い。例えば、図面はＡ４の用紙に印字可能なように縮小されたものであっても良い。また、マスタ図面Ｍ１の図面は、写真のような図面であっても線画による図面であっても良い。 The printed master drawing M1 does not necessarily have to be the same scale as the inspection object. For example, the drawing may be reduced so as to be printed on A4 paper. The drawing of the master drawing M1 may be a drawing such as a photograph or a drawing by a line drawing.
図２のフローチャートに戻る。Ｓ１１で取り込まれた図面データを、図面データ記憶部１５に記憶する（Ｓ１２）。ここで、図面データが上記第１の方法で取り込まれた場合は、図面データを図面データ記憶部１５に記憶するとともに、データベースサーバ５の図面ＤＢ５１に送信して記憶させても良い。
Returning to the flowchart of FIG. The drawing data fetched in S11 is stored in the drawing data storage unit 15 (S12). Here, when drawing data is taken in by the first method, the drawing data may be stored in the drawing
図面データは、検査対象に応じて、複数の図面データが存在し得る。例えば、電子基板の品種によって電子基板の形状や搭載されている電子部品が異なり、異なった品種の検査対象の外観検査を行う場合には、それぞれの検査対象に応じた図面データを用意する必要がある。上記Ｓ１１とＳ１２の工程で記憶される電子データは、検査対象に応じて異なる複数の図面データを予め図面データ記憶部１５又は図面ＤＢ５１に記憶させておくことができる。図面データには、検査対象に応じたマスターマークを使用することができる。例えば、マスターマークの形状、配置、個数等を検査対象に応じて変えて使用することができる。図５で説明した、図面に記載された図番や２次元バーコードをマスターマークの一部として使用することもできる。なお、複数の図面データを検査対象に応じて記憶して、複数種類の検査対象を混在させて外観検査を行う場合においては、次に説明する画像データの取り込みにてテストマークを判別して、比較対象となる図面データを選択することができる。
The drawing data may include a plurality of drawing data depending on the inspection object. For example, when the shape of the electronic board and the mounted electronic components differ depending on the type of electronic board, and when visual inspection of different types of inspection objects is performed, it is necessary to prepare drawing data corresponding to each inspection object is there. The electronic data stored in the steps S11 and S12 can be stored in advance in the drawing
次に、画像データを取り込む（Ｓ１３）。画像データの取り込みを、図６を用いて説明する。図６は、画像データの取り込みを説明する図の一例である。 Next, image data is captured (S13). Image data capture will be described with reference to FIG. FIG. 6 is an example of a diagram for explaining capturing of image data.
図６において、検査対象となる電子基板は、図面データに対応して制作されたものであり、電子基板上に搭載されている電子部品は、その図面データに基づき配置されている。検査対象の電子基板が複数種類となる場合、それぞれの電子基板に対応した図面データは、それぞれＳ１２の工程にて図面データ記憶部１５に記憶されている。
In FIG. 6, an electronic board to be inspected is produced corresponding to the drawing data, and the electronic components mounted on the electronic board are arranged based on the drawing data. When there are a plurality of types of electronic substrates to be inspected, the drawing data corresponding to each electronic substrate is stored in the drawing
検査対象の電子基板は、Ｙ１方向に流れるベルトコンベア上に設けられた検査台に載置されて検査位置まで搬送される。検査位置の上方であるＺ１方向には、カメラ３が設置されており、検査位置の電子基板を撮影する。図１で説明した照明システム４には、本実施例では照明１、照明２及び照明３の３つの照明が備えられており、それぞれ検査対象である電子基板を異なった角度で照射できる。Ｓ１３における画像データ取り込みにおいては、カメラ３の近傍に設置された照明１により照明が照射がされて撮影が行われる。照明制御部１３は、検査対象がベルトコンベア上の検査位置に来たときに、照明１を短時間ＯＮにする。カメラ３は、検査位置にて照明１によって照らされた検査対象を撮影する。撮影された検査対象はカメラ制御部１２を通じて外観検査装置１に取り込まれる。
The electronic substrate to be inspected is placed on an inspection table provided on a belt conveyor that flows in the Y1 direction, and is conveyed to an inspection position. A
次に、Ｓ１３にて取り込まれた画像データについて、画像のずれ補正を行う（Ｓ１４）。画像のずれ補正は、複数の検査対象が混在する場合においては、先ず取り込まれた画像データの中から、テストマークの抽出を行う。テストマークは、検査対象の電子基板に対応した図面データのマスターマークに対応している。テストマークを検査対象毎に例えば、位置や形状を変えることにより、テストマークの位置や形状から一致するマスターマーク一意に選択し、そのマスターマークを含む図面データを選択することができる。テストマークは取り込まれた図面データと同様の画像のずれを含んでいるが、ここでの画像のずれは一意のマスターマークを選択できる程度の許容範囲であるものとする。画像のずれ補正は、テストマークとマスターマークの一致により選択された図面データを基にして行う。画像のずれ補正の詳細は図７〜１０図を用いて後述する。 Next, image shift correction is performed on the image data captured in S13 (S14). In the image misalignment correction, when a plurality of inspection objects are mixed, first, test marks are extracted from the captured image data. The test mark corresponds to a master mark of drawing data corresponding to the electronic substrate to be inspected. For example, by changing the position and shape of the test mark for each inspection object, the matching master mark can be uniquely selected from the position and shape of the test mark, and drawing data including the master mark can be selected. The test mark includes an image shift similar to that of the fetched drawing data. However, the image shift here is assumed to be within an allowable range such that a unique master mark can be selected. Image misalignment correction is performed based on the drawing data selected by matching the test mark and the master mark. Details of the image shift correction will be described later with reference to FIGS.
次に、ずれ補正を行った画像データと図面データとの画像の比較を行う（Ｓ１５）。画像の比較は、図面データに配置された電子部品の外観上の形状と、画像データとのパターンマッチングによる比較によって行われる。例えば、画像データを微分処理して、撮影された検査対象に搭載された電子部品やコネクタの輪郭を抽出して図面データと比較しても良い。輪郭同士の比較によって、例えば部品の一部が欠損している場合や、形状の違いを判定できる。また、画像データをグレイスケールとして図面データのグレイスケール濃度と比較しても良い。これにより、例えば電子基板上に配置されるべき部品の欠品等が判定できる。画像比較によってＮＧであった場合（Ｓ１５でＮ）は、不良判定を行い、検査対象を排除するほか、図示しない表示器等で判定が不良であった旨を表示しても良い。Ｓ１５の画像比較までの外観検査を本実施例では「第１のフェーズ」というものとする。 Next, an image comparison between the image data subjected to the shift correction and the drawing data is performed (S15). The comparison of the images is performed by comparison by pattern matching between the appearance shape of the electronic component arranged in the drawing data and the image data. For example, the image data may be differentiated to extract the contours of the electronic components and connectors mounted on the photographed inspection object and compared with the drawing data. By comparing the contours, for example, when a part of a part is missing or a difference in shape can be determined. Further, the image data may be gray scale and compared with the gray scale density of the drawing data. Thereby, for example, a missing part of a component to be arranged on the electronic substrate can be determined. If the image comparison results in NG (N in S15), the failure determination is performed to exclude the inspection object, and a display indicating that the determination is defective may be displayed on a display unit (not shown). In this embodiment, the appearance inspection up to the image comparison in S15 is referred to as a “first phase”.
画像比較でＯＫであった場合（Ｓ１５でＹ）、画像検査装置１は、図３で示されるＡに続く工程にて外観検査を行う。本実施例では、図３で示される外観検査を「第２のフェーズ」というものとする。 If the image comparison is OK (Y in S15), the image inspection apparatus 1 performs an appearance inspection in a process following A shown in FIG. In this embodiment, the appearance inspection shown in FIG. 3 is referred to as a “second phase”.
先ずは、第１のフェーズにおける外観検査における、Ｓ１４の「ずれ補正」の詳細について、図７乃至図１０を用いて説明する。この実施例においては、画像のずれとして、「画像の倒れ」、「画像の倍率差」、及び「画像の位置ずれ」を例示している。 First, details of the “deviation correction” in S14 in the appearance inspection in the first phase will be described with reference to FIGS. In this embodiment, examples of image displacement include “image collapse”, “image magnification difference”, and “image position displacement”.
先ず、「画像の倒れ」とは、「画像の歪み」の一つであり、図７及び図８で示す通り、検査対象を撮影した画像データが、コンベア上で検査対象がＺ方向で高さが不均一になり、水平面から傾くことにより、撮影された画像が倒れたように斜めに歪むことをいう。カメラが検査対象から鉛直方向の無限遠に存在する場合、撮影された画像は正射投影された画像となり、図面データ上で平行な２線は平行に撮影される。しかし、検査対象がカメラに対して斜めになった場合は検査対象の画像は倒れを伴って撮影され、図面データ上の平行な２線は検査対象の傾きに伴って、平行から所定の倒れ角度で斜めになって撮影される。画像の倒れは撮影された画像データを、座標変換により画像を本来の正射投影された画像に補整することにより倒れが補正される。 First, “image collapse” is one of “image distortion”. As shown in FIGS. 7 and 8, the image data obtained by photographing the inspection object is the height in the Z direction on the conveyor. Is non-uniform, and tilted from the horizontal plane causes the photographed image to be distorted diagonally as if it was tilted. When the camera is present at infinity from the inspection object in the vertical direction, the photographed image is an orthographic projection image, and two parallel lines on the drawing data are photographed in parallel. However, when the inspection target is inclined with respect to the camera, the image of the inspection target is taken with tilting, and the two parallel lines on the drawing data are parallel to the predetermined tilting angle with the tilt of the testing target. The photo is taken at an angle. The tilt of the image is corrected by correcting the captured image data to the original orthographic projected image by coordinate transformation.
画像の位置ずれとは、図９に示す通り、検査対象を撮影した画像データがベルトコンベア上のＸ−Ｙ平面内で、移動、回転、又は移動と回転をしている場合である。 As shown in FIG. 9, the image misregistration is a case where image data obtained by photographing an inspection object moves, rotates, or moves and rotates in the XY plane on the belt conveyor.
なお、以下で説明する画像のずれ補正は、本実施例においては、判定を画像データ比較部１８で行い、補正を画像データ補正部１７で行う。しかし、処理の主体は必ずしも本実施例に限定されるものではなく、例えば画像を編集するアプリケーションによって画像データの比較と補正を行っても良い。 In the present embodiment, correction of image shift described below is performed by the image data comparison unit 18 and correction is performed by the image data correction unit 17. However, the subject of processing is not necessarily limited to this embodiment, and image data may be compared and corrected by an application for editing images, for example.
画像の倍率差とは、図１０に示す通り、検査対象を撮影した画像データが、カメラの倍率又はカメラとの距離によって、大きく又は小さくなり、マスタ図面との大きさ（倍率）が違ってしまう場合である。画像の倍率差は、例えばカメラ３のレンズの倍率、カメラ３と検査対象との距離、さらには、マスタ図面の縮尺倍率の誤差によって生じる。
As shown in FIG. 10, the difference in magnification of an image means that image data obtained by photographing an inspection object becomes larger or smaller depending on the magnification of the camera or the distance from the camera, and the size (magnification) differs from that of the master drawing. Is the case. The magnification difference of the image is caused by, for example, the magnification of the lens of the
図４において、画像のずれ補正は、先ず画像データに倒れが有るか否かが判定される（Ｓ１４１）。画像データに倒れがある場合は（Ｓ１４１でＹ）、倒れ補正を行う（Ｓ１４２）。また、画像データに倒れが無ければ次のステップに移動する。 In FIG. 4, in the image shift correction, it is first determined whether or not the image data is tilted (S141). If the image data is tilted (Y in S141), tilt correction is performed (S142). If the image data is not collapsed, the process moves to the next step.
ここで、図７及び図８を用いて画像の倒れを説明する。図７は、画像の倒れを説明する検査位置での正面図の一例である。図８は、画像の倒れを説明する図面データと画像データの対比の一例である。 Here, the collapse of the image will be described with reference to FIGS. FIG. 7 is an example of a front view at an inspection position for explaining the fall of the image. FIG. 8 is an example of a comparison between drawing data and image data for explaining the fall of the image.
図７において、ベルトコンベア上の検査台に載置された検査対象の電子基板はイの状態でカメラ３により撮影されて、画像データが外観検査装置１に取り込まれる。電子基板上には、複数の長方形のテストマークｔｍＡ、ｔｍＢ及びｔｍＣが印刷等されている。図７では、テストマークの位置が理解しやすいように、電子基板上から盛り上がった状態で表現しているが、実際は電子基板面に印刷されて同一面である。また、テストマークはシール等により電子基板上に貼付されていても良い。
In FIG. 7, the electronic substrate to be inspected placed on the inspection table on the belt conveyor is photographed by the
電子基板はコンベア上の治具等により水平に保たれて載置される。しかし、例えば様々な形状の電子基板が同じベルトコンベアで混合されて外観検査を行う場合等、検査台の治具の形状を電子基板に合わせて多数用意することはコストがかかる。このため、検査台を平面にして電子基板をそのまま載置できれば、専用の治具が不要となる。 The electronic board is placed horizontally by a jig or the like on the conveyor. However, for example, when visual inspection is performed by mixing various shapes of electronic substrates on the same belt conveyor, it is costly to prepare a large number of inspection table jigs according to the electronic substrate. For this reason, if an electronic board can be mounted as it is with the inspection table being flat, a dedicated jig becomes unnecessary.
図７のロの状態は、電子基板の裏面の部品形状等により、検査対象の電子基板が水平からθの角度傾いた場合を示している。なお、ここでは倒れを理解しやすいようにθを大きくして表現しているが、実際の検査では部品の欠落等で生じる僅かな傾きでも倒れ判定にて補正をすることができる。 The state of B in FIG. 7 shows a case where the electronic substrate to be inspected is inclined at an angle θ from the horizontal due to the component shape on the back surface of the electronic substrate. Note that, here, θ is expressed to be large so that the tilt can be easily understood. However, in the actual inspection, even a slight inclination caused by a missing part or the like can be corrected by the tilt determination.
電子基板がロの状態になって傾くと、電子基板上に印刷された長方形のテストマークは、長方形のＺ１方向における下辺と上辺でカメラまでの距離差が生じる。なお、図７では、カメラ３から電子基板までの距離は十分遠く、レンズの画角は無視できるものとして、図ではカメラのレンズ面を平面で表現している。
When the electronic board is tilted in the state of B, the rectangular test mark printed on the electronic board has a difference in distance to the camera between the lower side and the upper side of the rectangular Z1 direction. In FIG. 7, it is assumed that the distance from the
図８（ｂ）において、撮影された画像データＴ０は、図８（ａ）の図面データの中でマスタ図面Ｍ０が長方形なのに対して画像の倒れにより台形状の画像となる。また、複数のテストマークｔｍＡ〜ｔｍＣの形状も画像の倒れにより台形となる。また、テストマークｔｍＡ〜ｔｍＣの中で、カメラに一番近い位置にあるテストマークｔｍＣの大きさ（倍率）が、やはり画像の倒れにより、他のテストマークｔｍＡ及びｔｍＢに比べて大きくなる。 In FIG. 8B, the captured image data T0 becomes a trapezoidal image due to the tilting of the image while the master drawing M0 is rectangular in the drawing data of FIG. 8A. Further, the shapes of the plurality of test marks tmA to tmC also become trapezoids due to the tilt of the image. In addition, among the test marks tmA to tmC, the size (magnification) of the test mark tmC closest to the camera becomes larger than the other test marks tmA and tmB due to the tilt of the image.
ここで、画像の歪みの一つである、画像の倒れの補正（Ｓ１４２）の方法について説明する。図８（ａ）において、複数のマスターマークｍｍＡ〜ｍｍＣの長方形の長辺の長さをｌとする。一方、図８（ｂ）において、テストマークｔｍＡは、ｌａ１とｌａ２の上辺と下辺を持つ台形となる。同様にテストマークｔｍＢは、ｌｂ１とｌｂ２の上辺と下辺を持つ台形となり、テストマークｔｍＣは、ｌｃ１とｌｃ２の上辺と下辺を持つ台形となる。ここで、例えば、カメラに一番近いテストマークであるテストマークｔｍＣにおけるｌｃ１とｌｃ２の比を測定すれば、画像の倒れの大きさを測定することができる。また、複数のテストマークｔｍＡ〜ｔｍＣのｌａ２、ｌｂ２及びｌｃ２の長さの比を取れば、テストマーク同士の比較によって画像の倒れの大きさを測定することができる。さらに、上記台形の上辺と下辺が平行で無い場合には、長方形の短辺の形状を合わせて計測することにより電子基板がどの方向に傾いた場合であっても倒れ補正が可能となる。画像の倒れが計算できれば、撮影した画像データＴ０全体に倒れ補正を行い、画像データＴ０を長方形の画像に補正することができる。倒れ補正によってｌａ１、ｌａ２、ｌｂ１、ｌｂ２、ｌｃ１及びｌｃ２は同じ長さに補正される。倒れ補正を行うことにより、マスタ図面Ｍ０と画像データＴ０とは相似形となる。複数のテストマークを組み合わせて比較対象とすることにより、マスターマークとの比較をそれぞれのテストマークによって行うことにより、例えば１のテストマークによる補正値に異常があった場合でも、他のテストマークの補正値との比較によってその異常を発見できることができる。また、テストマーク間の形状の比較により。傾きの把握を正確に行うことができる。 Here, a method of correcting image tilt (S142), which is one of image distortions, will be described. In FIG. 8A, the length of the long side of the rectangle of the plurality of master marks mmA to mmC is assumed to be l. On the other hand, in FIG. 8B, the test mark tmA is a trapezoid having upper and lower sides of la1 and la2. Similarly, the test mark tmB is a trapezoid having upper and lower sides of lb1 and lb2, and the test mark tmC is a trapezoid having upper and lower sides of lc1 and lc2. Here, for example, if the ratio of lc1 and lc2 at the test mark tmC, which is the test mark closest to the camera, is measured, the magnitude of the tilt of the image can be measured. Further, if the ratio of the lengths of la2, lb2, and lc2 of the plurality of test marks tmA to tmC is taken, the magnitude of the image tilt can be measured by comparing the test marks. Furthermore, when the upper side and the lower side of the trapezoid are not parallel, the tilt correction can be performed regardless of the direction in which the electronic board is tilted by measuring the shape of the rectangular short side together. If the image tilt can be calculated, the entire captured image data T0 can be corrected to correct the image data T0 into a rectangular image. By the tilt correction, la1, la2, lb1, lb2, lc1, and lc2 are corrected to the same length. By performing the tilt correction, the master drawing M0 and the image data T0 have a similar shape. By combining a plurality of test marks for comparison, and by comparing each master mark with the master mark, for example, even if there is an abnormality in the correction value of one test mark, The abnormality can be found by comparison with the correction value. Also, by comparing the shape between test marks. The inclination can be accurately grasped.
上記倒れ補正により、電子基板が水平で無い場合であっても電子基板の傾きを修正することができる。これにより、検査台に検査対象に応じた特別な治具が不要になり、電子基板の裏面の形状に拘わらず外観検査を行うことができるため装置のコストが削減できる。また、作業者が電子基板を検査台に手で載置する場合も、正確な位置決めが不要となり作業効率が向上する。 The tilt correction can correct the tilt of the electronic board even when the electronic board is not horizontal. As a result, a special jig corresponding to the inspection object is not required on the inspection table, and the appearance inspection can be performed regardless of the shape of the back surface of the electronic substrate, thereby reducing the cost of the apparatus. In addition, when the operator manually places the electronic board on the inspection table, accurate positioning is not required, and work efficiency is improved.
次に、倒れ補正によって同じ長さに補正されたｌａ１〜ｌｃ２の長さをｌｔとすると、マスターマークｍｍＡ〜ｍｍＣの長方形の長辺ｌとｌｔに長さに差異があるか否かを判定する（Ｓ１４３）。ここで、画像データＴ０は既に倒れが補正されているため、長辺ｌとｌｔに長さに差異は、マスタ図面Ｍ０と画像データＴ０の大きさ（倍率）の違いである。この大きさの違いは、例えばカメラ３から検査対象の電子基板までの距離が近くなったり遠くなったりすることにより、取り込まれた画像データＴ０の大きさにばらつきが生じることにより発生する。また、カメラのレンズの倍率によって取り込まれた画像データＴ０の大きさとマスタ図面Ｍ０の大きさに差異がある場合に発生する。さらに、マスタ図面の縮尺が実際の検査対象と異なっている場合に発生する。
Next, when it is assumed that the length of la1 to lc2 corrected to the same length by the tilt correction is lt, it is determined whether or not there is a difference in length between the long sides l and lt of the master marks mmA to mmC. (S143). Here, since the image data T0 has already been corrected for tilting, the difference in length between the long sides l and lt is the difference in size (magnification) between the master drawing M0 and the image data T0. This difference in size occurs due to variations in the size of the captured image data T0, for example, as the distance from the
大きさに差異がある場合（Ｓ１４３でＹ）、大きさが修正されて（Ｓ１４４）、大きさに差異がない場合（Ｓ１４３でＮ）、次のステップに進む。 If there is a difference in size (Y in S143), the size is corrected (S144), and if there is no difference in size (N in S143), the process proceeds to the next step.
大きさの修正は、例えば、ｌとｌｔとの比率によって計算されて、この比率で画像データＴ０全体の縮尺を変更することにより行われる。この大きさ補正により、相似であったマスタ図面Ｍ０と画像データＴ０は合同となる。 The size is corrected by, for example, calculating the ratio of l and lt and changing the scale of the entire image data T0 by this ratio. By this size correction, the similar master drawing M0 and image data T0 become congruent.
大きさ修正によって、カメラ３のレンズの倍率やカメラ３の高さの微調整が不要となり、装置のメンテナンスが容易になる。また、マスタ図面作成時の図面印字倍率について事前に調整する必要がなくなり、簡単に外観検査で使用するマスタ図面の印字やデータ取り込みができることとなる。
The size correction eliminates the need for fine adjustment of the magnification of the lens of the
次に、大きさ補正によって合同となったマスタ図面Ｍ０と画像データＴ０のマークの中心位置の比較により位置ずれの有無を判定する（Ｓ１４５）。中心座標の計算は長方形の長さを求める過程で、テストマークｔｍＡ〜ｔｍＣについてそれぞれを計算する。中心座標はＸ−Ｙ平面上のｘｙ座標によって計算される。計算された中心座標にずれがある場合、位置ずれがあると判定されて（Ｓ１４５でＹ）、位置修正を行う（Ｓ１４６）。また、位置ずれが無いと判定された場合は（Ｓ１４５でＮ）、ずれ補正のサブルーチンを終了し、もとのフローチャートに戻る。 Next, the presence / absence of misalignment is determined by comparing the center positions of the marks in the master drawing M0 and the image data T0, which are congruent by size correction (S145). The calculation of the center coordinates is a process of obtaining the length of the rectangle, and each of the test marks tmA to tmC is calculated. The center coordinates are calculated by xy coordinates on the XY plane. If there is a deviation in the calculated center coordinates, it is determined that there is a deviation (Y in S145), and the position is corrected (S146). If it is determined that there is no misalignment (N in S145), the misalignment correction subroutine is terminated and the process returns to the original flowchart.
位置ずれがある場合とは、倒れ補正及び大きさ補正によって合同となったマスタ図面Ｍ０と画像データＴ０が、Ｘ−Ｙ平面上で平行移動あるいは回転移動をしている場合である。従って、例えばマスターマークｍｍＡの中心位置とテストマークｔｍＡの中心位置を合わせて、マスターマークｍｍＢの中心位置とテストマークｔｍＢの中心位置、又はマスターマークｍｍＣの中心位置とテストマークｔｍＣの中心位置を回転によって合わせる事により、マスタ図面Ｍ０と画像データＴ０はＸ−Ｙ平面で同じ座標になる。従って、マスタ図面Ｍ０に描かれた電子部品やコネクタの位置と、撮影された画像データＴ０における電子部品やコネクタの位置が同じになり、両者の画像の比較によって部品欠落などの不良を容易に検査できるようになる。 The case where there is a position shift is a case where the master drawing M0 and the image data T0, which are congruent by the tilt correction and the size correction, are translated or rotated on the XY plane. Therefore, for example, the center position of the master mark mmA and the center position of the test mark tmA are aligned, and the center position of the master mark mmB and the center position of the test mark tmB, or the center position of the master mark mmC and the center position of the test mark tmC are rotated. Therefore, the master drawing M0 and the image data T0 have the same coordinates on the XY plane. Therefore, the position of the electronic component or connector drawn in the master drawing M0 is the same as the position of the electronic component or connector in the photographed image data T0, and a defect such as a missing component can be easily inspected by comparing the images of both. become able to.
次にマスターマークの形状が異なる場合、及び画像データのずれが異なる場合における動作について例示する。 Next, an operation when the shape of the master mark is different and when the shift of the image data is different will be exemplified.
図９は、検査対象に印刷されるマークが円形であり、画像データが位置ずれしている場合を説明している。図９は、画像の位置ずれを説明する図面データと画像データの対比の一例である。 FIG. 9 illustrates a case where the mark printed on the inspection target is circular and the image data is misaligned. FIG. 9 is an example of a comparison between drawing data and image data for explaining image positional deviation.
図９（ａ）において、図面データの中のマスタ図面Ｍ１は、長方形の電子基板の図面であり、３つマスターマークｍｍ１〜ｍｍ３を備えている。マスターマークｍｍ１〜ｍｍ３のそれぞれの中心座標は、（ｘ１,ｙ１）、（ｘ２,ｙ２）及び（ｘ３,ｙ３）である。 In FIG. 9A, a master drawing M1 in the drawing data is a drawing of a rectangular electronic board, and includes three master marks mm1 to mm3. The center coordinates of the master marks mm1 to mm3 are (x1, y1), (x2, y2), and (x3, y3).
一方、図９（ｂ）において、カメラ３によって撮影されて外観検査装置１に取り込まれた画像データＴ１は、Ｘ−Ｙ平面で位置ずれをして、角度θにて回転している。取り込まれた画像データＴ１が図９（ｂ）の場合、図４で説明したずれ補正において、倒れ補正は無し（Ｓ１４１でＮ）であり、また、大きさの差異も無し（Ｓ１４３でＮ）であり、位置ずれのみ有り（Ｓ１４５でＹ）となる。
On the other hand, in FIG. 9B, the image data T1 taken by the
図９（ｂ）において、図面データＴ１には、テストマークｔｍ１〜ｔｍ３を有している。マスターマークｍｍ１〜ｍｍ３の中心座標とテストマークｔｍ１〜ｔｍ３の中心座標である、（ｘｔ１,ｙｔ１）、（ｘｔ２,ｙｔ２）及び（ｘｔ３,ｙｔ３）に対して、両者の座標を図面データＴ１の回転と移動により行うことにより、マスタ図面Ｍ１との位置合わせができる。例えば、（ｘ１,ｙ１）と（ｘｔ１,ｙｔ１）を合わせておき、図面データＴ１の回転によって（ｘ３,ｙ３）と（ｘｔ３,ｙｔ３）を合わせる。 In FIG. 9B, the drawing data T1 has test marks tm1 to tm3. With respect to (xt1, yt1), (xt2, yt2), and (xt3, yt3), which are the central coordinates of the master marks mm1 to mm3 and the central coordinates of the test marks tm1 to tm3, both coordinates are rotated by the drawing data T1. By performing the movement, the positioning with the master drawing M1 can be performed. For example, (x1, y1) and (xt1, yt1) are matched, and (x3, y3) and (xt3, yt3) are matched by rotation of the drawing data T1.
次に、図９（ａ）で説明したマスタ図面Ｍ１が、カメラ３による撮影によって大きさが変わってしまった場合のずれ補正を図１０によって説明する。図１０は、画像の大きさの差異を説明するマスタ図面と画像データの対比の一例である。図１０（ａ）は、図９（ａ）と同じであるので説明は省略する。
Next, deviation correction when the size of the master drawing M1 described with reference to FIG. 9A has changed due to shooting by the
図１０（ｂ）において、カメラ３によって撮影されて外観検査装置１に取り込まれた画像データＴ２は、カメラ３の倍率とマスタ図面Ｍ１の大きさの差異により、Ｔ２の図面全体において倍率が異なっている。取り込まれた画像データＴ２が図１０（ｂ）の場合、図４で説明したずれ補正において、倒れ補正は無し（Ｓ１４１でＮ）であり、大きさの差異は有り（Ｓ１４３でＹ）となる。
In FIG. 10B, the image data T2 photographed by the
図１０（ｂ）において、画像データＴ２は、テストマークｔｍ４、ｔｍ５及びｔｍ６を有している。テストマークｔｍ４〜ｔｍ６の中心座標である、（ｘｔ４,ｙｔ４）、（ｘｔ５,ｙｔ５）及び（ｘｔ６,ｙｔ６）を求めた後、テストマークｔｍ４とｔｍ５の中心間距離を（ｘｔ４−ｘｔ５、ｙｔ４−ｙｔ５）にて算出し、マスターマークｍｍ１とｍｍ２の中心距離を（ｘ１−ｘ２、ｙ１−ｙ２）にて算出する。求められたそれぞれの距離の比に応じて画像データＴ２の縮尺を変更すれば大きさの修正ができる。なお、中心点間距離は、ｍｍ１とｍｍ３の距離に対するｔｍ４とｔｍ６の間の距離であっても良い。 In FIG. 10B, the image data T2 has test marks tm4, tm5, and tm6. After obtaining (xt4, yt4), (xt5, yt5) and (xt6, yt6), which are the center coordinates of the test marks tm4 to tm6, the distance between the centers of the test marks tm4 and tm5 is (xt4-xt5, yt4- yt5), and the center distance between the master marks mm1 and mm2 is calculated by (x1-x2, y1-y2). If the scale of the image data T2 is changed in accordance with the obtained ratio of the distances, the size can be corrected. The distance between the center points may be a distance between tm4 and tm6 with respect to the distance between mm1 and mm3.
大きさを補正した後は、図９で説明した位置ずれの判定を行い（図４のＳ１４５）、位置修正を行う（Ｓ１４６）。 After correcting the size, the positional deviation described with reference to FIG. 9 is determined (S145 in FIG. 4), and the position is corrected (S146).
図７及び図８で説明した実施例では、倒れ補正を行うためのマスターマークは長方形の形状であったが、マスターマークが図９の様に円形であったとしても、電子基板の傾きに応じた楕円の形状によって倒れ判定をすることができる。 In the embodiment described with reference to FIGS. 7 and 8, the master mark for performing the tilt correction has a rectangular shape. However, even if the master mark is circular as shown in FIG. The fall can be determined by the shape of the ellipse.
なお、マスターマークの形状や中心位置は、図２のＳ１１で取り込まれた図面データから、画像データ比較部１８によって予め抽出しておく。また、Ｓ１１で取り込まれた図面データに対して、図番毎に予め決められた位置及び形状をメタデータとして図面データとともに図面データ記憶部１５に記憶しておいても良い。本実施例では、マスターマークは、図面データ上の所定の半径をもつ円形や所定の大きさの長方形であり、Ｘ―Ｙ平面における図面データの端部近傍に３点設けられている。しかし、マスターマークの位置や形状は他の位置や形状であっても良い。マスターマークの位置や形状を、カメラで撮影した画像データから抽出できるものであれば良い。
The shape and center position of the master mark are previously extracted by the image data comparison unit 18 from the drawing data captured in S11 of FIG. Further, with respect to the drawing data fetched in S11, the position and shape predetermined for each figure number may be stored as metadata in the drawing
以上説明したずれ補正によって、位置決めが正確に行われない場合であっても外観検査を行うことができる。 By the above-described deviation correction, an appearance inspection can be performed even when positioning is not performed accurately.
次に、図２におけるＳ１５において、画像比較がＯＫであり、第１のフェーズを良品とされた場合における第２のフェーズにおける外観検査を説明する。フェーズ１では、部品を検査位置上部に配置されたカメラ３で撮影した画像データにより、マスタ図面を基準としてマスタ図面に対応した部品の欠落等を検査したが、図面データからのみでは判断しにくい電子部品の破損やハンダ不良については、必ずしも第１のフェーズによる外観検査のみでは発見できない場合があった。
Next, the appearance inspection in the second phase in the case where the image comparison is OK and the first phase is determined to be non-defective in S15 in FIG. 2 will be described. In Phase 1, the image data photographed by the
そこでフェーズ２においては、外観上良品である実際の製品をマスタ画像として登録し、マスタ画像と検査対象の画像とのパターンマッチングにより外観検査を行う。フェーズ２における外観検査の方法を、図３、図１１乃至図２１によって説明する。図３は外観検査装置の第２のフェーズの動作を説明するフローチャートの一例である。第２のフェーズは、図２で説明した第1のフェーズで、画像の比較がＯＫであった場合（Ｓ１５でＹ）、Ａの部分からスタートする。
Therefore, in
第２のフェーズにおいて、外観検査装置１はマスタ画像を取り込む（Ｓ２１）。フェーズ２で使用するマスタ画像の取り込み方法について図１１を用いて説明する。図１１は、マスタ画像の取り込み方法を説明する図の一例である。
In the second phase, the appearance inspection apparatus 1 captures a master image (S21). A master image capturing method used in
図１１において、目視にて外観検査が既に完了している良品を検査位置に載置して、検査対象に対して第１の照射方向と第２の照射方向から順次照明を照射する。ここで第１の照射方向及び第２の照射方向とは、それぞれが検査対象の鉛直方向から所定の立体角度を有する方向であり、第１の照射方向と第２の照射方向は、Ｘ−Ｙ平面において別角度から検査対象を照射する。本実施例では、図６において、照明２による照明の照射方向を第１の照射方向とし、照明３による照明の照射を第３の照射方向とする。本実施例では、照明２と照明３は、Ｘ−Ｙ平面上で略９０°離れた角度から、検査対象に対して斜め上方から照明を照射する場合を例示している。
In FIG. 11, a non-defective product that has already been visually inspected by visual inspection is placed at the inspection position, and illumination is sequentially applied to the inspection object from the first irradiation direction and the second irradiation direction. Here, the first irradiation direction and the second irradiation direction are directions each having a predetermined solid angle from the vertical direction of the inspection object, and the first irradiation direction and the second irradiation direction are XY. The inspection object is irradiated from another angle on the plane. In this embodiment, in FIG. 6, the illumination direction of the
第１の照射方向からの照明の照射、及び第２の照射方向からの照明の照射によって、検査対象には検査対象の部品等の凹凸に対応した影が生じる。第１の照射方向からの照明による影と第２の照射方向からの照明による影は、Ｘ−Ｙ平面上で略９０°異なる方向に伸びて発生する。それぞれの影の長さは、照明照射角度が小さい程（低い位置から照明を照射する程）長くなり、照射角度が大きくなる程（高い位置から照射する程）短くなる。検査の判定で使用するための影の長さは検査対象に取り付けられる電子部品等の高さによって調整を行う。影の形状は照明照射方向から検査対象の輪郭により形成されるため、照射される照明はなるべく平行光であることが望ましい。 By the illumination irradiation from the first irradiation direction and the illumination irradiation from the second irradiation direction, a shadow corresponding to the unevenness of the component to be inspected is generated in the inspection object. The shadow caused by the illumination from the first irradiation direction and the shadow caused by the illumination from the second irradiation direction are generated by extending in directions different by about 90 ° on the XY plane. The length of each shadow becomes longer as the illumination illumination angle is smaller (the illumination is from a lower position) and shorter as the illumination angle is larger (the illumination is from a higher position). The length of the shadow for use in the inspection determination is adjusted according to the height of the electronic component or the like attached to the inspection object. Since the shape of the shadow is formed by the contour of the inspection object from the illumination irradiation direction, it is desirable that the illuminated illumination is as parallel light as possible.
図１の照明制御部１３は、先ず、第１の照射方向となる図６における照明２を点灯させる。第１の照射方向から照明を照射された影がある良品の画像データを「第１良品データ」とする。第１良品データは、カメラ３により撮影されて、外観検査装置１に取り込まれて、良品画像データ記憶部１９に記憶される。照明制御部１３は、照明２を消灯し、次に、第２の照射方向となる図６における照明３を点灯させる。第２の照射方向から照明を照射された影がある良品の画像データを「第２良品データ」とする。第２良品データは、第１良品データと同様にカメラ３により撮影されて、外観検査装置１に取り込まれて、良品画像データ記憶部１９に記憶される。第１良品データと第２良品データは、そのいずれかを、あるいはその両方をマスタ画像とすることができる。この実施例では、第１良品データと第２良品データの両方をマスタ画像として検査対象の画像データと比較する方法を説明する。また、この実施例では、第１良品データと第２良品データはそれぞれ１の画像データの場合を説明するが、例えば、照明の色や照度を変更して撮影された複数の画像データで構成される画像データ群を、第１良品データ及び第２良品データとしても良い。
The
この工程により、平面的な図面データからのみでは表現しにくい立体的な形状を有する検査対象であっても、複雑な３次元の図面データを作成することなく、実際の良品との外観を比較するためのマスタ画像を簡単に作成することができる。 By this process, even if the inspection target has a three-dimensional shape that is difficult to express only from planar drawing data, the appearance of the actual good product is compared without creating complicated three-dimensional drawing data. Therefore, a master image can be easily created.
なお、マスタ画像の取り込みの工程（Ｓ２１）は、一度行えば良く、同じ種類の検査対象を連続して外観検査する場合は、この工程をスキップして、良品画像データ記憶部１９に記憶されたマスタ画像がその都度利用される。
The master image capturing step (S21) may be performed once. When the same type of inspection target is continuously inspected, this step is skipped and stored in the non-defective image
図３に戻り、次に、実際の検査対象を検査位置にセットして、第１の照射方向から照明を照射した画像データである、第１画像データを取り込む（Ｓ２２）。第１画像の取り込み方法は第１良品データの取り込み方法と全く同じである。 Returning to FIG. 3, next, the actual inspection object is set at the inspection position, and the first image data, which is the image data irradiated with the illumination from the first irradiation direction, is captured (S22). The method for capturing the first image is exactly the same as the method for capturing the first non-defective product data.
次に第１画像データと第１良品データの画像を比較し、良否を判定する（Ｓ２３）。この比較方法の詳細を図１２及び図１３を用いて説明する。図１２は、検査対象の形状の違いによる影のでき方の違いを説明する図の一例である。図１３は、図１２の検査対象の画像データとマスタ画像との比較方法を説明する図の一例である。なお、以下、第１画像データとマスタ画像との比較の方法のみを説明するが、第２画像データとマスタ画像との比較の方法も同様に行われる。 Next, the image of the first image data and the first non-defective product data are compared to determine pass / fail (S23). Details of this comparison method will be described with reference to FIGS. FIG. 12 is an example of a diagram for explaining a difference in how a shadow is generated due to a difference in the shape of an inspection object. FIG. 13 is an example of a diagram for explaining a method of comparing the image data to be inspected in FIG. 12 with the master image. Hereinafter, only the method for comparing the first image data and the master image will be described, but the method for comparing the second image data and the master image is performed in the same manner.
図１２において、検査対象Ａ及び検査対象Ｂは、図１１で説明した良品に比べて部品高さが高いとする。図１２（ａ）は、検査対象Ａを照明で照射したときの影のでき方と、検査対象Ａをカメラで撮影した画像データである画像データＡを図示している。また、図１２（ｂ）は、検査対象Ｂを照明で照射したときの影のでき方と、検査対象Ｂをカメラで撮影した画像データである画像データＢを図示している。 In FIG. 12, it is assumed that the inspection object A and the inspection object B are higher in component height than the non-defective product described in FIG. FIG. 12A illustrates how to make a shadow when the inspection object A is irradiated with illumination, and image data A that is image data obtained by photographing the inspection object A with a camera. FIG. 12B illustrates how to form a shadow when the inspection object B is illuminated with illumination, and image data B that is image data obtained by capturing the inspection object B with a camera.
図１３において、取り込まれた画像データＡと画像データＢは、同じ照明で撮影されたマスタ画像である第１良品データと比較される。図１３（ａ）において、マスタ画像と画像データＡとを比較すると、部品部分の画像部分については高さが違うだけなので、検査対象の上部に設置されたカメラ３により撮影された画像には差異は生じない。しかし、部品部分の高さに差異があるので、影の部分については画像データＡの方が、影が大きくなっている。図１の画像データ比較部１８は、パターンマッチングによって両者の差を計算する。パターンマッチングは注目部分の長さを比較する方法、面積を比較する方法、又は影の画像を微分して抽出した輪郭の形状等を比較する方法等により行う。
ここで影の大きさの差が予め設定された閾値以内であれば比較した画像の外観検査がＯＫであると判定する（Ｓ２３でＹ）。一方、図１３（ｂ）において、画像データＢの影の大きさは、予め設定された閾値以上であったとすると外観検査でＮＧの判定となる（Ｓ２３でＮ）。ＮＧ判定された検査対象は不良品判定がされて（Ｓ２７）、外観検査装置１は検査動作を終了する。
In FIG. 13, captured image data A and image data B are compared with first good product data which is a master image taken with the same illumination. In FIG. 13 (a), when the master image and the image data A are compared, the height of the image portion of the part portion is different, so there is a difference in the image taken by the
If the difference in shadow size is within a preset threshold value, it is determined that the appearance inspection of the compared images is OK (Y in S23). On the other hand, in FIG. 13B, if the size of the shadow of the image data B is greater than or equal to a preset threshold value, it is determined as NG in the appearance inspection (N in S23). The inspection object determined to be NG is determined to be defective (S27), and the appearance inspection apparatus 1 ends the inspection operation.
図３に戻り、第１の照射方向による画像の比較がＯＫと判定された場合は（Ｓ２３でＹ）、次に第１の照射方向におけるＳ２２と同様に、第２の照射方向に照明を切り替えて第２画像データが記憶さる（Ｓ２４）。さらに第２画像データと第２良品データが比較されてＯＫの判定である場合（Ｓ２５でＹ）、良品判定を行い（Ｓ２６）、フェーズ２を終了する。
Returning to FIG. 3, when it is determined that the comparison of the images in the first irradiation direction is OK (Y in S23), the illumination is switched to the second irradiation direction in the same manner as S22 in the first irradiation direction. The second image data is stored (S24). Further, when the second image data and the second non-defective product data are compared and the result is OK (Y in S25), the non-defective product is determined (S26), and the
次に、部品の形状によって本実施例が外観検査において効果的な場合を図１４乃至図１８によって説明する。図１４乃至図１８は、例えば複数のピンが一列に整列したコネクタの外観検査において、一方向からの照明では検知できないピン折れ欠陥などの異常が、２つの方向からの照明の照射によって検知される様子を説明している。 Next, the case where the present embodiment is effective in the appearance inspection depending on the shape of the component will be described with reference to FIGS. 14 to 18, for example, in an appearance inspection of a connector in which a plurality of pins are aligned in a row, an abnormality such as a pin breakage defect that cannot be detected by illumination from one direction is detected by irradiation of illumination from two directions. Explaining the situation.
図１４は、正常品であるコネクタの上面図（ａ）、正面図（ｂ）及び右側面図（ｃ）である。図１５は、一部のピンが折れたコネクタの上面図（ａ）、正面図（ｂ）及び右側面図（ｃ）である。図１４に示す正常品と、図１５に示す異常品を、図６で説明した照明２と正面３で照射してカメラ３で撮影する。図１６（ａ）は検査対象を第２の照射方向から照射した場合を説明する図であり、照明３がピンの並びと縦方向に配置された場合を図示している。また、図１６（ｂ）は検査対象を第１の照射方向から照射した場合を説明する図であり、照明２がピンの並びを正面から照射する位置に配置された場合を図示している。図１７は、正常品の画像データを説明する、第２の照射方向からの画像データ（ａ）、第１の照射方向からの画像データ（ｂ）の一例である。また、図１８は、異常品の画像データを説明する、第２の照射方向からの画像データ（ａ）、第１の照射方向からの画像データ（ｂ）の一例である。
FIG. 14 is a top view (a), a front view (b), and a right side view (c) of a normal connector. FIG. 15 is a top view (a), a front view (b), and a right side view (c) of a connector in which some pins are broken. The normal product shown in FIG. 14 and the abnormal product shown in FIG. 15 are irradiated with the
図１６（ａ）における第２の照射方向からの照明３による画像データは、図１７（ａ）及び図１８（ａ）に示す通り、良品であっても異常品であってもその影に差異は無く、第２の照射方向からの照明の照射だけでは外観上の異常を検出することができない。しかし、図１６（ｂ）における第１の照射方向からの照明２による画像データは、図１７（ｂ）及び図１８（ｂ）に示す通り、良品と異常品とで影に差異が生じる。つまり、第２の照射方向からの照明の照射だけでは検出できなかった外観上の異常を、第２の照射方向とは別の方向からの照明の照射を行うことによって検出できることとなる。
As shown in FIGS. 17 (a) and 18 (a), the image data of the
なお、この実施例で説明している異常品については、図１４（ａ）及び図１５（ｂ）からも明らかな通り、上方からの影のない画像データだけによっても検出することはできない。照明を検査対象に対して斜めから照射することにより、検査対象を上方から撮影した場合であっても、影の形状を良品と比較することにより異常品を検出することが可能となる。 Note that the abnormal products described in this embodiment cannot be detected only from image data without shadows from above, as is apparent from FIGS. 14 (a) and 15 (b). By illuminating the inspection object obliquely, even when the inspection object is photographed from above, an abnormal product can be detected by comparing the shape of the shadow with a non-defective product.
次に、検査対象の影により外観検査を行う外観検査装置において、水平方向から傾いている場合に撮影される影を用いて外観検査を行う方法について、図１９乃至図２１を用いて説明する。図１９は、検査対象に傾きが無い場合の影を説明する、正面図（ａ）及び上面図（ｂ）の一例である。図２０は、検査対象が照明の照射方向に対して左右に傾いている場合の影を説明する、正面図（ａ）及び上面図（ｂ）の一例である。また、図２１は、検査対象が照明の照射方向に対して前後に傾いている場合の影を説明する、正面図（ａ）及び上面図（ｂ）の一例である。 Next, a method for performing an appearance inspection using a shadow photographed when tilted from the horizontal direction in an appearance inspection apparatus that performs an appearance inspection using a shadow to be inspected will be described with reference to FIGS. FIG. 19 is an example of a front view (a) and a top view (b) for explaining a shadow when the inspection target has no inclination. FIG. 20 is an example of a front view (a) and a top view (b) for explaining a shadow when the inspection target is tilted left and right with respect to the illumination direction of illumination. FIG. 21 is an example of a front view (a) and a top view (b) illustrating a shadow when the inspection target is tilted back and forth with respect to the illumination direction of illumination.
図１９において、検査対象がＸ−Ｙ平面で水平である場合、図１９（ｂ）の様な影が撮影されるとする。一方、図２０の様に、検査対象が水平から、Ｙ１方向がＺ２方向に下がり、Ｙ２方向がＺ１方向に上がっている、検査対象が照明の照射方向に対して左右に傾いている場合においては、図２０（ｂ）の様に、影はＸ２方向からＹ１方向に移動することになる。また、図２１の様に、検査対象が水平から、Ｘ１方向がＺ１方向に上がり、Ｘ２方向がＺ２方向に下がっている、検査対象が照明の照射方向に対して前後に傾いている場合においては、図２１（ｂ）の様に、影はＸ２方向にさらに長く伸びることになる。つまり、影を撮影してその影の長さや形状から外観検査の良否を判断するには、検査対象と照明の照射方向とを常に一定に保つ必要がある。 In FIG. 19, when the inspection target is horizontal on the XY plane, it is assumed that a shadow as shown in FIG. On the other hand, as shown in FIG. 20, when the inspection object is horizontal, the Y1 direction is lowered in the Z2 direction, the Y2 direction is raised in the Z1 direction, and the inspection object is inclined to the left and right with respect to the illumination direction of illumination. As shown in FIG. 20B, the shadow moves from the X2 direction to the Y1 direction. Further, as shown in FIG. 21, when the inspection object is horizontal, the X1 direction is raised in the Z1 direction and the X2 direction is lowered in the Z2 direction, and the inspection object is tilted back and forth with respect to the illumination direction of illumination. As shown in FIG. 21B, the shadow extends further in the X2 direction. In other words, in order to photograph a shadow and determine the quality of the appearance inspection from the length and shape of the shadow, it is necessary to always keep the inspection target and the illumination direction of illumination constant.
しかし、検査対象が図７等で説明した様な理由で水平から傾く場合が想定される。 However, it is assumed that the inspection object is inclined from the horizontal for the reason described in FIG.
そこで、本実施例においては、良品の各傾斜における画像データをそれぞれ予め撮影して、複数の良品画像データとして記憶しておき、検査対象の傾きに合わせて比較対象となるマスタ画像とする良品データを選択する。検査対象の傾きは、図４のＳ１４１の工程で説明した倒れの有無の判定によって算出した傾きを使用する。Ｓ１４１で算出された検査対象の傾きに応じた良品データを選択し画像の比較を行う。 Therefore, in this embodiment, image data at each inclination of the non-defective product is captured in advance and stored as a plurality of non-defective image data, and the non-defective product data as a master image to be compared in accordance with the inclination of the inspection target. Select. As the tilt of the inspection target, the tilt calculated by the determination of the presence or absence of the tilt described in the process of S141 in FIG. 4 is used. Non-defective product data corresponding to the inclination of the inspection object calculated in S141 is selected and the images are compared.
なお、本実施例では、第１のフェーズと第２のフェーズを併せて行う場合において検査対象の傾きを算出したが、例えば第２のフェーズのみにより外観検査を行う場合には、Ｓ１４１に相当する工程を第２のフェーズにおいて実施すればよい。また、検査対象の傾斜を測定するセンサを別途使用しても良い。 In the present embodiment, the inclination of the inspection target is calculated when the first phase and the second phase are performed together. For example, when the appearance inspection is performed only by the second phase, this corresponds to S141. What is necessary is just to implement a process in a 2nd phase. Moreover, you may use separately the sensor which measures the inclination of test object.
以上、本発明を実施するための形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 As mentioned above, although the form for implementing this invention was explained in full detail, this invention is not limited to such specific embodiment, In the range of the summary of this invention described in the claim, Various modifications and changes are possible.
例えば、本実施例においては、第１の照射方向と第２の照射方向の２方向によるマスタ画像と検査対象の画像データとの比較を行ったが、検査対象によっていずれかの方向のみによる比較によって外観検査を行っても良い。また、本実施例では、第１の照射方向と第２の照射方向の２方向からの照明照射を例示したが、例えばさらに第３の照射方向からの照明、第４の照射方向からの照明等、照明台数を増やして順次各方向からの照明の照射を行っても良い。また、複数の照明による同時照射等による外観検査の実施も可能である。 For example, in the present embodiment, the master image in the two directions of the first irradiation direction and the second irradiation direction is compared with the image data to be inspected, but by comparison in only one direction depending on the inspection object. An appearance inspection may be performed. Further, in the present embodiment, the illumination irradiation from the two directions of the first irradiation direction and the second irradiation direction is exemplified. However, for example, the illumination from the third irradiation direction, the illumination from the fourth irradiation direction, etc. The number of illuminations may be increased to sequentially irradiate illumination from each direction. It is also possible to perform an appearance inspection by simultaneous irradiation with a plurality of illuminations.
また、照明の照射によって生じる検査対象の影の代わりに、検査対象によって反射される光を撮影して比較しても良い。 Further, light reflected by the inspection object may be photographed and compared instead of the shadow of the inspection object caused by illumination irradiation.
また、本実施例におけるシステム構成においては、スキャナ２、カメラ３、照明システム４、及びデータベースサーバ５は、外観検査装置１の外部装置として説明したが、スキャナ２、カメラ３、照明システム４、及びデータベースサーバ５は、その一部又は全部が外観検査装置１の一部として実施されても良い。
In the system configuration of the present embodiment, the
本発明は、以下に記載する付記のような構成が考えられる。
（付記１）
第１のマークを含む図面データを記憶する記憶部と、
前記図面データに対応した検査対象の画像データであって、第２のマークを含む画像データを取り込む取り込み部と、
前記第１のマークと前記第２のマークを基にして前記画像データの補正を行う補正部と、
前記記憶部に記憶された前記図面データと、前記補正部によって補正された画像データにより画像の比較を行う比較部と、を備えた検査装置。
（付記２）
前記補正部は、複数のマークの組み合わせを有する前記第１のマークと複数のマークの組み合わせを有する前記第２のマークとを基にして前記画像データの補正を行う付記１に記載の検査装置。
（付記３）
前記記憶部は、検査対象に応じて異なる複数の図面データを記憶して、
前記補正部は、前記記憶部に記憶された複数の図面データの中から検査対象に応じた図面データにより前記画像データの補正を行い、
前記比較部は、前記検査対象に応じた図面データと補正された前記画像データにより画像の比較を行う付記１又は２に記載の検査装置。
（付記４）
前記補正部は、前記第２のマークに基づき、前記記憶部に記憶された複数の図面データの中から図面データを選択して、前記画像データの補正を行い、
前記比較部は、選択された図面データと補正された前記画像データにより画像の比較を行う付記３に記載の検査装置。
（付記５）
前記補正部は、前記第１のマークの画像に対する前記第２のマークの画像の歪みを補正する付記１乃至４のいずれか一項に記載の検査装置。
（付記６）
第１のマークを含む図面データを記憶し、
第２のマークを有し前記図面データに対応した検査対象の画像データを取り込み、
記憶された前記図面データに含まれる前記第１のマークと取り込まれた前記画像データに含まれる前記第２のマークを基にして、前記画像データの補正を行い、
記憶された前記図面データと補正された前記画像データにより画像の比較を行う処理をコンピュータが実行する検査方法。
（付記７）
前記画像データの補正を行う処理は、複数のマークの組み合わせを有する前記第１のマークと複数のマークの組み合わせを有する前記第２のマークとを基にして前記画像データの補正を行う付記６に記載の検査方法。
（付記８）
前記図面データを記憶する処理は、検査対象に応じて異なる複数の図面データを記憶して、
前記画像データを補正する処理は、前記図面データを記憶する処理にて記憶された複数の図面データの中から検査対象に応じた図面データにより前記画像データの補正を行い、
前記画像の比較を行う処理は、前記検査対象に応じた図面データと補正された前記画像データにより画像の比較を行う付記６又は７に記載の検査方法。
（付記９）
前記画像データの補正を行う処理は、前記第２のマークに基づき、前記図面データを記憶する処理で記憶された複数の図面データの中から図面データを選択して、前記画像データを補正する処理を行い、
前記画像の比較を行う処理は、選択された図面データと補正された前記画像データにより画像の比較を行う付記８に記載の検査方法。
（付記１０）
前記画像データを補正する処理は、前記第１のマークの画像に対する前記第２のマークの画像の歪みを補正する付記６乃至９のいずれか一項に記載の検査方法。
（付記１１）
検査対象を撮影する撮影部と、
第１のマークを含む図面データを記憶する記憶部と、
前記撮影部で撮影された第２のマークを有する検査対象の画像データを取り込む取り込み部と、
前記記憶部に記憶された図面データに含まれる前記第１のマークと前記取り込み部で取り込まれた前記第２のマークを基にして前記画像データの補正を行う補正部と、
前記記憶部に記憶された図面データと、前記補正部によって補正された画像データにより画像の比較を行う比較部と、を備えた検査システム。
（付記１２）
図面データを読み取る読み取り部をさらに備え、
前記読み取り部で読み取られた図面データを前記記憶部に記憶する付記１１に記載の検査システム。
（付記１３）
ネットワークとの通信を制御する通信制御部と、
前記通信制御部により接続されるデータベースサーバをさらに備え、
前記データベースサーバは、前記通信制御部を介してデータの通信を行う付記１１又は１２に記載の検査システム。
（付記１４）
前記データベースサーバは、前記図面データ、前記画像データ、又は前記図面データと前記図面データの両方を記憶する付記１３に記載の検査システム。
The present invention may have the following configurations as described below.
(Appendix 1)
A storage unit for storing drawing data including the first mark;
An image data to be inspected corresponding to the drawing data, a capturing unit for capturing image data including a second mark;
A correction unit that corrects the image data based on the first mark and the second mark;
An inspection apparatus comprising: the drawing data stored in the storage unit; and a comparison unit that compares images based on the image data corrected by the correction unit.
(Appendix 2)
The inspection apparatus according to appendix 1, wherein the correction unit corrects the image data based on the first mark having a plurality of mark combinations and the second mark having a plurality of mark combinations.
(Appendix 3)
The storage unit stores a plurality of different drawing data depending on the inspection target,
The correction unit corrects the image data with drawing data corresponding to an inspection object from a plurality of drawing data stored in the storage unit,
The inspection apparatus according to
(Appendix 4)
The correction unit selects drawing data from a plurality of drawing data stored in the storage unit based on the second mark, corrects the image data,
The inspection apparatus according to
(Appendix 5)
The inspection apparatus according to any one of appendices 1 to 4, wherein the correction unit corrects distortion of the image of the second mark with respect to the image of the first mark.
(Appendix 6)
Storing drawing data including the first mark;
The image data to be inspected corresponding to the drawing data having the second mark is captured,
Based on the first mark included in the stored drawing data and the second mark included in the captured image data, the image data is corrected,
An inspection method in which a computer executes a process of comparing an image based on the stored drawing data and the corrected image data.
(Appendix 7)
The processing for correcting the image data includes the correction of the image data based on the first mark having a combination of a plurality of marks and the second mark having a combination of a plurality of marks. The inspection method described.
(Appendix 8)
The process of storing the drawing data stores a plurality of drawing data different depending on the inspection object,
The process of correcting the image data is performed by correcting the image data with the drawing data corresponding to the inspection object from the plurality of drawing data stored in the process of storing the drawing data,
8. The inspection method according to
(Appendix 9)
The process of correcting the image data is a process of correcting the image data by selecting drawing data from a plurality of drawing data stored in the process of storing the drawing data based on the second mark. And
The inspection method according to appendix 8, wherein the process of comparing the images is performed by comparing the images based on the selected drawing data and the corrected image data.
(Appendix 10)
The inspection method according to any one of
(Appendix 11)
An imaging unit for imaging the inspection object;
A storage unit for storing drawing data including the first mark;
A capturing unit that captures image data of an inspection target having a second mark photographed by the photographing unit;
A correcting unit that corrects the image data based on the first mark included in the drawing data stored in the storage unit and the second mark captured by the capturing unit;
An inspection system comprising: drawing data stored in the storage unit; and a comparison unit that compares images based on image data corrected by the correction unit.
(Appendix 12)
A reading unit that reads the drawing data;
The inspection system according to
(Appendix 13)
A communication control unit for controlling communication with the network;
A database server connected by the communication control unit;
The inspection system according to
(Appendix 14)
The inspection system according to
１ 外観検査装置
２ スキャナ
３ カメラ
４ 照明システム
５ データサーバ
１１ スキャナ制御部
１２ カメラ制御部
１３ 照明制御部
１４ 通信制御部
１５ 図面データ記憶部
１６ 画像データ記憶部
１７ 画像データ補正部
１８ 画像データ比較部
１９ 良品画像データ記憶部
５１ 図面ＤＢ
５２ 画像ＤＢ
１００ 外観検査システム
DESCRIPTION OF SYMBOLS 1
52 Image DB
100 Visual inspection system
Claims (5)
前記画像の比較において良品と判定された検査対象に対し、前記検査対象の影を含む画像データと、外観上の良品の影を含む画像データである良品データとの比較を行う第二の比較部と、を有し、
前記第一の比較部は、
第１のマークを含む図面データを記憶する記憶部と、
前記図面データに対応した検査対象の画像データであって、第２のマークを含む画像データを取り込む取り込み部と、
前記第１のマークと前記第２のマークを基にして前記画像データの補正を行う補正部と、
前記記憶部に記憶された前記図面データと、前記補正部によって補正された前記画像データにより画像の比較を行う画像比較部と、を有し、
前記記憶部は、検査対象に応じて異なる複数の図面データを記憶して、
前記補正部は、前記記憶部に記憶された複数の図面データの中から検査対象に応じた図面データにより前記画像データの補正を行い、
前記画像比較部は、前記検査対象に応じた図面データと補正された前記画像データにより画像の比較を行う検査装置。 A first comparison unit that performs image comparison between image data obtained by imaging an inspection object and drawing data corresponding to the inspection object;
A second comparison unit that compares the image data including the shadow of the inspection object with the non-defective data that is the image data including the shadow of the non-defective product on the appearance with respect to the inspection object determined to be non-defective in the image comparison. and, the possess,
The first comparison unit includes:
A storage unit for storing drawing data including the first mark;
An image data to be inspected corresponding to the drawing data, a capturing unit for capturing image data including a second mark;
A correction unit that corrects the image data based on the first mark and the second mark;
The drawing data stored in the storage unit, and an image comparison unit that compares images with the image data corrected by the correction unit,
The storage unit stores a plurality of different drawing data depending on the inspection target,
The correction unit corrects the image data with drawing data corresponding to an inspection object from a plurality of drawing data stored in the storage unit,
The image comparison unit is an inspection apparatus that compares an image with drawing data corresponding to the inspection object and the corrected image data .
前記画像比較部は、選択された図面データと補正された前記画像データにより画像の比較を行う請求項２に記載の検査装置。 The correction unit selects drawing data from a plurality of drawing data stored in the storage unit based on the second mark, corrects the image data,
The inspection apparatus according to claim 2 , wherein the image comparison unit compares an image based on the selected drawing data and the corrected image data.
前記画像の比較において良品と判定された検査対象に対し、前記検査対象の影を含む画像データと、外観上の良品の影を含む画像データである良品データとの比較を行い、
前記図面データとの画像の比較は、
第１のマークを含む図面データを記憶部に記憶し、
前記図面データに対応した検査対象の画像データであって、第２のマークを含む画像データを取り込み、
前記第１のマークと前記第２のマークを基にして前記画像データの補正を行い、
前記記憶部に記憶された前記図面データと、補正された前記画像データにより画像の比較を行い、
前記記憶部は、検査対象に応じて異なる複数の図面データを記憶して、
前記記憶部に記憶された複数の図面データの中から検査対象に応じた図面データにより前記画像データの補正を行い、
前記画像の比較は、前記検査対象に応じた図面データと補正された前記画像データにより画像の比較を行う、処理をコンピュータが実行する検査方法。 Compare the image data of the image of the inspection object and the drawing data corresponding to the inspection object,
For the tested subject is judged to be good in comparison of the image, it has rows and the image data is compared with the non-defective data is image data including the shadow of the non-defective appearance, including the shadow of said object,
Comparison of the image with the drawing data
Storing drawing data including the first mark in the storage unit;
Image data to be inspected corresponding to the drawing data, including image data including a second mark;
Correcting the image data based on the first mark and the second mark;
The image is compared with the drawing data stored in the storage unit and the corrected image data,
The storage unit stores a plurality of different drawing data depending on the inspection target,
The image data is corrected by drawing data corresponding to the inspection object from the plurality of drawing data stored in the storage unit,
The image comparison is an inspection method in which a computer executes a process of comparing images based on drawing data corresponding to the inspection object and the corrected image data .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013000233A JP6236203B2 (en) | 2013-01-04 | 2013-01-04 | Inspection apparatus and inspection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013000233A JP6236203B2 (en) | 2013-01-04 | 2013-01-04 | Inspection apparatus and inspection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014132229A JP2014132229A (en) | 2014-07-17 |
| JP6236203B2 true JP6236203B2 (en) | 2017-11-22 |
Family
ID=51411369
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013000233A Active JP6236203B2 (en) | 2013-01-04 | 2013-01-04 | Inspection apparatus and inspection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6236203B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10339666B2 (en) * | 2015-03-06 | 2019-07-02 | Fuji Corporation | Recognition device and recognition method |
| JP6476059B2 (en) * | 2015-04-30 | 2019-02-27 | 東京計器株式会社 | Wear amount calculation system, slit light irradiation device, wear amount calculation program |
| JP6596290B2 (en) * | 2015-09-29 | 2019-10-23 | アンリツインフィビス株式会社 | Inspection equipment |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01193633A (en) * | 1988-01-28 | 1989-08-03 | Nippon Seiko Kk | Method and apparatus for inspecting pattern defect |
| IL133696A (en) * | 1999-12-23 | 2006-04-10 | Orbotech Ltd | Cam reference inspection of multi-color and contour images |
| JP2010038762A (en) * | 2008-08-06 | 2010-02-18 | Micronics Japan Co Ltd | Inspection apparatus |
| DE102010003376B4 (en) * | 2009-03-30 | 2021-04-01 | Koh Young Technology Inc. | Investigation procedure |
-
2013
- 2013-01-04 JP JP2013000233A patent/JP6236203B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014132229A (en) | 2014-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7505149B2 (en) | Apparatus for surface inspection and method and apparatus for inspecting substrate | |
| US8243285B2 (en) | Inspection system and method | |
| US20130342677A1 (en) | Vision testing device using multigrid pattern | |
| EP2685242B1 (en) | Vision testing device with enhanced image clarity | |
| JP5399205B2 (en) | Inspection device for inspection object and position correction device for electronic substrate | |
| KR101794964B1 (en) | Inspection system and inspection method | |
| JP2005286309A (en) | Inspection method and inspection system for component-mounting board and method of manufacturing part-mounting board | |
| JP2019100917A (en) | Inspection program generation system, generation method of inspection program and generation program of inspection program | |
| KR101583659B1 (en) | Apparatus for measuring three dimension shape | |
| JP5566707B2 (en) | Appearance inspection apparatus and appearance inspection method | |
| KR101245622B1 (en) | Vision inspection apparatus using stereo vision grid pattern | |
| JP6236203B2 (en) | Inspection apparatus and inspection method | |
| JP6236204B2 (en) | Inspection apparatus and inspection method | |
| KR101705762B1 (en) | Method for Correcting tilt of 3D shape measuring device | |
| JP2008014700A (en) | Workpiece inspection method and workpiece inspection device | |
| JP2018185177A (en) | Image inspection device, production system, image inspection method, program and memory medium | |
| JP2006216981A (en) | Mounted substrate inspection method/system and component mount board manufacturing method | |
| JP7433498B2 (en) | image synthesis device | |
| KR101522312B1 (en) | Inspection device for pcb product and inspecting method using the same | |
| JP7368141B2 (en) | Wafer appearance inspection device and method | |
| JP5832167B2 (en) | Component presence / absence determination apparatus and component presence / absence determination method | |
| US20120098956A1 (en) | Imaging apparatus for fully automatic screen printer | |
| KR20180123870A (en) | System for measuring three dimension shape and Method thereof | |
| JP4100376B2 (en) | Surface condition inspection method and apparatus, and inspection image generation apparatus | |
| JP5947168B2 (en) | Appearance inspection apparatus, control method and program for appearance inspection apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150930 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160712 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160715 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160907 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170214 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170405 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171003 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171030 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6236203 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |