JP6233824B1 - Image inspection apparatus, production system, image inspection method, program, and storage medium - Google Patents

Image inspection apparatus, production system, image inspection method, program, and storage medium Download PDF

Info

Publication number
JP6233824B1
JP6233824B1 JP2017085745A JP2017085745A JP6233824B1 JP 6233824 B1 JP6233824 B1 JP 6233824B1 JP 2017085745 A JP2017085745 A JP 2017085745A JP 2017085745 A JP2017085745 A JP 2017085745A JP 6233824 B1 JP6233824 B1 JP 6233824B1
Authority
JP
Japan
Prior art keywords
image
mesh
inspection
inspection apparatus
image inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017085745A
Other languages
Japanese (ja)
Other versions
JP2018185177A (en
Inventor
盛人 河原
盛人 河原
Original Assignee
合同会社ウイングビジョン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 合同会社ウイングビジョン filed Critical 合同会社ウイングビジョン
Priority to JP2017085745A priority Critical patent/JP6233824B1/en
Application granted granted Critical
Publication of JP6233824B1 publication Critical patent/JP6233824B1/en
Priority to PCT/JP2018/016374 priority patent/WO2018198991A1/en
Priority to CN201880002545.2A priority patent/CN109564173B/en
Priority to TW107113978A priority patent/TWI664422B/en
Publication of JP2018185177A publication Critical patent/JP2018185177A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects

Abstract

【課題】カラー画像に対する検出精度が高いうえに直交率が高く、また、判定処理のための演算時間が早く、かつ、初期設定が容易であり、コストが安い画像検査装置を提供することすること。【解決手段】本発明の画像検査装置1は、検査対象をカラー画像40として撮影する撮影手段18と、前記カラー画像40をメッシュ状に区切るメッシュ手段31と、前記カラー画像40を所定のグレイスケールに変換する前処理手段32と、基準画像記憶手段と、前記メッシュ手段31及び前記前処理手段32により前記メッシュ状の複数の区画に区切られ、かつ、前記所定のグレイスケールに変換された前記撮像手段18により撮影された検査画像40T及び前記基準画像40Rについて、前記メッシュ状の複数の区画毎に、所定のパラメータに基づいて類似度を判定する、テンプレートマッチングを含む判定手段34と、インターフェイス手段30と、を備えることを特徴とする。【選択図】図4An object of the present invention is to provide an image inspection apparatus with high detection accuracy for color images, high orthogonality, fast calculation time for determination processing, easy initial setting, and low cost. . An image inspection apparatus 1 according to the present invention includes a photographing means 18 for photographing a test object as a color image 40, a mesh means 31 for dividing the color image 40 into a mesh shape, and the color image 40 having a predetermined gray scale. The imaging device which is divided into a plurality of mesh-like sections by the preprocessing means 32 for converting into the reference image, the reference image storage means, the mesh means 31 and the preprocessing means 32, and converted into the predetermined gray scale A determination unit 34 including template matching for determining the similarity based on a predetermined parameter for each of the plurality of mesh-shaped sections for the inspection image 40T and the reference image 40R photographed by the unit 18, and the interface unit 30 And. [Selection] Figure 4

Description

本発明は、回路基板に実装された部品の状態、回路基板の配線パターン、半田ボール、傷、汚れ等を検査する画像検査装置、当該画像検査装置を備える生産システム、画像検査装置、プログラム、及び、当該プログラムを記憶した記憶媒体に関する。   The present invention relates to an image inspection apparatus that inspects the state of components mounted on a circuit board, circuit board wiring patterns, solder balls, scratches, dirt, and the like, a production system including the image inspection apparatus, an image inspection apparatus, a program, and The present invention relates to a storage medium storing the program.

回路基板の実装検査には従来から三次元(3D)画像検査が広く行われている。3D画像検査の手段としては、例えばレーザー光を使うもの、モアレ光を投射するもの、複数の方向からカメラで撮影するもの等があったが、いずれも初期設定の工数が多く、設定に多大な労力と時間を費やしていた。また、プリント基板の印刷状態のわずかな変化やプリント基板のロットの違いにより不良品であると誤判定されることも多く、その度に再調整が必要となり、この再調整に多くの工数が必要であった。さらに、画像検査のための演算も複雑になり、検査時間が長くかかる問題があった。特に多品種少量生産を行う場合には、初期設定等に手間がかかると、目視検査の方が速いという結果になり、検査を自動化するメリットを享受できない。少量生産において、リフロー後の検査で実装機での問題が発見された場合には、既に生産が終了していることもある。この場合、より前工程であるリフロー前に検査装置を追加して、実装機へのフィードバックを早めることが有効であるが、初期設定に多大な工数を要し、かつ、コストの高い検査装置を追加することは困難であった。   Conventionally, three-dimensional (3D) image inspection has been widely performed for circuit board mounting inspection. As a means for 3D image inspection, for example, there are those that use laser light, those that project moire light, and those that take a picture with a camera from a plurality of directions. He spent effort and time. In addition, it is often mistakenly judged to be a defective product due to slight changes in the printed state of the printed circuit board or differences in printed circuit board lots, and each time readjustment is required, and this readjustment requires a lot of man-hours. Met. Furthermore, the calculation for the image inspection becomes complicated, and there is a problem that it takes a long inspection time. In particular, in the case of multi-product small-volume production, if initial setting or the like takes time, the result of visual inspection is faster, and the advantage of automating the inspection cannot be enjoyed. In small-volume production, if a problem with the mounting machine is found in the inspection after reflow, production may have already been completed. In this case, it is effective to add an inspection device before reflow, which is a previous process, to speed up the feedback to the mounting machine, but it requires a lot of man-hours for initial setting and a high-cost inspection device. It was difficult to add.

検査時間を短縮するために、二次元(2D)画像検査の採用も検討されている。特許文献1〜特許文献3に開示されているように、2D画像検査においては、撮像画面を複数の区画に分割し、各区画について基準となる画像と比較して回路基板の良否を判定する手段が提案されている。   In order to shorten the inspection time, adoption of a two-dimensional (2D) image inspection is also being studied. As disclosed in Patent Literature 1 to Patent Literature 3, in 2D image inspection, the imaging screen is divided into a plurality of sections, and the quality of the circuit board is determined by comparing each section with a reference image. Has been proposed.

特許文献1には、プリント基板の撮像画像を複数の区画に分割し、その区画に対応してそれぞれ独立して記憶部に記憶されている基準画像データと比較して、画像処理によるプリント基板の良否判定を行う手段が開示されている。画像を各区画に分割する際にはプリント基板上のフィデューシャルマークを基準にして位置設定を行う。良否の判定は、撮像画像と基準画像データとの差分要素を抽出し、その差分要素の面積が予め設定された上限差分面積以下であるか否かにより行われる。基準画像データは、最初は一つ又は複数の良品基板のサンプル画像からなるが、検査が進行するにつれて検査結果を反映して適宜追加されるようになっている。   In Patent Literature 1, a captured image of a printed circuit board is divided into a plurality of sections, and compared with reference image data stored in a storage unit independently corresponding to the sections, a printed circuit board image processing is performed. Means for determining pass / fail is disclosed. When the image is divided into sections, the position is set with reference to fiducial marks on the printed circuit board. The quality determination is performed based on whether or not the difference element between the captured image and the reference image data is extracted and the area of the difference element is equal to or less than a preset upper limit difference area. The reference image data initially comprises sample images of one or a plurality of non-defective substrates, but is added as appropriate reflecting the inspection results as the inspection proceeds.

特許文献2には、マクロレベルの異常(例えば、成膜工程における条件の相違に基づくコントラスト等の成膜結果の逐次変化等で、肉眼で観察される範囲のもの)を客観的に検出するために、比較基準マクロ画像及び検査対象マクロ画像をそれぞれ縦横に複数の区画に分割して部分領域を設定し、互いに位置が対応する各部分領域についてゼロ平均正規化相互相関(ZNCC:Zero-mean Normalized Cross-Correlation)による画像マッチングを行う手段が開示されている。特許文献2では、この画像マッチングの結果、各部分領域のうち最小値を定量的な評価値である類似度として算出している。   Japanese Patent Application Laid-Open No. 2004-228688 objectively detects macro-level abnormalities (for example, in a range that can be observed with the naked eye due to sequential changes in film formation results such as contrast based on differences in conditions in the film formation process). In addition, the comparison reference macro image and the inspection target macro image are divided into a plurality of sections in the vertical and horizontal directions, and partial areas are set. Zero average normalized cross-correlation (ZNCC: Zero-mean Normalized) is set for each partial area corresponding to each other. A means for performing image matching by cross-correlation is disclosed. In Patent Document 2, as a result of this image matching, the minimum value of each partial region is calculated as a similarity that is a quantitative evaluation value.

特許文献3には、プリント基板における導電性パターン等の外観調査装置として、複数に分割された被検査基板の画像と、同じく対応するように分割された標準パターン画像とを対比する際に、標準パターン画像を相対的に移動させつつ比較を行うことにより、位置決め誤差があっても比較検査が可能な手段が開示されている。被検査基板の画像と標準パターン画像との比較には、分割された区画ごとに2値化した信号が用いられている。   In Patent Document 3, as an appearance inspection device for a conductive pattern or the like on a printed circuit board, when comparing an image of a substrate to be inspected divided into a standard pattern image divided in a corresponding manner, There has been disclosed a means capable of performing a comparison inspection even when there is a positioning error by performing comparison while relatively moving pattern images. For comparison between the image of the substrate to be inspected and the standard pattern image, a binarized signal is used for each divided section.

特開2008−051781号公報JP 2008-051781 A 特開2012−013644号公報JP 2012-013644 A 特公平06−021769号公報Japanese Patent Publication No. 06-021769

上記特許文献1に記載の画像検査装置では、画像を各区画に分割する際にはプリント基板上のフィデューシャルマークを基準にして位置設定を行っているが、位置決め誤差を完全に排除することは難しく、精密かつ高価な装置が必要とされる。また、部品の取付位置にずれがあると不良品と判断されてしまうため、直行率が低下する。さらに、カラー画像に対する判定処理が十分に検討されていないため、判定の精度の最適化が困難である。   In the image inspection apparatus described in Patent Document 1, the position is set with reference to the fiducial mark on the printed circuit board when the image is divided into each section, but the positioning error is completely eliminated. Is difficult, requires precise and expensive equipment. Further, if there is a shift in the mounting position of the component, it is determined as a defective product, and the direct rate decreases. Furthermore, since determination processing for a color image has not been sufficiently studied, it is difficult to optimize determination accuracy.

上記特許文献2に記載の画像検査装置では、演算負荷に対する対策が開示されておらず、演算時間が長くなる恐れがある。また、カラー画像に対する判定処理が十分に検討されていないため、判定の精度の最適化が困難である。   In the image inspection apparatus described in Patent Document 2, a countermeasure for the calculation load is not disclosed, and the calculation time may be long. In addition, since determination processing for a color image has not been sufficiently studied, it is difficult to optimize determination accuracy.

上記特許文献3に記載の画像検査装置では、位置決め誤差があっても比較検査が可能であるが、2値化した信号を用いているために、カラー画像に対する正確な判定処理ができないという問題がある。   In the image inspection apparatus described in Patent Document 3, a comparative inspection is possible even if there is a positioning error. However, since a binarized signal is used, there is a problem that accurate determination processing cannot be performed on a color image. is there.

そこで、本発明の目的は、カラー画像に対する検出精度が高いうえに直行率が高く、また、判定処理のための演算が速く、かつ、初期設定が容易であり、コストが安い画像検査装置を提供することにある。   SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide an image inspection apparatus that has high detection accuracy for a color image, has a high direct rate, is fast in calculation for determination processing, is easy to perform initial setting, and is low in cost. There is to do.

本発明の他の目的は、上記画像検査装置を用いた生産システムを提供することにある。   Another object of the present invention is to provide a production system using the image inspection apparatus.

本発明の他の目的は、上記画像検査装置を用いた画像検査方法を提供することにある。   Another object of the present invention is to provide an image inspection method using the image inspection apparatus.

本発明の他の目的は、上記画像検査装置のためのプログラムを提供することにある。   Another object of the present invention is to provide a program for the image inspection apparatus.

さらに、本発明の他の目的は、上記プログラムを記憶した記憶媒体を提供することにある。   Furthermore, another object of the present invention is to provide a storage medium storing the above program.

本発明の上記目的は、以下の構成によって達成できる。すなわち、本発明の第1の態様の画像検査装置は、検査対象をカラー画像として撮影する撮影手段と、
前記撮影手段により撮影された前記カラー画像を指定されたメッシュサイズに基づいてメッシュ状の複数の区画に区切るメッシュ手段と、
前記撮影手段により撮影された前記カラー画像を設定値に基づいて所定のグレイスケール画像に変換する前処理手段と、
前記撮影手段によって撮影された、予め選定された基準となる検査対象の前記カラー画像を基準画像として記憶する基準画像記憶手段と、
前記メッシュ手段及び前記前処理手段により前記メッシュ状の複数の区画に区切られ、かつ、前記所定のグレイスケールに変換された前記撮像手段により撮影された検査画像及び前記基準画像について、前記メッシュ状の複数の区画毎に所定のパラメータに基づいて類似度を演算し、前記メッシュ状の複数の区画毎に基準画像と検査画像とを相対的に移動させる所定の探索範囲において前記類似度が一番高くなる位置を探索する、テンプレートマッチングを含む判定手段と、
前記メッシュサイズ、前記設定値及び前記パラメータの少なくとも1つを設定すると共に、判定結果を報知するインターフェイス手段と、
を備えることを特徴とする。
The above object of the present invention can be achieved by the following configurations. That is, the image inspection apparatus according to the first aspect of the present invention includes a photographing unit that photographs a test object as a color image,
Mesh means for dividing the color image photographed by the photographing means into a plurality of mesh-shaped sections based on a designated mesh size;
Pre-processing means for converting the color image photographed by the photographing means into a predetermined gray scale image based on a set value;
Reference image storage means for storing the color image of the inspection object that is a preselected reference imaged by the imaging means as a reference image;
About the inspection image and the reference image that are divided into the mesh-like sections by the mesh means and the pre-processing means and that are captured by the imaging means that have been converted to the predetermined gray scale, the similarity is calculated based on Jo Tokoro parameter for each of a plurality of sections, the similarity in the predetermined search range for relatively moving the test image and the reference image for each of a plurality of sections of the mesh-like is the most A determination means including template matching for searching for a higher position ;
Interface means for setting at least one of the mesh size, the set value, and the parameter, and notifying a determination result;
It is characterized by providing.

本発明の第2の態様の画像検査装置は、第1の態様の画像検査装置において、前記カラー画像は前記メッシュ手段により前記メッシュ状の複数の区画に区切られた後に、前記前処理手段により前記所定のグレイスケール画像に変換されることを特徴とする。 The image inspection apparatus according to a second aspect of the present invention is the image inspection apparatus according to the first aspect, wherein the color image is divided into a plurality of mesh-shaped sections by the mesh unit, and then the pre-processing unit performs the process. It is characterized by being converted into a predetermined gray scale image .

本発明の第3の態様の画像検査装置は、検査対象をカラー画像として撮影する撮影手段と、
前記撮影手段により撮影された前記カラー画像を指定されたメッシュサイズに基づいてメッシュ状の複数の区画に区切るメッシュ手段と、
前記メッシュ手段により区切られたメッシュ状の複数の区画ごとに、前記撮影手段により撮影された前記カラー画像を設定値に基づいて所定のグレイスケール画像に変換する前処理手段と、
前記撮影手段によって撮影された、予め選定された基準となる検査対象の前記カラー画像を基準画像として記憶する基準画像記憶手段と、
前記メッシュ手段によってメッシュ状の複数の区画に区切られた後に、前記前処理手段により前記複数の区画ごとに前記所定のグレイスケールに変換された前記撮像手段により撮影された検査画像及び前記基準画像について、前記メッシュ状の複数の区画毎に、所定のパラメータに基づいて類似度を判定する、テンプレートマッチングを含む判定手段と、
前記メッシュサイズ、前記設定値及び前記パラメータの少なくとも1つを設定すると共に、判定結果を報知するインターフェイス手段と、
を備えることを特徴とする。
An image inspection apparatus according to a third aspect of the present invention includes an imaging unit that captures an inspection object as a color image;
Mesh means for dividing the color image photographed by the photographing means into a plurality of mesh-shaped sections based on a designated mesh size;
Pre-processing means for converting the color image photographed by the photographing means into a predetermined gray scale image based on a set value for each of a plurality of mesh-like sections divided by the mesh means;
Reference image storage means for storing the color image of the inspection object that is a preselected reference imaged by the imaging means as a reference image;
After being divided into a plurality of mesh-like sections by the mesh means, the inspection image and the reference image photographed by the imaging means converted into the predetermined gray scale for each of the plurality of sections by the preprocessing means Determining means including template matching for determining the similarity based on a predetermined parameter for each of the plurality of mesh-shaped sections;
Interface means for setting at least one of the mesh size, the set value, and the parameter, and notifying a determination result;
It is characterized by providing.

本発明の第4の態様の画像検査装置は、第1〜第3のいずれかの態様の画像検査装置において、前記検査対象は基板であることを特徴とする。
An image inspection apparatus according to a fourth aspect of the present invention is the image inspection apparatus according to any one of the first to third aspects, wherein the inspection object is a substrate .

本発明の第5の態様の画像検査装置は、第1〜第4のいずれかの態様の画像検査装置において、前記画像検査装置はさらに検査対象を照明する照明手段を備えることを特徴とする。 The image inspection apparatus according to a fifth aspect of the present invention is the image inspection apparatus according to any one of the first to fourth aspects, wherein the image inspection apparatus further includes illumination means for illuminating the inspection object .

本発明の第6の態様の画像検査装置は、第1〜第5のいずれかの態様の画像検査装置において、前記基準画像を編集可能であることを特徴とする。 An image inspection apparatus according to a sixth aspect of the present invention is the image inspection apparatus according to any one of the first to fifth aspects, wherein the reference image can be edited .

本発明の第7の態様の画像検査装置は、第1〜第6のいずれかの態様の画像検査装置において、前記基準画像を複数用いることを特徴とする。 An image inspection apparatus according to a seventh aspect of the present invention is the image inspection apparatus according to any one of the first to sixth aspects, wherein a plurality of the reference images are used .

本発明の第8の態様の画像検査装置は、第1〜第7のいずれかの態様の画像検査装置において、前記複数の区画のそれぞれは周囲の区画と重なる重なり領域を有していることを特徴とする。 The image inspection apparatus according to an eighth aspect of the present invention is the image inspection apparatus according to any one of the first to seventh aspects, wherein each of the plurality of sections has an overlapping region overlapping with a surrounding section. Features.

本発明の第9の態様の画像検査装置は、第1〜第8のいずれかの態様の画像検査装置において、前記前処理手段において前記設定値により、三原色の混合割合、トーンカーブ、階調及びフィルタの少なくとも1つを設定可能であることを特徴とする。 An image inspection apparatus according to a ninth aspect of the present invention is the image inspection apparatus according to any one of the first to eighth aspects, wherein the preprocessing means determines the mixing ratio, tone curve, gradation, It is characterized in that at least one of the filters can be set .

本発明の第10の態様の画像検査装置は、第1〜第9のいずれかの態様の画像検査装置において、前記判定手段において前記パラメータにより、探索範囲、前記区画の重なり量及び前記テンプレートマッチングを含む手法の少なくとも1つを設定可能であることを特徴とする。 The image inspection apparatus according to a tenth aspect of the present invention is the image inspection apparatus according to any one of the first to ninth aspects, wherein the determination means determines the search range, the overlapping amount of the sections, and the template matching according to the parameters. It is characterized in that at least one of the methods including the setting can be set .

本発明の第11の態様の画像検査装置は、第1〜第10のいずれかの画像検査装置において、前記判定手段において前記テンプレートマッチングを含む手法は、メッシュ内の画像の状態に応じて設定されることを特徴とする。 The image inspection apparatus according to an eleventh aspect of the present invention is the image inspection apparatus according to any one of the first to tenth aspects, wherein a method including the template matching in the determination unit is set according to a state of an image in the mesh. characterized in that that.

本発明の第12の態様の画像検査装置は、第1〜第11の態様の画像検査装置において、前記判定手段はさらに平均輝度及び/又はグレイ化後の標準偏差値の差により類似度を判定することを特徴とする。 The image inspection device according to a twelfth aspect of the present invention is the image inspection device according to any one of the first to eleventh aspects, wherein the determination means further determines the similarity based on a difference in average luminance and / or standard deviation value after graying. characterized in that it.

本発明の第13の態様の画像検査装置は、第1〜第12のいずれかの態様の画像検査装置において、前記メッシュサイズ、前記設定値及び前記パラメータの少なくとも1つは、プリセット値として設定可能であることを特徴とする。 The image inspection apparatus according to a thirteenth aspect of the present invention is the image inspection apparatus according to any one of the first to twelfth aspects, wherein at least one of the mesh size, the set value, and the parameter can be set as a preset value. It is characterized by being.

本発明の第14態様の画像検査装置は、第1〜第13のいずれかの態様の画像検査装置において、前記画像検査装置はさらに検査対象における検査範囲を設定する手段を備えることを特徴とする。 The image inspection apparatus according to a fourteenth aspect of the present invention is the image inspection apparatus according to any one of the first to thirteenth aspects, wherein the image inspection apparatus further includes means for setting an inspection range in the inspection object. .

本発明の第15態様の画像検査装置は、第14の態様の画像検査装置において、前記検査範囲の少なくとも一部は自動設定可能であることを特徴とする。 An image inspection apparatus according to a fifteenth aspect of the present invention is the image inspection apparatus according to the fourteenth aspect, wherein at least a part of the inspection range can be automatically set .

本発明の第16態様の画像検査装置は、第14又は第15の態様の画像検査装置において、前記検査範囲の少なくとも一部は基板のCADデータに基づいて設定されることを特徴とする。 The image inspection apparatus according to a sixteenth aspect of the present invention is the image inspection apparatus according to the fourteenth or fifteenth aspect, wherein at least a part of the inspection range is set based on CAD data of a substrate .

本発明の第17態様の生産システムは、第1〜第16のいずれかの態様の画像検査装置において、前記基準画像の少なくとも一部は、前記撮影手段によって撮影された画像ではなく、基板のCADデータに基づいて生成されたものであることを特徴とする。 According to a production system of a seventeenth aspect of the present invention, in the image inspection apparatus according to any one of the first to sixteenth aspects , at least a part of the reference image is not an image photographed by the photographing means, but a CAD of a substrate. It is generated based on data .

本発明の第18の態様の生産システムは、第1〜第17のいずれかの態様の画像検査装を備えることを特徴とする。 A production system according to an eighteenth aspect of the present invention includes the image inspection device according to any one of the first to seventeenth aspects .

本発明の第19の態様の画像検査方法は、撮影手段により検査対象をカラー画像として撮影する工程と、
メッシュ手段により前記カラー画像を指定されたメッシュサイズに基づいてメッシュ状の複数の区画に区切る工程と、
前処理手段により前記撮影手段により撮影された前記カラー画像を設定値に基づいて所定のグレイスケール画像に変換する工程と、
前記撮影手段によって撮影された、予め選定された基準となる検査対象の前記カラー画像を基準画像として記憶する工程と、
前記メッシュ手段及び前記前処理手段により前記メッシュ状の複数の区画に区切られ、かつ、前記所定のグレイスケールに変換された前記撮像手段により撮影された検査画像及び前記基準画像について、前記メッシュ状の複数の区画毎に基準画像と検査画像とを相対的に移動させる所定の探索範囲において前記類似度が一番高くなる位置を探索する、テンプレートマッチングを含む判定手段により類似度を判定する工程と、
前記メッシュサイズ、前記設定値及び前記パラメータの少なくとも1つを設定すると共に、判定結果を報知する工程と、
を備えることを特徴とする。
An image inspection method according to a nineteenth aspect of the present invention includes a step of photographing a test object as a color image by photographing means;
Dividing the color image into a plurality of mesh-shaped sections based on a designated mesh size by mesh means;
Converting the color image photographed by the photographing means by a pre-processing means into a predetermined gray scale image based on a set value;
Storing the color image of the inspection object, which is a preselected reference, photographed by the photographing means, as a reference image;
Wherein the mesh unit and the pre-processing means is divided into a plurality of compartments of the mesh-like, and, for captured test image and the reference image by the image pickup means is converted into the predetermined gray scale, the mesh-like A step of determining similarity by determination means including template matching, searching for a position where the similarity is highest in a predetermined search range in which the reference image and the inspection image are relatively moved for each of a plurality of sections ;
Setting at least one of the mesh size, the set value, and the parameter, and notifying a determination result;
It is characterized by providing.

本発明の第20の態様の画像検査方法は、撮影手段により検査対象をカラー画像として撮影する工程と、
メッシュ手段により前記カラー画像を指定されたメッシュサイズに基づいてメッシュ状の複数の区画に区切る工程と、
前記メッシュ手段により区切られたメッシュ状の複数の区画ごとに、前処理手段により前記撮影手段により撮影された前記カラー画像を設定値に基づいて所定のグレイスケール画像に変換する工程と、
前記撮影手段によって撮影された、予め選定された基準となる検査対象の前記カラー画像を基準画像として記憶する工程と、
前記メッシュ手段によってメッシュ状の複数の区画に区切られた後に、前記前処理手段により前記複数の区画ごとに前記所定のグレイスケールに変換された前記撮像手段により撮影された検査画像及び前記基準画像について、前記メッシュ状の複数の区画毎に、所定のパラメータに基づいてテンプレートマッチングを含む判定手段により類似度を判定する工程と、
前記メッシュサイズ、前記設定値及び前記パラメータの少なくとも1つを設定すると共に、判定結果を報知するインターフェイス手段と、
を備えることを特徴とする。
An image inspection method according to a twentieth aspect of the present invention includes a step of photographing a test object as a color image by photographing means;
Dividing the color image into a plurality of mesh-shaped sections based on a designated mesh size by mesh means;
For each of a plurality of mesh-like sections divided by the mesh means, converting the color image photographed by the photographing means by a preprocessing means into a predetermined gray scale image based on a set value;
Storing the color image of the inspection object, which is a preselected reference, photographed by the photographing means, as a reference image;
After being divided into a plurality of mesh-like sections by the mesh means, the inspection image and the reference image photographed by the imaging means converted into the predetermined gray scale for each of the plurality of sections by the preprocessing means Determining a degree of similarity for each of the plurality of mesh-shaped sections by a determination unit including template matching based on a predetermined parameter;
Interface means for setting at least one of the mesh size, the set value, and the parameter, and notifying a determination result;
It is characterized by providing.

本発明の第21の態様のプログラムは、第19又は第20の態様の画像検査方法を画像処理装置又は生産システムによって実行させるように、当該画像処理装置又は生産システムを制御する制御装置のコンピュータ上で動作することを特徴とする。 A program according to a twenty-first aspect of the present invention is provided on a computer of a control device that controls the image processing apparatus or the production system so that the image inspection method according to the nineteenth or twentieth aspect is executed by the image processing apparatus or the production system. It is characterized by operating in .

本発明の第22の態様のプログラムは、第21の態様のプログラムにおいて、追加的なアドインプログラムをさらに備えることを特徴とする。
本発明の第23の態様のプログラムは、第21又は第22の態様のプログラムにおいて、モジュール化された検査機能をさらに追加することが可能なことを特徴とする。
本発明の第24の態様の記憶媒体は、第21〜第23のいずれかの態様のプログラムを記憶したことを特徴とする。
A program according to a twenty-second aspect of the present invention is the program according to the twenty-first aspect, further comprising an additional add-in program .
The program according to the twenty-third aspect of the present invention is characterized in that in the program according to the twenty-first or twenty-second aspect, a modularized inspection function can be further added.
A storage medium according to a twenty-fourth aspect of the present invention stores the program according to any one of the twenty-first to twenty-third aspects.

本発明の第1の態様のブラシによれば、メッシュ手段、前処理手段及び判定手段を備えているためカラー画像に対する検出精度が高いうえに直行率が高く、かつ、並列処理により判定処理のための演算を速くすることができる。また、予め選定された基準となる検査対象のカラー画像を基準画像として用いることにより、初期設定が容易である。さらに、ソフトウエアの改良により、高価な装置を必要としないため、コストが安い画像検査装置を提供することができる。   According to the brush of the first aspect of the present invention, since the mesh unit, the preprocessing unit, and the determination unit are provided, the detection accuracy for the color image is high, the direct rate is high, and the determination process is performed by parallel processing. Can be made faster. Further, by using a color image to be inspected as a reference selected in advance as a reference image, initial setting is easy. Furthermore, since the software is improved, an expensive apparatus is not required, so that an image inspection apparatus with a low cost can be provided.

本発明の第2又は第3の態様の画像検査装置によれば、区画ごとに最適な前処理を行うことができるため、より検出精度が高いうえにより直行率を高くすることができる。 According to the image inspection apparatus of the second or third aspect of the present invention , optimal preprocessing can be performed for each section, so that the detection accuracy is higher and the direct rate can be increased .

本発明の第4の態様の画像検査装置によれば、基板の画像検査を行う画像検査装置を提供することができるAccording to the image inspection apparatus of the fourth aspect of the present invention, it is possible to provide an image inspection apparatus that performs image inspection of a substrate .

本発明の第5の態様の画像検査装置によれば、検査対象を適切に照明することにより、判定精度を高めることができるAccording to the image inspection apparatus of the fifth aspect of the present invention, it is possible to improve the determination accuracy by appropriately illuminating the inspection object .

本発明の第6の態様の画像検査装置によれば、基準画像を最適化することができる。 According to the image inspection apparatus of the sixth aspect of the present invention, the reference image can be optimized.

本発明の第7の態様の画像検査装置によれば、部品の位置ずれを不良品と判定してしまうことを防ぎ、直行率を高めることができる。 According to the image inspection apparatus of the seventh aspect of the present invention, it is possible to prevent the component misalignment from being determined as a defective product, and to increase the direct rate.

本発明の第8の態様の画像検査装置によれば、複数の区画のそれぞれは周囲の区画と重なる重なり領域を有しているため、各区画の境界付近の判定精度を向上することができる。 According to the image inspection apparatus of the eighth aspect of the present invention, each of the plurality of sections has an overlapping region overlapping with the surrounding sections, so that the determination accuracy near the boundary of each section can be improved.

本発明の第9の態様の画像検査装置によれば、前処理手段において、三原色の混合割合、トーンカーブ、階調及びフィルタを適切に設定値により、判定精度を向上することができる。 According to the image inspection apparatus of the ninth aspect of the present invention, the determination accuracy can be improved by appropriately setting the mixing ratio, tone curve, gradation, and filter of the three primary colors in the preprocessing means.

本発明の第10の態様の画像検査装置によれば、判定手段において、パラメータにより、探索範囲、区画の重なり量及びマッチング手法を適切に設定することにより、判定精度を向上することができる。 According to the image inspection apparatus of the tenth aspect of the present invention, the determination means can appropriately improve the determination accuracy by appropriately setting the search range, the overlapping amount of the sections, and the matching method according to the parameters.

本発明の第11の態様の画像検査装置によれば、メッシュ内の画像の状態に応じてテンプレートマッチングを含む手法を設定することにより、判定精度を向上することができる。 According to the image inspection apparatus of the eleventh aspect of the present invention, the determination accuracy can be improved by setting a technique including template matching according to the state of the image in the mesh.

本発明の第12の態様の画像検査装置によれば、判定手段に平均輝度及び/又はグレイ化後の標準偏差値の差を用いた類似度の判定をさらに加えることにより、判定精度をより向上することができる。 According to the image inspection apparatus of the twelfth aspect of the present invention, the determination accuracy is further improved by further adding a similarity determination using a difference between the average luminance and / or the standard deviation value after graying to the determination means. can do.

本発明の第13の態様の画像検査装置によれば、メッシュサイズ、設定値及びパラメータをプリセット値として設定可能とすることにより、初期設定をより簡略化することができる。 According to the image inspection apparatus of the thirteenth aspect of the present invention, the initial setting can be further simplified by enabling the mesh size, the setting value, and the parameter to be set as preset values.

本発明の第14の態様の画像検査装置によれば、検査対象における検査範囲を適切に設定することができる。 According to the image inspection apparatus of the fourteenth aspect of the present invention, the inspection range in the inspection object can be set appropriately.

本発明の第15の態様の画像検査装置によれば、検査対象における検査範囲を自動化できるため、初期設定をより簡略化することができる。 According to the image inspection apparatus of the fifteenth aspect of the present invention, since the inspection range in the inspection object can be automated, the initial setting can be further simplified.

本発明の第16の態様の画像検査装置によれば、検査範囲の設定に基板のCADデータを用いることができるので、検査範囲の初期設定を正確かつ容易に行うことができる。 According to the image inspection apparatus of the sixteenth aspect of the present invention, since the CAD data of the substrate can be used for setting the inspection range, the initial setting of the inspection range can be performed accurately and easily.

本発明の第17の態様の画像検査装置によれば、基準画像として基板のCADデータに基づいて生成されたものを用いることができるため、初期設定の工数をより低減することができる。 According to the image inspection apparatus of the seventeenth aspect of the present invention, since the image generated based on the CAD data of the substrate can be used as the reference image, the initial setting man-hour can be further reduced.

本発明の第18の態様の生産システムによれば、上記画像検査装置の効果を奏する生産システムを提供することができる。 According to the production system of the eighteenth aspect of the present invention, it is possible to provide a production system that exhibits the effect of the image inspection apparatus.

本発明の第19の態様の画像検査方法によれば、メッシュ手段、前処理手段及び判定手段を備えているためカラー画像に対する検出精度が高いうえに直行率が高く、かつ、並列処理により判定処理のための演算を速くすることができる。また、予め選定された基準となる検査対象のカラー画像を基準画像として用いることにより、初期設定が容易である。さらに、ソフトウエアの改良により、高価な装置を必要としないため、コストが安い画像検査装置を提供することができる。 According to the image inspection method of the nineteenth aspect of the present invention, since the mesh unit, the preprocessing unit, and the determination unit are provided, the detection accuracy for the color image is high, the direct rate is high, and the determination process is performed by parallel processing. The operation for can be made faster. Further, by using a color image to be inspected as a reference selected in advance as a reference image, initial setting is easy. Furthermore, since the software is improved, an expensive apparatus is not required, so that an image inspection apparatus with a low cost can be provided.

本発明の第20の態様の画像検査方法によれば、区画ごとに最適な前処理を行うことができるため、より検出精度が高いうえにより直行率を高くすることができる。
本発明の第21の態様のプログラムによれば、上記画像検査方法の効果を奏するプログラムを提供することができる。
According to the image inspection method of the twentieth aspect of the present invention, optimal preprocessing can be performed for each section, so that the detection accuracy is higher and the direct rate can be increased.
According to the program of the 21st aspect of this invention, the program which has the effect of the said image inspection method can be provided.

本発明の第22の態様のプログラムによれば、追加的なアドインプログラムをさらに備えることにより、例えばハードウエアの通信態様への対応、I/Oとのマッチングへの対応、及び、生産システムにおけるシーケンサの通信への対応等を適切に行うことができる。 According to the program of the twenty-second aspect of the present invention, by further providing an additional add-in program, for example, correspondence to hardware communication aspects, correspondence to I / O matching, and a sequencer in a production system It is possible to appropriately deal with the communication.

本発明の第23の態様のプログラムによれば、モジュール化された検査機能をさらに追加することにより、外観検査に加え、例えばバーコード読み取り、抵抗カラーバー検査、寸法計測、文字読み取り、LED点灯検査等の機能を容易に追加することができる。 According to the program of the twenty-third aspect of the present invention, by adding a modularized inspection function, in addition to the appearance inspection, for example, barcode reading, resistance color bar inspection, dimension measurement, character reading, LED lighting inspection Etc. can be easily added.

本発明の第24の態様の記憶媒体によれば、上記プログラムの効果を奏する記憶媒体を提供することができる。

According to the storage medium of the twenty-fourth aspect of the present invention, it is possible to provide a storage medium that exhibits the effects of the program.

第1実施形態の画像検査装置の外観斜視図である。1 is an external perspective view of an image inspection apparatus according to a first embodiment. 図1の透過斜視図である。FIG. 2 is a transparent perspective view of FIG. 1. カメラの撮像範囲の説明図である。It is explanatory drawing of the imaging range of a camera. 画像検査装置のブロック図である。It is a block diagram of an image inspection apparatus. 図5Aはメッシュ状の複数の区画に区切る前の基準画像であり、図5Bは自動メッシュを適応した後の基準画像である。FIG. 5A is a reference image before being divided into a plurality of mesh-like sections, and FIG. 5B is a reference image after the automatic mesh is applied. 図6Aは各メッシュのパラメータを編集中の基準画像であり、図6Bは各メッシュのパラメータを編集後の基準画像である。6A is a reference image in which the parameters of each mesh are being edited, and FIG. 6B is a reference image after the parameters of each mesh have been edited. 判定結果表示画面である。It is a determination result display screen. メッシュパラメータ数値の設定画面である。It is a setting screen of a mesh parameter numerical value. 生産システムの構成図である。It is a block diagram of a production system. 第2実施形態の画像検査装置の外観図である。It is an external view of the image inspection apparatus of 2nd Embodiment.

以下、図面を参照して本発明の実施形態に係る画像検査装置を説明する。但し、以下に示す実施形態は本発明の技術思想を具体化するための画像検査装置を例示するものであって、本発明をこれらに特定するものではなく、特許請求の範囲に含まれるその他の実施形態のものにも等しく適用し得るものである。   Hereinafter, an image inspection apparatus according to an embodiment of the present invention will be described with reference to the drawings. However, the embodiment described below exemplifies an image inspection apparatus for embodying the technical idea of the present invention, and does not specify the present invention. Other embodiments are included in the scope of the claims. The present invention is equally applicable to the embodiment.

[第1実施形態]
本発明の第1実施形態に係る画像検査装置1について、図1〜図9を参照して説明する。
[First Embodiment]
An image inspection apparatus 1 according to a first embodiment of the present invention will be described with reference to FIGS.

まず、図1〜図4を用いて、本発明の第1実施形態に係る画像検査装置1の概略構成について説明する。なお、図1は本発明の第1実施形態に係る画像検査装置1の外観斜視図であり、図2は図1の透過斜視図であり、図3はカメラ18a〜18dの撮像範囲の説明図であり、図4は画像検査装置1のブロック図である。   First, a schematic configuration of the image inspection apparatus 1 according to the first embodiment of the present invention will be described with reference to FIGS. 1 is an external perspective view of the image inspection apparatus 1 according to the first embodiment of the present invention, FIG. 2 is a transparent perspective view of FIG. 1, and FIG. 3 is an explanatory diagram of an imaging range of the cameras 18a to 18d. FIG. 4 is a block diagram of the image inspection apparatus 1.

<画像検査装置1の概略構成>
画像検出装置1は、2D画像検査を行う装置であり、画像検査装置本体10及びパーソナルコンピュータ本体(以下「PC本体」という。)25とからなる。画像検査装置本体10は略直方体形状であり、正面下部には、検査対象となる基板20を搭載すると共に、基板20の取り出し位置(図2の状態)と収容位置(図1の状態)との間を摺動可能なスライドテーブル11が設けられている。また、画像検査装置本体10の正面上部には表示灯13が設けられており、基板の良否の判定結果を表示することができるようになっている。例えば、2個の表示灯13が設けられており、一方の表示灯は緑色に発光することにより基板が良品であることを表示し、他方の表示灯は赤色に発光することにより基板が不良品であることを表示する。スライドテーブル11の正面側には操作者が取り出し位置と収容位置との間でスライドテーブル11を摺動させるために把持するハンドル12が設けられている。
<Schematic Configuration of Image Inspection Apparatus 1>
The image detection apparatus 1 is an apparatus that performs 2D image inspection, and includes an image inspection apparatus main body 10 and a personal computer main body (hereinafter referred to as “PC main body”) 25. The image inspection apparatus main body 10 has a substantially rectangular parallelepiped shape, and a substrate 20 to be inspected is mounted on the lower part of the front, and the substrate 20 take-out position (state in FIG. 2) and accommodation position (state in FIG. 1) A slide table 11 is provided that can slide between them. Further, an indicator lamp 13 is provided on the front upper portion of the image inspection apparatus main body 10 so that the determination result of the quality of the substrate can be displayed. For example, two indicator lamps 13 are provided, one of the indicator lights emits green light to indicate that the substrate is non-defective, and the other indicator light emits red light to indicate that the substrate is defective. Is displayed. On the front side of the slide table 11, a handle 12 is provided for the operator to grip the slide table 11 between the take-out position and the storage position.

画像検査装置本体10には、スライドテーブル11を収容位置で固定するためのストッパ23が設けられている。例えば、ストッパ23はスライドテーブル収容部22の側面の正面寄りに設けられているL字状の部材であり、ストッパのL字の一辺は、操作者が操作可能なネジにより、ネジを緩めた状態では回転可能に、ネジを締めた状態では固定可能に、スライドテーブル収容部22の側面に取り付けられている。これにより、ストッパのL字の他辺は、スライドテーブル11に係合する係合位置と、かかる係合を解除する解除位置との間で180度回転移動できる。基板を搭載したスライドテーブル11を収容位置で固定する時には、ストッパ23を係合位置で固定する。一方、基板を着脱するためにスライドテーブル11を引き出す時には、ストッパ23を解除位置に合わせる。   The image inspection apparatus main body 10 is provided with a stopper 23 for fixing the slide table 11 at the storage position. For example, the stopper 23 is an L-shaped member that is provided near the front of the side surface of the slide table housing portion 22, and one side of the L-shape of the stopper is loosened by a screw that can be operated by the operator. Then, it is attached to the side surface of the slide table accommodating part 22 so that it can rotate and can be fixed when the screw is tightened. Thereby, the other side of the L-shape of the stopper can be rotated 180 degrees between the engagement position for engaging the slide table 11 and the release position for releasing the engagement. When the slide table 11 on which the substrate is mounted is fixed at the storage position, the stopper 23 is fixed at the engagement position. On the other hand, when the slide table 11 is pulled out to attach or detach the substrate, the stopper 23 is set to the release position.

スライドテーブル11の上面には、検査対象となる基板20を所定の位置に位置決めして搭載するために、基板20の4辺に対応する位置に、それぞれ第1基準ブロック14、第2基準ブロック15、第1可動ブロック16、及び、第2可動ブロック17が設けられている。各ブロック14〜17の基板20が当接する側の上方には、各ブロック14〜17の長手方向と直交する断面がL字状となる切り欠きが、同じ高さまで設けられている。基板20の4辺は各切り欠きによって所定の高さで支持される。基板20の下面に当たる位置には必要に応じて各切り欠きと対応する高さのバックアップピンを設けることにより、基板20の下面を所定の高さで支持することができる。基板20が薄い場合や、スリットが多くたわみが生じる場合には、バックアップピンを併用することにより基板20を水平に保つことができる。   On the upper surface of the slide table 11, in order to position and mount the substrate 20 to be inspected at a predetermined position, the first reference block 14 and the second reference block 15 are provided at positions corresponding to the four sides of the substrate 20, respectively. The 1st movable block 16 and the 2nd movable block 17 are provided. Notches whose cross sections perpendicular to the longitudinal direction of the blocks 14 to 17 are L-shaped are provided up to the same height above the side of the blocks 14 to 17 on which the substrate 20 abuts. The four sides of the substrate 20 are supported at a predetermined height by the notches. By providing backup pins having heights corresponding to the notches as necessary at positions corresponding to the lower surface of the substrate 20, the lower surface of the substrate 20 can be supported at a predetermined height. When the substrate 20 is thin or when there are many slits and deflection occurs, the substrate 20 can be kept horizontal by using backup pins together.

第1基準ブロック14及び第2基準ブロック15は固定されており、平面視で第1基準ブロック14の基板20側面との当接面と第2基準ブロック15の基板20側面との当接面とが交わる点が、基板20の原点21とされている。図2では第1基準ブロック14と第2基準ブロック15とが接する位置に設けられているが、本発明はこれに限定されない。例えば、本発明は第1基準ブロック14と第2基準ブロック15とが原点21から離れている態様も含む。この場合、平面視で第1基準ブロック14の基板当接面の延長線と、第2基準ブロック15の基板当接面の延長線との交点が基板20の原点21に設定される。   The first reference block 14 and the second reference block 15 are fixed, and a contact surface of the first reference block 14 with the side surface of the substrate 20 and a contact surface of the second reference block 15 with the side surface of the substrate 20 in plan view. Is the origin 21 of the substrate 20. In FIG. 2, the first reference block 14 and the second reference block 15 are provided at the contact positions, but the present invention is not limited to this. For example, the present invention includes a mode in which the first reference block 14 and the second reference block 15 are separated from the origin 21. In this case, the intersection point between the extension line of the substrate contact surface of the first reference block 14 and the extension line of the substrate contact surface of the second reference block 15 in plan view is set as the origin 21 of the substrate 20.

基板20をスライドテーブル11に搭載する際には、基板20の4辺の中の原点21寄りの2辺を第1基準ブロック14及び第2基準ブロック15に当接させて位置決めする。この状態で、第1可動ブロック16及び第2可動ブロック17を基板20の他の2辺に当接するまで移動させ、基板20を各ブロック14〜17に設けられた切り欠きに支持する。第1可動ブロック16及び第2可動ブロック17はボルトにより固定されているので、このボルトを緩めて第1可動ブロック16及び第2可動ブロック17を基板20の他の2辺に当接するまで移動させ、再びボルトを締めることにより、各ブロック14〜17によって基板20を位置決めした状態で固定することができる。このボルトを締めるためには例えば六角レンチを用いることができる。   When the substrate 20 is mounted on the slide table 11, two sides near the origin 21 among the four sides of the substrate 20 are brought into contact with the first reference block 14 and the second reference block 15 for positioning. In this state, the first movable block 16 and the second movable block 17 are moved until they abut against the other two sides of the substrate 20, and the substrate 20 is supported by the notches provided in the blocks 14 to 17. Since the first movable block 16 and the second movable block 17 are fixed by bolts, the bolts are loosened and the first movable block 16 and the second movable block 17 are moved until they abut against the other two sides of the substrate 20. By tightening the bolts again, the substrate 20 can be fixed in a state of being positioned by the blocks 14-17. For example, a hexagon wrench can be used to tighten the bolt.

画像検査装置本体10の天井面内側にはスライドテーブル11に搭載された基板20を撮影するために撮影手段としての4台の固定式のカメラ18a〜18dが設けられている。カメラ18a〜18dは基板20のカラー画像40を撮影するものである。第1実施形態ではカメラ18a〜18dは4台設けられているが、本発明はこれに限定されず、カメラ18a〜18dの台数は1台であっても、複数台であってもよく、例えば6台であってもよい。カメラ18a〜18dとしては、例えば1400万画素のUSBカメラを用いることができる。また、カメラ18a〜18dのレンズとしては、被写界深度が深い広角レンズを用いることができる。これに対し、従来の画像検査装置には挟角レンズが採用されることが多いが、挟角レンズは被写界深度が浅いため、高さの異なる全ての部品に対してピントを合わせることが困難である。このため挟角レンズを用いたカメラ18の場合には、カメラ18を三軸ロボットで移動させながら、高さ方向にカメラを移動させて各部品に対して焦点を合わせながら撮影する必要があるため、移動機構が複雑になる問題、移動時の振動の問題、得られた画像の倍率調整の問題等がある。第1実施形態のカメラ18a〜18dには広角レンズが採用されているため、広い範囲を一度に撮影でき、また、光学分解能は例えば40μm/pexelである。また、一番高さの低い部品を基準にして焦点を設定しておけば、ほぼ全ての高さの部品に対してピントがあった状態のカラー画像40を得ることができる。従って、カメラ18a〜18dは固定式であり、かつ、絞りも必要ないため、カメラには可動部がなく、低コストで、高寿命であると共に、小型化も可能である。   Inside the ceiling surface of the image inspection apparatus main body 10, four fixed cameras 18 a to 18 d are provided as photographing means for photographing the substrate 20 mounted on the slide table 11. The cameras 18a to 18d capture the color image 40 of the substrate 20. In the first embodiment, four cameras 18a to 18d are provided. However, the present invention is not limited to this, and the number of cameras 18a to 18d may be one or plural, for example, Six may be sufficient. As the cameras 18a to 18d, for example, 14 million pixel USB cameras can be used. Further, as the lenses of the cameras 18a to 18d, wide-angle lenses having a deep depth of field can be used. In contrast, conventional image inspection apparatuses often employ a narrow-angle lens, but the narrow-angle lens has a shallow depth of field, so that all parts having different heights can be focused. Have difficulty. For this reason, in the case of the camera 18 using the narrow-angle lens, it is necessary to move the camera 18 in the height direction while moving the camera 18 with a three-axis robot and to shoot while focusing on each component. There are a problem that the moving mechanism becomes complicated, a problem of vibration during movement, a problem of adjusting the magnification of the obtained image, and the like. Since the cameras 18a to 18d of the first embodiment employ wide-angle lenses, a wide range can be photographed at a time, and the optical resolution is, for example, 40 μm / pixel. Further, if the focal point is set with reference to the component with the lowest height, the color image 40 in a state where the focus is achieved with respect to almost all components with the height can be obtained. Therefore, since the cameras 18a to 18d are fixed and do not require a diaphragm, the camera has no moving parts, is low in cost, has a long life, and can be downsized.

基板20に搭載する部品には若干の色のバラツキがある。また、標準機93、異型機94等(図9参照)のマウンタにより、部品を基板20に搭載する際にも搭載位置に若干のバラツキが生じることがある。画像検査において、カメラ18a〜18dの光学分解能を必要以上に高くすると、ごく僅かなバラツキが不良判定されてしまい、直行率が低下する恐れがある。また、後述のLED照明19についても、必要以上に色の再現度が高い照明を用いると、ごく僅かなバラツキが不良判定されてしまい、直行率が低下する恐れがある。そのため、第1実施形態の画像検査装置本体10では、カメラ18a〜18d及びLED照明19として、FA専用品ではなく、汎用のUSBカメラ及び一般照明を用いている。   The components mounted on the substrate 20 have some color variations. Further, due to the mounters of the standard machine 93, the variant machine 94, etc. (see FIG. 9), there may be some variation in the mounting position even when components are mounted on the board 20. In the image inspection, if the optical resolution of the cameras 18a to 18d is increased more than necessary, a very slight variation may be determined as defective, and the direct rate may be reduced. Also, for the LED illumination 19 described later, if illumination having a color reproducibility higher than necessary is used, a very slight variation is judged as defective, and the direct rate may be reduced. Therefore, in the image inspection apparatus main body 10 of the first embodiment, a general-purpose USB camera and general illumination are used as the cameras 18a to 18d and the LED illumination 19 instead of a dedicated FA product.

広角レンズで撮影した画像は球面状に湾曲することがあるので、ハフ変換やアフィン変換などの画像処理を施すことにより、画像の歪みを補正することが望ましい。また、基板20を置き換えた場合には、原点21の位置を厳密に保持することは困難であるため、カラー画像40上の複数の特徴点を抽出することにより、各カラー画像40の原点21をアライメント較正する。   Since an image photographed with a wide-angle lens may be curved in a spherical shape, it is desirable to correct image distortion by performing image processing such as Hough transform or affine transform. In addition, when the substrate 20 is replaced, it is difficult to maintain the position of the origin 21 strictly. Therefore, by extracting a plurality of feature points on the color image 40, the origin 21 of each color image 40 is determined. Calibrate the alignment.

4台のカメラ18a〜18dは、例えば330mm×250mmの大きさのMサイズの基板20の全体を漏れなく撮影できるように、縦2列、横2列に配列されている。各カメラ18a〜18dの撮像範囲は図3に示すように、基板20を完全に含む範囲で、かつ、相互に重なり合う領域が含まれるように設定されている。   The four cameras 18a to 18d are arranged in two vertical rows and two horizontal rows so that, for example, the entire M-size substrate 20 having a size of 330 mm × 250 mm can be photographed without omission. As shown in FIG. 3, the imaging ranges of the cameras 18 a to 18 d are set so as to completely include the substrate 20 and include areas that overlap each other.

カメラ18a〜18dと基板20との間の画像検査装置本体10の内部には、照明手段として、4面の内壁にそれぞれ1個ずつ、合計4個の平板型のLED照明19が設けられている。LED照明19は白色の面状光源であり、正面及び背面のLED照明19は基板20へ向けて斜めに配光され、両側面のLED照明19は側面に対して垂直な方向へ配光されている。両側面に設けたLED照明19は正面及び背面に設けたLED照明19よりも基板20に近い位置(低い位置)に設けられている。このよう各LED照明19の配光を適切に設定すると共に、各LED照明19の輝度を制御することにより、カメラ18a〜18dにより影やテカリのないカラー画像を撮影することができる。   Inside the image inspection apparatus main body 10 between the cameras 18a to 18d and the substrate 20, a total of four plate-type LED lights 19 are provided as illumination means, one on each of four inner walls. . The LED illumination 19 is a white planar light source, the front and back LED illuminations 19 are distributed obliquely toward the substrate 20, and the LED illuminations 19 on both sides are distributed in a direction perpendicular to the side surfaces. Yes. The LED lighting 19 provided on both side surfaces is provided at a position (a lower position) closer to the substrate 20 than the LED lighting 19 provided on the front and back surfaces. As described above, by appropriately setting the light distribution of each LED illumination 19 and controlling the luminance of each LED illumination 19, it is possible to capture color images without shadows or shine by the cameras 18a to 18d.

PC本体25には、インターフェイス手段30として、ディスプレイ26、キーボード27及びマウス28が設けられている。また、PC本体25は電源ケーブルを介して商用電源(図示省略)から給電されると共に、例えばUSBケーブルによって画像検査装置本体10と接続されている。PC本体25には、画像検査プログラム35がインストールされており、メッシュ手段31、前処理手段32、基準画像記憶手段33、及び、判定手段34の機能を備えている。また、PC本体25は、カメラ18a〜18dの設定及び制御を行い、撮影されたカラー画像を処理する。さらに、PC本体25は各LED照明19を制御することにより、カメラ18a〜18dにより影やテカリのないカラー画像を撮影することができる。操作者は、ディスプレイ26に表示される画像を見ながら、キーボード27及びマウス28を用いて、各種設定及び画像検査を行う。また、基板20を画像検査した判定結果はディスプレイ26に表示されると共に、表示灯13にも表示される。なお、図1ではPC本体25としてノートパソコンが例示されており、ノートパソコンの場合にはディスプレイ26及びキーボード27がPC本体25に一体に設けられている。また、PC本体25としては例えばタブレット端末であってもよく、タブレット端末の場合には、キーボード27及びマウス28を省略することができる。   The PC main body 25 is provided with a display 26, a keyboard 27, and a mouse 28 as interface means 30. The PC main body 25 is supplied with power from a commercial power supply (not shown) via a power cable, and is connected to the image inspection apparatus main body 10 via, for example, a USB cable. An image inspection program 35 is installed in the PC main body 25, and includes functions of a mesh unit 31, a preprocessing unit 32, a reference image storage unit 33, and a determination unit 34. In addition, the PC main body 25 performs setting and control of the cameras 18a to 18d, and processes captured color images. Furthermore, the PC main body 25 can shoot color images without shadows or shine by the cameras 18 a to 18 d by controlling the LED lights 19. The operator performs various settings and image inspection using the keyboard 27 and the mouse 28 while viewing the image displayed on the display 26. The determination result obtained by performing the image inspection of the substrate 20 is displayed on the display 26 and also on the indicator lamp 13. In FIG. 1, a notebook personal computer is illustrated as the PC main body 25, and in the case of the notebook personal computer, a display 26 and a keyboard 27 are provided integrally with the PC main body 25. The PC main body 25 may be, for example, a tablet terminal. In the case of a tablet terminal, the keyboard 27 and the mouse 28 can be omitted.

PC本体25では、複数のプロセッサコアを有するマルチコアプロセッサを採用することが望ましい。マルチコアプロセッサでは、各プロセッサコアは基本的に独立しているため、各プロセッサコアは他のプロセッサコアの影響を受けることなく操作可能である。マルチコアプロセッサにより並列処理を行うことにより、演算速度を向上させることができる。コアの数は2以上であればよく、コアの数が多いほど、同時により多くの演算を行うことができるため、より演算速度を向上させることができる。画像検査プログラム35はマルチコアプロセッサに並列処理を行わせるようにプログラミングされている。画像検査プログラム35では、メッシュ毎に前処理及びテンプレートマッチングを行うため、並列処理による演算速度向上の効果が高い。また、本発明ではマルチコアプロセッサに限定するものではなく、PC本体において列処理が行えるものであればよく、例えばマルチプロセッサを採用することもできる。   The PC main body 25 desirably employs a multi-core processor having a plurality of processor cores. In a multi-core processor, each processor core is basically independent, so that each processor core can be operated without being influenced by other processor cores. By performing parallel processing with a multi-core processor, the calculation speed can be improved. The number of cores only needs to be two or more, and the larger the number of cores, the more computations can be performed at the same time, so that the computation speed can be further improved. The image inspection program 35 is programmed to cause a multi-core processor to perform parallel processing. Since the image inspection program 35 performs preprocessing and template matching for each mesh, the effect of improving the calculation speed by parallel processing is high. Further, the present invention is not limited to the multi-core processor, and any PC processor that can perform column processing can be used. For example, a multi-processor can be adopted.

画像検査装置本体10の仕様に応じて、カメラ18a〜18dの仕様、台数及び配置は異なり、また、LED照明19の仕様、個数及び配置は異なっている。そこで、画像検査装置本体10の仕様に合わせて画像検査プログラム35の初期設定を行うことにより、画像検査プログラム35を多様な仕様の画像検査装置本体10に対して共用することができる。この初期設定は画像検査装置1の出荷前に行っておくことが望ましい。   Depending on the specifications of the image inspection apparatus body 10, the specifications, the number, and the arrangement of the cameras 18 a to 18 d are different, and the specifications, the number, and the arrangement of the LED lighting 19 are different. Therefore, by performing the initial setting of the image inspection program 35 according to the specifications of the image inspection apparatus body 10, the image inspection program 35 can be shared with the image inspection apparatus body 10 having various specifications. This initial setting is preferably performed before the shipment of the image inspection apparatus 1.

<基板20の画像検査の手順>
次に、基板20の画像検査の手順について説明する。
<Image Inspection Procedure for Substrate 20>
Next, an image inspection procedure for the substrate 20 will be described.

最初に良品基板20Rのカラー画像40である基準画像40Rの取得を行う。ディスプレイ26に表示されている良品基板20Rの撮影スタートボタンをクリックすると、PC本体25と画像検査装置本体10とが通信状態となり、PC本体25はカメラ18a〜18d及びLED照明19を制御し、カメラ18a〜18dからの画像データを受信できる状態となる。操作者は事前に良品であることが確認されている良品基板20Rを用意し、スライドテーブル11に良品基板20Rを搭載する。操作者はハンドル12を掴んで、スライドテーブル11をスライドテーブル収容部22の奥まで押し込むと、検査装置本体10の電源がオンとなり、LED照明19が点灯する。4台のカメラ18a〜18dが順に、すなわち、カメラ18aから始め、次に、カメラb、カメラ18c、カメラ18dの順番で、良品基板20Rの所定の領域を撮影し、撮影された基準画像40RのデータはPC本体25に送信され、基準画像記憶手段33に記憶される。各カメラ18a〜18dの撮影時には、良品基板20Rの各カメラ18a〜18dの撮像範囲に相当する部分の照明が最適となるように各LED照明19を制御してもよい。4台のカメラ18a〜18dの撮影が全て終了すると、ディスプレイ26には良品基板20Rの基準画像40Rの取得が終了した旨が表示される。ここで、ディスプレイ26に表示されている通信停止ボタンをクリックしてPC本体25と画像検査装置本体10との通信を停止する。なお、ここでは、4台のカメラ18a〜18dが順に良品基板20Rを撮影する態様を説明したが、本発明はこれに限定されず、4台のカメラ18a〜18dの中の複数のカメラが同時に撮影するようにしてもよいし、全てのカメラが同時に撮影するようにしてもよい。   First, the reference image 40R that is the color image 40 of the non-defective substrate 20R is acquired. When the photographing start button on the non-defective substrate 20R displayed on the display 26 is clicked, the PC main body 25 and the image inspection apparatus main body 10 are in a communication state, and the PC main body 25 controls the cameras 18a to 18d and the LED illumination 19, and the camera The image data from 18a to 18d can be received. The operator prepares a non-defective substrate 20 </ b> R that has been confirmed to be non-defective in advance, and mounts the non-defective substrate 20 </ b> R on the slide table 11. When the operator grasps the handle 12 and pushes the slide table 11 to the back of the slide table housing portion 22, the power of the inspection apparatus body 10 is turned on, and the LED illumination 19 is lit. The four cameras 18a to 18d are photographed in order, that is, starting from the camera 18a, and then a predetermined area of the non-defective substrate 20R is photographed in the order of the camera b, the camera 18c, and the camera 18d. The data is transmitted to the PC main body 25 and stored in the reference image storage means 33. At the time of photographing with each camera 18a to 18d, each LED illumination 19 may be controlled so that the illumination of the portion corresponding to the imaging range of each camera 18a to 18d of the non-defective substrate 20R is optimized. When all of the four cameras 18a to 18d are photographed, the display 26 displays that the acquisition of the reference image 40R of the non-defective substrate 20R is finished. Here, the communication stop button displayed on the display 26 is clicked to stop communication between the PC main body 25 and the image inspection apparatus main body 10. Here, the mode in which the four cameras 18a to 18d photograph the non-defective substrate 20R in order has been described. However, the present invention is not limited to this, and a plurality of cameras in the four cameras 18a to 18d can simultaneously be captured. You may make it image | photograph, and you may make it all the cameras image | photograph simultaneously.

次に良品基板20Rの基準画像40Rに対して、メッシュ手段31及び前処理手段32を用いて、検査詳細設定を行う。ディスプレイ26に表示されている4個の基準画像40Rの中から設定したい基準画像40Rをマウスで選択すると、詳細設定用の画面に対応する基準画像40Rが表示される。   Next, detailed inspection setting is performed on the reference image 40R of the non-defective substrate 20R using the mesh unit 31 and the preprocessing unit 32. When the reference image 40R to be set is selected from the four reference images 40R displayed on the display 26 with the mouse, the reference image 40R corresponding to the detailed setting screen is displayed.

本発明の画像検査では、検査範囲全体に所定のピクセルサイズのメッシュがマッピングされており、各メッシュに対して前処理を行った上で、メッシュ単位で基準画像40Rとテスト画像40Tとのテンプレートマッチングを行うことで不良個所を検出する。マッチングにはメッシュ毎に予めプリセットされた3種類のパラメータ、すなわち、「標準[1]」、「甘め[2]」及び「厳しめ[3]」の3種類のパラメータから所望のものを選択できる他、「検査対象からはずす[0]」設定も選ぶことができる。初期設定状態ではシステムの自動判定により必要箇所に標準[1]パラメータのメッシュを配置する「自動メッシュ」が適応されているが、この他には、全メッシュが標準パラメータ設定となる「全セット」及び全メッシュを検査対象からはずす「クリア」を選択することができ、さらに、手動で各メッシュのパラメータを調整することもできる。例えば全セットを選択した場合には、手動で検査不要部分を検査対象からはずす[0]設定にすることで設定を完了させ、また、クリアを選択した場合には、手動で検査が必要な部分に3種類のパラメータを設定する。このように手動によるパラメータの調整が可能なので、最初は検査対象箇所全てを標準[1]に設定しておき、実際の生産での検査結果に応じて、部分的に甘め[2]又は厳しめ「3」に変更して最適な設定としていくことができる。   In the image inspection of the present invention, meshes of a predetermined pixel size are mapped over the entire inspection range, and after pre-processing each mesh, template matching between the reference image 40R and the test image 40T is performed in units of meshes. To detect defective parts. For matching, select the desired parameter from the three parameters preset for each mesh, ie, “Standard [1]”, “Sweet [2]” and “Strict [3]” In addition, it is possible to select the “Remove from inspection target [0]” setting. In the initial setting state, “automatic mesh” in which meshes with standard [1] parameters are arranged at necessary locations by automatic system judgment is applied, but in addition to this, “all sets” in which all meshes become standard parameter settings. “Clear” for removing all meshes from the inspection target can be selected, and the parameters of each mesh can be adjusted manually. For example, when all sets are selected, manually remove the unnecessary parts from the inspection target and set to [0] to complete the setting. When clear is selected, the parts that require manual inspection Set three parameters. Since the parameters can be adjusted manually in this way, initially all the inspection target locations are set to standard [1], and partially sweetened [2] or strict depending on the inspection results in actual production. Therefore, it can be changed to “3” for optimum setting.

自動メッシュ、全セット、クリアのいずれの方法を選択しても、その後の手動でのメッシュの設定方法は共通であるので、ここでは自動メッシュを選択した後に手動でメッシュを設定する方法を、図5及び図6を用いて説明する。なお、図5Aはメッシュ状の複数の区画に区切る前の基準画像40Rであり、図5Bは自動メッシュを適応した後の基準画像40Rであり、図6Aは各メッシュのパラメータを編集中の基準画像40Rであり、図6Bは各メッシュのパラメータを編集後の基準画像40Rである。   Regardless of the automatic mesh, all set, or clear method, the manual mesh setting method after that is the same, so here we show how to set the mesh manually after selecting the automatic mesh. 5 and FIG. 5A is a reference image 40R before being divided into a plurality of mesh-like sections, FIG. 5B is a reference image 40R after the automatic mesh is applied, and FIG. 6A is a reference image in which the parameters of each mesh are being edited. 6B is a reference image 40R after editing the parameters of each mesh.

図5Aのメッシュ状の複数の区画に区切る前の基準画像40Rに対して、自動メッシュを適応すると、図5Bのようにシステムの自動判定により必要箇所に標準[1]パラメータのメッシュが配置される。図6Aではマウス28の操作により表示倍率を上げた状態を示している。パラメータの設定変更したい部分をマウス28の操作により選択してエリアを確定すると、コンテキストメニューが表示される。このメニューの中から標準[1]、甘め[2]、厳しめ[3]、又は、検査対象からはずす[0]パラメータをマウス28の操作により選択すると、選択されているエリア内の全てのメッシュが、その選択されたパラメータに変更される。このような手動での変更を繰り返し、所望の編集が完了したら、ディスプレイ26に表示されているOKボタンをクリックすることにより、詳細設定を完了させる(図6B参照)。なお、プリセット値を用いた設定の他に、後述のように、メッシュ手段31、前処理手段32、及び、判定手段34の詳細設定を変更することもできる(図8参照)。   When the automatic mesh is applied to the reference image 40R before being divided into a plurality of mesh-like sections in FIG. 5A, the standard [1] parameter mesh is arranged at a necessary location by automatic system determination as shown in FIG. 5B. . FIG. 6A shows a state in which the display magnification is increased by operating the mouse 28. When the area to be changed is selected by operating the mouse 28 and the area is fixed, a context menu is displayed. When the standard [1], sweet [2], strict [3], or [0] parameter to be removed from the inspection target is selected by operating the mouse 28 from this menu, all the items in the selected area are selected. The mesh is changed to the selected parameter. When such manual changes are repeated and desired editing is completed, the detailed setting is completed by clicking the OK button displayed on the display 26 (see FIG. 6B). In addition to the setting using the preset value, the detailed setting of the mesh unit 31, the preprocessing unit 32, and the determination unit 34 can be changed as described later (see FIG. 8).

次に基板検査を実施する。ディスプレイ26に表示されている検査基板20Tの撮影スタートボタンをクリックすると、PC本体25と画像検査装置本体10とが通信状態となり、PC本体25はカメラ18a〜18d及びLED照明19を制御し、カメラ18a〜18dからの画像データを受信できる状態となる。操作者はスライドテーブル11に検査基板20Tを搭載する。操作者はハンドル12を掴んで、スライドテーブル11をスライドテーブル収容部22の奥まで押し込むと、検査装置本体10の電源がオンとなり、LED照明19が点灯する。4台のカメラ18a〜18dが順に、すなわち、カメラ18aから始め、次に、カメラb、カメラ18c、カメラ18dの順番で、検査基板20Tの所定の領域を撮影し、撮影されたテスト画像40TのデータはPC本体25に送信される。各カメラ18a〜18dの撮影時には、検査基板20Tの各カメラ18a〜18dの撮像範囲に相当する部分の照明が最適となるように各LED照明19を制御してもよい。なお、ここでは、4台のカメラ18a〜18dが順に検査基板20Tを撮影する態様を説明したが、本発明はこれに限定されず、4台のカメラ18a〜18dの中の複数のカメラが同時に撮影するようにしてもよいし、全てのカメラが同時に撮影するようにしてもよい。   Next, a substrate inspection is performed. When the photographing start button of the inspection board 20T displayed on the display 26 is clicked, the PC main body 25 and the image inspection apparatus main body 10 are in a communication state, and the PC main body 25 controls the cameras 18a to 18d and the LED illumination 19, and the camera The image data from 18a to 18d can be received. The operator mounts the inspection board 20T on the slide table 11. When the operator grasps the handle 12 and pushes the slide table 11 to the back of the slide table housing portion 22, the power of the inspection apparatus body 10 is turned on, and the LED illumination 19 is lit. The four cameras 18a to 18d are photographed in order, that is, starting from the camera 18a, and then a predetermined area of the inspection board 20T is photographed in the order of the camera b, the camera 18c, and the camera 18d. Data is transmitted to the PC main body 25. When photographing with each camera 18a to 18d, each LED illumination 19 may be controlled so that the illumination of the portion corresponding to the imaging range of each camera 18a to 18d on the inspection board 20T is optimized. In addition, although the aspect which image | photographs the test | inspection board | substrate 20T in order from 4 cameras 18a-18d was demonstrated here, this invention is not limited to this, The several camera in 4 cameras 18a-18d is simultaneous. You may make it image | photograph, and you may make it all the cameras image | photograph simultaneously.

4枚のテスト画像40Tは順番に検査が実施される。各テスト画像40Tはメッシュ手段31及び前処理手段32で画像処理された後に、判定手段34によって、基準画像記憶手段33に記憶される基準画像40Rとのテンプレートマッチングが行われることにより、良否の判定が行われる。良否の判定は、部品の不良だけではなく、実装検査に必要とされる、はんだボール、傷、汚れ等についても対応している。4枚のテスト画像40Tの検査を実施して全ての検査で良品であると判断されると、「ピンポン」という音と共に表示灯13が緑色に点灯し、ディスプレイ26には検査が完了した旨表示され、検査基板20Tが良品であることを操作者に報知する。操作者はスライドテーブルを引き出し、次の検査基板20Tに入れ替えて検査を続行する。全ての検査基板20Tの検査が終了したら、ディスプレイ26に表示されている通信停止ボタンをクリックしてPC本体25と画像検査装置本体10との通信を停止し、検査が完了する。   The four test images 40T are inspected in order. Each test image 40T is subjected to image processing by the mesh unit 31 and the preprocessing unit 32, and then the determination unit 34 performs template matching with the reference image 40R stored in the reference image storage unit 33, thereby determining pass / fail. Is done. The determination of pass / fail corresponds not only to defective parts but also to solder balls, scratches, dirt, etc., which are required for mounting inspection. When the four test images 40T are inspected and all the inspections are judged to be non-defective, the indicator lamp 13 lights in green with a sound of “ping-pong”, and the display 26 indicates that the inspection has been completed. Then, the operator is notified that the inspection board 20T is a non-defective product. The operator pulls out the slide table, replaces it with the next inspection substrate 20T, and continues the inspection. When the inspection of all the inspection substrates 20T is completed, the communication stop button displayed on the display 26 is clicked to stop the communication between the PC main body 25 and the image inspection apparatus main body 10, and the inspection is completed.

4枚のテスト画像40Tの中、いずれかの検査で不良品であると判定された場合、「ブブー」という音と共に表示灯13が赤色に点灯し、ディスプレイ26には不良個所が表示される(図7参照)ことにより、検査基板20Tが不良品である可能性があることを操作者に報知すると共に、検査が中断される。ディスプレイ26にはメッシュ41によりマッピングされたテスト画像40Tが表示されると共に、不良判定部分に赤色の矩形(図7を参照。)が表示される。また、マウス28の操作により、テスト画像40Tを所望の倍率に拡大することもできる。さらに、画面の左上に不良判定部分の拡大画像を基準画像40Rとテスト画像40Tとを並べてカラー表示することもできる。   If it is determined that any of the four test images 40T is defective in the inspection, the indicator lamp 13 is lit red together with the sound “Boobu”, and the defective part is displayed on the display 26 ( Thus, the operator is notified that the inspection board 20T may be defective, and the inspection is interrupted. A test image 40T mapped by the mesh 41 is displayed on the display 26, and a red rectangle (see FIG. 7) is displayed in the defect determination portion. Further, the test image 40T can be enlarged to a desired magnification by operating the mouse 28. Furthermore, the enlarged image of the defect determination portion can be displayed in color on the upper left of the screen by arranging the reference image 40R and the test image 40T side by side.

この時、ほとんどの検査箇所が不良判定された場合には、例えば、スライドテーブル11が奥まで押し込まれていないこと、検査基板20Tがスライドテーブル11に逆向きに搭載されていること、第1可動ブロック16又は第2可動ブロック17が緩んでいて検査基板20Tがずれていること、又は、LED照明19が点灯していないこと等の可能性があるため、操作者は検査基板20Tをスライドテーブル11に搭載し直す。   At this time, when most of the inspection locations are determined to be defective, for example, the slide table 11 is not pushed in all the way, the inspection substrate 20T is mounted on the slide table 11 in the reverse direction, the first movable Since there is a possibility that the block 16 or the second movable block 17 is loose and the inspection board 20T is displaced, or the LED illumination 19 is not lit, the operator holds the inspection board 20T on the slide table 11. Re-install.

不良個所が数個から数十個の場合は、操作者はテスト画像40Tの目視検査を行う。マウス28の操作により画面を拡大し、テスト画像40Tと基準画像40Rとを切り替えて確認することができる。また、別の目視調査の方法として、不良判定箇所を順次、手動で良品判定に変更することも可能である。マウス28で選択したメッシュのテスト画像40Tと基準画像40Rとを並べて拡大表示することにより、良品であると判断した場合には、キーボードの操作により選択したメッシュの判定を良品判定に変更することができる。この操作を行うと、次の不良判定箇所が自動的に選択される。このような操作を繰り返し、最終的に全てのメッシュを良品判定に変更すると、このテスト画像40T全体が良品判定に変更され、自動的に次のテスト画像40Tの検査に移行する。   When there are several to several tens of defective portions, the operator performs a visual inspection of the test image 40T. The screen can be enlarged by operating the mouse 28, and the test image 40T and the reference image 40R can be switched and confirmed. As another visual inspection method, it is also possible to manually change the defect determination portion to the non-defective product determination sequentially. When the test image 40T and the reference image 40R of the mesh selected by the mouse 28 are displayed side by side and magnified and displayed as non-defective, it is possible to change the determination of the mesh selected by keyboard operation to non-defective determination. it can. When this operation is performed, the next failure determination location is automatically selected. When such an operation is repeated and finally all meshes are changed to the non-defective product determination, the entire test image 40T is changed to the non-defective product determination, and the process automatically shifts to the next test image 40T inspection.

次に、検査設定を最適化する方法について説明する。直行率を高めるために、検査作業の中で不良判定であると誤判定品されやすい箇所や部品については、検査設定を見直す必要がある。例えば、アルミ電解コンデンサ等の部品の表面の印字部分を検査しなくてもよい場合には、検査対象からはずす[0]か、甘め[2]パラメータに変更する。また、例えば、基準画像40Rの部品がずれている場合には、基準画像40Rを部分的に入れ替えることが可能である。テスト画像40T上で入れ替えたい部分をマウス28で選択して、コンテキストメニューを表示させ、「基準画像を入れ替える」を選ぶことで、テスト画像40T上の選択された部分の画像で基準画像40Rの対応する部分が書き換えられる。さらに、例えば、極性のない部品の逆マウントについて、印字の向きが基準画像40Rと異なることから、誤って不良判定してしまう場合には、印字部分を逆画像と混合することで、どちら向きでも良品判定されるように変更することが可能である。テスト画像40T上で混合したい部分をマウス28で選択して、コンテキストメニューを表示させ、「基準画像と混合する」を選ぶことで、テスト画像40T上の選択された部分が基準画像40Rの対応部分に混合される。また、基準画像40Rをテスト画像40Tと入れ替えることも可能である。この場合、4枚の基準画像40Rの中から1枚を対応する対応するテスト画像40Tと入れ替えることもできるし、また、4枚の基準画像40Rの全てをテスト画像40Tと入れ替えることもできる。   Next, a method for optimizing the inspection setting will be described. In order to increase the straightness rate, it is necessary to review the inspection settings for parts and parts that are likely to be erroneously determined as defective in the inspection work. For example, when it is not necessary to inspect the printed portion on the surface of a component such as an aluminum electrolytic capacitor, the parameter is removed from the inspection target [0] or changed to the sweet [2] parameter. Further, for example, when the components of the reference image 40R are shifted, the reference image 40R can be partially replaced. The part to be replaced on the test image 40T is selected with the mouse 28, a context menu is displayed, and by selecting "Replace reference image", the image of the selected part on the test image 40T is associated with the reference image 40R. The part to do is rewritten. In addition, for example, for the reverse mounting of a non-polar component, since the printing direction is different from the reference image 40R, if it is erroneously determined to be defective, the printed part can be mixed with the reverse image in either direction. It can be changed so that the non-defective product is determined. A part to be mixed on the test image 40T is selected with the mouse 28, a context menu is displayed, and by selecting "Mix with reference image", the selected part on the test image 40T is a corresponding part of the reference image 40R. To be mixed. It is also possible to replace the reference image 40R with the test image 40T. In this case, one of the four reference images 40R can be replaced with the corresponding test image 40T, or all of the four reference images 40R can be replaced with the test image 40T.

第1実施形態の画像検査装置1は、基板20の検査装置であり、実装部品の状態の検査に加え、基板20の印刷配線パターンの検査、防水及び絶縁用のコーティングの範囲の検査等にも使用できる。防水及び絶縁用のコーティングの範囲の検査の場合には、ブラックライトを照射することにより、コーティング剤の塗布範囲が発光する性質を利用する。   The image inspection apparatus 1 according to the first embodiment is an inspection apparatus for a substrate 20, and in addition to the inspection of the state of mounted components, the inspection of the printed wiring pattern of the substrate 20, the inspection of the waterproof and insulating coating range, and the like. Can be used. In the case of the inspection of the range of the waterproof and insulating coating, the property that the coating range of the coating agent emits light by irradiating with black light is used.

<メッシュパラメータ数値の詳細設定について>
プリセット値を用いた設定の他に、メッシュ手段31、前処理手段32、及び、判定手段34に関するメッシュパラメータ数値の詳細設定を変更することも可能である。メッシュパラメータ数値はメッシュ毎に設定される。図8を用いて、メッシュパラメータ数値の詳細設定について説明する。なお、図8はメッシュパラメータ数値の設定画面である。
<Detailed setting of mesh parameter values>
In addition to the setting using the preset value, it is also possible to change the detailed setting of the mesh parameter numerical values related to the mesh unit 31, the preprocessing unit 32, and the determination unit 34. The mesh parameter value is set for each mesh. The detailed setting of mesh parameter values will be described with reference to FIG. FIG. 8 is a mesh parameter numerical value setting screen.

プリセット値としては、標準50、甘め51、及び、厳しめ52の3つのパラメータの中から選択ができ、このパラメータに対応して、前処理60、マッチング条件80、及び、判定基準85等の多くのメッシュパラメータ数値が設定されている。図8は、プリセット値として標準50が選択された場合の、各メッシュパラメータ数値を示している。   The preset value can be selected from three parameters of standard 50, sweet 51 and strict 52, and corresponding to these parameters, pre-processing 60, matching condition 80, judgment standard 85, etc. Many mesh parameter values are set. FIG. 8 shows each mesh parameter numerical value when the standard 50 is selected as the preset value.

メッシュサイズ53は、1つのメッシュの大きさを、ピクセル(Pixel)単位で表したものである。メッシュサイズ53が小さいと判定は厳しくなり、メッシュサイズ53が大きいと判定は甘めになる傾向があり、図8では20ピクセルに設定されている。メッシュサイズ53は3ピクセル以上が望ましい。自動メッシュ54、全セット55、及び、クリア56は、前述のとおり、検査対象範囲を選択する際に用いるものである。自動メッシュ54は、初期設定状態で選択されているもので、システムの自動判定により必要箇所のメッシュを標準50に設定する。全セット55は、全メッシュを標準50に設定する。また、クリア56は、全メッシュを検査対象からはずす。   The mesh size 53 represents the size of one mesh in units of pixels. If the mesh size 53 is small, the determination becomes strict, and if the mesh size 53 is large, the determination tends to be sweet. In FIG. 8, it is set to 20 pixels. The mesh size 53 is desirably 3 pixels or more. As described above, the automatic mesh 54, the entire set 55, and the clear 56 are used when the inspection target range is selected. The automatic mesh 54 is selected in the initial setting state, and a mesh at a necessary portion is set to the standard 50 by automatic determination of the system. All sets 55 set all meshes to standard 50. The clear 56 removes all meshes from the inspection target.

前処理60には、グレイ化61、コントラスト70、及び、フィルタ74の設定項目がある。グレイ化61では、RGB平均62とRGBブレンド63とH67とS68とV69との中から1つを選択することができる。RGB平均62は、RGBそれぞれの輝度を平均したものである。RGBブレンド63は、RGBそれぞれの輝度を0〜1の数値の割合64〜66で混合したものである。H67は色合いの値を輝度値にするものである。S68は彩度の値を輝度地にするものである。V69は強度の値を輝度値にするものである。   The preprocessing 60 includes setting items for graying 61, contrast 70, and filter 74. In graying 61, one of RGB average 62, RGB blend 63, H67, S68, and V69 can be selected. The RGB average 62 is obtained by averaging the luminances of RGB. The RGB blend 63 is obtained by mixing the luminances of RGB at a numerical value ratio of 64 to 66 of 0 to 1. H67 is used to change the hue value to a luminance value. In step S68, the saturation value is used as a luminance field. V69 changes the intensity value to a luminance value.

コントラスト70の3個の項目、リニア71、S字曲線72、及び、減色73は、0〜10までの整数で規定され、0の項目は不使用となる。リニア71は直線的なコントラスト強調であり、S字曲線72はS字カーブを用いたコントラスト強調であり、減色73は階調減算手法によるコントラスト強調である。   Three items of contrast 70, linear 71, S-shaped curve 72, and subtractive color 73 are defined by integers from 0 to 10, and 0 items are not used. The linear 71 is linear contrast enhancement, the S-curve 72 is contrast enhancement using an S-curve, and the color reduction 73 is contrast enhancement by a gradation subtraction method.

フィルタ74の3個の項目、ガウシアン75、メディアン76、及び、ノイズ低減77は、0〜10までの整数で規定され、0の項目は不使用となる。ガウシアン75はガウシアンフィルタによる平滑化であり、エッジを滑らかにすることによりノイズを低減するものである。メディアン76はメディアンフィルターによる平滑化であり、粒状のノイズを低減するものである。ノイズ低減77は輪郭を保持したノイズ除去であり、境界線を残して画像をぼやかすことによるノイズを低減するものである。   Three items of the filter 74, the Gaussian 75, the median 76, and the noise reduction 77 are defined by integers from 0 to 10, and the item of 0 is not used. The Gaussian 75 is smoothing by a Gaussian filter, and reduces noise by smoothing edges. The median 76 is smoothed by a median filter and reduces granular noise. The noise reduction 77 is noise removal that maintains the outline, and reduces noise caused by blurring the image while leaving the boundary line.

マッチング条件80は、判定の条件となるパラメータであり、探索範囲81、重なり量82、及び、マッチング手法83とからなる。探索範囲81はピクセル(Pixel)を単位とする、メッシュ毎のずれの最大許容量である。テンプレートマッチングを行う時に、基準画面40Rに対してテスト画面40Tを移動させ、一番一致率が高くなる位置を探索する。探索範囲81はテスト画像40Tを移動させる最大範囲である。重なり量82はピクセル(Pixel)を単位とするメッシュ同士の重なり量である。マッチング手法83は、テンプレートマッチングに使用するアルゴリズムを選択するもので、例えばAUTO−1、AUTO−2、ZNCC、NCC、CC、SSD、SADの中から選択するものである。AUTO−1はメッシュ内のコントラストに応じてテンプレートマッチングに使用するアルゴリズムを複数の中から自動選択するもので、かつ、厳しめの設定とするものである。AUTO−2はメッシュ内のコントラストに応じてテンプレートマッチングに使用するアルゴリズムを複数の中から自動選択するもので、かつ、標準の設定とするものである。ZNCC(Zero-mean Normalized Cross-Correlation)はゼロ平均正規化相互相関手法である。NCCはマッチング値を−1〜1に正規化した正規化相互相関手法である。CC(Cross Correlation)は2枚の画像間の相関を類似度とする相互相関マッチング手法である、SSD(Sum of Squared Difference)は同じ位置の画素の輝度値の差の2乗の合計が用いられる手法である。SAD(Sum of Absolute Difference)は同じ位置の画素の輝度値の差の絶対値の合計が用いられる手法である。なお、ZNCCでは、平均明るさ変動を吸収できる。   The matching condition 80 is a parameter serving as a determination condition, and includes a search range 81, an overlap amount 82, and a matching method 83. The search range 81 is a maximum allowable amount of deviation for each mesh in units of pixels. When performing template matching, the test screen 40T is moved with respect to the reference screen 40R to search for a position with the highest matching rate. The search range 81 is the maximum range for moving the test image 40T. The overlap amount 82 is an overlap amount between meshes in units of pixels. The matching method 83 selects an algorithm to be used for template matching. For example, the matching method 83 is selected from AUTO-1, AUTO-2, ZNCC, NCC, CC, SSD, and SAD. AUTO-1 automatically selects from among a plurality of algorithms used for template matching according to the contrast in the mesh, and has a strict setting. AUTO-2 automatically selects from among a plurality of algorithms used for template matching according to the contrast in the mesh, and is a standard setting. ZNCC (Zero-mean Normalized Cross-Correlation) is a zero-mean normalized cross-correlation technique. NCC is a normalized cross-correlation technique in which matching values are normalized to −1 to 1. CC (Cross Correlation) is a cross-correlation matching method in which the correlation between two images is a similarity, and SSD (Sum of Squared Difference) is the sum of the squares of the differences in luminance values of pixels at the same position. It is a technique. SAD (Sum of Absolute Difference) is a technique in which the sum of absolute values of differences in luminance values of pixels at the same position is used. ZNCC can absorb average brightness fluctuations.

判定基準85では、判定方法として、一致率(%)86、輝度差(%)87、及び、偏差誤差(%)88の3つの方法の採用(チェックを入れる)、不採用(チェックをはずす)、及び、採用する場合には設定値(%)を指定できる。一致率(%)86は、テンプレートマッチングの一致率のしきい値であり、一致率は1.0(100%)が完全一致である。輝度差(%)87は、メッシュ内平均輝度差の最大許容量である。偏差誤差(%)88はメッシュ内輝度標準偏差値の差の最大許容値である。   In the determination standard 85, as a determination method, three methods of matching rate (%) 86, luminance difference (%) 87, and deviation error (%) 88 are adopted (checked) and not adopted (unchecked). And, when adopting, a set value (%) can be designated. The matching rate (%) 86 is a threshold value of the matching rate of template matching, and 1.0 (100%) is a perfect matching rate. The luminance difference (%) 87 is the maximum allowable amount of the average luminance difference in the mesh. The deviation error (%) 88 is the maximum allowable value of the difference between the luminance standard deviation values in the mesh.

図8には省略されているが、初期値パラメータ設定ボタンを設け、現在の設定値を次回からの初期値とすることができるようにしてもよい。   Although omitted in FIG. 8, an initial value parameter setting button may be provided so that the current setting value can be set as the initial value from the next time.

<生産システム90について>
図9を用いて画像検査装置1を用いた生産システム90について説明する。なお、図9は生産システム90の構成図である。
<About production system 90>
A production system 90 using the image inspection apparatus 1 will be described with reference to FIG. FIG. 9 is a configuration diagram of the production system 90.

基板20は、はんだ印刷機91、標準機93、異型機94、及び、リフロー炉96において順に処理されることにより、基板20に部品がはんだ付けされる。はんだ印刷機91では、基板20における部品をはんだ付けする位置にペースト状のはんだを印刷する。標準機93では、基板20の所定の位置に標準部品を搭載する。異型機94では基板20の所定の位置に異型部品を搭載する。リフロー炉96では、基板20を高温の炉に通し、基板20に対して部品をはんだ付けする。リフロー炉96の加熱方法としては、例えば、赤外線方式、熱風方式、気相はんだ付け(VPS;ベーパーフェーズソルダリング)方式がある。   The substrate 20 is processed in this order in the solder printer 91, the standard machine 93, the variant machine 94, and the reflow furnace 96, so that the components are soldered to the board 20. In the solder printing machine 91, paste solder is printed at the position where the components on the substrate 20 are soldered. In the standard machine 93, standard parts are mounted at predetermined positions on the substrate 20. In the variant machine 94, a variant part is mounted at a predetermined position on the substrate 20. In the reflow furnace 96, the substrate 20 is passed through a high-temperature furnace and components are soldered to the substrate 20. Examples of the heating method for the reflow furnace 96 include an infrared method, a hot air method, and a vapor phase soldering (VPS; vapor phase soldering) method.

生産システム90においては、各処理装置91、93、94、96の後に、複数の画像検査装置92、95、97、99が設けられており、不良品を早期に発見すると共に、前段の処理装置91、93、94、96への早期のフィードバックを可能にしている。はんだ印刷機91の後段には、はんだ印刷検査装置92が設けられ、異型機94の後段にはリフロー前部品搭載検査装置95が設けられ、リフロー炉96の後段には3Dはんだ及び部品搭載検査装置97が設けられ、最後には検査員による目視検査98、及び、オフライン部品搭載検査装置99が設けられている。これらの画像検査装置92、95、97、99は全て設けられる必要はなく、必要なものを選択することができる。   In the production system 90, a plurality of image inspection devices 92, 95, 97, 99 are provided after the processing devices 91, 93, 94, 96. Early feedback to 91, 93, 94, 96 is possible. A solder printing inspection device 92 is provided at the subsequent stage of the solder printer 91, a pre-reflow component mounting inspection device 95 is provided at the subsequent stage of the variant machine 94, and a 3D solder and component mounting inspection device is provided at the subsequent stage of the reflow furnace 96. 97, and finally, a visual inspection 98 by an inspector and an off-line component mounting inspection device 99 are provided. These image inspection apparatuses 92, 95, 97, and 99 need not all be provided, and the necessary ones can be selected.

第1実施形態にかかる画像検査装置1は、特に、リフロー前部品搭載検査装置95及び/又はオフライン部品搭載検査装置99として設けられることが有効である。リフロー前部品搭載検査装置95においては、リフロー半田付けの前に部品の搭載不良等の不良を判別することができるので修理が不要となり、かつ、印刷機91、標準機93及び異型機94に対して早期のフィードバックが可能となる。リフロー前部品搭載検査装置95として、高価な検査装置又は設定に長時間を要する検査装置を配置することは困難であるが、本発明の画像検査装置1は、設定が簡単でコストも安く、しかも、検出精度が高いうえに直行率が高いため、リフロー前部品搭載検査装置95として採用すると高い効果が得られる。ここで、画像検査装置1をリフロー前部品搭載検査装置95として生産システム90に組み込む際には、画像検査装置1における基板20のスライドテーブル11への搭載、及び、基板20のスライドテーブル11からの取り出しを自動的に行う装置を追加すれば、後述のように画像検査プログラム35を生産システム10のシーケンサとマッチングを図ることにより、生産システム10を自動化することができる。なお、画像検査装置1を操作するための操作者を配置するようにし生産システム10における検査の一部を手動で行うようにすることも可能である。   The image inspection apparatus 1 according to the first embodiment is particularly effective when provided as the pre-reflow component mounting inspection apparatus 95 and / or the offline component mounting inspection apparatus 99. In the pre-reflow component mounting inspection apparatus 95, since it is possible to determine a defect such as a component mounting failure before reflow soldering, no repair is necessary, and for the printing machine 91, the standard machine 93, and the profile machine 94, Early feedback is possible. Although it is difficult to arrange an expensive inspection device or an inspection device that requires a long time for setting as the pre-reflow component mounting inspection device 95, the image inspection device 1 of the present invention is simple in setting and low in cost. Since the detection accuracy is high and the direct rate is high, a high effect can be obtained when it is used as the pre-reflow component mounting inspection device 95. Here, when the image inspection apparatus 1 is incorporated in the production system 90 as the pre-reflow component mounting inspection apparatus 95, the substrate 20 is mounted on the slide table 11 in the image inspection apparatus 1 and the substrate 20 is removed from the slide table 11. If a device for automatically taking out is added, the production system 10 can be automated by matching the image inspection program 35 with the sequencer of the production system 10 as described later. It is also possible to arrange an operator for operating the image inspection apparatus 1 so that part of the inspection in the production system 10 is performed manually.

また、オフライン部品搭載検査装置99として、本発明の画像検査装置1を採用すれば、設定が簡単でコストも安く、しかも、検出精度が高いうえに直行率が高いため、特に、多品種少量生産の生産システムにおいては高い効果を奏し、しかも、基板修理後の確認検査としても有効である。これにより、検査員による目視検査98の負担を軽減し、かつ、高価で設定に長時間を要する3Dはんだ及び部品搭載検査装置97を省略することができる。   In addition, if the image inspection apparatus 1 of the present invention is adopted as the off-line component mounting inspection apparatus 99, the setting is simple and the cost is low, and the detection accuracy is high and the direct rate is high. This production system has a high effect and is also effective as a confirmation inspection after substrate repair. Thereby, the burden of the visual inspection 98 by the inspector can be reduced, and the expensive and time-consuming 3D solder and component mounting inspection device 97 can be omitted.

<第1実施形態の作用及び効果>
画像検査装置本体10には複雑な構成が無く、カメラ18a〜18dは固定式であり、かつ、カメラ18a〜18dには絞りも不要であるため、断線や故障する箇所が少ないという利点があるうえ、画像検査装置本体10の製造が容易であり、かつ、コストを抑えることができる。例えば、FA用カメラやFA用照明でなく、USBカメラ及び一般照明を用いることができる。また、I/O用にシーケンサは必要なく、IOボードで代用可能である。広角レンズを備えた固定式の4台のUSBカメラにより、基板20をそれぞれ1回ずつ撮影するだけでカラー画像40を得ることができ、基板20の撮影を短時間で完了することができる。広角レンズを採用することにより、被写界深度を深くすることができるため、部品の高さの影響を受けず、かつ、基板20の広い範囲を適切に撮影することができる。本実施形態の例ではMサイズ(330mm×250mm)の基板20について、0.6mm×0.3mmのサイズのチップ(0603チップ)の検査を行うことができるが、カメラの数や仕様を変更することにより、様々なサイズの基板20に対応することが可能である。また、画像検査装置本体10の4面の内壁にそれぞれ1個ずつ、合計4個設けられた平板型のLED照明19のそれぞれの輝度を適切に制御することにより、影やテカリのないカラー画像を取得することができる。
<Operation and Effect of First Embodiment>
The image inspection apparatus main body 10 does not have a complicated configuration, the cameras 18a to 18d are fixed, and the cameras 18a to 18d do not require a diaphragm. The image inspection apparatus main body 10 can be easily manufactured and the cost can be reduced. For example, a USB camera and general illumination can be used instead of the FA camera and FA illumination. Also, a sequencer is not required for I / O, and an IO board can be substituted. With four fixed USB cameras provided with wide-angle lenses, the color image 40 can be obtained by shooting the substrate 20 only once, and the shooting of the substrate 20 can be completed in a short time. By adopting a wide-angle lens, the depth of field can be increased, so that it is not affected by the height of the components, and a wide range of the substrate 20 can be appropriately photographed. In the example of the present embodiment, a chip (0.603 chip) having a size of 0.6 mm × 0.3 mm can be inspected for an M size (330 mm × 250 mm) substrate 20, but the number and specifications of cameras are changed. As a result, it is possible to deal with substrates 20 of various sizes. In addition, by appropriately controlling the brightness of each of the four flat LED illuminations 19 provided on each of the four inner walls of the image inspection apparatus main body 10 in total, a color image free of shadows and shine is obtained. Can be acquired.

PC本体25としては、FA用PCは必要なく、汎用PCを使用できる。マルチコアプロセッサ搭載のPCを採用すれば、画像検査プログラム35において並列処理を行えるようにすることにより、演算速度を大幅に改善することが可能である。メッシュ毎に前処理及びテンプレートマッチングを行うため、並列処理による演算速度の改善効果が高い。   As the PC main body 25, a PC for FA is not necessary, and a general-purpose PC can be used. If a PC equipped with a multi-core processor is employed, it is possible to greatly improve the calculation speed by enabling the image inspection program 35 to perform parallel processing. Since preprocessing and template matching are performed for each mesh, the effect of improving the computation speed by parallel processing is high.

基準画像40Rの設定が簡単であるため、特に多品種少量生産を行う生産システムに適している。良品基板20Rをカメラ18a〜18dで撮影して取得したカラー画像40を基準画像40Rとして用いることができる。メッシュ毎に前処理及びテンプレートマッチングの設定を行う必要があるが、自動メッシュ54を選択することにより、システムの自動判定により必要箇所に標準[1]50パラメータのメッシュを配置することができる。この他、全メッシュが標準[1]50パラメータ設定となる全セット55、及び、全メッシュを検査対象からはずす[0]クリア56の選択も可能であり、また、この選択の後に、メッシュ毎に予めプリセットされた3種類のパラメータ、すなわち、「標準[1]」、「甘め[2]」及び「厳しめ[3]」の3種類のパラメータから所望のものを選択できる他、「検査対象からはずす[0]」設定も選ぶことができる。プリセットされた3種類のパラメータを用いることにより、メッシュ毎の詳細設定を容易に行うことができる。さらに、プリセット値を用いた設定の他に、メッシュ手段31、前処理手段32、及び、判定手段34に関するメッシュパラメータ数値の詳細設定を変更することも可能である。   Since the setting of the reference image 40R is simple, it is particularly suitable for a production system that performs high-mix low-volume production. A color image 40 obtained by photographing the non-defective substrate 20R with the cameras 18a to 18d can be used as the reference image 40R. Although it is necessary to set preprocessing and template matching for each mesh, by selecting the automatic mesh 54, a standard [1] 50 parameter mesh can be arranged at a necessary location by automatic determination of the system. In addition, it is also possible to select all sets 55 in which all meshes are set to standard [1] 50 parameters, and [0] clear 56 to remove all meshes from the inspection target. A desired parameter can be selected from three preset parameters, ie, “Standard [1]”, “Sweet [2]” and “Strict [3]”. You can also select the “Remove from [0]” setting. By using the preset three types of parameters, detailed setting for each mesh can be easily performed. Further, in addition to the setting using the preset value, it is also possible to change the detailed setting of the mesh parameter values related to the mesh unit 31, the preprocessing unit 32, and the determination unit 34.

メッシュ毎に前処理を行い、前処理における画像処理により適切なグレイスケールを取得し、グレイスケールに基づいてテンプレートマッチングを行うため、検出精度が高いうえに直行率が高く、かつ、マルチコアプロセッサにより並列処理を行うことにより、判定処理のための演算速度を向上することができる。また、各メッシュの状態に応じて、テンプレートマッチングのためのアルゴリズムを複数種類の中から適切に選択することができるから、より検出精度が高いうえに直行率が高くすることができる。例えばAUTO−1又はAUTO−2を選択した場合には、メッシュ内のコントラストに応じてテンプレートマッチングに使用するアルゴリズムが複数の中から自動選択される。   Pre-processing is performed for each mesh, an appropriate gray scale is acquired by image processing in the pre-processing, and template matching is performed based on the gray scale. Therefore, the detection accuracy is high, the direct rate is high, and the multi-core processor performs parallel processing. By performing the process, the calculation speed for the determination process can be improved. Further, an algorithm for template matching can be appropriately selected from a plurality of types according to the state of each mesh, so that the detection accuracy is higher and the direct rate can be increased. For example, when AUTO-1 or AUTO-2 is selected, an algorithm used for template matching is automatically selected from a plurality according to the contrast in the mesh.

第1実施形態にかかる画像検査装置1は、生産システム90において、特に、リフロー前部品搭載検査装置95及び/又はオフライン部品搭載検査装置99として設けることが有効である。リフロー前部品搭載検査装置95においては、リフロー半田付けの前に部品の搭載不良等の不良を判別することができるので修理が不要となり、かつ、印刷機91、標準機93及び異型機94に対して早期のフィードバックが可能となる。また、オフライン部品搭載検査装置99として、本発明の画像検査装置1を採用すれば、設定が簡単でコストも安く、しかも、検出精度が高いうえに直行率が高いため、特に、多品種少量生産の生産システムにおいては高い効果を奏し、しかも、基板修理後の確認検査としても有効である。これにより、検査員による目視検査98の負担を軽減し、かつ、高価で設定に長時間を要する3Dはんだ及び部品搭載検査装置97を省略することができる。   It is effective to provide the image inspection apparatus 1 according to the first embodiment as the pre-reflow component mounting inspection apparatus 95 and / or the offline component mounting inspection apparatus 99 in the production system 90. In the pre-reflow component mounting inspection apparatus 95, since it is possible to determine a defect such as a component mounting failure before reflow soldering, no repair is necessary, and for the printing machine 91, the standard machine 93, and the profile machine 94, Early feedback is possible. In addition, if the image inspection apparatus 1 of the present invention is adopted as the off-line component mounting inspection apparatus 99, the setting is simple and the cost is low, and the detection accuracy is high and the direct rate is high. This production system has a high effect and is also effective as a confirmation inspection after substrate repair. Thereby, the burden of the visual inspection 98 by the inspector can be reduced, and the expensive and time-consuming 3D solder and component mounting inspection device 97 can be omitted.

[第2実施形態]
本発明の第2実施形態に係る画像検査装置1Aについて、図10を参照して説明する。図1〜図9と共通する構成については同一の符号を付し、その説明は省略する。なお、図10は、第2実施形態の画像検査装置1Aの外観図である。
[Second Embodiment]
An image inspection apparatus 1A according to a second embodiment of the present invention will be described with reference to FIG. The components common to those in FIGS. 1 to 9 are denoted by the same reference numerals, and description thereof is omitted. FIG. 10 is an external view of the image inspection apparatus 1A of the second embodiment.

第2実施形態の画像検査装置1Aは、PC本体25を画像検査装置本体10Aに組み込んで、オールインワンタイプとした点で第1実施形態の画像検査装置1と異なる。画像検査装置本体10Aの内部にはPC本体25が組み込まれており、画像検査装置本体10Aの上部にはモニターアーム57を介して、LCDモニター26Aが取り付けられている。また、画像検査装置本体10の正面上部には表示灯13Aが設けられており、基板の良否の判定結果を表示することができるようになっている。例えば、3個の表示灯13Aが設けられており、青色に発光することにより検査準備完了を表示するものと、緑色に発光することにより基板が良品であることを表示するものと、及び、赤色に発光することにより基板が不良品であることを表示するものとからなる。   The image inspection apparatus 1A according to the second embodiment is different from the image inspection apparatus 1 according to the first embodiment in that the PC main body 25 is incorporated into the image inspection apparatus main body 10A to be an all-in-one type. A PC main body 25 is incorporated in the image inspection apparatus main body 10A, and an LCD monitor 26A is attached to the upper part of the image inspection apparatus main body 10A via a monitor arm 57. In addition, an indicator lamp 13A is provided on the front upper portion of the image inspection apparatus main body 10 so that the determination result of the quality of the substrate can be displayed. For example, three indicator lamps 13A are provided, indicating that the preparation for inspection is completed by emitting blue light, indicating that the substrate is non-defective by emitting green light, and red The light is emitted to indicate that the substrate is defective.

インターフェイス手段30として、LCDモニター26Aに加え、ワイヤレスキーボード27A及びワイヤレスマウス28Aが設けられている。スライドテーブル11、ストッパ23、カメラ18a〜18d、及び、LED照明等の構成については、第1実施形態と同一であるので、その説明は省略する。   As the interface means 30, in addition to the LCD monitor 26A, a wireless keyboard 27A and a wireless mouse 28A are provided. Since the configuration of the slide table 11, the stopper 23, the cameras 18a to 18d, the LED illumination, and the like is the same as that of the first embodiment, the description thereof is omitted.

第2実施形態の画像検査装置1Aによれば、オールインタイプであるため、画像検査装置本体10AにPC本体25及びLCDモニター26Aが組み込まれており、別途のPC本体25を設ける必要が無い。操作者はLCDモニター26Aに表示される画像を見ながら付属のワイヤレスキーボード27A及びワイヤレスマウス28Aを用いて、各種設定及び画像検査を行う。別途のPC本体25を設ける必要が無いので、PC本体25と画像検査装置本体10AとをUSBケーブルで接続する必要が無く、かつ、PC本体25用の電源ケーブルを商用電源に接続する必要もないため、配線を省略することができる。   According to the image inspection apparatus 1A of the second embodiment, since it is an all-in type, the PC main body 25 and the LCD monitor 26A are incorporated in the image inspection apparatus main body 10A, and there is no need to provide a separate PC main body 25. The operator performs various settings and image inspections using the attached wireless keyboard 27A and wireless mouse 28A while viewing the image displayed on the LCD monitor 26A. Since there is no need to provide a separate PC main body 25, there is no need to connect the PC main body 25 and the image inspection apparatus main body 10A with a USB cable, and there is no need to connect a power cable for the PC main body 25 to a commercial power source. Therefore, wiring can be omitted.

[第3実施形態]
本発明の第3実施形態に係る画像検査装置1Bについて説明する。図1〜図10と共通する構成については同一の符号を付し、その説明は省略する。第3実施形態に係る画像検査装置1Bは、自動メッシュ54の際、及び/又は、基準画像40Rの取得の際に、基板20のCADデータを利用する点で、第1実施形態に係る画像検査装置1と異なる。
[Third Embodiment]
An image inspection apparatus 1B according to a third embodiment of the present invention will be described. Components common to those in FIGS. 1 to 10 are denoted by the same reference numerals, and description thereof is omitted. The image inspection apparatus 1B according to the third embodiment uses the CAD data of the substrate 20 at the time of the automatic mesh 54 and / or the acquisition of the reference image 40R. Different from device 1.

まず、自動メッシュ54の際に、基板20のCADデータを利用する方法について説明する。第1実施形態では自動メッシュ54を選択すると、システムの自動判定により必要箇所に標準[1]パラメータのメッシュが配置されるが、第3実施形態ではPC本体25に基板20のCADデータを記憶させておき、システムの自動判定の際に、システムが基板20のCADデータを利用できるようにする。PC本体25に基板20のCADデータを記憶させるためには、例えば通信ネットワークを経由してCADデータを読み込むこともできるし、又は、リムーバブルメモリにCADデータを記憶させるようにすることもできる。CADデータを利用するので、検査が必要な場所と検査が不要な場所とを正確に判定することができるため、標準[1]パラメータのメッシュをより正確に配置することができる。さらには、標準[1]パラメータの設定だけではなく、CADデータを利用して、特定の部品の有無や配線パターンの状態等を判断して、標準[1]、甘め[2]又は厳しめ「3」の各パラメータをシステムが自動判定して、各メッシュに各パラメータを設定するようにしてもよい。   First, a method of using CAD data of the substrate 20 in the automatic mesh 54 will be described. In the first embodiment, when the automatic mesh 54 is selected, the mesh of the standard [1] parameter is arranged at a necessary location by automatic system determination. In the third embodiment, the CAD data of the substrate 20 is stored in the PC body 25. In addition, the CAD data of the substrate 20 can be used by the system when the system is automatically determined. In order to store the CAD data of the substrate 20 in the PC main body 25, for example, the CAD data can be read via a communication network, or the CAD data can be stored in a removable memory. Since the CAD data is used, it is possible to accurately determine a place where inspection is necessary and a place where inspection is not necessary, so that the mesh of the standard [1] parameter can be arranged more accurately. Furthermore, not only the setting of the standard [1] parameter but also the presence or absence of a specific part, the state of the wiring pattern, etc. are judged using CAD data, and the standard [1], the sweet [2] or the stricter The system may automatically determine each parameter of “3” and set each parameter to each mesh.

自動メッシュ54を選択した後に手動でメッシュを設定することもできるが、この手動でのメッシュを設定する際にも、CADデータを活用できる。例えば、基準画像40RとCADデータにより描かれた基板20の画像とを入れ替えて表示させることにより、両画面を見比べて確認しながら、手動によって、標準[1]、甘め[2]又は厳しめ「3」の各パラメータをより適切に設定することが可能である。   Although the mesh can be manually set after the automatic mesh 54 is selected, the CAD data can be used when setting the manual mesh. For example, by replacing the reference image 40R and the image of the substrate 20 drawn by CAD data and displaying them, the standard [1], the sweet [2], or the tightening is manually performed while comparing and confirming both screens. Each parameter of “3” can be set more appropriately.

次に、基準画像40Rの取得の際に、基板20のCADデータを利用する方法について説明する。第1実施形態では、良品基板20Rをカメラ18a〜18dで撮影して得られたカラー画像40を基準画像40Rとして取得しているが、この基準画像40Rの一部又は全部をCADデータにより描かれた基板20の画像とを入れ替えることも可能である。CADデータにより描かれた基板20の画像上で入れ替えたい部分をマウス28で選択して、コンテキストメニューを表示させ、「基準画像を入れ替える」を選ぶことで、CADデータの画像上の選択された部分の画像で基準画像40Rの対応する部分が書き換えられる。   Next, a method of using the CAD data of the substrate 20 when acquiring the reference image 40R will be described. In the first embodiment, the color image 40 obtained by photographing the non-defective substrate 20R with the cameras 18a to 18d is acquired as the reference image 40R. However, a part or all of the reference image 40R is drawn by CAD data. It is also possible to replace the image of the substrate 20 that has been changed. The part to be replaced on the image of the board 20 drawn by CAD data is selected with the mouse 28, a context menu is displayed, and the selected part on the CAD data image is selected by selecting “Replace reference image”. The corresponding portion of the reference image 40R is rewritten with the image.

また、CADデータにより描かれた基板20の画像と基準画像40Rとを混合したい場合には、CADデータの画像上で混合したい部分をマウス28で選択して、コンテキストメニューを表示させ、「基準画像と混合する」を選ぶことで、CADデータの画像上の選択された部分が基準画像40Rの対応部分に混合される。さらに、基準画像40RをCADデータの画像と入れ替えることも可能である。この場合、4枚の基準画像40Rの中から1枚を対応する対応するCADデータの画像と入れ替えることもできるし、また、4枚の基準画像40Rの全てをCADデータの画像と入れ替えることもできる。CADデータを用いることにより基準画像40Rをより理想的な画像に近づけることができるため、より検出精度を高めたうえに直行率を高めることが可能となる。例えば、基板20の配線パターンの検査等には基準画像40RとしてCADデータを用いることが有効となる。   Further, when the image of the substrate 20 drawn by CAD data and the reference image 40R are to be mixed, a portion to be mixed on the CAD data image is selected with the mouse 28, and a context menu is displayed. By selecting “Mix with”, the selected portion of the CAD data image is mixed with the corresponding portion of the reference image 40R. Furthermore, the reference image 40R can be replaced with an image of CAD data. In this case, one of the four reference images 40R can be replaced with the corresponding CAD data image, or all of the four reference images 40R can be replaced with the CAD data image. . Since the reference image 40R can be made closer to an ideal image by using CAD data, it is possible to improve the detection accuracy and increase the orthogonality rate. For example, it is effective to use CAD data as the reference image 40R for the inspection of the wiring pattern of the substrate 20 or the like.

なお、第3実施形態について第1実施形態との差について説明したが、第3実施形態の画像検査装置1Bに第2実施形態の態様を含めることもできる。   In addition, although the difference with 1st Embodiment was demonstrated about 3rd Embodiment, the aspect of 2nd Embodiment can also be included in the image inspection apparatus 1B of 3rd Embodiment.

[第4実施形態]
本発明の第4実施形態に係る画像検査装置1Cについて説明する。図1〜図10と共通する構成については同一の符号を付し、その説明は省略する。第4実施形態に係る画像検査装置1Cは、複数の基準画像40Rを用いる点で、第1実施形態に係る画像検査装置1と異なる。
[Fourth Embodiment]
An image inspection apparatus 1C according to a fourth embodiment of the present invention will be described. Components common to those in FIGS. 1 to 10 are denoted by the same reference numerals, and description thereof is omitted. An image inspection apparatus 1C according to the fourth embodiment is different from the image inspection apparatus 1 according to the first embodiment in that a plurality of reference images 40R are used.

第1実施形態の画像検査装置1では、基準画像40Rが1つであるため、良品基板20Rが複数種類存在する場合には、直行率が低下する恐れがある。第1実施形態では、基準画像40Rの一部を混合することにより、例えば、極性のない部品の逆マウントについて、印字の向きが基準画像40Rと異なることから、誤って不良判定してしまう場合に対応していたが、複数の良品画像の態様によっては、基準画像の混合だけでは対処できない場合もあり得る。そこで、本実施形態の画像検査装置1Cでは、複数の基準画像記憶手段33を有しており、基準画像40Rを複数記憶させておくことにより、あるいは、少なくとも基準画像40Rの所定の一部を複数記憶させておくことにより、直行率を向上させるものである。第1の基準画像40Rに基づいて検査を行い、良品であると判定された場合には検査を終了するが、不良であると判定された場合には、第2の基準画像40Rに基づいて再度検査を行う。このように複数の基準画像40Rに基づいて繰り返し検査を行うことにより、どれか1つの基準画像40Rに対して良品でると判断された場合には基板20は良品であると判断され、全ての基準画像40Rに対して不良であると判定された場合にのみ、基板20が不良であると判断されることにより、直行率を改善することができる。   In the image inspection apparatus 1 according to the first embodiment, since there is one reference image 40R, when there are a plurality of types of non-defective substrates 20R, the direct rate may be reduced. In the first embodiment, when a part of the reference image 40R is mixed, for example, for a reverse mount of a non-polar part, since the printing direction is different from the reference image 40R, a defect is erroneously determined. However, depending on the form of a plurality of non-defective images, it may not be possible to deal with only by mixing reference images. Therefore, the image inspection apparatus 1C according to the present embodiment includes a plurality of reference image storage means 33, and stores a plurality of reference images 40R, or at least a predetermined part of the reference image 40R. By memorizing it, the direct rate is improved. The inspection is performed based on the first reference image 40R, and the inspection is terminated when it is determined to be a non-defective product, but when it is determined to be defective, the inspection is again performed based on the second reference image 40R. Perform an inspection. As described above, by repeatedly performing the inspection based on the plurality of reference images 40R, if it is determined that any one of the reference images 40R is a non-defective product, the substrate 20 is determined to be a non-defective product, and all the reference images are displayed. By determining that the substrate 20 is defective only when it is determined that the image 40R is defective, the direct rate can be improved.

基準画像40Rの所定の一部が複数記憶される場合については、まず第1の基準画像40Rに基づいて画像全体の検査を行い、良品であると判定された場合には検査を終了するが、不良であると判定された場合には、画像の所定の一部についてのみ第2の基準画像40Rに基づいて再度検査を行う。このように画像の所定の一部については複数の基準画像40Rに基づいて繰り返し検査を行うことにより、どれか1つの基準画像40Rに対して良品であると判断された場合には基板20は良品であると判断され、全ての基準画像40Rに対して不良であると判定された場合にのみ、基板20が不良であると判断されることにより、直行率を改善することができる。   In the case where a plurality of predetermined parts of the reference image 40R are stored, the entire image is first inspected based on the first reference image 40R, and if it is determined to be non-defective, the inspection is terminated. If it is determined to be defective, only a predetermined part of the image is inspected again based on the second reference image 40R. As described above, when a predetermined part of the image is repeatedly inspected based on the plurality of reference images 40R, and it is determined that any one of the reference images 40R is non-defective, the substrate 20 is non-defective. The straight line rate can be improved by determining that the substrate 20 is defective only when it is determined that the substrate 20 is defective for all the reference images 40R.

なお、第4実施形態について第1実施形態との差について説明したが、第4実施形態の画像検査装置1Cに第2乃至第3実施形態の態様も含めることもできる。   Although the difference between the fourth embodiment and the first embodiment has been described, the image inspection apparatus 1C of the fourth embodiment can include the aspects of the second to third embodiments.

[第5実施形態]
本発明の第5実施形態に係る画像検査装置1Dについて説明する。図1〜図10と共通する構成については同一の符号を付し、その説明は省略する。第5実施形態に係る画像検査装置1Dは、カメラの台数と配置の点で、第1実施形態に係る画像検査装置1と異なる。
[Fifth Embodiment]
An image inspection apparatus 1D according to a fifth embodiment of the present invention will be described. Components common to those in FIGS. 1 to 10 are denoted by the same reference numerals, and description thereof is omitted. An image inspection apparatus 1D according to the fifth embodiment is different from the image inspection apparatus 1 according to the first embodiment in terms of the number and arrangement of cameras.

まず、複数台のカメラ18を一列に配置したものを、一軸ロボットで移動させる態様を説明する。第1実施形態では4台の固定カメラ18a〜18dを用いたが、より大きな基板20を撮影する場合には、カメラの台数を多くする必要がある。そこで、カメラ18の台数を少なくするために、複数台、例えば3台のカメラを等間隔で一列に配置したものを、一軸ロボットによりカメラ18の配置方向と直交する方向へ移動させることにより、カメラ18の撮影範囲を広げることができる。すなわち、カメラ18が初期位置にある状態で撮影した後に、一軸ロボットでカメラ18を所定の位置まで移動させて撮影し、この操作を繰り返すことにより、カメラ18による撮影範囲を広げることができる。固定カメラ18a〜18dに比べて、一軸ロボットによるカメラ18の可動機構を設ける必要はあるが、一軸ロボットは構造が簡単であるため、装置の大型化や複雑化を抑えたうえで、カメラの数を少なくすることによるコストの低減を図ることができる。   First, a mode in which a plurality of cameras 18 arranged in a row is moved by a single-axis robot will be described. In the first embodiment, four fixed cameras 18a to 18d are used. However, when shooting a larger substrate 20, the number of cameras needs to be increased. Therefore, in order to reduce the number of cameras 18, a plurality of cameras, for example, three cameras arranged in a row at equal intervals are moved by a single-axis robot in a direction orthogonal to the arrangement direction of the cameras 18. 18 shooting ranges can be expanded. That is, after shooting with the camera 18 in the initial position, the camera 18 is moved to a predetermined position by the single-axis robot, and the shooting range by the camera 18 can be expanded by repeating this operation. Compared to the fixed cameras 18a to 18d, it is necessary to provide a movable mechanism for the camera 18 by a single-axis robot. However, since the single-axis robot has a simple structure, the number of cameras can be reduced after suppressing the increase in size and complexity of the apparatus. The cost can be reduced by reducing.

ここでは、カメラ18をX方向(横方向)へ移動可能な一軸ロボットを用いる例を説明したが、一軸ロボットに替えて、カメラ18をX方向(横方向)及びY方向(縦方向)に移動可能な二軸ロボット、あるいは、カメラ18をX方向(横方向)、Y方向(縦方向)及びZ方向(高さ方向)に移動可能な三軸ロボットを用いることも可能である。二軸ロボット又は三軸ロボットを採用した場合には、カメラ18の台数は複数台に限らず、一台であってもよい。また、三軸ロボットを採用した場合には、部品の高さに応じてカメラ18を高さ方向へ移動させることができるため、定焦点カメラ18を用いて最適な画像を取得することが可能である。   Here, an example in which a single-axis robot capable of moving the camera 18 in the X direction (horizontal direction) has been described, but instead of the single-axis robot, the camera 18 is moved in the X direction (horizontal direction) and the Y direction (vertical direction). It is also possible to use a possible two-axis robot or a three-axis robot that can move the camera 18 in the X direction (lateral direction), the Y direction (vertical direction), and the Z direction (height direction). When a two-axis robot or a three-axis robot is employed, the number of cameras 18 is not limited to a plurality, and may be one. In addition, when a three-axis robot is employed, the camera 18 can be moved in the height direction according to the height of the component, so that an optimum image can be obtained using the fixed focus camera 18. is there.

次に、1台のカメラ18を多関節型アームロボットで移動させる態様を説明する。固定カメラ18の場合や、一軸、二軸、三軸ロボットでカメラ18を移動させる場合と異なり、カメラ18を多関節型アームロボットで移動させる場合には、カメラ18による撮影位置、姿勢及び角度を自由に設定することができるため、二次元の画像検査装置1Dでありながら、疑似的に三次元の画像検査装置と同様な画像検査を実現することが可能である。様々な位置において、所望の姿勢と角度の画像が取得できるため、より検出精度が高いうえに直行率も高い検査を実施することが可能である。   Next, a mode in which one camera 18 is moved by an articulated arm robot will be described. Unlike the case of the fixed camera 18 or the case where the camera 18 is moved by a one-axis, two-axis or three-axis robot, when the camera 18 is moved by an articulated arm robot, the shooting position, posture and angle by the camera 18 are changed. Since it can be set freely, it is possible to realize an image inspection similar to that of a three-dimensional image inspection apparatus in spite of being a two-dimensional image inspection apparatus 1D. Since images of desired postures and angles can be acquired at various positions, it is possible to perform an inspection with higher detection accuracy and a higher direct rate.

なお、第5実施形態について第1実施形態との差について説明したが、第5実施形態の画像検査装置1Dに第2乃至第4実施形態の態様も含めることもできる。   Although the difference between the fifth embodiment and the first embodiment has been described, the image inspection apparatus 1D according to the fifth embodiment can include the aspects of the second to fourth embodiments.

[第6実施形態]
本発明の第6実施形態に係る画像検査装置1Eについて説明する。図1〜図10と共通する構成については同一の符号を付し、その説明は省略する。第6実施形態に係る画像検査装置1Eの画像検査プログラム35は、追加的なアドインプログラムをさらに備える点で、第1実施形態に係る画像検査装置1と異なる。
[Sixth Embodiment]
An image inspection apparatus 1E according to a sixth embodiment of the present invention will be described. Components common to those in FIGS. 1 to 10 are denoted by the same reference numerals, and description thereof is omitted. The image inspection program 35 of the image inspection apparatus 1E according to the sixth embodiment is different from the image inspection apparatus 1 according to the first embodiment in that it further includes an additional add-in program.

画像検査プログラム35には、初期設定、メッシュ処理、前処理及びテンプレートマッチング等が全て完成アプリとして組み込まれている。このため、画像検査プログラム35は、仕様が異なる画像検査装置本体10に対しても、例えばカメラの台数、カメラの種類、装置のサイズ等に応じて初期設定値を調整することにより対応可能である。画像検査装置1Eが画像検査装置本体10と画像検査プログラム35とがセットで提供される場合には、出荷時に画像検査プログラム35の初期設定が完了している。   In the image inspection program 35, initial settings, mesh processing, preprocessing, template matching, and the like are all incorporated as a completed application. For this reason, the image inspection program 35 can cope with the image inspection apparatus main body 10 having different specifications by adjusting the initial setting values according to the number of cameras, the type of camera, the size of the apparatus, and the like. . When the image inspection apparatus 1E is provided with the image inspection apparatus main body 10 and the image inspection program 35 as a set, the initial setting of the image inspection program 35 is completed at the time of shipment.

既存の生産システムに画像検査装置1Eを組み込む際には、完成アプリである画像検査プログラム35に対して、アドインプログラムを追加することで対応可能である。例えば、生産システムのハードウエアの通信形態とのマッチングを図る場合、生産システムのI/Oとのマッチングを図る場合、あるいは、生産システムのシーケンサとのマッチングを図る場合には、追加的なアドインプログラムにより対応することが可能である。   When incorporating the image inspection apparatus 1E into an existing production system, it can be dealt with by adding an add-in program to the image inspection program 35, which is a completed application. For example, an additional add-in program when matching with the communication form of the hardware of the production system, when matching with I / O of the production system, or when matching with the sequencer of the production system It is possible to cope with this.

なお、第6実施形態について第1実施形態との差について説明したが、第6実施形態の画像検査装置1Eに第2乃至第5実施形態の態様を含めることもできる。   Although the difference between the sixth embodiment and the first embodiment has been described, the image inspection apparatus 1E according to the sixth embodiment can include the aspects of the second to fifth embodiments.

[第7実施形態]
本発明の第7実施形態に係る画像検査装置1Fについて説明する。図1〜図10と共通する構成については同一の符号を付し、その説明は省略する。第7実施形態に係る画像検査装置1Fの画像検査プログラム35は、検査機能がモジュール化されており、必要な検査機能だけを選択して採用することができる点で、第1実施形態に係る画像検査装置1と異なる。
[Seventh Embodiment]
An image inspection apparatus 1F according to a seventh embodiment of the present invention will be described. Components common to those in FIGS. 1 to 10 are denoted by the same reference numerals, and description thereof is omitted. The image inspection program 35 of the image inspection apparatus 1F according to the seventh embodiment has a modular inspection function, and can select and employ only a necessary inspection function. Different from the inspection apparatus 1.

画像検査プログラム35は、基板20の外観検査を行う機能を備えており、この外観検査機能はモジュール化されている。外観検査の他の機能としては、例えば、バーコード読み取り機能、抵抗カラーバー検査機能、寸法計測機能、文字読み取り機能、LED点灯検査機能等の機能がモジュール化されており、必要な機能モジュールだけを画像検査プログラム35に組み込むことが可能である。各検査機能がモジュール化されていることにより、所望の検査機能だけを選択することができることに加え、画像検査装置1Fの導入後に必要になった機能を追加することも可能となる。   The image inspection program 35 has a function of inspecting the appearance of the substrate 20, and this appearance inspection function is modularized. As other functions of appearance inspection, for example, barcode reading function, resistance color bar inspection function, dimension measurement function, character reading function, LED lighting inspection function, etc. are modularized. The image inspection program 35 can be incorporated. Since each inspection function is modularized, in addition to being able to select only a desired inspection function, it becomes possible to add a function that has become necessary after the introduction of the image inspection apparatus 1F.

なお、第7実施形態について第1実施形態との差について説明したが、第7実施形態の画像検査装置1Fに第2乃至第6実施形態の態様を含めることもできる。   Although the difference between the seventh embodiment and the first embodiment has been described, the image inspection apparatus 1F of the seventh embodiment can include the aspects of the second to sixth embodiments.

[第8実施形態]
本発明の第8実施形態に係る画像検査装置1Gについて説明する。図1〜図10と共通する構成については同一の符号を付し、その説明は省略する。第8実施形態に係る画像検査装置1Gは、基板20の検査以外の用途へ適用した点で、第1実施形態に係る画像検査装置1と異なる。
[Eighth Embodiment]
An image inspection apparatus 1G according to an eighth embodiment of the present invention will be described. Components common to those in FIGS. 1 to 10 are denoted by the same reference numerals, and description thereof is omitted. The image inspection apparatus 1G according to the eighth embodiment is different from the image inspection apparatus 1 according to the first embodiment in that the image inspection apparatus 1G is applied to uses other than the inspection of the substrate 20.

まず、画像検査装置1Gを医療現場、又は、介護現場へ適用した態様を説明する。要介護者がベッドから落下しないように、あるいは、不適切な姿勢を取らないようにするために、要介護者を拘束具でベッドに拘束する場合があるが、要介護者の姿勢を随時監視し、不適切な姿勢となった場合に報知することができれば、要介護者を拘束具で拘束する頻度を低減できる効果が期待できる。そこで、本発明の画像検査装置1Gを適用し、ベッド全体を撮影できるようにカメラ18を設け、基準画像40Rとして要介護者の適切な姿勢を記憶し、所定の時間間隔で、要介護者の状態をカメラ18で撮影してテスト画像40Tを取得する。そして、メッシュ毎に基準画像40Rに対してテスト画像40Tをテンプレートマッチングにより判定することにより、要介護者の姿勢が適切であるかどうかを所定の時間間隔ごとに判断し、要介護者の姿勢が不良である場合に、介護者に報知することができる。カメラ18を赤外線カメラとすれば、ベッドが暗い環境にある場合でも、要介護者の姿勢を判定することができる。   First, an aspect in which the image inspection apparatus 1G is applied to a medical site or a nursing care site will be described. In order to prevent the care recipient from falling off the bed or taking an inappropriate posture, the care recipient may be restrained on the bed with a restraint, but the posture of the care recipient is monitored at any time. If notification can be made when the posture becomes inappropriate, an effect of reducing the frequency of restraining the care recipient with the restraint can be expected. Therefore, by applying the image inspection apparatus 1G of the present invention, the camera 18 is provided so that the entire bed can be photographed, the appropriate posture of the care recipient is stored as the reference image 40R, and the care recipient's appropriate posture is stored at predetermined time intervals. The state is photographed by the camera 18 to obtain a test image 40T. Then, by determining the test image 40T by template matching with respect to the reference image 40R for each mesh, it is determined at every predetermined time interval whether the posture of the care recipient is appropriate. If it is defective, the caregiver can be notified. If the camera 18 is an infrared camera, the posture of the care recipient can be determined even when the bed is in a dark environment.

次に、画像検査装置1Gを防犯のための監視カメラに適用した態様を説明する。本発明を防犯カメラに適用し、監視領域の全体を撮影するカメラ18を設け、カメラ18で撮影された画像の中から侵入者がいない状態の画像を基準画像40Rとして記憶し、所定の時間間隔で、監視領域をカメラ18で撮影してテスト画像40Tを取得する。そして、メッシュ毎に基準画像40Rに対してテスト画像40Tをテンプレートマッチングにより判定することにより、監視領域に侵入者が存在する否かを所定の時間間隔ごとに判断し、監視領域に侵入者がいる場合に、監視者に侵入者の存在を報知することができる。カメラ18を赤外線カメラとすれば、監視領域が暗い環境にある場合でも、侵入者の存在を適切に判定することができる。   Next, a mode in which the image inspection apparatus 1G is applied to a surveillance camera for crime prevention will be described. The present invention is applied to a security camera, provided with a camera 18 that captures the entire surveillance area, stores an image of no intruder among images captured by the camera 18 as a reference image 40R, and has a predetermined time interval. Then, the monitoring area is photographed by the camera 18 to obtain the test image 40T. Then, by determining the test image 40T with respect to the reference image 40R for each mesh by template matching, it is determined at every predetermined time interval whether there is an intruder in the monitoring area, and there is an intruder in the monitoring area. In this case, it is possible to notify the observer of the presence of the intruder. If the camera 18 is an infrared camera, the presence of an intruder can be appropriately determined even when the monitoring area is in a dark environment.

さらに、画像検査装置1Gを獣害防止のための監視カメラに適用した態様を説明する。本発明を獣害防止のための監視カメラに適用し、監視領域の全体を撮影するカメラ18を設け、カメラ18で撮影された画像の中から害獣が存在しない状態の画像を基準画像40Rとして記憶し、所定の時間間隔で、監視領域をカメラ18で撮影してテスト画像40Tを取得する。そして、メッシュ毎に基準画像40Rに対してテスト画像40Tをテンプレートマッチングにより判定することにより、監視領域に害獣が存在する否かを所定の時間間隔ごとに判断し、監視領域に害獣が存在する場合に、監視者に害獣の存在を報知することができる。また、害獣が存在すると判定した場合に、自動的に警報手段を駆動することにより、害獣を追い払うようにすることも可能である。また、カメラ18を赤外線カメラとすれば、監視領域が暗い場合でも、害獣の存在を適切に判定することができる。   Furthermore, an aspect in which the image inspection apparatus 1G is applied to a surveillance camera for preventing beast harm will be described. The present invention is applied to a surveillance camera for prevention of beast harm, and a camera 18 for photographing the entire surveillance area is provided, and an image in a state where no harmful beast exists from images taken by the camera 18 is used as a reference image 40R. The test area 40 is acquired by photographing the monitoring area with the camera 18 at predetermined time intervals. Then, by determining by template matching the test image 40T with respect to the reference image 40R for each mesh, it is determined at every predetermined time interval whether or not there is a pest in the monitoring area, and there is a pest in the monitoring area. In this case, it is possible to notify the observer of the presence of a pest. In addition, when it is determined that there is a pest, it is possible to drive away the pest by automatically driving the alarm means. Further, if the camera 18 is an infrared camera, the presence of a pest can be appropriately determined even when the monitoring area is dark.

なお、第8実施形態について第1実施形態との差について説明したが、第8実施形態の画像検査装置1Gに第2乃至第7実施形態の態様を含めることもできる。   Although the difference between the eighth embodiment and the first embodiment has been described, the image inspection apparatus 1G according to the eighth embodiment can include the aspects of the second to seventh embodiments.

1…画像検査装置 10…画像検査装置本体 11…スライドテーブル
12…ハンドル 13…表示灯 14…第1基準ブロック
15…第2基準ブロック 16…第1可動ブロック 17…第2可動ブロック
18…カメラ 19…LED照明 20…基板
20R…良品基板 20T…テスト基板 21…原点
22…スライドテーブル収容部 23…ストッパ 25…PC本体
26…ディスプレイ 27…キーボード 28…マウス
31…メッシュ手段 32…前処理手段 33…基準画像記憶手段
34…判定手段 35…画像検査プログラム 40…カラー画像
40R…基準画像 40T…テスト画像 41…メッシュ
50…標準 51…甘め 52…厳しめ
53…メッシュサイズ 54…自動メッシュ 55…全セット
56…クリア 57…モニターアーム 60…前処理
61…グレイ化 62…RGB平均 63…RGBブレンド
64〜66…割合 67…H 68…S
69…V 70…コントラスト 71…リニア
72…S字曲線 73…減色 74…フィルタ
75…ガウシアン 76…メディアン 77…ノイズ低減
80…マッチング条件 81…探索範囲 82…重なり量
83…マッチング手法 85…判定基準 86…一致率(%)
87…輝度差(%) 88…偏差誤差(%) 90…生産システム
91…印刷機 92…印刷検査装置 93…標準機
94…異型機 95…リフロー前部品搭載検査装置 96…リフロー炉
97…部品搭載検査装置 98…目視検査 99…オフライン部品搭載検査装置
DESCRIPTION OF SYMBOLS 1 ... Image inspection apparatus 10 ... Image inspection apparatus main body 11 ... Slide table 12 ... Handle 13 ... Indicator lamp 14 ... 1st reference | standard block
DESCRIPTION OF SYMBOLS 15 ... 2nd reference | standard block 16 ... 1st movable block 17 ... 2nd movable block 18 ... Camera 19 ... LED illumination 20 ... Board | substrate 20R ... Non-defective board | substrate 20T ... Test board | substrate 21 ... Origin 22 ... Slide table accommodating part 23 ... Stopper 25 ... PC main body 26 ... display 27 ... keyboard 28 ... mouse 31 ... mesh means 32 ... pre-processing means 33 ... reference image storage means 34 ... determination means 35 ... image inspection program 40 ... color image 40R ... reference image 40T ... test image 41 ... mesh 50 ... Standard 51 ... Sweet 52 ... Strict 53 ... Mesh size 54 ... Automatic mesh 55 ... All set 56 ... Clear 57 ... Monitor arm 60 ... Pre-processing 61 ... Graying 62 ... RGB average 63 ... RGB blend 64-66 ... Ratio 67 ... H 68 ... S
69 ... V70 ... Contrast 71 ... Linear 72 ... S-curve 73 ... Color reduction 74 ... Filter 75 ... Gaussian 76 ... Median 77 ... Noise reduction 80 ... Matching condition 81 ... Search range 82 ... Overlap amount 83 ... Matching method 85 ... Judgment criteria 86 ... Match rate (%)
87 ... Brightness difference (%) 88 ... Deviation error (%) 90 ... Production system 91 ... Printing machine 92 ... Printing inspection device 93 ... Standard machine 94 ... Atypical machine 95 ... Pre-reflow component mounting inspection device 96 ... Reflow furnace 97 ... Parts Mounting inspection device 98 ... Visual inspection 99 ... Offline component mounting inspection device

Claims (24)

検査対象をカラー画像として撮影する撮影手段と、
前記撮影手段により撮影された前記カラー画像を指定されたメッシュサイズに基づいてメッシュ状の複数の区画に区切るメッシュ手段と、
前記撮影手段により撮影された前記カラー画像を設定値に基づいて所定のグレイスケール画像に変換する前処理手段と、
前記撮影手段によって撮影された、予め選定された基準となる検査対象の前記カラー画像を基準画像として記憶する基準画像記憶手段と、
前記メッシュ手段及び前記前処理手段により前記メッシュ状の複数の区画に区切られ、かつ、前記所定のグレイスケールに変換された前記撮像手段により撮影された検査画像及び前記基準画像について、前記メッシュ状の複数の区画毎に所定のパラメータに基づいて類似度を演算し、前記メッシュ状の複数の区画毎に基準画像と検査画像とを相対的に移動させる所定の探索範囲において前記類似度が一番高くなる位置を探索する、テンプレートマッチングを含む判定手段と、
前記メッシュサイズ、前記設定値及び前記パラメータの少なくとも1つを設定すると共に、判定結果を報知するインターフェイス手段と、
を備えることを特徴とする画像検査装置。
Photographing means for photographing the inspection object as a color image;
Mesh means for dividing the color image photographed by the photographing means into a plurality of mesh-shaped sections based on a designated mesh size;
Pre-processing means for converting the color image photographed by the photographing means into a predetermined gray scale image based on a set value;
Reference image storage means for storing the color image of the inspection object that is a preselected reference imaged by the imaging means as a reference image;
About the inspection image and the reference image that are divided into the mesh-like sections by the mesh means and the pre-processing means and that are captured by the imaging means that have been converted to the predetermined gray scale, the similarity is calculated based on Jo Tokoro parameter for each of a plurality of sections, the similarity in the predetermined search range for relatively moving the test image and the reference image for each of a plurality of sections of the mesh-like is the most A determination means including template matching for searching for a higher position ;
Interface means for setting at least one of the mesh size, the set value, and the parameter, and notifying a determination result;
An image inspection apparatus comprising:
前記カラー画像は前記メッシュ手段により前記メッシュ状の複数の区画に区切られた後に、前記前処理手段により前記所定のグレイスケール画像に変換されることを特徴とする請求項1に記載の画像検査装置。   2. The image inspection apparatus according to claim 1, wherein the color image is divided into a plurality of mesh-shaped sections by the mesh unit, and then converted into the predetermined gray scale image by the pre-processing unit. . 検査対象をカラー画像として撮影する撮影手段と、
前記撮影手段により撮影された前記カラー画像を指定されたメッシュサイズに基づいてメッシュ状の複数の区画に区切るメッシュ手段と、
前記メッシュ手段により区切られたメッシュ状の複数の区画ごとに、前記撮影手段により撮影された前記カラー画像を設定値に基づいて所定のグレイスケール画像に変換する前処理手段と、
前記撮影手段によって撮影された、予め選定された基準となる検査対象の前記カラー画像を基準画像として記憶する基準画像記憶手段と、
前記メッシュ手段によってメッシュ状の複数の区画に区切られた後に、前記前処理手段により前記複数の区画ごとに前記所定のグレイスケールに変換された前記撮像手段により撮影された検査画像及び前記基準画像について、前記メッシュ状の複数の区画毎に、所定のパラメータに基づいて類似度を判定する、テンプレートマッチングを含む判定手段と、
前記メッシュサイズ、前記設定値及び前記パラメータの少なくとも1つを設定すると共に、判定結果を報知するインターフェイス手段と、
を備えることを特徴とする画像検査装置。
Photographing means for photographing the inspection object as a color image;
Mesh means for dividing the color image photographed by the photographing means into a plurality of mesh-shaped sections based on a designated mesh size;
Pre-processing means for converting the color image photographed by the photographing means into a predetermined gray scale image based on a set value for each of a plurality of mesh-like sections divided by the mesh means;
Reference image storage means for storing the color image of the inspection object that is a preselected reference imaged by the imaging means as a reference image;
After being divided into a plurality of mesh-like sections by the mesh means, the inspection image and the reference image photographed by the imaging means converted into the predetermined gray scale for each of the plurality of sections by the preprocessing means Determining means including template matching for determining the similarity based on a predetermined parameter for each of the plurality of mesh-shaped sections;
Interface means for setting at least one of the mesh size, the set value, and the parameter, and notifying a determination result;
An image inspection apparatus comprising:
前記検査対象は基板であることを特徴とする請求項1〜3のいずれか1項に記載の画像検査装置。 It said object image inspection apparatus according to any one of claims 1-3, characterized in that a substrate. 前記画像検査装置はさらに検査対象を照明する照明手段を備えることを特徴とする請求項1〜4のいずれか1項に記載の画像検査装置。 Image inspection apparatus according to any one of claims 1-4, characterized in that it comprises an illumination means and the image inspection apparatus for further illuminate the test object. 前記基準画像を編集可能であることを特徴とする請求項1〜のいずれか1項に記載の画像検査装置。 Image inspection apparatus according to any one of claims 1 to 5, characterized in that editable said reference image. 前記基準画像を複数用いることを特徴とする請求項1〜のいずれか1項に記載の画像検査装置。 Image inspection apparatus according to any one of claims 1 to 6, characterized by using a plurality of the reference images. 前記複数の区画のそれぞれは周囲の区画と重なる重なり領域を有していることを特徴とする請求項1〜のいずれか1項に記載の画像検査装置。 Image inspection apparatus according to any one of claims 1 to 7, characterized in that it has an overlap region overlapping with the periphery of the compartment and each of said plurality of compartments. 前記前処理手段において前記設定値により、三原色の混合割合、トーンカーブ、階調及びフィルタの少なくとも1つを設定可能であることを特徴とする請求項1〜のいずれか1項に記載の画像検査装置。 By the setting value in the pre-processing means, the mixing ratio of the three primary colors, tone curve, images according to any one of claims 1 to 8, characterized in that at least one of the gradation and the filter can be set Inspection device. 前記判定手段において前記パラメータにより、探索範囲、前記区画の重なり量及び前記テンプレートマッチングを含む手法の少なくとも1つを設定可能であることを特徴とする請求項1〜のいずれか1項に記載の画像検査装置。 By the parameter in the determination unit, the search range, according to any one of claims 1 to 9, characterized in that it is possible to set at least one of techniques including overlap amount and the template matching of the partition Image inspection device. 前記判定手段において前記テンプレートマッチングを含む手法は、メッシュ内の画像の状態に応じて設定されることを特徴とする請求項1〜10のいずれか1項に記載の画像検査装置。 Said method comprising the template matching in the determination means, the image inspection apparatus according to any one of claims 1 to 10, characterized in that is set in accordance with the state of the image in the mesh. 前記判定手段はさらに平均輝度及び/又はグレイ化後の標準偏差値の差により類似度を判定することを特徴とする請求項1〜11のいずれか1項に記載の画像検査装置。 It said determining means further image inspection apparatus according to any one of claims 1 to 11, characterized in that to determine the similarity by the difference in the average luminance and / or standard deviation value after gray reduction. 前記メッシュサイズ、前記設定値及び前記パラメータの少なくとも1つは、プリセット値として設定可能であることを特徴とする請求項1〜12のいずれか1項に記載の画像検査装置。 The mesh size, at least one, image inspection apparatus according to any one of claims 1 to 12, characterized in that it is set as a preset value of the set value and the parameters. 前記画像検査装置はさらに検査対象における検査範囲を設定する手段を備えることを特徴とする請求項1〜13のいずれか1項に記載の画像検査装置。 Image inspection apparatus according to any one of claims 1 to 13, characterized in that it comprises means for setting the inspection range in the image inspecting apparatus further inspected. 前記検査範囲の少なくとも一部は自動設定可能であることを特徴とする請求項14に記載の画像検査装置。   The image inspection apparatus according to claim 14, wherein at least a part of the inspection range can be automatically set. 前記検査範囲の少なくとも一部は基板のCADデータに基づいて設定されることを特徴とする請求項14又は15に記載の画像検査装置。 The image inspection apparatus according to claim 14, wherein at least a part of the inspection range is set based on CAD data of a substrate. 前記基準画像の少なくとも一部は、前記撮影手段によって撮影された画像ではなく、基板のCADデータに基づいて生成されたものであることを特徴とする請求項1〜16のいずれか1項に記載の画像検査装置。 The at least part of the reference image is not an image photographed by the photographing unit, but is generated based on CAD data of a substrate. 17. Image inspection equipment. 請求項1〜17のいずれか1項に記載の画像検査装置を備えることを特徴とする生産システム。 Production system characterized in that it comprises an image inspection apparatus according to any one of claims 1 to 17. 撮影手段により検査対象をカラー画像として撮影する工程と、
メッシュ手段により前記カラー画像を指定されたメッシュサイズに基づいてメッシュ状の複数の区画に区切る工程と、
前処理手段により前記撮影手段により撮影された前記カラー画像を設定値に基づいて所定のグレイスケール画像に変換する工程と、
前記撮影手段によって撮影された、予め選定された基準となる検査対象の前記カラー画像を基準画像として記憶する工程と、
前記メッシュ手段及び前記前処理手段により前記メッシュ状の複数の区画に区切られ、かつ、前記所定のグレイスケールに変換された前記撮像手段により撮影された検査画像及び前記基準画像について、前記メッシュ状の複数の区画毎に基準画像と検査画像とを相対的に移動させる所定の探索範囲において前記類似度が一番高くなる位置を探索する、テンプレートマッチングを含む判定手段により類似度を判定する工程と、
前記メッシュサイズ、前記設定値及び前記パラメータの少なくとも1つを設定すると共に、判定結果を報知する工程と、
を備えることを特徴とする画像検査方法。
A step of photographing a test object as a color image by photographing means;
Dividing the color image into a plurality of mesh-shaped sections based on a designated mesh size by mesh means;
Converting the color image photographed by the photographing means by a pre-processing means into a predetermined gray scale image based on a set value;
Storing the color image of the inspection object, which is a preselected reference, photographed by the photographing means, as a reference image;
Wherein the mesh unit and the pre-processing means is divided into a plurality of compartments of the mesh-like, and, for captured test image and the reference image by the image pickup means is converted into the predetermined gray scale, the mesh-like A step of determining similarity by determination means including template matching, searching for a position where the similarity is highest in a predetermined search range in which the reference image and the inspection image are relatively moved for each of a plurality of sections ;
Setting at least one of the mesh size, the set value, and the parameter, and notifying a determination result;
An image inspection method comprising:
撮影手段により検査対象をカラー画像として撮影する工程と、
メッシュ手段により前記カラー画像を指定されたメッシュサイズに基づいてメッシュ状の複数の区画に区切る工程と、
前記メッシュ手段により区切られたメッシュ状の複数の区画ごとに、前処理手段により前記撮影手段により撮影された前記カラー画像を設定値に基づいて所定のグレイスケール画像に変換する工程と、
前記撮影手段によって撮影された、予め選定された基準となる検査対象の前記カラー画像を基準画像として記憶する工程と、
前記メッシュ手段によってメッシュ状の複数の区画に区切られた後に、前記前処理手段により前記複数の区画ごとに前記所定のグレイスケールに変換された前記撮像手段により撮影された検査画像及び前記基準画像について、前記メッシュ状の複数の区画毎に、所定のパラメータに基づいてテンプレートマッチングを含む判定手段により類似度を判定する工程と、
前記メッシュサイズ、前記設定値及び前記パラメータの少なくとも1つを設定すると共に、判定結果を報知するインターフェイス手段と、
を備えることを特徴とする画像検査方法。
A step of photographing a test object as a color image by photographing means;
Dividing the color image into a plurality of mesh-shaped sections based on a designated mesh size by mesh means;
For each of a plurality of mesh-like sections divided by the mesh means, converting the color image photographed by the photographing means by a preprocessing means into a predetermined gray scale image based on a set value;
Storing the color image of the inspection object, which is a preselected reference, photographed by the photographing means, as a reference image;
After being divided into a plurality of mesh-like sections by the mesh means, the inspection image and the reference image photographed by the imaging means converted into the predetermined gray scale for each of the plurality of sections by the preprocessing means Determining a degree of similarity for each of the plurality of mesh-shaped sections by a determination unit including template matching based on a predetermined parameter;
Interface means for setting at least one of the mesh size, the set value, and the parameter, and notifying a determination result;
An image inspection method comprising:
請求項19又は20に記載の画像検査方法を画像処理装置又は生産システムによって実行させるように、当該画像処理装置又は生産システムを制御する制御装置のコンピュータ上で動作することを特徴とするプログラム。 21. A program that operates on a computer of a control device that controls the image processing apparatus or the production system so that the image inspection method according to claim 19 or 20 is executed by the image processing apparatus or the production system. 追加的なアドインプログラムをさらに備えることを特徴とする請求項21に記載のプログラム。 The program according to claim 21 , further comprising an additional add-in program. モジュール化された検査機能をさらに追加することが可能なことを特徴とする請求項21又は22に記載のプログラム。 The program according to claim 21 or 22 , wherein a modularized inspection function can be further added. 請求項21〜23のいずれか1項に記載のプログラムを記憶したことを特徴とする記憶媒体。 A storage medium storing the program according to any one of claims 21 to 23 .
JP2017085745A 2017-04-25 2017-04-25 Image inspection apparatus, production system, image inspection method, program, and storage medium Active JP6233824B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017085745A JP6233824B1 (en) 2017-04-25 2017-04-25 Image inspection apparatus, production system, image inspection method, program, and storage medium
PCT/JP2018/016374 WO2018198991A1 (en) 2017-04-25 2018-04-20 Image inspection device, production system, image inspection method, program, and storage medium
CN201880002545.2A CN109564173B (en) 2017-04-25 2018-04-20 Image inspection apparatus, production system, image inspection method, and storage medium
TW107113978A TWI664422B (en) 2017-04-25 2018-04-25 Image inspection device, production system, image inspection method, image inspection program, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017085745A JP6233824B1 (en) 2017-04-25 2017-04-25 Image inspection apparatus, production system, image inspection method, program, and storage medium

Publications (2)

Publication Number Publication Date
JP6233824B1 true JP6233824B1 (en) 2017-11-22
JP2018185177A JP2018185177A (en) 2018-11-22

Family

ID=60417521

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017085745A Active JP6233824B1 (en) 2017-04-25 2017-04-25 Image inspection apparatus, production system, image inspection method, program, and storage medium

Country Status (4)

Country Link
JP (1) JP6233824B1 (en)
CN (1) CN109564173B (en)
TW (1) TWI664422B (en)
WO (1) WO2018198991A1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109885921B (en) * 2019-02-14 2022-03-11 上海望友信息科技有限公司 Method, system, medium and equipment for transferring mounting data based on three-dimensional component library
JP7181157B2 (en) * 2019-06-14 2022-11-30 ヤマハ発動機株式会社 Inspection device and coating device equipped with the same
JP6788759B1 (en) * 2020-02-12 2020-11-25 Dmg森精機株式会社 Information processing equipment and information processing system
JP7409988B2 (en) * 2020-07-29 2024-01-09 株式会社ニューフレアテクノロジー Pattern inspection device and method for obtaining alignment amount between contour lines
CN114723671B (en) * 2022-03-10 2022-09-06 深圳灿维科技有限公司 Image preprocessing method and device, computer equipment and storage medium

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04290186A (en) * 1991-03-19 1992-10-14 Eastman Kodak Japan Kk Image processing method
JPH08122267A (en) * 1994-10-25 1996-05-17 Mitsubishi Electric Corp Mark recognizing device and mark recognizing method
US20020154810A1 (en) * 2001-02-13 2002-10-24 Orbotech Ltd. Multiple optical input inspection system
US20030083850A1 (en) * 2001-10-26 2003-05-01 Schmidt Darren R. Locating regions in a target image using color matching, luminance pattern matching and hue plane pattern matching
JP2004251781A (en) * 2003-02-20 2004-09-09 Tani Electronics Corp Defect inspection method by image recognition
US20060045325A1 (en) * 2004-08-31 2006-03-02 Semiconductor Insights Inc. Method of design analysis of existing integrated circuits
JP2011149892A (en) * 2010-01-25 2011-08-04 Yamaha Motor Co Ltd Inspection device and inspection method
JP2012221043A (en) * 2011-04-05 2012-11-12 Hitachi Kokusai Electric Inc Image processing method and monitoring device
JP2013234976A (en) * 2012-05-11 2013-11-21 Hioki Ee Corp External appearance inspection device and external appearance inspection method
JP2014055914A (en) * 2012-09-14 2014-03-27 Keyence Corp Appearance inspection device, appearance inspection method, and program
US20160131598A1 (en) * 2013-06-14 2016-05-12 Robert Bosch Gmbh Detection system for detecting a soldered joint
US20160275671A1 (en) * 2015-03-16 2016-09-22 Kla-Tencor Corporation Systems and Methods for Enhancing Inspection Sensitivity of an Inspection Tool

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE519694C2 (en) * 2000-04-28 2003-04-01 Precise Biometrics Ab Fingerprint control
CN100472205C (en) * 2005-02-21 2009-03-25 欧姆龙株式会社 Printed circuit board inspecting method and apparatus inspection logic setting method and apparatus
JP4787673B2 (en) * 2005-05-19 2011-10-05 株式会社Ngr Pattern inspection apparatus and method
JP4772839B2 (en) * 2008-08-13 2011-09-14 株式会社エヌ・ティ・ティ・ドコモ Image identification method and imaging apparatus
JP5254270B2 (en) * 2010-04-09 2013-08-07 株式会社ニューフレアテクノロジー Inspection method and inspection apparatus
CN103106663B (en) * 2013-02-19 2015-12-09 公安部第三研究所 Realize the method for SIM card defects detection based on image procossing in computer system
JP5994698B2 (en) * 2013-03-22 2016-09-21 富士ゼロックス株式会社 Image inspection system, image inspection apparatus, program, and image data output method

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04290186A (en) * 1991-03-19 1992-10-14 Eastman Kodak Japan Kk Image processing method
JPH08122267A (en) * 1994-10-25 1996-05-17 Mitsubishi Electric Corp Mark recognizing device and mark recognizing method
US20020154810A1 (en) * 2001-02-13 2002-10-24 Orbotech Ltd. Multiple optical input inspection system
US20030083850A1 (en) * 2001-10-26 2003-05-01 Schmidt Darren R. Locating regions in a target image using color matching, luminance pattern matching and hue plane pattern matching
JP2004251781A (en) * 2003-02-20 2004-09-09 Tani Electronics Corp Defect inspection method by image recognition
US20060045325A1 (en) * 2004-08-31 2006-03-02 Semiconductor Insights Inc. Method of design analysis of existing integrated circuits
JP2011149892A (en) * 2010-01-25 2011-08-04 Yamaha Motor Co Ltd Inspection device and inspection method
JP2012221043A (en) * 2011-04-05 2012-11-12 Hitachi Kokusai Electric Inc Image processing method and monitoring device
JP2013234976A (en) * 2012-05-11 2013-11-21 Hioki Ee Corp External appearance inspection device and external appearance inspection method
JP2014055914A (en) * 2012-09-14 2014-03-27 Keyence Corp Appearance inspection device, appearance inspection method, and program
US20160131598A1 (en) * 2013-06-14 2016-05-12 Robert Bosch Gmbh Detection system for detecting a soldered joint
US20160275671A1 (en) * 2015-03-16 2016-09-22 Kla-Tencor Corporation Systems and Methods for Enhancing Inspection Sensitivity of an Inspection Tool

Also Published As

Publication number Publication date
WO2018198991A1 (en) 2018-11-01
CN109564173A (en) 2019-04-02
JP2018185177A (en) 2018-11-22
CN109564173B (en) 2020-06-05
TW201907153A (en) 2019-02-16
TWI664422B (en) 2019-07-01

Similar Documents

Publication Publication Date Title
JP6233824B1 (en) Image inspection apparatus, production system, image inspection method, program, and storage medium
EP2685242B1 (en) Vision testing device with enhanced image clarity
JP2012198229A (en) Inspection method
CN108323179B (en) Inspection system and inspection method
KR101241175B1 (en) Mounting boards inspection apparatus and method thereof
JP2014526706A (en) Non-contact type component inspection apparatus and component inspection method
KR101036066B1 (en) Wafer containing cassette inspection device and method
JP6943412B2 (en) Board inspection equipment
JP6791631B2 (en) Image generation method and inspection equipment
JP2019148438A (en) Image processing system and setting method
JPH04208834A (en) Method for inspecting liquid crystal panel
JP4655644B2 (en) Periodic pattern unevenness inspection system
JP4967245B2 (en) Periodic pattern unevenness inspection apparatus and unevenness inspection method
JP2011149736A (en) Appearance inspection apparatus and appearance inspection method
JP6771905B2 (en) Inspection equipment, inspection method and manufacturing method of goods
KR101522312B1 (en) Inspection device for pcb product and inspecting method using the same
KR20220044741A (en) Wafer appearance inspection apparatus and method
JP5832167B2 (en) Component presence / absence determination apparatus and component presence / absence determination method
JP3597484B2 (en) Solder printing inspection equipment
JP2005017234A (en) Visual inspection method, visual inspection device, and manufacturing equipment for electronic circuit substrate
WO2021084773A1 (en) Image processing system, setting method, and program
JP6835020B2 (en) Image processing system, image processing device, image processing program
KR101511089B1 (en) Teaching data auto-generating method for aoi apparatus
JP2006145228A (en) Unevenness defect detecting method and unevenness defect detector
KR102005345B1 (en) An automobile junction box terminal vision inspection method using line scan camera

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171017

R150 Certificate of patent or registration of utility model

Ref document number: 6233824

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250