JP5947169B2 - 外観検査装置、外観検査法およびプログラム - Google Patents

外観検査装置、外観検査法およびプログラム Download PDF

Info

Publication number
JP5947169B2
JP5947169B2 JP2012202271A JP2012202271A JP5947169B2 JP 5947169 B2 JP5947169 B2 JP 5947169B2 JP 2012202271 A JP2012202271 A JP 2012202271A JP 2012202271 A JP2012202271 A JP 2012202271A JP 5947169 B2 JP5947169 B2 JP 5947169B2
Authority
JP
Japan
Prior art keywords
measurement
image
area
inspection
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012202271A
Other languages
English (en)
Other versions
JP2014055916A (ja
Inventor
靖久 生嶋
靖久 生嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2012202271A priority Critical patent/JP5947169B2/ja
Priority to US13/971,867 priority patent/US9410898B2/en
Priority to CN201310421768.1A priority patent/CN103674961B/zh
Publication of JP2014055916A publication Critical patent/JP2014055916A/ja
Application granted granted Critical
Publication of JP5947169B2 publication Critical patent/JP5947169B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/987Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、製品の画像を撮像して製品の外観を検査する外観検査装置、外観検査方法およびプログラムに関する。
コネクタや半導体素子などの製品の外観を撮像してパターンマッチング(画像認識)を行うことで、いわゆる製品の外観検査が実行される。製品のサイズによっては、カメラの撮像範囲に収まらないものがあり、そのような製品については複数の画像を連結することで、製品の全体を表す画像を作成し、外観検査を行っていた(特許文献1、2)。
特開平06−167321号公報 特開平09−251536号公報
ところで、外観検査の対象となっている製品(検査対象物)の良否を判定するためには、予め検査対象物の端子の端部やコーナー部を基準点として設定したり、複数の端子を結ぶ直線を基準線として設定したりする必要がある。さらに、100本のピンを有するコネクタについては、100本のピンのそれぞれについて計測や良否判定のためのパラメータを設定しなければならない。よって、ユーザの作業量もピン数に比例して増加する。
外観検査を実行するための計測ツールには、ピンの位置を計測したり、ピンの高さを計測したり、ピンとピンとの間の距離や面積を計測したりといった種類の異なる複数の計測ツールが含まれている。従来は、各計測ツールごとに、検出点や検査領域、サーチ領域を設定していたため、これらの設定作業が計測ツールの数に比例して増加する傾向にあった。
一方で、コネクタに配置された複数のピンは、同一形状であるとともに等間隔で並べられていることが多い。ユーザは、個々のコネクタピンをモニタに表示させ、各コネクタピンの位置に合わせて計測領域を設定したり、一つのコネクタピンの位置に合わせて計測領域を設定し、当該領域を一定間隔で移動してコピーしたりする必要があった。前者は、煩雑な繰り返し作業が発生し、ユーザの負担が重い。後者は、コネクタピンの位置にバラつきが生じると、各コネクタピン間の間隔が一定とならないため、等間隔でコピーされた計測領域を手動で修正する作業が発生してしまう。このような作業は、各計測ツールごとに発生する。
一方で、複数の計測ツールのうちコネクタピンの位置計測ツールについて計測領域を上記のいずれかの方法で設定し、他の計測ツールについては位置計測ツールの設定結果を参照できれば、複数の計測ツールの全体としては、ユーザの作業負担が軽減されるだろう。たとえば、ピンの先端位置を検出するピン検出ツールに対して各ピンの計測領域を設定し、ピンとピンとの間の面積(エリア)を計測するエリア計測ツールに対しては、ピン検出ツールに対して設定された各ピンの計測領域をオフセット配置すれば、エリア計測ツールの計測領域を簡単な作業で設定できるようになるだろう。
そこで、本発明は、外観検査装置によって使用される複数の計測ツールのうちある計測ツールに対して設定された計測領域を他の計測ツールの計測領域として参照することで、ユーザの負担を軽減する装置や方法を提供することを目的とする。
本発明は、たとえば、
一定方向に配列された複数の特徴部分を有した良品の検査対象物を撮像して得られた基本画像を記憶する基本画像記憶部と、
前記基本画像から前記良品の検査対象物の前記複数の特徴部分の位置を検出する検出処理部と、
検査対象物の計測領域に対して計測を実行する計測ツールを異なる計測を実行する複数の計測ツールから選択する計測ツール選択部と、
前記複数の特徴部分の1つに対して前記計測ツールによる計測を実行する前記計測領域の設定を受け付け、前記計測領域の設定に基づいて、前記検出処理部により検出された前記検査対象物の前記複数の特徴部分の各位置を基準として前記複数の特徴部分の各々に対して計測領域を設定する計測領域設定部と、
前記計測領域設定部によって設定された前記計測領域を前記基本画像とともに表示する表示部と、
外部から入力される撮像トリガ信号に基づいて、新たな検査対象物を撮像して検査画像を取得する取得部と、
前記検査画像について前記計測領域設定部により設定された計測領域にしたがって計測を実行し、計測結果に基づいて当該検査画像を取得された前記新たな検査対象物の良否を判定する良否判定部と、
を有することを特徴とする外観検査装置を提供する。
本発明によれば、外観検査装置によって使用される複数の計測ツールのうちある計測ツールに対して設定された計測領域を他の計測ツールの計測領域として参照することで、ユーザの負担を軽減することができる。
図1は、外観検査装置の概略を示す概略図である。 図2は、外観検査装置のハードウェア構成の一例を示す図である。 図3は、外観検査処理の基本フローを示すフローチャートである。 図4は、パラメータを設定する際の検査対象物とカメラと照明装置の位置関係を示す図である。 図5は、検査対象物であるコネクタを3分割し、フロントライトで撮像した画像とバックライトで撮像した画像とを示す図である。 図6は、寸法測定の一例を示す図である。 図7は、2列目のピンに関する寸法測定の一例を示す図である。 図8は、各ピンの高さを求める方法を示す図である。 図9は、2列目の各ピンについてピン高さを求める例を示す図である。 図10は、撮像回数を設定するためのダイアログを示す図である。 図11は、撮像回数を設定するためのダイアログを示す図である。 図12は、ユーザにより設定された撮像回数を視覚的に示すダイアログを示す図である。 図13は、複数の画像処理ツールのカテゴリーを示したツールカタログからコネクタカテゴリーがマウスによって選択され、さらに、画像処理ツールとしてコネクタ位置ずれ補正が選択されたことを示す図である。 図14は、コネクタ位置ずれ補正に必要となるパラメータを設定するためのUIを示す図である。 図15は、コネクタ位置ずれ補正に必要となるパラメータを設定するためのUIを示す図である。 図16は、コネクタ位置ずれ補正に必要となるパラメータを設定するためのUIを示す図である。 図17は、コネクタ位置ずれ補正のための設定が終了したことを示すUIの一例を示す図である。 図18は、複数の画像処理ツールのカテゴリーを示したツールカタログからコネクタカテゴリーがマウスによって選択され、さらに、画像処理ツールとしてコネクタ寸法検査ツールが選択されたことを示す図である。 図19は、画像の連結点を設定する設定画面を示す図である。 図20は、ピン列検出パラメータの設定画面を示す図である。 図21は、ピンモデルの登録画面を示す図である。 図22は、ピン検出の設定画面を示す図である。 図23は、コネクタの中間部および右端部についてのサーチ領域、検査領域、基準点の設定画面を示す図である。 図24は、コネクタの中間部および右端部についてのサーチ領域、検査領域、基準点の設定画面を示す図である。 図25は、一列目のピンモデルの登録(ピン列検出の設定)が完了したことを示す画面を示す図である。 図26は、コネクタの端検出に関する設定を行う設定画面を示す図である。 図27は、端検出の対象となる端を選択する選択項目を示す図である。 図28は、端検出用のサーチモデルの登録画面を示す図である。 図29は、サーチ領域の設定画面を示す図である。 図30は、端検出用のサーチモデルの登録画面を示す図である。 図31は、サーチ領域の設定画面を示す図である。 図32は、基準点の指定画面を示す図である。 図33は、基準点の指定画面を示す図である。 図34は、ワーク左端とワーク右端とが正常に設定されたことを示す画面を示す図である。 図35は、基準線を設定する設定画面を示す図である。 図36は、基準線の指定方法の選択項目を示す図である。 図37は、選択項目から「ハウジングの両端を結んだ線」が基準線として指定されたときの画面を示す図である。 図38は、寸法測定パラメータを設定するメイン画面を示す図である。 図39は、寸法測定パラメータを設定するための項目選択画面を示す図である。 図40は、選択された測定項目について良否判定に使用されるパラメータを設定する画面を示す図である。 図41は、選択された測定項目について良否判定に使用されるパラメータを設定する画面を示す図である。 図42は、寸法測定パラメータを設定するための項目選択画面を示す図である。 図43は、選択された測定項目について良否判定に使用されるパラメータを設定する画面を示す図である。 図44は、選択された測定項目について良否判定に使用されるパラメータを設定する画面を示す図である。 図45は、複数の画像を連結するための基準となるマークの一例を示す図である。 図46は、画像連結の基準となるマークを設定する設定画面を示す図である。 図47は、画像連結の基準となるマークを設定する設定画面を示す図である。 図48は、画像連結の基準となるマークを設定する設定画面を示す図である。 図49は、マークを基準として連結されたフロントライト画像とバックライト画像とを示す図である。 図50は、エッジ検出を利用したピンの検出方法を示す図である。 図51は、エッジ検出を利用したハウジングの検出方法を示す図である。 図52は、コネクタ寸法検査ツールに対して設定された複数のパラメータを示した図である。 図53は、コネクタ外観検査ツールの一つであるエリア計測ツールに対するパラメータの設定画面の一例を示した図である。 図54(A)は、カブリの一例を示す図であり、図54(B)は、バリの一例を示す図である。 図55は、ある計測ツール用のパラメータを他の計測ツールのパラメータとしてコピーし、微調整を加えて設定するためのユーザインタフェースの一例を示す図である。 図56は、ピン抜けがあるコネクタの一例を示す図である。 図57は、無効領域設定画面のお一例を示す図である。 図58は、ピン抜け箇所のとなりに計測領域を設定した例を示す図である。 図59は、検出点追従とサーチ領域中心追従との違いを説明するための図である。 図60(A)は、ピン曲りが存在するコネクタに対してコネクタ寸法検査ツールの基準点を基準としてエリア計測ツールの計測領域を設定する例を示す図であり、図60(B)は、ピン曲りが存在するコネクタに対してコネクタ寸法検査ツールのサーチ領域中心を基準としてエリア計測ツールの計測領域を設定する例を示す図である。 図61(A)は、ピン抜けが存在するコネクタに対してコネクタ寸法検査ツールの基準点を基準としてエリア計測ツールの計測領域を設定する例を示す図であり、図61(B)は、ピン曲りが存在するコネクタに対してコネクタ寸法検査ツールのサーチ領域中心を基準としてエリア計測ツールの計測領域を設定する例を示す図である。 図62は、外観検査装置1の機能ブロック図である。 図63は、本実施例に係る外見検査方法を示すフローチャートである。 図64は、計測領域設定方法を示すフローチャートである。
以下に本発明の一実施形態を示す。以下で説明される個別の実施形態は、本発明の上位概念、中位概念および下位概念など種々の概念を理解するために役立つであろう。また、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。
図1は、外観検査装置1の概略を示す概略図である。外観検査装置1は、コントローラ2と、プログラマブルロジックコントローラ(PLC)3と、カメラ4と、照明装置5(フロントライト51、バックライト52)と、マウス9と、モニタ10と、プログラム作成支援装置11とを有している。PLC3によって制御されるベルトコンベヤなどの搬送装置7によって検査対象物8が搬送され、フロントライト51やバックライト52などの照明装置によって照明された検査対象物8がカメラ4によって撮像される。コントローラ2は、たとえば、PLC3からの命令にしたがって、検査対象物8を照明すべき照明装置を切り替えたり、カメラ4に撮像を実行させたりする。なお、カメラ4は、検査対象物8の搬送方向に向かって左側にフロントカメラ4aが設置されており、右側にはバックカメラ4bが設置されている。バックカメラ4bは、検査対象物8の搬送方向に向かって右側を検査するときに使用される。以下では、特に説明がない限り、フロントカメラ4aをカメラ4として説明する。ここでは、一例として2つのカメラを用いているが、カメラの数は3台、4台、またはそれ以上などであってもよい。もちろん、カメラは、1台だけでもよい。カメラの台数は、検査対象物や外観検査の種類に応じて決定される。たとえば、コネクタの両側に設けられている複数のピンの接地面からの浮き(コプラナリティ)を見るには、コネクタの両側からこれらピンを撮像する必要があるために2台のカメラが使用され、さらにコネクタの上面を撮像するために3台目のカメラが必要となる。
コントローラ2は検査対象物(ワーク)8の画像からエッジ検出や面積計算などの各種計測処理を実行する。カメラ4から得られた画像データを用いて画像処理を実行し、外部接続されたPLC3などの制御機器に対し、検査対象物8の良否などの判定結果を示す信号として判定信号を出力する。
カメラ4は、検査対象物8を撮像する撮像素子を有するカメラモジュールを備えている。撮像素子としては、たとえばCMOS(相補型金属酸化膜半導体)やCCD(電荷結合素子)を用いることができる。PLC3から入力される制御信号、たとえばカメラ4から画像データを取り込むタイミングを規定する撮像トリガ信号に基づいて、検査対象物8の撮像を行う。
モニタ10は、液晶パネルや自発光式パネル等の表示装置である。検査対象物8を撮像して得られた画像や、その画像データを用いた計測処理の結果を表示する。モニタ10は、パターンマッチング用の比較データ(モデル画像)を作成するために使用される基準画像など、良品から取得された画像を表示してもよい。
マウス9は、ユーザがモニタ10上で各種操作するため(モニタ10がタッチパネルなら省略可)の入力装置である。マウス9は、モニタ10上で各メニュー項目を選択したり、パラメータ値を設定したりする。マウス9は、ポインティングデバイスの一例である。ユーザは、モニタ10を視認することで、コントローラ2の運転中の動作状態を確認することができる。また、ユーザは、モニタ10を視認しつつ、マウス9を操作することによって、必要に応じて各種設定や各種編集を行うことができる。
照明装置5は、検査対象物8を照明する装置であり、図1では、フロントライト51、バックライト52が示されている。照明装置5としては、これら以外にも、たとえば、光沢を際立たせる同軸落射照明、傷や刻印のエッジが際立つローアングル照明、ブラックライトを当てるブラックライト照明、バックライト52として用いられる面照明(フロントライト51とは反対側から照明を与え、検査対象物の透過光または影を観察するための透過照明)、四方八方から拡散光を照射するドーム照明など、各種の照明を行う照明装置が採用されてもよい。特に、同軸落射照明は、視野全体に略均一に照明を当てる照明手法であり、カメラ4と照明装置5をV字に配置して検査対象物8からの正反射光を受光する照明手法とほぼ同様の効果が得られる利点がある。また、ローアングル照明は、たとえばLED等の投光素子をリング状に配置し、検査対象物8の表面を浅い角度で全周方向から光を照らす照明手法である。検査対象物8の表面に当たった光はカメラ4の方向には反射せず、刻印や傷のエッジ部分で反射した光だけが受光される。すなわち、照射角度が非常に浅い角度であるため、光沢面では反射が弱く、検査対象物8上の僅かな傷やエッジでのみ強い反射が得られ、はっきりとしたコントラストが得られる。別の表現をすると、フロントライト51は、検査対象物8の表面の特徴(テクスチャ、エッジ等)を抽出するための照明光であって、バックライト52は、検査対象物8の輪郭(または縁部)を抽出するための照明光である。
プログラム作成支援装置11は、コントローラ2が実行する制御プログラムを作成するためのコンピュータ(PC)である。制御プログラムは、以下で説明するような外観検査に関するそれぞれ異なる計測を実行するための複数の計測処理モジュールを有している。コントローラ2は、設定された順番に沿って各種計測処理モジュールを呼び出して実行する。プログラム作成支援装置11とコントローラ2とは、通信ネットワークを介して接続されており、プログラム作成支援装置11上で生成された制御プログラムやパラメータ値等の設定情報は、コントローラ2に転送される。また逆に、コントローラ2から制御プログラムやパラメータ値等の設定情報などを取り込んで、プログラム作成支援装置11上で編集することもできる。
工場において、複数の検査対象物8は、コンベアなどの搬送装置7のライン上を流れてくる。コントローラ2は、検査対象物8の上方(または側方、下方)に設置されているカメラ4により検査対象物8を撮像し、撮像した画像を基準画像(たとえば良品を撮像した画像)や基準画像から作成したモデル画像と比較して、検査対象物8に傷や欠陥等が存在するか否かの判断を行う。検査対象物8に傷や欠陥等が存在すると判断した場合には、NG判定となる。一方、検査対象物8に傷や欠陥等が存在しないと判断した場合には、OK判定となる。このように、外観検査装置1は、検査対象物8を撮像した画像を用いて、検査対象物8の外観の良否判定を行う。
検査対象物8の外観検査を行う場合、検査に用いる各種パラメータの内容(パラメータ値等)を設定する必要がある。パラメータとしては、たとえば、シャッタースピードなどの撮像条件を規定する撮像パラメータ、照度などの照明条件を規定する照明パラメータ、どのような検査を行うかを示す検査条件を規定する計測処理パラメータ(いわゆる検査パラメータ)等がある。外観検査装置1では、良否判定を行う前に、これらの各種パラメータの内容を設定する。
外観検査装置1は、実際に搬送装置7のライン上を次々と流れてくる検査対象物8の外観検査を行うモード、すなわち実際に検査対象物8の良否判定を行う運転モード(Runモード)と、検査に用いる各種パラメータの内容の設定を行う設定モード(非Runモード)とを有しており、これらのモードを切り替えるためのモード切替手段を有している。ユーザは、運転モードにおいて、搬送装置7のライン上を流れてくる複数の検査対象物8に対して良否判定が繰り返し行われる前に、設定モードにおいて、各種パラメータに対して最適なパラメータ値を設定(調整)する。基本的に、各種パラメータに対してはデフォルト値が設定されており、ユーザがパラメータ値としてデフォルト値が最適であると判断した場合には、特段、パラメータ値を調整する必要はない。しかし、実際のところ、周囲の照明環境、カメラ4の取り付け位置、カメラ4の姿勢ずれ、ピント調整等の相違に起因して、デフォルト値のままではユーザが望む判定結果を得ることができない場合がある。そこで、設定モードにおいて、コントローラ2のモニタ10上またはプログラム作成支援装置11上にて、運転モードから設定モードに切り換え、各種パラメータの内容を編集できるようになっている。
<外観検査装置1のハードウェア構成>
図2は、外観検査装置1のハードウェア構成の一例を示す図である。
主制御部21は、各種プログラムに基づき数値計算や情報処理を行うとともに、ハードウェア各部の制御を行う。たとえば、中間演算処理装置としてのCPU22と、主制御部21が各種プログラムを実行する際のワークエリアとして機能するRAMなどのワークメモリ23と、起動プログラムや初期化プログラムなどが格納されたROM、フラッシュROMまたはEEPROMなどのプログラムメモリ24とを有している。
照明制御部26は、主制御部21のCPU22やPLC3からの命令に基づいて、フロントライト51やバックライト52などに対して照明制御信号を送信する。
画像入力部25は、カメラ4での撮像により得られた画像データを取り込むASIC(Application Specific Integrated Circuit)などから構成される。画像入力部25には、画像データをバッファリングするためのフレームバッファが含まれていてもよい。具体的に、画像入力部25は、CPU22からカメラ4の撮像指令を受信すると、カメラ4に対して画像データ取り込み信号を送信する。そして、画像入力部25は、カメラ4で撮像が行われた後、撮像して得られた画像データを取り込む。取り込んだ画像データは、一旦バッファリング(キャッシュ)される。
操作入力部27は、マウス9からの操作信号が入力される。操作入力部27は、ユーザの操作に基づきマウス9からの操作信号を受信するインターフェース(I/F)として機能する。
モニタ10には、マウス9を用いたユーザの操作内容が表示される。具体的に説明すると、マウス9を操作することによって、ユーザはモニタ10上で、画像処理の制御プログラムを編集したり、各計測処理モジュールのパラメータ値を編集したり、カメラ4の撮像条件を設定したり、基準画像の中で特徴的な部分をモデル画像として登録したり、サーチ領域内をサーチしてモデル画像に一致した領域を検査領域として設定したりと、様々なことを行うことができる。
表示制御部28は、モニタ10に対して画像を表示させる表示用DSPなどから構成される。表示制御部28には、画像を表示させる際に画像データを一時記憶するVRAMなどのビデオメモリが含まれていてもよい。CPUから送られてきた表示指令(表示コマンド)に基づいて、モニタ10に対して所定の画像(映像)を表示させるための制御信号を送信する。たとえば、計測処理前または計測処理後の画像データを表示するために、モニタ10に対して制御信号を送信する。また、表示制御部28は、マウス9を用いたユーザの操作内容をモニタ10に表示させるための制御信号も送信する。
通信部29は、外部のPLC3やプログラム作成支援装置11などと通信可能に接続される。たとえば、通信部29は、検査対象物8の到着タイミングを認識するために製造ラインに設置され、PLC3に接続されたセンサ(光電センサ等、図示せず)からトリガ入力があったときに、PLC3から撮像トリガ信号を受信するインターフェース(I/F)として機能する。また、通信部29は、プログラム作成支援装置11から転送されてくるコントローラ2の制御プログラムなどを受信するインターフェース(I/F)としても機能する。
画像処理部30は、エッジ検出や面積計算などの計測処理を実行する演算用DSPなどから構成される。画像処理部30には、計測処理用に画像データを記憶するメモリが含まれていてもよい。画像処理部30は、画像データに対する計測処理を実行する。具体的に、画像処理部30は、まず画像入力部25のフレームバッファから画像データを読み出して、画像処理部30内のメモリへ内部転送を行う。そして、画像処理部30は、そのメモリに記憶された画像データを読み出して、計測処理を実行する。
プログラムメモリ24は、照明制御部26、画像入力部25、操作入力部27、表示制御部28、通信部29、および画像処理部30の各部を、CPU22のコマンド等により制御するための制御プログラムを格納している。また、プログラム作成支援装置11から転送されてきた制御プログラムは、プログラムメモリ24に格納される。
CPU22は、通信部29を介してPLC3から撮像トリガ信号を受信すると、画像入力部25に対して撮像指令(コマンド)を送る。また、CPU22は、制御プログラムに基づいて、画像処理部30に対して、実行すべき画像処理を指示するコマンドを送信する。なお、撮像トリガ信号を生成する装置として、PLC3ではなく、光電センサなどのトリガ入力用のセンサを通信部29に直接接続してもよい。
これらの各ハードウェアは、バスなどの電気的な通信路(配線)を介し、通信可能に接続されている。
<計測モジュール(画像処理ツール)>
ここでは、外観検査を実行する計測モジュールを画像処理ツールと呼ぶことにする。画像処理ツールには様々なものがあり、主要な画像処理ツールとしては、エッジ位置計測ツール、エッジ角度計測ツール、エッジ幅計測ツール、エッジピッチ計測ツール、エリア計測ツール、ブロブ計測ツール、パターンサーチ計測ツール、傷計測ツールなどがある。
●エッジ位置計測ツール:検査対象物8の画像が表示される画面上において、エッジ位置を検出したい検査領域に対してウインドウを設定することにより、設定された検査領域内で、任意の方向にスキャンして複数のエッジ(明から暗に切り替わる箇所または暗から明に切り替わる箇所)を検出する。検出した複数のエッジから、一のエッジの指定を受け付け、指定を受け付けたエッジの位置を計測する。
●エッジ角度計測ツール:設定を受け付けた検査領域内に2つのセグメントを設定し、それぞれのセグメントで検出したエッジからの検査対象物8の傾斜角度を計測する。傾斜角度は、たとえば時計回りを正とすることができる。
●エッジ幅計測ツール:設定を受け付けた検査領域内で、任意の方向にスキャンして複数のエッジを検出し、検出した複数のエッジ間の幅を計測する。
●エッジピッチ計測ツール:設定を受け付けた検査領域内で、任意の方向にスキャンして複数のエッジを検出する。検出した複数のエッジ間の距離(角度)の最大値/最小値や平均値を計測する。
●エリア計測ツール:カメラ4で撮像した検査対象物8の画像を二値化処理して、白色領域または黒色領域の面積を計測する。たとえば、計測する対象として白色領域または黒色領域の指定をパラメータとして受け付けることにより、白色領域または黒色領域の面積を計測する。
●ブロブ計測ツール:カメラ4で撮像した検査対象物8の画像を二値化処理して、同一の輝度値(255または0)の画素の集合(ブロブ)に対してパラメータとしての数、面積、重心位置等を計測する。
●パターンサーチ計測ツール:比較対象とする画像パターン(モデル画像)を事前に記憶装置に記憶しておき、撮像した検査対象物8の画像の中から記憶してある画像パターンに類似している部分を検出することで、画像パターンの位置、傾斜角度、相関値を計測する。
●傷計測ツール:設定を受け付けた検査領域内で、小領域(セグメント)を移動させて画素値の平均濃度値を算出し、閾値以上の濃度差となった位置を傷が存在すると判定する。
●その他にも、検査領域内の文字情報を切り出して辞書データ等と照合することで文字列を認識するOCR認識ツール、画像上に設定したウインドウ(領域)をシフトさせながら、各ウインドウの位置においてエッジの検出を繰り返す機能を有するトレンドエッジツール、設定したウインドウ内の濃淡の平均、偏差等を計測する機能を有する濃淡ツール、設定したウインドウ内の濃度の平均、偏差等を計測する機能を有する濃度ツールなどもあり、ユーザは検査内容に応じて必要な画像処理ツールを選択することができる。なお、これらの画像処理ツールは、典型的な機能およびその実現方法の代表例を示すものに過ぎない。あらゆる画像処理に対応する画像処理ツールが本願発明の対象になり得る。
<外観検査の基本フロー>
図3は、外観検査処理の基本フローを示すフローチャートである。外観検査処理は、検査対象物8の良否を判定するために必要となるモデル画像、検査領域、サーチ領域、検出点(以下、基準点と称す)、基準線、公差などの閾値を設定する設定モードと、実際に検査対象物8を撮像してパターンマッチングを実行して良否を判定する運転モードとに分かれている。なお、検査用のパラメータを適切に設定するために、設定モードと運転モードとを繰り返し実行することが一般的である。なお、寸法計測、エリアツールや傷ツールなどによる外観検査処理が実行されてもよい。
S301で、CPU22は、画像入力部25を通じてカメラ4に撮像命令を送信することで、カメラ4に撮像を実行させる。CPU22は、カメラ4により取得された画像データを、表示制御部28を通じてモニタ10に表示させる。ユーザは、モニタ10に表示された画像を視認することで、カメラ4の姿勢や照明装置5の照明状態を確認する。
S302で、CPU22は、マウス9によって入力された指示に基づいてカメラ4のシャッタースピードなどの露光条件を調整する。なお、ユーザは、カメラ4の姿勢を手動で調整してもよい。
S303で、CPU22は、搬送装置7の撮像位置に配置された検査対象物8の画像をワーク画像として取り込むために、カメラ4に撮像命令を送信する。なお、ワーク画像(基本画像)は、不揮発性メモリに記憶されて繰り返し使用される基準画像であってもよいし、モデル画像を作成するためにその都度撮像される都度画像であってもよい。ここでは、ワーク画像はワークメモリ23に記憶される。なお、モデル画像は基準画像から作成してもよい。
S304で、CPU22は、位置ずれ補正の設定処理を実行する。カメラ4によって取得された画像において、検査対象物8の画像の位置が理想位置からずれていることがある。そこで、CPU22は、検査対象物8の画像を回転したり、シフトしたりすることで、位置ずれを補正する。なお、位置ずれ補正は、画像処理部30が実行してもよい。
S305で、CPU22は、上述した各種の画像処理ツールを設定する。たとえば、外観検査においてどの計測を実行するかや、計測を実行するために必要となるサーチ領域、検査領域、基準点などが設定される。
S306で、CPU22は、外観検査で必要となるパラメータ(例:公差などの検査閾値)を、マウス9によって入力された指示に基づいて設定する。S307で、CPU22は、設定モードから運転モードに切り替える。
S308で、CPU22は、PLC3からの指示にしたがって検査対象物8をカメラ4で撮像し、画像処理部30にパターンマッチングを実行させ、実行結果に基づいて良否を判定し、判定結果をPLC3に出力したり、モニタ10に出力したりする。
S309で、CPU22は、マウス9からモードの切り替え指示が入力されると、運転モードから設定モードに切り替える。S310で、CPU22は、マウス9によって入力された指示に基づいてパラメータを再設定する。
<パラメータの設定>
図4は、パラメータを設定する際の検査対象物8と、カメラ4と、照明装置5の位置関係を示している。検査対象物8は、複数のピンを有したIC(集積回路)、複数の半田ボールを有したBGA(ボールグリッドアレイ)などであってもよいが、ここでは、説明の便宜上、樹脂製のハウジング40と複数のピン41とを有したコネクタと仮定する。
照明装置5であるバックライト52は、搬送装置7を挟んでカメラ4に対向するように配置されており、検査対象物8の後ろ側から検査対象物8を照明する。フロントライト51は、リング照明装置であり、搬送装置7から見てカメラ4と同じ側に配置されており、検査対象物8の前側から照明する。
運転モードにおいては、PLC3が搬送装置7を制御し、検査対象物8がカメラ4の撮像位置に到着すると、搬送装置7を停止させ、コントローラ2を介してカメラ4に撮像を命令する。この際に、PLC3は、コントローラ2を介して照明装置5に照明するよう命令する。また、(ハウジング40の表面の特徴を抽出するための)フロントライト51でコネクタのピン41やハウジング40を照らした状態でカメラ4が撮像する。(ハウジング40の輪郭を抽出するための)バックライト52でコネクタのハウジング40の輪郭を浮かび上がらせた状態でカメラ4が撮像する。
一方で、設定モードにおいては、基本的に搬送装置7を停止させておき、コントローラ2が直接的にカメラ4や照明装置5を制御し、検査対象物8のワーク画像を撮像する。設定モードにおいて撮像される検査対象物8は、ユーザにより良品と判定されたワーク(製品)である。一般に、ワーク画像は1枚である。しかし、検査対象物8が搬送装置7の搬送方向に長く、一回の撮像では検査対象物8の全体を撮像できないことがある。この場合は、検査対象物8を複数回に分けて撮像するように、コントローラ2がカメラ4を制御する。なお、設定モードにおいて複数枚のワーク画像を取得したときは、運転モードでも同数枚の画像が取得され、ワーク画像とモデル画像と比較される。
設定モードにおいても運転モードにおいても、フロントライト51でコネクタのピン41やハウジング40を照らした状態でカメラ4が撮像する。また、バックライト52でコネクタのハウジング40の輪郭を浮かび上がらせた状態でカメラ4が撮像する。検査対象物8を複数回に分割して撮像する場合、PLC3は、検査対象物8またはカメラ4のいずれかを移動させることで、複数回の撮像を実行してもよい。検査対象物8またはカメラ4の移動は手動であってもよい。検査対象物8を3か所以上に分割して撮像する場合、搬送方向で最初の撮像箇所(図中の左端)と搬送方向で最後の撮像箇所(図中の右端)については、フロントライト51で検査対象物8を照明してカメラ4で撮像し、その後、バックライト52で検査対象物8を照明してカメラ4で撮像する。一方で、最初の撮像箇所と最後の撮像箇所との間に位置する1つ以上の中間の撮像箇所については、フロントライト51で検査対象物8を照明してカメラ4で撮像し、バックライト52を用いた撮像を省略する。これは、検査対象物8の中間部分の輪郭は、外観検査をするうえで重要ではないからである。中間部分については、バックライト52を用いた撮像を省略することで、外観検査の作業効率を向上できる。
図5は、検査対象物8であるコネクタを3分割し、フロントライト51で撮像した画像とバックライト52で撮像した画像とを示している。画像53は、フロントライト51で撮像したコネクタの左端の画像である。画像54は、フロントライト51で撮像したコネクタの中間の画像である。画像55は、フロントライト51で撮像したコネクタの右端の画像である。画像56は、バックライト52で撮像したコネクタの左端の画像である。画像57は、バックライト52で撮像したコネクタの右端の画像である。なお、画像53〜画像55の各画像においてコネクタの下に存在する黒ベタの部分は搬送装置7のベルトコンベヤの画像である。なお、検査対象物8が治具等に搭載されて搬送装置7によって搬送される場合は、治具が画像に映り込むことになる。上述したように、コネクタの中央(以下、中間と称す)についてはバックライト52による撮像が省略されている。
なお、カメラ4は、所定位置に配置されたコネクタをフロントライト51で撮像し、次に、コネクタの位置を維持したままバックライト52で撮像する。つまり、フロントライト51を用いて撮像された画像と、バックライト52を用いて撮像された画像とにおいて、検査対象物8の位置は一致している。
なお、画像53の右端と画像54の左端とには、コネクタの同一部分が写っている。同様に、画像54の右端と画像55の左端とには、コネクタの同一部分が写っている。このように隣り合った部分画像に同一の部分が重複して写っている理由は、これらの3枚の部分画像を連結して1枚の全体画像を作成するためである。つまり、画像処理部30は、隣り合った2枚の部分画像において共通に写っている同一のピンが重なるように、隣り合った2枚の部分画像を連結する。これにより作成された全体画像には、コネクタの全体が含まれることになる。
<寸法測定>
●ピンと角までの距離
図6は、寸法測定の一例を示す図である。モニタ10に表示されるユーザインタフェース(UI)60には、フロントライト51を用いて撮像された複数の部分画像を連結して構成された一枚の画像(フロントライト画像61)と、バックライト52を用いて撮像された複数の部分画像を連結して構成された画像(バックライト画像62)とが示されている。フロントライト画像61とバックライト画像62とは、フロントライト51と、バックライト52とを切り替えて撮像されたそれぞれ同一の被写体の部分画像を連結することで作成された全体画像である。よって、フロントライト画像61の座標系とバックライト画像62の座標系は一致している。ここでは、フロントライト画像61の座標系は、フロントライト画像61の左端を原点としており、バックライト画像62の座標系は、バックライト画像62の左端を原点としている。よって、フロントライト画像61における各ピンの中心位置と、バックライト画像62における各ピンの中心位置は同一の座標で表現できる。同様に、フロントライト画像61におけるハウジング40の角64の位置と、バックライト画像62におけるハウジング40の角64の位置は同一の座標で表現できる。
UI60においては、フロントライト画像61の横方向における両方の端部とバックライト画像62の横方向における両方の端部とがそれぞれ一致するように、フロントライト画像61とバックライト画像62とが同時に表示される。つまり、フロントライト画像61の横方向の端部とバックライト画像62の横方向の端部とを揃えて、フロントライト画像61とバックライト画像62とが上下に並べられて表示される。これにより、ユーザは、フロントライト画像61とバックライト画像62とがともに同一の検査対象物8を撮像して取得された画像であることを理解しやすくなる。また、フロントライト画像61に設定したサーチ領域、検査領域および検出点はそのままバックライト画像62に設定されるようにしてもよい。つまり、フロントライト画像61とバックライト画像62とにおいて、サーチ領域、検査領域および検出点は連動して表示されるようにしてもよい。同様に、バックライト画像62に設定したサーチ領域、検査領域および検出点はそのままフロントライト画像61に設定され、両者は連動して表示されるようにしてもよい。これにより、一方の画像において設定しにくい特徴部分については他方の画像を用いて設定できるようなる。本発明では、このような特徴を生かして、検査対象物8についての寸法など様々な計測対象を設定できるようになる。
図6では、画像処理部30がハウジング40の角64から1番ピン63の中心までの距離を算出する。なお、この例のコネクタには1列あたり17本のピンが2列にわたって配置されている。ピンの番号は左端のピンを1番ピンとし、右端のピンを17番ピンとしている。
ところで、ハウジング40の色が白色に近い場合、フロントライト画像61から角64の位置を精度よく検出できない可能性がある。一方で、バックライト画像62では、角64を精度よく検出できる。これは、背景とハウジングとのコントラストが高いからである。画像処理部30は、フロントライト画像61から1番ピン63の位置(座標)を決定し、バックライト画像62から角64の位置を決定する。ここで、フロントライト画像61とバックライト画像62の座標系は完全に一致しているため、フロントライト画像61から求められた1番ピン63の位置と、バックライト画像62から求められた角64の位置とから、画像処理部30は、両者の距離を算出できる。なお、17番ピンとハウジング40の右上の角までの距離も、同様の手順でフロントライト画像61とバックライト画像62とから算出できる。
図7は、2列目のピンに関する寸法測定の一例を示す図である。2列目の1番ピン65から角64までの距離についても1列目の1番ピン63と同様の手順で距離を算出できる。
ここでは、1番ピンと17番ピンについて説明したが、2番ピンから16番ピンについても、フロントライト画像61から特徴点であるピンの位置を検出し、バックライト画像62から特徴点である角の位置を検出し、両者の距離を求めることができる。
●ピンからハウジング外縁までの距離(ピン高さ)
図8は、各ピンの高さを求める方法を示している。この例では、画像処理部30が、各ピンの中心(基準点82)からハウジング40の上側にある外縁までの距離をピン高さとして算出する。
画像処理部30は、バックライト画像62からハウジング40の上側の外縁を確定するために、右上角の位置と左上角の位置とを検出し、両者を結ぶ直線(直線の方程式)を基準線81として決定する。バックライト画像62を利用するのは、フロントライト画像61と比較して、角を精度よく検出できるからである。画像処理部30は、フロントライト画像61から各ピンの中心位置を基準点82として検出する。画像処理部30は、各ピンの基準点82から基準線81までの距離を各ピンの高さとして算出する。
ここでは、フロントライト画像61から基準点82を検出し、バックライト画像62から基準線81を検出した。しかし、検査対象物8の外形や配色、素材など、画像のコントラストに影響を与えるパラメータが異なる場合、画像処理部30は、フロントライト画像61から基準線81を検出し、バックライト画像62から基準点82を検出してもよい。
図9は、2列目の各ピンについてピン高さを求める例を示している。画像処理部30は、バックライト画像62からハウジング40の上側の外縁を確定するために、右上角の位置と左上角の位置とを画像認識により検出し、両者を結ぶ直線(直線の方程式)を基準線81として決定する。さらに、画像処理部30は、フロントライト画像61から2列目の各ピンの中心位置を基準点85として検出する。画像処理部30は、各ピンの基準点85から基準線81までの距離を各ピンの高さとして算出する。
<撮像回数の設定>
図10および図11は、撮像回数を設定するためのダイアログ101を示している。ダイアログ101には、画像の分割数の入力欄102と、カメラ数や撮像手法の選択欄103が示されている。分割数が1に設定されると、検査対象物8の全体を1枚の画像に収めることを意味する。分割数が3に設定されると、検査対象物8の全体を3枚の画像に分割して収めることを意味する。図11が示すように、選択欄103において、検査対象物8の両端のみ照明を変えて撮像する撮像手法などを選択できる。
図12は、ユーザにより設定された撮像回数を視覚的に示すダイアログ104を示している。この例では、照明A(フロントライト51)により、3か所の撮像箇所で撮像が実行されること、照明B(バックライト52)により、中間を除く2か所の撮像箇所で撮像が実行されることが示されている。また、撮像順番をユーザに明示するために、撮像順番105も示されている。この例では、1番目に照明Aを用いて第1の撮像箇所で撮像を実行し、2番目に照明Bを用いて第1の撮像箇所で撮像を実行することが示されている。これによりユーザは1番目と2番目の撮像が終了したときに、検査対象物8を移動させればよいことを理解しやすくなる。
<コネクタ位置ずれ補正>
検査対象物8を搬送装置7で搬送しながら良否判定のための画像を撮像する際に、検査対象物8の位置が理想位置からずれていることがある。ここで、理想位置とは、パターンマッチングのためのモデル画像をカメラ4により撮像したときの良品ワークの配置位置である。良品ワークは手動で正確に配置されるため、カメラ4に対して精度よく位置決めされる。よって、実際の製造ラインにおいて検査対象物8の画像を撮像したときにパターンマッチングおよび良否判定の精度を向上させるためには、撮像した画像を回転させたり、左右上下にシフトしたりといった位置ずれ補正が必要となる。
ところで、上述したように検査対象物8の同一の個所を、照明手法を変えて複数回撮像することがある。たとえば、フロントライト画像61とバックライト画像62とでは検査対象物8を動かさずに同一の個所を撮像しているため、それぞれの位置ずれ量は一致しているはずである。そこで、各撮像箇所の画像でフロントライト画像61から求められた位置ずれ量またはその補正量を用いて、バックライト画像62についての補正量を設定する。コネクタの位置ずれが発生する場合に、後段の検査で正しく検査するためにコネクタの位置を検出し、ずれ量を補正する。
このように、本実施例では、画像処理部30が、検査対象物8の同一箇所を撮像した複数の画像について1つの画像から位置ずれの補正量を求め、求めた補正量で複数の画像のそれぞれの位置を補正し、補正した画像を用いて良否判定を実行する。
図13は、複数の画像処理ツールのカテゴリーを示したツールカタログ111からコネクタカテゴリー108がマウスによって選択され、さらに、画像処理ツールとしてコネクタ位置ずれ補正が選択されたことを示す図である。
図14、図15、図16は、コネクタ位置ずれ補正に必要となるパラメータを設定するためのUIを示している(図14〜図16は、それぞれ画像1A〜3Aに対応するUI)。ここでは、2つのサーチ領域112がマウス9によって設定される。図14の右方に示されるように、ユーザによって事前にモデル画像(サーチパターン)が登録されており、マウス9によってサーチ領域112が設定されると、サーチ領域112内にモデル画像とパターンマッチする部分があるか否かをリアルタイムでサーチする。そして、モデル画像が見つかった場合には、検査領域113として画面上に表示されている。すなわち、図14では、サーチ領域112内でモデル画像が見つかり、検査領域113が表示されている。ここで、サーチ領域112は、モデル画像を移動させることができる範囲を示す領域である。検査領域113は、パターンマッチングの対象となる部分(モデル画像)を含む領域である(上述したように、図14では、モデル画像が見つかった領域)。2つのサーチ領域112を設定する理由は、検査対象物の製造上の公差を考慮するため、或いは、検査対象物の搬送時の位置/傾きのずれを精度良く補正するためである。2つのサーチ領域112において、2つの検査領域113の位置が判明すれば、これらからコネクタ位置の位置ずれ量を算出できる。
図14、図15、図16が示すように、位置ずれ補正のための2つのサーチ領域112と、2つの検査領域113とが、コネクタの左端部、中間部、右端部のそれぞれに設定される。コネクタの左端部、中間部、右端部での位置ずれ量は同じである場合があるため、左端部、中間部、右端部の一か所のみから位置ずれ量を求めてもよい。ただし、位置ずれ補正の精度を向上するために、左端部、中間部、右端部の3か所から位置ずれ補正量を求めてもよい。
図17は、コネクタ位置ずれ補正のための設定が終了したことを示すUIの一例である。画像処理部30は、マウス9によって設定されたパラメータを使用して、カメラ4が撮像した良品に対して位置ずれ補正を実行し、位置ずれ補正に成功すると、成功を示すOKマーク114をモニタ10に表示してもよい。
<コネクタ寸法検査ツールの追加>
図18は、複数の画像処理ツールのカテゴリーを示したツールカタログ111からコネクタカテゴリー108がマウスによって選択され、さらに、画像処理ツールとしてコネクタ寸法検査ツール109が選択されたことを示す図である。コネクタ寸法検査ツール109を示すボタンがクリックされると、設定画面に遷移する。設定画面に遷移するために、さらに追加ボタンがクリックされてもよい。
●画像連結パラメータの設定
コネクタ寸法検査ツールの設定項目の1つとして画像連結パラメータが存在する。なお、画像を連結しない場合は、このパラメータの設定は不要である。
図19は、画像の連結点を設定する設定画面を示している。この画面では、画像の並び順116と、連結手法を指定する連結方法117とをマウス9によって選択できる。たとえば、画像の並び順116として「左→右」を選択すると、検査対象物8を左から右に画像が撮像されたことを示している。連結方法117として「ピン列で連結」を選択すると、画像処理部30は、各画像からピン列を検出し、ピン列が全体として一列になるように複数の画像を連結する。
●ピン列検出パラメータの設定
図20は、ピン列検出パラメータの設定画面を示している。この例では、ピンの配置118は、ピンが何列にわたって配置されているかを設定するための設定項目である。1番ピンの位置119は、一列に並んだ複数のピンのうちどのピンが1番ピンであるかを設定するための設定項目である。この例では、検査対象物8であるコネクタは2列であるため、ピンの配置118は、「2列」がマウス9によって選択される。
●ピンモデルの登録
コネクタは多数のピンを備えており、すべてのピンについて検査を実行する必要がある。そこで、検査対象の各ピンのモデル画像とその位置を良品判定用に登録しておく必要がある。
図21は、ピンモデルの登録画面を示している。CPU22は、登録画面内において、コネクタの左端の画像53を拡大表示する。これは、ピンモデルを登録しやすくするためである。ユーザは、1番ピン63を含むように検査領域113を設定する。CPU22は、検査領域113により囲まれた部分の画像をモデル画像としてメモリに格納する。検査領域113の位置と大きさはマウス9の操作に連動してCPU22によって変更される。
図22は、ピン検出の設定画面を示している。CPU22は、検査領域113の中心に基準点120を配置し、検査領域113を取り囲むようにサーチ領域112を配置する。検査領域113の位置、基準点120の位置およびサーチ領域112の位置はCPU22によってメモリに格納される。なお、上述したように、検査領域113は、サーチ領域112内において、図21で設定したモデル画像とパターンマッチした結果、検出された領域を示している。つまり、図22では、検査領域113は、モデル画像とパターンマッチした検出結果を示す。
上述したように、すべてのピンに対してサーチ領域112、検査領域113、基準点120などを設定しなければならない。しかし、この設定作業を手作業に任せると、ユーザは多大な負担を負うことになる。そこで、本実施例では、ユーザが設定項目の1つであるピン数121をマウス9で設定することにより、2番ピン以降の各ピンについてのサーチ領域112、検査領域113、基準点120の設定を半自動化できる。CPU22は、入力されたピン数121に応じて、サーチ領域112、検査領域113、基準点120を右方向にコピーすることで、6つあるピンのそれぞれに、サーチ領域112、検査領域113、基準点120を設定する。これは、各ピンが等間隔で配置されており、各ピンの大きさも一致していることを前提としている。各ピンにCPU22によって設定されたサーチ領域112、検査領域113、基準点120を、ユーザはマウス9によって微調整してもよい。CPU22は、マウス9からの入力にしたがってサーチ領域112、検査領域113、基準点120の座標(位置)を修正し、メモリに格納する。
図23、図24は、コネクタの中間部および右端部についてのサーチ領域112、検査領域113、基準点120の設定画面を示している。コネクタの中間部および右端部も左端部と同様の手順で、サーチ領域112、検査領域113、基準点120が設定される。つまり、CPU22は、一番ピンのサーチ領域112、検査領域113、基準点120のデータとピン数121を利用して、コネクタの中間部および右端部の各ピンにサーチ領域112、検査領域113、基準点120を設定する。
図25は、一列目のピンモデルの登録が完了したことを示す画面を示している。この画面では、コネクタの全体画像122がサーチ領域112、検査領域113、基準点120とともに表示される。なお、CPU22は、入力されたピン数を合計して総ピン数123をモニタ10に表示してもよい。
なお、図21ないし図25では、一列目のピンについて説明したが、2列目のピンについても同様の手順でピン登録を実行できる。
●端検出パラメータの設定
コネクタの外観検査を実行する際には、上述したように、コネクタの端(角)の位置を検出する必要がある。なお、コネクタハウジングの両端に金具などが設けられている場合は、角の代わりにこの金具を端として検出してもよい。この場合は、金具に対して、サーチ領域、検査領域、検出点(基準点)を設定すればよい。
図26は、コネクタの端検出に関する設定を行う設定画面を示す図である。コネクタの種類によって検出すべき端の数は異なる。そこで、追加ボタン124をマウス9で押すことで、必要な数の端を設定する。
図27は、端検出の対象となる端を選択する選択項目125を示している。コネクタの種類によっては、コネクタに設けられた金属を端とすべき場合や、コネクタのハウジングを端とすべき場合や、コネクタを搬送するための治具を端とすべき場合などがある。そこで、ユーザは、検査対象物8となっているコネクタの種類に応じて、選択項目125からマウス9の操作によって端検出の対象を選択する。
図28は、端検出用のサーチモデルの登録画面を示す図である。ワーク左端を設定するために、画像選択部126からマウス9によってコネクタの左端のフロントライト画像(撮像1A)が選択される。CPU22は、左端の画像を拡大表示し、サーチモデルを登録しやすくする。マウス9の操作によって端を含む検査領域127が設定される。CPU22は、モデル登録ボタン228が押し下げされたことを検出すると、その時点で設定された検査領域127の位置と検査領域127によって囲まれたモデル画像をメモリに格納する。
図29は、サーチ領域128の設定画面を示している。CPU22は、マウス9の操作にしたがって設定された矩形の領域を端検出用のサーチ領域128に設定する。ここで、CPU22は、モデル登録された検査領域127のモデル画像を、サーチ領域128内でサーチを実行し、モデル画像が見つかったかどうかを判定する。図29に示すように、背景とハウジングとのコントラストが低い場合、端検出に失敗してしまう。
そこで、本実施例では、バックライト画像を用いて端検出用のパラメータを設定する。
図30は、端検出用のサーチモデルの登録画面を示す図である。画像選択部126からマウス9によってコネクタの左端のバックライト画像(撮像1B)が選択される。CPU22は、CPU22は、左端のバックライト画像を拡大表示し、サーチモデルを登録しやすくする。マウス9の操作によって端を含む検査領域127が設定される。CPU22は、モデル登録ボタン228が押し下げされたことを検出すると、その時点で設定された検査領域127の位置と検査領域127によって囲まれたモデル画像をメモリに格納する。
図31は、サーチ領域128の設定画面を示している。CPU22は、マウス9の操作にしたがって設定された矩形の領域を端検出用のサーチ領域128に設定する。ここで、CPU22は、モデル登録された検査領域127のモデル画像を、サーチ領域128内でサーチを実行し、モデル画像が見つかったかどうかを判定する。図31に示すように、背景とハウジングとのコントラストが高い場合、端検出に成功する。基準点を指定するための基準点指定ボタン130がマウス9によってクリックされると、CPU22は、基準点の指定画面をモニタ10に表示させる。
図32、図33は、基準点131の指定画面を示す図である。とりわけ、図32は、微調整前の基準点131を示し、図33は、微調整後の基準点131を示している。CPU22は、基準点131を検査領域127の中間に配置する。ユーザはマウス9を操作することで基準点131を微調整し、CPU22は、微調整後の基準点131の位置をメモリに格納する。
なお、コネクタの右側の端であるワーク右端についても、ワーク左端と同様の手順で検査領域127、サーチ領域128および基準点131が設定される。
図34は、ワーク左端とワーク右端とが正常に設定されたことを示す画面である。この例では、バックライト画像を利用して、ワーク左端とワーク右端とが設定されていることが示されている。
●基準線の設定
図35は、基準線81を設定する設定画面を示している。追加ボタン(編集ボタン)140をクリックすると、基準線81の各パラメータを設定する詳細設定画面に遷移する。
図36は、基準線81の指定方法の選択項目141を示している。ここでは、検査対象物8であるコネクタに対してどのような線を基準線81とするかをマウス9によって指定する。
図37は、選択項目141から「ハウジングの両端を結んだ線」が基準線81として指定されたときの画面を示す図である。上述したように、バックライト画像を使用してハウジングの両端(ワーク左端とワーク右端)があらかじめ設定されている。そこで、CPU22は、「ハウジングの両端を結んだ線」が基準線81として指定されると、ワーク左端とワーク右端とを通るように基準線81を設定する。なお、ワーク左端は、基準点131に対応している。なお、図示は省略しているがワーク右端も基準点によって設定されている。
●寸法測定パラメータの設定
ここでは、コネクタの寸法のうち、どの部分の寸法を測定対象にするかを設定する。
図38は、寸法測定パラメータを設定するメイン画面を示す図である。項目選択ボタン150をマウス9でクリックすることで、測定すべき寸法をユーザが選択できる。
図39は、寸法測定パラメータを設定するための項目選択画面を示す図である。ここでは、コネクタのどの部分を測定するかをカテゴリー別に示した寸法測定カテゴリー151と、選択された寸法測定カテゴリーに対応した1つ以上の測定項目を示す測定項目一覧152とが表示される。CPU22は、マウス9によって選択されたカテゴリーに応じて測定項目一覧152を切り替える。図39に示した例では、ハウジングが寸法測定カテゴリー151から選択されると、ハウジングに関する種々の測定項目が示される。ハウジング高さは、基準線を起点としたハウジングの高さである。ハウジング距離は、ハウジングの左端から右端までの距離である。ハウジング・ピン(端)間距離は、ハウジングの端から端のピンまでの距離である。ハウジング金具距離は、ハウジングから金具までの距離であって、たとえば、ハウジングの端から金具の中心までの距離である。マウス9により測定項目一覧152から選択された測定項目が実際に実行される測定項目として追加される。
図40は、選択された測定項目について良否判定に使用されるパラメータを設定する画面を示している。パラメータ設定部160では、1列目のピンについてのハウジング・ピン(端)間距離についての設計上の標準値と正負の公差がマウス9を通じて入力される。CPU22は、標準値と公差とから寸法の上限値と下限値とを算出してパラメータ設定部160に表示してもよい。また、CPU22は、画像処理部30を用いて、ワーク画像から実際に寸法を測定し、1番ピンについての測定値と17番ピンについての測定値との平均値を求めて表示したり、最小値と最大値とを表示したりしてもよい。
図41は、選択された測定項目について良否判定に使用されるパラメータを設定する画面を示している。パラメータ設定部161では、2列目のピンについてのハウジング・ピン(端)間距離についての設計上の標準値と正負の公差がマウス9を通じて入力される。CPU22は、標準値と公差とから寸法の上限値と下限値とを算出してパラメータ設定部161に表示してもよい。また、CPU22は、画像処理部30を用いて、ワーク画像から実際に寸法を測定し、1番ピンについての測定値と17番ピンについての測定値との平均値を求めて表示したり、最小値と最大値とを表示したりしてもよい。
図42は、寸法測定パラメータを設定するための項目選択画面を示す図である。ここでは、寸法測定カテゴリー151からピン高さが選択されているため、測定項目一覧152には、ピン高さに関する測定項目が表示される。ユーザはマウス9により測定項目をクリックして選択する。ここでは、基準線からのピン高さが選択されたものとする。
図43は、選択された測定項目について良否判定に使用されるパラメータを設定する画面を示している。測定項目をわかりやすくするために、画像表示部162には、ワーク画像とともに、基準線、基準点、ピン番号、どの部分が測定されるかを示すマークなどが表示される。ここでは、ワーク画像として、フロントライト画像とバックライト画像の両方が表示される。パラメータ設定部163では、1列目のピンについてのピン高さについての設計上の標準値と正負の公差がマウス9を通じて入力される。CPU22は、標準値と公差とから寸法の上限値と下限値とを算出してパラメータ設定部163に表示してもよい。また、CPU22は、画像処理部30を用いて、ワーク画像から実際に寸法を測定し、1番ピンから17番ピンまで各ピンについて測定値の平均値を求めて表示したり、最小値と最大値とを表示したりしてもよい。これらの数値からワーク画像を撮像するために用いたワーク(製品)が適切であったかどうかを確認しやすくなろう。
図44は、選択された測定項目について良否判定に使用されるパラメータを設定する画面を示している。パラメータ設定部164では、2列目のピンについてのピン高さについてのパラメータが入力される。CPU22は、パラメータ設定部164に入力された標準値と公差とから寸法の上限値と下限値とを算出してパラメータ設定部164に表示してもよい。また、CPU22は、画像処理部30を用いて、ワーク画像から実際に寸法を測定し、2列目の1番ピンから17番ピンまで各ピンについて測定値の平均値を求めて表示したり、最小値と最大値とを表示したりしてもよい。
<画像連結の変形例>
上述した実施例では、隣り合った画像間で共通のピンが1つ以上含まれるように撮像を実行し、共通のピンを重ね合わせるようにして隣り合った2枚の画像を連結することで、検査対象物8の全体画像をCPU22または画像処理部30が作成するものとして説明した。しかし、隣り合った画像間で共通に含まれるべき部分は検査対象物8の一部である必要はない。つまり、治具やベルトコンベヤなど検査対象物8とともに移動する部材に連結の基準となるマークが付与されていてもよい。
図45は、複数の画像を連結するための基準となるマークの一例を示す図である。この例では、連結用のマーク170が、検査対象物8を搬送する治具に設けられている。連結方法117として「任意の点で連結」が選択されると、CPU22は、マーク170を基準として連結を実行できるようになる。
図46は、画像連結の基準となるマーク170を設定する設定画面を示す図である。CPU22は、コネクタの左端画像を拡大表示することで、基準点171、検査領域およびサーチ領域を設定しやすくしている。ユーザは、マウス9を操作することで、マーク170の中心に基準点171を設定する。さらに、CPU22は、基準点171を中心として検査領域およびサーチ領域を設定する。CPU22は、マウス9の操作にしたがって基準点171を微調整したり、検査領域およびサーチ領域の位置とサイズとを調整したりしてもよい。
図47は、画像連結の基準となるマーク170を設定する設定画面を示す図である。CPU22は、コネクタの中間部の画像を拡大表示することで、左端画像と中間部の画像とを連結するための基準となる基準点172、検査領域およびサーチ領域と、中間部の画像と右端画像とを連結するための基準となる基準点173、検査領域およびサーチ領域とを設定しやすくしている。ユーザは、マウス9を操作することで、左側のマーク170の中心に基準点172を設定し、右側のマーク170の中心に基準点173を設定する。さらに、CPU22は、基準点172および基準点173を中心としてそれぞれ検査領域およびサーチ領域を設定する。CPU22は、マウス9の操作にしたがって基準点172、173を微調整したり、検査領域およびサーチ領域の位置とサイズとを調整したりしてもよい。
図48は、画像連結の基準となるマーク170を設定する設定画面を示す図である。CPU22は、コネクタの右端画像を拡大表示することで、中間画像と右端画像とを連結するための基準となる基準点174、検査領域およびサーチ領域を設定しやすくしている。ユーザは、マウス9を操作することで、マーク170の中心に基準点174を設定する。さらに、CPU22は、基準点174を中心として検査領域およびサーチ領域を設定する。CPU22は、マウス9の操作にしたがって基準点174を微調整したり、検査領域およびサーチ領域の位置とサイズとを調整したりしてもよい。
図49は、マーク170を基準として連結されたフロントライト画像とバックライト画像とを示している。コネクタの左端画像、中間部の画像および右端画像を連結する際に、画像処理部30は、基準点171と基準点172とが重なるように、左端画像と中間部の画像を連結する。さらに、画像処理部30は、基準点173と基準点174とが重なるように、中間部の画像と右端画像とを連結する。これにより、検査対象物8の全体が収まった連結画像(全体画像)が作成される。フロントライト画像とバックライト画像とでは座標系が一致しているため、フロントライト画像の連結位置を基準として、バックライト画像についても同様に連結できる。なお、図49に示したように、バックライト画像については左端画像と右端画像しか存在しない場合は、フロントライト画像の左端画像と、バックライト画像の左端画像との各原点(画像の左上の角)が一致させる。また、フロントライト画像の右端画像と、バックライト画像の右端画像との各原点(画像の左上の角)も一致させる。これにより、図49に示したように、コネクタの全体を示したフロントライト画像とバックライト画像とが作成される。
<ピンやハウジングの検出方法>
上述の実施例は、モデル画像を用いたパターンマッチングを用いて検査対象物8のハウジングやピンを検出する例であった。しかし、必ずしもモデル画像は必要ではない。
図50は、エッジ検出を利用したピンの検出方法を示す図である。画像処理部30は、エッジ検出を実行することで、複数の横方向のエッジや縦方向のエッジを検出する。そして、検出された所定方向のエッジの中間位置(中心位置)が基準点200として自動設定される。画像処理部30は、基準点200から各エッジまでの距離を算出し、その距離が所定距離(一定の公差範囲内であれば許容される)であるエッジの組み合わせをサーチする。この例では、ピン41の左端に相当するエッジ201と右端に相当するエッジ202とが、ピンの検出条件に合致するエッジとして認識される。同様に、画像処理部30は、ピン41の上端に相当するエッジ203とし下端に相当するエッジ204とを、ピンの検出条件に合致するエッジとして認識する。これらは、基準点200からの距離がピンの検出条件に合致しているからである。このように、画像処理部30は、画像の全体についてエッジ検出を実行することで、各ピンの位置を検出できる。
図51は、エッジ検出を利用したハウジングの検出方法を示す図である。画像処理部30は、複数の横方向のエッジや縦方向のエッジを検出し、基準点210において直交するエッジ211とエッジ212を抽出する。ここで、エッジ211とエッジ212は最も外側に位置するエッジである。基準点(交点)210は、エッジ211とエッジ212が抽出された後、エッジ211とエッジ212が交差する点として自動設定される。このような検出条件を予め設定しておくことで、画像処理部30は、エッジ検出を利用してハウジングの端を検出してもよい。
<複数の計測ツール間での計測領域の参照>
図52は、コネクタ寸法検査ツールに対して設定された複数のパラメータを示している。ツール追加ボタン600を押すことにより、外観検査を実行する複数の画像処理ツール(計測ツール)が追加される。ここでは、上述したコネクタ寸法検査ツールにより計測されるピン63に対して、計測領域(サーチ領域112、検査領域113および基準点120など)が設定されている。
図53は、コネクタ外観検査ツールの一つであるエリア計測ツールに対するパラメータの設定画面の一例を示している。エリア計測ツールは、たとえば、隣り合った2つのピン63によって挟まれた領域の面積を計測するツールである。この面積を計測することで、ピン63に対して周囲の樹脂がかぶっていないか(樹脂カブリ)や、ピン63にバリが発生していないか(金バリ)を判定できる。計測ツール名称欄601は、パラメータの設定対象である計測ツールの名称を表示する。ツール選択部602は、エリア計測ツールに対して計測領域112’を設定する際に参照される計測ツールを選択するためのプルダウンメニューである。ここでは、コネクタ外観検査ツール用のサーチ領域112をコピーすることで、エリア計測ツール用の計測領域112’が仮設定されている。追従点選択部603は、エリア計測ツール用の計測領域112’を、コネクタ寸法検査ツールのどの点(例:検出点、サーチ領域の中心点)に追従させるかを選択するためのラジオボタンである。
図54(A)は、カブリの一例を示す図である。ハウジング40を構成している樹脂がピン63の左端側にかぶっている。このようなカブリ631は接触不良を招くため、不良品と判定する必要がある。エリア計測ツールによって、ピン63の面積を計測して閾値と比較したり、隣り合った2つのピン63の間の面積を計測して閾値と比較したりすることで、このようなカブリ631を発見できる。
図54(B)は、バリの一例を示す図である。ピン63の右端にバリ632が発生している。このようなバリ632は、隣り合ったピン間の絶縁距離を短縮してしまうため、不良品と判定する必要がある。エリア計測ツールによって、ピン63の面積を計測して閾値と比較したり、隣り合った2つのピン63の間の面積を計測して閾値と比較したりすることで、このようなバリ632を発見できる。なお、ピン63の面積を計測するためには、計測領域112’をピン63の面積に合わせて設定することになる。また、隣り合った2つのピン63の間の面積を計測するには、計測領域112’を2つのピン63の間に移動し、必要に応じて計測領域112’のサイズを調整することになる。
図55は、ある計測ツール用のパラメータを他の計測ツールのパラメータとしてコピーし、微調整を加えて設定するためのユーザインタフェースである。図52に示したように、コネクタ寸法検査ツール用のサーチ領域112は各ピン63に設定されている。また、図53に示したように、初期状態において、計測領域112’は、コネクタ寸法検査ツール用のサーチ領域112を基準として設定されている。図53に示した編集ボタン604をマウス9で押し下げ操作することで、図55に示す編集画面に遷移する。
図55においてユーザはマウス9によってポインタ650を操作して計測領域112’を右方向にドラックすることで、計測領域112’がオフセットされ、隣り合った2つのピン間に設定される。なお、複数の計測領域112’はそれぞれ連動してオフセットされる。つまり、ポインタ650のドラッグ量がオフセット量となる。また、コネクタ寸法検査ツールのサーチ領域112の座標データに対してオフセット量を加えたものが、エリア計測ツール用の計測領域112’の座標データとなる。また、複数の計測領域112’はそれぞれ連動してサイズが変更される。マウス9の操作によってポインタ650をある1つのサーチ領域112の角または辺の付近に合わせてドラックすることで、すべての計測領域112’のサイズが連動して変更される。
なお、ポインタ650によって選択されている計測領域の計測結果は、ヒストグラムとしてヒストグラム表示部605に表示される。ユーザは、ヒストグラムを確認することで、エリア計測ツール用の計測領域112’が正しく設定されているかを確認できる。
図56は、ピン抜けがあるコネクタの一例を示す図である。コネクタには原則として各ピンが等間隔で配置される。しかし、一部のピンを使用しないことが確定しているときは、そのピンを形成しないことで、コネクタのコスト削減などを図っている。この場合、コネクタ寸法検査ツールではピン抜け個所には基準点120などを設定しない。よって、ピン抜け箇所についてエリア計測が必要となる場合には、コネクタ寸法検査ツールの基準点120の座標データを計測領域112’に参照できない。そこで、図53に示した無効領域設定ボタン606をマウス9によって操作することで、図57に示す設定画面に遷移する。
図57は、無効領域設定画面のお一例を示す図である。図57によれば、左から数えて2番ピンについてピン抜け664が設定されているため、2番ピンと3番ピンとの間に計測領域112’を設定できていない。そこで、無効領域設定部610において、2番ピンと3番ピンとの間の領域に対応したチェックボックスにチェックを入れることで、当該領域が計測領域112’として追加される。
図58は、ピン抜け箇所のとなりに計測領域112’を設定した例を示している。無効領域設定部610にチェックが入れられると、各計測領域112’が等間隔で並んでいることを利用して、ピン抜け箇所用の計測領域112’の位置が決定される。
●検出点追従とサーチ領域中心追従について
図59は、検出点追従とサーチ領域中心追従との違いを説明するための図である。上述したように、コネクタ寸法検査ツールでは、サーチ領域112、検査領域113、検出点(基準点120)を設定する。図59が示すように、サーチ領域112の中心点は、サーチ領域中心620と呼ばれる。ここで、コネクタ寸法検査ツールのパラメータをエリア計測ツールのパラメータとしてコピーするためには、基準点120を基準としてコピーを実行する方法と、サーチ領域中心620を基準としてコピーを実行する方法とが考えられる。これらには一長一短が存在する。ピン曲りが存在する場合は、基準点120を基準としてコピーを実行する方法が有利である。上述したピン抜けが存在する場合は、サーチ領域中心620を基準としてコピーを実行する方法が有利である。
図60(A)は、ピン曲りが存在するコネクタに対してコネクタ寸法検査ツールの基準点120を基準としてエリア計測ツールの計測領域112’を設定する例を示している。この例では、コネクタ寸法検査ツールの基準点120は、実際に存在するピンのピン先に設定されているため、ピン曲りが発生していてもピン先をパターン認識により検出して、計測領域112’が正しく設定される。
図60(B)は、ピン曲りが存在するコネクタに対してコネクタ寸法検査ツールのサーチ領域中心620を基準としてエリア計測ツールの計測領域112’を設定する例を示している。この例では、サーチ領域中心620を基準としてエリア計測ツールの計測領域112’が設定されているため、計測領域112’の位置が実際のピン63の位置からずれてしまっている。これは、エリア計測ツールの計測領域112’の元となっているサーチ領域112が固定領域だからである。つまり、基準点120は実際のピンの位置に応じてパターン認識により動的に修正されるが、サーチ領域112は修正されないことに由来している。
図61(A)は、ピン抜けが存在するコネクタに対してコネクタ寸法検査ツールの基準点120を基準としてエリア計測ツールの計測領域112’を設定する例を示している。上述したように、ピン抜け664が存在する場合、そのピンに対しては基準点120が設定されない。つまり、エリア計測ツールの計測領域112’を設定するための基準となる基準点120が存在しないため、単純には、エリア計測ツールの計測領域112’を設定できない。よって、図57や図58を用いて説明したような追加的な設定方法が必要となる。
図61(B)は、ピン曲りが存在するコネクタに対してコネクタ寸法検査ツールのサーチ領域中心620を基準としてエリア計測ツールの計測領域112’を設定する例を示している。サーチ領域112は、ピン抜けが発生していても等間隔で固定的に設定されるため、サーチ領域中心620を基準とすれば、エリア計測ツールの計測領域112’を設定できる。
このようにピン抜け箇所にエリア計測ツールの計測領域112’を設定することで、ピン抜け箇所に異物が付着しているか否かやピン抜け箇所にも関わらず誤ってピンが形成されている否かを検出できるようになる。
なお、サーチ領域中心620と基準点120は色違いの十字マークなど、その位置をわかりやすくするためのマークが表示される。
<内部処理について>
以下ではCPU22や画像処理部30で実現されている機能について説明する。なお、各機能は、CPU22だけで実現されてもよいし、画像処理部30だけで実現されてもよいし、CPU22と画像処理部30との連携動作によって実現されてもよい。
図62は、外観検査装置1の機能ブロック図である。図2を用いてすでに説明したように、照明装置5は、検査対象物8に対して複数の異なる照明光を照射する照明部として機能する。照明制御部26が、CPU22または画像処理部30からの指示にしたがって照明装置5が照射する照明光を切り替えるように照明装置5を制御する。カメラ4は。照明装置5によって照明光を照射された検査対象物8を撮像する撮像部として機能する。また、外観検査装置1は、カメラ4により取得された検査対象物8の画像に対して計測処理を実行する装置である。
撮像制御部301は、フロントライトやバックライトなど照明光の切り替えを照明制御部26に命令したり、カメラ4に撮像を命令したりする制御部である。撮像制御部301は、検査対象物8を分割して撮像する際のカメラ4の制御や照明装置5の制御も担当する。
第1の画像記憶部304は、照明装置5により第1の照明光(例:フロントライト)が照射された検査対象物8の所定の領域(例:コネクタの全体やコネクタの左端、中間、右端など)をカメラ4が撮像して取得した第1の画像(例:フロントライト画像やその部分画像など)を記憶する。第2の画像記憶部305は、照明装置5により第2の照明光(例:バックライト)が照射された検査対象物8の所定の領域をカメラ4が撮像して取得した第2の画像(例:バックライト画像やその部分画像など)を記憶する。なお、第1の画像記憶部304や第2の画像記憶部305は、たとえば、ワークメモリ23により実現される。表示制御部28やモニタ10は、第1の画像と第2の画像とを表示する表示部として機能する。
UI制御部310は、上述したUI60などの表示系のユーザインタフェースやマウス9やキーボードなどの入力系のインタフェースを制御する。UI制御部310は、さらに種々の機能部に分かれている。パラメータ設定部330は、基準画像などの基本画像に対して計測対象となる部位の画像であるモデル画像と計測処理に必要となる数値とを含む複数のパラメータを設定する。パラメータ設定部330もさらに種々の機能部に分かれている。図21ないし図25などを用いて説明したように、第1の計測対象設定部311は、モニタ10に表示されている第1の画像と第2の画像とのうちの一方の画像において、検査対象物8に関する寸法を計測するための起点となる特徴部分(例:ピンの検出点)を設定する。
図30ないし図37を用いて説明したように、第2の計測対象設定部312は、モニタ10に表示されている第1の画像と第2の画像とのうちの他方の画像において、検査対象物8に関する寸法を計測するための終点となる特徴部分(例:ハウジングの角を検出するための検出点や複数の検出点間を結ぶ基準線など)を設定する。第1の計測対象設定部311や第2の計測対象設定部312により設定されたモデル画像、基準点、基準線などのデータは、特徴データ記憶部306に格納される。特徴データ記憶部306もワークメモリ23によって実現される。
寸法算出部302は、カメラ4によって撮像されて取得された、ラインを搬送される検査対象物8の画像に対して、複数のパラメータを使用して、検査対象物8についての計測処理を実行する計測処理部として機能する。たとえば、寸法算出部302は、第1の計測対象設定部311により設定された起点となる特徴部分から第2の計測対象設定部312により設定された終点となる特徴部分までの寸法を算出する。ここで、寸法とは、距離や面積などである。
UI制御部310は、検査対象物8の外観の良否を判定するための閾値を設定する閾値設定部313を有していてもよい。良否判定部303は、計測処理部の計測結果(寸法算出部302により算出された寸法と閾値との比較結果など)に基づいて、検査対象物8の外観の良否を判定する。たとえば、寸法算出部302が複数のピンについて求めたピン高さが、閾値設定部313により公差や標準値から求められた上限値を超えている場合、良否判定部303は、不良と判定する。
図6などを用いて説明したように、UI制御部310は、第1の画像の横方向の端部と第2の画像の横方向の端部とが一致するように第1の画像と第2の画像とを同時にモニタ10が表示するようユーザインタフェースの表示データを作成し、表示制御部28に渡す。つまり、UI制御部310は、モニタ10が、第1の画像の横方向の端部と第2の画像の横方向の端部とを揃えて第1の画像と第2の画像とを上下に並べて表示するように表示データを作成する。また、UI制御部310は、第1の画像と第2の画像とのうちの一方の画像に対して設定された起点となる特徴部分を示す指標(例:サーチ領域、検査領域、検出点を示す十字マークなど)を、第1の画像と第2の画像とのうちの他方の画像に対しても連動して表示するように表示データを作成する。なお、UI制御部310は、第1の画像と第2の画像とのうちの他方の画像に対して設定された終点となる特徴部分を示す指標を、第1の画像と第2の画像とのうちの一方の画像に対しても連動して表示するための表示データを作成してもよい。このように、UI60においては、サーチ領域、検査領域、検出点を示す十字マークなどは、フロントライト画像とバックライト画像との間で連動して表示されることになる。たとえば、UI制御部310は、バックライト画像を用いて設定したサーチ領域、検査領域、検出点をそのままフロントライト画像にも設定して表示する。バックライト画像の原点をバックライト画像の左上角とし、フロントライト画像の原点をフロントライト画像の左上角とすると、バックライト画像を用いて設定したサーチ領域、検査領域、検出点の座標と、フロントライト画像におけるサーチ領域、検査領域、検出点の座標とを一致させる。これにより、UI制御部310は、フロントライト画像の原点をフロントライト画像の左上角とすると、バックライト画像を用いて設定したサーチ領域、検査領域、検出点と、フロントライト画像におけるサーチ領域、検査領域、検出点とを連動して表示させることができる。
第1の計測対象設定部311および第2の計測対象設定部312は特徴部分として、画像上の一か所以上の座標である基準点82、85、120、131、171、172、173、174、200、210を設定する。
図21などを用いて説明したように、UI制御部310は、モニタ10が一方の画像を拡大表示するための表示データを作成してもよい。第1の計測対象設定部311は、モニタ10に拡大表示された一方の画像に、マウス9の操作にしたがって特徴部分を設定する。
図30などを用いて説明したように、UI制御部310は、モニタ10が他方の画像を拡大表示するための表示データを作成してもよい。第2の計測対象設定部312は、モニタ10に拡大表示された他方の画像に、マウス9の操作にしたがって特徴部分を設定する。
図35ないし図37を用いて説明したように、第2の計測対象設定部312は、他方の画像に対して指定された2つの基準点を結ぶ直線である基準線81を特徴部分として設定してもよい。とりわけ、ハウジング40の角を基準点として設定する場合、フロントライト画像では角の検出が難しくなってしまう。そこで、バックライト画像に対して、ハウジング40の角を基準点として設定することで、角の位置を正確に検出できるようになる。また、これにより、ピンの中心から角までの距離も精度よく算出できるようになる。さらに、製品の良否判定の精度も向上することになる。
図5などを用いて説明したように、画像連結部321は、カメラ4が検査対象物8を複数回に分割して撮像して得られた複数の部分画像を撮像された順番にしたがって左から右に並べて連結して第1の画像および第2の画像を作成する。ここで、画像連結部321は、第1の画像を構成する複数の部分画像の連結位置(例:共通に写っているピンの位置やマークの位置)の座標を用いて、第2の画像を構成する複数の部分画像を連結してもよい。なお、UI制御部310は、第1の画像において連結位置を設定する連結位置設定部314をさらに備えていてもよい。連結位置設定部314は、隣り合った部分画像に共通に写っている検査対象物のパーツ(例:ピンや金具など)の位置を連結位置に設定してもよい。図45ないし図49を用いて説明したように、連結位置設定部314は、隣り合った部分画像に共通に写っている検査対象物を固定する治具の一部(例:マーク170)の位置を連結位置に設定してもよい。
画像連結部321は、検査対象物8の左端の部分画像と右端の部分画像とを第2の画像の両端に配置し、検査対象物8の中間の画像を省略して、第2の画像を作成してもよい。
図62において、画像認識部322は、UI制御部310を通じて設定された検査対象物8の良品の一部を示すモデル画像と、カメラ4により取得されたラインを流れる検査対象物8の画像とを比較し、モデル画像と一致する部分をパターン認識により特定する。画像認識部322は、予め設定されたサーチ領域の範囲内でモデル画像をサーチする。モデル画像と同サイズの画像領域が検査領域となる。なお、モデル画像と一致した検査領域の中心が基準点となる。なお、UI制御部を通じて基準点が微調整されていることもある。サーチ領域の座標データや基準点(検出点)の座標データは特徴データ記憶部306に記憶されており、画像認識部322や画像連結部321、座標計算部323によって使用される。座標計算部323は、マウス9のポインタの位置を示す座標データと、バックライト画像やフロントライト画像の座標データとからサーチ領域、検査領域および基準点の座標を算出する。
基本画像記憶部337は、一定方向に配列された複数の特徴部分(例:一定の規則に沿って並んでいる略同一形状のピン63)を有した検査対象物8をカメラ4により撮像して得られた基本画像を記憶する。UI制御部310は、図52ないし図54、図56ないし図58などに例示したように、検査対象物8の基本画像をモニタ10に表示する。第1の計測対象設定部311は、モニタ10に表示された基本画像に対して、検査対象物8の複数の特徴部分の位置を検出するための位置検出領域(例:サーチ領域112)を、各特徴部分に応じて設定する位置検出領域設定部として機能する。第1の計測対象設定部311は、位置検出領域として、特徴部分をサーチするためのサーチ領域と、当該サーチ領域内で検出された特徴部分の位置と対応付けられる、位置検出の基準となる検出点とを設定してもよい。たとえば、第1の計測対象設定部311は、サーチ領域内でモデル画像に一致した検査領域の右上角、左上角、中央など、検査領域に対して予め定められた座標を検出点として設定してもよい。位置検出領域は、各ピンに対して1つずつユーザによって設定されてもよいし、各ピンが等間隔で配置されていることを利用して第1の計測対象設定部311によって等間隔で配置されてもよい。
計測ツール選択部331は、検査対象物8に対して計測を実行する計測ツールをそれぞれ異なる計測を実行する複数の計測ツールのうちから選択する。計測ツール選択部331は、図52に示したツール追加ボタン600がマウス9によって操作されたことを検知すると、複数の計測ツールから1つの計測ツールを選択するための選択画面を表示し、当該選択画面においてマウス9により指定された計測ツールを選択する。図52に示した例では、すでにコネクタ外観検査(エリア)ツールが追加されている。計測ツール選択部331は、図52においてボタンとして配置されているコネクタ外観検査(エリア)ツールがマウス9によって選択されると、図53に示した設定画面をモニタ10に表示させる。
計測領域設定部332は、計測ツール選択部331によって選択された計測ツールが計測する領域である計測領域112’を、第1の計測対象設定部311により設定された位置検出領域(例:基準点120やサーチ領域112)を基準として、設定する。図53、図55ないし図58を用いて説明したように、計測領域設定部332は、基準点120またはサーチ領域112の座標データをコピーすることで計測領域112’を設定する。図53、図55ないし図58を用いて説明したように、モニタ10は、計測領域設定部332によって設定された計測領域112’を基本画像とともに表示する。良否判定部303は、計測領域設定部332により設定された計測領域112’にしたがって、ラインを搬送される検査対象物8の計測を実行し、その計測結果に基づいて検査対象物8の良否を判定する。
計測領域調整部333は、第1の計測対象設定部311により設定された位置検出領域を基準として計測領域設定部332により設定された計測領域112’の位置またはサイズの少なくとも一方を調整する。図57を用いて説明したように、計測領域調整部333は、マウス9によるポインタ650の操作に応じて、計測領域112’の位置を移動させたり、計測領域112’のサイズを拡大したり縮小したりする。なお、計測領域調整部333は、計測領域設定部332により設定された複数の計測領域112’の位置またはサイズをそれぞれ等量の調整量で調整してもよい。同様に、領域調整部333は、計測領域設定部332により設定された複数の計測領域112’の角度を等量の調整量で調整してもよい。計測領域112’は回転させることが可能である。したがって、複数の計測領域112’をそれぞれ等角度で回転させてもよい。ユーザは、1つの計測領域112’をマウスによりドラックすることで、計測領域112’の位置とサイズを調整できるが、この調整量は他の計測領域112’にも反映される。つまり、すべての計測領域112’は、等量の調整量で調整されることになる。ただし、ピンが2列にわたって配置されているときは、1列目と2列目とでは個別に調整が実行されてもよいし、1列目と2列目とでまとめて調整が反映されてもよい。あるいはこのような連動した調整が実行されなくてもよい。つまり、計測領域調整部333は、マウス9によって選択された1つまたは複数の計測領域112’だけをマウス9の操作量に応じて個別に調整してもよい。このように連同調性モードと個別調整モードが用意されており、マウス9によって切り替えられてもよい。
図59を用いて説明したように、第1の計測対象設定部311は、位置検出領域として、位置検出の基準となる検出点(基準点120)と、特徴部分のモデル画像と一致する画像をパターン認識によりサーチするためのサーチ領域112とを設定する。図60、図61を用いて説明したように、計測領域設定部332は、検出点(基準点120)またはサーチ領域112のサーチ領域中心620に追随するよう計測領域112’を設定する。なお、追随対象選択部334は、計測領域の追随対象として基準点120またはサーチ領域中心620をユーザ入力にしたがって選択する。追随対象選択部334は、図53を用いて説明したように、追従点を選択するための追従点選択部603を通じて計測領域の追随対象として基準点120とサーチ領域中心620とのどちらがユーザによって選択されたかを認識する。
図55を用いて説明したように、ヒストグラム作成部335は、計測領域設定部332によって設定された計測領域112’の画像濃度を示すヒストグラムを作成する。モニタ10は、ヒストグラム作成部335が作成したヒストグラムを表示する。ユーザは、ヒストグラムを視認することで、計測領域112’が正しく設定されているかを確認することができる。
図57を用いて説明したように、設定無効化部226は、コネクタにピン抜けがある場合、複数のサーチ領域112のうちピン抜けに対応した1つ以上のサーチ領域を除外ピンとして無効化する。この場合、計測領域設定部332は、設定無効化部226により無効化されているサーチ領域112の無効化を解除する。上述したように除外ピンに対応したチェックボックスにチェックを入れることで、無効化が解除される。計測領域設定部332は、無効化を解除されたサーチ領域112を基準として計測領域112’を設定する。逆に、設定無効化部226は、位置検出領域設定部が有効化している複数の位置検出領域のうち1つ以上の位置検出領域を、ユーザのマウス9の操作に応じて、無効化してもよい。寸法検査では必要となる領域が、別の外観検査では不要な場合がある。この場合、設定無効化部226がその位置検出領域を無効化することで、計測領域設定部332は、無効化されている位置検出領域を参照できないようになる。
UI制御部310は、モニタ10に、特徴部分の位置を示すマーク(十字マークなど)を基本画像に対してオーバレイ表示させる。
図63は、本実施例に係る外見検査方法を示すフローチャートである。
S631で、撮像制御部301は、カメラ4を制御し、一定の規則に沿って並んでいる略同一形状の複数の特徴部分を有した検査対象物(良品の検査対象物8)を撮像して基本画像を取得し、基本画像記憶部337に格納する。
S632で、第1の計測対象設定部311は、表示制御部28を通じて基本画像をモニタ10に表示させる。
S633で、第1の計測対象設定部311は、モニタ10に表示された基本画像に含まれている各特徴部分に対して、検査対象物8の複数の特徴部分の位置を検出するための基準点120、検査領域113およびサーチ領域112を設定する。基準点120、検査領域113およびサーチ領域112のデータは、特徴データ記憶部306に記憶される。
S634で、計測ツール選択部331は、検査対象物8に対して計測を実行する計測ツール(例:エリア計測ツール)を、それぞれ異なる計測を実行する複数の計測ツールのうちから選択する。エリア計測ツールは一例にすぎず、コネクタ寸法検査ツール用の基準点120やサーチ領域112を参照して計測領域を設定可能な計測ツールであれば、本発明を同様に適用できる。計測領域のデータは、特徴データ記憶部306に記憶される。
S635で、計測領域設定部332は、設定された基準点120やサーチ領域112を基準として、選択された計測ツールの計測領域112’を設定する。なお、この計測領域の設定処理については、図64を用いて詳細に説明する。
S636で、撮像制御部301は、カメラ4を制御し、ラインを搬送される検査対象物8を撮像して検査画像を取得する。
S637で、寸法算出部302は、コネクタ寸法検査ツールやエリア計測ツールを用いて検査画像に対して計測を実行する。これにより上述したピン高さやピンの面積やピン間の面積などが計測される。
S638で、良否判定部303は、寸法算出部302が出力する計測結果を良否判定閾値と比較して、検査対象物8の良否を判定する。たとえば、良否判定部303は、あるピンのピン高さが閾値を超えていれば、そのピンを不良と判定する。良否判定部303は、ピンの面積がバリ検出用の閾値を超えていれば、そのピンには金バリが生じている(すなわち不良)と判定する。これらの閾値は予め閾値設定部313によって設定される。また、良否判定部303は、計測された面積が樹脂カブリ検出用の閾値を超えていなければ、そのピンには樹脂カブリが生じている(すなわち不良)と判定する。また、良否判定部303は、ピン抜けが設定されている個所における樹脂の面積が、汚れ検出量の閾値を超えていなければ、その個所に汚れが生じているか、ピンが誤って形成されている(すなわち不良)と判定する。異物や付着していたり、ピンが形成されていると、樹脂の面積が所望の面積よりも小さくなるからである。
図64は、計測領域設定方法を示すフローチャートである。計測領域設定方法は、図63に示したS635に相当する。
S641で、追随対象選択部334は、計測領域112’が追随することになる対象(例、基準点120やサーチ領域中心620)をマウス9の操作に応じて選択する。
S642で、計測領域設定部332は、追随対象選択部334によって検出点追従(すんわち基準点120に追従すること)が選択されたかどうかを判定する。検出点追従が選択された場合はS643に進み、サーチ領域中心追従が選択された場合はS646に進む。
●検出点追従
S643で、計測領域設定部332は、特徴データ記憶部306に記憶されている全ピンの基準点120の座標データを読み出して取得する。計測領域設定部332は、基準点120を基準として計測領域112’を仮に設定し、モニタ10に表示させる。たとえば、デフォルトの状態で、計測領域112’の中心が基準点120に設定される。また、計測領域112’のサイズも予め決定された所定のサイズに設定される。ユーザは、マウス9を操作することで表示された1つの計測領域112’のサイズと位置を調整する。
S644で、計測領域調整部333は、基準点120を基準として設定された計測領域112’の位置とサイズを、マウス9の操作にしたがって調整し、そのときの位置の調整量とサイズの調整量をオフセット量として、特徴データ記憶部306に記憶する。
S645で、計測領域調整部333は、残りの計測領域112’についても同一のオフセット量を設定する。これにより、各基準点120からオフセット量だけオフセットした位置に各計測領域112’が配置される。また、サイズの調整結果についても各計測領域112’に反映される。この配置結果は、モニタ10にリアルタイムで表示される。
●サーチ領域追従
S646で、計測領域設定部332は、特徴データ記憶部306に記憶されている全ピンのサーチ領域112のサーチ領域中心620の座標データを読み出して取得する。計測領域設定部332は、サーチ領域中心620を基準として計測領域112’を仮に設定し、モニタ10に表示させる。たとえば、デフォルトの状態で、計測領域112’の中心がサーチ領域中心620に設定される。また、計測領域112’のサイズも予め決定された所定のサイズに設定される。ユーザは、マウス9を操作することで表示された1つの計測領域112’のサイズと位置を調整する。
S647で、計測領域調整部333は、サーチ領域中心620を基準として設定された計測領域112’の位置とサイズを、マウス9の操作にしたがって調整し、そのときの位置の調整量とサイズの調整量をオフセット量として、特徴データ記憶部306に記憶する。
S648で、計測領域調整部333は、残りの計測領域112’についても同一のオフセット量を設定する。これにより、各サーチ領域中心620からオフセット量だけオフセットした位置に各計測領域112’が配置される。また、サイズの調整結果についても各計測領域112’に反映される。この配置結果は、モニタ10にリアルタイムで表示される。
以上説明したように、本実施形態によれば、良品を撮像して取得した基本画像に対してコネクタ寸法検査ツールなどの第1の計測ツール用の計測の基準となる基準点120やサーチ領域112が設定される。次に、第1の計測ツールとは別の計測を実行するエリア計測ツールなどの第2の計測ツールがユーザによって選択される。第2の計測ツールが検査対象物の特徴部分(例:ピンなど)を計測するために基本画像に対して設定する領域である計測領域112’の座標データは、第1の計測ツール用に設定された基準点120やサーチ領域112の座標データが必要に応じて調整を加えられて参照される。このように、本実施形態によれば、外観検査装置1によって使用される複数の計測ツールのうちある計測ツールに対して設定された計測領域を他の計測ツールの計測領域として参照することで、ユーザの負担を軽減できる。たとえば、多列ピンを備えたコネクタでは、領域の設定間隔が一定とはならないため、従来は、ユーザの負担が重かった。本発明では、寸法測定の設定や測定結果を参照するため、外観検査用の計測領域の設定を簡単に設定できるようになる。
たとえば、基準点120は、特徴部分の位置検出の基準となる検出点であり、サーチ領域112は、基本画像から検査領域113の範囲内で切り出された特徴部分のモデル画像と一致する画像をパターン認識によりサーチするための領域である。モデル画像は、サーチ領域112内を縦または横にシフトされながら、類似度が算出される。計測領域設定部332は、基準点120またはサーチ領域112に追随するよう計測領域112’を設定する。複数の特徴部分が略同一形状であり、かつ、一定の規則に沿って並んでいる場合、基準点120やサーチ領域112も一定の規則に沿って並ぶことになる。つまり、基準点120やサーチ領域112の座標と計測領域112’の座標とは相関関係がある。よって、基準点120やサーチ領域112を追従するように計測領域112’を設定すれば、計測領域112’を精度よく配置することができる。
上述したようにピン抜けやピン曲りが検査対象物8に存在する場合、基準点120とサーチ領域112とのどちらに計測領域112’を追随させると、作業効率が良いかが問題となる。本実施形態では、追随対象選択部334が、計測領域112’の追随対象として基準点120またはサーチ領域112をユーザ入力にしたがって選択する。図60を用いて説明したように、ピン曲りがある場合にピンの面積を計測するための計測領域112’を正しく設定するには、コネクタ寸法検査ツールの基準点120を追随対象として選択すると、ユーザの作業負担を軽減できる。一方で、図61を用いて説明したように、ピン抜けがある場合にピンの面積を計測するための計測領域112’を正しく設定するには、コネクタ寸法検査ツールのサーチ領域112(とりわけ、サーチ領域中心620)を追随対象として選択すると、ユーザの作業負担を軽減できる。
計測領域112’のサイズと位置はサーチ領域112のサイズと位置に一致しないこともある。つまり、第1の計測対象設定部311により設定されたコネクタ寸法検査ツール用の位置検出領域を基準として計測領域設定部332が設定した計測領域112’の位置またはサイズの少なくとも一方を調整しなければならない場合がある。そこで、計測領域調整部333は、計測領域設定部332が設定した計測領域112’の位置またはサイズの少なくとも一方を、マウス9によるポインタ650の操作に応じて調整してもよい。
複数の計測領域112’の位置またはサイズのそれぞれについて微調整が必要となる場合、複数の計測領域112’のそれぞれをマウス9の操作によって微調整するのはユーザの作業負担が重い。一方で、本実施形態では、複数の特徴部分が略同一形状であり、かつ、一定の規則に沿って並んでいることを前提としている。よって、この規則性を利用すれば、1つの計測領域112’を調整することで、その調整結果を残りの他の計測領域112’に単純に反映させることができる。そこで、本実施形態では、計測領域調整部333が、計測領域設定部332により設定された複数の計測領域112’の位置またはサイズをそれぞれマウス9の操作量に連動した等量の調整量で調整してもよい。これにより、ユーザの作業負担を大幅に削減できるであろう。
本実施形態によれば、計測領域112’の画像濃度を示すヒストグラムを表示してもよい。ユーザは、計測領域112’を微調整する際にヒストグラムをリアルタイムで確認することで、計測領域112’が正しく設定されているかどうかを判断しやすくなるであろう。
上述したように、ピン抜けがある場合、コネクタ寸法検査ツールではそのピンの位置検出領域が無効化される。ただし、ピン抜け箇所に異物が付着していないかを確認したり、ピンが誤って形成されていないかを確認したりしたいこともある。このような場合には、あえてピン抜け箇所にも計測領域112’を設定する必要がある。よって、計測領域設定部333は、ピン抜けのために無効化されている位置検出領域の無効化を解除し、無効化を解除し位置検出領域を基準として計測領域112’を設定する。これにより、特徴部分の抜けがあっても、計測領域112’を設定できるようになる。
また、UI制御部310は、特徴部分の位置を示すマークを基本画像に対してオーバレイ表示を実行する。これにより、ユーザは、特徴部分の位置を視覚的に把握しやすくなる。
実施形態においては、コネクタ寸法検査ツールのパラメータをエリア計測ツールに参照する例を説明したが、必ずしもこれらのみに本発明が限定されるわけではない。上述したようにエッジ位置計測ツール、エッジ角度計測ツール、エッジ幅計測ツール、エッジピッチ計測ツール、エリア計測ツール、ブロブ計測ツール、パターンサーチ計測ツール、傷計測ツール、OCR認識ツール、トレンドエッジツール、濃淡ツール、濃度ツールなどの複数の計測ツール間ではそれぞれ特徴部分を基準としてパラメータが設定される。よって、一方の計測ツールのパラメータを他方の計測ツールのパラメータとして、同様に参照できる。
本実施形態では、ピン位置の検出方法として、パターンサーチについて説明したが、他の方法が採用されてもよい。たとえば、幾何サーチによるピン位置の検出方法、エッジ検出を応用したピン位置の検出方法、ブロブ検出を応用したピン位置の検出方法などが、パターンサーチに代えて利用されてもよい。

Claims (14)

  1. 一定方向に配列された複数の特徴部分を有した良品の検査対象物を撮像して得られた基本画像を記憶する基本画像記憶部と、
    前記基本画像から前記良品の検査対象物の前記複数の特徴部分の位置を検出する検出処理部と、
    検査対象物の計測領域に対して計測を実行する計測ツールを異なる計測を実行する複数の計測ツールから選択する計測ツール選択部と、
    前記複数の特徴部分の1つに対して前記計測ツールによる計測を実行する前記計測領域の設定を受け付け、前記計測領域の設定に基づいて、前記検出処理部により検出された前記検査対象物の前記複数の特徴部分の各位置を基準として前記複数の特徴部分の各々に対して計測領域を設定する計測領域設定部と、
    前記計測領域設定部によって設定された前記計測領域を前記基本画像とともに表示する表示部と、
    外部から入力される撮像トリガ信号に基づいて、新たな検査対象物を撮像して検査画像を取得する取得部と、
    前記検査画像について前記計測領域設定部により設定された計測領域にしたがって計測を実行し、計測結果に基づいて当該検査画像を取得された前記新たな検査対象物の良否を判定する良否判定部と、
    を有することを特徴とする外観検査装置。
  2. 前記検出処理部は、前記特徴部分のエッジを検出することにより、前記複数の特徴部分の各位置を検出することを特徴とする請求項1に記載の外観検査装置。
  3. 前記特徴部分のモデル画像を登録するモデル画像登録部を有し、
    前記検出処理部は、前記基本画像から前記モデル画像をサーチすることにより、前記複数の特徴部分の各位置を検出することを特徴とする請求項1に記載の外観検査装置。
  4. 前記良品の検査対象物の前記複数の特徴部分の各位置を検出する対象領域を制限するためのサーチ領域を、前記一定方向に複数設定する位置検出領域設定部を備え、
    前記検出処理部は、前記位置検出領域設定部により設定されたサーチ領域内で前記特徴部分の位置を検出することを特徴とする請求項1から3のいずれか1項に記載の外観検査装置。
  5. 前記検出処理部により検出された前記複数の特徴部分の各位置に対応付けられた検出点と、前記位置検出領域設定部により設定されたサーチ領域とのいずれかをユーザ入力にしたがって選択する選択部を備え、
    前記計測領域設定部は、前記選択部により前記検出点が選択された場合には、前記検出点を基準として前記計測領域を設定し、前記選択部により前記サーチ領域が選択された場合には、前記サーチ領域を基準として前記計測領域を設定することを特徴とする請求項4に記載の外観検査装置。
  6. 前記計測領域設定部は、前記計測領域の位置またはサイズの少なくとも一方についての設定を受け付けることを特徴とする請求項1から5のいずれか1項に記載の外観検査装置。
  7. 前記計測領域設定部は、前記検出処理部により検出された前記良品の検査対象物の前記複数の特徴部分の1つの位置を基準として前記計測領域の設定を受け付けることを特徴とする請求項1から6のいずれか1項に記載の外観検査装置。
  8. 前記検出処理部により検出された前記良品の検査対象物の前記特徴部分の位置を基準として前記計測領域設定部により設定された前記計測領域の位置またはサイズの少なくとも一方を調整する計測領域調整部をさらに有することを特徴とする請求項1から7のいずれか1に記載の外観検査装置。
  9. 前記計測領域調整部は、前記計測領域設定部により設定された複数の計測領域の位置、サイズおよび角度の少なくともいずれかをそれぞれ等量の調整量で調整することを特徴とする請求項8に記載の外観検査装置。
  10. 前記計測領域設定部によって設定された前記計測領域の画像濃度を示すヒストグラムを作成するヒストグラム作成部をさらに有し、
    前記表示部は、前記ヒストグラム作成部が作成した前記ヒストグラムを表示することを特徴とする請求項1から9のいずれか1項に記載の外観検査装置。
  11. 前記計測領域設定部は、前記位置検出領域設定部が複数の前記サーチ領域のうち1つ以上の前記サーチ領域を無効化している場合に、当該1つ以上の前記サーチ領域の無効化を解除し、当該無効化を解除された1つ以上の前記サーチ領域を基準として前記計測領域を設定することを特徴とする請求項5に記載の外観検査装置。
  12. 前記表示部は、前記特徴部分の位置を示すマークを前記基本画像に対してオーバレイ表示することを特徴とする請求項1から11のいずれか1項に記載の外観検査装置。
  13. 一定方向に配列された複数の特徴部分を有した良品の検査対象物を撮像して基本画像を取得するステップと、
    前記基本画像から前記良品の検査対象物の前記複数の特徴部分の位置を検出するステップと、
    検査対象物の計測領域に対して計測を実行する計測ツールを異なる計測を実行する複数の計測ツールから選択するステップと、
    前記複数の特徴部分の少なくとも1つに対して前記計測ツールによる計測を実行する前記計測領域の設定を受け付けるステップと、
    前記計測領域の設定に基づいて、前記基本画像から検出された前記良品の検査対象物の前記複数の特徴部分の各位置を基準として前記複数の特徴部分の各々に対して前記計測領域を設定するステップと、
    前記複数の特徴部分の各々に対して設定された前記計測領域を前記基本画像とともに表示部に表示するステップと、
    外部から入力される撮像トリガ信号に基づいて、新たな検査対象物を撮像して検査画像を取得するステップと、
    前記検査画像について前記設定された計測領域にしたがって計測を実行し、計測結果に基づいて当該検査画像を取得された前記新たな検査対象物の良否を判定するステップと
    を有することを特徴とする外観検査方法。
  14. 請求項13に記載の外観検査方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
JP2012202271A 2012-09-14 2012-09-14 外観検査装置、外観検査法およびプログラム Expired - Fee Related JP5947169B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012202271A JP5947169B2 (ja) 2012-09-14 2012-09-14 外観検査装置、外観検査法およびプログラム
US13/971,867 US9410898B2 (en) 2012-09-14 2013-08-21 Appearance inspection device, appearance inspection method, and program
CN201310421768.1A CN103674961B (zh) 2012-09-14 2013-09-16 外观检查设备、外观检查方法以及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012202271A JP5947169B2 (ja) 2012-09-14 2012-09-14 外観検査装置、外観検査法およびプログラム

Publications (2)

Publication Number Publication Date
JP2014055916A JP2014055916A (ja) 2014-03-27
JP5947169B2 true JP5947169B2 (ja) 2016-07-06

Family

ID=50274162

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012202271A Expired - Fee Related JP5947169B2 (ja) 2012-09-14 2012-09-14 外観検査装置、外観検査法およびプログラム

Country Status (3)

Country Link
US (1) US9410898B2 (ja)
JP (1) JP5947169B2 (ja)
CN (1) CN103674961B (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9294766B2 (en) * 2013-09-09 2016-03-22 Apple Inc. Chroma quantization in video coding
JP6303352B2 (ja) * 2013-09-18 2018-04-04 株式会社デンソーウェーブ 外観検査システム
JP6354178B2 (ja) 2014-01-31 2018-07-11 オムロン株式会社 画像処理装置、管理システムおよび管理方法
CN105466937A (zh) * 2014-08-25 2016-04-06 研祥智能科技股份有限公司 适应多尺寸显示装置的成像检测部件、检测系统和控制方法
KR101610148B1 (ko) * 2014-11-17 2016-04-08 현대자동차 주식회사 차체 검사 시스템 및 방법
DE102014017501A1 (de) * 2014-11-27 2016-06-02 Gunnar Held Verfahren zum Ausschneiden von Gegenständen aus einer zumindest teilweise zweilagigen Materialbahn mittels einer Schneidvorrichtung
JP6474334B2 (ja) * 2015-07-30 2019-02-27 株式会社キーエンス 画像検査装置、画像検査方法および画像検査プログラム
CN105300280B (zh) * 2015-09-30 2018-06-01 广州超音速自动化科技股份有限公司 连接器尺寸视觉测量方法
JP6673717B2 (ja) * 2016-02-22 2020-03-25 株式会社キーエンス 光学安全システム
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP6235684B1 (ja) * 2016-11-29 2017-11-22 Ckd株式会社 検査装置及びptp包装機
JP6829992B2 (ja) * 2016-12-28 2021-02-17 株式会社キーエンス 光走査高さ測定装置
JP6955368B2 (ja) 2017-04-29 2021-10-27 株式会社キーエンス 照明装置用アタッチメント
EP3649618A1 (en) 2017-07-03 2020-05-13 Artomatix Ltd. Systems and methods for providing non-parametric texture synthesis of arbitrary shape and/or material data in a unified framework
US20190012782A1 (en) * 2017-07-05 2019-01-10 Integrated Vision Systems LLC Optical inspection apparatus and method
US11280744B2 (en) * 2017-09-28 2022-03-22 Nidec Corporation Appearance inspection apparatus and appearance inspection method
CN108355981B (zh) * 2018-01-08 2020-03-17 西安交通大学 一种基于机器视觉的电池连接器质量检测方法
IL259143B2 (en) * 2018-05-03 2024-07-01 Inspekto A M V Ltd System and method for visual production line inspection of various production items
JP2020034365A (ja) * 2018-08-29 2020-03-05 日置電機株式会社 測定データ処理装置、測定システムおよび測定データ処理用プログラム
US20220005172A1 (en) * 2018-11-21 2022-01-06 Sony Group Corporation Work determination system, work determination apparatus, and work determination method
CN109813718A (zh) * 2018-12-30 2019-05-28 江苏四点灵机器人有限公司 一种led芯片模组缺陷检测装置及方法
CN111361303B (zh) * 2020-04-08 2021-03-02 重庆电子工程职业学院 生物dna卡片袋自动喷码、检测系统的工作方法
CN111601227B (zh) * 2020-05-29 2021-12-31 深圳市燕麦科技股份有限公司 麦克风检测设备及麦克风检测方法
JP7107587B2 (ja) * 2020-06-26 2022-07-27 キリンテクノシステム株式会社 撮像システム及び撮像制御方法
CN114764094B (zh) * 2021-01-14 2023-11-14 汉达精密电子(昆山)有限公司 一种检测笔记本电脑c面上断柱的系统及方法
CN116342456A (zh) * 2021-12-14 2023-06-27 中兴通讯股份有限公司 连接器件检测方法、电子设备及存储介质
CN116228752B (zh) * 2023-05-06 2023-07-21 四川广安承平投资开发有限公司 一种表面瑕疵识别方法及处理机器人
CN116703930B (zh) * 2023-08-09 2023-10-31 湖北三环三立汽车后视镜有限公司 一种汽车后视镜模具成型检测方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07117388B2 (ja) * 1990-11-29 1995-12-18 松下電器産業株式会社 外観検査方法
JPH05249050A (ja) * 1992-03-10 1993-09-28 Komatsu Ltd 部品の外観検査装置
JPH06167321A (ja) 1992-11-30 1994-06-14 Hitachi Ltd リード測定方法および装置並びにそれが使用されたリード検査装置
JPH08261733A (ja) * 1995-03-20 1996-10-11 Toshiba Corp 電子部品の検査方法
JPH09251536A (ja) 1996-03-15 1997-09-22 Komatsu Ltd パターンマッチングによる検査装置および検査方法
JP2000227316A (ja) 1999-02-04 2000-08-15 Keyence Corp 検査装置
JP2000234915A (ja) 1999-02-12 2000-08-29 Keyence Corp 検査方法及び検査装置
JP2000241117A (ja) 1999-02-22 2000-09-08 Keyence Corp 画像のエッジ検出方法、検査装置及び記録媒体
JP3593302B2 (ja) * 1999-06-15 2004-11-24 株式会社ミツトヨ 画像測定装置及び方法
JP2001165863A (ja) * 1999-09-30 2001-06-22 Omron Corp 画像処理装置
JP4727874B2 (ja) 2001-09-28 2011-07-20 株式会社キーエンス 画像処理装置および画像処理方法、画像処理プログラムならびにコンピュータで読み取り可能な記憶媒体
US7003161B2 (en) * 2001-11-16 2006-02-21 Mitutoyo Corporation Systems and methods for boundary detection in images
US6789033B2 (en) * 2001-11-29 2004-09-07 International Business Machines Corporation Apparatus and method for characterizing features at small dimensions
US7522763B2 (en) * 2004-07-30 2009-04-21 Mitutoyo Corporation Method of measuring occluded features for high precision machine vision metrology
CN100533132C (zh) * 2004-09-06 2009-08-26 欧姆龙株式会社 基板检查方法及基板检查装置
US7454053B2 (en) * 2004-10-29 2008-11-18 Mitutoyo Corporation System and method for automatically recovering video tools in a vision system
JP5075111B2 (ja) * 2008-12-29 2012-11-14 株式会社日立ハイテクノロジーズ 画像分類基準更新方法、プログラムおよび画像分類装置
US8155770B2 (en) * 2009-03-31 2012-04-10 Globalfoundries Inc. Method and apparatus for dispatching workpieces to tools based on processing and performance history
JP5444092B2 (ja) * 2010-04-06 2014-03-19 株式会社日立ハイテクノロジーズ 検査方法およびその装置
JP5698489B2 (ja) * 2010-09-30 2015-04-08 オリンパス株式会社 検査装置
US8855401B2 (en) * 2010-10-29 2014-10-07 International Business Machines Corporation Methods and systems involving measuring complex dimensions of silicon devices
KR101662306B1 (ko) * 2010-11-02 2016-10-10 삼성전자주식회사 패턴의 선폭 측정 방법 및 이를 수행하기 위한 선폭 측정 장치
KR101205970B1 (ko) * 2010-11-18 2012-11-28 주식회사 고영테크놀러지 브리지 연결불량 검출방법
JP5809997B2 (ja) * 2012-02-14 2015-11-11 株式会社日立ハイテクノロジーズ 半導体計測装置及びコンピュータープログラム
JP5948138B2 (ja) * 2012-05-11 2016-07-06 株式会社日立ハイテクノロジーズ 欠陥解析支援装置、欠陥解析支援装置で実行されるプログラム、および欠陥解析システム

Also Published As

Publication number Publication date
JP2014055916A (ja) 2014-03-27
CN103674961A (zh) 2014-03-26
US9410898B2 (en) 2016-08-09
US20140078498A1 (en) 2014-03-20
CN103674961B (zh) 2018-11-27

Similar Documents

Publication Publication Date Title
JP5947169B2 (ja) 外観検査装置、外観検査法およびプログラム
JP6630545B2 (ja) 位置決め方法、位置決め装置、プログラムおよびコンピュータ可読記録媒体
US10366485B2 (en) Positioning method, visual inspection apparatus, program, computer readable recording medium, and visual inspection method
JP5564349B2 (ja) 画像処理装置及び外観検査方法
US8233041B2 (en) Image processing device and image processing method for performing three dimensional measurements
KR101924191B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP6649802B2 (ja) 三次元画像検査装置、三次元画像検査方法、三次元画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN102680495A (zh) 自动光学检测装置及方法
JP7151873B2 (ja) 検査装置
JP2014055915A (ja) 外観検査装置、外観検査法およびプログラム
JP2008014700A (ja) ワークの検査方法及びワーク検査装置
KR101522312B1 (ko) Pcb 제품 검사 장치 및 이를 이용한 pcb 제품 검사 방법
CN113763322B (zh) 一种Pin脚共面度视觉检测方法与装置
TWI244359B (en) Automatic optical detecting system for defect components on printed circuit board
JP6008667B2 (ja) 外観検査装置、外観検査法およびプログラム
CN110274911B (zh) 图像处理系统、图像处理装置、存储介质
JP7215218B2 (ja) 分光検査方法、画像処理装置、及びロボットシステム
TWI427263B (zh) 突起之高度測定方法、突起之高度測定裝置、程式
JP5947168B2 (ja) 外観検査装置、外観検査装置の制御方法およびプログラム
CN114518079A (zh) 一种孔内特征检测系统及检测方法
CN114264243B (en) Method for detecting crimping welding spots and measuring wire arc height between crimping welding spots
WO2020184567A1 (ja) 画像検査装置及び画像検査方法
WO2021261302A1 (ja) 欠陥検査装置
JP3216123B2 (ja) 集積回路におけるバンプ検査装置及びバンプ検査方法
JPH05240738A (ja) ねじ検査方法およびその装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150311

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20150319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160527

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160602

R150 Certificate of patent or registration of utility model

Ref document number: 5947169

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees