以下、図面に基づいて本発明の実施の形態を説明する。
図1は、外観検査装置のシステム構成を説明する機能ブロック図の一例である。図1において、外観検査システム100は、外観検査装置1に接続された機器類によって構成される。外観検査装置1には、スキャナ2、カメラ3、照明システム4、データサーバ5が接続されている。
外観検査装置1は、機能ブロックとして、スキャナ制御部11、カメラ制御部12、照明制御部13、通信制御部14、図面データ記憶部15、画像データ記憶部16、画像データ補正部17、画像データ比較部18、及び良品画像データ記憶部19を備えている。外観検査装置1の各機能ブロックは、ハードウエアで実装してもソフトウエアで実装しても良い。また、インターフェイスボード等によるミドルウエアにより実装しても良い。例えば、図示しないCPU、メモリ、記憶装置等のハードウエアを利用して実行されるアプリケーションソフトウエアとして実装することができる。本実施例で示す機能ブロックは、その機能を説明するための便宜上の機能の区分けであるため、例えば、2以上の機能ブロックを1つの機能ブロックとして実装したり、1つの機能ブロックをさらに複数の機能ブロックに分割して実装したりすることができる。
スキャナ2は、図面を読み込んで図面データとする。スキャナ2によって読み込まれた図面データは、スキャナ制御部11によって外観検査装置1に取り込まれる。スキャナ制御部11は、例えば、図示しないスキャナ制御用の拡張ボードを、外観検査装置のバスに取り付けたものであっても良い。また、スキャナ制御部11は、規格化されたシリアルバスを制御するものであっても良い。
スキャナ制御部11によって取り込まれた図面データは、図面データ記憶部15に記憶される。記憶される図面データは、スキャナ2によって読み込まれた画像データを、例えば規格化された方式により画像圧縮したものであっても良い。また、スキャナ制御部11等によって、画像データに対して微分加工、あるいは2値化等の画像補正をした画像データであっても良い。また、ラスタデータである画像データから、スキャナ制御部11等によってベクタデータを抽出したものであっても良い。図面データ記憶部15は、図示しない内部メモリやハードディスクなどの記憶手段を利用することができる。
カメラ3は、検査対象の基板等の画像を撮影して画像データとする。カメラ3によって撮影された画像データは、カメラ制御部12によって外観検査装置1に取り込まれる。カメラ制御部12は、例えば、図示しないカメラ制御用の拡張ボードを、外観検査装置のバスに取り付けたものであっても良い。また、カメラ制御部12は、規格化されたシリアルバスを制御するものとして、スキャナ制御部11と共用するものであっても良い。
カメラ制御部12によって取り込まれた画像データは、画像データ記憶部16に記憶される。記憶される画像データは、カメラ3によって読み込まれた画像データを、例えば規格化された方式により画像圧縮したものであっても良い。また、カメラ制御部12等によって、画像データに対して微分加工、あるいは2値化等の画像補正をした画像データであっても良い。また、ラスタデータである画像データから、カメラ制御部12等によってベクタデータを抽出したものであっても良い。画像データ記憶部16は、図示しない内部メモリやハードディスクなどの記憶手段を利用することができる。
照明制御部13は、検査対象をカメラ3で撮影するために、照明システム4の照明の点灯を制御する。例えば、照明システム4が検査対象に対して異なる角度から照明を当てるように設置位置を異にする複数の照明を備えている場合、各照明の点灯/消灯のタイミングを制御して、検査対象に異なる角度から照明が当てられる様に制御する。また、検査対象に合わせて照度や光の照射範囲を調整しても良い。照明システム4は、光源として、キセノンランプ、ハロゲンランプ、またはLEDランプなどが利用される。照明制御部13は、移動している検査対象物に対して例えばキセノンランプを短時間発光させることにより、カメラ3にて静止した検査対象の画像データを撮影することができる。
通信制御部14は、外観検査装置1の外部装置との通信を制御する。本実施例においては、外観検査装置1が、外部装置としてデータサーバ5に有線又は無線のネットワークにより接続されている。データベースサーバ5は、図面DB51と画像DB52を備えている。図面DB51には、スキャナ2で読み込んだ図面データを、図面データ記憶部15に記憶させるのに加えて、又は図面データ記憶部15に記憶するのに代えて、記憶させることができる。同様に、画像DB52には、カメラ3で撮影した画像データを、画像データ記憶部16に記憶させるのに加えて、又は画像データ記憶部16に記憶させるのに代えて、記憶させることができる。つまり、本実施例においては、図面データ記憶部15及び画像データ記憶部16を内部ストレージとして利用するのと同様に、図面DB51及び画像DB52を外部ストレージとして利用することを可能としている。また、図面DB51には、図3で説明する、良品画像データ記憶部19に記憶する、良品の第1照明の画像データ、良品の第2照明の画像データ、又は良品の第1照明の画像データ及び良品の第2照明の画像データの両方を外部ストレージとして利用することを可能にしている。
ここで、図1で図示するデータベースサーバ5には、1台の外観検査装置1が接続されている様子を示しているが、例えばデータベースサーバ5に複数の外観検査装置が接続されるシステムにおいては、図面DB51に記憶された図面データ、及び画像DB52に記憶された画像データを、複数の外観検査装置で共有することができる。このシステム構成により、スキャナ2で読み込んだ図面データを他の外観検査装置で流用することができる。また、カメラ3で撮影された画像データを他の外観検査装置で流用することができる。
画像データ補正部17は、カメラ3で撮影された画像データを、図面データを基に補正する。補正の方法の詳細は後述する。
画像データ比較部18は、画像データ補正部で補正された画像データを図面データと比較して、部品の欠陥やハンダの不良を判定する。判定の方法の詳細は後述する。
良品画像データ記憶部19は、既に目視検査で良品であると判断された検査対象をカメラ3で撮影した画像データを記憶する。良品画像データの使用方法については後述する。
次に、外観検査装置1の動作について、図2、図3及び図4を用いて説明する。図2は、外観検査装置の第1のフェーズの動作を説明するフローチャートの一例である。図4は、ずれ補正の動作を説明するフローチャートの一例である。また、図2及び図4のフローチャートの各ステップの詳細は、適宜別図面にてで説明する。また、図2のAの部分から続くフローチャートは、第2のフェーズにおける動作として図3において後述する。
図2において、先ず、図面データを取り込む(S11)。S11における図面の取り込みは、図5を用いて説明する。
図5において、図面データの取り込みは2つの方法により行われる。第1の方法は、検査対象の図面が印字された紙をスキャナ2に読み込ませ、それを直接外観検査装置1に取り込む方法である。第2の方法は、検査対象の図面が予め図面データとして記憶されたものを読み出して取り込む方法である。
先ず、第1の方法を図5にて説明する。図5において、検査対象のマスタ図面であるM1は用紙に印字されている。この実施例では、マスタ図面M1は部品が搭載された電子基板の図面である。マスタ図面M1の図示網掛け部分は、CPU、メモリ、コンデンサ、抵抗、コネクタ等の電子部品が取り付けられた図面が印字された部分であり、図5では記載を省略して網掛けで表している。マスタ図面M1には、位置決めの基準となるマークである、マスターマークmm1、mm2及びmm3が印字されている。また、用紙の下部には、図番と、図番に相当する2次元バーコードが印字されている。この用紙を、スキャナ2に読み込ませる。スキャナ2は、送信先の選択をタッチパネルにより行い、印字された図面をスキャンして読み取り、外観検査装置1に送信する。外観検査装置1は、送信された図面データとして取り込む。第1の方法においては、図面データの取り込みは、スキャナ制御部11が行う。
次に第2の方法を同じく図5にて説明する。図5において、図面データは、データベースサーバ5の図面DB51に既に存在しているものとする。図面データの図面DB51への入力は、例えば、第1の方法で説明したスキャナ2による図面の読み込みにて、図面データの送信先をデータベースサーバ5にして、ネットワークを通じて入力する方法や、画像検査装置1から入力する方法がある。第2の方法において、図面データの取り込みは、通信制御部14がネットワークを通じて、図面DB51に記憶されている図面データから行う。
本実施例における画像検査装置は、図面データの取り込みを、上記2つの方法を選択して、いずれかの方法によって行うことができる。
なお、印字されたマスタ図面M1は必ずしも検査対象と同縮尺の図面でなくても良い。例えば、図面はA4の用紙に印字可能なように縮小されたものであっても良い。また、マスタ図面M1の図面は、写真のような図面であっても線画による図面であっても良い。
図2のフローチャートに戻る。S11で取り込まれた図面データを、図面データ記憶部15に記憶する(S12)。ここで、図面データが上記第1の方法で取り込まれた場合は、図面データを図面データ記憶部15に記憶するとともに、データベースサーバ5の図面DB51に送信して記憶させても良い。
図面データは、検査対象に応じて、複数の図面データが存在し得る。例えば、電子基板の品種によって電子基板の形状や搭載されている電子部品が異なり、異なった品種の検査対象の外観検査を行う場合には、それぞれの検査対象に応じた図面データを用意する必要がある。上記S11とS12の工程で記憶される電子データは、検査対象に応じて異なる複数の図面データを予め図面データ記憶部15又は図面DB51に記憶させておくことができる。図面データには、検査対象に応じたマスターマークを使用することができる。例えば、マスターマークの形状、配置、個数等を検査対象に応じて変えて使用することができる。図5で説明した、図面に記載された図番や2次元バーコードをマスターマークの一部として使用することもできる。なお、複数の図面データを検査対象に応じて記憶して、複数種類の検査対象を混在させて外観検査を行う場合においては、次に説明する画像データの取り込みにてテストマークを判別して、比較対象となる図面データを選択することができる。
次に、画像データを取り込む(S13)。画像データの取り込みを、図6を用いて説明する。図6は、画像データの取り込みを説明する図の一例である。
図6において、検査対象となる電子基板は、図面データに対応して制作されたものであり、電子基板上に搭載されている電子部品は、その図面データに基づき配置されている。検査対象の電子基板が複数種類となる場合、それぞれの電子基板に対応した図面データは、それぞれS12の工程にて図面データ記憶部15に記憶されている。
検査対象の電子基板は、Y1方向に流れるベルトコンベア上に設けられた検査台に載置されて検査位置まで搬送される。検査位置の上方であるZ1方向には、カメラ3が設置されており、検査位置の電子基板を撮影する。図1で説明した照明システム4には、本実施例では照明1、照明2及び照明3の3つの照明が備えられており、それぞれ検査対象である電子基板を異なった角度で照射できる。S13における画像データ取り込みにおいては、カメラ3の近傍に設置された照明1により照明が照射がされて撮影が行われる。照明制御部13は、検査対象がベルトコンベア上の検査位置に来たときに、照明1を短時間ONにする。カメラ3は、検査位置にて照明1によって照らされた検査対象を撮影する。撮影された検査対象はカメラ制御部12を通じて外観検査装置1に取り込まれる。
次に、S13にて取り込まれた画像データについて、画像のずれ補正を行う(S14)。画像のずれ補正は、複数の検査対象が混在する場合においては、先ず取り込まれた画像データの中から、テストマークの抽出を行う。テストマークは、検査対象の電子基板に対応した図面データのマスターマークに対応している。テストマークを検査対象毎に例えば、位置や形状を変えることにより、テストマークの位置や形状から一致するマスターマーク一意に選択し、そのマスターマークを含む図面データを選択することができる。テストマークは取り込まれた図面データと同様の画像のずれを含んでいるが、ここでの画像のずれは一意のマスターマークを選択できる程度の許容範囲であるものとする。画像のずれ補正は、テストマークとマスターマークの一致により選択された図面データを基にして行う。画像のずれ補正の詳細は図7〜10図を用いて後述する。
次に、ずれ補正を行った画像データと図面データとの画像の比較を行う(S15)。画像の比較は、図面データに配置された電子部品の外観上の形状と、画像データとのパターンマッチングによる比較によって行われる。例えば、画像データを微分処理して、撮影された検査対象に搭載された電子部品やコネクタの輪郭を抽出して図面データと比較しても良い。輪郭同士の比較によって、例えば部品の一部が欠損している場合や、形状の違いを判定できる。また、画像データをグレイスケールとして図面データのグレイスケール濃度と比較しても良い。これにより、例えば電子基板上に配置されるべき部品の欠品等が判定できる。画像比較によってNGであった場合(S15でN)は、不良判定を行い、検査対象を排除するほか、図示しない表示器等で判定が不良であった旨を表示しても良い。S15の画像比較までの外観検査を本実施例では「第1のフェーズ」というものとする。
画像比較でOKであった場合(S15でY)、画像検査装置1は、図3で示されるAに続く工程にて外観検査を行う。本実施例では、図3で示される外観検査を「第2のフェーズ」というものとする。
先ずは、第1のフェーズにおける外観検査における、S14の「ずれ補正」の詳細について、図7乃至図10を用いて説明する。この実施例においては、画像のずれとして、「画像の倒れ」、「画像の倍率差」、及び「画像の位置ずれ」を例示している。
先ず、「画像の倒れ」とは、「画像の歪み」の一つであり、図7及び図8で示す通り、検査対象を撮影した画像データが、コンベア上で検査対象がZ方向で高さが不均一になり、水平面から傾くことにより、撮影された画像が倒れたように斜めに歪むことをいう。カメラが検査対象から鉛直方向の無限遠に存在する場合、撮影された画像は正射投影された画像となり、図面データ上で平行な2線は平行に撮影される。しかし、検査対象がカメラに対して斜めになった場合は検査対象の画像は倒れを伴って撮影され、図面データ上の平行な2線は検査対象の傾きに伴って、平行から所定の倒れ角度で斜めになって撮影される。画像の倒れは撮影された画像データを、座標変換により画像を本来の正射投影された画像に補整することにより倒れが補正される。
画像の位置ずれとは、図9に示す通り、検査対象を撮影した画像データがベルトコンベア上のX−Y平面内で、移動、回転、又は移動と回転をしている場合である。
なお、以下で説明する画像のずれ補正は、本実施例においては、判定を画像データ比較部18で行い、補正を画像データ補正部17で行う。しかし、処理の主体は必ずしも本実施例に限定されるものではなく、例えば画像を編集するアプリケーションによって画像データの比較と補正を行っても良い。
画像の倍率差とは、図10に示す通り、検査対象を撮影した画像データがカメラの倍率、又はカメラとの距離によって大きく又は小さくなり、マスタ図面との大きさ(倍率)が違ってしまう場合である。画像の倍率差は、例えばカメラ3のレンズの倍率、カメラ3と検査対象との距離、さらには、マスタ図面の縮尺倍率の誤差によって生じる。
図4において、画像のずれ補正は、先ず画像データに倒れが有るか否かが判定される(S141)。画像データに倒れがある場合は(S141でY)、倒れ補正を行う(S142)。また、画像データに倒れが無ければ次のステップに移動する。
ここで、図7及び図8を用いて画像の倒れを説明する。図7は、画像の倒れを説明する検査位置での正面図の一例である。図8は、画像の倒れを説明する図面データと画像データの対比の一例である。
図7において、ベルトコンベア上の検査台に載置された検査対象の電子基板はイの状態でカメラ3により撮影されて、画像データが外観検査装置1に取り込まれる。電子基板上には、複数の長方形のテストマークtmA、tmB及びtmCが印刷等されている。図7では、テストマークの位置が理解しやすいように、電子基板上から盛り上がった状態で表現しているが、実際は電子基板面に印刷されて同一面である。また、テストマークはシール等により電子基板上に貼付されていても良い。
電子基板はコンベア上の治具等により水平に保たれて載置される。しかし、例えば様々な形状の電子基板が同じベルトコンベアで混合されて外観検査を行う場合等、検査台の治具の形状を電子基板に合わせて多数用意することはコストがかかる。このため、検査台を平面にして電子基板をそのまま載置できれば、専用の治具が不要となる。
図7のロの状態は、電子基板の裏面の部品形状等により、検査対象の電子基板が水平からθの角度傾いた場合を示している。なお、ここでは倒れを理解しやすいようにθを大きくして表現しているが、実際の検査では部品の欠落等で生じる僅かな傾きでも倒れ判定にて補正をすることができる。
電子基板がロの状態になって傾くと、電子基板上に印刷された長方形のテストマークは、長方形のZ1方向における下辺と上辺でカメラまでの距離差が生じる。なお、図7では、カメラ3から電子基板までの距離は十分遠く、レンズの画角は無視できるものとして、図ではカメラのレンズ面を平面で表現している。
図8(b)において、撮影された画像データT0は、図8(a)の図面データの中でマスタ図面M0が長方形なのに対して画像の倒れにより台形状の画像となる。また、複数のテストマークtmA〜tmCの形状も画像の倒れにより台形となる。また、テストマークtmA〜tmCの中で、カメラに一番近い位置にあるテストマークtmCの大きさ(倍率)が、やはり画像の倒れにより、他のテストマークtmA及びtmBに比べて大きくなる。
ここで、画像の歪みの一つである、画像の倒れの補正(S142)の方法について説明する。図8(a)において、複数のマスターマークmmA〜mmCの長方形の長辺の長さをlとする。一方、図8(b)において、テストマークtmAは、la1とla2の上辺と下辺を持つ台形となる。同様にテストマークtmBは、lb1とlb2の上辺と下辺を持つ台形となり、テストマークtmCは、lc1とlc2の上辺と下辺を持つ台形となる。ここで、例えば、カメラに一番近いテストマークであるテストマークtmCにおけるlc1とlc2の比を測定すれば、画像の倒れの大きさを測定することができる。また、複数のテストマークtmA〜tmCのla2、lb2及びlc2の長さの比を取れば、テストマーク同士の比較によって画像の倒れの大きさを測定することができる。さらに、上記台形の上辺と下辺が平行で無い場合には、長方形の短辺の形状を合わせて計測することにより電子基板がどの方向に傾いた場合であっても倒れ補正が可能となる。画像の倒れが計算できれば、撮影した画像データT0全体に倒れ補正を行い、画像データT0を長方形の画像に補正することができる。倒れ補正によってla1、la2、lb1、lb2、lc1及びlc2は同じ長さに補正される。倒れ補正を行うことにより、マスタ図面M0と画像データT0とは相似形となる。複数のテストマークを組み合わせて比較対象とすることにより、マスターマークとの比較をそれぞれのテストマークによって行うことにより、例えば1のテストマークによる補正値に異常があった場合でも、他のテストマークの補正値との比較によってその異常を発見できることができる。また、テストマーク間の形状の比較により。傾きの把握を正確に行うことができる。
上記倒れ補正により、電子基板が水平で無い場合であっても電子基板の傾きを修正することができる。これにより、検査台に検査対象に応じた特別な治具が不要になり、電子基板の裏面の形状に拘わらず外観検査を行うことができるため装置のコストが削減できる。また、作業者が電子基板を検査台に手で載置する場合も、正確な位置決めが不要となり作業効率が向上する。
次に、倒れ補正によって同じ長さに補正されたla1〜lc2の長さをltとすると、マスターマークmmA〜mmCの長方形の長辺lとltに長さに差異があるか否かを判定する(S143)。ここで、画像データT0は既に倒れが補正されているため、長辺lとltに長さに差異は、マスタ図面M0と画像データT0の大きさ(倍率)の違いである。この大きさの違いは、例えばカメラ3から検査対象の電子基板までの距離が近くなったり遠くなったりすることにより、取り込まれた画像データT0の大きさにばらつきが生じることにより発生する。また、カメラのレンズの倍率によって取り込まれた画像データT0の大きさとマスタ図面M0の大きさに差異がある場合に発生する。さらに、マスタ図面の縮尺が実際の検査対象と異なっている場合に発生する。
大きさに差異がある場合(S143でY)、大きさが修正されて(S144)、大きさに差異がない場合(S143でN)、次のステップに進む。
大きさの修正は、例えば、lとltとの比率によって計算されて、この比率で画像データT0全体の縮尺を変更することにより行われる。この大きさ補正により、相似であったマスタ図面M0と画像データT0は合同となる。
大きさ修正によって、カメラ3のレンズの倍率やカメラ3の高さの微調整が不要となり、装置のメンテナンスが容易になる。また、マスタ図面作成時の図面印字倍率について事前に調整する必要がなくなり、簡単に外観検査で使用するマスタ図面の印字やデータ取り込みができることとなる。
次に、大きさ補正によって合同となったマスタ図面M0と画像データT0のマークの中心位置の比較により位置ずれの有無を判定する(S145)。中心座標の計算は長方形の長さを求める過程で、テストマークtmA〜tmCについてそれぞれを計算する。中心座標はX−Y平面上のxy座標によって計算される。計算された中心座標にずれがある場合、位置ずれがあると判定されて(S145でY)、位置修正を行う(S146)。また、位置ずれが無いと判定された場合は(S145でN)、ずれ補正のサブルーチンを終了し、もとのフローチャートに戻る。
位置ずれがある場合とは、倒れ補正及び大きさ補正によって合同となったマスタ図面M0と画像データT0が、X−Y平面上で平行移動あるいは回転移動をしている場合である。従って、例えばマスターマークmmAの中心位置とテストマークtmAの中心位置を合わせて、マスターマークmmBの中心位置とテストマークtmBの中心位置、又はマスターマークmmCの中心位置とテストマークtmCの中心位置を回転によって合わせる事により、マスタ図面M0と画像データT0はX−Y平面で同じ座標になる。従って、マスタ図面M0に描かれた電子部品やコネクタの位置と、撮影された画像データT0における電子部品やコネクタの位置が同じになり、両者の画像の比較によって部品欠落などの不良を容易に検査できるようになる。
次にマスターマークの形状が異なる場合、及び画像データのずれが異なる場合における動作について例示する。
図9は、検査対象に印刷されるマークが円形であり、画像データが位置ずれしている場合を説明している。図9は、画像の位置ずれを説明する図面データと画像データの対比の一例である。
図9(a)において、図面データの中のマスタ図面M1は、長方形の電子基板の図面であり、3つマスターマークmm1〜mm3を備えている。マスターマークmm1〜mm3のそれぞれの中心座標は、(x1,y1)、(x2,y2)及び(x3,y3)である。
一方、図9(b)において、カメラ3によって撮影されて外観検査装置1に取り込まれた画像データT1は、X−Y平面で位置ずれをして、角度θにて回転している。取り込まれた画像データT1が図9(b)の場合、図4で説明したずれ補正において、倒れ補正は無し(S141でN)であり、また、大きさの差異も無し(S143でN)であり、位置ずれのみ有り(S145でY)となる。
図9(b)において、図面データT1には、テストマークtm1〜tm3を有している。マスターマークmm1〜mm3の中心座標とテストマークtm1〜tm3の中心座標である、(xt1,yt1)、(xt2,yt2)及び(xt3,yt3)に対して、両者の座標を図面データT1の回転と移動により行うことにより、マスタ図面M1との位置合わせができる。例えば、(x1,y1)と(xt1,yt1)を合わせておき、図面データT1の回転によって(x3,y3)と(xt3,yt3)を合わせる。
次に、図9(a)で説明したマスタ図面M1が、カメラ3による撮影によって大きさが変わってしまった場合のずれ補正を図10によって説明する。図10は、画像の大きさの差異を説明するマスタ図面と画像データの対比の一例である。図10(a)は、図9(a)と同じであるので説明は省略する。
図10(b)において、カメラ3によって撮影されて外観検査装置1に取り込まれた画像データT2は、カメラ3の倍率とマスタ図面M1の大きさの差異により、T2の図面全体において倍率が異なっている。取り込まれた画像データT2が図10(b)の場合、図4で説明したずれ補正において、倒れ補正は無し(S141でN)であり、大きさの差異は有り(S143でY)となる。
図10(b)において、画像データT2は、テストマークtm4、tm5及びtm6を有している。テストマークtm4〜tm6の中心座標である、(xt4,yt4)、(xt5,yt5)及び(xt6,yt6)を求めた後、テストマークtm4とtm5の中心間距離を(xt4−xt5、yt4−yt5)にて算出し、マスターマークmm1とmm2の中心距離を(x1−x2、y1−y2)にて算出する。求められたそれぞれの距離の比に応じて画像データT2の縮尺を変更すれば大きさの修正ができる。なお、中心点間距離は、mm1とmm3の距離に対するtm4とtm6の間の距離であっても良い。
大きさを補正した後は、図9で説明した位置ずれの判定を行い(図4のS145)、位置修正を行う(S146)。
図7及び図8で説明した実施例では、倒れ補正を行うためのマスターマークは長方形の形状であったが、マスターマークが図9の様に円形であったとしても、電子基板の傾きに応じた楕円の形状によって倒れ判定をすることができる。
なお、マスターマークの形状や中心位置は、図2のS11で取り込まれた図面データから、画像データ比較部18によって予め抽出しておく。また、S11で取り込まれた図面データに対して、図番毎に予め決められた位置及び形状をメタデータとして図面データとともに図面データ記憶部15に記憶しておいても良い。本実施例では、マスターマークは、図面データ上の所定の半径をもつ円形や所定の大きさの長方形であり、X―Y平面における図面データの端部近傍に3点設けられている。しかし、マスターマークの位置や形状は他の位置や形状であっても良い。マスターマークの位置や形状を、カメラで撮影した画像データから抽出できるものであれば良い。
以上説明したずれ補正によって、位置決めが正確に行われない場合であっても外観検査を行うことができる。
次に、図2におけるS15において、画像比較がOKであり、第1のフェーズを良品とされた場合における第2のフェーズにおける外観検査を説明する。フェーズ1では、部品を検査位置上部に配置されたカメラ3で撮影した画像データにより、マスタ図面を基準としてマスタ図面に対応した部品の欠落等を検査したが、図面データからのみでは判断しにくい電子部品の破損やハンダ不良については、必ずしも第1のフェーズによる外観検査のみでは発見できない場合があった。
そこでフェーズ2においては、外観上良品である実際の製品をマスタ画像として登録し、マスタ画像と検査対象の画像とのパターンマッチングにより外観検査を行う。フェーズ2における外観検査の方法を、図3、図11乃至図21によって説明する。図3は、外観検査装置の第2のフェーズの動作を説明するフローチャートの一例である。第2のフェーズは、図2で説明した第1のフェーズで、画像の比較がOKであった場合(S15でY)、Aの部分からスタートする。
図3において、外観検査装置1はマスタ画像を取り込む(S21)。フェーズ2で使用するマスタ画像の取り込み方法について図11を用いて説明する。図11は、マスタ画像の取り込み方法を説明する図の一例である。
図11において、目視にて外観検査が既に完了している良品を検査位置に載置して、検査対象に対して第1の照射方向と第2の照射方向から順次照明を照射する。ここで第1の照射方向及び第2の照射方向とは、それぞれが検査対象の鉛直方向から所定の立体角度を有する方向であり、第1の照射方向と第2の照射方向は、X−Y平面において別角度から検査対象を照射する。本実施例では、図6において、照明2による照明の照射方向を第1の照射方向とし、照明3による照明の照射を第2の照射方向とする。本実施例では、照明2と照明3は、X−Y平面上で略90°離れた角度から、検査対象に対して斜め上方から照明を照射する場合を例示している。
第1の照射方向からの照明の照射、及び第2の照射方向からの照明の照射によって、検査対象には検査対象の部品等の凹凸に対応した影が生じる。第1の照射方向からの照明による影と第2の照射方向からの照明による影は、X−Y平面上で略90°異なる方向に伸びて発生する。それぞれの影の長さは、照明照射角度が小さい程(低い位置から照明を照射する程)長くなり、照射角度が大きくなる程(高い位置から照射する程)短くなる。検査の判定で使用するための影の長さは検査対象に取り付けられる電子部品等の高さによって調整を行う。影の形状は照明照射方向から検査対象の輪郭により形成されるため、照射される照明はなるべく平行光であることが望ましい。
図1の照明制御部13は、先ず、第1の照射方向となる図6における照明2を点灯させる。第1の照射方向から照明を照射された影がある良品の画像データを「良品の第1照明の画像データ」とする。良品の第1照明の画像データは、カメラ3により撮影されて、外観検査装置1に取り込まれて、良品画像データ記憶部19に記憶される。照明制御部13は、照明2を消灯し、次に、第2の照射方向となる図6における照明3を点灯させる。第2の照射方向から照明を照射された影がある良品の画像データを「良品の第2照明の画像データ」とする。良品の第2照明の画像データは、良品の第1照明の画像データと同様にカメラ3により撮影されて、外観検査装置1に取り込まれて、良品画像データ記憶部19に記憶される。良品の第1照明の画像データと良品の第2照明の画像データは、そのいずれかを、あるいはその両方をマスタ画像とすることができる。この実施例では、良品の第1照明の画像データと良品の第2照明の画像データの両方をマスタ画像として検査対象の画像データと比較する方法を説明する。また、この実施例では、良品の第1照明の画像データと良品の第2照明の画像データはそれぞれ1の画像データの場合を説明するが、例えば、照明の色や照度を変更して撮影された複数の画像データで構成される画像データ群を、良品の第1照明の画像データ及び良品の第2照明の画像データとしても良い。
この工程により、平面的な図面データからのみでは表現しにくい立体的な形状を有する検査対象であっても、複雑な3次元の図面データを作成することなく、実際の良品との外観を比較するためのマスタ画像を簡単に作成することができる。
なお、マスタ画像の取り込みの工程(S21)は、一度行えば良く、同じ種類の検査対象を連続して外観検査する場合は、この工程をスキップして、良品画像データ記憶部19に記憶されたマスタ画像がその都度利用される。
図3に戻り、次に、実際の検査対象を検査位置にセットして、第1の照射方向から照明を照射した画像データである、検査対象の第1照明の画像データを取り込む(S22)。検査対象の第1照明の画像データの取り込み方法は良品の第1照明の画像データの取り込み方法と全く同じである。
次に検査対象の第1照明の画像データと良品の第1照明の画像データの画像を比較し、良否を判定する(S23)。この比較方法の詳細を図12及び図13を用いて説明する。図12は、検査対象の形状の違いによる影のでき方の違いを説明する図の一例である。図13は、図12の検査対象の画像データとマスタ画像との比較方法を説明する図の一例である。なお、以下、検査対象の第1照明の画像データとマスタ画像となる良品の第1照明の画像データとの比較の方法のみを説明するが、検査対象の第2照明の画像データと良品の第2照明の画像データとの比較の方法も同様に行われる。
図12において、検査対象A及び検査対象Bは、図11で説明した良品に比べて部品高さが高いとする。図12(a)は、検査対象Aを照明で照射したときの影のでき方と、検査対象Aをカメラで撮影した画像データである画像データAを図示している。また、図12(b)は、検査対象Bを照明で照射したときの影のでき方と、検査対象Bをカメラで撮影した画像データである画像データBを図示している。
図13において、取り込まれた画像データAと画像データBは、同じ照明で撮影されたマスタ画像である良品の第1照明の画像データと比較される。図13(a)において、マスタ画像と画像データAとを比較すると、部品部分の画像部分については高さが違うだけなので、検査対象の上部に設置されたカメラ3により撮影された画像には差異は生じない。しかし、部品部分の高さに差異があるので、影の部分については画像データAの方が、影が大きくなっている。図1の画像データ比較部18は、パターンマッチングによって両者の差を計算する。パターンマッチングは注目部分の長さを比較する方法、面積を比較する方法、又は影の画像を微分して抽出した輪郭の形状等を比較する方法等により行う。
ここで影の大きさの差が予め設定された閾値以内であれば比較した画像の外観検査がOKであると判定する(S23でY)。一方、図13(b)において、画像データBの影の大きさは、予め設定された閾値以上であったとすると外観検査でNGの判定となる(S23でN)。NG判定された検査対象は不良品判定がされて(S27)、外観検査装置1は検査動作を終了する。
図3に戻り、第1の照射方向による画像の比較がOKと判定された場合は(S23でY)、次に第1の照射方向におけるS22と同様に、第2の照射方向に照明を切り替えて検査対象の第2照明の画像データが記憶さる(S24)。さらに検査対象の第2照明の画像データと良品の第2照明の画像データが比較されてOKの判定である場合(S25でY)、良品判定を行い(S26)、フェーズ2を終了する。
次に、部品の形状によって本実施例が外観検査において効果的な場合を図14乃至図18によって説明する。図14乃至図18は、例えば複数のピンが一列に整列したコネクタの外観検査において、一方向からの照明では検知できないピン折れ欠陥などの異常が、2つの方向からの照明の照射によって検知される様子を説明している。
図14は、正常品であるコネクタの上面図(a)、正面図(b)及び右側面図(c)である。図15は、一部のピンが折れたコネクタの上面図(a)、正面図(b)及び右側面図(c)である。図14に示す正常品と、図15に示す異常品を、図6で説明した照明2と正面3で照射してカメラ3で撮影する。図16(a)は検査対象を第2の照射方向から照射した場合を説明する図であり、照明3がピンの並びと縦方向に配置された場合を図示している。また、図16(b)は検査対象を第1の照射方向から照射した場合を説明する図であり、照明2がピンの並びを正面から照射する位置に配置された場合を図示している。図17は、正常品の画像データを説明する、第2の照射方向からの画像データ(a)、第1の照射方向からの画像データ(b)の一例である。また、図18は、異常品の画像データを説明する、第2の照射方向からの画像データ(a)、第1の照射方向からの画像データ(b)の一例である。
図16(a)における第2の照射方向からの照明3による画像データは、図17(a)及び図18(a)に示す通り、良品であっても異常品であってもその影に差異は無く、第2の照射方向からの照明の照射だけでは外観上の異常を検出することができない。しかし、図16(b)における第1の照射方向からの照明2による画像データは、図17(b)及び図18(b)に示す通り、良品と異常品とで影に差異が生じる。つまり、第2の照射方向からの照明の照射だけでは検出できなかった外観上の異常を、第2の照射方向とは別の方向からの照明の照射を行うことによって検出できることとなる。
なお、この実施例で説明している異常品については、図14(a)及び図15(b)からも明らかな通り、上方からの影のない画像データだけによっても検出することはできない。照明を検査対象に対して斜めから照射することにより、検査対象を上方から撮影した場合であっても、影の形状を良品と比較することにより異常品を検出することが可能となる。
次に、検査対象の影により外観検査を行う外観検査装置において、水平方向から傾いている場合に撮影される影を用いて外観検査を行う方法について、図19乃至図21を用いて説明する。図19は、検査対象に傾きが無い場合の影を説明する、正面図(a)及び上面図(b)の一例である。図20は、検査対象が照明の照射方向に対して左右に傾いている場合の影を説明する、正面図(a)及び上面図(b)の一例である。また、図21は、検査対象が照明の照射方向に対して前後に傾いている場合の影を説明する、正面図(a)及び上面図(b)の一例である。
図19において、検査対象がX−Y平面で水平である場合、図19(b)の様な影が撮影されるとする。一方、図20の様に、検査対象が水平から、Y1方向がZ2方向に下がり、Y2方向がZ1方向に上がっている、検査対象が照明の照射方向に対して左右に傾いている場合においては、図20(b)の様に、影はX2方向からY1方向に移動することになる。また、図21の様に、検査対象が水平から、X1方向がZ1方向に上がり、X2方向がZ2方向に下がっている、検査対象が照明の照射方向に対して前後に傾いている場合においては、図21(b)の様に、影はX2方向にさらに長く伸びることになる。つまり、影を撮影してその影の長さや形状から外観検査の良否を判断するには、検査対象と照明の照射方向とを常に一定に保つ必要がある。
しかし、検査対象が図7等で説明した様な理由で水平から傾く場合が想定される。
そこで、本実施例においては、目視検査によって外観検査を行った良品の各傾斜におけるマスタ画像となる画像データをそれぞれ予め撮影して記憶しておき、検査対象の傾きに合わせて選択可能とする。ここで、検査対象との比較対象となるマスタ画像として撮影された良品の画像データを「良品データ」とする。本実施例においては、良品データは検査対象の良品をそのまま使って作成できるため、様々な外観形状を有する検査対象の種類が多い場合であっても、迅速に外観検査が実施できる。
検査対象の傾きは、図20及び図21において2方向の傾きを説明したが、例えば、検査対象の傾きを調節できる治具を用いて、さらに多方向の傾きにおける良品データを記憶しても良い。本実施例では、検査対象に生じる照明による影の形状を比較の対象としているため、検査対象の傾きは検査の精度に影響する。傾きを多方向に取って良品データを多数用意しておくことにより、検査対象が傾いた場合であっても正確な外観検査が可能となる。良品データとして記憶する良品の傾き方向の数は、検査対象によってそれぞれ定めることができる。
検査対象の傾きは、図4のS141の工程で説明した倒れの有無の判定によって算出した傾きを使用できる。S141で算出された検査対象の傾きに応じた良品データを選択し画像の比較を行う。
本実施例では、第1のフェーズと第2のフェーズを併せて行う場合において検査対象の傾きを算出したが、例えば第2のフェーズのみにより外観検査を行う場合には、S141に相当する工程を第2のフェーズにおいて実施すればよい。例えば、図8(b)において、テストマークtmCにおけるlc1とlc2の比を測定すれば、画像の倒れの大きさを測定することができる。また、検査対象の傾斜を測定するセンサを別途使用しても良い。
良品データは、図17及び図18で説明した照明2及び照明3による2方向からの照明の照射によって作成しても良い。例えば、良品の傾きが8方向あった場合、それぞれ2方向からの照明を照射した良品データが記憶されるため、一つの検査対象における良品データ数は16となる。
以上、本発明を実施するための形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
例えば、本実施例においては、第1の照射方向と第2の照射方向の2方向によるマスタ画像と検査対象の画像データとの比較を行ったが、検査対象によっていずれかの方向のみによる比較によって外観検査を行っても良い。また、本実施例では、第1の照射方向と第2の照射方向の2方向からの照明照射を例示したが、例えばさらに第3の照射方向からの照明、第4の照射方向からの照明等、照明台数を増やして順次各方向からの照明の照射を行っても良い。また、複数の照明による同時照射等による外観検査の実施も可能である。
また、照明の照射によって生じる検査対象の影の代わりに、検査対象によって反射される光を撮影して比較しても良い。
また、本実施例におけるシステム構成においては、スキャナ2、カメラ3、照明システム4、及びデータベースサーバ5は、外観検査装置1の外部装置として説明したが、スキャナ2、カメラ3、照明システム4、及びデータベースサーバ5は、その一部又は全部が外観検査装置1の一部として実施されても良い。
本発明は、以下に記載する付記のような構成が考えられる。
(付記1)
第1の照射方向から光を照射する第1の照明部と、
前記第1の照明部で照射された光によって生じる良品の影を含む画像データである第1の良品データを記憶する記憶部と、
前記第1の照明部で照射された光によって生じる検査対象の影を含む画像データである第1の検査対象データを取得する検査対象取得部と、
前記記憶部に記憶された前記第1の良品データに含まれる影と前記第1の検査対象データに含まれる影を比較する画像比較部、を備えた検査装置。
(付記2)
前記記憶部は、前記第1の照射方向に対する良品の傾きを変えた複数の前記第1の良品データを記憶し、
前記比較部は、前記第1の検査対象データに基づき前記記憶部に記憶された複数の前記第1の良品データの中から一の第1の良品データを選択して比較対象とする付記1に記載の検査装置。
(付記3)
前記第1の照射方向とは異なる第2の照射方向から光を照射する第2の照明部をさらに備え、
前記記憶部は、前記第2の照明部で照射された光によって生じる良品の影を含む画像データである第2の良品データを記憶し、
前記検査対象取得部は、前記第2の照明部で照射された光によって生じる検査対象の影を含む画像データである第2の検査対象データを取得し、
前記画像比較部は、前記記憶部に記憶された前記第2の良品データに含まれる影と前記第2の検査対象データに含まれる影を比較する付記1又は2に記載の検査装置。
(付記4)
前記記憶部は、前記第2の照射方向に対する良品の傾きを変えた複数の前記第2の良品データを記憶し、
前記比較部は、前記第2の検査対象データに基づき前記記憶部に記憶された複数の前記第2の良品データの中から一の第2の良品データを選択して比較対象とする付記3に記載の検査装置。
(付記5)
第1の照射方向から照射された光によって生じる良品の影を含む画像データである第1の良品データを記憶し、
第1の照射方向から照射された光によって生じる検査対象の影を含む画像データである第1の検査対象データを取得し、
前記良品データを記憶する処理で記憶された前記第1の良品データに含まれる影と前記第1の検査対象データに含まれる影を比較する処理をコンピュータが実行する検査方法。
(付記6)
前記記憶する処理は、前記第1の照射方向に対する良品の傾きを変えた複数の前記第1の良品データを記憶し、
前記比較する処理は、前記第1の検査対象データに基づき前記記憶部に記憶された複数の前記第1の良品データの中から一の第1の良品データを選択して比較対象とする比較対象とする付記5に記載の検査方法。
(付記7)
前記第1の照射方向とは異なる第2の照射方向から照射された光によって生じる良品の影を含む画像データである第2の良品データを記憶し、
前記第2の照明部で照射された光によって生じる検査対象の影を含む画像データである第2の検査対象データを取得し、
前記画像比較部は、前記記憶部に記憶された前記第2の良品データに含まれる影と前記第2の検査対象データに含まれる影を比較する付記5又は6に記載の検査方法。
(付記8)
前記記憶する処理は、前記第2の照射方向に対する良品の傾きを変えた複数の前記第2の良品データを記憶し、
前記比較する処理は、前記第2の検査対象データに基づき前記記憶部に記憶された複数の前記第2の良品データの中から一の第2の良品データを選択して比較対象とする付記7に記載の検査方法。
(付記9)
検査対象を撮影する撮影部と、
第1の照射方向から光を照射する第1の照明部と、
前記第1の照明部で照射された光によって生じる良品の影を含む画像データである第1の良品データを記憶する記憶部と、
前記第1の照明部で照射された光によって生じる検査対象の影を含む画像データである第1の検査対象データを取得する検査対象取得部と、
前記記憶部に記憶された前記第1の良品データに含まれる影と前記第1の検査対象データに含まれる影を比較する画像比較部、を備えた検査システム。
(付記10)
ネットワークとの通信を制御する通信制御部と、
前記通信制御部により接続されるデータベースサーバをさらに備え、
前記データベースサーバは、前記通信制御部を介してデータの通信を行う付記9に記載の検査システム。
(付記11)
前記データベースサーバは、第1照明の画像データ、第2照明の画像データ、又は第1照明の画像データ及び第2照明の画像データの両方を記憶する付記10に記載の検査システム。