JP4973429B2 - 透明搬送物検査装置及び検査方法 - Google Patents

Description

本発明は、透明搬送物検査装置及び検査方法に関し、詳しくは、自動車のフロントガラス、ディスプレイ用のフラットパネル、シート状物体等の透明体を搬送しながら割れ傷、異物、傷、汚れ等の不良を画像認識により検出する透明搬送物検査装置及び検査方法に関する。

従来の平板状搬送物の不良品検査としては、例えば、特許文献１に開示の「半導体装置の製造システム及び欠陥検査方法」のような平板状のシリコンウエハーの画像認識検査手法等が知られており、マジックミラー（ハーフミラー）を介して照明されたシリコンウエハーをＴＶカメラ（エリアカメラと同等）による１回撮像の静止画像か、或いはラインセンサを用いたスキャン（ラインセンサカメラ）による１回撮像の静止画像等でウエハーの２次元パターンを検出し、撮像した画像と予め記憶されている標準画像（テンプレート画像や前に検査済みの良品画像）を位置合わせした後比較してその差画像を検出する。この差画像を２値化回路で２値化して２値化画像を得てパターンの断線箇所を検出する。このような小径のシリコンウエハー等ではＴＶカメラ等による１回の撮影で全体像を撮像することができ、照明範囲も狭く照明灯も小さくて済み、高精度の不良検出も可能である。

シリコンウエハー等より大きい、自動車のフロントガラスや、ＬＣＤ等のディスプレイ用フラットパネル等の透明体を搬送しながら良否を判定する透明搬送物の検査も、やはりラインセンサやエリアカメラによる１回撮影や、エリアカメラによる連続撮影等によって行われている。透明搬送物を連続撮影し、小領域をオーバラップさせて合成代として用い貼り合わせ連写画像とする場合、各画像を構成する大部分は１回撮像である。

図９は、従来の検査装置による貼り合わせ連写の説明図であり、図９（ａ）は、カメラによる撮像時を示し、実線８０２はその撮像領域で、破線８０３、８０４は撮像時の透明搬送物のそれぞれの位置を示している。図９（ｂ）は、図９（ａ）で撮像された画像の合成画像を示しており、実線８０７は撮像イメージが貼り合わせ合成された透明搬送物の全形を示し、破線８０５、８０６は真ん中の小オーバラップ部分を含むそれぞれのカメラ画像を含む撮像領域である。

図１０は、従来の検査装置としてラインセンサカメラを用いた時の照明の必要位置を示しており、搬送方向に沿った断面図である。９００はラインセンサカメラであり、９０１は透明搬送物で、搬送方向に湾曲（例えば、自動車のフロントガラス）している。９０２は透明搬送物の搬送方向の先頭部（断面図上では点）の表面の接線（断面図上では線）である。９０３はラインセンサカメラの撮像ラインで、９０５、９０６は照明で、９０７は透明搬送物の搬送方向の先頭部である。ここで、透明搬送物の先頭部９０７の表面の接線９０２とカメラの撮像ライン９０３のなす反射角αと同じ入射角βにより照明ライン９０４を引くと、この照明ライン９０４上に照明が無ければ先頭部９０７の反写像は写らない。このために照明９０５、９０６のそれぞれが必須となる。この例では、照明９０５、９０６を搬送方向側に折り曲げることで設置面積（設置領域）を減らす工夫をしている。
又、透明搬送物がカメラの真下にある場合等には、カメラ部にもマジックミラーを用いる等により別途の照明も必要になる等、上記のような小径で平坦な形状のシリコンウエハーの撮像に比較すると、フロントガラスのように形状が大きく、湾曲している透明搬送物の撮像には、図１０のように広範囲を照明するための大きく且つ照明拡散用のデフューザ等を含む複雑な機構で高コストの照明を必要とする。

特開平１０−１８５５３５号公報（図３）

このように、従来の透明搬送物の検査装置では、搬送物の全体形状が大きくなると撮像時の照明範囲も広範囲になるために、特に湾曲している透明搬送物の撮像には照明設備が複雑且つ大型になって省スペースが難しくなり、コストも押し上げるという問題点があった。

そこで、本発明は上記従来の問題点に鑑みてなされたものであって、本発明の目的は、大型の湾曲形状を有する透明搬送物を撮像するための照明設備を従来のものに比べて小型化できる透明搬送物検査装置及び検査方法を提供することにある。

上記目的を達成するためになされた本発明による透明搬送物検査装置は、透明体の搬送物をカメラで撮像しその搬送物像を得て良否を検査する検査装置であって、撮像領域を複数のブロックに分割して前記透明体の表面の正反射像を撮像するエリアカメラと、前記ブロック毎に撮像された連続する画像を貼り合わせて重複連写合成画像を生成する重複連写合成画像部と、前記貼り合わせて生成されたブロック毎の重複連写合成画像から所定の閾値により白を真とする２値化画像を生成する２値化変換部と、前記重複連写合成画像から２値化変換された２値化画像の論理和を取り論理和合成画像を生成する論理和画像合成部と、前記論理和合成された論理和合成画像を最終検出画像として良否判定を行う良否判定部と、前記透明体の搬送物像を得るために前記エリアカメラを挟んで搬送方向に設けられた一対の照明部と、を備えることを特徴とする。
前記重複連写合成画像部は、前記撮像領域を搬送されて通過する透明体の搬送物の連続画像として、所定の撮像周期による所定枚数の静止画像を撮像して１画面に時系列に貼り合わせ合成し、前記ブロック毎の数だけ貼り合わされた重複連写合成画像を生成することを特徴とする。

上記目的を達成するためになされた本発明による透明搬送物検査方法は、透明体の搬送物をカメラで撮像しその搬送物像を得て良否を検査する透明搬送物の検査方法であって、エリアカメラ及び該エリアカメラを挟んで搬送方向に設けられた一対の照明により撮像領域を複数のブロックに分割して前記透明体の表面の正反射像を撮像する段階と、前記ブロック毎に撮像された連続する画像を貼り合わせて重複連写合成画像を生成する段階と、前記貼り合わせて生成されたブロック毎の重複連写合成画像から所定の閾値により白を真とする２値化画像を生成する段階と、前記重複連写合成画像から２値化変換された２値化画像の論理和を取り論理和合成画像を生成する段階と、前記論理和合成された論理和合成画像を最終検出画像として良否判定を行う段階と、有することを特徴とする。
前記重複連写合成画像を生成する段階は、前記撮像領域を搬送されて通過する透明体の搬送物の連続画像として、所定の撮像周期による所定枚数の静止画像を撮像して１画面に時系列に貼り合わせ合成する段階と、前記ブロック毎の数だけ貼り合わされた重複連写合成画像を生成する段階と、を含むことを特徴とする。

本発明の透明搬送物検査装置及び検査方法によれば、エリアカメラを用いた貼り合わせによる「重複連写合成画像」方式により、連続して撮像した重複する画像を合成し、所定の閾値により二値化して白値が真であるとした論理和により画像を合成することで透明体の搬送物像が得られ、照明の正反射像を撮像する際に、透明搬送物に搬送方向の湾曲があっても撮像部の照明を小さくでき製造設備全体の省スペース化が実現できるという効果がある。

以下、本発明による透明搬送物検査装置及び検査方法を実施するための最良の形態の具体例を、図を参照しながら説明する。
図１は、本発明の一実施形態による搬送物検査装置の構成図であり、図２は、図１に示すエリアカメラの分割撮像ブロックを示す図である。
図３は、図１に示すエリアカメラの撮像領域への進入から退出までの各画像例を示す図であり、図２に示す分割撮像ブロックの撮像画像例を示す図である。
図４は、図２に示すブロック毎の撮像画像の論理和合成画像例を示す図であり、図３に示すブロック毎の貼合せ重複連写合成画像の論理和合成例を示す図である。
図５は、図１に示す制御部を含む搬送物検査装置の一例のブロック図である。
図６は、撮像領域への進入から退出までの透明搬送物全体を撮像するための通過時間と撮像周期を示す図である。
図７は、図１に示す搬送物検査装置における検査方法の一例の処理フロー図である。

図１は、透明搬送物検査装置の構成を示す概略図であり、透明搬送物の搬送方向に沿った断面図である。１１はエリアカメラであり、１は撮像視野に最初に差しかかった状態の透明搬送物を示している。３は撮像視野から通りすぎる直前の透明搬送物の状態を示しており、２、４はそれぞれの撮像点における透明搬送物の接線である。５、８は透明搬送物の表面の正反射像を撮像するために設けられた一対の照明であり、エリアカメラ１１を挟んで搬送方向の前後にそれぞれ設けられている。接線２がエリアカメラ１１からの撮像ラインとなす反射角Ａと等しくなる入射角Ｂにより引いた照明ライン６は照明５に当たる。又、接線４がエリアカメラ１１からの撮像ラインとなす反射角Ｄと等しくなる入射角Ｃにより引いた照明ライン７は照明８に当たる。同様にして透明搬送物が両端にある透明搬送物１、３の中間部にある場合も照明５、８により搬送されている透明体の表面の反射像を複数回、重複撮像することで透明搬送物全体を撮像することができ、図１０に示す従来のラインセンサカメラを用いた検査装置による照明９０５、９０６より大幅に小型化できる。ここで、１０は搬送、撮像、画像処理全般を制御するコンピュータ等を用いた制御部である。

図２は、図１に示すエリアカメラ１１の分割撮像ブロックを示すもので、１２の破線は透明搬送物撮像位置を示し、１３、１４、１５、１６はエリアカメラ１１の撮像視野をブロック分けしたもので、これらの各ブロックの全てにおいて貼り合わせ重複連写合成により、ブロック毎の透明搬送物の合成画像がそれぞれ生成される。

図３が、図２の各ブロックの撮像画像を時系列に並べて示した図であり、矢印の搬送方向に沿って撮像されたもので、１００は透明搬送物が撮像領域へ進入した時点の画像で、１０１→１０２→１０３→１０４……１１３→１１４→１１５と搬送され撮像されて１１５でブロックから退出する迄のそれぞれの撮像時点の画像を示している。また、１２０がその撮像範囲であり、図２に示す４ブロック１３、１４、１５、１６に分割されて撮像されている。１２１の白い部分は撮像範囲に進入した透明搬送物の表面に映し出された照明の反射像である。

図４は、図２に示す各ブロック１３、１４、１５、１６の貼り合わせによる連写合成画像の論理和合成を示した図であり、２００、２０１、２０２、２０３は各ブロック１３、１４、１５、１６の貼り合わせによる重複連写合成画像を示し、２０４はその２００、２０１、２０２、２０３の各画像を所定の閾値により２値化して白を真として論理和を取った後に得られた結果像である。

図５は、図１に示す画像認識処理を行う制御部１０の制御ブロック図の一例であり、１１はエリアカメラで、２１は搬送される透明搬送物が撮像領域に進入した事を検出するトリガーセンサを備えてエリアカメラ１１のオン／オフ信号を出力するトリガー部である。その他、透明搬送物のベルトコンベア上の位置データは図示していないエンコーダにより検出される。２８は撮影用の一対の照明であり、制御部１０は操作部を有してコンピュータ等により構成されたもので、本発明を実施するために以下のようなブロック構成となる。

Ａ／Ｄ変換部２０はエリアカメラ１１の撮像信号をデジタル信号に変換し、４ブロックの貼り合わせによる重複連写合成画像部２２は、変換されたデジタル信号を処理し、図２に示す４ブロック１３、１４、１５、１６をブロック毎に貼り合わせて図４に示すような重複連写合成画像２００、２０１、２０２、２０３を生成する。この貼り合わせ重複連写合成画像２００、２０１、２０２、２０３の生成は、例えば、図６に示すように、透明搬送物が進入してから退出するまでの透明搬送物全体を撮像するための撮像領域通過時間を５秒とすれば、撮像領域通過時間＝５秒／９＝０．５６秒の撮像周期で撮像を行い、ブロック毎にエンコーダの位置、速度データを参照して各ブロックを自己ブロック画像として準備された画像バッファに取込み、ＤＳＰ（デジタル信号処理用プロセッサ）等を用いたデジタル信号処理により画像を合成して図４に示すようなブロック毎の貼り合わせによる重複連写合成画像２００〜２０３を生成する。尚、図３に示す撮像領域への進入から退出までの画像は１６枚である。

このように、従来は一度の静止画撮像だったものが、本発明では、例えば、図６に示すように、０．５６秒間隔の９枚の静止画像を撮像することから、これを連続画像処理と称する。また、画像バッファでの９枚の静止画を基に１枚の画像を合成する貼り合わせによる画像合成処理と、エリアカメラ１１自体による透明搬送物の撮像領域通過時間内の所定枚数の連写操作とから、全体の処理を、貼り合わせ重複連写合成画像部２２と称している。なお、ここではエリアカメラ１１の撮像ブロック数を４としたがこれに限定されるものでは無く、何個でもよい。各ブロックの静止画撮像の枚数も１枚に限定されるものでは無く必要に応じて複数枚とすることができる。

２３は生成した画像データを、白を真値として判定容易な２値化データに変換する２値化変換部であり、２４は各バッファの２値化画像データを論理和合成して、不要なノイズ等を取り除いた各データ２００〜２０３の共通項のみで生成される真値の白部分と、検出された結果像を生成する４ブロックの画像論理和合成部である。

良否判定部２７を含むこれ以降の処理は、特に図示した構成に限定するものでは無く、如何なる方式でも構わない。例えば２６はテンプレート差分演算部であり、テンプレート格納部２５に保持される良品見本と検出画像を比較し、その際に、例えば１０ｍｍ単位に細分された格子（メッシュ）毎に、良否判定部２７より割れや傷等の検出を行い、不良検出を行いその結果を記録する。

次に、図７に示すフローチャートを参照して不良検出方法について説明する。
先ず、検査する品目の仕様やテンプレートとして検査比較用の全体画像などを登録する（Ｓ１００）。

次に、操作部ディスプレイ上（図示せず）で、画像取込ボタンを押して検査用の透明搬送物（自動車用フロントガラス等）を検査ラインに投入する（Ｓ１０１）。透明搬送物が所定の位置を通過してトリガー信号が確認されたらエリアカメラ１１の撮影を開始させる（Ｓ１０２）。この場合の撮像は図２に示す各ブロック１３〜１６に撮像範囲を分割したエリアカメラ１１を用いて行い、図４に示すような貼り合わせによる重複連写合成画像２００〜２０３を生成する（Ｓ１０３）。

この撮像では各ブロック１３〜１６において、例えば、図６に示すように、透明搬送物の全体が撮像範囲を通過する時間を５秒とすれば、０．５６秒周期で計９枚の撮像を行うことになる。この０．５６秒周期の撮像は、４ブロック１３〜１６に亘って同時に行われるが、撮像画像はブロック毎にそれぞれ異なり、一部オーバラップした重複連写画像となる。

また、本発明において、所定の搬送速度で搬送される透明搬送物の連続画像を、例えば、図６に示すように、０．５６秒間隔の静止画を撮像することから、連続画像処理と呼ぶ。但し、表示は連続画像表示では無く、ＤＳＰ等のデジタル信号処理により４ブロック毎の画像を合成して１画面として貼り合わせ、図４に示すように、それぞれを貼り合わせて重複連写合成画像を生成する。

次に、図４に示すように、生成された貼り合わせによる重複連写合成画像を２値化する（Ｓ１０４）。２値化された貼り合わせによる重複連写合成画像２００〜２０３の、論理和合成画像２０４を生成する（Ｓ１０５）。生成された論理和合成画像２０４が、検査対象となる最終的な透明搬送物の撮像画像である。

検査判定は、先に登録してあるテンプレートを読み込んで（Ｓ１０６）、生成された論理和合成画像２０４と照合し、例えば、上述のように格子（メッシュ）単位で検出し（Ｓ１０７）、割れや傷等が発見されたら不良と判定する（Ｓ１０８）。

最後に、図８に示す他の実施形態による透明搬送物検査装置の構成を参照して、実際の製造ラインに用いられる具体的な構成について説明する。

本実施例の透明搬送物検査装置は、上述の実施例よりもさらに大きな透明搬送物を想定したもので、搬送方向の左右両側にエリアカメラ１１ａ、１１ｂを設け、左右に分割して撮影している。また、透明搬送物５３に設けられた、例えば黒く見えるマークを認識するためのマーク認識用カメラ５１ａ〜５１ｄを４台設置している。マーク認識のためのカメラは透明搬送物５３の品種によっては２台でも構わない。

透明搬送物５３の内側、外側の区別はマーク認識用カメラ５１ａ〜５１ｄを用いて行い、エリアカメラが正反射像を撮影する際の位置を制御装置（図示せず）によって算出し決定する。透明搬送物に設けられたマークは、透明搬送物を検査する際に、予め記憶されたマスターパターンと比較するときの位置合わせにも用いられる。マーク認識用カメラ５１ａ〜５１ｄは左右方向に移動可能としており、検査用のエリアカメラ１１ａ、１１ｂも透明搬送物５３の形状にあわせて移動可能としている。また、透明搬送物５３の左右にも照明５２ａ１、５２ａ２、５２ｂ１、５２ｂ２が設けられており、搬送方向マーク認識の際の照明として用いられると共に、搬送方向に対して左右に曲面を有する透明搬送物５３を撮像する場合に対応している。尚、図８（ａ）の正面図は手前の照明５を省略している。

以上、本発明は、上述の実施形態に限られるものではない。本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。

本発明の一実施形態による透明搬送物検査装置の構成図である。 図１に示すエリアカメラの分割撮像ブロックを示す図である。 図１に示すエリアカメラによる撮像領域への進入から退出までの各画像例を示す図である。 図２に示すブロック毎の撮像画像の論理和合成画像例を示す図である。 図１に示す制御部を含む搬送物検査装置の一例のブロック図である。 撮像領域への進入から退出までの透明搬送物全体を撮像するための通過時間と撮像周期を示す図である。 図１に示す透明搬送物検査装置における検査方法の一例の処理フロー図である。 本発明の他の実施形態による透明搬送物検査装置の構成図であり、（ａ）は正面図、（ｂ）は上面図である。 従来の検査装置による貼り合わせ画像の説明図であり、（ａ）は撮影時、（ｂ）はその合成画像である。 従来のラインセンサカメラを用いた検査装置による照明を示す図である。

符号の説明

１、３、５３、８０３、８０４、８０７、９０１ 透明搬送物
２、４、９０２ 接線
５、８、２８、５２、９０５、９０６ 照明
６、７、９０４ 照明ライン
１０ 制御部
１１ エリアカメラ
１２ 透明搬送物撮像位置
１３〜１６ ブロック
２０ Ａ／Ｄ変換部
２１ トリガー部
２２ 重複連写合成画像部
２３ ２値化変換部
２４ 画像論理和合成部
２５ テンプレート格納部
２６ テンプレート差分演算部
２７ 良否判定部
５１ マーク認識用のカメラ
８０２、８０５、８０６ 撮像領域
９００ ラインセンサカメラ
９０３ 撮像ライン

Claims (4)

1. 透明体の搬送物をカメラで撮像しその搬送物像を得て良否を検査する検査装置であって、
   撮像領域を複数のブロックに分割して前記透明体の表面の正反射像を撮像するエリアカメラと、
   前記ブロック毎に撮像された連続する画像を貼り合わせて重複連写合成画像を生成する重複連写合成画像部と、
   前記貼り合わせて生成されたブロック毎の重複連写合成画像から所定の閾値により白を真とする２値化画像を生成する２値化変換部と、
   前記重複連写合成画像から２値化変換された２値化画像の論理和を取り論理和合成画像を生成する論理和画像合成部と、
   前記論理和合成された論理和合成画像を最終検出画像として良否判定を行う良否判定部と、
   前記透明体の搬送物像を得るために前記エリアカメラを挟んで搬送方向に設けられた一対の照明部と、を備えることを特徴とする透明搬送物検査装置。
2. 前記重複連写合成画像部は、前記撮像領域を搬送されて通過する透明体の搬送物の連続画像として、所定の撮像周期による所定枚数の静止画像を撮像して１画面に時系列に貼り合わせ合成し、前記ブロック毎の数だけ貼り合わされた重複連写合成画像を生成することを特徴とする請求項１に記載の透明搬送物検査装置。
3. 透明体の搬送物をカメラで撮像しその搬送物像を得て良否を検査する透明搬送物の検査方法であって、
   エリアカメラ及び該エリアカメラを挟んで搬送方向に設けられた一対の照明により撮像領域を複数のブロックに分割して前記透明体の表面の正反射像を撮像する段階と、
   前記ブロック毎に撮像された連続する画像を貼り合わせて重複連写合成画像を生成する段階と、
   前記貼り合わせて生成されたブロック毎の重複連写合成画像から所定の閾値により白を真とする２値化画像を生成する段階と、
   前記重複連写合成画像から２値化変換された２値化画像の論理和を取り論理和合成画像を生成する段階と、
   前記論理和合成された論理和合成画像を最終検出画像として良否判定を行う段階と、を有することを特徴とする透明搬送物検査方法。
4. 前記重複連写合成画像を生成する段階は、前記撮像領域を搬送されて通過する透明体の搬送物の連続画像として、所定の撮像周期による所定枚数の静止画像を撮像して１画面に時系列に貼り合わせ合成する段階と、
   前記ブロック毎の数だけ貼り合わされた重複連写合成画像を生成する段階と、を含むことを特徴とする請求項３に記載の透明搬送物検査方法。