JP3341963B2 - 欠陥検査装置 - Google Patents

欠陥検査装置

Info

Publication number
JP3341963B2
JP3341963B2 JP15440295A JP15440295A JP3341963B2 JP 3341963 B2 JP3341963 B2 JP 3341963B2 JP 15440295 A JP15440295 A JP 15440295A JP 15440295 A JP15440295 A JP 15440295A JP 3341963 B2 JP3341963 B2 JP 3341963B2
Authority
JP
Japan
Prior art keywords
light
light source
inspection object
irradiation
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP15440295A
Other languages
English (en)
Other versions
JPH095253A (ja
Inventor
正勝 布谷
文彦 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP15440295A priority Critical patent/JP3341963B2/ja
Publication of JPH095253A publication Critical patent/JPH095253A/ja
Application granted granted Critical
Publication of JP3341963B2 publication Critical patent/JP3341963B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Electric Connection Of Electric Components To Printed Circuits (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、検査対象物に対し異な
る角度から光を照射すると共に、当該検査対象物を撮像
して、照射モード毎の撮像データに基づき当該検査対象
物の欠陥を検査する欠陥検査装置に関する。
【0002】
【従来の技術】従来、プリント配線板上におけるハンダ
付着部分や金属メッキ部分等を検査対象物として欠陥検
査を行う欠陥検査装置では、検査対象物であるハンダ付
着部分等が金属光沢を持ち、かつ、高さ方向に盛り上が
った形状をしており、欠陥も立体的なものとなるため、
そのハンダ付着部分等に異なる方向から光を照射すると
共に、各方向毎にラインセンサカメラ等によってその検
査対象物を撮像して欠陥検査を行っていた。
【0003】図14に、プリント配線板上におけるハン
ダ付着部分等の欠陥検査を行う従来の欠陥検査装置の構
成を示す。
【0004】この図に示す従来の欠陥検査装置では、搬
送ベルト1上に置かれ矢印Aの方向に移動する検査対象
物2に対し3カ所で各々異なる方向から光を照射して欠
陥を検査している。
【0005】つまり、まずは上部光源U1および下部光
源L1の双方点灯による全方向照射を行って、全方向照
射による検査対象物2をラインセンサカメラ31が撮像
し、続いて下部光源L2によって低射方向から光を照射
して、低射方向照射による検査対象物2をラインセンサ
カメラ32が撮像し、最後に上部光源U2によって落射
方向から光を照射して、落射方向照射による検査対象物
2をラインセンサカメラ33が撮像し、欠陥検査処理部
4がこれらラインセンサカメラ31〜33からの撮像デ
ータを各照射方向に対応した照射モード毎に画像処理し
て、検査対象物の欠陥を検査している。
【0006】
【発明が解決しようとする課題】しかし、このような従
来の欠陥検査装置では、図14に示すように、異なる方
向から光を照射する全方向照射、低射方向照射および落
射方向照射を行う場所毎に、各々、光源とラインセンサ
カメラが必要となるので、装置の構成が複雑になると共
に、装置自体の大きさも大きくなり、装置が高価にな
る、という問題があった。
【0007】また、各場所のラインセンサカメラによっ
て撮像された画像信号には、相互に時間的なずれが生じ
るため、検査に時間を要すると共に、欠陥検査処理部に
おける処理が複雑になる、という問題があった。
【0008】そこで、本発明は、このような問題に着目
してなされたもので、装置の構成が簡単になると共に、
装置自体の大きさも小さくなり、かつ、検査に時間のか
からない欠陥検査装置を提供することを目的とする。
【0009】
【課題を解決するための手段】上記目的を達成するた
め、請求項1記載の発明では、検査対象物に対し異なる
角度から異なる色の光を照射すると共に、上記光を照射
された当該検査対象物を撮像して、撮像データに基づき
当該検査対象物の欠陥を検査する欠陥検査装置におい
て、異なる角度から異なる色の光を検査対象物に対し同
時に照射する照射手段と、上記異なる色のうちいずれか
ひとつの色の波長帯域の少なくとも一部と重なる第1の
受光波長帯域と、上記異なる色のうち複数の色に共通す
る波長帯域の少なくとも一部と重なる第2の受光波長帯
域とを有し、上記照射手段によって照射された上記検査
対象物を撮像する撮像手段と、上記撮像手段から入力さ
れる第1および第2の受光波長帯域毎の撮像データから
検査対象物の欠陥を判断する欠陥検査処理手段と、を具
備することを特徴とする。
【0010】請求項2記載の発明では、検査対象物に対
し異なる角度から異なる色の光を照射すると共に、上記
光を照射された当該検査対象物を撮像して、撮像データ
に基づき当該検査対象物の欠陥を検査する欠陥検査装置
において、異なる角度から異なる色の光を検査対象物に
対し同時に照射する照射手段と、上記照射手段によって
照射された上記検査対象物を撮像する撮像手段と、上記
異なる色のうちいずれかひとつの色の波長帯域の少なく
とも一部と重なる第1の受光波長帯域と、上記異なる色
のうち複数の色に共通する波長帯域の少なくとも一部と
重なる第2の受光波長帯域とを有し、上記撮像手段から
入力される検査対象物の撮像データから第1および第2
の受光波長帯域毎の撮像データを合成または分離するデ
ータ生成手段と、上記データ生成手段から入力される第
1および第2の受光波長帯域毎の撮像データから検査対
象物の欠陥を判断する欠陥検査処理手段と、を具備する
ことを特徴とする。
【0011】請求項3記載の発明では、請求項1または
記載の欠陥検査装置において、照射手段が、検査対象
物に対し高い角度の落射方向から光を照射する上部光源
と、検査対象物に対し低い角度の低射方向から光を照射
する下部光源とから構成されていて、上記上部光源およ
び下部光源は、各々、白色光ランプと、その白色光ラン
プの周囲を覆い、白色照射光を所定の色に着色して検査
対象物に対し照射するための色フィルタと、から構成さ
れている、ことを特徴とする。
【0012】請求項4記載の発明では、請求項1または
記載の欠陥検査装置において、照射手段が、検査対象
物に対し高い角度の落射方向から光を照射する上部光源
と、検査対象物に対し低い角度の低射方向から光を照射
する下部光源とから構成されていて、上記上部光源およ
び下部光源は、各々、白色光ランプと、その白色光ラン
プと検査対象物との間に設けられ、白色照射光を所定の
色に着色して検査対象物に対し照射するための色フィル
タと、から構成されている、ことを特徴とする。
【0013】請求項5記載の発明では、請求項1または
記載の欠陥検査装置において、照射手段が、検査対象
物に対し高い角度の落射方向から光を照射する上部光源
と、検査対象物に対し低い角度の低射方向から光を照射
する下部光源とから構成されていて、上記上部光源およ
び下部光源は、各々、白色光ランプと、その白色光ラン
プと検査対象物との間に設けられ、白色照射光を所定の
色に着色して検査対象物に対し照射するための色フィル
タと、上記色フィルタから出た光を集めて検査対象物の
方向に導光する導光路と、上記導光路終端に取り付けら
れ、導光路が導光した光を検査対象物へ照射する照射ヘ
ッドと、から構成されている、ことを特徴とする。
【0014】請求項6記載の発明では、請求項1または
記載の欠陥検査装置において、照射手段の周囲には、
当該照射手段から検査対象物へ照射される光を集める反
射板が設けられている、ことを特徴とする。
【0015】請求項7記載の発明では、請求項6記載の
欠陥検査装置において、撮像手段を検査対象物上の垂直
線に対し一定角度だけ傾斜させてセットすると共に、照
射手段の周囲に配設した反射板には撮像手段から検査対
象物への照射方向に対応して反射板上部中央からオフセ
ットした位置に撮像スリットを開口した、ことを特徴と
する。
【0016】請求項8記載の発明では、請求項6記載の
欠陥検査装置において、撮像手段と検査対象物とを結ぶ
線上から横方向にずれた位置に上部光源と同色の光を照
射する補助光源を設けると共に、撮像手段と検査対象物
とを結ぶ線上にその補助光源からの照射光を検査対象物
に照射するよう傾けたハーフミラーを設けた、ことを特
徴とする。
【0017】
【0018】
【0019】
【0020】
【作用】本発明では、異なる角度から互いに異なる波長
帯域の光を検査対象物に対し同時に照射して、その検査
対象物を撮像し、照射モード毎に撮像データを検出して
当該撮像データの良否を判断し、検査対象物の欠陥を検
査するようにする。
【0021】
【0022】なお、各照射光は、シアン色、マゼンダ色
および黄色等の3色のうち任意の2色、または青緑色お
よびオレンジ色等の補色関係にある2色等がある。
【0023】
【実施例】以下、本発明に係る欠陥検査装置の実施例を
図面に基づいて説明する。
【0024】図1に、本発明に係る欠陥検査装置の第1
実施例の概略構成を示す。
【0025】この欠陥検査装置は、図に示すように、搬
送ベルト1上に置かれて矢印Aの方向に移動するプリン
ト配線板上におけるハンダ付着部分等の検査対象物2の
欠陥を検査するもので、カラーラインセンサカメラ3
と、カラーラインセンサカメラ3の下方に設けられ検査
対象物2に対し異なる角度で後述する波長帯域の光を同
時に照射する各々2つの上部光源Uおよび下部光源L
と、カラーラインセンサカメラ3と接続された欠陥検査
処理部4と、を有している。
【0026】カラーラインセンサカメラ3は、後述する
が、全方向、落射方向、および低射方向の照射モード毎
に、青色(B)、緑色(G)および赤色(R)の3種類
の波長帯域に分けられた受光波長帯域を有しており、上
部光源Uおよび下部光源Lからの光を照射された検査対
象物を撮像して、そのRGB3種類の波長帯域毎に、あ
るいは一緒に撮像データを出力するように構成されてい
る。
【0027】欠陥検査処理部4は、カラーラインセンサ
カメラ3から出力されたRGB3種類の波長帯域毎の撮
像データを入力して、あるいはカラーラインセンサカメ
ラ3から出力された撮像データを入力し内部でRGB3
種類の波長帯域毎に分離して、後述する方法により照射
モード毎に画像データの良否を判断し、ハンダ付着部分
等の検査対象物2の欠陥を検査するように構成されてい
る。
【0028】
【0029】図2は、図1に示す第1実施例の構成をブ
ロック図により示している。
【0030】この図2に示す構成は、図1に示す第1実
施例の欠陥検査装置の概略構成をブロック図により示し
たもので、実質的には図1に示す構成と同じであり、ハ
ンダ付着部分等の金属光沢があり、かつ、高さ方向に盛
り上がった検査対象物2をカラーラインセンサカメラ3
が撮像しており、カラーラインセンサカメラ3から欠陥
検査処理部4へRGB3種類の色の光毎の撮像データが
入力していることを示している。
【0031】なお、上述したように、カラーラインセン
サカメラ3から欠陥検査処理部4への撮像データは、R
GB3種類の色の光毎に分けられずに入力して、欠陥検
査処理部4の中で分けられるようにしても良い。
【0032】そして、図1では図示していなかったが、
上部光源Uおよび下部光源Lの周囲には、当該上部光源
Uおよび下部光源Lの背後に漏れる照射光を検査対象物
2へ向けて反射させるため湾曲し、しかもラインセンサ
カメラ3が検査対象物2を撮像できるよう上部中央に撮
像スリット51が開口された反射板5が設けられてい
る。
【0033】なお、反射板5は、必ずしも必要なもので
はなく、設けられていなくても良い。
【0034】図3に、本実施例のカラーラインセンサカ
メラ3におけるRGB各色の受光感度等を相対値で示
す。
【0035】本実施例のカラーラインセンサカメラ3
は、この図3に示すように、RGB各色、すなわちRG
Bの各波長帯域を受光可能な受光感度を有しており、R
GB各色の波長帯域毎に撮像データを検出できることを
示している。
【0036】図4に、上部光源Uおよび下部光源Lが検
査対象物2に対して照射する各照射光の色と、その照度
との関係を示す。
【0037】本実施例における上部光源Uおよび下部光
源Lは、シアン色(C)、マゼンダ色(M)、および黄
色(Y)の各色照明のうち各々任意の1色で照射して、
両光源U,L合わせてCMYのうち2色で検査対象物2
に対し照射するよう構成されている。
【0038】そして、この図4と、上述の図3とから分
かるように、図3に示す赤色(R)と図4に示すシアン
色(C)、図3に示す緑色(G)と図4に示すマゼンダ
色(M)、および図3に示す青色(B)と図4に示す黄
色(Y)の色とが、それぞれ補色関係、すなわち両波長
の光を加えると波長帯域が白色光になる関係があること
を示している。
【0039】具体的には、図3および図4において白色
光の波長帯域を、およそ400nm程度〜700nm程度と
した場合、カラーラインセンサカメラ3の赤色(R)の
波長帯域は、図3に示すようにおよそ560nm程度〜7
00nm程度である一方、上部光源Uあるいは下部光源L
の照射光の色がシアン色(C)である場合にはその波長
帯域が図4に示すようにおよそ400nm程度〜560nm
程度であるので、カラーラインセンサカメラ3の赤色
(R)と、上部光源Uあるいは下部光源Lによりシアン
色(C)の照射光と加えると、その波長帯域が白色光の
波長帯域であるおよそ400nm程度〜700nm程度にな
り、カラーラインセンサカメラ3の赤色(R)と、上部
光源Uあるいは下部光源Lによりシアン色(C)の照射
光とが補色関係にあることを示している。
【0040】これと同様に、図3に示す緑色(G)と図
4に示すマゼンダ色(M)との間、および図3に示す青
色(B)と図4に示す黄色(Y)との間でも、これら2
つの色が補色関係にあることがいえる。
【0041】図5に、上部光源Uおよび下部光源Lの照
明色の組み合わせによる照射モードがカラーラインセン
サカメラ3の各色で得られる状況を示す。
【0042】つまり、この図5では、上部光源Uおよび
下部光源Lが、その照明光である検査対象物2に向けて
照射する光の色(波長帯域)を、シアン色(C)、マゼ
ンダ色(M)、および黄色(Y)の各色照明のうち各々
任意の1つを選択して、両光源U,L合わせて2つの照
明色で照射する際の照明色の組み合わせと、カラーライ
ンセンサカメラ3のRGBの各受光波長帯域における全
方向、低射方向、および落射方向の3種類の照射モード
との対応を示しており、全部で6つのパターンが考えら
れることを示している。
【0043】ここで、一例として、パターン1の上部光
源Uの照明色がマゼンダ色(M)、下部光源Lの照明色
が黄色(Y)の場合に、カラーラインセンサカメラ3の
RGBの各受光波長帯域において検出される照射モード
が、図に示すようになることを簡単に説明する。
【0044】カラーラインセンサカメラ3の赤色(R)
の受光波長帯域(第2の受光波長帯域)では、図3およ
び図4に示すように、この赤色(R)と補色関係にある
シアン色(C)以外の照明色、すなわちマゼンダ色
(M)および黄色(Y)の照明色が受光可能であるた
め、図5のパターン1に示すように、マゼンダ色(M)
の照明色である上部光源U、および黄色(Y)の照明色
である下部光源Lによる照射光を受光でき、上部光源U
および下部光源Lの双方照射による全方向の照射モード
となる。
【0045】また、これと同様に考えて、カラーライン
センサカメラ3の緑色(G)の受光波長帯域(第1の受
光波長帯域)では、図3および図4に示すように、この
緑色(G)と補色関係にあるマゼンダ色(M)以外の照
明色、すなわちシアン色(C)および黄色(Y)が受光
可能であるため、図5のパターン1に示すように、マゼ
ンダ色(M)の照明色である上部光源Uによる照射光は
受光できない一方、黄色(Y)の照明色である下部光源
Lによる照射光を受光できるため、低射方向の照射モー
ドとなる。
【0046】さらに、カラーラインセンサカメラ3の青
色(B)の受光波長帯域(第1の受光波長帯域)では、
図3および図4に示すように、この青色(B)と補色関
係にある黄色(Y)以外の照明色、すなわちシアン色
(C)およびマゼンダ色(M)の照明色が受光可能であ
るため、図5のパターン1に示すように、マゼンダ色
(M)の照明色である上部光源Uによる照射光は受光で
きる一方、黄色(Y)の照明色である下部光源Lによる
照射光は受光できないため、落射方向の照射モードとな
る。
【0047】従って、この図5に示すパターン1の場
合、すなわち上部光源Uの照明色がマゼンダ色(M)、
下部光源Lの照明色が黄色(Y)の場合には、カラーラ
インセンサカメラ3の赤色(R)の受光波長帯域では全
方向の照射モード、緑色(G)の受光波長帯域では低射
方向の照射モード、青色(B)の受光波長帯域では落射
方向の照射モードが得られることになり、他のパターン
2〜6の場合も同様にしてカラーラインセンサカメラ3
のRGB各色の各受光波長帯域で3種類の照射モードが
各々得られる。
【0048】よって、上部光源Uおよび下部光源Lの上
記のような各照明色の組み合わせと、その両光源U,L
の同時点灯とにより、カラーラインセンサカメラ3のR
GB各色の各受光波長帯域で3種類の照射モードが同時
に得られることになる。
【0049】図6に、ハンダ付着部分等の検査対象物2
における欠陥形態と、欠陥検査処理部4における各照射
モード毎の撮像データ、およびその欠陥検査の判断結果
を示す。
【0050】この図6では、ハンダ付着部分等の検査対
象物2には、正常状態の他に、白欠陥、黒欠陥、形状欠
陥等の3つの欠陥形態があり、“○”印は、欠陥検出が
十分可能であること、“△”印は欠陥検出が不安定であ
ること、“×”印は、欠陥検出が困難であることを示し
ている。よって、この図において、正常状態の場合に
は、3つの照射モードにおいて全て正常な撮像データが
得られる一方、白欠陥、黒欠陥、形状欠陥等のいずれか
の欠陥形態がある場合には、全方向、低射方向、あるい
は落射方向のいずれかの照射モードにおいて、その欠陥
が現れた撮像データが得られ、当該欠陥を検出できるこ
とを示している。
【0051】具体的には、この図6において、検査対象
物2の欠陥状態が白欠陥である場合には、低射光源L2
による低射方向の照射により、当該欠陥を検出できるこ
とを示している。
【0052】従って、以上のように構成された欠陥検査
装置では、図1および図2に示すように上部光源Uおよ
び下部光源Lが同時に検査対象物2に対してシアン色
(C)、マゼンダ色(M)および黄色(Y)のうちのそ
れぞれの照明色で光を照射すると共に、カラーラインセ
ンサカメラ3がそのような照明色で照射された検査対象
物2を撮像して、その撮像データを欠陥検査処理部4へ
送る。
【0053】カラーラインセンサカメラ3は、RGBの
各色を受光可能な受光波長帯域を有しており、欠陥検査
処理部4は、図5に示すように予め設定しておいた上部
光源Uおよび下部光源Lの照明色の色に対応したカラー
ラインセンサカメラ3の各RGB色の各波長帯域(第1
の受光波長帯域および第2の受光波長帯域)で全方向、
低射方向、および落射方向の3種類の照射モードの撮像
データを同時に得て、図6に示すようにして各照射モー
ド毎に撮像データの欠陥を検査して、各照射モード毎の
欠陥検査を1回の撮像で行うことが可能になる。
【0054】このため、本実施例によれば、1回の撮像
により、全方向、低射方向および落射方向の3種類の照
射モードの撮像データが同時に得られるので、図14に
示す従来技術のように3か所で各々1回ずつの撮像であ
る合計3回の撮像を行う必要がなくなり、カラーライン
センサカメラや光源の台数が少なくなり、装置の構成が
簡単になると共に、装置自体の大きさも小さくなり、装
置が安価になる。
【0055】また、1回の撮像により各照射モードの撮
像データが得られるので、従来とは異なり各照射モード
の撮像データには時間的なずれがなくなり、短時間で欠
陥検査を行うことが可能になる。
【0056】次に、本発明に係る画像処理装置の第2実
施例について説明する。
【0057】この第2実施例は、上記第1実施例の場合
とは異なり、上部光源Uおよび下部光源Lに白色光等の
全照明光波長帯域を有する光源を用いてシアン(C),
マゼンダ色(M)、および黄色(Y)のうち任意の照明
色を付与することを特徴としており、欠陥検査処理部4
における欠陥検査処理等は、上記第1実施例と同様であ
るので、上部光源Uおよび下部光源Lの構成を中心に図
示して説明する。
【0058】図7は、この第2実施例における上部光源
Uおよび下部光源Lに、白色光等の全照明光波長帯域を
有する光源を用いて任意の照明色を付与する構成を示し
ている。
【0059】この第2実施例では、上部光源Uおよび下
部光源Lに白色光等の全照明光波長帯域を有する光源
を、その照明強度が強くなるように、図上左右両側に各
々2本ずつ用いたもので、図に示すように、上部光源U
の周囲には、当該上部光源Uによる白色光を例えばマゼ
ンダ色(M)に着色して照射するため、マゼンダ色
(M)の透明フィルム等の色フィルタ61を装着してい
る一方、下部光源Lの周囲には、当該下部光源Lによる
白色光を例えば黄色(Y)に着色して照射するため、黄
色(Y)の透明フィルム等の色フィルタ62を装着して
いる。
【0060】そして、上記第1実施例と同様に、上部光
源Uおよび下部光源Lの周囲には、当該上部光源Uおよ
び下部光源Lの背後に漏れる照射光を検査対象物2へ向
け反射させるため湾曲し、しかもラインセンサカメラ3
が検査対象物2を撮像できるように上部に撮像スリット
51が開口された反射板5が設けられている。なお、上
記第1実施例と同様、反射板5は設けられていなくても
良い。
【0061】従って、この第2実施例によれば、上部光
源Uからは、マゼンダ色(M)の色フィルタ61を通し
てマゼンダ色(M)に着色された光が落射方向で検査対
象物2に対し照射される一方、下部光源Lからは、黄色
(Y)の色フィルタ62を通して、黄色(Y)に着色さ
れた光が低射方向で検査対象物2に対し照射されること
になる。
【0062】このため、上記第1実施例で説明した図5
に示すパターン1のケースである、上部光源Uがマゼン
ダ色(M)の照明光で、下部光源Lが黄色(Y)の照明
光の場合と実質的に同じ構成となり、上記第1実施例と
同様に、1か所における1回の撮像により、全方向、低
射方向および落射方向の3種類の照射モードによる撮像
データが同時に得られ、従来技術と比較して、カラーラ
インセンサカメラや光源の台数が少なくなり、装置の構
成が簡単になると共に、装置自体の大きさも小さくな
り、装置が安価になり、さらには短時間で欠陥検査を行
うことが可能になる。
【0063】次に、本発明に係る画像処理装置の第3実
施例について説明する。
【0064】この第3実施例の構成は、上記第2実施例
の構成とほぼ同じであり、上記第2実施例のように上部
光源Uおよび下部光源Lの周囲に、当該上部光源Uおよ
び下部上限Lからの白色光を着色するための色フィルタ
61,62を設けるのではなく、上部光源Uおよび下部
光源Lと、検査対象物2との間に、各々、当該上部光源
Uおよび下部上限Lからの白色光を着色するため、例え
ばマゼンダ色(M)の色フィルタ63や、黄色(Y)の
色フィルタ64を設けるようにしたことを特徴としてい
る。
【0065】従って、この第3実施例によっても、上記
第2実施例と同様に、上部光源Uからはマゼンダ色
(M)の色フィルタ63を通してマゼンダ色(M)に着
色された光が落射方向で検査対象物2に対し照射される
一方、下部光源Lからは、黄色(Y)の色フィルタ64
を通して黄色(Y)に着色された光が低射方向で検査対
象物2に対し照射されるので、上記第1実施例および第
2実施例と同様の効果が得られる。
【0066】次に、本発明に係る画像処理装置の第4実
施例について説明する。
【0067】この第4実施例は、上記第1実施例〜上記
第3実施例の場合と比較して、上部光源Uからの落射方
向、および下部光源Lからの低射方向の照射光の指向性
を高めるように構成したもので、上記第3実施例の構成
にさらに改良を加えたことを特徴としている。
【0068】図9に、この第4実施例の特徴部分の構成
を示す。
【0069】この第4実施例では、図に示すように、上
部光源Uおよび下部光源Lに上記第2実施例および第3
実施例と同様に、白色光等の全照明光波長帯域を有する
光源を用いているので、上部光源Uと検査対象物2との
間に、当該上部光源Uによる照明光を着色するための例
えばマゼンダ色(M)の透明フィルム等の色フィルタ6
5を設けると共に、上部光源Uおよび下部光源Lからの
照射光の指向性を高めるため、この色フィルタ65を通
過して着色して出された照射光を集光して指向性を高め
る光ケーブル等の導光路71と、この導光路71を通っ
た指向性の高い光を落射方向から照射する照射ヘッド8
1とを設けている。
【0070】また、下部光源Lと検査対象物2との間に
も、同様にして、当該下部光源Lによる照明光を着色す
るための例えば黄色(Y)の透明フィルム等の色フィル
タ66と、この色フィルタ66を通過して着色して出さ
れた照射光を集光して指向性を高める光ケーブル等の導
光路72と、この導光路72を通った指向性の高い光を
低射方向から照射する照射ヘッド82と、を設けてい
る。
【0071】なお、この第4実施例でも、図示はしてな
いが、上記第1実施例〜第3実施例と同様に、上部光源
Uおよび下部光源Lの周囲に、当該上部光源Uおよび下
部光源Lの背後に漏れる照射光を導光路71,72に集
光するための反射板を設けるようにしても良い。
【0072】従って、この第4実施例によれば、上記第
2実施例および第3実施例と同様に白色光の上部光源U
および下部光源Lであっても、色フィルタ65,66を
通すことによって、各々、マゼンダ色(M)や黄色
(Y)等の照明光の場合のように各照明光の色で検査対
象物2に対し照射することが可能になり、上記第1実施
例の場合と同様に、1回の撮像により3種類の照射モー
ドによる撮像データが同時に得られ、本装置の構成が簡
単になり、本装置が安価になる等の効果が得られると共
に、導光路71,72および照射ヘッド81,82によ
り、照明光の指向性が高められているので、より各照射
モードにおいて得られる撮像データの検出レベルが向上
することになる。
【0073】なお、この第4実施例は、上部光源Uおよ
び下部光源Lと検査対象物2との間に色フィルタを設け
た上記第3実施例の構成を改良して説明したが、本発明
では、上記第2実施例や、この照射光の指向性を高める
第4実施例を、白色光の光源を用いない上記第1実施例
に適用するようにしても良い。なお、上記第1実施例に
適用する場合、上部光源Uおよび下部光源Lは、それ自
体の照明光がマゼンダ(M)や黄色(Y)等の所定の色
に着色されているため、第4実施例を示す図9において
色フィルタ65,66が不要となる。
【0074】次に、本発明に係る画像処理装置の第5実
施例について説明する。
【0075】この第5実施例は、上記第1実施例〜上記
第4実施例において上部光源Uおよび下部光源Lの周囲
に反射板5を設けた場合の構成をさらに改良したもの
で、全方向照射を改善したことを特徴としている。
【0076】図10に、この第5実施例の特徴部分の構
成を示す。
【0077】この図10に示す第5実施例は、反射板5
を設けている上記第1実施例に、補助光源91およびハ
ーフミラー92を追加して、全方向照射の照度を改善し
た例を示している。
【0078】具体的には、図に示すように、カラーライ
ンセンサカメラ3と検査対象物2とを結ぶ線上から横方
向にずれた位置に、上部光源Uと同一色の光源である補
助光源91を設けると共に、カラーラインセンサカメラ
10の下方である検査対象物2とを結ぶ線上に、その補
助光源91からの光を検査対象物2に照射するよう傾斜
させて配設したハーフミラー50を設けている。
【0079】これにより、カラーラインセンサカメラ1
0は、ハーフミラー10を介して検査対象物2を撮像で
きると共に、補助光源51からの光がハーフミラー10
により反射されて、反射板5上の撮像スリット51を通
過して検査対象物2に照射される。
【0080】このため、このような撮像スリット51の
開口された反射板5を設けた構成の場合には、その撮像
スリット51から上部光源Uからの光が漏れたり、また
撮像スリット51の部分は反射板5がないので反射自体
が不可能であったので、検査対象物2における撮像スリ
ット51の下方に当たる部分は他の部分より暗くなって
おり、完全な全方向照射が不可能であったが、ハーフミ
ラー92を介した補助光源91からの上部光源Uと同一
色の照射光によって、検査対象物2における撮像スリッ
ト51の下方に当たる部分を明るくして、他の部分と同
様の明るさにすることができ、撮像スリット52の部分
から漏れる上部光源Uの照射光の補填等が可能になる。
【0081】従って、この第5実施例によれば、検査対
象物2に対しより完全な全方向照射が可能になり、全方
向モードにおける撮像データの検出レベルを、落射方向
や低射方向の他の照射モードと同レベルに向上させるこ
とができ、より完全な欠陥検査が可能になる。
【0082】次に、本発明に係る画像処理装置の第6実
施例について説明する。
【0083】この第6実施例は、上記第5実施例と同様
に、上記第1実施例〜第4実施例において上部光源Uお
よび下部光源Lの周囲に反射板5を設けた場合の構成を
さらに改良したものであるが、上記第5実施例とは異な
り、補助光源およびハーフミラーを用いずに全方向照射
強度を向上させたことを特徴としている。
【0084】図11に、この第6実施例の特徴部分の構
成を示す。
【0085】この第6実施例では、上述したように、図
10に示すように補助光源およびハーフミラーを用いず
に上記第1実施例の全方向照射強度を向上させたもの
で、具体的には、ラインカメラセンサ3から検査対象物
2に対する撮像方向L2を、検査対象物2の垂直線方向
L1に対し所定の微小角度だけ傾斜させる共に、その撮
像方向L2に対応させて反射板5上に開口する撮像スリ
ット51の位置を若干反射板5上部中央よりオフセット
した位置(図11上では、図上左側)に開口したことを
特徴としている。
【0086】このため、この第6実施例によれば、図上
右側の上部光源Uaから出た光の一部は、図上右側の反
射板5aにより反射され、方向L2´で検査対象物2に
照射されて、方向L2によりラインセンサカメラ3に入
射するようになり、図2、図7、図8等に示す上記第1
実施例〜第4実施例のように反射板5上部中央に撮像ス
リット51を開口したものと比較して、反射板5で反射
されて検査対象物2に照射し、かつ、ラインセンサカメ
ラ3に届く光の照射方向L2´の角度が、より垂直方向
に近付くことが可能になり、より検査対象物2の真上部
分がより明るくなった全方向照射に近い照射状態が可能
になる。
【0087】従って、この第6実施例によれば、上記第
5実施例のように補助光源やハーフミラーを設けなくて
も、上記第1実施例〜第4実施例と比較して、検査対象
物2に対しより全方向照射に近い照射状態が可能にな
り、補助光源やハーフミラー等の新たな部品を追加しな
いでも、全方向モードにおける撮像データの検出レベル
を落射方向や低射方向の他の照射モードと同レベルまで
近付けたより完全な欠陥検査が可能になる。
【0088】次に、本発明に係る画像処理装置の第7実
施例について説明する。
【0089】この第7実施例は、上記第1実施例〜第6
実施例のように、上部光源およびUおよび下部光源Lの
照明色として、シアン色(C)、マゼンダ色(M)、お
よび黄色(Y)の各色照明のうち各々任意の1色で照射
して、両光源U,L合わせてCMYのうち2色で検査対
象物2に対し照射するようにするのではなく、補色関係
にある青緑色(E)とオレンジ色(O)との2色の照明
色で検査対象物2に対し照射することを特徴としてい
る。
【0090】図12に、この第7実施例に係る欠陥検査
装置の構成をブロック図により示す。
【0091】この第7実施例では、図12に示すよう
に、上部光源U´には照明色が青緑色(E)の光源を用
いる一方、下部光源L´には照明色がオレンジ色(O)
の光源を用いており、この青緑色(E)とオレンジ色
(O)とは後述するように補色関係にある。
【0092】また、カラーラインセンサカメラ3´も、
青緑色(E)およびオレンジ色(O)の2色の波長帯域
を受光可能な受光波長帯域を有しており、ラインセンサ
カメラ3´から出力した青緑色(E)およびオレンジ色
(O)の撮像データ(図上E,O)はそれぞれ直接、欠
陥検査処理部4´へ出力すると共に、データ合成部(デ
ータ生成部)47´に出力するように構成されている。
【0093】データ合成部47´は、カラーラインセン
サカメラ3´からの青緑色(E(第1の受光波長帯
域))およびオレンジ色(O(第1の受光波長帯域)
の撮像データを加算平均して白色光の合成データ(E+
(第2の受光波長帯域))として欠陥検査処理部4´
へ出力するように構成されている。
【0094】欠陥検査処理部4´は、カラーラインセン
サカメラ3´からの青緑色(E)およびオレンジ色
(O)の撮像データ(図上E,O)、およびデータ合成
47´からの白色光の合成データ(E+O)を入力し
て、それらのデータに基づいて、各照射モード毎に欠陥
検査を行うように構成されている。
【0095】なお、データ合成部47´を設けずに、カ
ラーラインセンサカメラ3´から出力した撮像データが
照射モード毎に分けられずに欠陥検査処理部4´に入力
して、欠陥検査処理部4´内に設けたデータ生成部で各
照射モード毎に分けられたり、加算平均して合成される
ようにしても良い。
【0096】図13に、この第7実施例における上部光
源U´および下部光源L´が検査対象物に対して照射す
る各照射光の色と、その照度との関係を示す。
【0097】この図13からも分かるように、本実施例
では、上部光源U´の青緑色(E)の照明光と、下部光
源Lのオレンジ色(O)の照明光とは、それぞれ両波長
の光を加えると、およそ400nm〜700nmの周波数帯
域の白色光になる補色関係であることを示している。
【0098】従って、この第7実施例によれば、青緑色
(E)の上部光源U´、およびオレンジ色(O)の下部
光源L´により照射された検査対象物2をカラーライン
センサカメラ3´が撮像すると、欠陥検査処理部4´へ
はカラーラインセンサカメラ3´から直接、青緑色
(E)およびオレンジ色(O)の撮像データが入力する
と共に、データ合成部47´を介して青緑色(E)およ
びオレンジ色(O)の撮像データが加算平均された白色
光の合成データ(E+O)が入力するので、欠陥検査処
理部4´では、青緑色(E)の撮像データにより落射方
向モードの欠陥検査が可能となり、オレンジ色(O)の
撮像データにより低射方向モードの欠陥検査、白色光の
合成データ(E+O)により全方向照射の全方向モード
の欠陥検査がそれぞれ可能となる。
【0099】このため、この第7実施例によれば、青緑
色(E)やオレンジ色(O)等の補色関係にある2色の
照明でも、上記第1実施例〜上記第6実施例と同様の3
種類の照射モードの同時検査が可能になる。
【0100】なお、この第実施例においても、上記第
2実施例や第3実施例のように色フィルタを設ける構成
が可能であり、また、上記第4実施例のように指向性を
高めた構成にしたり、上記第5実施例および上記第6実
施例のように全方向照射の強度を高めるように構成して
も良い。
【0101】また、上記第1実施例〜第7実施例では、
説明の便宜上、1台のカラーラインセンサカメラ3で説
明していたが、本発明では、撮像箇所に複数台のカラー
ラインセンサカメラがあっても、またカラーラインセン
サカメラでなく、カラーエリアセンサカメラを使用して
も勿論良い。
【0102】
【発明の効果】以上説明したように、本発明では、1回
の撮像を行うことによって全方向、低射方向、および落
射方向の3種類の照射モードによる画像が同時に得られ
るので、従来のように3種類の照射モード毎に照明とカ
ラーラインセンサカメラが必要になることはなくなり、
装置の構成が簡単になると共に、装置自体の大きさも小
さくなり、装置が安価になる。
【0103】また、1回の撮像により各照射モードの撮
像データが得られるので、従来とは異なり各照射モード
の撮像データには時間的なずれがなくなり、短時間で検
査を行えると共に、欠陥検査処理部における制御自体が
簡単になる。
【図面の簡単な説明】
【図1】本発明に係る欠陥検査装置の概略構成を示す構
成図。
【図2】本発明に係る欠陥検査装置の第1実施例の構成
をブロック図。
【図3】カラーラインセンサカメラにおけるRGB各色
の受光感度等を相対値で示す説明図。
【図4】上部光源Uおよび下部光源Lが検査対象物に対
して照射する各照射光の色とその照度との関係を示す説
明図。
【図5】上部光源Uおよび下部光源Lの照明色の組合わ
せによりカラーラインセンサカメラの各色で得られる照
射モードを示す説明図。
【図6】ハンダ付着部分等の検査対象物における欠陥状
態と、各照射モードにおける撮像データ、およびその欠
陥検査の判断結果を示す説明図。
【図7】本発明に係る欠陥検査装置の第2実施例の特徴
部分の構成を示す構成図。
【図8】本発明に係る欠陥検査装置の第3実施例の特徴
部分の構成を示す構成図。
【図9】本発明に係る欠陥検査装置の第4実施例の特徴
部分の構成を示す構成図。
【図10】本発明に係る欠陥検査装置の第5実施例の特
徴部分の構成を示す構成図。
【図11】本発明に係る欠陥検査装置の第6実施例の特
徴部分の構成を示す構成図。
【図12】本発明に係る欠陥検査装置の第7実施例の特
徴部分の構成を示す構成図。
【図13】第7実施例における上部光源U´および下部
光源L´が検査対象物に対して照射する各照射光の色
と、その照度との関係を示す説明図。
【図14】従来の欠陥検査装置の概略構成を示す構成
図。
【符号の説明】
1 搬送ベルト 2 検査対象物 3 カラーラインセンサカメラ(撮像手段) 4 欠陥検査処理部(欠陥検査処理手段) 5 反射板 51 撮像スリット 61〜66 色フィルタ 71,72 導光路 81,82 照射ヘッド 91 補助光源 92 ハーフミラー U 上部光源(照射手段) L 下部光源(照射手段) 3´ カラーラインセンサカメラ(撮像手段) 4´ 欠陥検査処理部(欠陥検査処理手段)47 ´ データ合成部(データ生成部) U´ 上部光源(照射手段) L´ 下部光源(照射手段)
───────────────────────────────────────────────────── フロントページの続き (72)発明者 内藤 文彦 京都府京都市右京区花園土堂町10番地 オムロン株式会社内 (56)参考文献 特開 平3−175309(JP,A) 特開 平4−166709(JP,A) 特開 平4−355351(JP,A) 特開 平3−209154(JP,A) (58)調査した分野(Int.Cl.7,DB名) G01N 21/84 - 21/958 H01L 21/64 - 21/66

Claims (8)

    (57)【特許請求の範囲】
  1. 【請求項1】 検査対象物に対し異なる角度から異なる
    色の光を照射すると共に、上記光を照射された当該検査
    対象物を撮像して、撮像データに基づき当該検査対象物
    の欠陥を検査する欠陥検査装置において、 異なる角度から異なる色の光を検査対象物に対し同時に
    照射する照射手段と、上記異なる色のうちいずれかひとつの色の波長帯域の少
    なくとも一部と重なる第1の受光波長帯域と、上記異な
    る色のうち複数の色に共通する波長帯域の少なくとも一
    部と重なる第2の受光波長帯域と を有し、上記照射手段
    によって照射された上記検査対象物を撮像する撮像手段
    と、 上記撮像手段から入力される第1および第2の受光波長
    帯域毎の撮像データから検査対象物の欠陥を判断する
    陥検査処理手段と、 を具備することを特徴とする欠陥検査装置。
  2. 【請求項2】 検査対象物に対し異なる角度から異なる
    色の光を照射すると共に、上記光を照射された当該検査
    対象物を撮像して、撮像データに基づき当該検査対象物
    の欠陥を検査する欠陥検査装置において、 異なる角度から異なる色の光を検査対象物に対し同時に
    照射する照射手段と、 上記照射手段によって照射された上記検査対象物を撮像
    する撮像手段と、 上記異なる色のうちいずれかひとつの色の波長帯域の少
    なくとも一部と重なる第1の受光波長帯域と、上記異な
    る色のうち複数の色に共通する波長帯域の少なくとも一
    部と重なる第2の受光波長帯域とを有し、上記撮像手段
    から入力される検査対象物の撮像データから第1および
    第2の受光波長帯域毎の撮像データを合成または分離す
    るデータ生成手段と、 上記データ生成手段から入力される第1および第2の受
    光波長帯域毎の撮像データから検査対象物の欠陥を判断
    する欠陥検査処理手段と、 を具備することを特徴とする 欠陥検査装置。
  3. 【請求項3】 照射手段が、検査対象物に対し高い角度
    の落射方向から光を照射する上部光源と、検査対象物に
    対し低い角度の低射方向から光を照射する下部光源とか
    ら構成されていて、 上記上部光源および下部光源は、各々、白色光ランプ
    と、その白色光ランプの 周囲を覆い、白色照射光を所定
    の色に着色して検査対象物に対し照射するための色フィ
    ルタと、から構成されている、 ことを特徴とする請求項1または2記載の欠陥検査装
    置。
  4. 【請求項4】 照射手段が、検査対象物に対し高い角度
    の落射方向から光を照射する上部光源と、検査対象物に
    対し低い角度の低射方向から光を照射する下部光源とか
    ら構成されていて、 上記上部光源および下部光源は、各々、白色光ランプ
    と、その白色光ランプと検査対象物との間に設けられ、
    白色照射光を所定の色に着色して検査対象物に対し照射
    するための色フィルタと、から構成されている、 ことを特徴とする請求項1または2記載の 欠陥検査装
    置。
  5. 【請求項5】 照射手段が、検査対象物に対し高い角度
    の落射方向から光を照射する上部光源と、検査対象物に
    対し低い角度の低射方向から光を照射する下部光源とか
    ら構成されていて、 上記上部光源および下部光源は、各々、白色光ランプ
    と、その白色光ランプと検査対象物との間に設けられ、
    白色照射光を所定の色に着色して検査対象物に対し照射
    するための色フィルタと、上記色フィルタから出た光を
    集めて検査対象物の方向に導光する導光路と、上記導光
    路終端に取り付けられ、導光路が導光した光を検査対象
    物へ照射する照射ヘッドと、から構成されている、 ことを特徴とする請求項1または2記載の 欠陥検査装
    置。
  6. 【請求項6】 照射手段の周囲には、当該照射手段から
    検査対象物へ照射される光を集める反射板が設けられて
    いる、 ことを特徴とする請求項1または2記載の 欠陥検査装
    置。
  7. 【請求項7】 撮像手段を検査対象物上の垂直線に対し
    一定角度だけ傾斜させてセットすると共に、照射手段の
    周囲に配設した反射板には撮像手段から検査対象物への
    照射方向に対応して反射板上部中央からオフセットした
    位置に撮像スリットを開口した、 ことを特徴とする請求項6記載の 欠陥検査装置。
  8. 【請求項8】 撮像手段と検査対象物とを結ぶ線上から
    横方向にずれた位置に上部光源と同色の光を照射する補
    助光源を設けると共に、撮像手段と検査対象 物とを結ぶ
    線上にその補助光源からの照射光を検査対象物に照射す
    るよう傾けたハーフミラーを設けた、 ことを特徴とする請求項6記載の 欠陥検査装置。
JP15440295A 1995-06-21 1995-06-21 欠陥検査装置 Expired - Fee Related JP3341963B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP15440295A JP3341963B2 (ja) 1995-06-21 1995-06-21 欠陥検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15440295A JP3341963B2 (ja) 1995-06-21 1995-06-21 欠陥検査装置

Publications (2)

Publication Number Publication Date
JPH095253A JPH095253A (ja) 1997-01-10
JP3341963B2 true JP3341963B2 (ja) 2002-11-05

Family

ID=15583369

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15440295A Expired - Fee Related JP3341963B2 (ja) 1995-06-21 1995-06-21 欠陥検査装置

Country Status (1)

Country Link
JP (1) JP3341963B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4522570B2 (ja) * 2000-11-06 2010-08-11 イビデン株式会社 パターン検査用照明装置
JP2006105816A (ja) * 2004-10-06 2006-04-20 Kokusai Gijutsu Kaihatsu Co Ltd 物品検査装置、及び物品検査方法
JP4658703B2 (ja) * 2005-06-15 2011-03-23 有限会社新選技研 個数検査装置及び個数検査方法
JP2007310674A (ja) * 2006-05-18 2007-11-29 Oki Electric Ind Co Ltd 読み取り装置
JP4987511B2 (ja) * 2007-03-05 2012-07-25 倉敷紡績株式会社 プリント配線板の検査装置
ATE424365T1 (de) * 2007-07-04 2009-03-15 Texmag Gmbh Vertriebsges Vorrichtung zum strichförmigen beleuchten einer laufenden warenbahn
JP2009122037A (ja) * 2007-11-16 2009-06-04 Tsubakimoto Chain Co チェーンの外観検査装置及びそれを用いた外観検査方法
JP5549155B2 (ja) * 2009-09-04 2014-07-16 セイコーエプソン株式会社 表面検査方法
JP5552779B2 (ja) * 2009-09-04 2014-07-16 セイコーエプソン株式会社 孔内検査方法
JP2011208941A (ja) * 2010-03-26 2011-10-20 Fujitsu Ltd 欠陥検査装置およびその方法
JP5664167B2 (ja) * 2010-11-22 2015-02-04 セイコーエプソン株式会社 検査装置
JP5027946B1 (ja) * 2011-12-28 2012-09-19 新明和工業株式会社 検査システム
CN105510336B (zh) * 2015-12-28 2018-06-15 凌云光技术集团有限责任公司 平面图像获取装置
JP2017198612A (ja) * 2016-04-28 2017-11-02 キヤノン株式会社 検査装置、検査システム、および物品製造方法
CN115508368B (zh) * 2022-11-18 2023-03-24 锦瑞信息科技(南通)有限公司 一种液晶面板加工的视觉检测自然光源组件

Also Published As

Publication number Publication date
JPH095253A (ja) 1997-01-10

Similar Documents

Publication Publication Date Title
JP3341963B2 (ja) 欠陥検査装置
US8493558B2 (en) Surface inspection apparatus
US6175645B1 (en) Optical inspection method and apparatus
TWI590725B (zh) 印刷電路板外觀的檢查裝置及檢查方法
US20010030744A1 (en) Method of simultaneously applying multiple illumination schemes for simultaneous image acquisition in an imaging system
WO2018150607A1 (ja) 外観検査装置、照明装置、撮影照明装置
JP2001255281A (ja) 検査装置
JPH11185028A (ja) 透過性の画像媒体の表面のアーティファクトを検出する方法
JP2005536732A (ja) 物体を検査するための装置及び方法
JP2003279334A (ja) 三次元計測装置、フィルタ格子縞板及び照明手段
CN106018413A (zh) 产品外观检测装置及其检测方法
US20080225283A1 (en) Imaging system with high-spectrum resolution and imaging method for the same
US5739525A (en) Device for detecting an electronic component, and component-mounting machine provided with such a detection device
US6983066B2 (en) Machine vision
JPH11211668A (ja) 欠陥検査方法および欠陥検査装置
JP5890953B2 (ja) 検査装置
JP4805534B2 (ja) ワーク検査装置
JP2007049127A (ja) ウェーハの表面を検査する装置及び方法
JP3090594B2 (ja) 画像認識装置を用いたコイン判別装置
JP2001155160A (ja) 電子部品の外観検査装置
KR101876391B1 (ko) 단색광 모아레의 다채널 이미지를 이용한 3차원 검사 장치
KR100633798B1 (ko) 반도체 안착상태 및 외관형상 검사장치
JPH10339704A (ja) 外観検査装置
CN211766501U (zh) 一种led编带机和红绿蓝三色光源确认的检测装置
TWM606486U (zh) 檢測設備及其收光裝置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020529

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080823

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090823

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100823

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100823

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110823

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110823

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120823

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130823

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees