JPH10318938A - 表面検査装置 - Google Patents

表面検査装置

Info

Publication number
JPH10318938A
JPH10318938A JP9130054A JP13005497A JPH10318938A JP H10318938 A JPH10318938 A JP H10318938A JP 9130054 A JP9130054 A JP 9130054A JP 13005497 A JP13005497 A JP 13005497A JP H10318938 A JPH10318938 A JP H10318938A
Authority
JP
Japan
Prior art keywords
light
inspected
image
inspection
dark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9130054A
Other languages
English (en)
Other versions
JP3271549B2 (ja
Inventor
Kiyoshi Yoshida
田 清 吉
Yutaka Suzuki
木 裕 鈴
Kiyoshi Akutagawa
川 清 芥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP13005497A priority Critical patent/JP3271549B2/ja
Publication of JPH10318938A publication Critical patent/JPH10318938A/ja
Application granted granted Critical
Publication of JP3271549B2 publication Critical patent/JP3271549B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 被検査面が複雑な曲面の場合において、ゴミ
ブツ及びハジキ等の凹凸欠陥を検出できるようにする。 【解決手段】 自動車のボディ5に光を照射し、ボディ
5表面からの反射光に基づいて受光画像を形成し、この
受光画像に基づいてボディ5上に存在する欠陥を検出す
る表面検査装置において、自動車ボディを囲むような門
型形状に配置された光源101を含みかつボディ5上に
ピッチ幅の異なる部分を合わせ持つ複合型明暗ストライ
プパターン105を形成する照明手段1と、自動車ボデ
ィを囲むような門型形状に配置固定されかつボディ面か
らの反射光に基づいて複数の受光画像を形成する複数の
CCDカメラ3と、自動車ボディを所定速度にて搬送す
る搬送コンベア8と、ボディ5が照明手段1及びCCD
カメラ3に囲まれる領域を通過する際に、CCDカメラ
3により得られる受光画像に基づいて被検査面上の欠陥
を検出しその検出情報を出力する検査処理手段4とを設
けた。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術】本発明は、被検査物体の表面、例
えば、自動車ボディの塗装面における凹凸等のような表
面欠陥を検査する表面検査装置に関する。
【0002】
【従来の技術】従来の表面検査装置としては、例えば、
特開昭64−38638号公報等に示されたものがあ
る。
【0003】同公報に開示の表面検査装置は、被検査面
に光の帯を形成し、この光の帯を被検査面上で移動さ
せ、その反射像を連続かつ段階的に記録し、最終的にこ
れら部分的な像の記録を全体像に編集し、被検査面上の
欠陥及びこの欠陥の座標情報を出力するものである。
【0004】
【発明が解決しようとする課題】しかしながら、上記の
如き従来の表面検査装置においては、以下の如き問題が
あった。
【0005】例えば、自動車のボディ(車体)塗装面の
欠陥検査において、車体の曲面領域では光の帯(光バン
ド)の反射方向が曲率に応じて変化するため、この反射
像が常にビデオカメラのイメージセンタに映し出される
ような制御が必要となり、又、車体の曲面は、部位や車
種毎に異なるため、上述の制御はより複雑なものとな
る。
【0006】また、欠陥の検出は、光バンドの反射像に
おいて、暗部又は光バンドにおける像の輪郭変化として
現れることを利用するものであるが、それを自動的に検
出する方法や装置については何等確立されていない。
【0007】また、現状の自動塗装ラインにおいて発生
する塗装欠陥の種類は、ゴミブツ欠陥等の一般的な凹凸
欠陥(比較的高角度な欠陥)だけでなく、緩い角度の凹
凸欠陥も発生するため、これらの欠陥を同時に検出する
ことは非常に難しいのが現状である。
【0008】本発明は、上記の如き課題に鑑みてなされ
たものであり、その目的とするところは、被検査面が複
雑な曲面であっても、表面欠陥を自動的にかつ精度よく
検出することができ、又、ゴミブツ欠陥等の一般的な凹
凸欠陥(比較的高角度な欠陥)だけでなく、ハジキ等の
緩い角度の凹凸欠陥も同時に精度良く検出することがで
きる表面検査装置を提供することにある。
【0009】
【課題を解決するための手段】本発明の請求項1に係る
表面検査装置は、被検査物体の被検査面に光を照射し、
被検査面からの反射光に基づいて受光画像を形成し、前
記受光画像に基づいて被検査面上に存在する欠陥を検出
する表面検査装置であって、被検査物体を囲むような門
型形状に配置された光源を含みかつ被検査面上に所定の
明暗パターンを形成する照射手段と、被検査物体を囲む
ような門型形状に配置固定されかつ被検査面からの反射
光に基づいて複数の受光画像を形成する撮像手段と、被
検査物体を所定速度にて搬送する搬送手段と、被検査物
体が前記照明手段及び撮像手段に囲まれる領域を通過す
る際に、前記撮像手段により得られる受光画像に基づい
て被検査面上の欠陥を検出しその検出情報を出力する検
査処理手段とを有する構成となっている。
【0010】本発明の請求項2に係る表面検査装置は、
前記撮像手段が複数のCCDDカメラからなる構成とな
っている。
【0011】本発明の請求項3に係る表面検査装置は、
前記検査処理手段が、撮像手段により得られた受光画像
の画像情報における空間周波数成分のうち所定レベル以
上の高周波数成分のみを抽出する画像処理手段と、前記
画像処理手段により処理されかつ同一の撮像手段により
撮像された時間的に異なる画像情報から被検査物体の移
動量及び移動方向と所定条件下で一致する画像情報を追
跡して検出する追跡処理手段とを有する構成となってい
る。
【0012】本発明の請求項4に係る表面検査装置は、
前記検査処理手段が、撮像手段により得られた受光画像
の画像情報における空間周波数成分のうち複数のタイプ
の明暗パターンに対応する各々の所定レベル以上の高周
波数成分を同時に抽出する画像処理手段と、前記画像処
理手段により処理されかつ同一の撮像手段により撮像さ
れた時間的に異なる画像情報から被検査物体の移動量及
び移動方向と所定条件下で一致する画像情報を追跡して
検出する追跡処理手段とを有する構成となっている。
【0013】本発明の請求項5に係る表面検査装置は、
前記画像処理手段が、撮像手段により得られた明暗パタ
ーンを有する画像情報に対してエッジ検出処理を行いか
つ所定輝度レベル以上の成分のみを抽出するべく、エッ
ジ検出処理した処理画像情報におけるエッジ輝度レベル
に関する物理量に基づいて所定の演算を行いしきい値を
算出する第1のしきい値算出手段と、エッジ検出処理し
た処理画像情報に発生するノイズに関する物理量に基づ
いて所定の演算を行いしきい値を算出する第2のしきい
値算出手段と、前記第1及び第2のしきい値算出手段に
より算出された各々のしきい値に基づいて二値化処理を
行う二値化処理手段とを有する構成となっている。
【0014】本発明の請求項6に係る表面検査装置は、
前記二値化処理手段が、撮像手段により得られた複数の
タイプの明暗パターン領域を有する画像情報において、
明暗パターンのピッチ幅を算出して所定値と比較し、前
記明暗パターンが複数のタイプの明暗パターンのいずれ
の領域に含まれるかを判定する二値化領域判定手段と、
前記二値化領域判定手段により判定された分割領域に対
して前記第1及び第2しきい値算出手段により算出され
た各々のしきい値を適用し同時に二値化処理を行う分割
型二値化処理手段とを有する構成となっている。
【0015】本発明の請求項7に係る表面検査装置は、
前記二値化処理手段は、撮像手段により得られた複数の
タイプの明暗パターン及び非検査面領域を有する画像情
報において、明暗パターンのピッチ幅を算出して複数の
所定値と比較し、前記明暗パターンがいずれの領域に含
まれるかを判定する二値化領域判定手段と、前記二値化
領域判定手段により判定された分割領域に対して前記第
1及び第2しきい値算出手段により算出された各々のし
きい値及び非検査面領域用の所定しきい値を適用し同時
に二値化処理を行う分割二値化処理手段を有する構成と
なっている。
【0016】本発明の請求項8に係る表面検査装置は、
前記検査処理手段が、被検査物体が前記照明手段及び撮
像手段により囲まれる領域を通過し始めた時点で検査を
開始しかつ通過し終った時点で検査を終了する判定を行
う検査開始終了判定手段と、前記検査開始終了判定手段
により判定された検査開始時点を基準として被検査物体
の移動量を測定する移動量測定手段とを備え、前記検査
開始終了判定手段及び移動量測定手段により得られた情
報に基づき前記追跡処理手段により検出された画像情報
の被検査面上における位置を算出し、その算出結果を被
検査物体の展開図上に表示する構成となっている。
【0017】本発明の請求項9に係る表面検査装置は、
前記被検査物体の展開図が、被検査物体に対する前記撮
像手段の取付角度及び画角に基づいて描かれている構成
となっている。
【0018】本発明の請求項10に係る表面検査装置
は、前記照明手段の光源からの光を明暗パターンの拡散
光による面照明として被検査面に照射させるような所定
の明暗パターンを有する光拡散シートが前記光源と被検
査物体との間に設けられている構成となっている。
【0019】本発明の請求項11に係る表面検査装置
は、前記光拡散シートに形成される明暗パターンが、幅
狭の明暗ストライプパターンと幅広の明暗ストライプパ
ターンを有する複合型明暗ストライプパターンである構
成となっている。
【0020】本発明の請求項12に係る表面検査装置
は、前記光拡散シートに形成される明暗パターンが、連
続的にピッチ幅が変化する連続変化ピッチ型明暗ストラ
イプパターンである構成となっている。
【0021】本発明の請求項13に係る表面検査装置
は、前記照明手段の光源からの光を明暗パターンの拡散
光による面照明として被検査面に照射させるような所定
の明暗パターンを有する複数の光拡散シートが前記光源
と被検査物体との間に設けられ、前記複数の光拡散シー
トには、ピッチ幅の狭い明暗ストライプパターンを有す
る光拡散シート及びピッチ幅の広い明暗ストライプパタ
ーンを有する光拡散シートが含まれる構成となってい
る。
【0022】本発明の請求項14に係る表面検査装置
は、前記光拡散シートが、被検査物体を囲むような門型
形状をなしかつ前記照明手段の光源に対して相対的に移
動可能なシートガイドに張設されている構成となってい
る。
【0023】本発明の請求項15に係る表面検査装置
は、被検査物体の移動方向に直交する方向に配列された
前記複数のCCDカメラの視野は、被検査面の横断面輪
郭に沿う連続した帯状をなし、前記CCDカメラでの受
光画像における水平又は垂直方向と被検査物体の移動方
向とが一致している構成となっている。
【0024】本発明の請求項16に係る表面検査装置
は、隣接するCCDカメラ同士の視野が、お互いに所定
領域だけオーバーラップしている構成となっている。
【0025】本発明の請求項17に係る表面検査装置
は、前記CCDカメラの調整が、被検査物体の横断面輪
郭に略適合した形成をなし、かつ、表面に所定の間隔で
点、線、格子線のうち少なくともいずれか1つの参照パ
ターンが描かれた参照モデルを用いて行われる構成とな
っている。
【0026】本発明の請求項18に係る表面検査装置
は、前記参照モデルが、被検査物体の最も大きい横断面
輪郭に略適合した形状である構成となっている。
【0027】本発明の請求項19に係る表面検査装置
は、前記参照モデルの表面地の色が、被検査面の最も反
射率の高い塗装色と同一である構成となっている。
【0028】本発明の請求項20に係る表面検査装置
は、前記CCDカメラの調整が、被検査面の最も反射率
の高い塗装色と同一色で塗装されかつカメラの視野より
も大きいテストピースを前記参照モデルの表面上に配置
して行う構成となっている。
【0029】
【発明の効果】本発明の請求項1に係る表面検査装置に
よれば、移動する被検査物体の表面に明暗パターンを照
射形成し、この明暗パターンが映し出された被検査面を
撮像して、得られる受光画像に基づいて被検査面上の欠
陥を自動的にかつ精度良く検出することができる。ま
た、被検査面が複雑な曲面であっても、表面上の欠陥を
自動的かつ精度良く検出することができる。
【0030】本発明の請求項2に係る表面検査装置によ
れば、撮像手段としてCCDカメラを用いることによ
り、装置全体をコンパクトに構成することができ、か
つ、高精度な撮像画像を得ることができる。
【0031】本発明の請求項3に係る表面検査装置によ
れば、被検査物体の表面にある欠陥をより迅速にかつよ
り高精度に検出することができる。
【0032】本発明の請求項4に係る表面検査装置によ
れば、被検査物体の表面にある種々のタイプの欠陥をよ
り迅速にかつより高精度に検出することができる。
【0033】本発明の請求項5に係る表面検査装置によ
れば、得られた画像情報において、被検査物体の表面に
ある欠陥情報と信号処理において発生するノイズとを明
確に識別して、高精度に欠陥を検出することができる。
【0034】本発明の請求項6に係る表面検査装置によ
れば、得られた画像情報を処理して欠陥を検出する際の
検出処理の効率化が達成され、より短時間で欠陥を検出
することができる。
【0035】本発明の請求項7に係る表面検査装置によ
れば、請求項6の効果に加えて、誤検出が防止でき、よ
り高精度に欠陥を検出することができる。
【0036】本発明の請求項8に係る表面検査装置によ
れば、必要最小限の検査処理により表面欠陥を迅速かつ
高精度に検出することができると共に、被検査物体の展
開図上において表面欠陥を容易に認識することができ
る。
【0037】本発明の請求項9に係る表面検査装置によ
れば、請求項8の効果に加えて、被検査物体の展開図上
における表面欠陥の位置をより高精度に表示することが
できる。
【0038】本発明の請求項10に係る表面検査装置に
よれば、被検査物体の被検査面上に明暗パターンを正確
に形成することができ、表面欠陥を容易かつ高精度に検
出することができる。
【0039】本発明の請求項11ないし13に係る表面
検査装置によれば、ゴミブツ等の比較的高角度な凹凸欠
陥だけでなく、緩い角度の凹凸欠陥をも、高精度に検出
することができる。
【0040】本発明の請求項14に係る表面検査装置に
よれば、シートガイドを照明手段から離れた位置に移動
させることで、例えば照明手段の光源を交換する際に、
その交換作業を容易に行うことができる。
【0041】本発明の請求項15及び16に係る表面検
査装置によれば、検査精度をさらに向上させることがで
きると共に、被検査面全体を隙間なく検査することがで
きる。
【0042】本発明の請求項17に係る表面検査装置に
よれば、参照モデルの採用によって、撮像手段の調整を
より容易にかつ迅速に行うことができる。
【0043】本発明の請求項18に係る表面検査装置に
よれば、請求項17の効果に加えて、検査精度をより一
層向上させることができる。
【0044】本発明の請求項19に係る表面検査装置に
よれば、撮像手段の調整の効率化を達成することができ
る。
【0045】本発明の請求項20に係る表面検査装置に
よれば、参照モデルの表面を塗装することができないよ
うな場合に、撮像手段の調整を効率良く行うことができ
る。
【0046】
【発明の実施の形態】以下、本発明の実施例を図面に基
づいて説明する。
【0047】図1は、本発明に係る表面検査装置の一実
施例を示す正面図であり、自動車の塗装面の欠陥検査を
例にとった場合を示すものである。図1に示すように、
ボディ5の横断面輪郭にほぼ適合するように円弧形状に
形成された照明手段としてのアーチ(門)型照明装置1
は、被検査面上に所定の明暗パターンを映し出すよう構
成されている。また、その明暗パターンは、緩い欠陥
(低角度)を検出するための狭い明暗パターンと、一般
的な凹凸欠陥(高角度な欠陥)を検出するための広い明
暗パターンとを合わせて持つ複合型明暗パターンとして
形成されている。また、照明手段とほぼ同一形状をなし
て併設された固定手段2には、撮像手段としての複数の
CCDカメラ3が固定されており、明暗パターンが投写
された被検査面を撮像するように、所定の位置に各々配
置されている(図1では1つのCCDカメラ3を示
す。)さらに、これらCCDカメラ3は、これらにより
得られる受光画像に基づいて被検査面上の欠陥を検出し
かつその結果を出力する検査処理手段4に接続されてい
る。この検査処理手段4は、画像処理(強調)部41、
追跡処理部42、ホストコンピュータ43で構成されて
いる。また、画像処理部41は、図2に示すように、エ
ッジ検出部13と、エッジを検出処理した画像中のスト
ライプパターン境界部のエッジ輝度レベルに関する物理
量に基づいて所定の演算を行い所定のしきい値を算出す
る第1のしきい値算出部14、そのしきい値より二値化
処理を行う第1の二値化処理部16、さらに、エッジ検
出処理した画像に発生するノイズ(明暗ストライプパタ
ーンのエッジを除く)に関する物理量に基づいて所定の
演算を行い所定のしきい値を算出する第2のしきい値算
出部15、そのしきい値より二値化処理を行う第2の二
値化処理部17、輝度レベルの高い明暗ストライプパタ
ーンの幅を算出し、複数の所定値との比較からストライ
プのピッチ幅が狭い領域か広い領域か又は非検査面領域
であるかを判定する二値化領域判定部18等で構成され
ている。
【0048】さらに、検査処理手段4で検出された欠陥
検出結果は、図1に示すように、プリンター10で出力
される。
【0049】一方、台車6に載せられたボディ5は、レ
ール7上の搬送コンベア8によって、照明手段1及びC
CDカメラを固定する固定手段2の中を移動し、その時
点で検査処理手段4により所定の処理が行われ、被検査
面であるボディ5の塗装面の欠陥検出検査が行われる。
【0050】図3は、本装置の概略平面図である。図3
に示すように、照明手段1と固定手段2との位置関係
は、ボディ5の搬送方向(図中の矢印の方向)に対して
垂直に設置され、かつ、アーチ型を形成している。CC
Dカメラ3は、カメラ取付位置及び角度が自在に調整で
きるような構造(図示せず)をした調整固定治具3´を
介して、固定手段2(以下カメラスタンドと称す)に対
して所定の位置及び角度に配置固定されている。
【0051】図4は、本装置の概略側面図である。図4
に示すように、ボディ5は車輪6´を備える台車6に載
せられ、レール7上の搬送コンベア8(図示せず)によ
り、照明手段1及びカメラスタンド2の中を移動する。
【0052】ここで、本発明に係る表面検査装置の一部
を構成する照明手段1について説明する。
【0053】上記照明手段1の形状は、図1に示すよう
に、被検査物体(本実施例ではボディ5)の搬送方向に
直角な方向での横断面輪郭にほぼ適合した形状である。
このような形状とすることにより、照明手段1の光照射
面から被検査物体の表面までの距離が、部位にかかわら
ずほぼ一定となり、よって照明手段1からの光が被検査
物体の表面に斑なくほぼ均一に照射される。
【0054】次に、照明手段の構造について説明する。
【0055】照明手段1は、光源の光を被検査面に無駄
なくかつ斑なく照射するために、光源の裏側に白色もし
くは光を拡散反射するよう表面処理された背面板を有
し、この背面板に複数の光源がほぼ等間隔に取り付けら
れた構造となっている。図5及び図6は、その一実施例
を示すものである。
【0056】図5に示すように、U字管タイプの蛍光灯
101が、背面板102にほぼ等間隔に取付られてい
る。また、この蛍光灯101は、1つの背面板102の
被検査物体側に2列計4本取り付けられ、その裏側に蛍
光灯101を高周波点灯させる電源107(図8参照)
が取り付けられて照明ユニット104を形成している。
このような照明ユニット104を図6に示すようなアー
チ形状をした支柱103に隙間無く取り付けることによ
り、上記照明手段1が実現できる。
【0057】次に、照明手段における明暗パターンの形
成手法について説明する。
【0058】図7は、光拡散シートとしての明暗パター
ンシート105及びシートガイド106の構成を示す斜
視図であり、図8は、照明手段を構成する部品の位置関
係を説明するための概略断面上視図である。
【0059】図7に示すように、明暗パターンシート1
05は、光を拡散する作用を持ち、かつ、被検査物体の
横断面輪郭形状に沿うように容易に変形できるような、
例えばシート状のものに、例えば艶消し黒色のマスキン
グテープのようなもので所定の明暗パターンが施された
ものである。光を拡散する理由は、ボディ5がメタリッ
ク塗装されるような場合に、メタリックの光輝材の影響
を抑えるためである。さらに、明暗パターンシート(拡
散シート)105は、狭い明暗ストライプパターンと広
い明暗ストライプパターンを合わせて持つ複合型明暗ス
トライプパターンとして形成されている。
【0060】また、拡散シート105がしわの生じ易い
材質でかつこのしわによって陰や照明斑が発生する場合
は、図7に示すように、拡散シート105を下方から支
え、かつ、被検査物体の横断面輪郭形状に張るためのシ
ートガイド106を用いることで、上述しわの発生を抑
えることができる。このシートガイド106は、艶消し
黒色に塗装されており、シートガイドの支柱は、拡散シ
ート105の明暗パターンの暗部内に重なるような間隔
となっている。拡散シート105とシートガイド106
とは,この支柱部分で艶消し黒色のボルト、ナット、ワ
ッシャ等を用いて固定されている(不図示)。
【0061】さらに、シートガイド106には、図7に
示すように、キャスター106´が取り付けられてお
り、拡散シート105を張った状態で移動ができる構造
となっている。故に、図6に示すように、照明手段1に
対して移動可能であれば、図9に示すように、シートガ
イド106(図中点線)は照明手段1とは別個に独立し
て移動できるので(図中矢印)、例えば照明手段1の蛍
光灯101を交換する際に、その交換作業が容易に行え
る。なお、上記照明手段の構成は本実施例に限定される
ものではない。
【0062】明暗パターンの他の実施例としては、図1
0に示すように、ピッチ幅の狭い明暗ストライプパター
ンから順次ピッチ幅の広い明暗ストライプパターンへ連
続的に変化する連続変化ピッチ型の明暗ストライプパタ
ーンを構成する光拡散シート205を採用することがで
きる。
【0063】次に、撮像手段を固定する固定手段につい
て詳細に説明する。
【0064】図11は、固定手段としてのカメラスタン
ド2の概略図を示すものであり、図12は,カメラの視
野を説明する図である。
【0065】図11に示すように、カメラスタンド2
は、ボディ5の横断面輪郭形状にほぼ沿った形状であ
る。これは、カメラ3からボディ5の表面までの距離を
全てのカメラでほぼ一定にするためであり、その結果、
全てのカメラでの視野の大きさがほぼ同一となる。ボデ
ィ5の形状に応じて上述距離の細かい調整やカメラの向
きの調整を行う場合は、カメラスタンド2の所定位置に
固定された調整固定治具3´を調整することにより行わ
れる。調整固定治具3´でも調整できないような場合、
例えば、ボディ5のフード部5h(ボンネット)とルー
フ部5r(天井)といった高さの大きく異なる面では、
レンズの焦点距離を変えてカメラ視野の大きさを調整し
てもよい。
【0066】さらに、図12に示すように、各々隣合う
カメラ3同士の視野は、所定の大きさ以上でオーバーラ
ップした帯状となるように調整されている。上記のよう
に、フード部5hとルーフ部5rでは高さが大きく異な
るが、図からも明らかのように、これらの部位は、同一
のカメラ3で同時に検査されることはないので、図11
に示すようにフード用(上段列のカメラ3)及びルーフ
用(下段列のカメラ3)と、カメラを切り換えて各々調
整してもよい。カメラ3の切り換え位置Lf,Lrは、
図12に示すような検査の必要のない前後ウィンドウ部
5wf,5wrが適当である。このとき、ルーフ用カメ
ラの視野は、他の側面用カメラ及びフード用カメラと同
様に、ルーフ部で帯状となる。
【0067】また、上記カメラ視野のオーバーラップ
は、図12の斜線部301のような領域であるが、オー
バーラップ量が大きいほどカメラの台数が増加してしま
う。従って、検出したい欠陥の最小の大きさから画像の
分解能、つまりカメラ1台あたりの視野の大きさを決定
し、その視野の大きさから被検査面全面を検査するのに
必要なおよそのカメラの台数を決定し、最終的にオーバ
ーラップ量を決定すればよい。
【0068】図12に示すように、長方形で表した各々
のカメラ視野302は、カメラ受光画像中をボディ5が
水平もしくは垂直方向に移動するような向きに、斜めに
なることなく固定される。
【0069】次に、被検出物体を搬送する搬送手段につ
いて説明する。
【0070】図13は、搬送手段を説明するための概略
側面図である。図13に示すように、搬送コンベア8
は、チェーン8a、駆動スプロケット8b、パルスジェ
ネレータ8c、フック8d,8e等により構成される。
パルスジェネレータ8cは、駆動スプロケット8bの回
転量情報を検出するものであり、ここで得られた情報は
ホストコンピュータ43に送られる。台車6の下部の爪
6aには、フック8d,8eが引っ掛かっており、駆動
スプロケット8bが矢印の方向に回転することにより、
チェーン8aが駆動しボディ5が搬送される。よって、
爪6aとフック8d,8eとの間に隙間がなければ、チ
ェーン8a及び駆動スプロケット8bの移動量とボディ
5の移動量とはほぼ一致する。
【0071】従って、台車6に載せられたボディ5は、
搬送コンベア8により、レール7に沿う方向において上
記のような位置に設置及び固定された照明手段1、及び
CCDカメラ3が取り付けられたカメラスタンド2の中
を低速度でかつ振動することなくスムーズに移動し、そ
れと同時に、検査処理手段4により、以下に説明する手
順でボディ塗装面上の欠陥が自動的に検出される。
【0072】次に、撮像手段により得られる受光画像に
基づいて被検査面上の欠陥を検出しその結果を出力する
検査処理手段について説明する。図14及び図15は、
塗装面における一般的な凹凸欠陥(比較的高角度)を検
出するための画像処理手段4における画像処理例及び処
理フローの一例を示すものである。
【0073】上記照明手段によって明暗パターンの映し
出された被検査面をCCDカメラ3で撮像すると、図1
4(a)のようになる。この原画像において、凹凸状の
欠陥部では光が乱反射するため、図のように明パターン
141では暗部143となり現れる。同様に欠陥が暗パ
ターン142にある場合は、明部となり現れる。
【0074】この原画像に対して、微分等のエッジ検出
処理を行い所定のしきい値で2値化すると、図14
(b)に示すように、画像において輝度変化のあった領
域つまり空間周波数の高い領域144が白、それ以外の
部分146が黒となった2値画像が得られる。
【0075】次に、この2値画像の白画素に対して、ラ
ベリング(番号付け)及び面積/重心計算を行う。2値
画像の白画素において欠陥は孤立点として現われ、明暗
パターンの境界線144は画面の上下を横切るような大
きな物体となることから、所定の判定値で面積判定を行
い面積の小さい孤立点のみを抽出すると、図14(c)
に示すような画像となる。
【0076】ここで、ゆず肌といった欠陥にはならない
塗装面上の凹凸があると、図14(c)に示すように、
欠陥143と共に孤立点145(以下、これをノイズと
称す)として抽出される場合がある。
【0077】また、図16は、上記図14及び図15で
示した塗装面における一般的な凹凸欠陥(比較的高角
度)の検出と同時に、緩い凹凸欠陥をも検出するための
画像処理(強調)フローの一例を示すものである。
【0078】ここで、一般的な凹凸欠陥(比較的高角度
の欠陥)の検出は、上記図14及び図15に示すものと
同様であるので省略する。上記照明手段によって明暗パ
ターンの映し出された被検査面をCCDカメラ3で撮像
すると、図17(a)のようになる。この原画像におい
て、緩い凹凸状の欠陥部では光の乱反射(角度)が小さ
いため、この緩い凹凸状の欠陥部を明暗パターンの中央
で検出するのは難しい。
【0079】一方、17(a)に示すような明暗パター
ン境界部では、明暗縞の位置関係から反対側の縞パター
ンを反射することができるため、微分等のエッジ処理画
面ではこの境界上の欠陥は、図17(b)に示すように
高い輝度点となる。この微分画面にて、算出により得ら
れた明暗パターン境界部の輝度平均+aのしきい値を用
いて二値化処理を行うと、図17(c)に示すように、
輝度変化大の領域つまり空間周波数の高い領域(欠陥)
が白、明暗パターン境界部を含むそれ以外の部分が黒と
なる二値画像が得られる。この二値画像の白画素に対し
て、ラベリング(番号付け)及び面積/重心計算を行
う。二値画像の白画素において、欠陥は孤立点であるた
め、所定の判定値で面積判定を行い面積の小さい孤立点
のみを抽出すると、図17(d)のような画像となる。
【0080】ここで、上記図16及び図17で示した画
像処理(強調)手段の二値化領域判定部及び分割二値化
処理部の例について説明する。
【0081】二値化領域判定部は、図18及び図19に
示すように、明暗ストライプ原画像を明部または暗部の
ピッチ幅の狭い領域(小ピッチ)と広い領域(大ピッ
チ)とに判定分割し、狭い領域は上記で算出されたしき
い値2、広い領域は同じく上記で算出されたしきい値1
を用いて二値化処理を行う。これにより、検出処理の効
率化が達成される。また、上記の明暗ストライプの原画
像において背景等の非検査面がある場合は、図20に示
すように、明暗ストライプのピッチ幅Lが、所定値L
以上の場合には、不要な領域と判断して所定のしきい値
3を適用し、所定値L以下の場合には、狭い領域と判
断して上記で算出されたしきい値2を適用し、L>L
>Lの場合は、広い領域と判定して上記で算出された
しきい値1を適用して二値化処理する。これにより、誤
検出が防止できる。
【0082】ここで、明暗ストライプパターンをピッチ
幅の狭い領域と広い領域とに分割するX軸座標Xとし
ては、n個のY軸上の座標Y,Y,…,Ynにおい
て、ピッチ幅LがL以上となるn個のX軸上の座標X
10,X20,…Xnを求め、次式(1)に代入して
得られたその平均値Xを適用する。
【0083】 以上により得られた処理データから欠陥のみを抽出する
ための追跡処理42を図15及び図21を用いて説明す
る。上記のような画像強調手段において、孤立点を抽出
する処理を時間的に連続して行うと、その結果得られる
面積判定画像は図21(a)〜(f)のようになり、こ
れらを重ねると図21(g)のようになる。
【0084】つまり、カメラ及び照明手段は固定されて
おり、一方、被検査物体であるボディ5は移動するの
で、カメラ画像においてボディ表面にある欠陥211
は、ボディの移動に応じて図21(g)の矢印の方向に
移動するが、ノイズ212はボディ5の移動とは無関係
にランダムに発生する。
【0085】よって、時間的に異なる連続した面積判定
画像から、ボディ5の移動量及び移動方向と所定の条件
で一致するものが、最終的に欠陥211と判断できる。
画像における欠陥211の移動方向は、カメラ3に対し
てボディ5がどのような方向で通過するかによって決定
されるため、本実施例のようにカメラ3の位置が固定さ
れかつボディ5の搬送方向が常に同じであるならば、各
カメラ毎に決定できる。
【0086】さらに、カメラ3の視野が、ボディ5の搬
送方向に平行に設定されていれば、欠陥は画像中の水平
方向もしくは垂直方向に移動することになる。本実施例
では、図21(g)に示すように、欠陥211が画像中
を真横(矢印)に移動するような向きに、カメラ3が固
定されているものとする。
【0087】このようにして得られた時間的に異なる連
続した画像において、まず初めに、各々の画像の白画素
におけるY方向(画面の縦方法)の重心座標の比較を行
う。上記のように、欠陥211は画像中を真横に移動す
るため、2つの画像間でY方向の重心座標がほぼ同じ白
画素があれば、その白画素が欠陥211である可能性が
高いと判断できる。従って、この白画素を欠陥候補とし
てメモリに記憶しておく。
【0088】次に、上記欠陥候補中の白画素において、
2つの画像間のX方向の重心座標の差が、画像における
移動画素数を表わし、その配列方向が移動方向を表わす
ので、これらとボディ移動量から算出した実移動画素数
及び画像におけるボディ5の移動方向とを比較し、それ
らの差が、所定の範囲内(一致しているものとみなす範
囲内)にあれば、その白画素が欠陥である可能性がさら
に高いと判断できる。従って、その白画素の時間的に新
しいX,Y重心座標をメモリに記憶しておく。
【0089】上記のような一連の処理を繰り返し行い、
1つの白画素において、上記比較の結果一致する回数が
所定の回数以上になった場合、その白画素を欠陥と判定
し(図15中の欠陥判定)、欠陥リストに最終的な重心
座標及び面積を書き込み記憶する。
【0090】追跡処理手段42は、上記のような処理を
ボディ5がカメラ視野に映っている間連続して行い、ボ
ディ5が通過した後、上記欠陥リストをホストコンピュ
ータ43に送る。
【0091】上記実移動画素数Nは、次式(2)より算
出できる。
【0092】 N=(t×V×L)/A ・・・(2) ここで、tは画像間時間であり、比較する2つの時間的
に異なる画像間の時間差(例えば、0.1秒)で、本実
施例では画像強調処理の処理時間に相当する。これは、
追跡処理手段42が画像強調手段41からデータ(面積
判定後の面積/重心座標データ)を受け取る間隔を計数
すれば測定可能である。
【0093】Vは、ボディ5の移動速度(例えば、10
0mm/sec)であり、パルスジェネレータ8から送
られる駆動スプロケット8bの回転量情報に基づいてホ
ストコンピュータ43により算出され、追跡処理手段4
2に随時送られる。
【0094】Lは、画像サイズ、すなわち、画像におけ
るボディ5の移動方向の画素数であり、例えば、X×Y
=512×480の画素の画像で、ボディ5がX方向に
移動するならば、L=512となる。
【0095】Aは、カメラの視野であり、具体的には、
被検査面におけるカメラの視野のボディ移動方向の寸法
である。例えば、被検査面において、1つのカメラ視野
302(図12参照)が、X×Y=120mm×100
mmで、ボディ5がX方向に移動するならば、A=12
0mmとなる。
【0096】ここで、上記画像間時間t、ボディ移動速
度V及びカメラ視野Aの関係について説明する。本実施
例では、tは画像強調処理時間に相当するが、時間tの
間にカメラ視野Aを通過してしまうほど速度Vが速すぎ
ると、欠陥が存在する場合に、同一の欠陥が画像中に2
回以上出現しなくなり、上記追跡処理が成立しない。よ
って、欠陥が画像中に少なくとも2回以上映るように、
画像間時間t、ボディ移動速度V及びカメラ視野Aを設
定する必要がある。
【0097】また、所定の時間間隔毎にタイマー割り込
みをかけて上記画像強調処理を実行すれば、画像間時間
tは一定となるため、上記各種の調整や演算が容易とな
る。なお、上記画像強調手段41及び追跡処理手段42
は、本実施例に限定されるものではない。
【0098】上記のような検査処理により、ボディ1台
分の検査が終了すると、その欠陥検査結果に基づいて、
ボディ表面上の欠陥位置に対応するボディ展開図上の位
置にマーク、例えば丸印を表示する。この手順を以下に
説明する。
【0099】先ず、被検査物体が、照明手段及び撮像手
段に囲まれる領域を移動する際に、その検査を開始する
時期及び終了する時期を判定する検査開始終了判定手段
について説明する。
【0100】検査開始終了判定手段は、ボディ5の移動
を検出して各種検査処理の開始及び終了のタイミング
(図22において、線Lsは検査開始位置、線Leは検
査終了位置を示す)を判断するもので、例えば、透過型
光電スイッチをボディ5の搬送方向に対して垂直方向
に、かつ、ボディ5の先端及び後端が光電スイッチの光
を遮るような高さに、さらに、カメラ視野にボディ5の
先端が映る直前にボディ5が上記光電スイッチを遮るよ
うな位置に取付けることによって実現できる。
【0101】ボディ5及び台車6の相対的な位置関係が
既知であれば、上記光電スイッチを台車6に合わせて取
り付けても良い。
【0102】他の実施例としては、カメラ視野内にボデ
ィ5が入りカメラ画像にボディ5が映っているとき及び
ボディ5がなく背景が映っているときの画像の輝度の違
いを利用して、検査の開始及び終了のタイミングを判断
してもよい。なお、上記検査開始終了判定手段は、本実
施例に限定されるものではない。
【0103】次に、上述の手法により検出された検査開
始時点を基準として被検査物体の移動量を測定する移動
量測定手段について説明する。本実施例では、被検査物
体すなわちボディ5の移動量は、パルスジェネレータ8
cから得られる駆動スプロケット8bの回転情報及びホ
ストコンピュータ43の内部クロック等の時間情報から
移動距離として算出することができる。
【0104】つまり、検査処理手段4(図1参照)は常
にボディ5の検査位置を把握することができ、これによ
り、上記追跡処理手段42で検出された欠陥のボディ上
での位置が算出できる。従って、ホストコンピュータ4
3には、最終的に欠陥の面積/重心座標及びボディ上で
の位置情報がリストに記憶される。
【0105】上記一連の処理が各々のカメラ画像に対し
て実行され、上記検出した欠陥のリスト情報に基づい
て、例えば図22に示されるような被検査物体(ボディ
5)の展開図における表示位置を算出してマークする。
図22中のY軸方向における欠陥表示位置は、各々のカ
メラ視野の大きさ及びカメラ位置が既知であり、かつ、
上記のように画像中を移動する欠陥のY軸方向の重心座
標がほとんど変化しないことから、展開図の縮尺度が決
まれば容易に算出できる。同様に、X軸方向における欠
陥表示位置は、図22中の検査開始位置Lsを基準とし
て、ボディ5の移動量から算出できる。このように、欠
陥位置にマークを表示した展開図は、例えば、モニター
やプリンターなどの出力装置に出力される。
【0106】次に、異なるピッチの明暗ストライプパタ
ーンを備えた光拡散シートを複数(本実施例では2個)
有する場合の実施例について、図23及び図24に基づ
き説明する。この実施例では、図23に示すように、被
検査面を撮像する場所が異なるので、被検査面の同一位
置を見るためにカメラ3を2台有し、かつ入力に対応し
て2つの検査処理部4a,4bを有する。この検査処理
部4a,4bは、主に画像処理部41a,41b、追跡
処理部42a,42b、ホストコンピュータ43でそれ
ぞれ構成される。
【0107】ここで、画像処理部41a,41bは、図
24に示すように、それぞれの所定値以上の成分を並列
に抽出する。すなわち、狭い明暗ストライプパターン2
3側の検査処理部4aでは、(ストライプエッジ部輝度
レベル平均+a)により算出したしきい値により二値化
処理が行われる。また、広い明暗ストライプパターン2
32側の検査処理部4bでは、エッジ検出処理した画像
に発生する(ノイズ平均+a)により算出したしきい値
により二値化処理が行われる。以上のような処理により
得られた画像は、図25に示すようになる。
【0108】また、図26は、他の実施例を示すライン
の概略平面図である。
【0109】この実施例では、照明手段1a,1bとカ
メラスタンド2a,2bとは、各々アーチ型をなしてお
り、ボディ5の搬送方向(図中の矢印の方向)に配列さ
れている。ここで、照明手段1a,1bには、異なるピ
ッチの明暗ストライプパターンを有するシートが設置さ
れている。CCDカメラ3a,3bは、カメラの取付位
置及び取付角度が自在に調整できるような構造(図示せ
ず)をした調整固定治具3a´,3b´により、カメラ
スタンド2a,2bに所定の位置及び角度にて固定され
ている。尚、欠陥検出手法については上述の実施例と同
様である。
【0110】次に、ピッチ幅が連続的に変化する連続変
化ピッチ型明暗ストライプパターンを有する場合の実施
例について、図27ないし図29に基づいて説明する。
この実施例は、第1の実施例と同様の構成及び欠陥検出
手法を採用するものであるが、明暗ストライプパターン
271(図28参照)及び追跡処理部の追跡処理条件
(図29参照)が異なる。具体的には、図29に示すよ
うに、欠陥のサイズ(大きさ)により追跡条件を変更す
る。又、この場合には、ピッチ幅変化による検出回数の
低下があるため、検出精度を確保するべく画像処理装置
272の処理速度を数倍に上げる必要がある。尚、図2
7中の画像処理装置272は、前述実施例同様画像処理
及び追跡処理部を有するものである。
【0111】次に、参照モデル及び各種カメラの調整方
法について説明する。図30は、ドア面5d及びフード
/トランク面5ht調整用の参照モデル91の正面図
(a)、平面図(b)及び側面図(c)をそれぞれ示す
概略図である。図31は、ピラー面5p及びルーフ面5
r調整用の参照モデル92の正面図(a)、平面図
(b)及び側面図(c)をそれぞれ示す概略図である。
【0112】これら参照モデル91,92の形状は、図
からも明らかなように、被検査物体の横断面輪郭とほぼ
適合している。本実施例では、自動車ボディ5のフード
面5hとルーフ面5rの高さの差が大きいため、それぞ
れ別々のカメラで検査するべく、2種類の参照モデル9
1,92を用意するが、参照モデルの種類は被検査物体
の形状に応じて適宜用意すれば良い。
【0113】また、参照モデルの表面には、図のように
参照パターンとしての所定間隔の格子線が描かれてお
り、各カメラでこの格子線を映しモニターで確認しなが
ら、カメラ視野を図12のように調整する。つまり、上
記格子線は、カメラ視野の大きさが確認できればよいの
で、図32(a)に示すような所定の間隔の点や、図3
2(b)に示すような予め決定しておいた視野の大きさ
とほぼ同じ四角形等の図形でも良い。このとき、モニタ
ーに映した参照モデルの図形を見ながらピント調整も同
時に行う。
【0114】図33は、上記調整時における照明手段1
とカメラ3と参照モデル91,92との位置関係を示す
概略平面図である。被検査物体であるボディ5は、搬送
コンベア8によりレール7に沿って移動するため、参照
モデル91,92は移動時のボディ5と同じ位置、つま
りレール7に対して90°で参照モデル91,92の両
端がボディ5の側面と一致する位置に設置し、カメラ3
の調整を行う。
【0115】図34は、上記フード/トランク面5ht
及びドア面5d調整時における照明手段1,カメラ3及
び参照モデル91の位置関係を示す概略正面図であり、
図35はルーフ面5r及びピラー面5p調整時における
照明手段1,カメラ3,及び参照モデル92の位置関係
を示す概略正面図である。図34及び図35に示すよう
に、搬送時のボディ5の高さ位置と参照モデル91,9
2の高さ位置とを一致させるために、調整用台93,9
4に参照モデル91,92をそれぞれ載せてカメラ3の
各種調整を行う。
【0116】次に、参照モデルの形状について説明す
る。
【0117】図30及び図31に示すように、参照モデ
ル91,92の形状は、被検査物体であるボディ5の横
断面輪郭にほぼ適合した形状であるとともに、ボディ5
の最も外側つまり最も大きな横断面の輪郭に適合してい
なければならない。最も大きい横断面輪郭に適合すると
いうことは、カメラ3からの輪郭表面までの距離が最も
小さいということであり、この状態でカメラ3の視野調
整を行えば、それ以外の部位ではカメラ3からの距離が
遠くなる。従って、隣合うカメラ3同士のカメラ視野が
必ずオーバーラップすることになる。
【0118】すなわち、横断面輪郭が最大でない状態で
オーバーラップ量を調整すると、図12に示すようにカ
メラ視野の断面は末広がり状の三角形をなすため、カメ
ラ3と被写体(ボディ5)との距離が小さくなるほど視
野が小さくなり、調整時よりも大きい横断面輪郭を持つ
部位では、所定のオーバーラップ量が確保できない。
【0119】従って、所定のオーバーラップ量を確保す
るには、参照モデルが被検査物体の最も大きい横断面輪
郭に適合した形状であればよく、自動車のボディ5に関
して言えば、例えば、側面ではドア部5d、ルーフ部5
rではその中央部、フード/トランク部5htでは最も
高い部位に適合するように参照モデルを形成すればよ
い。
【0120】図36は、形状の異なる複数の種類のボデ
ィがある場合の参照モデルの決定手法を説明するもので
ある。図36(a)に示すように、ボディAとボディB
の2種類がある場合は、ボディAの横断面輪郭の方が全
ての部位で大きいので、参照モデル91,92は図中の
太線のような形状にする。また、図36(b)に示すよ
うに、ボディAとボディBの横断面輪郭の大きさが各部
位で異なる場合は、ボディA及びボディBの横断面輪郭
の大きい方を滑らかに結ぶ図中の太線のような形状にす
る。
【0121】次に、カメラ3の調整方法について説明す
る。
【0122】カメラ3から被検査面までの距離つまり撮
影距離は、被検査物体の形状や種類によって変化するの
で、全ての領域においてピントが合うようにするために
は、カメラ3の被写界深度(ピントの合う範囲)を上記
撮影距離の変化に対して十分大きくとる必要がある。上
記被写界深度は、レンズ絞り値、レンズ焦点距離、撮影
距離から計算することができるので、カメラ視野の大き
さ等からレンズ仕様、撮影距離、及び必要な被写界深度
を予め決めれば、およそのレンズ絞り値を決定すること
ができる。
【0123】さらに、カメラ3のシャッタースピード
は、本実施例のように被検査物体が移動している場合、
カメラの受光画像が振れないような値である必要があ
り、上記移動速度も考慮した上でおよその絞り及びシャ
ッタースピードを微調整し決定すれば良い。
【0124】以下に、上記絞り及びシャッタースピード
の具体的な調整方法について説明する。レンズの絞り及
びシャッタースピードは、被検査面の光反射特性におい
て最も反射率の高い状態で、カメラの出力信号レベルが
飽和しないように、オシロスコープ等を用いて調整す
る。例えば、被検査物体が自動車ボディのように塗装さ
れている場合は、白やシルバーメタリックといった最も
明度の高い塗装色で調整を行えば良い。また、上記光の
反射量は、照明1及びカメラ3と被検査面までの距離が
短いほど大きいので、例えば本実施例のように照明1及
びカメラ3の位置が固定されていれば、被検査物体の最
大の横断面輪郭より作成された上記参照モデルの表面で
調整を行えば良い。
【0125】上記調整の目安としては、明るさ(輝度)
方向のダイナミックレンジを無駄なく使用するため、カ
メラ3の出力信号レベルがホワイトレベルをオーバーす
る少し手前であればよい。さらに、上記参照モデルの視
野調整用の図形(参照パターン)が描かれている面以外
の背景の部分が、上記のように白やシルバーメタリック
といった反射率の最も高い状態となっていれば、上記カ
メラ3の視野調整と一緒にレンズの絞り及びシャッター
スピードの調整を行うことができ、これにより、カメラ
3の調整を効率良く行うことができる。
【0126】また、上記のように参照モデルの調整面を
塗装することが困難なときは、上記のような白やシルバ
ーメタリックに塗装したカメラ視野より大きいテストピ
ースを用意し、調整したいカメラ視野に対応する参照モ
デル表面に接して置き、それをカメラ3で撮像しながら
調整を行えば良い。
【0127】次に、明暗パターンについて説明する。
【0128】上記画像処理(強調)手段において微分に
よるエッジ検出を用いた場合、画像中の輝度変化を抽出
することになるので、図14(b)に示すように、欠陥
143と共に明暗パターンの境界線も白画素144とし
て抽出される。よって、欠陥143が明暗パターンの境
界線144付近にあると、欠陥143と境界線144と
が一体化してしまい、欠陥143が孤立点として現れな
い場合がある。さらに、1画面当たりに映る境界線の数
が多くなるほど欠陥が消える頻度が高くなるため、欠陥
検出精度が悪化してしまうことになる。例えば、ボディ
5のフロントフェンダーの先端部は、凸状の曲面なので
凸レンズの作用をすることから、明暗パターンのピッチ
が部位によらず一定ならば、カメラ画像には平面部の場
合よりも多くの境界線が映ることになり、欠陥検出精度
が悪化してしまう。
【0129】図37及び図38は、上述の如き問題点を
解決する手法を説明するための図である。
【0130】図37及び図38において、点線371,
381はボディ5の表面で反射しカメラ3の視野に映る
明暗パターンシート105の位置を示すものであり、そ
のときの画像例は図中の(a),(b),(c)のよう
になる。例えば、画像中に明暗パターンの境界線が4本
現れるようにするためには、ボディ5の形状を考慮して
明暗パターンのピッチを設計すれば良い。ここでは、明
暗パターンの境界線の本数が問題であり、画像における
明暗パターンの映り方、つまり、明/暗の順序は欠陥で
の乱反射を利用した検出原理とは無関係なので何等制限
はない。
【0131】また、図示するように、ボディ5の側面
(図37参照)と水平面(図38参照)とにおける明暗
パターンのピッチが異なる場合は、明暗パターンシート
における側面から水平面に移行する位置、例えばアーチ
形状のR部において、明暗パターンが不連続にならない
ように艶消し黒色テープを貼れば、前後のフェンダーか
らフード/トランク面の間のR部でも明暗パターンが極
端に歪むことなく映し出される。
【0132】図37及び図38に示す実施例では、画像
中の境界線を4本としたが、境界線の本数は各カメラに
おいて同じである必要はない。また、境界線が少ないほ
ど画面中に欠陥の現れる頻度は高くなるが、境界線を少
なくするために明暗パターンのピッチを広げすぎると欠
陥での凹凸による乱反射を利用して欠陥を検出する場合
に、小さい欠陥の検出精度が低下してしまうので、これ
らを考慮に入れ実験的に明暗パターンを設計すれば良
い。
【0133】次に、被検査物体の展開図について説明す
る。
【0134】本実施例では、ボディ5の形状に拘らず、
CCDカメラ3の視野に映るボディ表面には、照明手段
1により明暗パターンが形成されるような構成となって
いる。つまり、図39に示すように、CCDカメラ3が
ボディ5に対して斜め前方から撮像するような構成であ
り、このときのカメラ取付角度をθ、カメラの画角を
θとする。このようなカメラ位置で上記検査処理を行
い、図22に示すような通常の展開図に欠陥位置を表示
した場合、実際のボディ上に存在する欠陥の位置と一致
しない場合がある。これは、図39に示すように、カメ
ラ3が斜め前方からの視点で撮像するようになっている
のに対して、展開図はボディの真横(側面図)及び真上
(水平面)からの視点で見た図であり、それぞれ視点が
異なるためである。このような欠陥の表示ズレを防ぐに
は、図40(b)に示すように、ボディ5を実際のカメ
ラ3のように斜め前方から見たような展開図を用いれば
良い。このときの展開図の回転角度は、上記角度θ
θを適用あるいは実験的に決定すれば良い。
【図面の簡単な説明】
【図1】 本発明に係る表面検査装置の一実施例を示す
概略正面図である。
【図2】 本発明に係る表面検査装置の一部を構成する
画像処理部を示すブロック図である。
【図3】 本発明に係る表面検査装置の一実施例を示す
概略平面図である。
【図4】 本発明に係る表面検査装置の一実施例を示す
概略側面図である。
【図5】 本発明に係る表面検査装置の一部を構成する
照明手段を示す概略側面図である。
【図6】 本発明に係る表面検査装置の一部を構成する
照明手段を示す概略正面図である。
【図7】 本発明に係る表面検査装置の一部を構成する
明暗パターン光拡散シート及びシートガイドを示す概略
斜視図である。
【図8】 本発明に係る照明手段、撮像手段,被検査物
体等の位置関係を示す概略平面図である。
【図9】 本発明に係る明暗パターン光拡散シートの移
動を説明するための平面図である。
【図10】 本発明に係る連続変化ピッチ型明暗パター
ン光拡散シート及びシートガイドを示す概略斜視図であ
る。
【図11】 本発明に係るカメラスタンド及びカメラの
配置関係を示す正面図である。
【図12】 本発明に係るカメラ同士のカメラ視野の状
態を説明するための図である。
【図13】 本発明に係る被検査物体の搬送手段を示す
概略側面図である。
【図14】 本発明に係る画像処理手段による画像処理
の例を示す図である。
【図15】 本発明に係る表面検査処理を示すフローチ
ャートである。
【図16】 本発明に係る表面検査処理の他の実施例を
示すフローチャートである。
【図17】 本発明に係る画像処理手段による画像処理
の他の実施例を示す図である。
【図18】 本発明に係る二値化処理を説明するための
図である。
【図19】 本発明に係る二値化処理を説明するための
図である。
【図20】 本発明に係る二値化処理において背景等の
非検査面が存在する場合の二値化処理を説明するための
図である。
【図21】 本発明に係る画像処理手段により面積判定
が行われた画像を示す図である。
【図22】 本発明に係る被検査物体の展開図における
欠陥の表示を説明するための図である。
【図23】 本発明に係る明暗ストライプパターンとし
て、異なるピッチの明暗ストライプパターンを複数備え
る場合の実施例を説明する図である。
【図24】 図23に示す実施例における検査処置を示
すフローチャートである。
【図25】 図23に示す実施例での画像処理の例を示
す図である。
【図26】 本発明に係る照明手段及びカメラ等の配置
の他の実施例を示す平面図である。
【図27】 本発明に係る明暗ストライプパターンとし
て、連続変化ピッチ型明暗ストライプパターンを備える
場合の実施例を説明する図である。
【図28】 本発明に係る明暗ストライプパターンとし
て、連続変化ピッチ型明暗ストライプパターンを備える
場合の実施例を説明する図である。
【図29】 図27に示す実施例における検査処理を示
すフローチャートである。
【図30】 本発明に係る参照モデルを示す図である。
【図31】 本発明に係る参照モデルを示す図である。
【図32】 本発明に係る参照モデルの表面に設けるマ
ークの他の実施例を示す図である。
【図33】 本発明に係るカメラの調整時における照明
手段、カメラ、参照モデル等の位置関係を示す平面図で
ある。
【図34】 本発明に係る被検査物体としての自動車ボ
ディのフード面,トランク面、及びドア面に対するカメ
ラ調整時の照明手段、カメラ、参照モデル等の位置関係
を示す正面図である。
【図35】 本発明に係る被検査物体としての自動車ボ
ディのルーフ面及びピラー面に対するカメラ調整時の照
明手段、カメラ、参照モデル等の位置関係を示す正面図
である。
【図36】 本発明に係る参照モデルの輪郭の決定手法
を説明するための図である。
【図37】 本発明に係る明暗ストライプパターンを説
明するための図である。
【図38】 本発明に係る明暗ストライプパターンを説
明するための図である。
【図39】 本発明に係るカメラの取り付け方向を説明
するための平面図である。
【図40】 図39に示すカメラの取り付け状態に対応
するボディの展開図を作成する手法を説明する図であ
る。
【符号の説明】
1 照明手段 2 カメラスタンド(固定手段) 3 CCDカメラ(撮像手段) 4 検査処理手段 5 ボディ(被検査物体) 6 台車 7 レール 8 搬送コンベア(搬送手段) 8a チェーン 8b 駆動スプロケット 8c パルスジュネレータ 8d,8e フック 10 プリンター 13 エッジ検出部 14,15 しきい値算出部 16,17 二値化処理部 18 領域判定部 41 画像処理部 42 追跡処理部 43 ホストコンピュータ 91,92 参照モデル 93,94 調整用台 101 蛍光灯 102 背面板 103 支柱 104 照明ユニット 105 明暗ストライプパターン光拡散シート 106 シートガイド 205 連続変化ピッチ型明暗ストライプパターン光拡
散シート

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】 被検査物体の被検査面に光を照射し、被
    検査面からの反射光に基づいて受光画像を形成し、前記
    受光画像に基づいて被検査面上に存在する欠陥を検出す
    る表面検査装置であって、 被検査物体を囲むような門型形状に配置された光源を含
    みかつ被検査面上に所定の明暗パターンを形成する照射
    手段と、被検査物体を囲むような門型形状に配置固定さ
    れかつ被検査面からの反射光に基づいて複数の受光画像
    を形成する撮像手段と、被検査物体を所定速度にて搬送
    する搬送手段と、被検査物体が前記照明手段及び撮像手
    段に囲まれる領域を通過する際に、前記撮像手段により
    得られる受光画像に基づいて被検査面上の欠陥を検出し
    その検出情報を出力する検査処理手段とを有することを
    特徴とする表面検査装置。
  2. 【請求項2】 前記撮像手段は、複数のCCDカメラか
    らなることを特徴とする請求項1記載の表面検査装置。
  3. 【請求項3】 前記検査処理手段は、撮像手段により得
    られた受光画像の画像情報における空間周波数成分のう
    ち所定レベル以上の高周波数成分のみを抽出する画像処
    理手段と、前記画像処理手段により処理されかつ同一の
    撮像手段により撮像された時間的に異なる画像情報から
    被検査物体の移動量及び移動方向と所定条件下で一致す
    る画像情報を追跡して検出する追跡処理手段とを有する
    ことを特徴とする請求項1又は2記載の表面検査装置。
  4. 【請求項4】 前記検査処理手段は、撮像手段により得
    られた受光画像の画像情報における空間周波数成分のう
    ち複数のタイプの明暗パターンに対応する各々の所定レ
    ベル以上の高周波数成分を同時に抽出する画像処理手段
    と、前記画像処理手段により処理されかつ同一の撮像手
    段により撮像された時間的に異なる画像情報から被検査
    物体の移動量及び移動方向と所定条件下で一致する画像
    情報を追跡して検出する追跡処理手段とを有することを
    特徴とする請求項1又は2記載の表面検査装置。
  5. 【請求項5】 前記画像処理手段は、撮像手段により得
    られた明暗パターンを有する画像情報に対してエッジ検
    出処理を行いかつ所定輝度レベル以上の成分のみを抽出
    するべく、エッジ検出処理した処理画像情報におけるエ
    ッジ輝度レベルに関する物理量に基づいて所定の演算を
    行いしきい値を算出する第1のしきい値算出手段と、エ
    ッジ検出処理した処理画像情報に発生するノイズに関す
    る物理量に基づいて所定の演算を行いしきい値を算出す
    る第2のしきい値算出手段と、前記第1及び第2のしき
    い値算出手段により算出された各々のしきい値に基づい
    て二値化処理を行う二値化処理手段とを有することを特
    徴とする請求項3又は4記載の表面検査装置。
  6. 【請求項6】 前記二値化処理手段は、撮像手段により
    得られた複数のタイプの明暗パターン領域を有する画像
    情報において、明暗パターンのピッチ幅を算出して所定
    値と比較し、前記明暗パターンが複数のタイプの明暗パ
    ターンのいずれの領域に含まれるかを判定する二値化領
    域判定手段と、前記二値化領域判定手段により判定され
    た分割領域に対して前記第1及び第2しきい値算出手段
    により算出された各々のしきい値を適用し同時に二値化
    処理を行う分割型二値化処理手段とを有することを特徴
    とする請求項5記載の表面検査装置。
  7. 【請求項7】 前記二値化処理手段は、撮像手段により
    得られた複数のタイプの明暗パターン及び非検査面領域
    を有する画像情報において、明暗パターンのピッチ幅を
    算出して複数の所定値と比較し、前記明暗パターンがい
    ずれの領域に含まれるかを判定する二値化領域判定手段
    と、前記二値化領域判定手段により判定された分割領域
    に対して前記第1及び第2しきい値算出手段により算出
    された各々のしきい値及び非検査面領域用の所定しきい
    値を適用し同時に二値化処理を行う分割二値化処理手段
    を有することを特徴とする請求項5記載の表面検査装
    置。
  8. 【請求項8】 前記検査処理手段は、被検査物体が前記
    照明手段及び撮像手段により囲まれる領域を通過し始め
    た時点で検査を開始しかつ通過し終った時点で検査を終
    了する判定を行う検査開始終了判定手段と、前記検査開
    始終了判定手段により判定された検査開始時点を基準と
    して被検査物体の移動量を判定する移動量測定手段とを
    備え、前記検査開始終了判定手段及び移動量測定手段に
    より得られた情報に基づき前記追跡処理手段により検出
    された画像情報の被検査面上における位置を算出し、そ
    の算出結果を被検査物体の展開図上に表示することを特
    徴とする請求項3又は4記載の表面検査装置。
  9. 【請求項9】 前記被検査物体の展開図は、被検査物体
    に対する前記撮像手段の取付角度及び画角に基づいて描
    かれていることを特徴とする請求項8記載の表面検査装
    置。
  10. 【請求項10】 前記照明手段の光源からの光を明暗パ
    ターンの拡散光による面照明として被検査面に照射させ
    るような所定の明暗パターンを有する光拡散シートが前
    記光源と被検査物体との間に設けられていることを特徴
    とする請求項1又2記載の表面検査装置。
  11. 【請求項11】 前記光拡散シートに形成される明暗パ
    ターンは、幅狭の明暗ストライプパターンと幅広の明暗
    ストライプパターンを有する複合型明暗ストライプパタ
    ーンであることを特徴とする請求項10記載の表面検査
    装置。
  12. 【請求項12】 前記光拡散シートに形成される明暗パ
    ターンは、連続的にピッチ幅が変化する連続変化ピッチ
    型明暗ストライプパターンであることを特徴とする請求
    項10記載の表面検査装置。
  13. 【請求項13】 前記照明手段の光源からの光を明暗パ
    ターンの拡散光による面照明として被検査面に照射させ
    るような所定の明暗パターンを有する複数の光拡散シー
    トが前記光源と被検査物体との間に設けられ、前記複数
    の光拡散シートには、ピッチ幅の狭い明暗ストライプパ
    ターンを有する光拡散シート及びピッチ幅の広い明暗ス
    トライプパターンを有する光拡散シートが含まれること
    を特徴とする請求項1又は2記載の表面検査装置。
  14. 【請求項14】 前記光拡散シートは、被検査物体を囲
    むような門型形状をなしかつ前記照明手段の光源に対し
    て相対的に移動可能なシートガイドに張設されているこ
    とを特徴とする請求項10ないし13いずれか1つに記
    載の表面検査装置。
  15. 【請求項15】 被検査物体の移動方向に直交する方向
    に配列された前記複数のCCDカメラの視野は、被検査
    面の横断面輪郭に沿う連続した帯状をなし、前記CCD
    カメラでの受光画像における水平又は垂直方向と被検査
    物体の移動方向とが一致していることを特徴とする請求
    項2ないし14いずれか1つに記載の表面検査装置。
  16. 【請求項16】 隣接するCCDカメラ同士の視野は、
    お互いに所定領域だけオーバーラップしていることを特
    徴とする請求項15記載の表面検査装置。
  17. 【請求項17】 前記CCDカメラの調整は、被検査物
    体の横断面輪郭に略適合した形成をなし、かつ、表面に
    所定の間隔で点、線、格子線のうち少なくともいずれか
    1つの参照パターンが描かれた参照モデルを用いて行わ
    れることを特徴とする請求項2ないし16いずれか1つ
    に記載の表面検査装置。
  18. 【請求項18】 前記参照モデルは、被検査物体の最も
    大きい横断面輪郭に略適合した形状であることを特徴と
    する請求項17記載の表面検査装置。
  19. 【請求項19】 前記参照モデルの表面地の色は、被検
    査面の最も反射率の高い塗装色と同一であることを特徴
    とする請求項17又は18記載の表面検査装置。
  20. 【請求項20】 前記CCDカメラの調整は、被検査面
    の最も反射率の高い塗装色と同一色で塗装されかつカメ
    ラの視野よりも大きいテストピースを前記参照モデルの
    表面上に配置して行うことを特徴とする請求項17又は
    18記載の表面検査装置。
JP13005497A 1997-05-20 1997-05-20 表面検査装置 Expired - Fee Related JP3271549B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13005497A JP3271549B2 (ja) 1997-05-20 1997-05-20 表面検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13005497A JP3271549B2 (ja) 1997-05-20 1997-05-20 表面検査装置

Publications (2)

Publication Number Publication Date
JPH10318938A true JPH10318938A (ja) 1998-12-04
JP3271549B2 JP3271549B2 (ja) 2002-04-02

Family

ID=15024952

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13005497A Expired - Fee Related JP3271549B2 (ja) 1997-05-20 1997-05-20 表面検査装置

Country Status (1)

Country Link
JP (1) JP3271549B2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030006064A (ko) * 2001-07-11 2003-01-23 현대자동차주식회사 차량의 글라스 개구부 측정방법
JP2007218743A (ja) * 2006-02-16 2007-08-30 Sumitomo Chemical Co Ltd オブジェクト検出装置及びオブジェクト検出方法
WO2008123604A1 (ja) * 2007-03-29 2008-10-16 Toyota Jidosha Kabushiki Kaisha 表面検査装置
WO2009083251A1 (de) * 2007-12-27 2009-07-09 Carl Zeiss Ag Verfahren und vorrichtung zum optischen inspizieren einer oberfläche an einem gegenstand
KR100971173B1 (ko) * 2003-01-15 2010-07-20 네거브테크 리미티드 웨이퍼 결함을 신속하게 검출하는 온-라인 전기-광학 검출방법과 시스템
JP2010532870A (ja) * 2007-07-12 2010-10-14 カールツァイス アーゲー 物体の表面の光学的な検査方法および検査装置
JP2011226814A (ja) * 2010-04-15 2011-11-10 Fujitsu Ltd 表面欠陥検査装置及び表面欠陥検査方法
JP2013092465A (ja) * 2011-10-26 2013-05-16 Fukuoka Institute Of Technology 三次元表面検査装置および三次元表面検査方法
JP2016032855A (ja) * 2014-07-31 2016-03-10 川崎重工業株式会社 作業装置
JP2017219487A (ja) * 2016-06-09 2017-12-14 本田技研工業株式会社 欠陥検査方法及びその装置
CZ307838B6 (cs) * 2018-02-05 2019-06-12 Christoph Vávra 3D analytický měřicí přístroj optických dat
CN110146507A (zh) * 2019-04-30 2019-08-20 杭州晶耐科光电技术有限公司 汽车漆面表面外观缺陷检测系统及方法
KR102303925B1 (ko) * 2020-03-17 2021-09-27 (주)소닉스 곡면제품 검사용 검사장치
JP2022543370A (ja) * 2019-07-29 2022-10-12 ビーエーエスエフ コーティングス ゲゼルシャフト ミット ベシュレンクテル ハフツング コーティングの乾燥/硬化プロセスを監視するためのデバイスおよび方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004219262A (ja) * 2003-01-15 2004-08-05 Negevtech Ltd ウェーハ欠陥の高速オンライン電気光学的検出のための方法及びシステム
JP5519313B2 (ja) * 2010-02-10 2014-06-11 アプライド マテリアルズ サウス イースト アジア プライベート リミティド ウェーハ欠陥の高速オンライン電気光学的検出のための方法及びシステム

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030006064A (ko) * 2001-07-11 2003-01-23 현대자동차주식회사 차량의 글라스 개구부 측정방법
KR100971173B1 (ko) * 2003-01-15 2010-07-20 네거브테크 리미티드 웨이퍼 결함을 신속하게 검출하는 온-라인 전기-광학 검출방법과 시스템
JP2007218743A (ja) * 2006-02-16 2007-08-30 Sumitomo Chemical Co Ltd オブジェクト検出装置及びオブジェクト検出方法
WO2008123604A1 (ja) * 2007-03-29 2008-10-16 Toyota Jidosha Kabushiki Kaisha 表面検査装置
JP2008249397A (ja) * 2007-03-29 2008-10-16 Toyota Motor Corp 表面検査装置
JP2010532870A (ja) * 2007-07-12 2010-10-14 カールツァイス アーゲー 物体の表面の光学的な検査方法および検査装置
JP2010532871A (ja) * 2007-07-12 2010-10-14 カールツァイス アーゲー 物体の表面を光学検査するための方法および装置
WO2009083251A1 (de) * 2007-12-27 2009-07-09 Carl Zeiss Ag Verfahren und vorrichtung zum optischen inspizieren einer oberfläche an einem gegenstand
JP2011226814A (ja) * 2010-04-15 2011-11-10 Fujitsu Ltd 表面欠陥検査装置及び表面欠陥検査方法
JP2013092465A (ja) * 2011-10-26 2013-05-16 Fukuoka Institute Of Technology 三次元表面検査装置および三次元表面検査方法
JP2016032855A (ja) * 2014-07-31 2016-03-10 川崎重工業株式会社 作業装置
JP2017219487A (ja) * 2016-06-09 2017-12-14 本田技研工業株式会社 欠陥検査方法及びその装置
CN107490580A (zh) * 2016-06-09 2017-12-19 本田技研工业株式会社 缺陷检查方法及其设备
US9897555B2 (en) 2016-06-09 2018-02-20 Honda Motor Co., Ltd. Defect inspection method and apparatus therefor
CZ307838B6 (cs) * 2018-02-05 2019-06-12 Christoph Vávra 3D analytický měřicí přístroj optických dat
CN110146507A (zh) * 2019-04-30 2019-08-20 杭州晶耐科光电技术有限公司 汽车漆面表面外观缺陷检测系统及方法
CN110146507B (zh) * 2019-04-30 2024-01-26 杭州晶耐科光电技术有限公司 汽车漆面表面外观缺陷检测系统及方法
JP2022543370A (ja) * 2019-07-29 2022-10-12 ビーエーエスエフ コーティングス ゲゼルシャフト ミット ベシュレンクテル ハフツング コーティングの乾燥/硬化プロセスを監視するためのデバイスおよび方法
KR102303925B1 (ko) * 2020-03-17 2021-09-27 (주)소닉스 곡면제품 검사용 검사장치

Also Published As

Publication number Publication date
JP3271549B2 (ja) 2002-04-02

Similar Documents

Publication Publication Date Title
JP2976869B2 (ja) 表面欠陥検査装置
JP3271549B2 (ja) 表面検査装置
JP4548912B2 (ja) 透明液体検査装置、および透明液体塗布装置、および透明液体検査方法、および透明液体塗布方法
JP3503130B2 (ja) 表面検査装置
JP3204444B2 (ja) 表面欠陥検査装置
JP3514107B2 (ja) 塗装欠陥検査装置
JP2014081356A (ja) 自動車車体の外観検査装置および外観検査方法
WO2005038445A1 (ja) 表面欠陥検査方法及び装置
JP3204442B2 (ja) 表面欠陥検査装置
JP2000193601A (ja) 表面欠陥検査装置
JPH0979988A (ja) 表面欠陥検査装置
JPH109839A (ja) 表面欠陥検査装置
JP3185599B2 (ja) 表面欠陥検査装置
JP3514122B2 (ja) 表面欠陥検査装置
JP3178508B2 (ja) 表面欠陥検査装置
JPH08145906A (ja) 被検査面の欠陥検査方法およびその装置
JP3757694B2 (ja) 表面欠陥検査方法
WO2005100960A1 (ja) 表面欠陥検査装置
JP3206430B2 (ja) 表面欠陥検査装置
JP3204443B2 (ja) 表面欠陥検査装置
JPH1010054A (ja) 表面欠陥検査装置
JP3201217B2 (ja) 表面欠陥検査装置
JPH1010053A (ja) 表面欠陥検査装置
KR102117697B1 (ko) 표면검사 장치 및 방법
JP3661466B2 (ja) 塗装ムラ検査装置および方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080125

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090125

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090125

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100125

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100125

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110125

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120125

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130125

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130125

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140125

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees