JPH1096615A - 塗装欠陥検査装置 - Google Patents

塗装欠陥検査装置

Info

Publication number
JPH1096615A
JPH1096615A JP8270277A JP27027796A JPH1096615A JP H1096615 A JPH1096615 A JP H1096615A JP 8270277 A JP8270277 A JP 8270277A JP 27027796 A JP27027796 A JP 27027796A JP H1096615 A JPH1096615 A JP H1096615A
Authority
JP
Japan
Prior art keywords
defect
vehicle body
imaging
coating
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8270277A
Other languages
English (en)
Other versions
JP3211681B2 (ja
Inventor
Yutaka Suzuki
裕 鈴木
Masanori Imanishi
正則 今西
Kiyoshi Yoshida
清 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP27027796A priority Critical patent/JP3211681B2/ja
Priority to KR1019970001352A priority patent/KR100228365B1/ko
Publication of JPH1096615A publication Critical patent/JPH1096615A/ja
Application granted granted Critical
Publication of JP3211681B2 publication Critical patent/JP3211681B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

(57)【要約】 【課題】簡単な装置構成により車体の外周面の塗装欠陥
を高精度に検出し、検出した欠陥の位置や程度を一目で
容易に確認できる塗装欠陥検査装置を提供する。 【解決手段】ラインを流れる車体を取り囲むようにスト
ライプ光源4、5とCCDカメラ6を配置し、車体1の
外周面1aに照射された明暗パターンを各CCDカメラ
6で撮像し、画像処理して塗装欠陥を検出するととも
に、各CCDカメラ6に映る車体1のパターンから車体
1の車種を検知する。そして、検出した欠陥の位置とラ
ンクを当該車種の展開図に表示し、外部に出力する。こ
のとき、車種ごとの展開図は各CCDカメラ6の角度か
ら見た展開図とし、また、かかる展開図のボデーの外に
ある欠陥は表示しない。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、たとえば自動車の
生産過程において車体の塗装面の状態を光学的に検査す
る塗装欠陥検査装置に係り、特に、簡単な装置構成によ
り塗装面の欠陥を高精度に検出し、検出した欠陥を車体
の展開図に表示するようにし、さらに、欠陥の程度に応
じて車体の搬送速度を調整し得る塗装欠陥検査装置に関
する。
【0002】
【従来の技術】最近、たとえば車体の塗装状態を光学的
に検査する塗装欠陥検査装置において、車体の塗装面の
欠陥を高精度に検出する技術として、時系列的に撮像さ
れた複数の明暗パターン画像を処理し、それぞれの画像
から抽出された欠陥候補点の移動状態に基づいて欠陥を
検出するようにしたものが開発されている(本出願人に
係る特願平6−223471号、特願平7−02509
0号参照)。
【0003】このとき、被検査面の撮像にあたっては、
一般に、ロボットなどにCCDカメラを持たせて明暗パ
ターン画像を取り込むようにしている。
【0004】
【発明が解決しようとする課題】しかしながら、このよ
うな従来の塗装欠陥検査装置にあっては、ロボットなど
にCCDカメラを持たせて欠陥を検出するため、ロボッ
トなどに対し車種ごとにティーチングを行う必要があ
り、設備費のみならず事前の工数が大幅にかかってい
た。
【0005】また、従来は、検出された欠陥の位置や程
度などを車体の図面上に表示するということは行われて
おらず、車体のどの位置にどの程度の欠陥があるかを一
目で容易に確認することができなかった。
【0006】さらに、その欠陥の補修は人手によって行
われるが、存在する欠陥の数や程度が車体ごとに異なる
ため、補修作業に要する時間、すなわち補修作業時間が
車体ごとに変動することになり、補修作業時間が多くか
かる車体では作業者が一時的にラインを停止させて作業
をしたり、逆に補修作業時間がかからない車体では手待
ち時間が多くなるなど、作業にムラが生じていた。
【0007】本発明は、従来の塗装欠陥検査装置におけ
る上記課題に着目してなされたものであり、簡単な装置
構成により被検査物の塗装面の欠陥を高精度に検出し、
かつ検出した欠陥の位置や程度を一目で容易に確認する
ことができ、さらに検出された欠陥の程度に応じて被検
査物の搬送速度をも調整できるようにした塗装欠陥検査
装置を提供することを目的とする。
【0008】
【課題を解決するための手段】上記目的を達成するため
に、請求項1記載の発明は、被検査物の塗装状態を光学
的に検査する塗装欠陥検査装置において、被検査物と当
該被検査物の外周面に所定の明暗パターンを照射しそれ
を撮像する手段とを互いに相対移動させながら、被検査
物の外周面に照射された明暗パターンを時系列的に撮像
し、得られた明暗パターンの動的画像を処理して、被検
査物の外周面の塗装欠陥を検出し、その検出結果を被検
査物の展開図に表示することを特徴とする。
【0009】請求項2記載の発明は、被検査物の塗装状
態を光学的に検査する塗装欠陥検査装置において、被検
査物の外周面に所定の明暗パターンを照射する明暗パタ
ーン照射手段と、被検査物の外周面を撮像する撮像手段
と、被検査物と前記明暗パターン照射手段および前記撮
像手段とを互いに相対移動させる移動手段と、前記撮像
手段によって時系列的に撮像された明暗パターンの動的
画像を処理して、被検査物の外周面の塗装欠陥を検出す
る欠陥検出手段と、前記欠陥検出手段の結果を被検査物
の展開図に表示する図形処理手段とを有することを特徴
とする。このように構成された本発明にあっては、明暗
パターン照射手段は被検査物の外周面に所定の明暗パタ
ーンを照射する。この照射された明暗パターンは撮像手
段によって被検査物の外周面と共に撮像される。被検査
物と明暗パターン照射手段および撮像手段とは移動手段
によって互いに相対移動するので、撮像手段の撮像部位
は時間の経過と共に移動する。欠陥検出手段は、撮像手
段によって時系列的に撮像された明暗パターンの動的画
像を処理して、被検査物の外周面の塗装欠陥を検出す
る。図形処理手段は欠陥検出手段の結果を被検査物の展
開図に表示する。
【0010】請求項3記載の発明は、上記請求項2記載
の塗装欠陥検査装置において、前記撮像手段によって撮
像された被検査物の撮像パターンを、あらかじめ登録さ
れた種類別の撮像パターンと比較して、被検査物の種類
を決定する種類決定手段を有することを特徴とする。こ
のように構成された本発明にあっては、種類決定手段
は、撮像手段によって撮像された被検査物の撮像パター
ンを、あらかじめ登録された種類別の撮像パターンと比
較して、被検査物の種類を決定する。
【0011】請求項4記載の発明は、上記請求項2記載
の塗装欠陥検査装置において、前記図形処理手段は、前
記欠陥検出手段によって検出された欠陥が被検査物の展
開図の外に位置する場合にはそれを表示しないことを特
徴とする。
【0012】請求項5記載の発明は、上記請求項2記載
の塗装欠陥検査装置において、前記展開図は前記撮像手
段の角度から見た展開図であることを特徴とする。
【0013】請求項6記載の発明は、車体の塗装状態を
光学的に検査する塗装欠陥検査装置において、車体を取
り囲むように配置され、車体の外周面に所定の明暗パタ
ーンを照射する明暗パターン光源と、車体を取り囲むよ
うに配置され、車体の外周面を撮像する複数の撮像カメ
ラと、車体をライン上で移動させるモータと、前記複数
の撮像カメラによって時系列的に撮像された複数の明暗
パターン画像のそれぞれから欠陥候補点を抽出し、抽出
した欠陥候補点の追跡処理を行うことにより、車体の外
周面の塗装欠陥を検出する欠陥検出手段と、前記欠陥検
出手段の結果を車体の展開図に表示する図形処理手段と
を有することを特徴とする。
【0014】このように構成された本発明にあっては、
被検査物である車体を取り囲むように明暗パターン光源
と複数の撮像カメラとが固定して配置されており、明暗
パターン光源によって車体の外周面に所定の明暗パター
ンが照射され、この照射された明暗パターンは複数の撮
像カメラによって車体の外周面と共に撮像される。車体
はモータによって移動するので、複数の撮像カメラによ
る撮像部位は時間の経過と共に移動する。欠陥検出手段
は、複数の撮像カメラによって時系列的に撮像された複
数の明暗パターン画像のそれぞれから欠陥候補点を抽出
し、抽出した欠陥候補点の追跡処理を行うことにより、
車体の外周面の塗装欠陥を検出する。図形処理手段は欠
陥検出手段の結果を車体の展開図に表示する。
【0015】請求項7記載の発明は、上記請求項6記載
の塗装欠陥検査装置において、前記複数の撮像カメラに
よって撮像された車体の撮像パターンを、あらかじめ登
録された車種別の撮像パターンと比較して、車体の種類
を決定する車種決定手段を有することを特徴とする。こ
のように構成された本発明にあっては、車種決定手段
は、複数の撮像カメラによって撮像された車体の撮像パ
ターンを、あらかじめ登録された車種別の撮像パターン
と比較して、車体の種類を決定する。
【0016】請求項8記載の発明は、上記請求項6記載
の塗装欠陥検査装置において、前記図形処理手段は、前
記欠陥検出手段によって検出された欠陥が車体の展開図
の外に位置する場合にはそれを表示しないことを特徴と
する。
【0017】請求項9記載の発明は、上記請求項6記載
の塗装欠陥検査装置において、前記展開図は前記複数の
撮像カメラそれぞれの角度から見た展開図であることを
特徴とする。
【0018】請求項10記載の発明は、上記請求項5ま
たは9記載の塗装欠陥検査装置において、前記展開図は
CAD上で作成されることを特徴とする。
【0019】請求項11記載の発明は、上記請求項5ま
たは9記載の塗装欠陥検査装置において、前記展開図は
実際の車体を撮像して得られる画像データを処理して作
成されることを特徴とする。
【0020】請求項12記載の発明は、上記請求項2ま
たは6記載の塗装欠陥検査装置において、車体の位置を
測定する車体位置測定手段と、前記車体位置測定手段の
測定結果を基準データと比較して車体の位置のずれ分を
算出し、求めたずれ分により、前記欠陥検出手段によっ
て検出された塗装欠陥の位置を補正する欠陥位置補正手
段とを有することを特徴とする。このように構成された
本発明にあっては、車体位置測定手段は車体の位置を測
定し、欠陥位置補正手段は、車体位置測定手段の測定結
果を基準データと比較して車体の位置のずれ分を算出
し、求めたずれ分により、欠陥検出手段によって検出さ
れた塗装欠陥の位置を補正する。図形処理手段は、欠陥
検出手段の結果を、その補正された位置データをもとに
して車体の展開図に表示する。
【0021】請求項13記載の発明は、被検査物の塗装
状態を光学的に検査する塗装欠陥検査装置において、被
検査物の外周面に所定の明暗パターンを照射する明暗パ
ターン照射手段と、被検査物の外周面を撮像する撮像手
段と、前記撮像手段によって時系列的に撮像された明暗
パターンの動的画像を処理して、被検査物の外周面の塗
装欠陥を検出する欠陥検出手段と、当該欠陥検出手段に
よって検出された塗装欠陥の補修作業時間を算出する補
修作業時間算出手段と、当該補修作業時間算出手段によ
り算出された補修作業時間を参照し、被検査物を適正搬
送速度で移動せさせる移動手段とを有することを特徴と
する。
【0022】このように構成された本発明にあっては、
検出された塗装欠陥に応じて被検査物を適正な搬送速度
で搬送する。
【0023】請求項14記載の発明は、被検査物の塗装
状態を光学的に検査する塗装欠陥検査装置において、被
検査物の外周面に所定の明暗パターンを照射する明暗パ
ターン照射手段と、被検査物の外周面を撮像する撮像手
段と、前記撮像手段によって時系列的に撮像された明暗
パターンの動的画像を処理して、被検査物の外周面の塗
装欠陥を欠陥レベル別に検出する欠陥検出手段と、欠陥
レベル別の単位補修作業時間、被検査物の搬送間隔、作
業者数が記憶されている記憶手段と、前記欠陥検出手段
によって欠陥レベル別に検出された塗装欠陥と当該記憶
手段に記憶されている単位補修作業時間とから、前記塗
装欠陥の補修作業時間を算出する補修作業時間算出手段
と、当該補修作業時間算出手段により算出された補修作
業時間、前記記憶手段に記憶されている被検査物の搬送
間隔、作業者数から被検査物のライン上における適正搬
送速度を算出する搬送速度算出手段と、当該搬送速度算
出手段によって算出された適正搬送速度で被検査物を移
動させる移動手段とを有することを特徴とする。
【0024】このように構成された本発明にあっては、
欠陥レベル別に検出された塗装欠陥から塗装欠陥の補修
作業時間を算出し、さらにこの補修作業時間、被検査物
の搬送間隔、作業者数から被検査物のライン上における
適正搬送速度を算出する。被検査物はこの適正搬送速度
で移動される。
【0025】請求項15記載の発明は、上記請求項14
記載の塗装欠陥検査装置において、搬送速度算出手段
は、算出した適正搬送速度が予め設定されている最大速
度を上回る場合には当該最大速度を、また、当該適正搬
送速度が予め設定されている最小速度を下回る場合には
当該最小速度を、被検査物を移動させる場合の適正搬送
速度として前記移動手段に指令することを特徴とする。
【0026】
【発明の効果】請求項1記載の発明によれば、明暗パタ
ーンの動的画像を処理して欠陥を検出する際に、ロボッ
トなどを用いることなく明暗パターンを撮像するので、
従来のようにロボットなどのティーチングを行う必要が
なくなり、設備費や事前の工数の低減された簡単な装置
構成により被検査物の塗装面の欠陥を高精度に検出する
ことができる。また、検出された欠陥を被検査物の展開
図に表示するので、欠陥の位置や程度を一目で容易に確
認することができ、利便性の向上が図られる。
【0027】請求項2記載の発明によれば、明暗パター
ンの動的画像を処理して欠陥を検出する際に、ロボット
などを用いることなく明暗パターンを撮像するので、従
来のようにロボットなどのティーチングを行う必要がな
くなり、設備費や事前の工数の低減された簡単な装置構
成により被検査物の塗装面の欠陥を高精度に検出するこ
とができる。また、検出された欠陥を被検査物の展開図
に表示するので、欠陥の位置や程度を一目で容易に確認
することができ、利便性の向上が図られる。
【0028】請求項3記載の発明によれば、上記請求項
2記載の発明の効果に加え、被検査物の種類の検知を撮
像手段によって撮像された被検査物の撮像パターンに基
づいて行うので、被検査物の種類を検知するための装置
を新たに設ける必要がなく、コストの増加が抑えられ
る。
【0029】請求項4記載の発明によれば、上記請求項
2記載の発明の効果に加え、検出された欠陥が被検査物
の展開図の外に位置する場合にはそれを表示しないの
で、不必要な欠陥の表示がなく、わかりやすい。
【0030】請求項5記載の発明によれば、上記請求項
2記載の発明の効果に加え、欠陥の表示される展開図は
撮像手段の撮像角度から見た展開図であるため、欠陥の
表示の位置ずれをなくすことができる。すなわち、被測
定物の寸法は見る角度によって異なるので、撮像手段の
撮像角度以外の角度(たとえば、真横または真上)から
見た展開図に検出された欠陥位置を表示すると位置がず
れて表示されることになるが、欠陥を表示する展開図を
撮像手段と同じ角度から見た展開図とすることによって
欠陥表示の位置ずれがなくなり、検出された欠陥の位置
を正確に知ることができる。
【0031】請求項6記載の発明によれば、明暗パター
ンの動的画像を処理して欠陥を検出する際に、ロボット
などを用いることなく固定された複数の撮像カメラで明
暗パターンを撮像するので、従来のようにロボットなど
のティーチングを行う必要がなくなり、設備費や事前の
工数の低減された簡単な装置構成により車体の塗装面の
欠陥を高精度に検出することができる。また、検出され
た欠陥を車体の展開図に表示するので、欠陥の位置や程
度を一目で容易に確認することができ、利便性の向上が
図られる。
【0032】請求項7記載の発明によれば、上記請求項
6記載の発明の効果に加え、車種の検知を複数の撮像カ
メラによって撮像された車体の撮像パターンに基づいて
行うので、車種を検知するための装置を新たに設ける必
要がなく、コストの増加が抑えられる。
【0033】請求項8記載の発明によれば、上記請求項
6記載の発明の効果に加え、検出された欠陥が車体の展
開図の外に位置する場合にはそれを表示しないので、不
必要な欠陥の表示がなく、わかりやすい。
【0034】請求項9記載の発明によれば、上記請求項
6記載の発明の効果に加え、欠陥の表示される展開図は
各撮像カメラの角度から見た展開図であるため、欠陥の
表示の位置ずれをなくすことができる。すなわち、車体
の寸法は見る角度によって異なるので、撮像カメラの角
度以外の角度(たとえば、真横または真上)から見た展
開図に検出された欠陥位置を表示すると位置がずれて表
示されることになるが、欠陥を表示する展開図を各撮像
カメラと同じ角度から見た展開図とすることによって欠
陥表示の位置ずれがなくなり、検出された欠陥の位置を
正確に知ることができる。
【0035】請求項10記載の発明によれば、上記請求
項5または9記載の発明の効果に加え、展開図をCAD
上で作成するため、図形処理を簡単に行うことができ、
展開図を容易に作成できる。
【0036】請求項11記載の発明によれば、上記請求
項5または9記載の発明の効果に加え、実際の車体を撮
像して得られる画像データを処理して展開図を作成する
ため、撮像手段または撮像カメラの角度調整を正確に行
わなくても、撮像手段または各撮像カメラの見たままの
展開図を作成することができる。したがって、撮像手段
または撮像カメラの角度調整不良および車体の三次元形
状に起因する展開図自体のずれによる欠陥表示のずれが
なくなり、塗装欠陥検査の作業性が向上する。請求項1
2記載の発明によれば、上記請求項2または6記載の発
明の効果に加え、車体の位置のずれ分を算出して検出さ
れた塗装欠陥の位置を補正するので、車体のずれによる
欠陥位置のずれがなくなる。したがって、検出された欠
陥を展開図に表示する際に欠陥が車体のずれ分だけずれ
て表示されることがなくなり、塗装欠陥検査の作業性が
向上する。
【0037】請求項13記載の発明によれば、塗装欠陥
の補修に必要な時間を算出し、この時間に応じて被検査
物の移動速度を変えるようにしたので、塗装欠陥の補修
作業にムラが無くなり、一定のペースで作業をすること
ができるようになり、補修作業の質的向上が期待でき
る。
【0038】請求項14記載の発明によれば、欠陥レベ
ル別に検出された塗装欠陥と単位補修作業時間とから塗
装欠陥の補修に必要な時間を算出し、この時間、被検査
物の搬送間隔、作業者数から被検査物の移動速度を変え
るようにしたので、塗装欠陥の補修作業にムラが無くな
り、一定のペースで作業をすることができるようにな
り、補修作業の質的向上が期待できる。
【0039】請求項15記載の発明によれば、算出され
た適正搬送速度に対して、最高速度と最低速度を設定し
たので、被検査物が常識を越えた速度で搬送されること
がなくなり、ある程度の範囲内のペースで作業をするこ
とができるようになる。
【0040】
【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて説明する。図1は本発明の一実施形態に係る
塗装欠陥検査装置の光学系の構成図であり、同図(A)
はストライプ光源の設置例を示し、同図(B)はCCD
カメラの設置例を示している。また、図2はストライプ
光源とCCDカメラとの位置関係を示す図である。
【0041】被測定物としての車体1は、台車2の上に
載置された状態で、塗装ブースから検査ステージにコン
ベアによって搬送されてくる。検査ステージには、搬送
されてきた車体1を取り囲むようにトンネル状の取付ス
タンド3に複数の照明装置4が並べて設けられており、
これら各照明装置4の内側には同じくトンネル状のスト
ライプシートスタンド5が配置されている。スタンド3
に取り付ける照明装置4の数は、車体1の全外周面1a
上にくまなく明暗パターンが映し出されるような適当な
数に設定されている。なお、ストライプ光源は照明装置
4とストライプシートスタンド5とからなり、これらは
また明暗パターン照射手段または明暗パターン光源を構
成している。
【0042】各照明装置4にはたとえば直管型の蛍光ラ
ンプが複数本取り付けられている。また、ストライプシ
ートスタンド5は、たとえば、蛍光ランプの光を散乱拡
散させて面光源と同様の光源を作り出す拡散板と、スト
ライプ(明暗縞)パターンを形成させるストライプシー
トとをスタンドに取り付けて構成されており、ストライ
プシートは縦方向の黒色のストライプを横方向に所定の
間隔で施したものである(図2参照)。
【0043】したがって、各照明装置4からの光はスト
ライプシートスタンド5によって拡散されて面状のスト
ライプパターンの光(ストライプ光)となって車体1の
外周面(塗装面である被検査面)1a上に照射される。
このため、車体1の外周面1a上にはストライプシート
スタンド5のストライプシートと同様のストライプ状の
明暗パターン(明暗模様)が映し出されることになる。
【0044】車体1の外周面1a上に照射されたストラ
イプ状の明暗パターンは撮像手段または撮像カメラとし
ての複数(n台)のCCDカメラ6によって撮像され
る。CCDカメラ6もまた車体1を取り囲むようにトン
ネル状のカメラスタンド7に取り付けられている。CC
Dカメラ6の取付け個数と位置は、車体1の全外周面1
aをくまなく撮像できるよう適当に設定されている。す
なわち、各CCDカメラ6は所定の撮像領域(部位)A
を持っており、隣り合うCCDカメラ6の撮像領域Aは
連続していることになる。したがって、設置されている
すべてのCCDカメラ6によって車体1の全外周面1a
がくまなく映し出されることになる。
【0045】各CCDカメラ6(カメラスタンド7)
は、たとえば、車体1の移動方向Bのストライプシート
スタンド5の前方に配置されている(図2参照)。
【0046】なお、各CCDカメラ6は一定の時間間隔
(たとえば、1/30秒)ごとに撮像領域Aのストライ
プ画像(明暗パターン画像ともいう)を後述するカメラ
コントロールユニットを介して画像処理装置に送るよう
になっている。このとき、車体は一定のライン速度で一
定の方向に移動しているので、CCDカメラ6によって
一定時間ごとに撮像されるストライプ画像は、車体1の
外周面1a上の撮像部位Aが一定時間ごとにずれた画像
となる。
【0047】また、照明装置取付け用スタンド3の幅C
は、車体の大きさが異なるいろいろな車種に対応できる
ようにするため、一定の範囲で調整可能である(ストラ
イプシートスタンド5およびカメラスタンド7について
も同様)。
【0048】また、ここでは、車体1を移動させる形態
を示したが、これに限られるわけではなく、ストライプ
光源(照明装置4(取付スタンド3)およびストライプ
シートスタンド5)およびCCDカメラ6(カメラスタ
ンド7)を動かして車体1の外周面1a上の撮像部位A
を時間と共に変化させるようにしてもよい。
【0049】図3は本装置の信号処理系の構成を示すブ
ロック図である。n台のCCDカメラ6はそれぞれカメ
ラコントロールユニット8に接続されており、これらカ
メラコントロールユニット8はそれぞれ欠陥検出手段と
しての画像処理装置9に接続されている。上記したよう
に、CCDカメラ6によって一定時間ごとに撮像された
車体外周面1a上のストライプ画像(明暗パターン画
像)はビデオ信号としてカメラコントロールユニット8
を介して画像処理装置9に送られる。各画像処理装置9
は、CCDカメラ6によって撮像されたストライプ画像
を処理して塗装欠陥を検出するとともに車体(ボデー)
1の有無を検知する機能を有している。検出された塗装
欠陥の位置と程度(大きさまたはランク)および検知さ
れた車体1の有無(位置を含む)はそれぞれ欠陥データ
および車体有無データとして内蔵メモリの所定の領域に
記憶される。画像処理装置9の処理内容は後で詳述す
る。
【0050】各画像処理装置9には図形処理手段として
のホストコンピュータ10が接続されている。ホストコ
ンピュータ10は、各画像処理装置9から送られてくる
欠陥データおよび車体有無データを集計して、車種を検
知し、検出した欠陥の位置と程度をその車種の展開図に
表示する機能を有している。そのため、ホストコンピュ
ータ10の内蔵メモリには、車種ごとの展開図データ、
車種ごとの登録パターンデータ、および各CCDカメラ
6の位置(角度)データなどがあらかじめ記憶されてい
る。
【0051】また、ホストコンピュータ10は、検出さ
れた欠陥を欠陥の程度(欠陥レベル)別に何個存在する
かを認識してその欠陥の補修作業に要する時間(補修作
業時間)を算出する機能と、その補修作業時間に基づい
て最適なライン速度を実現する機能を有している。この
ため、検出された欠陥がどの程度の大きさの場合にはど
の欠陥レベルに該当させるのか、また、その欠陥レベル
の1個当たりの補修にどの程度の時間が必要であるか、
などを判断するために必要となる欠陥レベル、単位補修
作業時間が記憶されて、さらに、ラインを搬送される車
体の搬送間隔が車体間隔として、欠陥補修を行う作業者
数が欠陥補修作業者数としてそれぞれ記憶されている
(図23参照)。なお、車体間隔は、上記のようにホス
トコピュータ10に予め記憶させておく方法の他に、リ
ミットスイッチ15、16のON/OFF信号とパルス
ジェネレータ14からのパルス数に基づいて算出するよ
うにしても良い。このようにすれば、実際の車体間隔が
わかるので、より最適な搬送速度で車体を搬送させるこ
とができるようになる。
【0052】なお、ホストコンピュータ10の処理内容
は後で詳細に説明する。
【0053】ホストコンピュータ10の処理結果はモニ
ター11やプリンタ12に出力される。その出力の一例
は図9に示すとおりである。
【0054】また、ホストコンピュータ10には、コン
ベアを駆動するコンベアモータ13の回転数に応じた数
のパルスを出力するパルスジェネレータ14が接続され
ている。パルスジェネレータ14から出力されるパルス
数はライン速度(車体1の移動速度)に対応しており、
これにより車体1の移動量を認識することができる。パ
ルスジェネレータ14からのライン速度情報は、欠陥検
出処理に供するため、ホストコンピュータ10を介して
各画像処理装置9に送られる一方、ホストコンピュータ
10で算出された最適なライン速度を維持するためのフ
ィードバック情報としてホストコンピュータ10内で用
いられる。
【0055】また、ホストコンピュータ10には、車体
1が検査ステージに入ったこと(車体IN)を検知する
ためのリミットスイッチ15と、車体1が検査ステージ
から出たこと(車体OUT)を検知するためのリミット
スイッチ16とが接続されている。ホストコンピュータ
10は各リミットスイッチ15、16から車体IN情報
または車体OUT情報を入力すると各画像処理装置9に
対し画像処理のON/OFF信号を出力する。
【0056】なお、ここでは、リミットスイッチ16を
設けて車体1が検査ステージから出たことを検知するよ
うにしているが、これに限られるわけではなく、各CC
Dカメラ6からの画像情報をもとに車体1が検査ステー
ジから出たことを検出するようにしてもよい。
【0057】各画像処理装置9における欠陥検出処理は
次のようにして行われる。なお、その欠陥検出処理の内
容は、本出願人に係る特願平6−223471号および
特願平7−025090号に詳細に記述されているの
で、ここではその概略を説明するにとどめる。
【0058】まず、検出原理は次のとおりである。塗装
面に明暗パターンを照射すると、欠陥部で光が乱反射し
孤立点となって見える。そこで、これをCCDカメラ6
で撮像し、高速画像処理して、孤立点(欠陥候補点)と
その動きから欠陥の検出を行う。
【0059】次に、処理の手順について説明すると、C
CDカメラ6から被検査面1aの撮像部位Aの画像を取
り込み、欠陥部分を検出しやすくするため、所定の強調
処理(たとえば、面積判定など)を行って、欠陥候補点
を抽出する。これを撮像時刻の異なる複数の明暗パター
ン画像のすべてについて行う。この画像処理を一定時間
ごとに行うと実際の欠陥は車体1と共に移動するが誤検
出した点は動かないため、それぞれの画像から抽出した
欠陥候補点の追跡を行い、欠陥かどうかを判定する。具
体的には、抽出した欠陥候補点の移動量がパルスジェネ
レータ14の出力から得られる車体1(撮像部位A)の
実際の移動量と等しい場合に限り、その欠陥候補点が車
体1の被検査面1a上に実際に存在する欠陥であると決
定する。このように欠陥候補点の動きを追跡処理するこ
とによって、塗装欠陥を高精度に検出することができ
る。
【0060】また、車種の検知は次のようにして行われ
る。図4は車種検知の原理を説明するための図である。
車体の形状は車種によって異なるため、各CCDカメラ
6に車体1の一部が映っているかどうか、つまり車体1
の有無を検知し、これを撮像時刻の異なる複数の位置に
ついて行う。そして、各CCDカメラ6の各撮像位置に
おける車体1の有無を図4(A)および(B)の右図に
示すようにパターン化する(同図(A)(B)はそれぞ
れ別の車種を示している)。ここで、記号「○」は見え
る場合であり、「×」は見えない場合である。このよう
にして測定されたパターンは車体の形状に対応したもの
となる。したがって、あらかじめ車種ごとに各CCDカ
メラ6の各撮像位置における車体1の有無のパターンを
測定、登録しておき(登録パターンデータ)、検査時に
測定されたパターンを前記車種ごとの登録パターンデー
タと比較することによって、車体1の種類を検知するこ
とができる。なお、車体1の有無は、車体1が無い場合
にはストライプ光源の反射光がなくその部分の画像が暗
くなるので、これによって判断できる。また、車体有無
データは各画像処理装置9で取得され、パターンの比較
による車種検知処理はホストコンピュータ10で行われ
る。
【0061】なお、車種検知のための車体有無データは
必ずしもすべてのCCDカメラ6から取得する必要はな
い。たとえば、通常は左右から見た車体形状は同じであ
るため、どちらか一方の側を撮像するCCDカメラ6を
用いればよい。また、車種ごとの車体形状を特定できる
だけのパターンが得られればよいので、車体1の上部の
パターンに車種ごとにあまり違いがないような場合に
は、車体1の上部を撮像するCCDカメラ6を用いず
に、車体1の側部(のどちらか一方)を撮像するCCD
カメラ6だけを用いることも可能である。
【0062】ホストコンピュータ10は、上記したよう
に、検出された欠陥を当該車種の展開図に表示する機能
を有しているが、ここでは、欠陥を表示する展開図を各
CCDカメラ6の角度から見た展開図として、欠陥の表
示の位置ずれをなすくようにしている。すなわち、車体
の寸法(長さ)は見る角度によって異なり、たとえば、
真横から見るのと斜め前から角度をつけて見るのとでは
車体の長さが違って見える(後者の場合の方が前者の場
合よりも短い)。本装置の各CCDカメラ6は、真横か
ら見ておらず、斜め前から角度をつけて見ている。よっ
て、真横から見た展開図に本装置によって検出された欠
陥位置を表示すると、実際の位置とはずれて欠陥が表示
されてしまう。そこで、欠陥を表示する展開図は、CA
D上で、各CCDカメラ6と同じ角度から見たように回
転させて作成している。かかる展開図は、あらかじめ、
内蔵メモリに記憶されている車種ごとの展開図データお
よび各CCDカメラ6の位置(角度)データから自動的
に作成され、内蔵メモリの他の領域に記憶されている。
【0063】次に、以上のように構成された本装置の動
作を図5〜図7のフローチャートを用いて説明する。図
5は本装置の動作を示すメインフローチャートである。
リミットスイッチ15によって車体1が検査ステージに
入ってきたことが検出されると(ステップS1)、ホス
トコンピュータ10は各画像処理装置9に画像処理ON
信号を出力して測定を開始させる(ステップS2)。ま
た、ここでは、車体INと同時に、各照明装置4を点灯
させ、かつ、各CCDカメラ6の電源を投入するように
なっている。なお、各照明装置4と各CCDカメラ6
は、検査ステージへのIN/OUTに応じてON/OF
Fすることなく、たとえば、ラインの稼働中は最初の車
体が入ってから最後の車体が出るまで常にONしておく
ようにしてもよい。
【0064】測定が始まると、ステップS3で、各画像
処理装置9は、上記した欠陥検出処理を行う。すなわ
ち、対応するCCDカメラ6から被検査面1aの撮像部
位Aの画像を取り込み、所定の強調処理を行って欠陥候
補点を抽出する。抽出した欠陥候補点は、その位置と大
きさを内蔵メモリの所定の領域に記憶しておく。そし
て、この抽出処理を一定時間ごとに所定回数行った後、
複数の画像のそれぞれから抽出した欠陥候補点の位置や
大きさから、その欠陥候補点が各画像において時系列的
にどのように移動しているかを算出し、この移動量がパ
ルスジェネレータ14の出力から得られる車体1(撮像
部位A)の実際の移動に同期していると判断された場合
に、その欠陥候補点を実際の欠陥であると決定する。こ
のようにして検出した欠陥は、その位置と大きさ(程
度)を欠陥データとして内蔵メモリの他の所定の領域に
記憶する。
【0065】また、各画像処理装置9は、対応するCC
Dカメラ6の画像データから、車体1の一部が映ってい
るかどうか(車体1の有無)を検知し、その結果を撮像
位置データと共に内蔵メモリの所定の領域に車体有無デ
ータとして記憶する(ステップS4)。
【0066】上記ステップS3とステップS4の各処理
は、リミットスイッチ16によって車体1が検査ステー
ジから出たことが検出されるまで、すなわち、車体1が
通過するまで(ステップS5)繰り返される。これによ
り、車体1の全外周面1a上の欠陥が検出され、また、
車体のパターン(車体有無データの集合)が測定される
ことになる。
【0067】車体1が通過すると、ホストコンピュータ
10は、各画像処理装置9の処理結果を集計する。な
お、ここでは、省エネのため、車体1の通過と同時に、
各照明装置4を消灯させ、かつ、各CCDカメラ6の電
源を切るようになっている。
【0068】まず、ステップS6で、車種の検知を行
う。これは、欠陥を表示する展開図を選択するためであ
る。図6はその車種検知処理の内容を示すフローチャー
トである。まず、各画像処理装置9からステップS4で
得られた車体有無データの集合である車体1の測定パタ
ーンを取り込み(ステップS11)、この測定パターン
をあらかじめホストコンピュータ10の内蔵メモリに登
録してあるすべてのパターンと比較して、それぞれにお
ける「○」と「×」の一致した数を求める(ステップS
12)。そして、一致した数が最も多い車種を当該車体
1の車種であると決定し(ステップS13)、メインフ
ローチャートにリターンする。
【0069】次に、ステップS7で、不要欠陥の削除を
行う。すなわち、検出された欠陥が車体展開図のボデー
以外の位置にあるものは削除し、表示しないようにす
る。図7はその不要欠陥削除処理の内容を示すフローチ
ャートである。まず、検出されたすべての欠陥の中から
任意に1つの欠陥を選択し、その位置データをもとに、
当該車種の展開図(各CCDカメラ6の角度から見た展
開図)上におけるその欠陥の位置を算出し(ステップS
21)、求めた欠陥位置が車体1の外周面1a上にある
かどうかをその展開図より判断する(ステップS2
2)。この判断の結果としてYESであれば、当該欠陥
をその展開図に表示する処理を行い(ステップS2
3)、NOであれば、ステップS23の処理を行うこと
なくただちにステップS24に進む。そして、以上の一
連の処理をすべての欠陥について行い、すなわち、検出
した欠陥の数だけ繰り返した後(ステップS24)、メ
インフローチャートにリターンする。たとえば、この処
理により、図8に示すカメラ#12によって検出された
2つの欠陥D1 、D2 はボデー以外の位置にあるので展
開図に表示されない。
【0070】そして、次のステップS8で、ステップS
7で得られた、不要欠陥を除くすべての欠陥を表示した
車体展開図を、モニター11の画面に表示したり、プリ
ンタ12からプリントアウトする。図9には、ホストコ
ンピュータ10からモニター11やプリンタ12を介し
て出力される欠陥表示付きの車体展開図の一例を示して
ある。これにより、作業者は、車体のどの位置にどの程
度の欠陥があるかを一目で容易に確認することができ
る。
【0071】したがって、本実施形態によれば、明暗パ
ターンの動的画像を処理して欠陥を検出する際に、ロボ
ットなどを用いることなく固定された複数のCCDカメ
ラ6で明暗パターンを撮像するので、従来のようにロボ
ットなどのティーチングを行う必要がなくなり、設備費
や事前の工数の低減された簡単な装置構成により車体の
塗装面の欠陥を高精度に検出することができる。
【0072】また、検出された欠陥を車体の展開図に表
示するので、欠陥の位置や程度を一目で容易に確認する
ことができ、利便性の向上が図られる。
【0073】また、車種の検知を複数のCCDカメラ6
によって測定された車体のパターンに基づいて行うの
で、車種を検知するための装置を新たに設ける必要がな
く、コストの増加が抑えられる。
【0074】また、検出された欠陥が車体の展開図の外
に位置する場合にはそれを表示しないので、不必要な欠
陥の表示がなく、わかりやすい。
【0075】また、欠陥を表示する展開図は各CCDカ
メラ6の角度から見た展開図であるため、欠陥の位置を
CCDカメラ6の角度に応じてその都度変換する必要が
なく、コンピュータ10の負荷が低減されるばかりか、
欠陥の表示の位置ずれをなくすことができるので、検出
された欠陥の位置を正確に知ることができる。
【0076】次に、本発明の他の実施形態について説明
する。ここでは、上記した第1の実施形態に対し下記の
2点を変更・追加している。まず第1に、第1の実施形
態では展開図をCAD上で作成するようにしているが、
本案では実際の車体を撮像して展開図を作成するように
している(変更点)。第2に、本案では車体の位置のず
れを検出して欠陥位置に補正をかけるようにしている
(追加点)。これらは共に展開図上への欠陥表示のずれ
を防止して、より一層正確に欠陥を表示できるようにす
るためである。
【0077】すなわち、前者は、CAD上で展開図を作
成する場合、各CCDカメラをすべて同じ角度に調整す
る必要があるが、かかる調整を行うのは困難であり、ま
た、車体は三次元形状であるため、CAD作成の展開図
自体にずれが生じ、その結果欠陥の表示がずれてしまう
おそれがあることから、CCDカメラの見たままの展開
図を作成できるようにして、展開図自体のずれによる欠
陥表示のずれをなくすようにしたものである。また、後
者は、台車に対し車体の位置がずれている場合、検査結
果(欠陥)を展開図に表示する時に車体のずれ分だけ欠
陥がずれて表示されるおそれがあるので、車体のずれを
測定して検出された欠陥位置を補正するようにして、車
体位置のずれによる欠陥表示のずれをなくすようにした
ものである。なお、ここでは両者を共に含む実施形態に
ついて説明するが、もちろん、どちらか一方だけを用い
ることもできる。
【0078】図10はこの第2の実施形態に係る塗装欠
陥検査装置の信号処理系の構成を示すブロック図、図1
1は後述する面光源とCCDカメラとの位置関係を示す
図である。なお、図1〜図3と共通する部分には同一の
符号を付し、その説明を一部省略する。
【0079】本案では、実際に車体1の塗装欠陥を検出
する前述の検査ステージ(図1参照)のほかに、車体展
開図を作成するための測定ステージ(図示せず)を有し
ている。測定ステージは、たとえば、同一ライン上、検
査ステージの下流側に設置されている。測定ステージの
光学系の構成は図1に示す検査ステージとほぼ同様であ
って、ただ、検査ステージではストライプ光源5を用い
るのに対し、測定ステージではストライプ光源ではなく
均一な面光源20を用いる(図11参照)点で異なるの
みである。この面光源20は、検査ステージのストライ
プシートスタンド5からストライプシートを取り除いた
構造のものである(つまり、単に拡散板をスタンドに取
り付けて成る)。面光源20から車体1の外周面1a上
に照射された光は複数(m台)のCCDカメラ21によ
って撮像される。CCDカメラ21によって車体1の全
外周面1aが撮像される。上記のようにストライプ光源
か面光源かの別を除き測定ステージと検査ステージとを
同じに構成すれば(つまり、CCDカメラの個数も同じ
(n=m))、設備の共通化が図られ、コストや取扱い
の点で有利である。
【0080】なお、本案では完全自動化を考慮して検査
ステージと測定ステージという2種類のステージを設け
ているが、もちろん、これに限定されるわけではない。
すなわち、ステージは必ずしも分ける必要はなく、前述
の検査ステージを用いて車体展開図を作成することも可
能である。この場合には、展開図を作成する時だけスト
ライプシートを外し、検査ステージで展開図作成プログ
ラムを動作させればよい。
【0081】測定ステージに設置されたm台のCCDカ
メラ21はそれぞれカメラコントロールユニット22に
接続されており、これらカメラコントロールユニット2
2はそれぞれ画像処理装置23に接続されている。各C
CDカメラ21によって撮像された車体外周面1aの各
部分の画像はビデオ信号としてカメラコントロールユニ
ット22を介して画像処理装置23に送られる。各画像
処理装置23は、CCDカメラ21によって撮像された
画像データを処理して塗装面の境界部を抽出する機能を
有している。各画像処理装置23はさらにホストコンピ
ュータ10に接続されている。ホストコンピュータ10
は、前述した諸機能に加えて、各画像処理装置23から
送られてくる境界部データを集計して車体展開図を作成
する機能をも有している。車体展開図の作成に関する画
像処理装置23およびホストコンピュータ10の処理内
容は後で詳述する。なお、本案では、測定ステージは、
車体展開図を作成する時、たとえば、車種ごとの基準と
なる車体(ボディ)をラインに流した時のみ機能するよ
うになっている。
【0082】また、測定ステージにも、検査ステージと
同様、車体(基準ボディ)1が当該ステージに入ったこ
と(車体IN)を検知するためのリミットスイッチ24
と、車体(基準ボディ)1が当該ステージから出たこと
(車体OUT)を検知するためのリミットスイッチ25
とが設けられている。これらリミットスイッチ24、2
5はホストコンピュータ10に接続されている。ホスト
コンピュータ10はリミットスイッチ24、25から車
体IN情報および車体OUT情報を入力すると各画像処
理装置23に対し画像処理のON/OFF信号を出力す
る。
【0083】また、台車2上の車体1の位置を測定する
ため、測定ステージには2台の距離計測器26、27が
設置され、検査ステージには2台の距離計測器28、2
9が設置されている。距離計測器26〜29は、たとえ
ば、レーザ式、超音波式などの非接触型の距離計であっ
て、距離計測器26と28は水平方向に、距離計測器2
7と29は垂直方向にそれぞれ取り付けられている(図
12参照)。水平方向の距離計測器26、28は車体1
の側面との距離(水平距離)dを計測し、垂直方向の距
離計測器27、29は車体1の上面との距離(垂直距
離)hを計測する。図12中、「k1 」は水平方向の距
離計測器26、28の計測ポイントであり、「k2 」は
垂直方向の距離計測器27、29の計測ポイントであ
る。ここでは、車体1が図中B方向に搬送されるため、
水平距離dと垂直距離hは共に車体1の前端部から後端
部まで選択に応じて連続的または離散的に計測されるこ
とになる。図13に、車体1の位置を横方向から連続的
に計測した結果(水平距離d)の一例を示しておく。同
図中、「C」はフロントドアの部分であり、「D」はリ
アドアの部分である。測定ステージ内の距離計測器2
6、27によって基準ボディの位置(基準データ)が測
定され、検査ステージ内の距離計測器28、29によっ
て検査対象の車体1の位置が測定される。本案では、後
述するように、測定された車体位置データを基準データ
と比較して車体1の位置のずれ量を算出し、求めたずれ
量により、展開図に表示される塗装欠陥の位置を補正す
るようにしている。なお、車体1の左右方向のずれは水
平距離dによって認識され、車体1の上下方向のずれは
垂直距離hによって認識される。距離計測器26〜29
はおのおのホストコンピュータ10に接続されている。
【0084】なお、ここでは、測定ステージと検査ステ
ージを同一の構成としたため、距離計測器26〜29を
各ステージにそれぞれ2個ずつ設けているが、これに限
定されるわけではなく、2つのステージのいずれか一
方、好ましくは測定ステージにだけ1対の距離計測器を
設けるようにしてもよい。この場合には、当該1対の距
離計測器によって、基準ボディの位置(基準データ)と
検査対象の車体1の位置の双方が測定されることになる
(測定ステージと検査ステージとが同一ライン上にある
ため)。
【0085】図14は本装置の車体展開図作成時の動作
を示すフローチャートである。なお、この処理は基準ボ
ディが測定ステージを流れた時に実行される。まず、当
該基準ボディの車種データをホストコンピュータ10に
入力する(ステップS31)。車種データの入力は、車
体に取り付けられたIDプレートなどを利用して自動的
に行ってもよく、または、その都度オペレータが手入力
してもよい。
【0086】その後、リミットスイッチ24によって基
準ボディが測定ステージに入ってきたことが検出される
と(ステップS32)、ホストコンピュータ10は各画
像処理装置23に画像処理ON信号を出力して測定を開
始させる(ステップS33)。ここでは、車体INと同
時に、測定ステージ内の各照明装置を点灯させ、かつ、
各CCDカメラ21の電源を投入する。つまり、各照明
装置と各CCDカメラ21は、測定ステージへのIN/
OUTに応じてON/OFFされるようになっている。
【0087】測定が始まると、ステップS34で、各画
像処理装置23は、塗装面の境界部の抽出処理を行う。
この境界部抽出処理の内容は図15のフローチャートに
示すとおりである。すなわち、まず、対応するCCDカ
メラ21から被検査面1aの撮像部位Aの原画像を取り
込む(ステップS41)。図16(A)はボンネット左
前部の原画像の一例を示したものである。同図に示すよ
うに、このとき、原画像塗装面は反射光で明るく映り、
背景は薄暗く映る。原画像を取り込むと、取り込んだ2
次元画像をX方向およびY方向で微分処理する(ステッ
プS42)。図16(B)は微分処理された画面を示し
たものである。同図に示すように、微分処理により塗装
面および背景と継ぎ目との境界が浮き出てくる。微分処
理後、微分処理された画像を二値化する(ステップS4
3)。これによって、境界部が抽出される。こうして抽
出された境界部データは、内蔵メモリの所定の領域に記
憶しておく(ステップS44)。
【0088】測定ステージでは、ステップS34の境界
部抽出処理と並行して車体位置の計測も同時に行われる
(ステップS35)。車体位置の計測は、2台の距離計
測器26、27を使って車体(基準ボディ)との水平距
離dと垂直距離hを計測することによって行う。計測結
果(車体位置データ)は車種データと関係付けられて逐
次ホストコンピュータ10の内蔵メモリに記憶される。
【0089】上記ステップS34とステップS35の各
処理は、リミットスイッチ25によって基準ボディが測
定ステージから出たことが検出されるまで、すなわち、
基準ボディが通過するまで(ステップS36)繰り返さ
れる。これにより、基準ボディの全外周面1aが撮像さ
れ、また、台車2上の基準ボディの位置データが計測さ
れることになる。なお、ここでは、省エネのため、基準
ボディの通過と同時に、各照明装置を消灯させ、かつ、
各CCDカメラ21および各距離計測器26、27の電
源を切るようにしている。
【0090】基準ボディが通過すると、ホストコンピュ
ータ10は、各画像処理装置9の処理結果(境界部デー
タ)を集計し(ステップS37)、展開図データを作成
する(ステップS38)。図17は展開図の合成例を示
したものである。ここでは、簡単化のため、3台のCC
Dカメラ21によってそれぞれ撮像された各時刻t1、
t2 、t3 、t4 ごとの境界部データを集計(合成)し
た場合を示してある。これによって、CCDカメラ21
の見たままの車体展開図が作成されることになる。
【0091】ステップS38で作成された展開図データ
は、ステップS35で計測された車体位置データととも
に、車種データと関係付けられてホストコンピュータ1
0の内蔵メモリの所定領域に記憶される(ステップS3
9)。
【0092】次に、本装置による欠陥検査時の動作を説
明する。図18はその動作を示すメインフローチャート
である。この処理は車体1が検査ステージを流れた時に
実行される。なお、図18中の各処理のうちステップS
55とステップS58のみが本案に特有の処理であって
その他の処理は第1実施例に係る図5に示す処理と同様
であるから、これら共通する処理については簡単に説明
するにとどめる。
【0093】リミットスイッチ15により車体1の検査
ステージへのINが検出されると(ステップS51)、
検査ステージ内の各照明装置4と各CCDカメラ6をO
Nしかつ各画像処理装置9をONして測定を開始する
(ステップS52)。
【0094】測定が始まると、各画像処理装置9は、図
5のステップS3と同様にして、塗装欠陥の検出処理を
行うとともに(ステップS53)、図5のステップS4
と同様にして、車体有無データを取得する(ステップS
54)。
【0095】さらに、本案では、ステップS53および
ステップS54の各処理と並行して車体位置の計測も同
時に行う(ステップS55)。車体位置の計測は、検査
ステージ内の2台の距離計測器28、29を使って車体
1との水平距離dと垂直距離hを計測することによって
行う。この計測結果(車体位置データ)は逐次ホストコ
ンピュータ10に記憶される。
【0096】上記ステップS53〜ステップS54の各
処理は、リミットスイッチ16により車体1の検査ステ
ージからのOUT(通過)が検出されるまで(ステップ
S56)繰り返される。これにより、車体1の全外周面
1a上の欠陥が検出され、また、車体1のパターン(車
体有無データの集合)が測定され、さらに、台車2上の
車体1の位置データが計測されることになる。
【0097】車体1が通過すると、ホストコンピュータ
10は、各画像処理装置9の処理結果を集計し、まず、
欠陥を表示する展開図を選択する等のため車種の検知処
理を行う(ステップS57)。車種検知処理の内容は図
6のフローチャートを使って前述したとおりである。
【0098】本案では、次に、車体位置のずれによる欠
陥位置の補正を行う(ステップS58)。この処理は、
本案では上記したように車体展開図を基準ボディを撮像
して作成するため(図14参照)、車体展開図が基準ボ
ディの当該位置における展開図となっており、したがっ
て、車体1の位置が基準ボディの位置に対してずれてい
る場合には、そのずれ分だけ車体1の検出された欠陥が
展開図上ずれて表示されるおそれがあるので、そうした
欠陥位置の表示のずれをなくすために行うものである。
【0099】図19はその欠陥位置補正処理の内容を示
すフローチャートである。まず、ステップS57で検知
された車種データにより、すでに計測されてある当該車
種に対応する基準ボディの位置データ(水平距離dと垂
直距離h)およびステップS55で計測した当該車体1
の位置データ(水平距離dと垂直距離h)をそれぞれ所
定のメモリ領域から取り込む(ステップS61)。図2
0は取り込んだ2つの位置データ(水平距離d)の例を
示したものであり、図21はその要部拡大図である。こ
こで、「P」は基準ボディのそれであり、「Q」は当該
車体1のそれである。位置データを取り込むと、展開図
作成時の基準ボディの位置データと当該車体1の位置デ
ータとを比較して、たとえば車体先端部における基準ボ
ディに対する当該車体1の位置のずれ量Δを計算すると
ともに(ステップS62)、基準ボディに対する当該車
体1のずれ角度αを計算する(ステップS63)(図2
0と図21参照)。ずれ量Δとずれ角度α(以下両者を
まとめて「ずれ分」という)は水平方向と垂直方向のそ
れぞれについて計算される。各方向のずれ分の計算を終
えると、ステップS53で検出されたすべての欠陥に対
し、ステップS62およびステップS63で計算したず
れ分により、その欠陥位置の補正を行う(ステップS6
4)。具体的には、欠陥位置の補正は、検出された欠陥
の位置データを上記ずれ分(ずれ量Δ、ずれ角度α)だ
け移動(平行移動、回転移動)させることによって行
う。これにより、車体展開図の元となった基準ボディと
の関係において当該車体1の位置ずれによる欠陥位置の
ずれがなくなる。
【0100】欠陥位置の補正が終了すると、車体展開図
のボデー以外の位置にある欠陥を削除して表示しないよ
うにするための不要欠陥削除処理を行う(ステップS5
9)。この不要欠陥削除処理の内容は図7のフローチャ
ートを使って前述したとおりである。
【0101】そして最後に、ステップS59で得られ
た、不要欠陥を除くすべての欠陥を、ステップS58で
補正された補正後の位置データにもとづいて、当該車体
1の車種に対応する車体展開図(図14により基準ボデ
ィについて作成されたもの)の上に表示し、結果をモニ
ター11の画面に表示したり、プリンタ12からプリン
トアウトする(ステップS60)(図9参照)。
【0102】したがって、本実施形態によれば、3次元
形状の車体の展開図を作成するに際し、測定ステージに
おいて実際の車体(基準ボディ)を撮像して得られる画
像データを処理して車体展開図を作成するため、CAD
上で作成する場合のようにCCDカメラの角度調整を正
確に行わなくても、CCDカメラ21の見たままの車体
展開図を作成することができる。したがって、CCDカ
メラの角度調整不良や車体の三次元形状にもとづく展開
図自体のずれによる欠陥表示のずれがなくなり、塗装欠
陥検査の作業性が向上する。
【0103】また、車体展開図作成時の基準ボディに対
する車体1の位置のずれ分(ずれ量Δ、ずれ角度α)を
求めて検出された塗装欠陥の位置を補正するので、車体
1の位置のずれによる欠陥位置のずれがなくなる。した
がって、検出された欠陥を展開図に表示する際に欠陥が
車体1のずれ分だけずれて表示されることがなくなり、
塗装欠陥検査の作業性が向上する。
【0104】次に、このようにして正確に表示された欠
陥の展開図に基づいて欠陥部分の補修作業が行われる。
この作業は専用に設けられたリペアステージで行われ
る。補修されるべき欠陥の数は、車体ごとにまちまちで
あるから、リペアステージで行われる作業の時間は欠陥
の程度や数に応じて変動することになる。この変動があ
まりにも大きい場合には、作業者は補修作業を急いで行
うことを強いられたり、待ち時間が多くなったりと、作
業に質的悪影響を与えることになる。
【0105】この問題を解決するために、本発明では、
図22のフローチャートのような処理を行ってライン速
度を調整している。
【0106】ホストコンピュータ10は、検出した欠陥
を欠陥レベル別に分類する。つまり、まず、検出された
欠陥の1つ1つについて、画像処理装置9により行われ
た画像処理の結果からその大きさ(面積)、長さ(最大
値)等を認識し、それがどの欠陥レベルに相当するもの
であるかを判定する。そして、欠陥レベルごとの個数を
認識する。たとえば、欠陥レベルAは2個、欠陥レベル
Bは3個、欠陥レベルCは0個、欠陥レベルDは1個と
いう具合である(S71)。
【0107】次に、図23に示した作業時間算出テーブ
ルの欠陥レベルと単位補修作業時間(欠陥1個当たりの
補修に要する時間であり、経験値である。)を参照し、
補修作業時間T(分)を算出する。上記の例では、補修
作業時間Tは次式で算出される。
【0108】T(分)=2TA +3TB +TD とな
る。
【0109】要するに、リペアステージではこの補修作
業時間Tだけ作業に時間がかかることになる(一人で作
業をした場合)のである(S72,S73)。
【0110】また、ホストコンピュータ10は、作業時
間算出テーブルに記憶されている車体間隔Lと欠陥補修
作業者数N、さらに上式で求めた補修作業時間Tに基づ
いて最適搬送速度V、すなわちライン速度Vを算出す
る。このライン速度Vは、次式で算出される。
【0111】V=L×N/T となる。
【0112】たとえば、上記の例で、車体間隔が15
m、欠陥補修作業者数が3人であったとすると、V(m
/分)=15×3/(2TA +3TB +TD ) とな
る。
【0113】この式を見れば明らかなように、ライン速
度は、補修作業時間Tに応じて変動することになる。
【0114】しかしながら、単純にこの計算式の結果得
られたライン速度を設定してしまうと、欠陥が非常に少
なかったときには補修作業時間が非常に短くて済むの
で、ライン速度が異常に速くなってしまい、逆に欠陥が
非常に多かったときには極端にライン速度が遅くなって
しまい他の作業に支障を来すなど、実情にそぐわない事
態が生じるので、ライン速度の変動幅を一定値に抑える
ために、次のような処理も行っている(S74)。
【0115】算出されたライン速度Vが予め設定してお
いた最大速度Vmax を越えるかどうかが判断される。越
える場合には、ライン速度はその最大速度に設定する
(S75,S76)。一方、算出されたライン速度Vが
最大速度を越えないが、最小速度Vmin を下回る場合に
は、ライン速度はその最小速度に設定する(S75,S
77,S78)。したがって、ライン速度Vが最大速度
以下、最小速度以上である場合にだけ、算出されたライ
ン速度Vに設定される(S79)。
【0116】このように、検査の結果、検出された欠陥
の程度に応じてライン速度を調整するようにすれば、欠
陥が多く検出された場合でも、逆に欠陥がほとんど検出
されなかった場合でも、作業者は常に通常のペースで作
業をすることができるようになる。このため、補修作業
の質を一定のものとすることができるようになる。
【図面の簡単な説明】
【図1】 本発明の一実施形態に係る塗装欠陥検査装置
の光学系の構成図である。
【図2】 ストライプ光源とCCDカメラとの位置関係
を示す図である。
【図3】 本装置の信号処理系の構成を示すブロック図
である。
【図4】 車種検知の原理を説明するための図である。
【図5】 本装置の動作を示すメインフローチャートで
ある。
【図6】 図5中の車種検知処理の内容を示すフローチ
ャートである。
【図7】 図5中の不要欠陥削除処理の内容を示すフロ
ーチャートである。
【図8】 不要欠陥削除処理の説明に供する図である。
【図9】 本装置の出力の一例を示す図である。
【図10】 本発明の他の実施形態に係る塗装欠陥検査
装置の信号処理系の構成を示すブロック図である。
【図11】 面光源とCCDカメラとの位置関係を示す
図である。
【図12】 距離計測器の配置例を示す図である。
【図13】 車体位置の計測結果の一例を示す図であ
る。
【図14】 本装置の車体展開図作成時の動作を示すフ
ローチャートである。
【図15】 図14中の境界部抽出処理の内容を示すフ
ローチャートである。
【図16】 境界部抽出処理での画像処理の一例を示す
図である。
【図17】 車体展開図の合成例を示す図である。
【図18】 本装置による欠陥検査時の動作を示すメイ
ンフローチャートである。
【図19】 図18中の欠陥位置補正処理の内容を示す
フローチャートである。
【図20】 車体の位置ずれの測定例を示す図である。
【図21】 図20の要部拡大図である。
【図22】 最適ライン速度の算出フローチャートであ
る。
【図23】 最適ライン速度の算出に用いられる作業時
間算出テーブルである。
【符号の説明】
1…車体(被検査物) 2…台車 4…照明装置(明暗パターン照射手段、明暗パターン光
源) 5…ストライプシートスタンド(明暗パターン照射手
段、明暗パターン光源) 6…CCDカメラ(撮像手段、撮像カメラ) 8…カメラコントロールユニット 9…画像処理装置(欠陥検出手段) 10…ホストコンピュータ(図形処理手段、欠陥位置補
正手段、補修作業時間算出手段、記憶手段、搬送速度算
出手段) 11…モニター 12…プリンタ 13…コンベアモータ(移動手段) 14…パルスジェネレータ 15、16、24、25…リミットスイッチ 21…CCDカメラ 23…画像処理装置 26、27、28、29…距離計測器(車体位置測定手
段)

Claims (15)

    【特許請求の範囲】
  1. 【請求項1】被検査物の塗装状態を光学的に検査する塗
    装欠陥検査装置において、 被検査物と当該被検査物の外周面に所定の明暗パターン
    を照射しそれを撮像する手段とを互いに相対移動させな
    がら、被検査物の外周面に照射された明暗パターンを時
    系列的に撮像し、得られた明暗パターンの動的画像を処
    理して、被検査物の外周面の塗装欠陥を検出し、その検
    出結果を被検査物の展開図に表示することを特徴とする
    塗装欠陥検査装置。
  2. 【請求項2】被検査物の塗装状態を光学的に検査する塗
    装欠陥検査装置において、 被検査物の外周面に所定の明暗パターンを照射する明暗
    パターン照射手段と、 被検査物の外周面を撮像する撮像手段と、 被検査物と前記明暗パターン照射手段および前記撮像手
    段とを互いに相対移動させる移動手段と、 前記撮像手段によって時系列的に撮像された明暗パター
    ンの動的画像を処理して、被検査物の外周面の塗装欠陥
    を検出する欠陥検出手段と、 前記欠陥検出手段の結果を被検査物の展開図に表示する
    図形処理手段と、 を有することを特徴とする塗装欠陥検査装置。
  3. 【請求項3】前記撮像手段によって撮像された被検査物
    の撮像パターンを、あらかじめ登録された種類別の撮像
    パターンと比較して、被検査物の種類を決定する種類決
    定手段を有することを特徴とする請求項2記載の塗装欠
    陥検査装置。
  4. 【請求項4】前記図形処理手段は、前記欠陥検出手段に
    よって検出された欠陥が被検査物の展開図の外に位置す
    る場合にはそれを表示しないことを特徴とする請求項2
    記載の塗装欠陥検査装置。
  5. 【請求項5】前記展開図は前記撮像手段の角度から見た
    展開図であることを特徴とする請求項2記載の塗装欠陥
    検査装置。
  6. 【請求項6】車体の塗装状態を光学的に検査する塗装欠
    陥検査装置において、 車体を取り囲むように配置され、車体の外周面に所定の
    明暗パターンを照射する明暗パターン光源と、 車体を取り囲むように配置され、車体の外周面を撮像す
    る複数の撮像カメラと、 車体をライン上で移動させるモータと、 前記複数の撮像カメラによって時系列的に撮像された複
    数の明暗パターン画像のそれぞれから欠陥候補点を抽出
    し、抽出した欠陥候補点の追跡処理を行うことにより、
    車体の外周面の塗装欠陥を検出する欠陥検出手段と、 前記欠陥検出手段の結果を車体の展開図に表示する図形
    処理手段と、 を有することを特徴とする塗装欠陥検査装置。
  7. 【請求項7】前記複数の撮像カメラによって撮像された
    車体の撮像パターンを、あらかじめ登録された車種別の
    撮像パターンと比較して、車体の種類を決定する車種決
    定手段を有することを特徴とする請求項6記載の塗装欠
    陥検査装置。
  8. 【請求項8】前記図形処理手段は、前記欠陥検出手段に
    よって検出された欠陥が車体の展開図の外に位置する場
    合にはそれを表示しないことを特徴とする請求項6記載
    の塗装欠陥検査装置。
  9. 【請求項9】前記展開図は前記複数の撮像カメラそれぞ
    れの角度から見た展開図であることを特徴とする請求項
    6記載の塗装欠陥検査装置。
  10. 【請求項10】前記展開図はCAD上で作成されること
    を特徴とする請求項5または9記載の塗装欠陥検査装
    置。
  11. 【請求項11】前記展開図は実際の車体を撮像して得ら
    れる画像データを処理して作成されることを特徴とする
    請求項5または9記載の塗装欠陥検査装置。
  12. 【請求項12】車体の位置を測定する車体位置測定手段
    と、 前記車体位置測定手段の測定結果を基準データと比較し
    て車体の位置のずれ分を算出し、求めたずれ分により、
    前記欠陥検出手段によって検出された塗装欠陥の位置を
    補正する欠陥位置補正手段と、 を有することを特徴とする請求項2または6記載の塗装
    欠陥検査装置。
  13. 【請求項13】被検査物の塗装状態を光学的に検査する
    塗装欠陥検査装置において、 被検査物の外周面に所定の明暗パターンを照射する明暗
    パターン照射手段と、 被検査物の外周面を撮像する撮像手段と、 前記撮像手段によって時系列的に撮像された明暗パター
    ンの動的画像を処理して、被検査物の外周面の塗装欠陥
    を検出する欠陥検出手段と、 当該欠陥検出手段によって検出された塗装欠陥の補修作
    業時間を算出する補修作業時間算出手段と、 当該補修作業時間算出手段により算出された補修作業時
    間を参照し、被検査物を適正搬送速度で移動せさせる移
    動手段とを有することを特徴とする塗装欠陥検査装置。
  14. 【請求項14】被検査物の塗装状態を光学的に検査する
    塗装欠陥検査装置において、 被検査物の外周面に所定の明暗パターンを照射する明暗
    パターン照射手段と、 被検査物の外周面を撮像する撮像手段と、 前記撮像手段によって時系列的に撮像された明暗パター
    ンの動的画像を処理して、被検査物の外周面の塗装欠陥
    を欠陥レベル別に検出する欠陥検出手段と、 欠陥レベル別の単位補修作業時間、被検査物の搬送間
    隔、作業者数が記憶されている記憶手段と、 前記欠陥検出手段によって欠陥レベル別に検出された塗
    装欠陥と当該記憶手段に記憶されている単位補修作業時
    間とから、前記塗装欠陥の補修作業時間を算出する補修
    作業時間算出手段と、 当該補修作業時間算出手段により算出された補修作業時
    間、前記記憶手段に記憶されている被検査物の搬送間
    隔、作業者数から被検査物のライン上における適正搬送
    速度を算出する搬送速度算出手段と、 当該搬送速度算出手段によって算出された適正搬送速度
    で被検査物を移動させる移動手段とを有することを特徴
    とする塗装欠陥検査装置。
  15. 【請求項15】前記搬送速度算出手段は、算出した適正
    搬送速度が予め設定されている最大速度を上回る場合に
    は当該最大速度を、また、当該適正搬送速度が予め設定
    されている最小速度を下回る場合には当該最小速度を、
    被検査物を移動させる場合の適正搬送速度として前記移
    動手段に指令することを特徴とする請求項14記載の塗
    装欠陥検査装置。
JP27027796A 1996-01-18 1996-10-11 塗装欠陥検査装置 Expired - Lifetime JP3211681B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP27027796A JP3211681B2 (ja) 1996-01-18 1996-10-11 塗装欠陥検査装置
KR1019970001352A KR100228365B1 (ko) 1996-10-11 1997-01-18 도장결함 검사장치 및 방법

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP672396 1996-01-18
JP8-6723 1996-08-01
JP20389796 1996-08-01
JP8-203897 1996-08-01
JP27027796A JP3211681B2 (ja) 1996-01-18 1996-10-11 塗装欠陥検査装置

Publications (2)

Publication Number Publication Date
JPH1096615A true JPH1096615A (ja) 1998-04-14
JP3211681B2 JP3211681B2 (ja) 2001-09-25

Family

ID=27277309

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27027796A Expired - Lifetime JP3211681B2 (ja) 1996-01-18 1996-10-11 塗装欠陥検査装置

Country Status (1)

Country Link
JP (1) JP3211681B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1006349A1 (en) * 1998-12-04 2000-06-07 VDRS Limited Vehicle inspection system
JP2006512582A (ja) * 2002-12-19 2006-04-13 フリースケール セミコンダクター インコーポレイテッド 検出されたウェハ欠陥座標値の変換
JP2013092465A (ja) * 2011-10-26 2013-05-16 Fukuoka Institute Of Technology 三次元表面検査装置および三次元表面検査方法
WO2018130421A1 (en) * 2017-01-11 2018-07-19 Autoscan Gmbh Mobile and automated apparatus for the detection and classification of damages on the body of a vehicle
JP2021519441A (ja) * 2018-03-29 2021-08-10 ツインナー ゲゼルシャフト ミット ベシュレンクテル ハフツンク 車両検出システム
CN113383207A (zh) * 2018-10-04 2021-09-10 杜·普雷兹·伊萨克 光学表面编码器
ES2944725A1 (es) * 2021-12-23 2023-06-23 Seat Sa Sistema de identificación de defectos en la carrocería de un vehículo

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112018006287T5 (de) 2017-12-08 2020-10-08 Panasonic Intellectual Property Management Co., Ltd. Inspektionssystem, inspektionsverfahren, programm und speichermedium
US20220382262A1 (en) * 2019-10-28 2022-12-01 3M Innovative Properties Company Automated vehicle repair system

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1006349A1 (en) * 1998-12-04 2000-06-07 VDRS Limited Vehicle inspection system
JP2006512582A (ja) * 2002-12-19 2006-04-13 フリースケール セミコンダクター インコーポレイテッド 検出されたウェハ欠陥座標値の変換
JP2013092465A (ja) * 2011-10-26 2013-05-16 Fukuoka Institute Of Technology 三次元表面検査装置および三次元表面検査方法
WO2018130421A1 (en) * 2017-01-11 2018-07-19 Autoscan Gmbh Mobile and automated apparatus for the detection and classification of damages on the body of a vehicle
AU2018208312B2 (en) * 2017-01-11 2021-04-01 Autoscan Gmbh Mobile and automated apparatus for the detection and classification of damages on the body of a vehicle
US10976262B2 (en) 2017-01-11 2021-04-13 Autoscan Gmbh Mobile and automated apparatus for the detection and classification of damages on the body of a vehicle
JP2021519441A (ja) * 2018-03-29 2021-08-10 ツインナー ゲゼルシャフト ミット ベシュレンクテル ハフツンク 車両検出システム
CN113383207A (zh) * 2018-10-04 2021-09-10 杜·普雷兹·伊萨克 光学表面编码器
US11995851B2 (en) 2018-10-04 2024-05-28 Isak Du Preez Optical surface encoder
ES2944725A1 (es) * 2021-12-23 2023-06-23 Seat Sa Sistema de identificación de defectos en la carrocería de un vehículo

Also Published As

Publication number Publication date
JP3211681B2 (ja) 2001-09-25

Similar Documents

Publication Publication Date Title
US20080225115A1 (en) Perspective Distortion inspecting Equipment and Method of Translucent Panel
US10579890B2 (en) Automatic alignment of a 3D model to a test object
CN109142381B (zh) 一种高速视觉检测识别设备
CN112432610A (zh) 一种列车限界检测装置及检测方法
JP3211681B2 (ja) 塗装欠陥検査装置
JP2018059830A (ja) 外観検査方法
JP3514107B2 (ja) 塗装欠陥検査装置
JP3204444B2 (ja) 表面欠陥検査装置
JP2022010822A (ja) 検品装置
JP3204442B2 (ja) 表面欠陥検査装置
KR100228365B1 (ko) 도장결함 검사장치 및 방법
JP2000321039A (ja) 塗装欠陥検査装置及び方法
JP4186533B2 (ja) 溶接位置自動倣い制御装置及び自動倣い溶接方法
JPH11118730A (ja) 被検査面の欠陥検査方法およびその装置
JP3178508B2 (ja) 表面欠陥検査装置
JP3206430B2 (ja) 表面欠陥検査装置
JP2536127B2 (ja) 基板検査装置
JP4232893B2 (ja) 車両用塗面検査装置
JP5328408B2 (ja) ヘッドライトテスタ
JP2622803B2 (ja) 空調用吹出空気検査ロボット
JPH10105719A (ja) 孔位置の光学的計測方法
JP2588339Y2 (ja) 車体面検査装置
JP2612794B2 (ja) 物品の表面形状測定装置における測定ヘッドの追従方法
JPH06105209B2 (ja) ヘツドライトの光軸調整方法及びその装置
JPH05337785A (ja) 研削ロボットの研削経路修正装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010619

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080719

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080719

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090719

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090719

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100719

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110719

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120719

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120719

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130719

Year of fee payment: 12

EXPY Cancellation because of completion of term