JP6264132B2 - 車体塗装面の検査装置および検査方法 - Google Patents

Description

本発明は、製造された自動車の車体塗装面を撮像した上で画像処理により上記塗装面における傷を抽出して、これを外観不良として検出するようにした検査装置および検査方法に関する。

製造された自動車における車体塗装面の外観検査は多くの場合に目視検査に頼っているが、その一部を自動化するための手段として例えば特許文献１に記載されているように画像処理による表面検査技術が提案されている。

この特許文献１に記載された表面検査技術では、車体塗装面における微細傷等の外観不良（表面欠陥）部位の検出を目的として、車体塗装面に特定パターンの照明光を照射し、車体と撮像カメラとを相対移動させながらその照明光照射部位を撮像カメラにて撮像し、取り込んだ画像に対して画像補正、二値化処理、画像マスク等の処理を行った上で微細傷等の欠陥検出を行い、特に画像に含まれる高輝度領域を欠陥候補として判定するようになっている。

特許第４３１５８９９号公報

車体塗装面に不可避的に発生する外観不良にも多くの種類のものがあり、車体塗装面の線状の傷（以下、これを「線傷」と言う。）やドアエッジ部での打痕傷に主眼をおいてこれらを的確に検出しようとする場合、これらの傷以外の例えば汚れ等までも過剰に傷として検出してしまうことがある。これらのことは特許文献１に記載された技術においても例外ではなく、検出精度と検査結果の信頼性向上の上でなおも改善の余地を残している。

より詳しくは、外観不良として検出したい上記のような線傷や打痕傷以外にも、外観検査ラインに投入される車体の塗装面には、例えば製造・組立過程において発生したケーブルで軽く擦ったような汚れ、同じくケーブルで強く叩いたような汚れ、オイルのような粘着物の付着による汚れ、テスト走行後の泥汚れ、さらにはシャワーテスト後の水滴や水垢等が付着していることがある。そして、これらの各種の汚れに水滴や水垢を含めたものを汚れ等と総称するものとすると、上記の画像処理による線傷や打痕傷の抽出の際に上記汚れ等との違いを識別することができずに傷として過剰に検出してしまうことがあり、線傷や打痕傷のみの抽出（検出）精度の向上が望まれている。

なお、線傷や打痕傷を上記汚れ等と区別して的確に抽出したいのは、多かれ少なかれ塗膜の表層の剥がれを伴う線傷や打痕傷はその他の汚れ等とはその後の補修対応が異なるためである。

本発明はこのような課題に着目してなされたものであり、車体塗装面の線傷や打痕傷を他の汚れ等と区別して正確に検出することができるようにした検査装置および検査方法を提供しようとするものである。

本発明は、検査対象となる自動車車体の塗装面を撮像した上で画像処理により上記塗装面における傷を抽出してこれを外観不良として検出する装置であって、検査対象となる自動車車体の塗装面に対して照明光を照射する照明手段と、上記自動車車体と相対移動することにより上記塗装面のうち照明光による照射部位を撮像する撮像手段と、上記撮像手段が捉えた画像を入力として画像解析を行って、上記塗装面における傷を抽出してこれを外観不良として検出する画像処理手段と、を備えている。

その上で、上記画像処理手段は、画像解析により抽出した傷候補の明度の標準偏差分布と傷候補の近傍傷候補数および傷候補の形状変動率を個別パラメータとしてそれぞれ求めた上で、それらの個別パラメータを加算した評価パラメータとして傷の類似度を求め、この傷の類似度が判定しきい値よりも大きいときに傷候補を傷と判定することを特徴としている。

本発明によれば、画像解析により抽出した傷候補の明度の標準偏差分布と傷候補の近傍傷候補数および傷候補の形状変動率に基づいて評価パラメータとして傷の類似度を求め、この傷の類似度をもって傷候補が実際の傷であるかどうかの判定を行うようにしているため、塗膜の表層の剥がれを伴う線傷や打痕傷をその他の汚れ等と明確に識別できるようになり、車体塗装面の線傷や打痕傷を正確に検出することができて、線傷や打痕傷の検出精度の向上と検査結果の信頼性が向上する。

本発明に係る車体塗装面の検査装置を実施するためのより具体的な形態を示す図で、最終検査ラインにおける装置全体の概略説明図。 図１に示した最終検査ラインを車両の移動方向後方側から見た図。 図１の車両周りの要部斜視図。 図１に示した主制御装置の概略的なシステムブロック図。 図１に示した主制御装置でのおおまかな処理手順を示すフローチャート。 図５での傷抽出処理の詳細を示すフローチャート。 図６で使用される個別パラメータであるところの傷の太さの変動率および傷の面積の変動率の説明図。 傷画像の一例を示す説明図。 図６で使用される個別パラメータであるところの傷の明度に関する標準偏差のヒストグラム。 抽出対象である打痕傷の説明図。 傷の種類別の分布を示す説明図。 図６の検査面抽出処理の詳細を示すフローチャート。 図６の傷候補抽出処理の詳細を示すフローチャート。 図６での個別パラメータ調整のための詳細を示すフローチャート。

図１〜１４は本発明に係る車体塗装面の検査装置を実施するためのより具体的な形態を示し、特に図１は装置全体の概略構造を示している。

ここでの車体塗装面の検査装置は、製造された車両（自動車）１のうち前後のドア、フロントフェンダおよびリアフェンダを含む車体側面部１ａの塗装面の外観検査（表面検査）として、特にその車体側面部１ａに発生しがちな線傷や打痕傷の検出を目的としていて、特にそれらの線傷や打痕傷を汚れ等と区別して的確に抽出・検出することを目的としている。なお、線傷とは先に述べたように線状の傷を言い、打痕傷とは例えばドアエッジ部にて打痕によってもたらされた傷を言う。さらに、汚れ等とはケーブルで軽く擦ったような汚れや同じくケーブルで強く叩いたような汚れのほか、オイルのような粘着物の付着による汚れ、テスト走行後の泥汚れ、さらにはシャワーテスト後の水滴や水垢等が付着した汚れ等の総称として用いるものとする。

図１に示すように、自動車生産ラインにおける最終検査ライン２では、コンティニアスタイプのスラットコンベア３に載せられた複数の車両１が所定速度で移動していて、この最終検査ライン２のラインサイドに撮影機器ユニット４が設置されている。この撮影機器ユニット４には後述する照明装置２９，３０，３１や撮像手段として複数の工業用のカメラ３２等が搭載されていて、この撮影機器ユニット４に主制御装置５のほか制御盤６および出力機器部７等がそれぞれ付帯している。なお、図１では片側の撮影機器ユニット４のみ図示しているが、最終検査ライン２をはさんで左右対称となるように撮影機器ユニット４が対向配置されている。

主制御装置５は、いわゆる外観不良あるいは表面欠陥の抽出のための画像解析処理ソフトウェアが予めインストロールされたパーソナルコンピュータを主要素として構成されていて、この主制御装置５はコンベア速度演算部８、撮影制御部９、車種認識部１０、画像入力部１１、画像処理手段としての傷検出部１２、画像連結部１３、検査表作成部１４および出力部１５等で構成されている。

上記コンベア速度演算部８にはスラットコンベア３における駆動系のコンベアエンコーダ１６からの信号が入力されるようになっており、これによってカメラ３２による車体側面部１ａの撮影開始タイミングがコントロールされる。また、最終検査ライン２における搬入始端部側の天井部には車両情報読み取り手段としてコードリーダ１７が設置されている。このコードリーダ１７は車両１のフロントガラスに添付された作業指示カード１８の例えばバーコード情報を読み取って該当する車両１の車両情報を取得して、これを車種認識部１０に出力する。なお、上記バーコード情報に代えてＱＲコード（登録商標）情報を用いることも可能である。

さらに、主制御装置５の出力側には出力機器部７の各機器としてモニタ１９、プリンタ２０およびデータサーバー２１等が接続されている。そして、主制御装置５での画像処理結果を自動車一台ごとにモニタ１９に表示したり、プリンタ２０で印刷することができるとともに、画像処理結果のデータを車種情報とともにデータサーバー２１に記録・蓄積するようになっている。

制御盤６は、照明制御部２２、モータ制御部２３、安全制御部２４およびライン制御部２５等から構成されていて、外部のライン制御盤２６と協調しながら、主として撮影機器ユニット４に搭載された照明装置２９，３０，３１やカメラ３２と車両１との車幅方向での相対位置決め制御を司っている。

図２は図１に示した最終検査ライン２を車両１の移動方向後方側から見た図を、図３は図１の車両１周りの要部斜視図をそれぞれ示していて、最終検査ライン２の左右のラインサイドに二台の撮影機器ユニット４が対向配置されている。各撮影機器ユニット４はいずれも定位置固定式の架台２７に対して車幅方向にスライド可能なラック２８を搭載したもので、このラック２８に複数台（ここでは３台）の照明装置２９，３０，３１と複数台のカメラ３２を設置してあるとともに、非接触式のセンサとして光電センサ３３と測距センサ３４を設けてある。

架台２７の底部には例えば電動モータとボールねじとの組み合わせからなる電動アクチュエータ３５が設けられており、この電動アクチュエータ３５の作動によりラック２８が進退移動可能、すなわちラック２８が車幅方向にスライド移動可能となっている。なお、図２ではその錯綜化を避けるために６台のカメラ３２を図示しているが、実際には図３に示すように車体上下方向に合計８台のカメラ３２が並設される。また、当然ことながら、上記複数台のカメラ３２の数は一例にすぎず、その台数は特に限定されない。さらに、カメラ３２としてはモノクロタイプ、カラータイプのいずれもが使用可能である。

上記光電センサ３３は、ビームｂ１を下向きに照射して複数のカメラ３２による撮影エリアに検査対象となる車両１が在席している否かを判定するためのものである。また、測距センサ３４はビームｂ２を車体側面部１ａに照射して各カメラ３２と検査対象となる車両１との相対距離が規定の距離となるように制御するためのものである。上記のように複数のカメラ３２による撮影エリアに検査対象となる車両１が在席していることを条件に、測距センサ３４からのセンサ出力をフィードバック信号として上記電動アクチュエータ３５の作動のもとにラック２８がスライド移動し、もって各カメラ３２と検査対象となる車両１（車体側面部１ａ）との相対距離が規定の距離となるように制御されることになる。

各ラック２８に搭載された３台の照明装置２９〜３１のうち車体側面部１ａの中央部の照明装置３０は、図３に示すように、波長の安定性が高く且つ照射範囲の広い汎用の蛍光灯照明機器３０ａと拡散板３０ｂとを組み合わせて比較的大型の面光源として機能させるようにしたもので、蛍光灯照明機器３０ａからの照射光を拡散板３０ｂにて拡散させ、照射むらのない平行な照射光を車体側面部１ａのうち特に鉛直部に均一に照射するように考慮してある。

その一方、ラック２８に搭載された３台の照明装置２９〜３１のうち上下の照明装置２９，３１は、いずれも光の直線性が高い白色のＬＥＤバー照明機器２９ａ，３１ａと拡散板２９ｂ，３１ｂとを組み合わせて面光源として機能させるようにしたもので、ＬＥＤバー照明機器２９ａ，３１ａからの照射光を拡散板２９ｂ，３１ｂにて拡散させ、照射むらのない平行な照射光を車体側面部１ａのうち特にドアウエスト部とサイドシル部に均一に照射するように考慮してある。

そして、ドアウエスト部を照射するための上方の照明装置２９は、その照射光を平行光とするために車体側面部１ａとの距離を比較的大きく確保する一方、車体下部のサイドシル部を照射するための下方の照明装置３１は、サイドシル部がとかく影となりやすいために車体側面部１ａとの距離を他の照明装置２９，３０に比べて極端に小さくしてある。これにより、車体側面部１ａのうちドアウエスト部からサイドシルまでの範囲に均等に各照明装置２９〜３１からの照射光が照射されることになる。同時に、各カメラ３２は車体側面部１ａからの正反射光を撮影することになる。

ここで、照明光として蛍光灯または白色ＬＥＤを採用しているのは、次のような理由による。検査対象となる車体の塗装色には複数色があるため、本来、検出精度を高める上では、車体の塗装色ごとに照明光の波長を変更することが好ましい。しかしながら、その場合には照明装置のコストアップが余儀なくされるため、本実施の形態では、複数の車体塗装色に対応するべく、幅広い波長成分をもつ蛍光灯または白色ＬＥＤを採用している。これにより、車体塗装色ごとに照明光を変える必要がなくなる。

また、各ラック２８に搭載された８台のカメラ３２は例えばＣＣＤあるいはＣＭＯＳタイプのいわゆる二次元の固体撮像素子タイプのもので、車体側面部１ａでの各照明装置２９〜３１による照射部位のうち高さ方向において互いに異なる領域を撮像するべく車体上下方向に沿って一列に並設されている。そして、図２，３から明らかなように、複数台の照明装置２９〜３１と複数台のカメラ３２は、車体側面部１ａにおける上下方向での曲率形状を考慮し、車両１の正面視または背面視において当該車体側面部１ａの曲率形状に倣わせて配置してある。これにより、車体側面部１ａからの正反射光を複数台のカメラ３２で同時に且つ車体全長分を撮影することが可能となる。ここで、上記の複数台のカメラ３２としてモノクロタイプのものを想定しているが、必要に応じてカラータイプのものであっても良い。

つまり、最終検査ライン１上を所定速度で移動する車両１に対してその車体側面部１ａを指向させた複数台のカメラ３２を固定とした状態で撮影（撮像）を行うことで、それぞれのカメラ３２で撮影（撮像）部位を分担しながら車体側面部１ａの全長を撮影（撮像）することが可能となっている。ここでは、最終検査ライン１上での車両１の移動量を算出し、所定距離だけ移動したことが確認されたならば、複数のカメラ３２を同時に起動させて撮影を開始するものとし、かかる動作を車両全長分が完了するまで繰り返すことになる。

図４は図１に示した装置における主制御装置５の概略的なシステムブロック図を示している。

同図に示すように、各カメラ３２の初期化と諸元情報の読み込み（ステップＳａ１）に続いて、コードリーダ１７で読み取った車両情報（バーコード情報）とともに各カメラ３２のスタート情報を取得する（ステップａ２）。この後、全てのカメラ３２で同時撮影を開始し、後述するように車体側面部１ａである塗装面での傷検出のためのロジックが実行される（ステップａ３）。そして、各カメラ３２の撮影画像をフォルダに保存した後（ステップａ４）、車両１の移動量を図１のコンベアエンコーダ１６からの信号をもとに算出し、車両１が所定距離だけ移動して指定した位置に到達したならば次の撮影に移行する（ステップａ５）。

このようなステップａ２からステップａ５までの処理は、車両１全体（全長）の撮影が完了するまで繰り返される。この後、図１の検査表作成部１４では塗装面での傷検出結果が車両一台分ごとにまとめられ、複数のカメラ３２での撮影画像が結合されるとともに、その傷検出結果（画像処理結果）が図１のモニタ１９およびプリンタ２０に出力される（ステップａ６）。プリンタ２０では画像結合された車両側面の画像がハードコピーである検査表３６（図２および図４参照）としてそのままプリントされ、傷検出部位には所定のマーキングＭが重ね描きされる。このハードコピーは例えば次工程での作業者による再検査あるいは塗装手直しの際に使用される。

上記ステップａ２にてバーコード情報から取得した車両情報には、その車両の塗色情報も含まれている。車体の塗色には白色系から黒色系まで多くの種類があり、高コントラストな画像を取得するためには車体塗色に応じてカメラ３２そのもののゲインを調整することが望ましい。一般的に白色系はゲイン調整なしでも十分な明度が得られるが、黒色系はどうしても明度が不足気味となる。そこで、取得した車体塗色情報を基づいて、車体側面の画像を２５６階調でグレースケール化した際の明度が、想定される全ての塗色に対して例えば６０〜２００の間になるようにゲインを自動設定するものとする。ゲインそのものの値としては、例えば白色やシルバー系は０、グレー系は１５前後、ダーク系は２５前後に設定するものとする。

そして、上記傷検出のための画像解析処理だけに着目すれば、その処理手順は図５のステップＳ１〜ステップＳ８のとおりとなり、さらに、より詳細には図５のステップＳ５の傷抽出処理は図６のとおりとなる。

ここで、先に述べた主たる抽出（検出）対象である線傷や打痕傷の傷候補を汚れ等から区別して正確に抽出するために、総合的な評価パラメータとして傷の類似度という概念を導入し、個別パラメータとしての傷候補の形状変動率として傷候補の太さや面積の変動率のほか、傷候補の総数、および傷候補の明度の標準偏差分布（エッジ）を用いたクラスタリングの類似度算出アルゴリズムにより傷の類似度を算出し、この傷の類似度に基づいて線傷や打痕傷を汚れ等から区別して正確に判定する方法を採用するものとする。これにより、汚れ等を線傷や打痕傷として誤検出することが極端に少なくなり、線傷や打痕傷のみを正確に検出することが可能となる。

具体的には、上記個別パラメータとして、傷候補強調画像から低しきい値と高しきい値とでそれぞれ傷候補を抽出した場合に、低しきい値時と高しきい値時とでの傷候補の太さの変動率と面積の変動率をそれぞれ用いる。また、取得した画像のうちの傷候補の総数を用いる。これは、例えば特定の傷候補に着目した場合に、その近傍の傷候補が多い場合には線傷や打痕傷以外の汚れ等と判断できるためである。さらに、傷候補の明度の標準偏差の分布を用いる。これは、線傷や打痕傷の傷候補の場合には汚れ等に比べて標準偏差が大きいとの知見に基づいている。これらの合計四つの個別パラメータに基づく総合評価パラメータとしての類似度算出アルゴリズムを用いることで線傷や打痕傷のみを正確に抽出することができる。

先に述べた傷候補の太さや面積の変動率は、傷候補強調画像から低しきい値と高しきい値とでそれぞれ傷候補を抽出した場合に、線傷や打痕傷では表層の塗膜が剥がれているため、低しきい値画像と高しきい値画像とを比較しても太さおよび面積の変動率が小さくなる。これに対し、汚れ等の場合には、明度分布が一定でないため、低しきい値画像と高しきい値画像とを比較した場合に太さや面積に変動率が大きくなる。図７は低しきい値画像と高しきい値画像からそれぞれ抽出した線傷の一例を示していて、線傷に相当する線状痕の太さおよび面積の変化は比較的小さく、これに比べて汚れ等の場合には太さおよび面積の変動率が極端に大きくなる。

また、先に述べた傷候補の総数は、一画面面上の傷候補オブジェクトの全体の数を表している。汚れ等の場合（特に水滴汚れや泥汚れの場合）には、一画面上に複数、例えば１０〜５０個のものが点在することが多く、これに対して線傷や打痕傷の場合には一画面上に一箇所程度発生するという傾向がある。

さらに、傷候補の明度の標準偏差は傷候補一つについてそれぞれに求める。実際の線傷や打痕傷の場合には、傷そのものとその周囲の車体部分もわずかに含むため、実際の線傷や打痕傷では汚れ等に比べて明度の標準偏差が大きくなる。図８は輝度補正後の画像における線傷の一例を示し、また図９は図８と同等の画像に基づいて実験的に線傷や打痕傷と汚れ等における明度の標準偏差を解析して求めた結果であって、明度の分布から標準偏差を抽出したヒストグラムを示している。そして、図９のヒストグラムの符号Ｑ１は線傷での明度の標準偏差を示していて、それ以外は汚れ等の明度の標準偏差を示している。このように、線傷や打痕傷の場合には汚れ等に比べて明度の標準偏差が顕著に大きくなることから、例えば明度の偏差が１０以上のものを線傷または打痕傷として判定するものとする。

このように、線傷や打痕傷を抽出した画像と汚れ等を抽出した画像とを実験的且つ多面的に解析した結果、（１）傷候補の明度の標準偏差、（２）傷候補の総数、（３）傷候補の太さの変動率、（４）傷候補の面積に変動率、という四つの個別パラメータにおいて、線傷や打痕傷とそれ以外の汚れ等との差が顕著に表れることが判明した。

そこで、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）というクラスタリング評価法により四つそれぞれの個別パラメータを評価し、その評価結果を足し合わせることで総合評価パラメータとして傷の類似度を新たに定義した。なお、サポートベクターマシン（以下、ＳＶＭと表記するものとする。）はパターン認識手法に一つとして公知であり、教師あり学習を用いる識別手法の一つであって、非常に認識性能の優れた学習モデルとされている。

ここで、傷の類似度をＳとし、この傷の類似度Ｓの算出式を下記（１）式とする。

Ｓ＝ｅ・α＋ｆ・β＋ｇ・γ＋ｈ・λ‥‥（１）
α：傷候補の明度の標準偏差
β：傷候補の総数
γ：傷候補の太さの変動率
λ：傷候補の面積の変動率
ｅ、ｆ、ｇ、ｈ：重み係数
αは先に図９で説明した傷候補の明度の標準偏差であり、ここでは例えば明度の標準偏差が１０以上の場合に傷候補を線傷または打痕傷と判定するものとする。また、βは先に説明した傷候補の総数であり、傷候補を抽出した画面上における傷候補の総数であり、画面上での傷候補の数が多い場合に、傷候補が線傷または打痕傷ではなく汚れ等と判定するものとする。そして、ここではβ＝１／βとする。

γは先に図７で説明した傷候補の太さの変動率であり、ここではγ＝ｋ・Ｆとしている。Ｆは太さの変化率であり、この太さの変化率Ｆに補正係数ｋを乗じたものを傷候補の太さの変動率γとしている。そして、この太さの変動率γが大きい場合には傷候補が線傷または打痕傷ではなく汚れ等と判定する。

また、λは同様に先に図７で説明した傷候補の面積の変動率であり、ここではλ＝ｋ・Ａとしている。Ａは面積の変化率であり、この面積の変化率Ａに補正係数ｋを乗じたものを傷候補の面積の変動率λとしている。そして、この面積の変動率λが大きい場合には傷候補が線傷または打痕傷ではなく汚れ等と判定する。なお、上記の補正係数ｋは、ｋ＝（δ／κ）＋１であり、κは傷候補の平均長、δは傷候補の長さである。

図６は先に述べた傷の類似度という総合評価パラメータを用いた場合の線傷や打痕傷の判定のための処理手順を示していて、図５のステップＳ５の傷抽出処理に対応している。

図６のステップＳｂ１ではＳＶＭ用学習データの読み込みを行う。ここでは、事前に既知の線傷や打痕傷と汚れ等のデータを先に説明した四つの個別パラメータα、β、γ、λそれぞれに対して学習させたデータを読み込む。そして、続くステップｂ２ではカメラ３２による撮像を開始する。

ステップｂ３では検査面の抽出処理を行う。その際に同時に部分的なマスキング処理（またはウインドウ処理）を施すものとする。ここでの検査面の抽出処理には、後述するドアノブやサイドランプ部分の抽出のためのしきい値処理や２値化処理、同じくドアノブやサイドランプ部分の周辺領域の削除のためのラベリングや膨張処理、後述する差分用画像作成のためのノイズ除去処理や２値化処理、検査面抽出のための差分処理や輝度補正処理等を含むものである。

車体の塗装面に露出しているドアノブ等の金属部分やサイドランプ部分ではそれらの周辺部を含めて黒い溝のようになっており、そのままではその部分を傷として誤認識してしまうおそれがあるため、画像処理により該当部分を例えば膨張させて周辺部分も含めてマスキング処理を行う。図６のステップｂ３における検査面抽出処理の詳細は図１２のとおりであって、図１２の全ての処理の画像に対して上記マスキング処理を施している。このマスキング処理によって、ドアノブ等の誤検出を防止しつつ車体塗装面の傷の検出精度を高めることができる。

図１２のステップＳ１１では、元画像について平均化フィルタ処理により画素ごとの明度のばらつきを軽減し、画像全体に対する大まかな処理を行えるようにする。ステップＳ１２では、動的しきい値処理により撮像した画像ごとの明度のばらつきを把握して最適な２値化処理を施し、続くステップＳ１３でラベリングを行う。

なお、上記動的しきい値処理とは次のように定義される。例えば検査対象物の表面性状によっては、反射や輝度むらにより通常の２値化法ではうまく処理が実現できない場合が多くある。このような場合、先ず対象画像を平滑化することでベースとなるコントラストを算出し、そこからオフセットを設定することで対象とする領域のみを抽出することができる。つまり、画像の各要所においてダイナミックにしきい値を設定するということから、この特殊な２値化手法は動的しきい値処理と呼ばれている。

図１２のステップＳ１４では、画面のちらつき等を削除するためにノイズ除去を行う。ステップＳ１５では、マスキングしたい金属製のドアノブ等を認識するために、例えば明度の最高値付近２５５前後の部分のみを抽出し、金属部分抽出を行う。続いて、ステップＳ１６では、ドアノブ等の金属部分の付近の黒い溝などを傷候補として認識しないように膨張処理を行って、金属部分の周りもマスキングできるように領域を確保する。

図１２のステップＳ１７では、先のマスキング処理で確保した領域から差分処理のための２値化画像を作成する。そして、ステップＳ１８では、ステップＳ１７で作成した２値化画像とステップＳ１１の平均化フィルタ処理後の画像とで差分処理を行って検査面を抽出し、続くステップＳ１９で輝度補正を行う。ここまでのステップＳ１１〜ステップＳ１９の処理が、図６のステップｂ３における検査面抽出処理となる。

図６のステップｂ４では傷候補抽出処理を行う。この傷候補抽出処理の詳細は図１３のとおりであって、検査面抽出処理後の画像に対して、例えば微分フィルタ（ガウシアンフィルタ）処理、動的しきい値処理、ラベリング、膨張・収縮処理、ノイズ除去および傷候補抽出処理等のそれぞれの処理を順次施すことにより、線傷や打痕傷を汚れ等と区別して傷候補として抽出することになる。

具体的には、図１３のステップＳ２１では、先の検査面抽出処理後の画像に微分フィルタ処理を施すことにより、傷候補の強調画像を作成する。ステップＳ２２では、動的しきい値処理で最適な２値化処理を行うことにより、より軽微な傷でも認識できるように画質調整を行い。続くステップＳ２３ではラベリングを行う。このラベリングに続いて、ステップＳ２４では、例えば非常にうっすらとついた傷の場合、傷同士が繋がっておらず、別の傷として認識されることがあるため、膨張・縮小処理により距離の近い傷同士を結合し、同じ傷として認識できるようにする。さらに、ステップＳ２５において画面のちらつき等のノイズ除去後、続くステップＳ２６にて傷候補を抽出する。この後、図６のステップｂ５の処理に移行することになる。

図６のステップｂ５では、パーティングライン上の打痕傷抽出処理を行う。例えばドアの後端のエッジ部ではドアの開閉に伴う打痕傷が発生しやすいものの、その打痕傷は線傷と異なり孤立した円形の塗膜剥がれとしてエッジのラインに近接もしくは重なって表れる傾向にある。そこで、図１０に示すように、例えば微分処理により傷候補強調画像を作成したならば、長い直線である二本のパーティングラインＬ１，Ｌ２のみを抽出し、パーティングラインＬ１，Ｌ２に打痕傷である円形部Ｑ２が近接している場合には、その画像内の長いパーティングラインＬ１全体を打痕傷の傷候補として抽出する。なお、この場合において、一方のパーティングラインＬ１をドアエッジ部のものとすれば、他方のパーティングラインＬ２は車体側のドア受容開口部の縁部に相当する。

図６のステップｂ６では、先に述べた類似度算出のための四つの個別パラメータα、β、γ、λを算出する。具体的には、四つの個別パラメータとして、傷候補の明度の標準偏差α、傷候補の総数β、傷候補の太さの変動率γおよび傷候補の面積の変動率λを、ステップｂ３〜ｂ５までの処理で取得したデータに基づいてそれぞれ算出する。

続くステップｂ７では傷の類似度の判定を行う。具体的には、取得した四つの個別パラメータであるところの傷候補の明度の標準偏差α、傷候補の総数β、傷候補の太さの変動率γおよび傷候補の面積の変動率λに基づいて、先の（１）式により傷の類似度Ｓを算出する。そして、この傷の類似度Ｓに関して予め判定しき値を設定してあることから、この傷の類似度Ｓと判定しき値とを比較し、算出した傷の類似度Ｓが判定しき値よりも大きい場合に該当する傷候補を線傷または打痕傷として判定する。

以上により、車体塗装面の線傷または打痕傷を汚れ等から的確に区別して正確に検出することができるようになる。図１１は線傷または打痕傷と汚れ等との類似度判定結果を示すものである。同図の領域Ｂ１は線傷または打痕傷の分布を示し、領域Ｂ２は汚れまたは水滴の付着を線傷または打痕傷として誤認識または過剰検出した場合の分布を示している。同図から明らかなように、汚れまたは水滴の付着を線傷または打痕傷として誤認識または過剰検出してしまう度合いを５％以下まで低減できることが確認できた。

図６のステップｂ８では過剰検出低減のための個別パラメータの調整を行う。なお、この処理については後述する。

図６のステップｂ９ではそれまでの判定結果や個別パラメータ調整結果のデータをまとめる処理を行い、線傷または打痕傷を検出した場合にはその線傷または打痕傷に関する四つの個別パラメータ、すなわち検出した傷の明度の標準偏差α、傷の総数β、傷の太さの変動率γおよび傷の面積の変動率λの値を保存する。

そして、以上のような一連の処理をステップｂ１０の撮像終了まで繰り返し、続くステップｂ１１では線傷または打痕傷の発見の有無を例えば警告灯等にて検査ラインの作業者に向けて可視表示するとともに、線傷または打痕傷の発見回数を保存する。さらに、過去一ヶ月ごとに線傷または打痕傷の発見回数を初期化して終了となる。

ここで、先の図６のステップｂ８での過剰検出低減のための個別パラメータの調整処理について図１４を参照しながら説明する。過剰検出低減のための個別パラメータの調整処理は、汚れ等を線傷または打痕傷として誤認識または過剰検出する頻度が大きくなった場合に、先の（１）式で使用した重み係数ｅ、ｆ、ｇ、ｈのいずれかを下方修正する処理である。

図１４のステップＳ３１，Ｓ３２では、過去ｗ週間分のデータとして線傷または打痕傷の検出回数と各傷ごとの四つの個別パラメータ、すなわち検出した傷の明度の標準偏差α、傷の総数β、傷の太さの変動率γおよび傷の面積の変動率λを入力する。

ステップＳ３３では平均過剰検出回数ｎと線傷または打痕傷の検出回数とを比較し、平均過剰検出回数ｎ＜線傷または打痕傷の検出回数、であれば次のステップＳ３４に進む。ステップＳ３４では過去ｗ週間の四つの個別パラメータの累積から過剰検出への寄与率を個別パラメータごとに算出し、ステップＳ３５では過剰検出への寄与率が最も高い特定の個別パラメータを判定・検出する。

そして、ステップＳ３６では過剰検出への寄与率が最も高いと判定された特定の個別パラメータ、すなわち傷の明度の標準偏差α、傷の総数β、傷の太さの変動率γおよび傷の面積の変動率λのうちのいずれか一つの重み係数（先に説明した（１）式で使用した重み係数ｅ、ｆ、ｇ、ｈのいずれか一つ）が小さくなるように補正するべく、元の重み係数からしきい値ｉだけ減算して、一連の処理を終了する。これにより、図６の次の演算の際に使用される重み係数ｅ、ｆ、ｇ、ｈのいずれか一つが下方修正されることになる。

このように、上記（１）式での重み係数を下方修正することで、汚れ等を線傷または打痕傷として誤認識または過剰検出してしまう回数を減らすことができる。

１…車両
１ａ…車体側面部（塗装面）
４…撮影機器ユニット
５…主制御装置
１２…傷検出部（画像処理手段）
２９…照明装置（照明手段）
３０…照明装置（照明手段）
３１…照明装置（照明手段）
３２…カメラ（撮像手段）

Claims (7)

1. 検査対象となる自動車車体の塗装面を撮像した上で画像処理により上記塗装面における傷を抽出してこれを外観不良として検出する装置であって、
   検査対象となる自動車車体の塗装面に対して照明光を照射する照明手段と、
   上記自動車車体と相対移動することにより上記塗装面のうち照明光による照射部位を撮像する撮像手段と、
   上記撮像手段が捉えた画像を入力として画像解析を行って、上記塗装面における傷を抽出してこれを外観不良として検出する画像処理手段と、
   を備えていて、
   上記画像処理手段は、画像解析により抽出した傷候補の明度の標準偏差分布と傷候補の総数および傷候補の形状変動率を個別パラメータとしてそれぞれ求めた上で、それらの個別パラメータを加算した評価パラメータとして傷の類似度を求め、
   この傷の類似度が判定しきい値よりも大きいときに傷候補を傷と判定することを特徴とする車体塗装面の検査装置。
2. 上記傷候補の形状変動率は、傷候補強調画像から低しきい値と高しきい値とで抽出した傷候補の太さの変動率と面積の変動率であることを特徴とする請求項１に記載の車体塗装面の検査装置。
3. 上記評価パラメータとしての傷の類似度は、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）に基づいて算出したものであることを特徴とする請求項２に記載の車体塗装面の検査装置。
4. 上記個別パラメータである傷候補の明度の標準偏差分布における標準偏差をα、傷候補の総数をβ、傷候補の太さの変動率をγ、傷候補の面積の変動率をλ、それぞれの個別パラメータの重み係数をｅ、ｆ、ｇ、ｈとしたとき、上記評価パラメータとしての傷の類似度ＳをＳ＝ｅ・α＋ｆ・β＋ｇ・γ＋ｈ・λによって算出するものであることを特徴とする請求項３に記載の車体塗装面の検査装置。
5. 上記各個別パラメータおよび傷検出回数の蓄積データに基づいて、個別パラメータの重み係数ｅ、ｆ、ｇ、ｈを補正するようになっていることを特徴とする請求項４に記載の車体塗装面の検査装置。
6. 上記撮像手段による自動車車体の塗装面の撮像に先立って、塗装面の塗色に応じて撮像手段のゲインを自動調整するようになっていることを特徴とする請求項１〜５のいずれか一つに記載の車体塗装面の検査装置。
7. 検査対象となる自動車車体の塗装面を撮像した上で画像処理により上記塗装面における傷を抽出してこれを外観不良として検出する方法であって、
   検査対象となる自動車車体の塗装面に対して照明光を照射して当該塗装面のうち照明光による照射部位を撮像手段にて撮像する工程と、
   上記撮像手段が捉えた画像を入力として画像解析を行って、上記塗装面における傷を抽出してこれを外観不良として検出する画像処理工程と、
   を含んでいて、
   上記画像処理工程では、画像解析により抽出した傷候補の明度の標準偏差分布と傷候補の総数および傷候補の形状変動率を個別パラメータとしてそれぞれ求めた上で、それらの個別パラメータを加算した評価パラメータとして傷の類似度を求め、
   この傷の類似度が判定しきい値よりも大きいときに傷候補を傷と判定することを特徴とする車体塗装面の検査方法。

Images