JP5024897B2 - ノイズ除去方法、塗装検査方法及び装置 - Google Patents

Description

本発明は、画像信号からノイズを除去する技術に関し、更に、ノイズ除去技術を利用する塗装検査技術に関する。

撮像素子から得られた画像信号には、ノイズが不可避的に含まれる。従来、画像信号からノイズを除去するための様々な方法が知られている。

特許文献１には、画像信号を輝度信号と色差信号に分離し、輝度信号のノイズ除去と色差信号のノイズ除去を別個に行なうことが記載されている。特許文献２には、固定パターン雑音とランダム雑音のうち、固定パターン雑音に注目した雑音除去方法が記載されている。特許文献３には、デジタル覆い焼き処理を行なう画像処理装置が記載されている。デジタル覆い焼き処理とは、アナログ写真技術における覆い焼き処理、即ち、焼付け時に画像の一部を覆って適切な明るさのプリントを得る処理をデジタル画像処理に適用したものである。

特開２００６−３０９５２４号公報 特開２００４−０１５７１２号公報 特開２００６−３３０９３８号公報

一般に、ノイズ除去処理では、画像信号の平滑化処理を行なう。従って、ノイズ除去処理を行なうと、ノイズが除去されるが、ノイズ以外の通常の画像信号も平滑化される。例えば、デジタル画像には、その用途によって、ユーザが残しておきたい画像部分とそうでない画像部分からなるものがある。このよう画像に対してノイズ除去処理を行なうと、ユーザが残しておきたい画像部分も影響を受ける。

本発明の目的は、ユーザにとって必要な画像部分に対して影響が少ないノイズ除去処理方法を提供することにある。

本発明によるとノイズ除去方法は、撮像装置によって得られた画素毎の濃度を含む画像データを取得するステップと、演算処理装置によって、前記画素毎の濃度より非類似濃度の移動平均を算出する非類似濃度平均算出ステップと、演算処理装置によって、前記画素毎の濃度より前記非類似濃度の移動平均を減算し、両者の差分を求める差分データ算出ステップと、を有する。

非類似濃度平均算出ステップは、次のステップを含む。
先ず、前記画像データを構成する画素より、所定のピッチにて、順番に、１画素づつ取り出し、これを基準画素ｂｉ（ｉ＝１〜ｋ）とする。

次に、前記基準画素ｂｉ（ｉ＝１〜ｋ）の各々について、該基準画素を含む所定の領域を設定し、それを計算領域Ｂｉする。
次に、前記計算領域Ｂｉの各々について、該計算領域に含まれる画素のうち、前記基準画素ｂｉの濃度ｑｉとの差が大きい濃度の画素を、濃度差が大きい順に所定の数だけ取り出す。

次に、前記計算領域Ｂｉの各々について、前記取り出した画素の濃度の平均値ｃｍｉを演算する。
最後に、前記基準画素の濃度ｑｉの各々を、前記非類似濃度の平均値ｃｍｉの各々によって置き換える。

本発明によると、ユーザにとって必要な画像部分に影響を与えることなく、必要でない画像部分のノイズを除去することができる。

図１を参照して、自動車の車体の塗装の検査方法の概略を説明する。塗装検査装置は、自動車の車体１０に照明光を照射する照明装置１１、車体の像を拡大又は縮小する光学系（レンズユニット）１２、車体のデジタル像を撮像するカメラ１３、及び、車体の像から塗装の欠陥を検出する画像処理装置１４を有する。カメラ１３はＣＣＤカメラであってよい。画像処理装置１４は、記憶装置、演算処理装置、及び、メモリを備えた通常のコンピュータであってよい。このようなコンピュータには、入力装置、表示装置及びプリンタが備えられている。本例の塗装検査装置は、自動車の車体の表面を小さな領域に分割し、各領域について、塗装の検査を自動的に行なうように構成されている。塗装検査装置は、図示しないロボットによって自動車の車体の周囲を移動する。

図２を参照して、画像処理装置における塗装の欠陥の検出処理の手順を説明する。先ず、ステップＳ１０１にて、画像処理装置１４に設けられた演算処理装置は、カメラから画像データを取り込み、それをメモリ又は記憶装置に格納する。ステップＳ１０２にて、演算処理装置は、画像データに対して微分処理を行なう。それによって、画像データの濃度変化が得られる。この濃度変化が大きい領域は、欠陥である可能性があるが、欠陥以外の可能性もある。ドア、ドアノブ、窓ガラス、ヘッドランプ等の縁では、濃度変化が大きい。ステップＳ１０３にて、演算処理装置は、画像データに対してノイズ除去処理を行なう。ノイズ除去処理は、画像データの平滑化である。ノイズ除去処理は、以下に図３を参照して、詳細に説明する。ステップＳ１０４にて、演算処理装置は、画像データを２値化する。それによって、画像は、濃度が濃い領域と濃度が薄い領域の２つの領域に分けられる。例えば、画像は、黒色と白色に分けられる。この２値画像により、欠陥候補を検出することができる。例えば、白色の領域は、欠陥候補であると判定する。ステップＳ１０５にて、演算処理装置は、マスク処理を行なう。即ち、２値画像より、マスクエリアを除去する。ドアノブ、窓ガラス、ヘッドランプ等は、塗装を行なわないので、マスクエリアとなる。最後に、ステップＳ１０６にて、演算処理装置は、欠陥を検出する。ステップＳ１０４にて検出された欠陥候補のうち、マスクエリア以外のものを塗装の欠陥であると判定する。

図６はカメラから取り込んだ原画像６０１と、ノイズ除去を行い、２値化処理を行なった画像６０２の例を示す。原画像６０１には、ノイズ６０１２と、ユーザが残したい画像領域、即ち、塗装の欠陥６０１３が含まれる。ノイズ６０１２は、小さな灰色の丸によって表され、塗装の欠陥６０１３は白い丸によって表される。本発明によると、ノイズ除去処理後の画像６０２では、原画像６０１のうち、ノイズ６０１２が除去され、塗装の欠陥６０２３のみが残る。即ち、ノイズは除去されているが、ユーザが残したい画像は劣化することなく明確に残されている。

図３を参照して本発明によるノイズ除去方法を説明する。ステップＳ２０１にて、画像処理装置１４に設けられた演算処理装置は、画像データを取り込み、それをメモリ又は記憶装置に格納する。この画像データは、撮像装置から取り込んだ画像データであってもよい。この画像データによって、例えば、図６に示す原画像６０１が得られる。ステップＳ２０２にて、演算処理装置は、画素データの濃度の移動平均を算出する。濃度の移動平均の算出方法は、後に、図４を参照して詳細に説明する。濃度の移動平均を求めることによって、原画像６０１の濃度分布が平滑化される。ステップＳ２０３にて、演算処理装置は、非類似濃度の移動平均を算出する。非類似濃度平均の算出方法は、後に図５を参照して詳細に説明する。非類似濃度平均を求めることによって、原画像６０１の濃度は反転する。即ち、濃度の濃い領域では濃度が薄くなり、濃度が薄い領域では濃度が濃くなる。特に、濃度変化が大きい領域では、濃度の反転は顕著になる。最後に、ステップＳ２０４にて、演算処理装置は、原画像の画像データより、非類似濃度の移動平均を減算し、両者の差分を求める。こうして得られた差分データでは、原画像６０１におけるノイズは平滑化又は除去され、塗装の欠陥のみが平滑化されることなく残る。尚、本発明によるノイズ除去方法では、ステップＳ２０２の画素データの濃度の移動平均の算出処理を省略してもよい。この場合には、ステップＳ２０１とステップＳ２０３、ステップＳ２０４のみによって、ノイズを除去する。

図７のグラフ７０１〜７０４は、画像の濃度分布を示す。これらのグラフにおいて、横軸は、１つの走査線に沿った画素の位置、縦軸は、濃度の値である。図７のグラフ７０１の曲線７０１１は、ステップＳ２０１にて取り込んだ原画像６０１の濃度分布を示す。ピーク７０１２はノイズを表し、ピーク７０１３は塗装の欠陥を表す。図７のグラフ７０２の曲線７０２１は、ステップＳ２０２にて算出した濃度の移動平均の分布を示す。濃度の移動平均を求めることによって、原画像の濃度分布が平滑化される。図７のグラフ７０３の曲線７０３１は、ステップＳ２０３にて算出した非類似濃度の移動平均の分布を示す。非類似濃度平均を求めることによって、原画像６０１の濃度分布を表す曲線７０１１におけるピークの凹凸は反転する。図７のグラフ７０４の曲線７０４１は、ステップＳ２０４にて算出した差分の分布を示す。差分データでは、原画像６０１の濃度分布を表す曲線７０１１におけるノイズを示すピーク７０１２は平滑化又は除去され、塗装の欠陥７０１３は、平滑化されることなく残る。従って、図７のグラフ７０４の曲線７０４１のデータを用いて、２値化し、それを画像化すると、図６の画像６０２のように、ノイズ６０１２は除去され、ユーザによって必要である塗装の欠陥６０２３が残る。

図４を参照して、図３のステップＳ２０２の濃度の移動平均の算出方法を説明する。ステップＳ３０１にて、画像処理装置１４に設けられた演算処理装置は、濃度の移動平均の算出の対象となる画像データを取り込み、それをメモリ又は記憶装置に格納する。本例では、カメラから取り込んだ原画像６０１の画像データ、即ち、原画像データである。この画像データを構成する画素より、所定のピッチにて、順番に、１画素づつ取り出す。これを基準画素ａｉ（ｉ＝１〜ｋ）とする。これらの基準画素の濃度を、ｐｉ（ｉ＝１〜ｋ）とする。ピッチが１画素なら、全ての画素を順に取り出すことになる。画素を取り出す順番は、画素データを構成する画素の走査順であってよい。

ステップＳ３０２にて、演算処理装置は、こうして取り出した各基準画素について、その基準画素を含む所定の領域を設定する。これを計算領域Ａｉ（ｉ＝１〜ｋ）とする。計算領域Ａｉに含まれる画素数は、全ての計算領域において同一であることが好ましい。しかしながら、基準画素が、画像の縁に存在する場合には、計算領域に含まれる画素数は、それより少なくてもよい。ステップＳ３０３にて、演算処理装置は、各計算領域について、それに含まれる画素の濃度の平均値を算出する。これを濃度の平均値ｐｍｉ（ｉ＝１〜ｋ）とする。ステップＳ３０４にて、演算処理装置は、基準画素の濃度ｐｉを、濃度の平均値ｐｍｉによって置き換える。このような濃度の平均値の計算と、その置き換えを、全ての基準画素に対して、順に実施する。それによって、濃度の移動平均が得られる。

図５を参照して、図３のステップＳ２０３の非類似濃度平均の算出方法を説明する。ステップＳ４０１にて、画像処理装置１４に設けられた演算処理装置は、非類似濃度の移動平均の算出の対象となる画像データを取り込み、それをメモリ又は記憶装置に格納する。本例では、この画像データは、ステップＳ２０２にて算出して濃度の移動平均である。演算処理装置は、この画像データを構成する画素より、所定のピッチにて、順番に、１画素づつ取り出す。これを基準画素ｂｉ（ｉ＝１〜ｋ）とする。これらの基準画素の濃度を、ｑｉ（ｉ＝１〜ｋ）とする。ピッチが１画素なら、全ての画素を順に取り出すことになる。画素を取り出す順番は、画素データを構成する画素の走査順であってよい。ステップＳ４０２にて、演算処理装置は、各基準画素ｂｉ（ｉ＝１〜ｋ）について、その基準画素を含む所定の領域を設定する。これを計算領域Ｂｉ（ｉ＝１〜ｋ）とする。但し、ここで設定する計算領域Ｂｉは、ステップＳ３０２にて設定した計算領域Ａｉより大きいことが好ましい。計算領域Ｂｉに含まれる画素数は、全ての計算領域において同一であることが好ましい。しかしながら、基準画素が、画像の縁に存在する場合には、計算領域に含まれる画素数は、それよい少なくてもよい。

ステップＳ４０３にて、演算処理装置は、各計算領域Ｂｉについて、それに含まれる画素のうち、基準画素ｂｉの濃度ｑｉとの差が大きい濃度の画素を、濃度差が大きい順に所定の数だけ取り出す。即ち、基準画素ｂｉの濃度ｑｉに対して非類似の濃度の画素を取りさす。例えば、ｎ個の画素ｃｉｊ（ｊ＝１〜ｎ、但し、ｎは領域Ｂｉに含まれる画素数より小さい）を取り出したものとする。ステップＳ４０４にて、演算処理装置は、ｎ個の画素ｃｉｊ（ｊ＝１〜ｎ）の濃度の平均値を算出する。この濃度の平均値を、ｃｍｉ（ｉ＝１〜ｋ）とする。これが、非類似濃度の平均値である。ステップＳ４０５にて、演算処理装置は、基準画素ｂｉの濃度ｑｉを、非類似濃度の平均値ｃｍｉによって置き換える。このような非類似濃度の平均値の計算と、その置き換えを、全ての基準画素に対して、順に実施する。それによって、非類似濃度の移動平均が得られる。

非類似濃度の平均値は、各計算領域Ｂｉにおいて、基準画素ｂｉの濃度ｑｉと濃度が非類似の画素を取り出し、その平均値を求めることにより得られる。従って、非類似濃度の平均値は、基準画素ｂｉの濃度ｑｉに対して反転した値をとる。非類似濃度平均値を計算するときに設定する計算領域Ｂｉは、濃度の移動平均値を計算するときに設定する計算領域Ａｉより大きいことが好ましい。計算領域Ｂｉが小さい場合には、その計算領域Ｂｉに、基準画素ｂｉに対して濃度が非類似の画素が存在する可能性が少なくなる。基準画素ｂｉに対して濃度が非類似の画素を得るには、計算領域Ｂｉを比較的大きくする必要がある。逆に計算領域Ｂｉが大きすぎると、非類似濃度平均を求める対象となる画像データの濃度勾配又は傾向が希釈される。

本例の非類似濃度の移動平均を求める方法では、ステップＳ４０１にて、非類似濃度の移動平均を求める対象となる画像データを取得する。この画像データは、図３のステップＳ２０２にて平滑化された画像データである。即ち、図７のグラフ７０２の曲線７０２１によって示される画像データである。しかしながら、この非類似濃度の移動平均を求める対象となる画像データは、図３のステップＳ２０１にて取得した原画像データであってよい。即ち、図７のグラフ７０１の曲線７０１１によって示される原画像データであってよい。

更に、ステップＳ４０４にて、各計算領域Ｂｉについて、それに含まれる画素のうち、基準画素ｂｉの濃度ｑｉとの差が大きい濃度の画素を、濃度差が大きい順に所定の数だけ取り出した。この基準画素ｂｉは、図７のグラフ７０２の曲線７０２１によって示される平滑化された画像データから取り出したものである。しかしながら、各計算領域Ｂｉについて、それに含まれる画素のうち、原画像データの基準画素ａｉの濃度ｐｉとの差が大きい濃度の画素を、濃度差が大きい順に所定の数だけ取り出してもよい。即ち、図７のグラフ７０１の曲線７０１１によって示される原画像データより取り出した基準画素ａｉと比較して、濃度差が大きい画素を取り出してもよい。

ステップＳ４０１にて、移動平均値を求める前の原画像データを取得し、且つ、ステップＳ４０４にて、移動平均値を求める前の原画像データより取得した基準画素を用いる場合には、ステップＳ２０２の濃度の移動平均を算出する処理は不要である。従って、本発明によると、図３のノイズの除去の処理において、ステップＳ２０２の処理を省略してもよい。

以上本発明の例を説明したが、本発明は上述の例に限定されるものではなく、特許請求の範囲に記載された発明について様々な変更が可能であることは当業者によって容易に理解されよう。

本発明のノイズ除去装置及び方法は、自動車の車体の塗装検査装置における塗装の欠陥の検出処理に適用可能であるが、他の技術分野におけるノイズ除去技術に適用可能である。

本発明による自動車の車体の塗装検査装置の概略を示す図である。 本発明による自動車の車体の塗装検査装置における塗装の欠陥の検出処理の概略を示す図である。 本発明によるノイズ除去処理の概略を示す図である。 本発明によるノイズ除去処理における濃度の移動平均の算出処理の概略を示す図である。 本発明によるノイズ除去処理における非類似濃度の移動平均の算出処理の概略を示す図である。 本発明によるノイズ除去処理の対象となる原画像とノイズ除去処理後の画像の例を示す図である。 本発明によるノイズ除去処理における画像データの濃度分布の例を示す図である。

符号の説明

１０…車体、１１…照明装置、１２…レンズユニット、１３…カメラ、１４…画像処理装置、６０１、６０２…画像、６０１２…ノイズ、６０１３、６０２３…塗装の欠陥

Claims (7)

1. 演算処理装置と記憶装置とを有する画像処理装置を用いて、画像データよりノイズを除去する方法において、
   前記演算処理装置によって、撮像装置によって得られた画素毎の濃度を含む画像データを取得する画像データ取得ステップと、
   前記演算処理装置によって、前記画素毎の濃度より非類似濃度の移動平均を算出する非類似濃度平均算出ステップと、
   前記演算処理装置によって、前記画素毎の濃度より前記非類似濃度の移動平均を減算し、両者の差分を求める差分データ算出ステップと、を有し、
   前記非類似濃度平均算出ステップは、
   前記画像データを構成する画素より、所定のピッチにて、順番に、１画素づつ取り出し、これを基準画素ｂｉ（ｉ＝１〜ｋ）とする基準画素取得ステップと、
   前記基準画素ｂｉ（ｉ＝１〜ｋ）の各々について、該基準画素を含む所定の領域を設定し、それを計算領域Ｂｉとする計算領域設定ステップと、
   前記計算領域Ｂｉの各々について、該計算領域に含まれる画素のうち、前記基準画素ｂｉの濃度ｑｉとの差が大きい濃度の画素を、濃度差が大きい順に所定の数だけ取り出す非類似濃度画素取得ステップと、
   前記計算領域Ｂｉの各々について、前記取り出した画素の濃度の平均値ｃｍｉを演算するステップと、
   前記基準画素の濃度ｑｉの各々を、前記非類似濃度の平均値ｃｍｉの各々によって置き換えるステップ、
   を含むことを特徴とするノイズ除去方法。
2. 請求項１記載のノイズ除去方法において、
   前記画像データ取得ステップと前記非類似濃度平均算出ステップの間に更に濃度平均算出ステップを有し、
   前記濃度平均算出ステップは、
   前記画像データを構成する画素より、所定のピッチにて、順番に、１画素づつ取り出し、これを基準画素ａｉ（ｉ＝１〜ｋ）とする基準画素取得ステップと、
   前記基準画素ａｉ（ｉ＝１〜ｋ）の各々について、該基準画素を含む所定の領域を設定し、それを計算領域Ａｉとする計算領域設定ステップと、
   前記計算領域Ａｉの各々について、該計算領域に含まれる画素の濃度の平均値ｐｍｉを算出する平均値算出ステップと、
   前記基準画素の濃度ｐｉの各々を、前記濃度の平均値ｐｍｉの各々によって置き換えるステップと、
   を含み、前記非類似濃度平均算出ステップの前記計算領域設定ステップによって設定された計算領域Ｂｉは、前記濃度平均算出ステップの前記計算領域設定ステップによって設定された計算領域Ａｉより大きいことを特徴とするノイズ除去方法。
3. 請求項２記載のノイズ除去方法において、
   前記非類似濃度平均算出ステップにて用いられる前記画像データは、前記濃度平均算出ステップによって処理された後の画像データであることを特徴とするノイズ除去方法。
4. 請求項２記載のノイズ除去方法において、
   前記非類似濃度画素取得ステップにて、前記計算領域Ｂｉの各々について、該計算領域に含まれる画素のうち、前記濃度平均算出ステップの基準画素取得ステップにて取得した前記基準画素ａｉの濃度ｐｉとの差が大きい濃度の画素を、濃度差が大きい順に所定の数だけ取り出すことを特徴とするノイズ除去方法。
5. 照明装置によって車両の車体に照明光を照射するステップと、
   撮像装置によって車体のデジタル像を撮像するステップと、
   メモリと演算処理装置と記憶装置とを有する画像処理装置によって、車体の像から塗装の欠陥を検出するステップと、を有する塗装検査方法において、
   前記塗装の欠陥を検出するステップは、
   前記演算処理装置によって、撮像装置から画素毎の濃度を含む画像データを取得する画像データ取得ステップと、
   前記演算処理装置によって、前記画素毎の濃度より非類似濃度の移動平均を算出する非類似濃度平均算出ステップと、
   前記演算処理装置によって、前記画素毎の濃度より前記非類似濃度の移動平均を減算し、両者の差分を求める差分データ算出ステップと、を有し、
   前記非類似濃度平均算出ステップは、
   前記画像データを構成する画素より、所定のピッチにて、順番に、１画素づつ取り出し、これを基準画素ｂｉ（ｉ＝１〜ｋ）とする基準画素取得ステップと、
   前記基準画素ｂｉ（ｉ＝１〜ｋ）の各々について、該基準画素を含む所定の領域を設定し、それを計算領域Ｂｉとする計算領域設定ステップと、
   前記計算領域Ｂｉの各々について、該計算領域に含まれる画素のうち、前記基準画素ｂｉの濃度ｑｉとの差が大きい濃度の画素を、濃度差が大きい順に所定の数だけ取り出すステップと、
   前記計算領域Ｂｉの各々について、前記取り出した画素の濃度の平均値ｃｍｉを演算するステップと、
   前記基準画素の濃度ｑｉの各々を、前記非類似濃度の平均値ｃｍｉの各々によって置き換えるステップと、
   を含むことを特徴とする塗装検査方法。
6. 請求項５記載の塗装検査方法において、
   前記画像データ取得ステップと前記非類似濃度平均算出ステップの間に更に濃度平均算出ステップを有し、
   前記濃度平均算出ステップは、
   前記画像データを構成する画素より、所定のピッチにて、順番に、１画素づつ取り出し、これを基準画素ａｉ（ｉ＝１〜ｋ）とする基準画素取得ステップと、
   前記基準画素ａｉ（ｉ＝１〜ｋ）の各々について、該基準画素を含む所定の領域を設定し、それを計算領域する計算領域設定ステップと、
   前記計算領域Ａｉの各々について、該計算領域に含まれる画素の濃度の平均値ｐｍｉを算出する平均値算出ステップと、
   前記基準画素の濃度ｐｉの各々を、前記濃度の平均値ｐｍｉの各々によって置き換えるステップと、
   を含み、前記非類似濃度平均算出ステップの前記計算領域設定ステップによって設定された計算領域Ｂｉは、前記濃度平均算出ステップの前記計算領域設定ステップによって設定された計算領域Ａｉより大きいことを特徴とする塗装検査方法。
7. 車両の車体に照明光を照射する照明装置と、車両の車体の像を拡大又は縮小する光学系と、車体のデジタル像を撮像する撮像装置と、車体の像から塗装の欠陥を検出する画像処理装置と、を有し、該画像処理装置は、記憶装置、演算処理装置、及び、メモリを備えた塗装検査装置において、
   前記演算処理装置は、撮像装置から画素毎の濃度を含む画像データを取得し、前記画素毎の濃度より非類似濃度の移動平均を算出し、前記画素毎の濃度より前記非類似濃度の移動平均を減算し、両者の差分を求めるように構成され、
   前記非類似濃度の移動平均は、
   前記画像データを構成する画素より、所定のピッチにて、順番に、１画素づつ取り出し、これを基準画素ｂｉ（ｉ＝１〜ｋ）とし、
   前記基準画素ｂｉ（ｉ＝１〜ｋ）の各々について、該基準画素を含む所定の領域を設定し、それを計算領域Ｂｉとし、
   前記計算領域Ｂｉの各々について、該計算領域に含まれる画素のうち、前記基準画素ｂｉの濃度ｑｉとの差が大きい濃度の画素を、濃度差が大きい順に所定の数だけ取り出し、前記計算領域Ｂｉの各々について、前記取り出した画素の濃度の平均値ｃｍｉを演算し、 前記基準画素の濃度ｑｉの各々を、前記非類似濃度の平均値ｃｍｉの各々によって置き換えることを特徴とする塗装検査装置。

Images