JP4042615B2 - 画像処理方法及び画像処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理方法に関し、例えば検出された異物画像の２値化後の輪郭補正やフィルタリングに関する。
【０００２】
【従来の技術】
従来から、精密で高品質を要求される製品の製造工程において、ゴミやバリのような異物が付着する場合があり、製品の品質上の問題となる場合が多かった。例えば、車両のエンジンの燃料噴射を行うインジェクタのニードルのクリアランスは約５０μｍであり、そこに異物が詰まるとニードルが全開状態となり、制御不能になってしまう。このような異物は、製造工程で発生する金属バリや切削粉、インジェクタが載置されるパレットのポリアセタール等のプラスチック屑、作業服の繊維屑あるいは紙類、人体の皮膚や爪等、金属や非金属の雑多なものである。
【０００３】
そこで、異物を洗い流す洗浄工程を介在させ、異物を洗い流すようにするほか、工程管理の一環として、どの工程でどのような異物が付着するかを知るために、工程ごとの洗浄処理においてろ紙のような計測フィルタに異物を採取して、異物検査や異物測定が行われている。このような異物検査や測定は、顕微鏡等により得られた異物画像に基いて行われるが、従来、異物を計測する場合、その前処理として異物を背景から区別できるようにする２値化処理が行われる。しかしながら、閾値のみで２値化処理を行うと、一体として検出したい画像が複数個に分割されて２値化されるようなことがあった。このような場合には、異物の個数が一致しなかったり、異物の見落としが発生することになる。
なお、以下に示す視覚認識装置が公知である（特許文献１参照）。
すなわち、テレビカメラと画像処理装置とから成り、画像処理装置の画像メモリに対象物の２値画像が格納される。ＲＡＭには対象物の種別を判別するための判別情報と対象物を認識するための種別毎の計測条件とが記憶される。計測部は２値画像の特徴量を計測し、ＣＰＵはその計測値と前記判別情報とを比較して対象物の種別を判別する。ついでＣＰＵにより前記判別結果に応じた計測条件が選択され、その計測条件に基づき計測部による特徴量の計測およびＣＰＵによる形状などの認識処理が行われる。
【特許文献１】
特開平５−２６３４号公報
【０００４】
【発明が解決しようとする課題】
そこで、従来から、２値化後の画像に対して輪郭形状を補正する輪郭処理が行われていた。すなわち、２値化後に分割された画像に対して画像を太らせる処理（膨張処理）を所定回数行って、ある距離内に分散している画素を一体化し、その後太らせる処理に対応する所定回数分だけ細らせる処理（収縮処理）を行うものである。ここで、膨張処理は、１の画素の近傍を１に変換し、収縮処理は０の画素の近傍を０に変換する操作である。しかしながら、工程ごとにフィルタの背景色が異なるような場合があり、このような画像背景の輝度が相違する場合には、太らせ画素数と細らせ画素数すなわち膨張回数と収縮回数が固定されていると、輪郭補正を行ったとしても、実際の計測値と一致しない場合があった。
【０００５】
本発明は、上記問題に鑑み、２値化後の画像に対して適切な輪郭補正が行える画像処理方法及び画像処理装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、前記目的を達成するために、２値化画像に膨張処理と収縮処理を行う場合、膨張処理と収縮処理との回数を、入力画像のヒストグラムの最大頻度値に基いて決定する画像処理方法及び装置を提供する。
【０００７】
膨張処理と収縮処理との回数は異なってもよいし、膨張処理の回数より収縮処理の回数を多くしてもよい。
【０００８】
また、本発明は、２値化画像にフィルタをかけて所定寸法以下のノイズを除去する場合、当該所定寸法を、入力画像のヒストグラムの最大頻度値に基いて決定する画像処理方法及び装置を提供する。
【０００９】
さらに、このフィルタ処理と膨張収縮処理を組合わせることもできる。
このように構成すると、背景輝度が異なっても、最適な膨張収縮処理及びノイズ除去が行われる。
【００１０】
【発明の実施の形態】
図１は、本発明の１実施形態である画像処理装置を含む異物検査装置の概要を示す図面である。
【００１１】
顕微鏡１は、例えば実体顕微鏡で、ＣＣＤカメラ１１が備えられている。接眼部１２は、双眼鏡となっており、対物部１３の下には、試料を載置するＸ−Ｙテーブル１４が備えられている。Ｘ−Ｙテーブル１４には、異物を採集した計測フィルタが装着される。例えば計測フィルタが４枚装着可能なテーブルを用いてもよい。顕微鏡１にはその他操作に必要な公知のアタッチメントが装着されることができる。画像解析装置２は、例えばパーソナルコンピュータからなる、実体顕微鏡により取得された試料画像を解析するための装置で、本体２１、表示装置２２及びキーボード２３等を備える。本発明の画像処理装置の１実施形態は、画像解析装置において実現される。本体２１にはハードディスク等の記憶装置を備え、図示しないが、その他の公知の入力装置や出力装置を備えることができる。
【００１２】
図２に、インジェクタを洗浄して計測フィルタ上に集めた異物を異物検査装置のカメラで撮像した入力画像の一例を示す。本実施形態では、計測フィルタの直径は５０ｍｍであり、図２のものは、計測フィルタを約６０分割したもので、縦横４〜５ｍｍの大きさである。また全画素数は６４０×４８０であるから、１画素は、７．５μｍ程度である。
【００１３】
入力画像は、異物計測のために２値化処理が行われる。ここで入力画像とは、２値化処理が行われる前の画像をいう。図３は、入力画像を所定の閾値のみで２値化処理を行った結果の画像を示す。図３に示されるように、２値化処理の結果複数画像に分離して現われる。これはもともと別のものである場合もあるが、一体のものが分割されている場合も多い。破線で示した異物３１〜３７は、２値化画像上では別のものか一体のものかが不明のものである。
【００１４】
このような場合に、輪郭補正が行われるのであるが、本発明は、先に述べたように、入力画像のヒストグラムの最大頻度値すなわち背景の輝度を考慮に入れた補正を行えるようにしたものであり、本発明の一実施形態では、入力画像のヒストグラムの最大頻度値、膨張処理画素数、収縮処理画素数及びフィルタを決める画像寸法を表形式に格納するルックアップテーブルを作成した。画像を０〜２５５の２５６階調として、最大頻度値５０〜２００まで１０度数間隔で各値を求めた。図４に、本実施形態のルックアップテーブルの一部を示す。ここで、画像ヒストグラムとは、横軸に画像の輝度をとり、輝度ごとにその輝度に対応する画素の度数をとって作成されたものであり、ヒストグラムの最大頻度値は、通常背景の輝度となるものである。
【００１５】
ルックアップテーブルの作成に当っては、サンプル画像の画像ヒストグラムを求め、最大頻度値を求めるとともに、サンプル画像に対して膨張処理及び収縮処理の画素数を変えてすなわち処理回数を変化させて、膨張処理及び収縮処理を行い、その結果をサンプル画像と対照させて、目視の結果サンプル画像と一致する処理回数を膨張処理及び収縮処理の回数として求める。これを適当数のサンプル画像に対して行い、最適な値を得てテーブルを作成した。
【００１６】
本実施形態では画像の輝度は、０（暗）〜２５５（明）の２５６階調であるから、このすべての階調に対応してテーブルを作成してもよい。しかし、背景が特に暗い場合は暗い異物を認識するには困難で、また背景が非常に明るい場合は、暗い異物はそれほど困難なく認識でき、膨張処理及び収縮処理ともに通常の固定の画素数だけの処理で済む場合が多い。したがって、本実施形態のルックアップテーブルは、５０〜２００階調程度の範囲で作成されている。ただし、５０〜２００の範囲は単なる一例であって、本発明を限定するものではない。
【００１７】
図５に、図３の２値化画像に対して、膨張収縮処理を行った例をあげる。図３に比較すると、入力画像で一体となっている異物３００がほぼ忠実に一体となって現われている。図３の異物３１及び異物３５に対応する図４の３１１及び３５１は、異物３００とは別の異物であるとしてよいものである。
【００１８】
図４に示したように、テーブルに格納されたヒストグラムの膨張処理と収縮処理の回数とは必ずしも一致しない。また、該テーブルにおける最大頻度値１２０のような背景が暗い場合は、より明るい場合（最大頻度値１６０）に比較して膨張画素数（２）に対する収縮画素数（４）の割合が大である。これは、背景が暗い場合は異物も暗いので、輪郭はぼやけており、そこで２値化すると、異物の輪郭は実物よりも大きく切り出される場合が多く、したがって、収縮画素数は、膨張画素数に比較してその割合を増加させる必要がでてくると考えられる。背景が明るい場合には、暗い異物は比較的明りょうに切り出されるので、前述のように従来どおり膨張画素数と収縮画素数が同数で済む場合が多い。また、種々の条件等により、収縮画素数を膨張画素数より少くする方が適切な場合もある。
【００１９】
なお、入力画像はカラー画像で得られる場合が多いが、画像ヒストグラムはカラーによる相違はほとんどない。したがって、例えば赤色についてヒストグラムを求めれば十分である。
【００２０】
このように、画像ヒストグラムの最大頻度値つまり通常は画像の背景となる部分の輝度の値と膨張画素数及び収縮画素数すなわち膨張処理と収縮処理の回数とのテーブルを作成しておけば、次回からは膨張処理と収縮処理の回数は、画像ヒストグラムの最大頻度値から一意に決まり、最適な輪郭補正が行われることになる。
【００２１】
次に、フィルタについて説明する。
フィルタの項目については、例えば、最大頻度値１２０のものでは、７０μｍと記載されているが、これは７０μｍ以上は異物として認識する、言い換えれば７０μｍより小さなものはノイズとして除去するというもので、このようなフィルタを用いることを指示するものである。このフィルタは、入力画像を２値化した後、ノイズを除去する必要がある場合に使用される。この場合も、膨張収縮処理の回数と同様に、サンプル画像について画像ヒストグラムの最大頻度値に対応させて予めどの程度の大きさまでノイズとするかを決めて、テーブルに格納しておけば、次回以降はこのテーブルを参照すれば自動的に最適フィルタが決定されることになる。
【００２２】
フィルタで除去するノイズの寸法が、暗い場合（最大頻度値１２０）と明るい場合（最大頻度値１６０）とで相違するのは、背景が暗い場合には、背景が明るい場合に比較してノイズの境界もぼんやり拡大して認識されることが多く、明るい場合に比して大きい寸法でノイズ除去するのが適切と判断されるからである。
【００２３】
このように、入力画像のヒストグラムの最大頻度値に対して、膨張処理画素数、収縮処理画素数及びフィルタを決める画像寸法を格納するルックアップテーブルを得た後は、２値化画像に対して、フィルタをかけてノイズ除去し、輪郭補正するに際して、除去すべき最適なノイズ寸法、及び最適な膨張収縮処理の回数が背景輝度に対して一意に決まることになり、適切な輪郭処理が達成できる。
【図面の簡単な説明】
【図１】本発明の一実施形態である画像処理装置を有する異物検査装置を示す図である。
【図２】２値化されるべき入力画像の一例を示す図である。
【図３】入力画像の一例を２値化した２値化画像を示す図である。
【図４】本発明による膨張収縮画素数等を決定するルックアップテーブルの一例を示す図である。
【図５】２値化画像に対して膨張収縮処理を行った結果を示す図である。
【符号の説明】
１…顕微鏡
２…画像解析装置
３１〜３７…分離して現われた異物
３００…膨張収縮処理されて一体化された異物

Claims (8)

1. 入力画像に２値化処理を行い２値化画像を得るステップと、
   前記２値化画像に膨張処理を行うステップと、
   前記膨張処理後の画像に収縮処理を行うステップとを有し、
   前記膨張処理と前記収縮処理の回数が、前記入力画像の輝度のヒストグラムの最大頻度値に基づいて決定される画像処理方法。
2. 前記膨張処理と前記収縮処理の回数が異なる請求項１に記載の画像処理方法。
3. 入力画像に２値化処理を行い２値化画像を得るステップと、
   前記２値化画像にフィルタをかけて所定寸法以下のノイズを除去するステップとを有し、
   前記所定寸法が、前記入力画像の輝度のヒストグラムの最大頻度値に基づいて決定される画像処理方法。
4. 入力画像に２値化処理を行い２値化画像を得るステップと、
   前記２値化画像にフィルタをかけて所定寸法以下のノイズを除去するステップと
   前記ノイズ除去された２値化画像に膨張処理を行うステップと、
   前記膨張処理された画像に収縮処理を行うステップとを有し、
   前記所定の大きさと、前記膨張処理の回数及び前記収縮処理の回数が、前記画像の輝度のヒストグラムの最大頻度値に基いて決定される画像処理方法。
5. 入力画像に２値化処理を行い２値化画像を得る２値化手段と、
   ２値化画像に膨張処理を行う膨張処理手段と、
   前記膨張処理手段によって膨張処理された画像に収縮処理を行う収縮処理手段と、
   前記膨張処理と前記収縮処理との回数が、前記入力画像の輝度のヒストグラムの最大頻度値に基いて決定されたルックアップテーブルとを備え、
   該ルックアップテーブルによって前記膨張処理と前記収縮処理との回数が与えられる画像処理装置。
6. 前記膨張処理と前記収縮処理との回数が異なる請求項５に記載の画像処理方法。
7. 入力画像に２値化処理を行い２値化画像を得る２値化手段と、
   前記２値化画像の所定の大きさ以下のノイズを除去するフィルタと、
   前記所定の大きさが、前記入力画像の輝度のヒストグラムの最大頻度値に基いて決定されたルックアップテーブルを備え、
   該ルックアップテーブルによって前記所定の大きさが与えられる画像処理装置。
8. ２値化画像の所定寸法下のノイズを除去するフィルタと、
   該ノイズが除去された２値化画像に膨張処理を行う膨張処理手段と、
   該膨張処理手段によって膨張処理された画像に収縮処理を行う収縮処理手段と、
   前記所定寸法と、前記膨張処理及び前記収縮処理の回数とが、前記画像の輝度のヒストグラムの最大頻度値に基いて決定されたルックアップテーブルを備え、
   該ルックアップテーブルによって、前記所定寸法と、前記膨張処理と前記収縮処理との回数が与えられる画像処理装置。

Images