JP5086830B2

JP5086830B2 - 画像検査装置、画像検査方法、及びコンピュータプログラム

Info

Publication number: JP5086830B2
Application number: JP2008029514A
Authority: JP
Inventors: 真達下平
Original assignee: Keyence Corp
Current assignee: Keyence Corp
Priority date: 2008-02-08
Filing date: 2008-02-08
Publication date: 2012-11-28
Anticipated expiration: 2028-02-08
Also published as: US8701845B2; US20110001296A1; JP2009186434A; US8014628B2; US20090202172A1

Description

本発明は、検査対象領域を撮像して取得した多値画像から非検出対象物であるノイズを除去して、検出対象物であるブロブ（集合体）状の傷、汚れ等の欠陥の有無、大きさ、形状等を検査する画像検査装置、画像検査方法、及び該画像検査方法の各処理工程を実行するコンピュータプログラムに関する。

従来例として、取得した多値画像データに対して１つの閾値により２値化を行い、２値化後の画像データに対してラベリング処理を行って、所定の画素数に満たないラベリング処理された図形をノイズとして除去することにより、図形の面積が小さい場合に、高い輝度値を有するノイズでも除去することが可能な画像データ処理装置が提案されている（例えば、特許文献１参照）。以下、最終的に検出を行いたい対象物を検出対象物、ノイズとして除去したい対象物を検出対象物という。
特開平０６−０８３９５３号公報

しかしながら、上記従来例では、検出対象物よりも面積が小さい非検出対象物については除去することができるが、検出対象物よりも面積が大きい非検出対象物は除去することができない。従来例において、検出対象物よりも面積の大きい非検出対象物を除去するためには、２値化閾値を非検出対象物の最大輝度値よりも高く（あるいは低く）変更することで対応可能ではあるが、検出対象物の輝度値の中に非検出対象物の輝度値よりも低い（あるいは高い）輝度値を有する画像部分が存在する場合、検出対象物の図形が細かく分断されてしまい、検出対象物の正しい特徴を得ることができないという問題がある。場合によっては、図形が細かく分断されることにより、面積の小さい非検出対象物との区別がつかないおそれもある。

また、上記従来例では、検出対象の図形が小さい面積を有しており、所定の領域にまとまって複数個存在する場合、すべてノイズと判断されて除去されるため、複数の対象図形を１つの図形として検出することができないという問題がある。

本発明は、上記問題点に鑑みてなされたものであり、多値画像から非検出対象の面積の大きいブロブをノイズとして確実に削除するとともに、検出対象のブロブ内にノイズとして除去したい非検出対象物の輝度値よりも低い（あるいは高い）輝度値が存在する場合であっても、検出対象のブロブを分断することなく検出することができる画像検査装置、画像検査方法、及び該画像検査方法の各処理工程を実行するコンピュータプログラムを提供することを第１の目的とする。

また、本発明は、上記第１の目的に加えて、検出対象物が小さい面積を有しており、所定の領域にまとまって複数個存在する場合であっても、複数の対象物を１つのブロブとして検出することができ、ブロブの判別能力を向上させることを第２の目的とする。

前記第１の目的を達成するため、第１発明に係る画像検査装置は、検査対象領域の多値画像を取得する撮像手段と、検出対象画像中の検出すべき最低輝度値又は最高輝度値を第１閾値として設定する第１閾値設定手段と、前記第１閾値設定手段により前記最低輝度値が前記第１閾値として設定される場合、前記撮像手段により取得された前記多値画像から前記第１閾値より大きい輝度値を有する複数の画素を抽出し、抽出された該複数の画素の輝度値の連結性に基づいて、検出対象となりうる画素の集合体を特定し、前記第１閾値設定手段により前記最高輝度値が前記第１閾値として設定される場合、前記撮像手段により取得された前記多値画像から前記第１閾値より小さい輝度値を有する複数の画素を抽出し、抽出された該複数の画素の輝度値の連結性に基づいて、検出対象となりうる画素の集合体を特定するラベリング処理を行うラベリング処理手段と、該ラベリング処理手段により特定された画素の集合体に対して、前記第１閾値と異なる第２閾値を設定する第２閾値設定手段と、前記第１閾値設定手段により前記最低輝度値が前記第１閾値として設定され、前記第２閾値設定手段により設定された前記第２閾値が前記第１閾値より大きい場合、前記第２閾値より小さい輝度値のみからなる前記画素の集合体を検出対象から削除し、前記第１閾値設定手段により前記最高輝度値が前記第１閾値として設定され、前記第２閾値設定手段により設定された前記第２閾値が前記第１閾値より小さい場合、前記第２閾値より大きい輝度値のみからなる前記画素の集合体を検出対象から削除する削除手段とを備えることを特徴とする。

斯かる構成により、第１閾値設定手段が、検出対象画像中の検出すべき最低輝度値又は最高輝度値を第１閾値として設定し、ラベリング処理手段が、第１閾値より大きい輝度値又は小さい輝度値を有する非検出対象物と検出対象物を含む全ての画素の集合体（ブロブ）を特定し、第２閾値設定手段が、第１閾値よりも大きい又は小さい第２閾値を設定し、削除手段が、第２閾値より小さい又は大きい輝度値のみからなる画素の集合体を、全ての画素の集合体から削除する。これにより、多値画像から、非検出対象の面積の大きい、第２閾値より小さい輝度値のみからなるブロブ、又は第２閾値より大きい輝度値のみからなるブロブをノイズとして確実に削除するとともに、検出対象のブロブ内に輝度値の低い部分又は高い部分が存在する場合であっても、検出対象のブロブを分断することなく検出することができる。

第２発明に係る画像検査装置は、第１発明において、前記ラベリング処理手段により特定された画素の集合体を有するラベリング処理画像を表示する画像表示手段と、前記第２閾値設定手段により設定された前記第２閾値より小さい又は大きい輝度値のみからなる画素の集合体が検出対象から削除されるように前記画像表示手段にて前記ラベリング処理画像の表示を更新する手段とを備え、前記第２閾値が変更される都度、変更された前記第２閾値より小さい又は大きい輝度値のみからなる画素の集合体が検出対象から削除されるように前記ラベリング処理画像の表示が更新される。

斯かる構成により、第２閾値が変更される都度、変更された第２閾値より小さい又は大きい輝度値のみからなる画素の集合体が検出対象から削除されるようにラベリング処理画像の表示が更新されるので、画像を見ながら削除するべきブロブを確認することができ、誤って削除されるのを未然に回避することが可能となる。

第３発明に係る画像検査装置は、第１発明において、前記第１閾値の入力を受け付ける入力受付手段を備え、前記第２閾値設定手段は、前記第１閾値に所定値を加算した値を前記第２閾値として設定することが好ましい。

斯かる構成により、ユーザが、入力受付手段により入力した第１閾値に対して、所定値以上の輝度差を有するブロブのみを検出したい場合に、第２閾値が自動的に設定されるので利便性がある。

第４発明に係る画像検査装置は、第１発明において、前記第２閾値の入力を受け付ける入力受付手段を備え、前記第１閾値設定手段は、前記第２閾値から所定値を減算した値を前記第１閾値として設定することが好ましい。

斯かる構成により、ユーザが入力受付手段により第２閾値を入力し、入力された第２閾値より大きい輝度値を有するブロブが検出されるが、ユーザは第２閾値から所定値分小さい第１閾値でブロブを特定して検出を行いたい場合に、第１閾値が自動的に設定されるので利便性がある。

第５発明に係る画像検査装置は、第１発明において、前記第１閾値の入力を受け付ける入力受付手段を備え、前記第２閾値設定手段は、前記第１閾値から所定値を減算した値を前記第２閾値として設定することが好ましい。

斯かる構成により、ユーザが、入力受付手段により入力した第１閾値に対して、所定値より大きい輝度差を有するブロブのみを検出したい場合に、第２閾値が自動的に設定されるので利便性がある。

第６発明に係る画像検査装置は、第１発明において、前記第２閾値の入力を受け付ける入力受付手段を備え、前記第１閾値設定手段は、前記第２閾値に所定値を加算した値を前記第１閾値として設定することが好ましい。

斯かる構成により、ユーザが入力受付手段により第２閾値を入力し、入力された第２閾値より大きい輝度値を有するブロブが検出されるが、ユーザは第２閾値から所定値分大きい第１閾値でブロブを特定して検出を行いたい場合に、第１閾値が自動的に設定されるので利便性がある。

前記第２の目的を達成するため、第７発明に係る画像検査装置は、第３乃至第６発明のいずれか一つにおいて、前記撮像手段により取得された前記多値画像に対して所定サイズのセグメントを設定するセグメント設定手段と、該セグメント設定手段により設定された前記セグメントを所定の画素単位で移動させながら前記セグメント内の画素の平均輝度値を算出し、算出された該平均輝度値を有するセグメント画像を生成し、前記ラベリング処理手段に出力するセグメント画像生成手段とを備えることが好ましい。

斯かる構成により、所定サイズのセグメントを所定の画素単位（移動量）で移動させながら算出したセグメント内の全画素の平均輝度値を１画素値としてセグメント画像を生成し、該セグメント画像に対して２つの閾値を用いた処理を行うことで、検出対象物が小さい面積を有しており、所定の領域にまとまって複数個存在する場合であっても、複数の対象物を１つのブロブとして検出でき、ブロブの判別能力を向上させることができる。

第８発明に係る画像検査装置は、第７発明において、前記セグメントの前記所定サイズ及び移動の前記所定の画素単位は、前記入力受付手段で受け付けることが好ましい。

斯かる構成により、ユーザは、セグメントのサイズ（Ｘ方向及びＹ方向の画素数）及び移動量（Ｘ方向及びＹ方向の画素数）を自由に設定して、１つのブロブとして検出したい対象物を自由に調整することができる。

第９発明に係る画像検査装置は、第１乃至第８発明のいずれか一つにおいて、前記第１閾値設定手段は、第１閾値として最低輝度値を設定するか最高輝度値を設定するかをユーザにより選択可能に構成されていることが好ましい。
最低輝度値が第１閾値として設定される場合と最高輝度値が第１閾値として設定される場合とを選択することができるので、画像の状況に応じて効果の高いラベリング処理を選択することができる。
第１０発明に係る画像検査方法は、検査対象領域を撮像して多値画像を取得する画像取得工程と、検出対象画像中の検出すべき最低輝度値又は最高輝度値を第１閾値として設定する第１閾値設定工程と、前記第１閾値設定工程にて前記最低輝度値が前記第１閾値として設定される場合、前記画像取得工程にて取得された前記多値画像から前記第１閾値より大きい輝度値を有する複数の画素を抽出し、抽出された該複数の画素の輝度値の連結性に基づいて、検出対象となりうる画素の集合体を特定し、前記第１閾値設定工程にて前記最高輝度値が前記第１閾値として設定される場合、前記画像取得工程にて取得された前記多値画像から前記第１閾値より小さい輝度値を有する複数の画素を抽出し、抽出された該複数の画素の輝度値の連結性に基づいて、検出対象となりうる画素の集合体を特定するラベリング処理を行うラベリング処理工程と、該ラベリング処理工程にて特定された画素の集合体に対して、前記第１閾値と異なる第２閾値を設定する第２閾値設定工程と、前記第１閾値設定工程にて前記最低輝度値が前記第１閾値として設定され、前記第２閾値設定工程にて設定された前記第２閾値が前記第１閾値より大きい場合、前記第２閾値より小さい輝度値のみからなる前記画素の集合体を検出対象から削除し、前記第１閾値設定工程にて前記最高輝度値が前記第１閾値として設定され、前記第２閾値設定工程にて設定された前記第２閾値が前記第１閾値より小さい場合、前記第２閾値より大きい輝度値のみからなる前記画素の集合体を検出対象から削除する削除工程とを含むことを特徴とする。

斯かる構成により、第１閾値設定工程にて、検出対象画像中の検出すべき最低輝度値又は最高輝度値が第１閾値として設定され、ラベリング処理工程にて、第１閾値より大きい又は小さい輝度値を有する画素の集合体（ブロブ）が特定され、第２閾値設定工程にて、第１閾値よりも大きい又は小さい第２閾値が設定され、削除工程にて、第２閾値より小さい又は大きい輝度値のみからなる画素の集合体が全ての画素の集合体から削除される。これにより、多値画像から、非検出対象の面積の大きい、第２閾値より小さい輝度値のみからなるブロブ又は第２閾値より大きい輝度値のみからなるブロブをノイズとして確実に削除するとともに、検出対象のブロブ内に輝度値の低い部分又は高い部分が存在する場合であっても、検出対象のブロブを分断することなく検出することができる。

第１１発明に係る画像検査方法は、第１０発明において、前記第１閾値の入力を受け付ける入力受付工程を含み、前記第２閾値設定工程にて、前記第１閾値に所定値を加算した値が前記第２閾値として設定されることが好ましい。

斯かる構成により、ユーザが、入力受付工程にて入力した第１閾値に対して、所定値以上の輝度差を有するブロブのみを検出したい場合に、第２閾値が自動的に設定されるので利便性がある。

第１２発明に係る画像検査方法は、第１０発明において、前記第２閾値の入力を受け付ける入力受付工程を含み、前記第１閾値設定工程にて、前記第２閾値から所定値を減算した値が前記第１閾値として設定されることが好ましい。

斯かる構成により、ユーザが入力受付工程にて第２閾値を入力し、入力された第２閾値より大きい輝度値を有するブロブが検出されるが、ユーザは第２閾値から所定値分小さい第１閾値でブロブを特定して検出を行いたい場合に、第１閾値が自動的に設定されるので利便性がある。

第１３発明に係る画像検査方法は、第１０発明において、前記第１閾値の入力を受け付ける入力受付工程を含み、前記第２閾値設定工程にて、前記第１閾値から所定値を減算した値が前記第２閾値として設定されることが好ましい。

第１４発明に係る画像検査方法は、第１０発明において、前記第２閾値の入力を受け付ける入力受付工程を含み、前記第１閾値設定工程にて、前記第２閾値に所定値を加算した値が前記第１閾値として設定されることが好ましい。

斯かる構成により、ユーザが入力受付工程にて第２閾値を入力し、入力された第２閾値より大きい輝度値を有するブロブが検出されるが、ユーザは第２閾値から所定値分上げた第１閾値でブロブを特定して検出を行いたい場合に、第１閾値が自動的に設定されるので利便性がある。

前記第２の目的を達成するため、第１５発明に係る画像検査方法は、第１１乃至第１４発明のいずれか一つにおいて、前記画像取得工程にて取得された前記多値画像に対して所定サイズのセグメントを設定するセグメント設定工程と、該セグメント設定工程にて設定された前記セグメントを所定の画素単位で移動させながら前記セグメント内の画素の平均輝度値を算出し、算出された該平均輝度値を有するセグメント画像を生成し、前記ラベリング処理工程へと送るセグメント画像生成工程とを含むことが好ましい。

斯かる構成により、所定サイズのセグメントを所定の画素単位で移動させながら算出したセグメント内の全画素の平均輝度値を１画素値としてセグメント画像を生成し、該セグメント画像に対して２つの閾値を用いた処理を行うことで、検出対象物が小さい面積を有しており、所定の領域にまとまって複数個存在する場合であっても、複数の対象物を１つのブロブとして検出することができ、ブロブの判別能力を向上させることができる。

第１６発明に係る画像検査方法は、第１５発明において、前記セグメントの前記所定サイズ及び移動の前記所定の画素単位は、前記入力受付工程にて受け付けることが好ましい。

第１７発明に係るコンピュータプログラムは、検査対象領域を撮像して多値画像を取得する画像取得処理と、検出対象画像中の検出すべき最低輝度値又は最高輝度値を第１閾値として設定する第１閾値設定処理と、前記第１閾値設定処理にて前記最低輝度値が前記第１閾値として設定される場合、前記画像取得処理にて取得された前記多値画像から前記第１閾値より大きい輝度値を有する複数の画素を抽出し、抽出された該複数の画素の輝度値の連結性に基づいて、検出対象となりうる画素の集合体を特定し、前記第１閾値設定処理にて前記最高輝度値が前記第１閾値として設定される場合、前記画像取得処理にて取得された前記多値画像から前記第１閾値より小さい輝度値を有する複数の画素を抽出し、抽出された該複数の画素の輝度値の連結性に基づいて、検出対象となりうる画素の集合体を特定するラベリング処理と、該ラベリング処理を行った後、前記第１閾値の設定変更の要求が有るか否かを判断する第１判断処理と、該第１判断処理により、前記第１閾値の設定変更の要求が有ると判断された場合、前記第１閾値を再設定する第１閾値再設定処理と、該第１閾値再設定処理を行った場合、前記ラベリング処理へと分岐する第１分岐処理と、前記ラベリング処理にて特定された画素の集合体に対して、前記第１閾値とは異なる第２閾値を設定する第２閾値設定処理と、前記第１閾値設定処理にて前記最低輝度値が前記第１閾値として設定され、前記第２閾値設定処理にて設定された前記第２閾値が前記第１閾値より大きい場合、前記第２閾値より小さい輝度値のみからなる前記画素の集合体を検出対象から削除し、前記第１閾値設定処理により前記最高輝度値が前記第１閾値として設定され、前記第２閾値設定処理により設定された前記第２閾値が前記第１閾値より小さい場合、前記第２閾値より大きい輝度値のみからなる前記画素の集合体を検出対象から削除する削除処理と、該削除処理を行った後、前記第２閾値の設定変更の要求が有るか否かを判断する第２判断処理と、該第２判断処理により、前記第２閾値の設定変更の要求が有ると判断された場合、前記第２閾値を再設定する第２閾値再設定処理と、該第２閾値再設定処理を行った場合、前記削除処理へと分岐する第２分岐処理とをコンピュータに実行させることを特徴とする。

斯かる構成により、第１閾値及び／又は第２閾値の設定を変更しながら、多値画像から、非検出対象の面積の大きい、第２閾値より小さい輝度値のみからなるブロブ又は第２閾値より小さい輝度値のみからなるブロブをノイズとして確実に削除するとともに、検出対象のブロブ内に輝度値の低い部分又は高い部分が存在する場合であっても、検出対象のブロブを分断することなく検出することができる。

第１８発明に係るコンピュータプログラムは、第１７発明において、前記画像取得処理にて取得された前記多値画像に対して所定サイズのセグメントを設定するセグメント設定処理と、該セグメント設定処理にて設定された前記セグメントを所定の画素単位で移動させながら前記セグメント内の画素の平均輝度値を算出し、算出された該平均輝度値を有するセグメント画像を生成し、前記ラベリング処理の対象とするセグメント画像生成処理と、該セグメント画像生成処理を行った後、前記セグメントのサイズ及び／又は移動の画素単位の設定変更の要求が有るか否かを判断する第３判断処理と、該第３判断処理により、前記サイズ及び／又は前記移動の画素単位の設定変更の要求が有ると判断された場合、前記サイズ及び／又は前記移動の画素単位を再設定するセグメント再設定処理と、該セグメント再設定処理を行った場合、前記セグメント画像生成処理へと分岐する第３分岐処理とをさらにコンピュータに実行させることが好ましい。

斯かる構成により、所望サイズのセグメントを所望の画素単位で移動させながら算出したセグメント内の全画素の平均輝度値を１画素値としてセグメント画像を生成し、該セグメント画像に対して２つの閾値を用いた処理を行うことで、検出対象物が小さい面積を有しており、所定の領域にまとまって複数個存在する場合であっても、複数の対象物を１つのブロブとして検出することができ、ブロブの判別能力を向上させることができる。

本発明によれば、多値画像から非検出対象の面積の大きいブロブをノイズとして確実に削除するとともに、検出対象のブロブ内にノイズとして除去したい非検出対象物の輝度値よりも低い（あるいは高い）輝度値が存在する場合であっても、検出対象のブロブを分断することなく検出することができる画像検査装置、画像検査方法、及び該画像検査方法の各処理工程を実行するコンピュータプログラムを提供することが可能になる。

また、本発明によれば、上記の効果に加えて、検出対象物が小さい面積を有しており、所定の領域にまとまって複数個存在する場合であっても、複数の対象物を１つのブロブとして検出することができ、ブロブの判別能力を向上させることが可能になる。なお、画像取得処理にて取得された多値画像から第１閾値より小さい（大きい）輝度値を有する複数の画素を抽出し、設定された第２閾値より大きい（小さい）輝度値のみからなる画素の集合体を削除するのを、画像取得処理にて取得された多値画像から第１閾値より小さい（大きい）の輝度値を有する複数の画素を抽出し、設定された第２閾値より大きい（小さい）の輝度値のみからなる画素の集合体を削除するようにしても同様の効果が期待できる。

以下、本発明の実施の形態について、図面を参照して説明する。なお、各実施の形態の説明で参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像検査装置の一構成例を示すブロック図である。図１において、本実施の形態１に係る画像検査装置１Ａは、撮像手段２と、画像処理部３Ａと、記憶手段４と、入力受付手段５Ａと、出力手段６とから構成される。

撮像手段２は、例えば二次元ＣＣＤカメラとして機能し、例えばフィルム上のワーク（検査対象領域）を撮像し多値画像を取得して画像処理部３Ａに出力する。

画像処理部３Ａは、第１閾値設定手段３１と、ラベリング処理手段３２と、第２閾値設定手段３３と、削除手段３４とを含む。また、画像処理部３Ａは、ＣＰＵ、ＲＯＭ、ＲＡＭ、外部Ｉ／Ｆ等で構成され、第１閾値設定手段３１、ラベリング処理手段３２、第２閾値設定手段３３、及び削除手段３４の処理動作を制御する。

第１閾値設定手段３１を用いて後述する閾値を選択するのに先立ち、図示しないグラフィカルユーザインターフェースにて、ユーザに、「モード１:検出対象のブロブ内にノイズとして除去したい非検出対象物の輝度値より低い輝度値が存在する可能性がある場合(背景に比べて、全体的にはブロブ内が輝度値の高いもので構成されるケース)」、又は「モード２:対象のブロブ内にノイズとして除去したい非検出対象物の輝度値より高い輝度値が存在する可能性がある場合(背景に比べて、全体的にはブロブ内が輝度値の低いもので構成されるケース)」のいずれかの条件を満たすモードを採用するか選択を行わせる。

第１閾値設定手段３１は、入力受付手段５Ａがユーザから受け付けた第１閾値を受けて、ラベリング処理手段３２に対して第１閾値を設定する。第１閾値として、ユーザは、検出対象画像中に存在する輝度値の中から、ユーザとして検出させたい最低輝度値Ｌｍｉｎ又は最高輝度値Ｌｍａｘを選択する。

より具体的には、上記モード１が選択された場合、入力受付手段５Ａでは、検出したい最低輝度値Ｌｍｉｎの入力を受け付けるようになり、上記モード２が選択された場合、入力受付手段５Ａでは、検出したい最高輝度値Ｌｍａｘの入力を受け付けるように自動的に機能が切り替えられるようになっている。

第１閾値よりも輝度値の高いブロブを検出する場合、つまりモード１が選択された場合は、設定された第１閾値をＴＨ１（Ｌｍｉｎ）で表し、また第１閾値よりも輝度値の低いブロブを検出する場合、つまりモード２が選択された場合は、設定された第１閾値をＴＨ１（Ｌｍａｘ）と表すことにする。

なお、モード１又はモード２を選択する方法としては、上述した第１閾値の設定時に、同時に、「より大きい」又は「より小さい」を設定させることも可能である。

ラベリング処理手段３２は、撮像手段２により取得された多値画像から、第１閾値ＴＨ１（Ｌｍｉｎ）より大きい又はＴＨ１（Ｌｍａｘ）より小さい輝度値を有する複数の画素を抽出し、抽出された該複数の画素の輝度値の連結性に基づいて画素の集合体（以下、ブロブと呼ぶ）を特定するラベリング処理を行い、ラベリング処理画像を出力する。

第２閾値設定手段３３は、入力受付手段５Ａがユーザから受け付けた第２閾値を受けて、削除手段３４に対して第２閾値ＴＨ２（Ｌｍｉｎ）又はＴＨ２（Ｌｍａｘ）を設定する。より詳細には、上述したモード１では、第２閾値ＴＨ２（Ｌｍｉｎ）を設定することとなり、モード２では、ＴＨ２（Ｌｍａｘ）を設定することになる。ここで、第２閾値ＴＨ２（Ｌｍｉｎ）は第１閾値ＴＨ１（Ｌｍｉｎ）よりも大きく、第２閾値ＴＨ２（Ｌｍａｘ）は第１閾値ＴＨ１（Ｌｍａｘ）よりも小さい。

削除手段３４は、第２閾値設定手段３３により設定された第２閾値ＴＨ２（Ｌｍｉｎ）以下又はＴＨ２（Ｌｍａｘ）より大きい輝度値のみからなるブロブを、ラベリング処理手段３２により特定されたすべてのブロブから削除して、ノイズ処理画像を出力する。

記憶手段４は、画像メモリとして機能し、撮像手段２により撮像された多値画像、ラベリング処理手段３２により得られたラベリング処理画像、及び削除手段３４により得られたノイズ処理画像を随時記憶する。入力受付手段５Ａは、ユーザからの、第１閾値ＴＨ１（Ｌｍｉｎ）又はＴＨ１（Ｌｍａｘ）と第２閾値ＴＨ２（Ｌｍｉｎ）又はＴＨ２（Ｌｍａｘ）との入力を受け付ける。出力手段６は、画像表示装置として機能し、多値画像、ラベリング処理画像、又はノイズ処理画像を画面上に表示する。

図２は、本実施の形態１に係る画像検査装置１Ａで用いる本発明に係る画像検査方法の各処理工程を示すフローチャートである。本発明に係る画像検査方法の各処理工程は、画像処理部３Ａの内部に格納された本発明に係るコンピュータプログラムに従って実行される。

図２において、まず、画像処理部３Ａが、画像取得処理にて、撮像により検査対象領域の多値画像を取得する（ステップＳ２０１）。次に、画像処理部３Ａが、入力受付処理にて第１閾値のユーザ入力を受け付け、第１閾値設定処理にて、ユーザにより入力された第１閾値をラベリング処理に対して設定する（ステップＳ２０２）。

次に、画像処理部３Ａが、第１閾値設定処理により設定された第１閾値によるラベリング処理を行い、結果得られたラベリング処理画像を出力する（ステップＳ２０３）。ラベリング処理画像は画面表示され、ユーザは表示画像を確認して、第１閾値を変更するか否かを判断する。このユーザによる判断は、画面上に非検出対象のブロブ（ノイズ）及び検出対象のブロブ（欠陥）がすべて表示されているか否かに基づいて行われる。

次に、画像処理部３Ａが、入力受付処理の結果（第１閾値の設定変更要求の有り無し）から、ユーザによる第１閾値の入力変更が有るか否かを判断し（ステップＳ２０４）、第１閾値の入力変更が有る場合（ステップＳ２０４：ＹＥＳ）、第１閾値再設定処理にて第１閾値を再設定し（ステップＳ２０５）、処理をステップＳ２０３に戻す。

図３は、ラベリング処理画像の表示画面の一例を示す図である。図３の画面には、ラベリング処理画像として、非検出対象のブロブＢ１、Ｂ２と検出対象のブロブＢ３、Ｂ４の４個のブロブが表示されている。この例では、ラベリング処理に第１閾値ＴＨ１（Ｌｍｉｎ）を用いている。非検出対象のブロブＢ１は、面積が大きく、均一な低輝度値を有する画素からなる。非検出対象のブロブＢ２は、面積が小さく、高輝度値を一部に有する画素からなる。検出対象のブロブＢ３、Ｂ４は、複数の低輝度値と複数の高輝度値を有する画素からなる。なお、ブロブ中に、斜線を付した部分が高輝度値を有する画素を示し、斜線を付していない部分が低輝度値を有する画素を示す。

図３に示すように、すべてのブロブＢ１〜Ｂ４が検出されており、画像処理部３Ａが、ユーザによる第１閾値の入力変更が無いと判断した場合（ステップＳ２０４：ＮＯ）、入力受付処理にて第２閾値のユーザ入力を受け付け、第２閾値設定処理にて、入力受付処理により入力された第２閾値を削除処理に対して設定する（ステップＳ２０６）。

次に、画像処理部３Ａが、第２閾値設定処理により設定された第２閾値による削除処理を行い、該削除処理により得られたノイズ処理画像を出力する（ステップＳ２０７）。ノイズ処理画像は画面表示され、ユーザは表示画像を確認して、第２閾値を変更するか否かを判断する。このユーザによる判断は、画面上に検出対象のブロブ（欠陥）のみが表示されているか否かに基づいて行われる。

次に、画像処理部３Ａが、入力受付処理の結果（第２閾値の設定変更要求の有り無し）から、ユーザによる第２閾値の入力変更が有るか否かを判断し（ステップＳ２０８）、第２閾値の入力変更が有る場合（ステップＳ２０８：ＹＥＳ）、第２閾値再設定処理にて第２閾値を再設定し（ステップＳ２０９）、処理をステップＳ２０７に戻す。

図４は、ノイズ処理画像の表示画面の一例を示す図である。図４の画面には、ノイズ処理画像として、非検出対象のブロブＢ２と検出対象のブロブＢ３、Ｂ４が表示されている。図３で表示されていた非検出対象のブロブＢ１は、第２閾値ＴＨ２（Ｌｍｉｎ）より小さい輝度値のみからなるので、削除処理により、図４では削除されている。非検出対象のブロブＢ２は、一部に高輝度値を有するため残存しているが、面積が小さいので、例えば面積フィルタを用いて面積の下限を設定することで、ノイズとして除外される。複数の低輝度値を部分的に有する検出対象のブロブＢ３、Ｂ４は、分断されることなく検出されている。

図４に示すように、面積の大きい非検出対象のブロブＢ１はノイズとして削除されており、面積の小さい非検出対象のブロブＢ２については、面積フィルタを用いた処理によりノイズとして除外することができ、検出対象のブロブＢ３、Ｂ４は安定に検出されており、画像処理部３Ａが、ユーザによる第２閾値の入力変更が無いと判断した場合（ステップＳ２０８：ＮＯ）、処理を終了する。

以上説明したように、本発明の実施の形態１によれば、ラベリング処理により、第１閾値ＴＨ１（Ｌｍｉｎ）より大きい又はＴＨ１（Ｌｍａｘ）より小さい輝度値を有する非検出対象及び検出対象のブロブを特定し、削除処理により、非検出対象の面積の大きい、第２閾値ＴＨ２（Ｌｍｉｎ）より小さい又はＴＨ２（Ｌｍａｘ）より大きい輝度値のみからなるブロブを、ラベリング処理により特定されたすべてのブロブから、ノイズとして削除することで、検出対象のブロブ内に輝度値の低い部分が存在する場合であっても、検出対象のブロブを分断することなく検出することができる。

（実施の形態２）
図５は、本発明の実施の形態２に係る画像検査装置の一構成例を示すブロック図である。図５において、本実施の形態２に係る画像検査装置１Ｂは、撮像手段２と、画像処理部３Ｂと、記憶手段４と、入力受付手段５Ｂと、出力手段６とから構成される。

なお、本実施の形態２が実施の形態１と異なるのは、実施の形態１の画像処理部３Ａに、セグメント設定手段３５と、セグメント画像生成手段３６とを追加して画像処理部３Ｂとし、入力受付手段５Ｂが、第１閾値及び第２閾値に加えて、セグメントのサイズ及び移動量の入力を受け付ける点にある。以下、この相違点について主に説明する。

セグメント設定手段３５は、撮像手段２により取得された多値画像に対して、入力受付手段５Ｂから入力された、ユーザが所望するサイズ（Ｘ方向の画素数とＹ方向の画素数）のセグメントを、セグメント画像生成手段３６に対して設定する。

セグメント画像生成手段３６は、セグメント設定手段３５により設定されたサイズのセグメントを、ユーザが所望する画素単位（移動量：Ｘ方向の画素数とＹ方向の画素数）で移動させながらセグメント内の画素の平均輝度値を算出し、算出された平均輝度値を有するセグメント画像を生成する。ここで、セグメント画像は、出力手段６としての画像表示装置に出力され、画像表示装置の画面上に表示されるので、ユーザはセグメント画像を確認しながら、セグメントのサイズ及び移動量を調整することができる。

図６は、本実施の形態２に係る画像検査装置１Ｂで用いる本発明に係る画像検査方法の各処理工程を示すフローチャートである。本発明に係る画像検査方法の各処理工程は、画像処理部３Ｂの内部に格納された本発明に係るコンピュータプログラムに従って実行される。

図６において、まず、画像処理部３Ｂが、画像取得処理にて、撮像により検査対象領域の多値画像を取得する（ステップＳ２０１）。次に、画像処理部３Ｂが、入力受付処理にて、セグメントのサイズ及び移動量のユーザによる入力を受け付け、セグメント設定処理にて、入力されたセグメントのサイズ及び移動量を、セグメント画像生成処理に対して設定する（ステップＳ６０１）。

次に、画像処理部３Ｂが、セグメント画像生成処理にて、設定されたサイズのセグメントを設定された移動量で移動させながら、セグメント内の画素の平均輝度値を算出し、算出された該平均輝度値を有するセグメント画像を生成する（ステップＳ６０２）。

次に、画像処理部３Ｂが、入力受付処理の結果（セグメントのサイズ及び／又は移動量の設定変更要求の有り無し）から、ユーザによるセグメントのサイズ及び／又は移動量の入力変更が有るか否かを判断し（ステップＳ６０３）、入力変更が有る場合（ステップＳ６０３：ＹＥＳ）、セグメント再設定処理にて、セグメントのサイズ及び／又は移動量を再設定し（ステップＳ６０４）、処理をステップＳ６０２に戻す。

一方、画像処理部３Ｂが、ユーザによるセグメントのサイズ又は移動量の入力変更がないと判断した場合（ステップＳ６０３：ＮＯ）、入力受付処理にて第１閾値のユーザ入力を受け付け、第１閾値設定処理にて、入力された第１閾値をラベリング処理に対して設定する（ステップＳ２０２）。以降の処理は、実施の形態１の説明で参照した図２と同じであるので、説明を省略する。

以上説明したように、本発明の実施の形態２によれば、ユーザが所望するサイズのセグメントを所望の画素単位（移動量）で移動させながら算出したセグメント内の全画素の平均輝度値を１画素値としてセグメント画像を生成し、該セグメント画像に対して２つの閾値を用いた処理を行うことで、検出対象物が小さい面積を有しており、所定の領域にまとまって複数個存在する場合に、複数の対象物を１つのブロブとして検出することができ、ブロブの判別能力を向上させることができる。

図７は、セグメント画像を生成する前の元多値画像の表示画面の一例を示す図で、図８は、セグメント画像の表示画面の一例を示す図である。図７において、検出対象物が小さい面積を有しており、所定の領域Ｒにまとまって複数個存在する場合であっても、図８に示すように、セグメント画像を生成することで、複数の対象物を１つのブロブＢ５として検出することができる。

なお、本発明の実施の形態１及び２では、ユーザにより第１閾値と第２閾値の両方が入力される例について説明したが、本発明は斯かる構成に限定されず、一方の閾値をユーザが入力し、他方の閾値については、所定値を加算又は減算した値として設定してもよい。

例えば、ユーザは第１閾値ＴＨ１（Ｌｍｉｎ）のみを入力し、第２閾値ＴＨ２（Ｌｍｉｎ）は、第１閾値ＴＨ１（Ｌｍｉｎ）に所定値を加算した値として、第２閾値設定手段３３により設定される。または、ユーザは第１閾値ＴＨ１（Ｌｍａｘ）のみを入力し、第２閾値ＴＨ２（Ｌｍａｘ）は、第１閾値ＴＨ１（Ｌｍａｘ）から所定値を減算した値として、第２閾値設定手段３３により設定される。これにより、ユーザは、自由に入力した第１閾値に対して所定値以上の輝度差を有するブロブのみを検出したい場合に、第２閾値が自動的に設定されるので利便性がある。

また、ユーザは第２閾値ＴＨ２（Ｌｍｉｎ）のみを入力し、第１閾値ＴＨ１（Ｌｍｉｎ）は、第２閾値ＴＨ２（Ｌｍｉｎ）から所定値を減算した値として、第１閾値設定手段３１により設定される。または、ユーザは第２閾値ＴＨ２（Ｌｍａｘ）のみを入力し、第１閾値ＴＨ１（Ｌｍａｘ）は、第２閾値ＴＨ２（Ｌｍａｘ）に所定値を加算した値として、第１閾値設定手段３１により設定される。これにより、ユーザにより入力された第２閾値ＴＨ２（Ｌｍｉｎ）より小さい又はＴＨ２（Ｌｍａｘ）より大きい輝度値を有するブロブが検出されるが、ユーザは、第２閾値ＴＨ２（Ｌｍｉｎ）から所定値分下げた第１閾値ＴＨ１（Ｌｍｉｎ）、又は第２閾値ＴＨ２（Ｌｍａｘ）から所定値分上げた第１閾値ＴＨ１（Ｌｍａｘ）でブロブを特定して検出を行いたい場合に、第１閾値が自動的に設定されるので利便性がある。

なお、本発明の実施の形態１では、入力受付手段５Ａと出力手段６とを別の構成とし、本発明の実施の形態２では、入力受付手段５Ｂと出力手段６とを別の構成として説明したが、本発明は斯かる構成に限定されず、出力手段６としての画像表示装置の表示領域を分割し、画像表示領域に隣接して、入力受付手段５Ａ、５Ｂをダイアログボックスとして設けてもよい。これにより、ユーザが、第１閾値、第２閾値、セグメントのサイズ及び移動量、検出したいブロブの面積の上限及び下限などのパラメータを、ダイアログボックス上で変更する度に、画像表示画面が更新されるため、ユーザは、更新後の表示画像を確認しながら、必要なパラメータを容易に調整することができる。

本発明に係る画像検査装置は、非検出対象のノイズを確実に除去し、検出対象の傷、汚れ等の欠陥を安定に検出することができるという利点を有し、欠陥の画像による検査装置として様々な用途に適用される。

本発明の実施の形態１に係る画像検査装置の一構成例を示すブロック図本発明の実施の形態１に係る画像検査方法における各処理工程を示すフローチャート本発明の実施の形態１によるラベリング処理画像の表示画面の一例を示す図本発明の実施の形態１によるノイズ処理画像の表示画面の一例を示す図本発明の実施の形態２に係る画像検査装置の一構成例を示すブロック図本発明の実施の形態２に係る画像検査方法における各処理工程を示すフローチャート本発明の実施の形態２によるセグメント画像を生成する前の元多値画像の表示画面の一例を示す図本発明の実施の形態２によるセグメント画像の表示画面の一例を示す図

符号の説明

１Ａ、１Ｂ画像検査装置
２撮像手段
３Ａ、３Ｂ画像処理部
４記憶手段
５Ａ、５Ｂ入力受付手段
６出力手段
３１第１閾値設定手段
３２ラベリング処理手段
３３第２閾値設定手段
３４削除手段
３５セグメント設定手段
３６セグメント画像生成手段

Claims

検査対象領域の多値画像を取得する撮像手段と、
検出対象画像中の検出すべき最低輝度値又は最高輝度値を第１閾値として設定する第１閾値設定手段と、
前記第１閾値設定手段により前記最低輝度値が前記第１閾値として設定される場合、前記撮像手段により取得された前記多値画像から前記第１閾値より大きい輝度値を有する複数の画素を抽出し、抽出された該複数の画素の輝度値の連結性に基づいて、検出対象となりうる画素の集合体を特定し、
前記第１閾値設定手段により前記最高輝度値が前記第１閾値として設定される場合、前記撮像手段により取得された前記多値画像から前記第１閾値より小さい輝度値を有する複数の画素を抽出し、抽出された該複数の画素の輝度値の連結性に基づいて、検出対象となりうる画素の集合体を特定するラベリング処理を行うラベリング処理手段と、
該ラベリング処理手段により特定された画素の集合体に対して、前記第１閾値と異なる第２閾値を設定する第２閾値設定手段と、
前記第１閾値設定手段により前記最低輝度値が前記第１閾値として設定され、前記第２閾値設定手段により設定された前記第２閾値が前記第１閾値より大きい場合、前記第２閾値より小さい輝度値のみからなる前記画素の集合体を検出対象から削除し、
前記第１閾値設定手段により前記最高輝度値が前記第１閾値として設定され、前記第２閾値設定手段により設定された前記第２閾値が前記第１閾値より小さい場合、前記第２閾値より大きい輝度値のみからなる前記画素の集合体を検出対象から削除する削除手段と
を備えることを特徴とする画像検査装置。
前記ラベリング処理手段により特定された画素の集合体を有するラベリング処理画像を表示する画像表示手段と、
前記第２閾値設定手段により設定された前記第２閾値より小さい又は大きい輝度値のみからなる画素の集合体が検出対象から削除されるように前記画像表示手段にて前記ラベリング処理画像の表示を更新する手段と
を備え、
前記第２閾値が変更される都度、変更された前記第２閾値より小さい又は大きい輝度値のみからなる画素の集合体が検出対象から削除されるように前記ラベリング処理画像の表示が更新される請求項１記載の画像検査装置。
前記第１閾値の入力を受け付ける入力受付手段を備え、
前記第２閾値設定手段は、前記第１閾値に所定値を加算した値を前記第２閾値として設定する請求項１記載の画像検査装置。
前記第２閾値の入力を受け付ける入力受付手段を備え、
前記第１閾値設定手段は、前記第２閾値から所定値を減算した値を前記第１閾値として設定する請求項１記載の画像検査装置。
前記第１閾値の入力を受け付ける入力受付手段を備え、
前記第２閾値設定手段は、前記第１閾値から所定値を減算した値を前記第２閾値として設定する請求項１記載の画像検査装置。
前記第２閾値の入力を受け付ける入力受付手段を備え、
前記第１閾値設定手段は、前記第２閾値に所定値を加算した値を前記第１閾値として設定する請求項１記載の画像検査装置。
前記撮像手段により取得された前記多値画像に対して所定サイズのセグメントを設定するセグメント設定手段と、
該セグメント設定手段により設定された前記セグメントを所定の画素単位で移動させながら前記セグメント内の画素の平均輝度値を算出し、算出された該平均輝度値を有するセグメント画像を生成し、前記ラベリング処理手段に出力するセグメント画像生成手段と
を備える請求項３乃至６のいずれか一項に記載の画像検査装置。
前記セグメントの前記所定サイズ及び移動の前記所定の画素単位は、前記入力受付手段で受け付ける請求項７記載の画像検査装置。
前記第１閾値設定手段は、第１閾値として最低輝度値を設定するか最高輝度値を設定するかをユーザにより選択可能に構成されていることを特徴とする請求項１乃至８のいずれか一項に記載の画像検査装置。
検査対象領域を撮像して多値画像を取得する画像取得工程と、
検出対象画像中の検出すべき最低輝度値又は最高輝度値を第１閾値として設定する第１閾値設定工程と、
前記第１閾値設定工程にて前記最低輝度値が前記第１閾値として設定される場合、前記画像取得工程にて取得された前記多値画像から前記第１閾値より大きい輝度値を有する複数の画素を抽出し、抽出された該複数の画素の輝度値の連結性に基づいて、検出対象となりうる画素の集合体を特定し、
前記第１閾値設定工程にて前記最高輝度値が前記第１閾値として設定される場合、前記画像取得工程にて取得された前記多値画像から前記第１閾値より小さい輝度値を有する複数の画素を抽出し、抽出された該複数の画素の輝度値の連結性に基づいて、検出対象となりうる画素の集合体を特定するラベリング処理を行うラベリング処理工程と、
該ラベリング処理工程にて特定された画素の集合体に対して、前記第１閾値と異なる第２閾値を設定する第２閾値設定工程と、
前記第１閾値設定工程にて前記最低輝度値が前記第１閾値として設定され、前記第２閾値設定工程にて設定された前記第２閾値が前記第１閾値より大きい場合、前記第２閾値より小さい輝度値のみからなる前記画素の集合体を検出対象から削除し、
前記第１閾値設定工程にて前記最高輝度値が前記第１閾値として設定され、前記第２閾値設定工程にて設定された前記第２閾値が前記第１閾値より小さい場合、前記第２閾値より大きい輝度値のみからなる前記画素の集合体を検出対象から削除する削除工程と
を含むことを特徴とする画像検査方法。
前記第１閾値の入力を受け付ける入力受付工程を含み、前記第２閾値設定工程にて、前記第１閾値に所定値を加算した値が前記第２閾値として設定される請求項１０記載の画像検査方法。
前記第２閾値の入力を受け付ける入力受付工程を含み、前記第１閾値設定工程にて、前記第２閾値から所定値を減算した値が前記第１閾値として設定される請求項１０記載の画像検査方法。
前記第１閾値の入力を受け付ける入力受付工程を含み、前記第２閾値設定工程にて、前記第１閾値から所定値を減算した値が前記第２閾値として設定される請求項１０記載の画像検査方法。
前記第２閾値の入力を受け付ける入力受付工程を含み、前記第１閾値設定工程にて、前記第２閾値に所定値を加算した値が前記第１閾値として設定される請求項１０記載の画像検査方法。
前記画像取得工程にて取得された前記多値画像に対して所定サイズのセグメントを設定するセグメント設定工程と、
該セグメント設定工程にて設定された前記セグメントを所定の画素単位で移動させながら前記セグメント内の画素の平均輝度値を算出し、算出された該平均輝度値を有するセグメント画像を生成し、前記ラベリング処理工程へと送るセグメント画像生成工程と
を含む請求項１１乃至１４のいずれか一項に記載の画像検査方法。
前記セグメントの前記所定サイズ及び移動の前記所定の画素単位は、前記入力受付工程にて受け付ける請求項１５記載の画像検査方法。
検査対象領域を撮像して多値画像を取得する画像取得処理と、
検出対象画像中の検出すべき最低輝度値又は最高輝度値を第１閾値として設定する第１閾値設定処理と、
前記第１閾値設定処理にて前記最低輝度値が前記第１閾値として設定される場合、前記画像取得処理にて取得された前記多値画像から前記第１閾値より大きい輝度値を有する複数の画素を抽出し、抽出された該複数の画素の輝度値の連結性に基づいて、検出対象となりうる画素の集合体を特定し、
前記第１閾値設定処理にて前記最高輝度値が前記第１閾値として設定される場合、前記画像取得処理にて取得された前記多値画像から前記第１閾値より小さい輝度値を有する複数の画素を抽出し、抽出された該複数の画素の輝度値の連結性に基づいて、検出対象となりうる画素の集合体を特定するラベリング処理と、
該ラベリング処理を行った後、前記第１閾値の設定変更の要求が有るか否かを判断する第１判断処理と、
該第１判断処理により、前記第１閾値の設定変更の要求が有ると判断された場合、前記第１閾値を再設定する第１閾値再設定処理と、
該第１閾値再設定処理を行った場合、前記ラベリング処理へと分岐する第１分岐処理と、
前記ラベリング処理にて特定された画素の集合体に対して、前記第１閾値とは異なる第２閾値を設定する第２閾値設定処理と、
前記第１閾値設定処理にて前記最低輝度値が前記第１閾値として設定され、前記第２閾値設定処理にて設定された前記第２閾値が前記第１閾値より大きい場合、前記第２閾値より小さい輝度値のみからなる前記画素の集合体を検出対象から削除し、
前記第１閾値設定処理により前記最高輝度値が前記第１閾値として設定され、前記第２閾値設定処理により設定された前記第２閾値が前記第１閾値より小さい場合、前記第２閾値より大きい輝度値のみからなる前記画素の集合体を検出対象から削除する削除処理と、
該削除処理を行った後、前記第２閾値の設定変更の要求が有るか否かを判断する第２判断処理と、
該第２判断処理により、前記第２閾値の設定変更の要求が有ると判断された場合、前記第２閾値を再設定する第２閾値再設定処理と、
該第２閾値再設定処理を行った場合、前記削除処理へと分岐する第２分岐処理と
をコンピュータに実行させることを特徴とするコンピュータプログラム。
前記画像取得処理にて取得された前記多値画像に対して所定サイズのセグメントを設定するセグメント設定処理と、
該セグメント設定処理にて設定された前記セグメントを所定の画素単位で移動させながら前記セグメント内の画素の平均輝度値を算出し、算出された該平均輝度値を有するセグメント画像を生成し、前記ラベリング処理の対象とするセグメント画像生成処理と、
該セグメント画像生成処理を行った後、前記セグメントのサイズ及び／又は移動の画素単位の設定変更の要求が有るか否かを判断する第３判断処理と、
該第３判断処理により、前記サイズ及び／又は前記移動の画素単位の設定変更の要求が有ると判断された場合、前記サイズ及び／又は前記移動の画素単位を再設定するセグメント再設定処理と、
該セグメント再設定処理を行った場合、前記セグメント画像生成処理へと分岐する第３分岐処理と
をコンピュータに実行させる請求項１７記載のコンピュータプログラム。