JPWO2015102057A1 - 画像処理方法、画像処理システム、およびプログラム - Google Patents

Abstract

画像処理装置において、撮像対象を複数の異なる照明条件で撮像した複数の画像をそれぞれ複数の領域に分割して、複数の分割画像が生成される。また、複数の領域のうち一つの領域に対応する複数の分割画像の輝度情報に基づき、一つの領域に対応する複数の分割画像のうち一つの分割画像が選択される。一つの分割画像を一つの領域以外の領域に対応する分割画像と結合することで、複数の領域に対応する画像が生成される。これにより、撮像対象の表面情報を的確に含む画像が生成される。

Description

本発明は、画像処理方法、画像処理システム、およびプログラムに関する。

近年、携帯電話等の小型機器のデザインが流麗化し、複雑な表面形状を持つようになっている。例えば小型機器の筐体の表面については、平面のみで形成されている例が少なくなるといった傾向がある。このような小型機器の表面の欠陥を検査するため、より緻密に対象表面の欠陥を検査する必要性が増大している。よって、表面形状がより鮮明に撮影された画像を取得することが求められている。

より鮮明に撮影された画像を取得するための技術として、例えば、光源の照明位置および照明方向の少なくとも一方を変えて撮影した複数の静止被写体の読取画像に基づき順番付けられたフレーム画像を、切替えながら表示する技術が知られている。複数の、光源方向が異なる画像を合成するため、画像中の物体の陰影を修正する技術も知られている。また、被写体を表す登録画像と、その被写体の３次元形状の各点と登録画像の画素とを対応付ける３次元形状データとから、登録画像における陰影を推定し、登録画像から鏡面反射成分を除いたハイライト除去画像を生成する技術が知られている。（例えば、特許文献１〜３参照）

特開２００３−１３２３５０号公報 特開平５−２３３８２６号公報 国際公開ＷＯ２０１０−０２６９８３号公報

しかしながら、例えば、小型機器等の表面の自動検査では、検査の対象の表面形状によって、検査に悪影響を及ぼすハイライトが生じる可能性が大きくなる。ハイライトとは、撮像対象により直接撮像装置に反射される直接反射光等、取得される画像の輝度階調値の上限付近となる強い光のことをいう。例えば、対象の表面の透明部材で覆われた部分の透明部材越しの内部や、滑らかな表面形状の部分を、照明を照射して撮像する場合、検査対象となる部分の画像情報が、ハイライトなどの影響により隠れてしまい取得できないという問題がある。特に、検査コストの低減と検査結果の定量性の観点から、自動検査への要望が高まる状況下で、検査に悪影響を及ぼすハイライトなどの影響をより低減して、撮像対象をより緻密に撮像できる撮像方法が求められている。

そこで本発明は、撮像対象の表面情報を的確に含む画像を生成することを目的とする。

ひとつの態様である画像処理方法において、画像処理装置が、撮像対象を複数の異なる照明条件で撮像した複数の画像をそれぞれ複数の領域に分割して、複数の分割画像を生成する。画像処理装置は、複数の領域のうち一つの領域に対応する複数の分割画像の輝度情報に基づき、一つの領域に対応する複数の分割画像のうち一つの分割画像を選択する。さらに画像処理装置は、一つの分割画像を一つの領域以外の領域に対応する分割画像と結合して、複数の領域に対応する画像を生成する。

別の態様である画像処理システムは、照明装置、撮像装置、記憶装置、照明制御部、撮像制御部、画像分割部、選択部、および結合部を有している。照明装置は、撮像対象に対して複数の照明条件で照明を行う。撮像装置は、撮像対象を撮像する。記憶装置は、情報を記憶する。照明制御部は、照明装置の動作を制御する。撮像制御部は、互いに異なる照明条件で撮像装置により撮像対象を複数回撮像させ、撮像された複数の画像を記憶装置に記憶させる。画像分割部は、記憶装置に記憶された複数の画像をそれぞれ複数の領域に分割して、複数の分割画像を生成すると共に分割画像を記憶装置に記憶させる。選択部は、複数の領域のうち一つの領域に対応する複数の分割画像の輝度情報に基づき、一つの領域に対応する複数の分割画像のうちの一つの分割画像を選択する。結合部は、一つの分割画像を一つの領域以外の領域の分割画像と結合して、複数の領域に対応する画像を生成することを特徴とする。

実施の形態の画像処理方法、画像処理システム、およびプログラムによれば、撮像対象の表面情報を的確に含む画像を生成することができる。

第１の実施の形態による画像処理装置の機能的な構成の一例を示すブロック図である。 第１の実施の形態による画像受付部が受付ける画像の撮像方法の一例を説明する図である。 第１の実施の形態による複数の画像の一例を示す図である。 第１の実施の形態による画像分割の一例を説明する図である。 第１の実施の形態による一つの領域に対応する複数の分割画像の一例を示す図である。 第１の実施の形態による分割画像毎の輝度分布の一例を示す図である。 第１の実施の形態による評価値テーブルの一例を示す図である。 第１の実施の形態による選択画像テーブルの一例を示す図である。 第１の実施の形態による再結合された画像の一例を示す図である。 第１の実施の形態による画像処理装置の動作の一例を示すフローチャートである。 第２の実施の形態による画像処理システムのハードウエア構成の一例を示す図である。 第２の実施の形態による制御装置の機能的構成の一例を示す図である。 第２の実施の形態による画像処理システムによる撮像状況の一例を示す図である。 第２の実施の形態による直接反射光の発生例を示す図である。 第２の実施の形態による撮像光強度変化の一例を示す図である。 第２の実施の形態による評価値テーブルの一例を示す図である。 第２の実施の形態による輝度階調値の頻度が正規分布をしていると仮定した場合の輝度分布を示す図である。 第２の実施の形態による突起を含む画像の一例を示す図である。 第２の実施の形態による突起に対応する画素における輝度分散を示す図である。 第２の実施の形態による画像を再結合する際の境界処理の一例を示す図である。 第２の実施の形態による境界処理を行う前後の再結合画像の一例を示す図である。 第２の実施の形態による画像処理システムの主要な動作を示すフローチャートである 第２の実施の形態による直接反射光画像除去処理の詳細を示すフローチャートである。 第２の実施の形態による画像選択処理の詳細を示すフローチャートである。 第２の実施の形態による境界処理の詳細を示すフローチャートである。 標準的なコンピュータのハードウエア構成の一例を示す図である。

（第１の実施の形態）
以下、第１実施の形態について図面に基づいて説明する。図１は、第１の実施の形態による画像処理装置１０の機能的な構成の一例を示すブロック図である。第１の実施の形態による画像処理装置１０は、同じ撮像対象が異なる照明条件で撮像された複数の画像を受付け、それぞれ複数の領域に分割し、一つの領域に対応する分割画像の輝度情報に基づき一つの領域に対応する分割画像を選択する。さらに、画像処理装置１０は、選択された一つの領域に対応する分割画像を一つの領域以外の領域に対応する分割画像と結合して複数の領域に対応する画像を生成する装置である。画像処理装置１０は、例えば、標準的なコンピュータに、画像処理装置１０としての処理を行わせるプログラムを読み込んで実行することにより実現される。

複数の領域のそれぞれは、複数の画像同士においては同一の領域である。一つの画像においては、各領域は、どのように分割されてもよい。例えば、縦横に引かれた複数の直線で分割される複数の領域でもよいし、特定部分を閉じた曲線で囲んだ領域と、その外側部分の領域とに分割してもよい。一つの画像において、各領域の面積は同一である必要はない。

照明条件とは、例えば、撮像対象に照射される光の強度または撮像対象の照度、撮像対象で反射され撮像素子に入射する光の強度である。照明条件には、撮像装置の絞り、露光時間など、撮像素子に入射する光の強度を変更する条件や、撮像素子の感度等、画像に変換される際の各画素の輝度を変更する条件も含まれる。ここで、光の強度または照度は、絶対的な値でなく、例えば、照明に印加される電力等、撮像対象に照射される、または反射される光量子束密度に対応する相対的な値とする。また、照明条件とは、撮像対象の表面または撮像対象が載置されている平面に対する照明光の光源と撮像対象の中心とを結ぶ直線のなす３次元的な角度（以下、照明方向という）等である。照明条件についての詳細は、さらに後述する。

図１に示すように、画像処理装置１０は、画像受付部１３、画像分割部１５、選択部１７、および結合部１９を有している。画像受付部１３は、同一の撮像対象を含む同一の視野で、異なる照明条件で撮像された複数の画像を受付ける。画像処理装置１０は、例えば、画像処理装置１０に有線または無線により接続された記憶装置から画像を読み出して受け付けることができる。また、画像処理装置１０は、後述する撮像装置で撮像された画像を、有線または無線による通信ネットワークを介して受信して受け付けるようにしてもよい。

画像分割部１５は、画像受付部１３が受付けた複数の画像を、複数の画像同士で互いに同一の複数の領域に分割する。以下、複数の領域に分割された画像のそれぞれを分割画像という。また、分割前の画像を元画像という。本実施の形態では、元画像は、例えば、撮像装置と撮像対象との位置が相対的に固定された状態で撮像される。また、同一の領域に対応する分割画像は、互いに同一の視野の分割画像となる。

選択部１７は、領域毎の複数の分割画像の輝度情報に基づき、撮像対象の表面情報が最も的確に含まれていると判断された分割画像を、領域毎に選択する。選択方法についての詳細は後述する。

結合部１９は、選択部１７が領域毎に選択した画像同士を互いに再結合して元画像に対応する画像を再生成する。上記のように、各領域に対応する分割画像は、同一の視野に対応しているため、分割画像を幾何的に結合することで、元画像と同一の視野に対応する画像が生成される。以下、領域毎に選択された分割画像を結合することにより生成された画像を、再結合画像という。

画像処理装置１０における上記各機能は、例えば、標準的なコンピュータなどの情報処理装置が、記憶装置に予め記憶されたプログラムを読み込んで実行することにより実現される。

次に、本実施の形態における照明条件の詳細について、図２を参照しながら説明する。図２は、画像受付部１３が受付ける画像の撮像方法の一例を説明する図である。図２に示す例では、撮像対象６に対し、カメラ７は固定されている。また、照明８と照明９とは、撮像対象６に対する照明方向が異なるように配置されているとする。

図２のような構成により、例えば撮像対象６の１つ目の照明条件による画像を、照明８のみを点灯してカメラ７で撮像し、２つ目の照明条件による画像を照明９のみを点灯して撮像する。これにより、照明方向という照明条件の異なる２枚の画像を取得することができる。

別の例として、例えば、照明８、照明９の少なくともいずれかの照明光の強度を変更することができるとする。そして、いずれかの照明光の強度を変更することにより、撮像対象６における照度が変更可能であるとする。このような場合、例えば、１つめの照明条件として、照明８を第１の強度で点灯した状態で、カメラ７で撮像対象６を撮像する。次に、２つ目の照明条件として第１の強度と異なる第２の強度で照明８を点灯した状態で、カメラ７で撮像対象６の画像を撮像する。これにより、撮像対象に対する照明光の照度という照明条件の異なる２枚の画像が取得される。

他の例として、例えば、１枚目の画像は照明８を第１の強度で点灯した状態で撮像した画像、２枚目の画像は、照明８を第１の強度と異なる第２の強度で点灯し、さらに照明９を点灯して撮像した画像などとすることもできる。このように、複数の異なる角度からの照明の点灯数、および強度を、共に変更した条件を用いることもできる。また、照明の数は２個に限定されず、１個の照明の位置を変更できるように構成してもよいし、３個以上の照明を夫々異なる照明方向になるように、あるいは照明方向を変更できるように配置するようにしてもよい。

もちろん、上記のように照明方向および照度、またはその少なくともいずれかが互いに異なる３つ以上の条件下で３枚以上の画像を取得するようにしてもよい。なお、例えば、カメラ７を含む撮像装置側の撮像感度、絞り、露光時間などの露光条件を変更することも、撮像対象の照度を変更することと同様の作用となることから、本実施の形態における照明条件として含まれる。

図３は、例えば、撮像対象に対し固定された撮像装置で、それぞれ異なる照明条件で撮像された複数の画像１〜４の一例を示す図である。図３に示すように、これらの画像１〜４は、画像によって輝度の高い場所と低い場所とが異なっていることが、肉眼でも分かる例となっている。なお、本実施の形態においては、カラー画像が入力された場合にはグレイスケールに変換しており、変換後の輝度階調値を輝度情報として用いるものとする。

図４は、画像分割の一例を説明する図である。図４では、画像１を縦（行方向）４×横（列方向）６の２４の領域の分割画像１−１〜１−２４に分割した例を示している。このとき、図示はしていないが、画像２〜４も、同様の２４個の領域に分割する。これにより、領域毎に４枚ずつの分割画像が得られる。

なお、任意の元画像を画像ｎ（ｎは、正の整数）といい、任意の領域を第ｍ領域（ｍは、正の整数）という。また、画像ｎの第ｍ領域の分割画像を、分割画像ｎ−ｍという。以下、図４に示した分割画像１−１０を例にして説明する。分割画像１−１０は、第１０領域の分割画像である。

図５は、一つの領域に対応する複数の分割画像の一例を示す図である。図５に示すように、各画像を分割することにより、第１０領域に対応する分割画像１−１０、分割画像２−１０、分割画像３−１０等が得られる。夫々の分割画像は、同一の視野の画像であるにもかかわらず、輝度分布が異なっていることが観察できる。

図６は、分割画像毎の輝度分布の一例を示す図である。図６において、３つのグラフ２０−１−１０〜２０−３−１０は、夫々分割画像１−１０、２−１０、３−１０に対応している。夫々のグラフにおいて、横軸は、分割画像の輝度に対応する輝度階調値、縦軸は、各分割画像における各輝度階調値を有する画素数を頻度として示している。図６に示すように、輝度値（ここでは、対応する輝度階調値）の分布は、各分割画像で異なっていることが分かる。これらの輝度値の分布を互いに比較することにより、領域毎に選択すべき分割画像を決定する。なお、この輝度値の分布は、輝度値の中央値（ここでは、輝度階調値＝１２８）を中心とした正規分布となることが好ましい。

図７は、評価値テーブル２５の一例を示す図である。評価値テーブル２５は、分割画像の特徴量の統計量、および評価値の計算結果を示す情報である。特徴量は、分割画像の輝度情報に関する特徴を示す値である。ここでは、各画素の輝度値に対応する値として輝度階調値が特徴量となっている。評価値は、特徴量の統計量に基づき算出され、領域毎の複数の分割画像から１つを選択するための選択基準とする値である。図７の例では、評価値の算出の基となる統計量として、分割画像ｎ−ｍについての輝度平均率α_ｎ，ｍが記載されている。

輝度平均率α_ｎ，ｍは、分割画像ｎ−ｍに対応する輝度平均率であり、下記の式１により算出される。なお、輝度平均率α_ｎ，ｍは、分割画像ｎ−ｍの各画素の輝度階調値の平均と、輝度階調値の中央値との差の絶対値である。

ここで、分割画像ｎ−ｍは、ｊ×ｋ個の画素（ｊ、ｋは自然数）からなるとする。分割画像ｎ−ｍにおける画素（ｘ、ｙ）（ｘは、例えば０からj−１の整数、ｙは、０からｋ−１の整数）の輝度階調値をｆ（ｘ、ｙ）で表すとする。平均値ａｖｒ_ｎ，ｍとは、１つの分割画像ｎ−ｍにおける全画素の輝度階調値の平均を示す。また、この例では、階調は０〜２５５階調とし、画像の輝度階調値の平均値としては、上述のように、中央値である１２８階調が好ましいとする。なお、評価値テーブル２５では、統計量が輝度平均率α_ｎ，ｍのみであるので、統計量すなわち評価値であり、記載を省略している。図７の例では、例えば、輝度平均率α_ｎ，ｍの値が一番大きい分割画像ｎ−ｍが、当該領域の分割画像として選択される。

図８は、選択画像テーブル２７の一例を示す図である。画像処理装置１０は、上記のようにして選択した分割画像を記録しておく。選択画像テーブル２７は、元画像、分割画像の夫々の識別番号、および、同一の領域の画像において選択されたか否かを示す選択フラグなどを記憶しておくことができる。なお、選択画像テーブル２７は、夫々の画像データを記憶した記憶領域を示す情報を各画像と関連付けて記憶するようにしてもよい。

図９は、再結合された画像の一例を示す図である。再結合画像６４は、複数の分割画像ｎ−ｍから選択された画像を、互いに再結合することにより生成された画像である。画像番号６６等、各分割画像の左上の番号は、各領域において選択された元画像の番号を示している。例えば画像番号６６では、元画像として画像４が選択されたことを示している。再結合画像６４では、例えば図３の画像１−４と比較すると、全体にハイライトが抑えられた画像となっており、撮像対象が鮮明に撮像され、撮像対象の表面情報が十分含まれた画像となっている。

以下、フローチャートを参照しながら、第１の実施の形態による画像処理装置１０の動作を説明する。図１０は、画像処理装置１０の動作の一例を示すフローチャートである。以下の説明では、図１に示した各機能が処理を行うとして説明する。

画像受付部１３は、照明条件の異なる複数の画像を受付ける（Ｓ７１）。例えば、画像受付部１３は、通信ネットワークを介して画像を受付ける。画像分割部１５は、受付けた複数の画像を夫々同様に複数の領域に分割する（Ｓ７２）。上述のように、画像分割部１５は、複数の画像を、複数の画像同士で互いに同一の複数の領域の分割画像に分割する。選択部１７は、領域毎に、分割画像ｎ−ｍ毎の評価値を計算する（Ｓ７３）。すなわち、選択部１７は、まず領域を一つ選択し、選択した領域について評価値を計算する。評価値は、例えば図７の評価値テーブル２５のように計算される。

選択部１７は、計算された評価値に基づき、選択した領域の分割画像ｎ−ｍを１つ選択する（Ｓ７４）。このとき、例えば選択画像テーブル２７において、選択した分割画像ｎ−ｍに選択フラグ６２を立てるようにしてもよい。

選択部１７は、さらに、未処理の領域があるか否かを判別し（Ｓ７５）、ある場合には（Ｓ７５：ＹＥＳ）、Ｓ７３に戻って処理を繰り返す。未処理の領域がない場合には（Ｓ７５：ＮＯ）、結合部１９は、選択された各分割画像を再結合して再結合画像を生成し（Ｓ７６）、出力する（Ｓ７７）。

以上詳細に説明したように、第１の実施の形態による画像処理装置１０によれば、同一視野の異なる照明条件で撮像された複数の元画像を、複数の領域の分割画像に分割し、同じ領域の分割画像を互いに比較する。このとき、分割画像ごとの輝度情報に基づき評価値を計算して、領域毎に評価値に基づき分割画像を１つずつ選択して再結合する。

評価値は、分割画像ごとの輝度情報に基づき算出される。例えば、選択部１７は、輝度情報の分布が、中央値を中心とする正規分布など、好ましい分布に近くなる場合に評価値が高くなるように、各分割画像の輝度情報に基づく特徴量の統計量を算出する。

上記のような画像処理により、ハイライト等の画像を不鮮明にする要素の影響が少ない分割画像を選択して再結合することができ、撮像対象の表面情報を十分識別可能に含んだ画像を得ることができる。これにより、例えば、表面に透明部材が被覆された携帯電話などの筐体の塗装面の欠陥等、物体の透明部材の下の表面の検査などに、本実施の形態による再結合画像を用いることにより、検査の効率および精度を向上させることもできる。

なお、第１の実施の形態において、一つの領域に対応する分割画像を、全ての領域毎に選択したが、必ずしも全ての領域について分割画像を選択しなくてもよい。評価値は、分割画像の全画素の輝度階調値に基づいて算出される輝度平均率α_ｎ，ｍであるとして説明したが、これに限定されない。評価値は、例えば、分割画像上の一部の画素に基づいて算出される値でもよい。例えば、分割画像上の、特定の特徴を持つ画像に対応する画素のみの特徴量に基づき算される統計量に基づく評価も可能である。

評価値は、輝度平均率α_ｎ，ｍは、輝度階調値の平均に関連した統計量であるが、例えば、分散に関連する統計量、輝度階調値そのものに関連する統計量、さらに、それらの統計量に所定の演算を施した値など、他の統計量でもよい。また、評価値としては、輝度階調値を特徴量とした輝度平均率α_ｎ，ｍのみでなく、輝度情報に基づく他の特徴量について算出される他の統計量を用いてもよい。他の特徴量とは、例えば、明度、彩度、エッジ強度などが考えられる。エッジ強度とは、例えば、輝度階調値の変化率に基づく値や、後述する輝度分散に基づく値などが含まれる。

上記の処理では、カラー画像が入力された場合に、グレイスケールに変換して輝度階調値を輝度情報として用いているが、これに限定されない。例えば、３原色の色別の輝度情報に基づき上記のような処理を行って評価値を出力し、評価値の高い分割画像を、３原色の全ての分割画像から選択して再結合する、といった処理も可能である。評価値テーブル２５、選択画像テーブル２７などのデータ構造は一例であり、変形が可能である。

（第２の実施の形態）
以下、第２の実施の形態による画像処理システム１００について説明する。第２の実施の形態において、第１の実施の形態による画像処理装置１０と同様の構成および動作については、同一番号を付し、重複説明を省略する。

画像処理システム１００は、第１の実施の形態による画像処理装置１０の変形例である画像処理装置１０１を制御装置１１０に含んだ画像処理システムである。画像処理システム１００は、撮像対象を撮像し、撮像された画像に基づき再結合画像を生成する。また、画像処理システム１００は、再結合画像を用いて、撮像対象に含まれる検査対象の表面検査を行う表面検査装置としての処理を行うことも可能である。

図１１は、画像処理システム１００のハードウエア構成の一例を示す図である。図１１に示すように、画像処理システム１００は、制御装置１１０、照明装置１２０、撮像装置１３０、記憶装置１４０、ステージ１４３、ステージコントローラ１４５、出力装置１４７を有している。

制御装置１１０は、画像処理システム１００の動作を制御する装置であり、例えば、パーソナルコンピュータなどの情報処理装置とすることができる。制御装置１１０は、画像処理装置１０１としての機能を含んでいる。制御装置１１０の機能的な構成の詳細は後述する。

照明装置１２０は、照明１２２−１、１２２−２（まとめて照明１２２ともいう）、および照明コントローラ１２４を有しており、例えば検査対象１５０を含む撮像対象に少なくとも複数の照明条件の光を照射する。照明１２２は、例えば蛍光灯、Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ（ＬＥＤ）照明等である。また、照明１２２は、照明コントローラ１２４が制御装置１１０により制御されることにより、照明方向（照明１２２の配置位置および照射する方向）、強度、オンオフなどを制御されることが好ましい。なお、照明は２個に限定されず、１個、または３個以上でもよい。また、複数個の強度が調整できない照明を固定した構成など、変形は可能である。照明コントローラ１２４は、照明１２２の動作を制御する装置であり、例えば照明１２２を移動させるための移動機構や、照射光の強度を変更するための電気回路などを含むことができる。

撮像装置１３０は、カメラ１３２、撮像コントローラ１３４を有している。カメラ１３２は、例えば固体撮像素子を備えた撮像装置である。カメラ１３２は、撮像コントローラ１３４を介して制御装置１１０により制御されることにより、検査対象１５０を含む撮像対象を撮像する。撮像コントローラ１３４は、カメラ１３２の動作を制御する装置であり、カメラ１３２のレンズなどの光学部品の移動や、絞り、シャッタ等の調整動作を行う移動機構等を含むことができる。

記憶装置１４０は、例えば外部記憶装置である。外部記憶装置は、例えば、ハードディスクなどの記憶装置である。また、媒体駆動装置を備え、可搬記録媒体に記録を行うようにしてもよい。可搬記録媒体は、例えばＣｏｍｐａｃｔ Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等である。記憶装置１４０には、制御装置１１０で実行される各種制御プログラムや、取得したデータ等を記憶しておく。また、取得した画像のデータ、評価値計算結果などの情報を記憶させることができる。

ステージ１４３は、検査対象１５０を載置する台であり、ステージコントローラ１４５を介して制御装置１１０により制御されることにより移動し、検査対象１５０の位置調整を行うことができる。ステージコントローラ１４５は、ステージ１４３の動作を制御する装置であり、ステージ１４３の移動機構を含むことができる。出力装置１４７は、画像処理装置１０１の処理結果などを表示する装置であり、例えば、液晶表示装置などである。

図１２は、制御装置１１０の機能的構成の一例を示す図である。図１２に示すように、画像処理システム１００は、画像処理装置１０１、照明制御部１１３、撮像制御部１１５、ステージ制御部１１７、出力制御部１１９を有している。

照明制御部１１３は、照明装置１２０のオンオフ、照明方向、強度などを制御する。複数の照明１２２がある場合には、夫々異なるタイミングでオンオフを行ったり、照明方向、強度を夫々独立して制御したりするようにしてもよい。

撮像制御部１１５は、撮像装置１３０の動作を制御する。撮像制御部１１５は、照明制御部１１３が所定の条件を満たす照明を行っている状態で撮像を行うなど、照明制御部１１３と連携しながら撮像制御部１１５を制御する。

ステージ制御部１１７は、ステージ１４３の動作を制御する。ステージ制御部１１７は、ステージ１４３の動きを制御することにより、検査対象１５０の位置を調整し、所望の照明条件での撮像を可能にする。

出力制御部１１９は、出力装置１４７の出力を制御する。例えば、出力制御部１１９は、出力装置１４７に画像処理装置１０１の処理結果の画像を表示させる。また、画像処理システム１００を、検査対象１５０の表面検査装置として機能させる場合には、出力制御部１１９は、検査に関する処理を行うようにしてもよい。例えば、出力制御部１１９は、検査対象１５０の表面が、設計どおりに製造されているか否かを標準となる画像と比較して一致度を判定するなどの処理を行い、結果を出力する。

画像処理装置１０１は、画像受付部１０３、画像分割部１０５、選択部１０７、および結合部１０９を有している。画像受付部１０３は、同じ撮像対象を、例えば撮像対象に対して同じ位置から、異なる照明条件で撮像された複数の画像を受付ける。画像受付部１０３は、例えば、カメラ１３２で撮像された画像を、撮像コントローラ１３４を介して受付ける。画像受付部１０３は、例えば、画像処理装置１０１に有線または無線により接続された記憶装置から画像を読み出して受け付けることもできる。画像分割部１０５は、画像受付部１０３が受付けた複数の画像を、複数の画像同士で互いに同一の複数の領域に分割する。画像分割部１０５の処理は、画像分割部１５と同様である。

選択部１０７は、領域毎の複数の分割画像の輝度情報に基づき、撮像対象の表面情報が最も的確に含まれていると判断された分割画像を、領域毎に選択する。第２の実施の形態による選択の処理においては、第１の実施の形態において説明した選択部１７による処理と同様の処理を行う。また、選択部１０７は、後述するように、各分割画像の中から、直接反射光を含むと判断された画像を除去する処理を行う。この判断の処理の詳細については後述する。

結合部１０９は、選択部１０７が領域毎に選択した画像同士を互いに再結合して元画像に対応する画像を再生成する。このとき、結合部１０９は、後述する領域境界部における境界処理を実行することが好ましい。境界処理の詳細は、後述する。

図１３は、第２の実施の形態による画像処理システム１００による撮像状況１６０の一例を示す図である。撮像状況１６０は、画像処理システム１００の照明の配置の変形例である。図１３に示すように、撮像状況１６０において、撮像対象１５４に対し、カメラ１３２は固定されている。また、複数の照明１５２−１〜１５２−８（まとめて照明１５２ともいう）が備えられている。照明１５２−１〜１５２−４は、照明１５２−５〜１５２−８より、検査対象１５０から遠い位置に備えられている。

この例では、照明１５２−１〜１５２−８により、検査対象１５０に対して少なくとも異なる８方向から照明を照射させることができる。さらに照明１５２は、夫々独立して照明光の強度が変更できるように構成されていることが好ましい。照明１５２は、例えばバー状の照明とすることができ、例えば、複数の照明１５２−１〜１５２−８のうちのいくつかの照明を用い、これら照明を順次点灯してカメラ１３２で撮像した画像を用いてもよい。

以下、図１４、図１５を参照しながら、直接反射光を含む画像（以下、直接反射光画像という）の除去方法を説明する。図１４は、直接反射光の発生例を示す図である。図１４は、撮像対象１５４をカメラ１３２で撮像する例であり、照明１６２と照明１６４とから夫々強度の異なる光が照射される場合を示している。この例では、照明１６４とカメラ１３２とが、正反射条件の位置に配置されている。直接反射光とは、正反射条件の下で撮像対象で反射されて直接カメラに入射する照明光をいう。正反射条件でない場合に、撮像対象から反射されてカメラに入射する光は拡散反射光という。

照明１６２、照明１６４共に、照明強度は充分大きく設定できるとする。このとき、それぞれの照明強度をカメラのダイナミックレンジを越える値に設定した場合、どちらの照明を用いても、撮像画像にはハイライトが生じる。しかし、正反射条件である照明１６４の場合には、照明強度を小さくしても、照明光源自体が撮像画像に映り込む可能性がある。一方、正反射条件ではない照明１６２の場合には、照明強度を適切に小さくすれば、照明光源が映り込みことも無く、ハイライトの影響を、表面情報の取得に影響の無い程度まで低減できる。

すなわち、図１４の例では、照明１６２からの照明方向１６６の照明光による直接反射光は、強度１７１−１〜１７３−１で表されるように、カメラ１３２とは別の方向へ反射する。このとき、カメラ１３２に入射する光は、強度１７１−２〜１７３−２となり、強度１７１−１〜１７３−１に応じて変化する。

一方、照明１６４から照明方向１６８の照明光による直接反射光は、カメラ１３２の方向へ反射する。このとき、照明１６４による強度を変化させても、強度１７４〜１７６は、照明光の強度の変化に応じて変化しない場合がある。

図１５は、撮像光強度変化の一例を示す図である。図１５において、横軸は、照明光の強度（例えば、照明装置に設定された照明光の強度）、縦軸は、撮像光の強度（カメラ１３２に受光される光の強度）を示す。また、強度曲線１７７は、照明１６２に対応し、強度曲線１７８は、照明１６４に対応している。なお、照明１６２と照明１６４は、同一の仕様の照明であるとする。

図１５に示すように、強度曲線１７７は、直接反射光を含まないので、照明１６２の強度に比例して撮像光の強度が上昇している。しかし、強度曲線１７８は、主として直接反射光を受光しているため、反射光成分が効率よくカメラに導かれ、ある強度以上になると、照明１６４の強度を増大させても撮像光の強度は飽和してしまい、変化しない。よって、直接反射光の場合の照明光強度の変化に対する撮像光の変化率１８０は、直接反射光でない場合の変化率１７９より小さいと考えられる。変化率の相違は、例えば強度曲線１７８の飽和部分を含めた変化率で比較するようにしてもよい。この変化率の相違を利用して、選択部１０７は、取得した画像から、直接反射光によるハイライトを含む画像を排除することができる。このとき、除去した画像の代りに、照明の方向を再調整して、画像を撮り直すようにしてもよい。

本実施の形態では、照明１６２、または照明１６４の強度変化に対して、分割画像の全画素の輝度値の合計の変化が予め決められた第３の所定値以下の場合に、選択部１０７は、当該分割画像を選択対象から除去する。すなわち、選択部１０７は、例えば選択画像テーブル２７において、当該分割画像に、選択フラグ２９とは異なるフラグを立てるなどして、当該分割画像を選択対象から除去する。第３の所定値は、例えば、変化率１７９と変化率１８０との相違から決定することができる。

以下、図１６から図１９を参照しながら、第２の実施の形態による分割画像の評価値について説明する。図１６は、第２の実施の形態による評価値テーブル３５の一例を示す図である。評価値テーブル３５は、分割画像の特徴量の統計量、および評価値の計算結果を示す情報である。評価値テーブル３５は、例えば選択部１０７により分割画像毎に生成される。評価値は、上記直接反射光除去により除去対象とならなかった分割画像について算出されることが好ましい。

特徴量は、分割画像の特徴を示す値であり、分割画像における輝度情報に基づき算出される。第１の実施の形態による評価値テーブル２５と同様、ここでは、各画素の輝度階調値が特徴量となっている。図１６の例では、評価値の算出の基となる統計量として、分割画像ｎ−ｍについて、第１の実施の形態において説明した輝度平均率α_ｎ，ｍに加え、輝度分散率β_ｎ，ｍ、ハイライト率γ_ｎ，ｍ、およびシャドウ率δ_ｎ，ｍが記載されている。

輝度分散率β_ｎ，ｍは、分割画像ｎ−ｍの輝度分散率であり、下記の式２により算出される。ここで、輝度分散ｓｔｄ_ｎ，ｍは、分割画像ｎ−ｍにおける、各輝度階調値と平均値ａｖｒ_ｎ，ｍとの差の２乗の平均値の平方根である。輝度分散率β_ｎ，ｍは、輝度分散ｓｔｄ_ｎ，ｍと輝度分散基準値（例えば、輝度階調レンジ／６＝２５５／６＝４２．５）との差である。ここで、輝度階調レンジを「６」で除するのは、輝度分布が正規分布をしていると仮定した場合、標準偏差σとして±３σの範囲に全てのサンプルの９９．７％が含まれる場合が、画像として十分良好であると仮定したためである。

ここで、図１７を参照しながら、ハイライト率γ_ｎ，ｍとシャドウ率δ_ｎ，ｍについて説明する。図１７は、輝度階調値の頻度が正規分布をしていると仮定した場合の輝度分布５０を示す図である。図１７に示すように、輝度分布５０において、横軸は、輝度階調値を示し、縦軸は、頻度を示す。直線５１は、階調値＝１２８を示す直線であり、輝度分布５０は、この直線５１を中心として正規分布をしている。また、標準偏差σが示されている。このとき、ハイライト領域５２は、輝度階調値が第１の所定値以上の領域である。シャドウ領域５４は、輝度階調値が第２の所定値以下の領域である。第１の所定値は、例えば、標準偏差σを用いて直線５１から＋ｐσ（ｐは、任意の実数）の輝度階調値などと決定することができる。同様に、第２の所定値は、例えば、標準偏差σを用いて直線５１から−ｐσ（ｐは、任意の実数）の輝度階調値などと決定することができる。

図１６に戻って、ハイライト率γ_ｎ，ｍは、分割画像ｎ−ｍにおいて、上記ハイライト領域５２に含まれる画素数（以下、ハイライト画素数という）の全画素数に対する割合であり、下記式３で表される。
ハイライト率γ_ｎ，ｍ＝ハイライト画素数／全画素数（ｊ×ｋ）・・・（式３）

シャドウ率δ_ｎ，ｍは、分割画像ｎ−ｍにおいて、上記シャドウ領域５４に含まれる画素数（以下、シャドウ画素数という）の全画素数に対する割合であり、下記式４で表される。
シャドウ率δ_ｎ，ｍ＝シャドウ画素数／全画素数（ｊ×ｋ）・・・（式４）

評価値テーブル３５には、上記のような、輝度平均率α_ｎ，ｍ、輝度分散率β_ｎ，ｍ、ハイライト率γ_ｎ，ｍ、およびシャドウ率δ_ｎ，ｍを、夫々の分割画像１−１０、２−１０、３−１０について算出した結果の一例が示されている。なお、輝度平均率α_ｎ，ｍ、輝度分散率β_ｎ，ｍ、ハイライト率γ_ｎ，ｍ、およびシャドウ率δ_ｎ，ｍは、上記のように輝度階調値ｆ（ｘ、ｙ）に基づいて算出される統計量である。

分割画像ｎ−ｍの評価値Ａ_ｎ，ｍは、例えば、下記の式５により算出される。ここで、係数ａ〜ｄは、各統計量に乗ずる係数である。
Ａ_ｎ，ｍ＝ａα_ｎ，ｍ＋ｂβ_ｎ，ｍ＋ｃγ_ｎ，ｍ＋ｄδ_ｎ，ｍ・・・（式５）

係数ａ〜ｄは、例えば、当該分割画像に対する各特徴値が示す頻度分布を正規化できるよう決定することが好ましい。例えば、輝度階調値の頻度分布が、輝度階調値の中央値を中心としたガウス分布に近くなるように決められることが好ましい。係数ａ〜ｄは、例えば、輝度平均率α_ｎ，ｍ、輝度分散率β_ｎ，ｍ、ハイライト率γ_ｎ，ｍ、およびシャドウ率δ_ｎ，ｍが互いに独立である場合には、各統計量の逆数を目安としてもよい。すなわち、下記の式６を用いるようにしてもよい。ここで、平均値αａｖ、βａｖ、γａｖ、δａｖは、全分割画像の各統計量の平均値である。
ａ＝−（１／αａｖ）、ｂ＝−（１／βａｖ）、ｃ＝−（１／γａｖ）、ｄ＝−（１／δａｖ）・・・（式６）

値にマイナスがついているのは、評価値として一番大きな値を有する分割画像を選択するための、単に計算上の問題である。例えば、図１６の例では、値３７に示すように、算出された評価値Ａ_{１，１０、}Ａ_{２，１０、}Ａ_３，１０から最も大きな値として評価値Ａ_２，１０を有する画像２−１０が選択される。

さらにこのとき、画像を結合する際に１枚の分割画像を選択する代わりに、分割画像に重み係数Ｋ_ｎ，ｍを乗じて、結合用の分割画像を演算により求めることもできる。例えば、元画像ｎの領域ｍの分割画像を分割画像ｉ_ｎ，ｍ、元画像の枚数をＮ（２以上の整数）であるとすると、下記式７により、第ｍ領域の結合用の分割画像Ｉｍが求められる。

例えば、同一領域ｍの分割画像が４枚（Ｎ＝４）である場合は、以下のようになる。このとき、評価値Ａ_ｎ，ｍ＝（Ａ_１，ｍ，Ａ_２，ｍ，Ａ_３，ｍ，Ａ_４，ｍ）と表す。また、重み係数Ｋ_ｎ，ｍ＝（Ｋ_１，ｍ，Ｋ_２，ｍ，Ｋ_３，ｍ，Ｋ_４，ｍ）と表す。重み係数Ｋ_ｎ，ｍは、例えば、評価値Ａ_ｎ，ｍのうちの最大値に対応する重み係数Ｋ_ｎ，ｍを「１」、その他を「０」とすることができ、この場合、Ｋ_ｎ，ｍ＝（０_，１_，０_，０）、Ｉｍ＝ｉ_２，ｍとなる。これはすなわち、図１６の値３７のように、ｎ＝２の元画像に基づく分割画像を選択した場合に相当する。なお、重み係数Ｋ_ｎ，ｍは、上記以外の例でもよい。

ここで、図１８、図１９を参照しながら、分割画像を選択する効果の一例を説明する。図１８は、第１５領域の画像１−１５、２−１５、３−１５、４−１５（以下まとめて、画像１−１５〜４−１５という）、および突起５６−１〜５６−４（まとめて、突起５６ともいう）を含む部分の画像を示す図である。図１８に示すように、突起５６−１〜５６−４は、画像２−１５では判別できるが、他の画像では判別が困難な状態となっている。

図１９は、画像１−１５〜４−１５の突起５６に対応する画素における輝度分散を示す図である。図１９において、縦軸は、輝度分散、横軸は、各画像１−１５〜４−１５に対応している。図１９における輝度分散とは、例えば、各突起５６に対応する画素における輝度階調値と、各分割画像ｎ−ｍにおける輝度階調値の平均値との差の２乗の平均の平方根である。

図１９に示すように、輝度分散は、図１８で、４つの突起５６が最も鮮明である分割画像２−１５で最も高い値となっており、最も低い画像４−１５の輝度分散の約６倍である。このように、画像の鮮明度が輝度分散のみによっても、定量的に表されることがわかる。よって、輝度分散を評価値として採用することによって、表面情報を適切に含む画像を生成することが可能となる。

以下、図２０を参照しながら、境界処理について説明する。図２０は、画像を再結合する際の境界処理の一例を示す図である。図２０に示すように、部分画像１８７は、分割画像同士の境界部の部分画像の一例である。基準線１８９は、部分画像１８７における境界線１８３を跨ぐ直線である。輝度曲線１８５は、基準線１８９における輝度値の変化を示す曲線である。選択した分割画像を再結合する場合、輝度曲線１８５のように、境界線１８３付近で隣り合う分割画像同士の輝度の変化が不自然になる場合がある。このような場合、結合部１０９は、分割画像同士の境界領域で、合成率１９１に示すように、合成率曲線１９３および合成率曲線１９５に基づき、輝度値を再配分することが好ましい。例えば、分割画像における画素（ｘ，ｙ）として、合成曲線１９３をｇ（ｘ，ｙ）で表し、合成率曲線１９５を、（１−ｇ（ｘ，ｙ））で表すとすると、再配分後の画素（ｘ，ｙ）での輝度階調値Ｉ（ｘ，ｙ）は、例えば、下記式８により算出される。
Ｉ（ｘ，ｙ）＝ｇ（ｘ，ｙ）×Ｉｍ（ｘ，ｙ）
＋（１−ｇ（ｘ，ｙ））×Ｉｍ＋１（ｘ，ｙ）・・・（式８）

部分画像２０５は、合成率１９１に基づき再配分を行った結果生成された画像である。輝度曲線２０３は、部分画像２０５における境界線１８３における輝度値の変化を示す曲線である。部分画像２０５では、境界線１８３付近の輝度値の変化が滑らかになり、分割画像同士の境界が目立たなくなっている。

図２１は、上記の境界処理を行う前後の再結合画像の一例を示す図である。図２１に示すように、境界処理を行う前の再結合画像２１１は、部分画像１８７などのように、境界部が不自然である。再結合画像２１３では、境界部の不自然さが低減されている。

以下、フローチャートを参照しながら画像処理システム１００による画像処理の動作を説明する。図２２は、画像処理システム１００の主要な動作を示すフローチャートである。図２２の例では、画像処理システム１００は、表面検査装置としての機能を含む。図２３から図２５は、図２２に示した処理の詳細な動作を示すフローチャートである。

図２２に示すように、画像処理システム１００において、例えば、不図示の載置機構により、制御装置１１０は、検査対象１５０をステージ１４３に設置する（Ｓ２２１）。制御装置１１０は、測定の準備を行う。すなわち、照明制御部１１３は、照明コントローラ１２４を介して照明装置１２０の照明１２２の位置、強度などを調整する。撮像制御部１１５は、撮像コントローラ１３４を介して、撮像装置１３０のカメラ１３２の焦点、絞り、露光時間などの撮像条件を調整する。ステージ制御部１１７は、ステージコントローラ１４５を介して、ステージ１４３の位置を調整し、検査対象１５０がカメラ１３２の視野内に入るように調整する（Ｓ２２２）。

撮像制御部１１５は、測定準備が整ったことが検知されると、異なる照明条件の複数の画像を撮像装置１３０に撮像させる。また、画像受付部１０３は、複数の画像を受付け、例えば記憶装置１４０に記憶させる（Ｓ２２３）。画像分割部１０５は、記憶装置１４０に画像が記憶されたことが検知されると、画像受付部１０３で受付けられた複数の画像を、複数の領域に分割する（Ｓ２２４）。

選択部１０７は、各分割画像について、上述のように、直接反射光画像除去処理を行うことが好ましい。選択部１０７は、直接反射光画像除去処理の結果、直接反射光画像があった場合には（Ｓ２２５：ＹＥＳ）、照明制御部１１３により、照明１２２の調整を行うか、当該画像を、選択の対象から除去する（Ｓ２２６）。照明１２２の調整を行った場合には、制御装置１１０は、もう一度カメラ１３２により元画像を撮像し、画像分割部１０５により撮像した画像を分割して、Ｓ２５５からの処理を繰り返す。このとき、制御装置１１０は、例えば、当該分割画像の元画像を処理の対象から除去するようにしてもよい。直接反射光画像除去処理の詳細は、後述される。

直接反射光画像がない場合には（Ｓ２２５：ＮＯ）、例えば、上述したように、領域毎に評価値を計算し、評価値に応じて分割画像を選択する（Ｓ２２７）。場合によっては、領域ごとの再結合用の分割画像は、複数の分割画像に重み係数Ｋ_ｎ，ｍを乗じた計算を行うことにより生成される。選択部１０７は、全領域について分割画像の選択が終了していない場合には（Ｓ２２８：ＮＯ）、Ｓ２２７に戻って処理を繰り返す。全領域について分割画像の選択が終了した場合には（Ｓ２２８：ＹＥＳ）、結合部１０９は、分割画像同士の境界部の輝度値を再配分する処理を行い、画像を再結合する（Ｓ２２９）。出力制御部１１９は、再結合画像について、所定の検査などを行い、結果を出力する（Ｓ２３０）。所定の検査とは、例えば検査対象１５０の表面検査などである。

制御装置１１０は、次視野がある場合には（Ｓ２３１：ＹＥＳ）、Ｓ２２２から処理を繰り返し、ない場合には（Ｓ２３１：ＮＯ）処理をＳ２３２にすすめる。次の撮像対象がある場合には（Ｓ２３２：ＹＥＳ）、制御装置１１０は、Ｓ２２１から処理を繰り返し、ない場合には、一連の画像処理を終了する（Ｓ２３２：ＮＯ）。

次に、図２３を参照しながら、直接反射光画像除去処理についてさらに説明する。直接反射光画像除去処理は、図２３におけるＳ２２５、Ｓ２２６の処理である。選択部１０７は、複数の領域の中から１つの領域を選択する（Ｓ２５１）。選択部１０７は、例えば図１５を参照しながら説明したように、選択した領域の撮像光強度変化率を、各分割画像について算出する（Ｓ２５２）。

選択部１０７は、撮像光強度変化率が予め決められた第３の所定値に満たない場合、当該分割画像が除去対象であると判別し（Ｓ２５３：ＹＥＳ）、当該分割画像を例えば選択画像テーブル２７において除去対象であることを記憶させる処理を行う（Ｓ２５４）。撮像光強度変化率が予め決められた値以上の場合には、当該分割画像が除去対象ではないと判別する（Ｓ２５３：ＮＯ）。

選択部１０７は、未処理の領域がある場合には（Ｓ２５５：ＹＥＳ）、Ｓ２５１から処理を繰り返す。未処理の領域がない場合には（Ｓ２５５：ＮＯ）、選択部１０７は、図２３のＳ２２５に処理を戻す。

次に、図２４を参照しながら、画像選択処理についてさらに説明する。画像選択処理は、図２２のＳ２２７の処理である。選択部１０７は、複数の領域から一つの領域を選択する（Ｓ２６１）。図１６、図１７を参照しながら説明したように、まず、選択部１０７は、輝度階調値を特徴量とした統計量として、輝度平均率α_ｎ，ｍに加え、輝度分散率β_ｎ，ｍ、ハイライト率γ_ｎ，ｍ、およびシャドウ率δ_ｎ，ｍを算出する（Ｓ２６２）。選択部１０７は、算出した統計量に基づき、式５により、評価値を算出する（ステップ２６３）。さらに、選択部１０７は、重み係数Ｋ_ｎ，ｍを設定する（Ｓ２６４）。選択部１０７は、式６に基づき、再結合用の分割画像を生成し（Ｓ２６５）、処理を図２２のＳ２２７に戻す。

次に、図２５を参照しながら、境界処理について説明する。境界処理は、図２２におけるＳ２２９の処理である。図２０、図２１を参照しながら説明したように、結合部１０９は、分割画像同士の境界領域について、輝度値の再配分を行うことが好ましい。結合部１０９は、複数の領域から領域を一つ選択する（Ｓ２７１）。結合部１０９は、選択した領域と、隣り合う領域を抽出する（Ｓ２７２）。例えば、第ｍ領域と、第ｍ＋１領域である。

結合部１０９は、上述したように、例えば式８により、再配分後の輝度値を求める（Ｓ２７３）。結合部１０９は、全ての領域の再配分が終了していない場合は（Ｓ２７４：ＮＯ）、Ｓ２７１に戻って処理を繰り返し、終了した場合には（Ｓ２７４：ＹＥＳ）、図２２の、Ｓ２２９に処理を戻す。

以上詳細に説明したように、画像処理システム１００によれば、複数の照明条件で撮像対象を含む同一の視野で複数の画像を撮像する。撮像した画像を制御装置１１０が記憶装置１４０に記憶させる。画像受付部１０３は、記憶装置１４０から画像を読み出して受付ける。画像分割部１０５は、受付けられた画像を複数の領域の分割画像に分割する。

選択部１０７は、直接反射光除去処理を行う。また、選択部１０７は、例えば輝度階調値に基づく統計量を算出し、さらに算出した統計量に基づき評価値を計算することにより、領域毎に分割画像を選択する。このとき、重み係数Ｋ_ｎ，ｍを導入し、領域ごとの複数の分割画像に重みを乗じて再結合用の分割画像を生成してもよい。

結合部１０９は、選択された、または生成された再結合用の分割画像を結合し、再結合画像を生成する。このとき、境界処理により、隣接した境界領域付近の各画素の輝度値に０〜１の係数を掛けて隣接領域同士を加算し、領域同士の境界部において輝度値を再配分するようにしてもよい。

以上説明したように、第２の実施の形態による画像処理システム１００によれば、複数の照明条件で同一の視野において撮像対象の撮像を行うことができる。また、複数の統計量に係数を乗じて加算した値を評価値とすることができる。これにより、ハイライト等の画像を不鮮明にする要素の影響が少ない分割画像をさらに適切に選択して再結合することができ、撮像対象の表面情報を十分識別可能に含んだ画像を得ることができる。

直接反射光画像除去を行うことにより、直接反射光によるハイライトと拡散反射による反射光強度増大によるハイライトとを区別することができ、より適切にハイライトを低減した画像を取得できる。

境界処理を行うことにより、境界を滑らかに接続することができるとともに、さらにハイライトの影響を低減させることができ、検査対象１５０の表面情報がより適切に含まれる再結合画像を得ることができる。このとき、隣接する画像の平均化が行われるので、ノイズの低減効果もある。

画像処理システム１００では、例えば、所定の画像と再結合画像とが同じ検査対象１５０を含むか否かについての検査を行うなど、検査装置としての運用も可能である。検査方法としては、画素同士のマッチングを行うなど、従来の方法が利用できる。このような検査装置として、上記画像処理を行うことにより、検査への悪影響の原因となるハイライトを低減させて、検査精度を向上させることができる。

特に、透明な部材で覆われる表面部分を持つ撮像対象の透明部材越し、あるいは滑らかな表面形状を持つ対象の表面形状に関する画像情報を適切に含む画像を取得することができる。よって、正確な検査が困難であった撮像対象の表面検査を精度よく行うことが可能な画像を取得できる。

ここで、上記第１または第２の実施の形態による画像処理方法の動作をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図２６は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図２６に示すように、コンピュータ３００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）３０２、メモリ３０４、入力装置３０６、出力装置３０８、外部記憶装置３１２、媒体駆動装置３１４、ネットワーク接続装置等がバス３１０を介して接続されている。

ＣＰＵ３０２は、コンピュータ３００全体の動作を制御する演算処理装置である。メモリ３０４は、コンピュータ３００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶装置である。メモリ３０４は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置３０６は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ３０２に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置３０８は、コンピュータ３００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ３０２により送付される表示データに応じてテキストや画像を表示する。

外部記憶装置３１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ３０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置３１４は、可搬記録媒体３１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ３０２は、可搬記録媒体３１６に記録されている所定の制御プログラムを、媒体駆動装置３１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体３１６は、例えばＣｏｍｐａｃｔ Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等である。ネットワーク接続装置３１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス３１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。

上記第１または第２の実施の形態による画像処理方法をコンピュータに実行させるプログラムは、例えば外部記憶装置３１２に記憶させる。ＣＰＵ３０２は、外部記憶装置３１２からプログラムを読み出し、コンピュータ３００に画像処理の動作を行なわせる。このとき、まず、画像処理の処理をＣＰＵ３０２に行わせるための制御プログラムを作成して外部記憶装置３１２に記憶させておく。そして、入力装置３０６から所定の指示をＣＰＵ３０２に与えて、この制御プログラムを外部記憶装置３１２から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体３１６に記憶するようにしてもよい。

なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、第１および第２の実施の形態においては、評価値を分割画像の全画素の輝度情報に基づいて算出した統計量に基づき計算する例について説明した。しかし、例えば、図１９に示したように、特定の特徴を持つ画像に対応する画素のみについて算出された評価値に基づく評価も可能である。また、第２の実施の形態において説明した各統計量のいずれかを、第１の実施の形態における評価値として用いることも可能である。輝度階調値の統計量の計算方法は、上記に限定されない。例えば、分割画像の輝度情報の頻度分布と正規分布との相違を表すような他の統計量でも、適用は可能である。また、画像処理システム１００において、画像処理装置１０１に代えて画像処理装置１０を用いるようにしてもよい。

第２の実施の形態による直接反射光画像除去処理、境界処理は、省略してもよい。また、係数ａ〜ｄの算出方法は上記に限定されない。重み係数Ｋ_ｎ，ｍは上記に限定されず、他の値の組合せを利用してもよい。また、第１の実施の形態において、第２の実施の形態による直接反射光画像除去処理、境界処理、重み係数Ｋ_ｎ，ｍによる処理のいずれか少なくとも一つを行うようにすることもできる。

１ 画像
１−１〜１−２４ 分割画像
６ 撮像対象
７ カメラ
８、９ 照明
１０ 画像処理装置
１３ 画像受付部
１５ 画像分割部
１７ 選択部
１９ 結合部
２０ 輝度分布
２５ 評価値テーブル
２７ 選択画像テーブル
２９ 選択フラグ
α 輝度平均率
β 輝度分散率
γ ハイライト率
δ シャドウ率
５０ 輝度分布
５２ ハイライト領域
５４ シャドウ領域
５６ 突起
６２ 選択フラグ
６４ 再結合画像

Claims (15)

1. 画像処理装置が、
   撮像対象を複数の異なる照明条件で撮像した複数の画像をそれぞれ複数の領域に分割して、複数の分割画像を生成し、
   前記複数の領域のうち一つの領域に対応する複数の分割画像の輝度情報に基づき、前記一つの領域に対応する前記複数の分割画像のうち一つの分割画像を選択し、
   前記一つの分割画像を前記一つの領域以外の領域に対応する分割画像と結合して、前記複数の領域に対応する画像を生成する
   ことを特徴とする画像処理方法。
2. 前記選択する処理は、前記一つの領域に対応する前記複数の分割画像に含まれる画素の輝度情報に関する特徴量の統計量に基づき前記一つの分割画像を選択することを特徴とする請求項１に記載の画像処理方法。
3. 前記特徴量は、輝度値、明度、彩度、又はエッジ強度のいずれか少なくとも一つを含むことを特徴とする請求項２に記載の画像処理方法。
4. 前記統計量は、前記分割画像の全画素の輝度値の平均値と前記輝度値のとりうる値の中央値との差、前記分割画像の全画素の輝度値の平均値に対する各画素の輝度値の分散率、前記分割画像の全画素数に対する輝度値が第１の所定値以上の画素数の割合、又は前記分割画像の全画素数に対する輝度値が第２の所定値以下の画素数の割合のいずれか少なくとも一つであることを特徴とする請求項３に記載の画像処理方法。
5. 前記照明条件は、照明装置からの照明光の前記撮像対象に対する照明方向を含むことを特徴とする請求項１から請求項４のいずれかに記載の画像処理方法。
6. 前記照明条件は、前記撮像対象の照度または撮像装置の露光状態を含むことを特徴とする請求項１から請求項５のいずれかに記載の画像処理方法。
7. 前記複数の画像は、前記撮像対象に対する照明方向が同一で互いに異なる少なくとも２種類の前記照度で撮像された画像を含み、
   前記選択する処理は、互いに異なる前記照度の差に対する前記分割画像の輝度情報の差が第３の所定値以上の分割画像を選択する
   ことを特徴とする請求項６に記載の画像処理方法。
8. 撮像対象に対して複数の照明条件で照明を行う照明装置と、
   前記撮像対象を撮像する撮像装置と、
   情報を記憶する記憶装置と、
   前記照明装置の動作を制御する照明制御部と、
   互いに異なる前記照明条件で前記撮像装置により前記撮像対象を複数回撮像させ、撮像された複数の画像を前記記憶装置に記憶する撮像制御部と、
   前記記憶装置に記憶された前記複数の画像をそれぞれ複数の領域に分割して、複数の分割画像を生成すると共に前記分割画像を前記記憶装置に記憶する画像分割部と、
   前記複数の領域のうち一つの領域に対応する複数の前記分割画像の輝度情報に基づき、前記一つの領域に対応する前記複数の分割画像のうちの一つの分割画像を選択する選択部と、
   前記一つの分割画像を前記一つの領域以外の領域の分割画像と結合して、前記複数の領域に対応する画像を生成する結合部と、
   を有することを特徴とする画像処理システム。
9. 前記選択部は、前記一つの領域に対応する前記複数の分割画像に含まれる画素の輝度情報に関する特徴量の統計量に基づき前記一つの分割画像を選択することを特徴とする請求項８に記載の画像処理システム。
10. 前記特徴量は、輝度値、明度、彩度、又はエッジ強度のいずれか少なくとも一つを含むことを特徴とする請求項９に記載の画像処理システム。
11. 前記統計量は、前記分割画像の全画素の輝度値の平均値と前記輝度値のとりうる値の中央値との差、前記分割画像の全画素の輝度値の平均値に対する各画素の輝度値の分散率、前記分割画像の全画素数に対する輝度値が第１の所定値以上の画素数の割合、又は前記分割画像の全画素数に対する輝度値が第２の所定値以下の画素数の割合のいずれか少なくとも一つであることを特徴とする請求項１０に記載の画像処理システム。
12. 前記照明装置は、前記撮像対象に対して少なくとも二方向の照明方向で照射可能に構成されており、
    前記照明条件は、前記照明条件は、前記照明装置からの照明光の前記撮像対象に対する照明方向を含むことを特徴とする請求項８から請求項１１のいずれかに記載の画像処理システム。
13. 前記照明装置は、前記撮像対象が少なくとも二種類の照度となるように照射可能に構成されており、
    前記照明条件は、前記撮像対象の照度を含むことを特徴とする請求項８から請求項１２のいずれかに記載の画像処理システム。
14. 前記照明制御部は、前記照明方向が同一で前記照度が変化するように前記照明装置を制御し、
    前記撮像制御部は、前記照明方向が同一で互いに異なる少なくとも２種類の前記照度で前記撮像対象の画像を撮像させ、
    前記選択部は、互いに異なる前記照度の差に対する前記分割画像の輝度情報の差が第３の所定値以上の分割画像から選択を行う
    ことを特徴とする請求項１３に記載の画像処理システム。
15. 撮像対象を複数の異なる照明条件で撮像した複数の画像をそれぞれ複数の領域に分割して、複数の分割画像を生成し、
    前記複数の領域のうち一つの領域に対応する複数の分割画像の輝度情報に基づき、前記一つの領域に対応する前記複数の分割画像のうち一つの分割画像を選択し、
    前記一つの分割画像を前記一つの領域以外の領域に対応する分割画像と結合して、前記複数の領域に対応する画像を生成する
    処理をコンピュータに実行させるプログラム。

Images