JP6587894B2 - 画像処理センサ、画像処理方法及びコンピュータプログラム - Google Patents

Description

本発明は、エッジ角度に基づいてエッジ点の個数を補正することで、検査対象物の良否判定を高い精度で行うことができる画像処理センサ、該画像処理センサで実行することが可能な画像処理方法及びコンピュータプログラムに関する。

検査対象物の外観検査を実行する場合、生産ライン上を流れてくる検査対象物の表面の画像を撮像し、撮像された画像に基づいて位置ずれの有無、欠陥の有無等の検査を行う。例えば、検査対象物の画像中で抽出された特徴点（エッジ点）の個数の大小、エッジ強度の大小等に基づいて検査対象物の良否判定を行う。

特許文献１では、エッジ点の個数及びエッジ強度の度数分布に応じてパターンサーチ処理の対象となる特徴点（エッジ点）の抽出するべき個数を指定する画像処理装置が開示されている。エッジ強度の閾値、エッジ点の個数の閾値等を設定するような簡単な設定により、検査対象物の画像の輝度に対してロバストに良否を判定することができる。

特開２００７−１４１２２２号公報

特許文献１に開示されている画像処理装置では、画素ごとにエッジの存否を判別して、エッジ点の個数を計数する。しかし、画素ごとにエッジの存否を判別しているので、実際には同一の長さを有するエッジであっても、エッジの方向（角度）によっては計数されたエッジ点の個数が異なるおそれがあった。そのため、エッジ点の個数の大小により検査対象物の良否判定を行う処理では、同一の検査対象物であっても、撮像する姿勢によってエッジ点の個数が変動するので、良否判定を高い精度で行うことが困難であるという問題点があった。

本発明は、上記問題点に鑑みてなされたものであり、エッジ点の個数の大小で検査対象物の良否判定を行う場合であっても、高い精度で良否判定を行うことができる画像処理センサ、該画像処理センサで実行することが可能な画像処理方法及びコンピュータプログラムを提供することを目的とする。

上記目的を達成するために第１発明に係る画像処理センサは、検査対象物を撮像する撮像手段と、該撮像手段で撮像された画像を表示する表示手段と、該表示手段で表示された画像からエッジを抽出して、抽出されたエッジに基づいて画像処理を行う画像処理手段と、該画像処理手段の処理結果に基づいて、検査対象物の良否判定を行う良否判定手段と、該良否判定手段の判定結果を外部へ出力する出力手段とを有する画像処理センサにおいて、前記画像処理手段は、撮像された検査対象物の画像からエッジを抽出するエッジ抽出手段と、抽出されたエッジを構成するエッジ画素の特徴量を算出する特徴量算出手段と、抽出されたエッジ角度を画素ごとに算出する角度算出手段と、算出されたエッジ角度に基づいて、算出された特徴量を補正する特徴量補正手段とを備えることを特徴とする。

また、第２発明に係る画像処理センサは、第１発明において、エッジの幅を細線化する細線化手段を備え、前記特徴量算出手段は、細線化されたエッジを構成するエッジ画素の個数を算出することを特徴とする。

また、第３発明に係る画像処理センサは、第１又は第２発明において、エッジ角度ごとの補正係数を記憶しておき、前記特徴量補正手段は、記憶されているエッジ角度に基づいて特定された補正係数を用いて、算出された特徴量を補正することを特徴とする。

また、第４発明に係る画像処理センサは、第１又は第２発明において、エッジ角度に基づいて補正係数を算出する計算式を記憶しておき、前記特徴量補正手段は、記憶されている計算式に基づいて、算出された特徴量を補正することを特徴とする。

また、第５発明に係る画像処理センサは、第１乃至第４発明のいずれか１つにおいて、良否判定の基準となる基準画像の指定を受け付ける指定受付手段と、指定を受け付けた基準画像に対して、エッジの抽出領域を設定する抽出領域設定手段とを備え、前記画像処理手段は、設定されたエッジの抽出領域内の特徴量を算出することを特徴とする。

また、第６発明に係る画像処理センサは、第１乃至第５発明のいずれか１つにおいて、エッジ角度の頻度分布を記憶しておき、前記特徴量補正手段は、エッジ角度の頻度を減少させることを特徴とする。

次に、上記目的を達成するために第７発明に係る画像処理方法は、検査対象物を撮像する撮像手段と、該撮像手段で撮像された画像を表示する表示手段とを備え、該表示手段で表示された画像からエッジを抽出して、抽出されたエッジに基づいて画像処理を行い、画像処理の処理結果に基づいて、検査対象物の良否判定を行い、良否判定の判定結果を外部へ出力する画像処理センサで実行することが可能な画像処理方法において、前記画像処理センサは、撮像された検査対象物の画像からエッジを抽出するステップと、抽出されたエッジを構成するエッジ画素の特徴量を算出するステップと、抽出されたエッジ角度を画素ごとに算出するステップと、算出されたエッジ角度に基づいて、算出された特徴量を補正するステップとを含むことを特徴とする。

また、第８発明に係る画像処理方法は、第７発明において、前記画像処理センサは、エッジの幅を細線化するステップを含み、細線化されたエッジを構成するエッジ画素の個数を算出することを特徴とする。

また、第９発明に係る画像処理方法は、第７又は第８発明において、前記画像処理センサは、エッジ角度ごとの補正係数を記憶しておき、記憶されているエッジ角度に基づいて特定された補正係数を用いて、算出された特徴量を補正することを特徴とする。

また、第１０発明に係る画像処理方法は、第７又は第８発明において、前記画像処理センサは、エッジ角度に基づいて補正係数を算出する計算式を記憶しておき、記憶されている計算式に基づいて、算出された特徴量を補正することを特徴とする。

また、第１１発明に係る画像処理方法は、第７乃至第１０発明のいずれか１つにおいて、前記画像処理センサは、良否判定の基準となる基準画像の指定を受け付けるステップと、指定を受け付けた基準画像に対して、エッジの抽出領域を設定するステップとを含み、設定されたエッジの抽出領域内の特徴量を算出することを特徴とする。

また、第１２発明に係る画像処理方法は、第７乃至第１１発明のいずれか１つにおいて、前記画像処理センサは、エッジ角度の頻度分布を記憶しておき、エッジ角度の頻度を減少させることを特徴とする。

次に、上記目的を達成するために第１３発明に係るコンピュータプログラムは、検査対象物を撮像する撮像手段と、該撮像手段で撮像された画像を表示する表示手段と、該表示手段で表示された画像からエッジを抽出して、抽出されたエッジに基づいて画像処理を行う画像処理手段と、該画像処理手段の処理結果に基づいて、検査対象物の良否判定を行う良否判定手段と、該良否判定手段の判定結果を外部へ出力する出力手段とを有する画像処理センサで実行することが可能なコンピュータプログラムにおいて、前記画像処理手段を、撮像された検査対象物の画像からエッジを抽出するエッジ抽出手段、抽出されたエッジを構成するエッジ画素の特徴量を算出する特徴量算出手段、抽出されたエッジ角度を画素ごとに算出する角度算出手段、及び算出されたエッジ角度に基づいて、算出された特徴量を補正する特徴量補正手段として機能させることを特徴とする。

第１発明、第７発明及び第１３発明では、検査対象物の画像からエッジを抽出し、抽出されたエッジを構成するエッジ画素の特徴量を算出する。抽出されたエッジ角度を画素ごとに算出し、算出されたエッジ角度に基づいて、算出された特徴量を補正する。補正された特徴量に基づいて検査対象物の良否判定を行うことにより、撮像された検査対象物の傾斜角度が相違している場合であっても、同じ長さのエッジであれば略同一のエッジ点の個数として計数することができ、検査対象物の良否判定を高い精度で行うことが可能となる。

第２発明及び第８発明では、エッジの幅を細線化し、細線化されたエッジを構成するエッジ画素の個数を算出するので、エッジ点の個数の計数誤差がより小さくなり、検査対象物の良否判定をより高い精度で行うことが可能となる。

第３発明及び第９発明では、エッジ角度ごとの補正係数を記憶しておき、記憶されているエッジ角度に基づいて特定された補正係数を用いて、算出された特徴量を補正するので、抽出されたエッジ角度に応じて特徴量を補正することができ、撮像された検査対象物の傾斜角度が相違している場合であっても、同じ長さのエッジであれば略同一のエッジ点の個数として計数することができ、検査対象物の良否判定を高い精度で行うことが可能となる。

第４発明及び第１０発明では、エッジ角度に基づいて補正係数を算出する計算式を記憶し、記憶されている計算式に基づいて、算出された特徴量を補正するので、抽出されたエッジ角度に応じて特徴量を補正することができ、撮像された検査対象物の傾斜角度が相違している場合であっても、同じ長さのエッジであれば略同一のエッジ点の個数として計数することができ、検査対象物の良否判定を高い精度で行うことが可能となる。

第５発明及び第１１発明では、良否判定の基準となる基準画像の指定を受け付け、指定を受け付けた基準画像に対して、エッジの抽出領域を設定する。設定されたエッジの抽出領域内の特徴量を算出するので、抽出領域内にて抽出されたエッジ角度に応じて特徴量を算出することができ、撮像された検査対象物の傾斜角度が相違している場合であっても、同じ長さのエッジであれば略同一のエッジ点の個数として計数できるよう補正することができ、検査対象物の良否判定を高い精度で行うことが可能となる。

第６発明及び第１２発明では、エッジ角度の頻度分布を記憶し、エッジ角度の頻度を減少させるので、抽出されたエッジ角度に応じて特徴量を補正することができ、撮像された検査対象物の傾斜角度が相違している場合であっても、同じ長さのエッジであれば略同一のエッジ点の個数として計数することができ、検査対象物の良否判定を高い精度で行うことが可能となる。

本発明では、補正された特徴量に基づいて検査対象物の良否判定を行うことにより、撮像された検査対象物の傾斜角度が相違している場合であっても、同じ長さのエッジであれば略同一のエッジ点の個数として計数することができ、検査対象物の良否判定を高い精度で行うことが可能となる。

本発明の実施の形態に係る画像処理センサの構成を示す模式図である。 本発明の実施の形態に係る画像処理センサの撮像装置の構成を示す外形図である。 本発明の実施の形態に係る画像処理センサの撮像装置のハードウェア構成を示すブロック図である。 本発明の実施の形態に係る画像処理センサの表示装置の構成を示す正面図である。 本発明の実施の形態に係る画像処理センサの表示装置のモード切り替え画面の例示図である。 特徴量としてエッジ点の個数を計数する場合、従来のエッジ点の個数の計数処理の問題点を示す例示図である。 本発明の実施の形態に係る画像処理センサの機能ブロック図である。 本発明の実施の形態に係る画像処理センサの、各種設定を受け付ける画面の例示図である。 本発明の実施の形態に係る画像処理センサの、エッジ抽出によるエッジ強度画像及びエッジ角度画像の例示図である。 本発明の実施の形態に係る画像処理センサの細線化処理の内容の説明図である。 本発明の実施の形態に係る画像処理センサの、細線化された状態でのエッジ強度画像及びエッジ角度画像の例示図である。 本発明の実施の形態に係る画像処理センサの、細線化された状態でのエッジ点の個数のヒストグラムである。 比較対象となるエッジ画素の例示図である。 本発明の実施の形態に係る画像処理センサのエッジ幅の例示図である。 本発明の実施の形態に係る画像処理センサの補正係数の例示図である。 本発明の実施の形態に係る画像処理センサの、細線化された状態でのエッジ点の個数のヒストグラムである。 比較対象となるエッジ画素の他の例示図である。 細線化処理の違いによるエッジパターンの例示図である。 本発明の実施の形態に係る画像処理センサの細線化処理結果の比較図である。 本発明の実施の形態に係る画像処理センサの細線化処理を行わない場合のエッジ抽出結果の例示図である。 本発明の実施の形態に係る画像処理センサの撮像装置のメイン基板のＤＳＰの、特徴量補正処理の手順を示すフローチャートである。 本発明の実施の形態に係る画像処理センサの良否判定結果の例示図である。

以下、本発明の実施の形態に係る画像処理センサについて、図面を参照して説明する。なお、本実施の形態の説明で参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一又は同様の符号を付して、詳細な説明を省略する。

図１は、本発明の実施の形態に係る画像処理センサの構成を示す模式図である。図１に示すように、本実施の形態に係る画像処理センサは、撮像装置（撮像手段）１と、撮像装置１とデータ通信することが可能に接続ケーブル３で接続されている表示装置（表示手段）２とで構成されている。もちろん、表示装置２の代わりに、ディスプレイを有する外部コンピュータであっても良い。なお、撮像装置１と表示装置２とが一体として構成されていても良い。

撮像装置１は、内部に画像処理を実行するＦＰＧＡ、ＤＳＰ等を備えており、検査対象物を撮像する撮像素子を有するカメラモジュールと、検査対象物に対して光を照射する照明部とを備えている。撮像装置１をコンパクトにするべく、例えば図１に示すように、撮像装置１の正面の中央近傍にレンズ１２を配置し、レンズ１２の周囲を囲むように、照明部として複数のＬＥＤ１１を配置してある。なお、撮像装置１とは別に外部照明（リング照明等）を設けても良い。

図２は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す外形図である。図２（ａ）は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す正面図を、図２（ｂ）は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す平面図を、図２（ｃ）は、本発明の実施の形態に係る画像処理センサの撮像装置１の構成を示す背面図を、それぞれ示している。

図２（ａ）に示すように、撮像装置１はレンズ１２を正面の中央近傍に配置しており、レンズ１２の周囲を囲むように複数のＬＥＤ１１を配置してある。撮像時には、複数のＬＥＤ１１を点灯させることにより、検査対象物に光を照射し、検査対象物を明瞭に撮像することができる。

ここで、光源を内蔵する撮像装置１を用いて外観検査を行う場合、検査対象物からの正反射を防ぐために、撮像装置１を検査対象物の真上ではなく斜め上に配置することがある。検査対象物の斜め上に配置した場合、撮像装置１により撮像された画像は、上方と下方と（又は左方と右方と）で明るさが異なる。

例えば、撮像装置１を、水平に載置された検査対象物の手前上方に配置した場合、検査対象物の手前部分から撮像装置１までの距離よりも、検査対象物の奥部分から撮像装置１までの距離の方が長くなるため、検査対象物を撮像した画像上で上方部分が暗くなり、下方部分が明るくなる。もちろん、撮像装置１を真上に配置した場合であっても、撮像領域の中央付近が明るく、端へ向かうにつれて暗くなる。このように、光源を内蔵する撮像装置１を用いて外観検査を行う場合、検査対象物を撮像した画像上に色ムラが発生することがある。しかし、後述する画像処理方法によれば、このような色ムラが発生した場合であっても、色の抽出範囲を簡易な作業で設定することができる。

図２（ｂ）及び図２（ｃ）に示すように、撮像装置１の背面には、外部の電源から電力の供給を受ける電源ケーブルを接続する電源コネクタ１０２と、表示装置２とデータ通信する接続ケーブル３を接続することが可能な接続コネクタ１０３とを備えている。また、手動でフォーカスを調整することができるフォーカス調整ネジ１０１も背面に備えている。

図３は、本発明の実施の形態に係る画像処理センサの撮像装置１のハードウェア構成を示すブロック図である。図３において、コネクタ基板１６は、電源インタフェース１６１に設けてある電源コネクタ１０２（図２（ｂ）及び図２（ｃ）参照）を介して、外部の電源から電力の供給を受ける。電源基板１８は、供給された電力を各基板に供給する。本実施の形態では、カメラモジュール１４にはメイン基板１３を介して電力を供給している。電源基板１８のモータドライバ１８１は、カメラモジュール１４のモータ１４１に駆動電力を供給し、オートフォーカスを実現している。

通信基板１７は、メイン基板１３から出力された欠陥を検出したか否かで検査対象物の良否を示すＯＫ／ＮＧ信号（判定信号）、画像データ等を表示装置２へ送信する。判定信号を受信した表示装置２は、判定結果を表示する。なお、本実施の形態では、通信基板１７を介してＯＫ／ＮＧ信号（判定信号）を出力する構成にしているが、例えばコネクタ基板１６を介してＯＫ／ＮＧ信号（判定信号）を出力する構成にしても良い。

照明基板１５は、検査対象物を撮像する撮像領域に光を照射する、複数のＬＥＤ１１が設けてあり、図示しないリフレクタはＬＥＤ１１の前方に設けてある。また、レンズ１２は、短距離用又は長距離用のレンズユニットとして交換可能となっている。

カメラモジュール（撮像手段）１４は、モータ１４１が駆動することにより、オートフォーカス動作の制御を行うことができる。メイン基板１３からの撮像指示信号に応じて検査対象物を撮像する。本実施の形態では、撮像素子としてＣＭＯＳ基板１４２を備えており、撮像されたカラー画像は、ＣＭＯＳ基板１４２にてダイナミックレンジを広げる変換特性に基づいてＨＤＲ画像に変換され、メイン基板１３のＦＰＧＡ１３１へ出力される。

メイン基板１３は、接続してある各基板の動作を制御する。例えば照明基板１５に対しては、複数のＬＥＤ１１の点灯／消灯を制御する制御信号を、ＬＥＤドライバ１５１へ送信する。ＬＥＤドライバ１５１は、ＦＰＧＡ１３１からの制御信号に応じて、例えばＬＥＤ１１の点灯／消灯、光量等を調整する。また、カメラモジュール１４のモータ１４１に対しては、電源基板１８のモータドライバ１８１を介してオートフォーカス動作を制御する制御信号を、ＣＭＯＳ基板１４２に対しては、撮像指示信号等を、それぞれ送信する。

なお、メイン基板１３には可搬型ディスクドライブ１９が接続されていても良い。可搬型ディスクドライブ１９を介して、ＤＶＤ−ＲＯＭ等の可搬型記録媒体９０から各種の設定ファイル１００をダウンロードすることもできる。

メイン基板１３のＦＰＧＡ１３１は、照明制御、撮像制御をするとともに、取得した画像データに対する画像処理を実行する（画像処理手段）。また、メイン基板１３のＤＳＰ１３２は、画像データについて、エッジ検出処理、パターン検索処理等を実行する。パターン検索処理の結果として、欠陥を検出したか否かで検査対象物の良否を示すＯＫ／ＮＧ信号（判定信号）を通信基板１７へ出力する（良否判定手段、出力手段）。演算処理結果等はメモリ１３３に記憶される。なお、本実施の形態では、ＦＰＧＡ１３１が照明制御、撮像制御等を実行するが、ＤＳＰ１３２が実行しても良い。また、ＦＰＧＡ１３１とＤＳＰ１３２とが一体となった回路、すなわち主制御回路（主制御部）を設けても良い。要するに、複数のＬＥＤ１１の点灯／消灯を制御する制御信号をＬＥＤドライバ１５１へ送信したり、オートフォーカス動作を制御する制御信号をカメラモジュール１４のモータ１４１へ送信したり、撮像指示信号等をＣＭＯＳ基板１４２へ送信したり、ＦＰＧＡ１３１及びＤＳＰ１３２の双方の機能を有する主制御部を設けても良い。

図４は、本発明の実施の形態に係る画像処理センサの表示装置（表示手段）２の構成を示す正面図である。図４に示すように、表示装置２の前面の中央部分にはタッチパネル２１が設けてあり、撮像した検査対象物のカラー画像を画面に表示するとともに、ユーザによる選択入力を受け付ける。

また、表示装置２は、外部の電源から電力が供給される電源ケーブルを接続する電源コネクタ２４と、撮像装置１とデータ通信する接続ケーブル３を接続することが可能な接続コネクタ２５とを備えている。さらにＵＳＢメモリ等と接続することが可能なＵＳＢポート２２を前面に設けてある。

ユーザは、表示装置２のタッチパネル２１の画面に表示されているボタンを選択することにより、画像処理センサの動作を制御する。そして、検査対象物の検査を実行する「検査モード」と、画像処理センサの条件設定を行う「設定モード」との切り替えを行うこともできる。言い換えると、本実施の形態に係る画像処理センサは、検査対象物の良否を判定する検査モード（Ｒｕｎモード）と、検査に用いる各種パラメータ（撮像パラメータ、照明パラメータ、画像処理パラメータ等）の設定を行う設定モード（非Ｒｕｎモード）とを切り替えるためのモード切替部を有している。図５は、本発明の実施の形態に係る画像処理センサの表示装置２のモード切り替え画面の例示図である。

図５（ａ）は、「検査モード」の画面表示の例示図である。図５（ａ）に示すように、検査対象物表示領域５１に、撮像装置１が撮像した検査対象物の画像を表示する。左下の「センサ設定」ボタン５２がモード切替部として機能し、「センサ設定」ボタン５２が選択された場合、「設定モード」へと切り替わり、図５（ｂ）に示す画面へと画面遷移する。

図５（ｂ）は、「設定モード」の画面表示の例示図である。図５（ｂ）に示すように、プログラム選択領域５３にて、検査対象物の種類又は検査環境を選択する。ここで、「プログラム」とは、検査対象物の種類又は検査環境に応じて設定された一連のデータ群（パラメータ値の組み合わせ）を意味しており、検査対象物の種類又は検査環境ごとに異なるデータ群をプログラムとして記憶することができる。

また、検査対象物と比較する基準となるマスタ画像（基準画像）が記憶されている場合、マスタ画像表示領域５４にマスタ画像が表示される。「設定ナビ」ボタン５５が選択された場合、詳細な設定を行う設定画面に画面遷移する。左下の「運転開始」ボタン５６はモード切替部として機能し、「運転開始」ボタン５６が選択された場合、「検査モード」へと切り替わり、図５（ａ）に示す画面へと画面遷移する。

図６は、特徴量としてエッジ点の個数を計数する場合、従来のエッジ点の個数の計数処理の問題点を示す例示図である。図６（ａ）に示すような直角二等辺三角形のエッジが抽出された場合、互いに直交する辺６１、６２の方向が、それぞれ画面上に配列されている画素の縦方向、横方向と一致している。したがって、辺６１、６２については、縦方向、横方向の画素数がエッジ点の個数として計数される。

それに対して斜めの辺６３は、画面上に配列されている画素の縦方向、横方向とは異なる方向であるので、線幅の平均値が１画素以上となり、エッジ点の個数が余分に計数される。図６（ａ）の例では、エッジ点の個数は、辺６１について２２点、辺６２について２１点、辺６３について３９点として、それぞれ計数されており、エッジ点の個数の総計は８２点として計数されている。

一方、全く同一の直角二等辺三角形の傾斜角度を変更した場合を図６（ｂ）に示している。図６（ｂ）では、辺６３の方向が、画面上に配列されている画素の横方向と一致している。したがって、辺６３については、横方向の画素数がエッジ点の個数として計数される。

それに対して他の二辺６１、６２は、画面上に配列されている画素の縦方向、横方向とは異なる方向であるので、線幅の平均値が１画素以上となり、エッジ点の個数が余分に計数される。図６（ｂ）の例では、エッジ点の個数は、辺６１について２９点、辺６２について２９点、辺６３について３１点として、それぞれ計数されており、総計８９点として計数されている。

このように、全く同一の形状を有するエッジが抽出された場合であっても、抽出されたエッジ角度によって計数されるエッジ点の個数が相違しており、エッジ点の個数の大小により検査対象物の良否判定を行っている場合には、しきい値次第では良品を不良品であると誤判定するおそれがあるという問題点が生じていた。

そこで、本発明の実施の形態に係る画像処理センサでは、抽出されたエッジ角度を検出して、エッジ角度に応じて計数されたエッジ点の個数を補正することにより、エッジ角度によらず高い精度で良否判定を行うことができるよう工夫した。

図７は、本発明の実施の形態に係る画像処理センサの機能ブロック図である。図７において、カラー画像取得部７０１は、カメラモジュール（撮像手段）１４のＣＭＯＳ基板１４２で撮像されたカラー画像の画素値（色成分値）を取得する。また、撮像された画像は表示装置２に表示される。

指定受付部７０２は、良否判定の基準となる基準画像の指定を受け付ける。もちろん、事前に基準画像を記憶しておいても良い。抽出領域設定部７０３は、指定を受け付けた基準画像に対して、エッジの抽出領域を設定する。

図８は、本発明の実施の形態に係る画像処理センサの、各種設定を受け付ける画面の例示図である。設定モードにおいて、図８（ａ）に示す設定画面には、撮像された検査対象物の画像が表示されている。良否判定のための演算ツールを追加する「ツール追加」ボタン８１の選択を受け付けた場合、図８（ｂ）のツール選択画面へと遷移する。

図８（ｂ）に示すツール選択画面では、例えばエッジ点の個数を計数するツールである「エッジピクセル」ボタン８２の選択を受け付ける。「エッジピクセル」ボタン８２の選択を受け付けた場合、エッジ点の個数を計数するのに必要となる情報の設定を行う図８（ｃ）の設定画面へと遷移する。

図８（ｃ）は、「エッジピクセル」ボタン８２の選択受付時の設定画面の例示図である。ここでは、「ウインドウ編集」ボタン８３、「エッジ感度調整」ボタン８４、「しきい値調整」ボタン８５が準備されている。

「ウインドウ編集」ボタン８３の選択を受け付けた場合、図８（ｄ）に示す設定画面へと遷移し、抽出領域８６の設定を受け付ける。これにより、検査対象物の画像を確実に含む領域をエッジの抽出領域として設定することができる。

「エッジ感度調整」ボタン８４の選択を受け付けた場合、図８（ｅ）、（ｆ）に示す設定画面へと遷移し、「感度設定」ボタン８７により、エッジの検出感度を設定することができる。図８（ｅ）に示すように「標準」の選択を受け付けた場合には感度を標準に設定し、図８（ｆ）に示すように「高感度」の選択を受け付けた場合には感度を高感度に設定する。

「しきい値調整」ボタン８５の選択を受け付けた場合、図８（ｇ）に示す設定画面へと遷移し、良品であると判定するエッジ点の個数の下限値と上限値とを設定することができる。例えば下限値設定領域８８に下限値を、上限値設定領域８９に上限値を、それぞれ設定することにより、良品であると判定するエッジ点の個数の範囲を設定することができる。図８（ｇ）の例では、例えば基準画像におけるエッジ点の個数を１００％とした場合、計数したエッジ点の個数が基準画像におけるエッジ点の個数の９０％（下限値）以上１１０％（上限値）以下である場合には良品であると判定するよう設定している。

図７に戻って、エッジ抽出部７０４は、撮像された検査対象物の画像からエッジを抽出する。エッジの抽出領域が設定されている場合には、設定されたエッジの抽出領域内においてエッジを抽出する。

特徴量算出部７０５は、抽出されたエッジを構成するエッジ画素の特徴量を算出する。本実施の形態では、特徴量としてエッジを構成するエッジ点の個数（エッジ画素数）を計数する。

角度算出部７０６は、抽出されたエッジのエッジ角度を画素ごとに算出する。エッジ角度は、画面上に配列されている画素の縦方向を０度として、配列されている画素の縦方向からの傾きとして算出する。

図９は、本発明の実施の形態に係る画像処理センサの、エッジ抽出によるエッジ強度画像及びエッジ角度画像の例示図である。図９（ａ）に示す検査対象物の画像に対してエッジの抽出を行い、図９（ｂ）に示すエッジ強度画像及び図９（ｃ）に示すエッジ角度画像を生成する。

図９（ｂ）に示すエッジ強度画像では、濃淡又は色によりエッジ強度の強弱を画素ごとに表示している。図９（ｃ）に示すエッジ角度画像では、矢印によりエッジ角度を画素ごとに表示している。エッジ角度は、エッジの延伸方向に直交する方向である。

なお、本実施の形態では、特徴量がエッジ点の個数であるので、図７に示すエッジの幅を細線化する細線化部７０７を設けて、抽出されたエッジを構成するエッジ画素の特徴量及びエッジ角度をより高い精度で算出することができるようにしている。例えば本実施の形態では特徴量がエッジ点の個数であるので、エッジの幅が狭いほど細線化されたエッジを構成するエッジ画素の個数（エッジ点の個数）の計数誤差が少なくなる。もちろん、特徴量が他の特徴量、例えばエッジ角度ごとの強度和である場合等には、細線化部７０７は必要ないことは言うまでもない。

図１０は、本発明の実施の形態に係る画像処理センサの細線化処理の内容の説明図である。図１０（ａ）は、図９に示す検査対象物について、枠９１内のエッジ強度を数値化して示している。エッジ強度が‘０’である部分は、エッジが存在していない領域であることを示している。

図９（ｃ）を見ればわかるように、枠９１内のエッジについてはエッジ角度が１８０度（下向き）であることから、上下方向のエッジ強度と比較してエッジ強度が最大である画素のみを残していく。例えば画素９２については、エッジ強度が‘１８０’であり、上下の画素のエッジ強度が、それぞれ‘５２’、‘７６’であるので、画素９２は残す。一方、画素９３については、エッジ強度が‘７９’であり、上下の画素のエッジ強度が、それぞれ‘１８０’、‘０’であることから、画素９３は削除する。

上述した処理を、エッジ角度に応じて画素ごとに行った結果を図１０（ｂ）に示している。これにより、エッジ角度方向に最大のエッジ強度を有する画素のみで構成され、エッジの幅が細線化された細線を生成することができる。

図１１は、本発明の実施の形態に係る画像処理センサの、細線化された状態でのエッジ強度画像及びエッジ角度画像の例示図である。図１１（ａ）、（ｂ）は、図９に示す検査対象物について、図１０に示す細線化処理を行った後の、エッジ強度画像及びエッジ角度画像をそれぞれ示している。

図９と比較しても明らかなように、画面上に配列されている画素の縦方向、横方向に対して傾斜している斜めの辺についても、余分な画素が排除されていることがわかる。図１２は、本発明の実施の形態に係る画像処理センサの、細線化された状態でのエッジ点の個数のヒストグラムである。図１２に示すように、エッジ角度が０度、９０度、２２５度において、エッジ点の個数が累積されている。

なお、説明を簡単にするために、上下方向のエッジ強度と比較して細線化する場合について説明しているが、エッジ角度に基づいて隣接する画素のエッジ強度と比較して細線化処理を行えば良い。図１３は、比較対象となるエッジ画素の例示図である。

エッジ角度が上下方向である場合、図１３（ａ）の○印で示すように対象画素１３０１の上下に隣接する画素のエッジ強度と比較してエッジの幅の細線化処理を行う。同様に、エッジ角度が左右方向である場合、図１３（ｃ）の○印で示すように対象画素１３０１の左右に隣接する画素のエッジ強度と比較してエッジの幅の細線化処理を行う。また、エッジ角度が傾斜している場合、エッジ角度に応じて図１３（ｂ）又は（ｄ）のいずれかを選択して、対象画素１３０１の周辺に位置する画素のエッジ強度と比較してエッジの幅の細線化処理を行う。

図７に戻って、特徴量補正部７０８は、算出されたエッジ角度に基づいて、算出された特徴量を補正する。具体的には、エッジ角度ごとの補正係数を記憶装置に記憶しておき、特徴量補正部７０８は、記憶されている補正係数をエッジ角度に基づいて読み出し、算出された特徴量を補正する。本実施の形態では、エッジ角度ごとに、特徴量であるエッジ点の個数を補正する補正係数を記憶している。図１４は、本発明の実施の形態に係る画像処理センサのエッジ幅の例示図である。図１４では、図６（ａ）に示す検査対象物について、エッジ角度とエッジ幅との関係を示している。

図１４（ａ）は、検査対象物の画像から抽出された３つの辺（エッジ）６１、６２、６３を示している。図１４（ａ）からも分かるように、エッジ角度が４５度である斜めの辺６３については、エッジ幅が√２と大きくなる。これは図１４（ｂ）に示すように、エッジ角度が存在する場合には、エッジ角度をθとしてエッジ幅が（ｓｉｎθ＋ｃｏｓθ）となる。

したがって、エッジ幅を画面上に配列されている画素の縦方向あるいは横方向と同一となるように補正するには、エッジ幅が大きくなった割合の逆数を乗算すれば良い。図１５は、本発明の実施の形態に係る画像処理センサの補正係数の例示図である。図１５では、図６（ａ）に示す検査対象物について、エッジ角度と補正係数との関係を示している。

図１５では、エッジ角度ごとの補正係数を示しており、図１４（ｂ）に示すエッジ幅の逆数として求めている。したがって、エッジ角度が存在する場合には、エッジ角度をθとして補正係数は１／（ｓｉｎθ＋ｃｏｓθ）となる。これにより、エッジ角度が０度、９０度以外の角度についてはエッジ点の個数が減少する。

図１６は、本発明の実施の形態に係る画像処理センサの、細線化された状態でのエッジ点の個数のヒストグラムである。図１６では、図１２に示すヒストグラムから、エッジ角度が２２５度について、累積されるエッジ点の個数が減少している。

つまり、エッジ点の個数を計数した時点で、エッジ角度の頻度分布としてヒストグラムを記憶装置に記憶しておき、特徴量補正部７０８は、エッジ角度が０度、９０度以外のエッジ角度について、エッジ角度の頻度（エッジ点の個数）を減少させる。これにより、検査対象物の画像が傾斜角度を有している場合であっても、抽出されたエッジのエッジ点の個数が増加することがない。

例えば図６（ａ）に示すような直角二等辺三角形のエッジが抽出された場合、エッジ点の個数は、辺６１について２２点、辺６２について２１点、辺６３について３９点として、それぞれ計数されており、エッジ点の個数の総計は８２点として計数されていた。それに対して、今回の補正係数を乗算することで、辺６１について２２点、辺６２について２１点であるのに対して、辺６３については（３９／√２）＝２８点として計数される。したがって、エッジ点の個数の総計は７１点として計数される。

一方、全く同一の直角二等辺三角形の傾斜角度を変更した図６（ｂ）の場合、エッジ点の個数は、辺６１について２９点、辺６２について２９点、辺６３について３１点として、それぞれ計数されており、総計８９点として計数されていた。それに対して、今回の補正係数を乗算することで、辺６１については（２９／√２）＝２０．５点、辺６２についても（２９／√２）＝２０．５点であるのに対して、辺６３については３１点として計数される。したがって、エッジ点の個数の総計は７２点として計数されるので、傾斜角度が変更された場合であってもエッジ点の個数に大きなばらつきが生じていないことが分かる。したがって、良否判定の安定性が高く、識別性能の向上を図ることができる。

なお、エッジ角度ごとの補正係数を記憶装置に記憶しておくことに限定されるものではなく、計算式として記憶装置に記憶しておいても良い。この場合、特徴量補正部７０８は、記憶されている補正係数の計算式をエッジ角度に基づいて読み出し、算出された特徴量を補正する。例えばエッジ角度をθとして、計算式（補正係数＝１／（ｓｉｎθ＋ｃｏｓθ））を記憶しておけば良い。

もちろん、細線化処理は、上述した処理に限定されるものではない。図１７は、比較対象となるエッジ画素の他の例示図である。

図１７に示すように、エッジ角度に応じて、図１７（ａ）の○印で示すように対象画素１３０１の上下に隣接する画素のエッジ強度と比較してエッジの幅の細線化処理を行うか、あるいは図１７（ｂ）の○印で示すように対象画素１３０１の左右に隣接する画素のエッジ強度と比較してエッジの幅の細線化処理を行う。これにより、図１３に示すパターンで細線化処理を行った場合よりも、よりエッジの幅を細線化することができる。

図１８は、細線化処理の違いによるエッジパターンの例示図である。図１８に示すように、図１３に示すパターンで細線化処理を行った場合、ハッチング画素１８０１が残留した状態で細線化処理される。それに対して、図１７に示すパターンで細線化処理を行った場合、ハッチング画素１８０１は確実に消去され、図１３に示すパターンでエッジの幅の細線化処理を行った場合よりも細くなるようエッジの幅の細線化処理を行うことが可能となる。

図１９は、本発明の実施の形態に係る画像処理センサの細線化処理結果の比較図である。図１９（ａ）は、図１３に示すパターンでエッジの幅の細線化処理を行った場合の処理結果を、図１９（ｂ）は、図１７に示すパターンでエッジの幅の細線化処理を行った場合の処理結果を、それぞれ示している。図１９（ｂ）の方が、斜めの辺を示す画素がより細かく表示されていることがわかる。

なお、特徴量がエッジ点の個数である場合には細線化することは必要ですが、他の特徴量である場合には必ずしも必要ではない。例えば特徴量がエッジ強度和である場合、エッジ角度ごとのエッジ強度和のヒストグラムを生成すれば良い。

図２０は、本発明の実施の形態に係る画像処理センサの細線化処理を行わない場合のエッジ抽出結果の例示図である。図２０（ａ）は、エッジ強度を、図２０（ｂ）は、エッジ角度を、それぞれ示している。

細線化処理を行っていないので、図２０（ｃ）に示すように、ヒストグラムにおいてエッジ強度和が分布するエッジ角度に幅が生じる。これは、エッジ角度に応じてエッジ強度に差がでやすいからである。

図２１は、本発明の実施の形態に係る画像処理センサの撮像装置１のメイン基板１３のＤＳＰ１３２の、特徴量補正処理の手順を示すフローチャートである。本実施の形態では、エッジ点の個数の補正処理の手順を示している。

図２１において、撮像装置１のメイン基板１３のＤＳＰ１３２は、図７における、カラー画像取得部７０１と同様、撮像されたカラー画像の画素値（色成分値）を取得し（ステップＳ２１０１）、撮像された画像を表示装置２に表示する（ステップＳ２１０２）。

ＤＳＰ１３２は、良否判定の基準となる基準画像の指定を受け付ける（ステップＳ２１０３）。もちろん、事前に記憶してある基準画像を読み出しても良い。ＤＳＰ１３２は、指定を受け付けた基準画像に対して、エッジの抽出領域の設定を受け付ける（ステップＳ２１０４）。

ＤＳＰ１３２は、撮像された検査対象物の画像からエッジを抽出する（ステップＳ２１０５）。エッジの抽出領域が設定されている場合には、設定されたエッジの抽出領域内においてエッジを抽出する。

ＤＳＰ１３２は、抽出されたエッジを構成するエッジ画素の特徴量を算出し（ステップＳ２１０６）、抽出されたエッジの画素ごとのエッジ角度を算出する（ステップＳ２１０７）。エッジ角度は、画面上に配列されている画素の縦方向を０度として、配列されている画素の縦方向からの傾きとして算出する。

ＤＳＰ１３２は、抽出されたエッジの幅を細線化し（ステップＳ２１０８）、算出されたエッジ角度に基づいて、算出された特徴量を補正する（ステップＳ２１０９）。具体的には、エッジ角度ごとの補正係数を記憶装置に記憶しておき、ＤＳＰ１３２は、記憶されている補正係数をエッジ角度に基づいて読み出し、算出された特徴量を補正する。

図２２は、本発明の実施の形態に係る画像処理センサの良否判定結果の例示図である。図２２（ａ）と図２２（ｂ）とでは、同一の検査対象物に対して撮像されている角度が相違している。

従来の方法であれば、エッジ点の個数に差が生じるため、しきい値の設定によってはいずれかが「不良品（ＮＧ）」であると判定されるおそれがあった。しかし、本実施の形態によれば、計数されるエッジ点の個数が補正されることで、検査対象物が撮像される角度の相違によるエッジ点の個数の変動を抑制することができる。したがって、いずれも「良品（ＯＫ）」であると判定されている。

以上のように本実施の形態によれば、補正された特徴量に基づいて検査対象物の良否判定を行うことにより、撮像された検査対象物の傾斜角度が相違している場合であっても、同じ長さのエッジであれば略同一のエッジ点の個数として計数することができ、検査対象物の良否判定を高い精度で行うことが可能となる。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば撮像装置１と表示装置２とは、接続ケーブル３で直結されている形態に限定されるものではなく、ＬＡＮ、ＷＡＮ等のネットワーク網を介して接続されていても良いことは言うまでもない。また、本実施の形態では撮像装置１と表示装置２とは別体となっているが、両者が一体として構成された画像処理センサであっても良い。

また、細線化処理についても、上述した実施例に記載された方法に限定されるものではなく、周知の方法であれば何でも良い。例えば、角度によりエッジ幅が大きくなるか否か、補正係数が上述した式で表されるか否か等は、どのような細線化の手法を採用するかに依存する。

１ 撮像装置（撮像手段）
２ 表示装置（表示手段）
３ 接続ケーブル
１３ メイン基板
１４ カメラモジュール
１５ 照明基板
２１ タッチパネル
１３２ ＤＳＰ
７０１ カラー画像取得部
７０２ 指定受付部
７０３ 抽出領域設定部
７０４ エッジ抽出部
７０５ 特徴量算出部
７０６ 角度算出部
７０７ 細線化部
７０８ 特徴量補正部

Claims (13)

1. 検査対象物を撮像する撮像手段と、
   該撮像手段で撮像された画像を表示する表示手段と、
   該表示手段で表示された画像からエッジを抽出して、抽出されたエッジに基づいて画像処理を行う画像処理手段と、
   該画像処理手段の処理結果に基づいて、検査対象物の良否判定を行う良否判定手段と、
   該良否判定手段の判定結果を外部へ出力する出力手段と
   を有する画像処理センサにおいて、
   前記画像処理手段は、
   撮像された検査対象物の画像からエッジを抽出するエッジ抽出手段と、
   抽出されたエッジを構成するエッジ画素の特徴量を算出する特徴量算出手段と、
   抽出されたエッジ角度を画素ごとに算出する角度算出手段と、
   算出されたエッジ角度に基づいて、算出された特徴量を補正する特徴量補正手段と
   を備えることを特徴とする画像処理センサ。
2. エッジの幅を細線化する細線化手段を備え、
   前記特徴量算出手段は、細線化されたエッジを構成するエッジ画素の個数を算出することを特徴とする請求項１に記載の画像処理センサ。
3. エッジ角度ごとの補正係数を記憶しておき、
   前記特徴量補正手段は、記憶されているエッジ角度に基づいて特定された補正係数を用いて、算出された特徴量を補正することを特徴とする請求項１又は２に記載の画像処理センサ。
4. エッジ角度に基づいて補正係数を算出する計算式を記憶しておき、
   前記特徴量補正手段は、記憶されている計算式に基づいて、算出された特徴量を補正することを特徴とする請求項１又は２に記載の画像処理センサ。
5. 良否判定の基準となる基準画像の指定を受け付ける指定受付手段と、
   指定を受け付けた基準画像に対して、エッジの抽出領域を設定する抽出領域設定手段と
   を備え、
   前記画像処理手段は、設定されたエッジの抽出領域内の特徴量を算出することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理センサ。
6. エッジ角度の頻度分布を記憶しておき、
   前記特徴量補正手段は、エッジ角度の頻度を減少させることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理センサ。
7. 検査対象物を撮像する撮像手段と、
   該撮像手段で撮像された画像を表示する表示手段と
   を備え、
   該表示手段で表示された画像からエッジを抽出して、抽出されたエッジに基づいて画像処理を行い、
   画像処理の処理結果に基づいて、検査対象物の良否判定を行い、
   良否判定の判定結果を外部へ出力する画像処理センサで実行することが可能な画像処理方法において、
   前記画像処理センサは、
   撮像された検査対象物の画像からエッジを抽出するステップと、
   抽出されたエッジを構成するエッジ画素の特徴量を算出するステップと、
   抽出されたエッジ角度を画素ごとに算出するステップと、
   算出されたエッジ角度に基づいて、算出された特徴量を補正するステップと
   を含むことを特徴とする画像処理方法。
8. 前記画像処理センサは、
   エッジの幅を細線化するステップを含み、
   細線化されたエッジを構成するエッジ画素の個数を算出することを特徴とする請求項７に記載の画像処理方法。
9. 前記画像処理センサは、
   エッジ角度ごとの補正係数を記憶しておき、
   記憶されているエッジ角度に基づいて特定された補正係数を用いて、算出された特徴量を補正することを特徴とする請求項７又は８に記載の画像処理方法。
10. 前記画像処理センサは、
    エッジ角度に基づいて補正係数を算出する計算式を記憶しておき、
    記憶されている計算式に基づいて、算出された特徴量を補正することを特徴とする請求項７又は８に記載の画像処理方法。
11. 前記画像処理センサは、
    良否判定の基準となる基準画像の指定を受け付けるステップと、
    指定を受け付けた基準画像に対して、エッジの抽出領域を設定するステップと
    を含み、
    設定されたエッジの抽出領域内の特徴量を算出することを特徴とする請求項７乃至１０のいずれか一項に記載の画像処理方法。
12. 前記画像処理センサは、
    エッジ角度の頻度分布を記憶しておき、
    エッジ角度の頻度を減少させることを特徴とする請求項７乃至１１のいずれか一項に記載の画像処理方法。
13. 検査対象物を撮像する撮像手段と、
    該撮像手段で撮像された画像を表示する表示手段と、
    該表示手段で表示された画像からエッジを抽出して、抽出されたエッジに基づいて画像処理を行う画像処理手段と、
    該画像処理手段の処理結果に基づいて、検査対象物の良否判定を行う良否判定手段と、
    該良否判定手段の判定結果を外部へ出力する出力手段と
    を有する画像処理センサで実行することが可能なコンピュータプログラムにおいて、
    前記画像処理手段を、
    撮像された検査対象物の画像からエッジを抽出するエッジ抽出手段、
    抽出されたエッジを構成するエッジ画素の特徴量を算出する特徴量算出手段、
    抽出されたエッジ角度を画素ごとに算出する角度算出手段、及び
    算出されたエッジ角度に基づいて、算出された特徴量を補正する特徴量補正手段
    として機能させることを特徴とするコンピュータプログラム。