JP3604587B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP3604587B2 JP3604587B2 JP14515599A JP14515599A JP3604587B2 JP 3604587 B2 JP3604587 B2 JP 3604587B2 JP 14515599 A JP14515599 A JP 14515599A JP 14515599 A JP14515599 A JP 14515599A JP 3604587 B2 JP3604587 B2 JP 3604587B2
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- area
- search area
- image
- detection area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、欠陥検査用の画像処理装置、特に生産ライン検査システムに装備されて生産される半製品または製品の欠陥（例えばラベルの位置ずれなど）を検出するための画像処理装置にかかわり、詳しくはサーチ領域の初期設定が適正か否かを、その初期設定時においてあらかじめチェックできるようにするための技術に関する。
【０００２】
【従来の技術】
図３は、後述する実施の形態でも用いられるものであって、計測対象物をＣＣＤカメラで撮像してフレームメモリに一時的に格納した取り込み画像データを視覚的に表したものである。ここでは、計測対象物を容器とし、検査対象を容器に貼り付けられたラベル（ラベルの二次元的な位置）であるとする。符号の１００は取り込み画像データ全領域、５０は容器画像、５１は容器本体画像、６０はキャップ画像、７０はラベル画像、８０は背景画像である。ここで、例えばキャップ画像６０というのはキャップの画像データのことであり、ラベル画像７０というのはラベルの画像データのことである。
【０００３】
ラベル画像７０に位置ずれが生じていないかどうかの判定は次のように行う。まず、初期設定において、基準の位置を定めておく必要がある。それを例えばキャップ画像６０の例えば左上角部とし、そこに位置決め用基準画像検出領域Ｄ１を設定するとともに、その位置決め用基準画像検出領域Ｄ１の周囲に、Ｄ１がはみ出さないと想定される程度に大きな基準サーチ領域Ｄ２を設定する。そして、ラベル画像７０の検出ポイントを例えば右下角部として、そこに計測対象基準画像検出領域Ｄ３を設定するとともに、その計測対象基準画像検出領域Ｄ３の周囲に、Ｄ３がはみ出さないと想定される程度に大きな計測サーチ領域Ｄ４を設定する。即ち、基準サーチ領域Ｄ２は、ＣＣＤカメラによる取り込み画像データ全領域１００の内部において、キャップ画像６０の左上角部が存在すると想定される位置に設定し、計測サーチ領域Ｄ４は容器本体画像５１と背景画像８０との境界８１を含むと想定される位置に設定する。
【０００４】
一方、検査対象の良否判定時（計測実行時）には、ＣＣＤカメラによる取り込み画像データ全領域１００において、基準サーチ領域Ｄ２を高速サーチしてキャップ画像６０らしきものを見いだし、メモリから読み出したキャップ画像左上角部に相当するテンプレート画像データと画素比較することのパターンマッチングに基づいて、位置決め用基準画像検出領域Ｄ１を抽出し、キャップ画像６０の左上角部である基準位置座標Ｐ（Ｘ0 ，Ｙ0 ）を検出する。
【０００５】
次に、上記初期設定に基づいて、計測サーチ領域Ｄ４を画像データ上に設定する。これは、例えば次のようにしても行える。メモリにあらかじめ登録されている基準サーチ領域Ｄ２と計測サーチ領域Ｄ４との差分に相当する水平方向の変位量ΔＸと垂直方向の変位量ΔＹとを演算によって算出し、基準位置座標Ｐ（Ｘ0 ，Ｙ0 ）から変位量ΔＸ，ΔＹの変位を行った座標を計測対象位置座標Ｑ（Ｘ1 ，Ｙ1 ）とし、この計測対象位置座標Ｑ（Ｘ1 ，Ｙ1）に基づいて計測サーチ領域Ｄ４を設定するのである。ここで、
Ｘ1 ＝Ｘ0 ＋ΔＸ ……………………………………………（１）
Ｙ1 ＝Ｙ0 ＋ΔＹ ……………………………………………（２）
である。
【０００６】
そして、計測サーチ領域Ｄ４において高速サーチを行い、容器本体画像５１と背景画像８０との境界８１を含んでいることを確認した上で、ラベル画像７０らしきものを見いだし、メモリから読み出したラベル画像右下角部に相当するテンプレート画像データと画素比較することによるパターンマッチングに基づいて、計測対象基準画像検出領域Ｄ３を抽出し、その計測対象基準画像検出領域Ｄ３と、抽出された位置決め用基準画像検出領域Ｄ１との相対位置関係から、欠陥の有無を判定したり、その計測対象基準画像検出領域Ｄ３での両者の画像データの一致度を算出し、その一致度が所定のしきい値以上となっているか否かを判断し、しきい値以上となっているときは欠陥無し、すなわち位置ずれ無しと判定し、しきい値未満のときは欠陥有りすなわち位置ずれ有りと判定したりする。
欠陥無しとは、実際の容器においてそれに貼り付けられているラベルの貼り付け位置が正常ないし許容範囲内であるということである。なお、欠陥有りの場合はラベルが貼り付けられていない場合も表すものとし、これは一致度が所定値以下のときに、そのように判定する。
【０００７】
ところで、さまざまの要因で位置決め用基準画像検出領域Ｄ１の位置ずれが生じる。例えば、ＣＣＤカメラの向きが振動等で変化することがあり、そうなるとＣＣＤカメラの視野が変化し、同じシャッタタイミング（トリガタイミング）で撮像しても、取り込み画像データ全領域１００の内部での前記の４つの領域Ｄ１〜Ｄ４に位置ずれが生じる。昨日のＣＣＤカメラの設定位置や視野方向などが、今日には変化している可能性もある。場合によっては、時間経過とともに変動しているかもしれない。
【０００８】
それを図４を用いて説明する。図４は、後述する実施の形態でも用いられるものであって、位置決め用基準画像検出領域が、検査対象の良否判定時に、図３の場合のＤ１からＤ１ａへ位置ずれしたものを示している。なお、図３の場合の様子は二点鎖線で図示している。つまり、取り込み画像データ全領域１００の内部において、容器画像５０、容器本体画像５１、キャップ画像６０およびラベル画像７０のすべてが、水平方向にΔＣＸ、垂直方向にΔＣＹの位置ずれを生じたとする。これに伴って、計測対象基準画像検出領域はＤ３からＤ３ａへ位置ずれする。なお、初期設定に基づいて設定されている基準サーチ領域Ｄ２や計測サーチ領域Ｄ４は変わらない。
【０００９】
容器画像５０等が取り込み画像データ全領域１００において位置ずれを生じた場合に、基準サーチ領域Ｄ２でサーチした結果として得た位置決め用基準画像検出領域Ｄ１ａの座標をＰａ（Ｘ0a，Ｙ0a）とすると、水平方向および垂直方向の位置ずれ量ΔＣＸ，ΔＣＹは、それぞれ、
ΔＣＸ＝Ｘ0a−Ｘ0 ………………………………………（３）
ΔＣＹ＝Ｙ0a−Ｙ0 ………………………………………（４）
である。そして、位置ずれ後の位置決め用基準画像検出領域Ｄ１ａを基にした位置ずれ後の計測対象基準画像検出領域Ｄ３ａの計測対象位置座標を、計測対象位置座標Ｑａ（Ｘ1a，Ｙ1a）とすると、
Ｘ1a＝Ｘ0 ＋ΔＸ＋ΔＣＸ ………………………………（５）
Ｙ1a＝Ｙ0 ＋ΔＹ＋ΔＣＹ ………………………………（６）
となる。なお、これら式（５），（６）は式（１），（２）より、それぞれ、
Ｘ1a＝Ｘ1 ＋ΔＣＸ ………………………………………（７）
Ｙ1a＝Ｙ1 ＋ΔＣＹ ………………………………………（８）
と等価であり、元の計測対象基準画像検出領域Ｄ３の座標Ｑ（Ｘ1 ，Ｙ1 ）を位置ずれ量ΔＣＸ，ΔＣＹだけ補正したことに相当している。
【００１０】
こうして、パターンマッチングによって、計測サーチ領域Ｄ４でのサーチを行い、計測対象基準画像検出領域Ｄ３ａでの画像データとテンプレート画像データとの画素比較による一致度が、しきい値よりも大きいか否か等を、判定する。
【００１１】
欠陥有りすなわち位置ずれ有りと判定したときは、一般的には警報または警告を発することが行われる。そのとき直ちに生産ラインを停止するか、それともある程度時間をおいて様子を見てから停止するかする。
【００１２】
【発明が解決しようとする課題】
上記した従来の技術には次のような問題点がある。位置決め用基準画像検出領域Ｄ１の周囲の基準サーチ領域Ｄ２の設定と、計測対象基準画像検出領域Ｄ３の周囲の計測サーチ領域Ｄ４の設定とが互いに独立していて、計測サーチ領域Ｄ４を基準サーチ領域Ｄ２とは全く無関係に設定するようになっていた。
そのため、別技術では、位置決め用基準画像検出領域Ｄ１が位置ずれしたときに、その位置ずれに応答して、計測サーチ領域Ｄ４を位置ずれ補正するようにしているが、そのため、その位置ずれ補正後の計測サーチ領域Ｄ４が、ＣＣＤカメラの撮像による取り込み画像データ全領域１００からはみ出してしまうように、最大位置ずれ量ΔＣＸmax または／およびΔＣＹmax を超えるような位置ずれ補正が生じる設定となってしまうことがあり、そうなっていても、そのことには気付くことがなく、そのような計測サーチ領域Ｄ４の設定をかまうことなく任意に設定していた。
その結果として、実際の計測実行において、位置ずれ補正についての許容限界を超える位置ずれ補正が発生するまで、すでに設定されている計測条件の良否を、判定することができなかった。
また、位置決め用基準画像検出領域Ｄ１側の基準サーチ領域Ｄ２の設定についても任意に補正可能であり、取り込み画像データ全領域１００からはみ出してしまう場合があった。
以上の点を図１７、図１８を用いて説明する。
【００１３】
計測対象基準画像検出領域Ｄ３に対する計測サーチ領域Ｄ４を、Ｄ４-1，Ｄ４-2，Ｄ４-3のように、任意のサイズに設定することが可能である。位置決め用基準画像検出領域Ｄ１の位置ずれによって、新たな位置決め用基準画像検出領域Ｄ１ａを得たとき、Ｄ１からＤ１ａへ向かうベクトルＶと同じベクトルＶを、計測サーチ領域Ｄ４-1，Ｄ４-2，Ｄ４-3に加えることで、新たな計測サーチ領域Ｄ４-1ａ，Ｄ４-2ａ，Ｄ４-3ａを得る。
【００１４】
図１７の場合には、位置決め用基準画像検出領域がＤ１からＤ１ａへと位置ずれし、それに伴って、計測サーチ領域がＤ４−１，Ｄ４−２，Ｄ４−３からＤ４−１ａ，Ｄ４−２ａ，Ｄ４−３ａへと位置ずれ補正されたとする。しかし、ベクトルＶが小さいので、位置ずれ補正後の計測サーチ領域Ｄ４−１ａ，Ｄ４−２ａ，Ｄ４−３ａのすべてがＣＣＤカメラによる取り込み画像データ全領域１００の内部に収まっているので、Ｄ４−１，Ｄ４−２，Ｄ４−３いずれの計測サーチ領域の設定でもトラブルは発生しない。
【００１５】
しかし、図１８の場合には、位置決め用基準画像検出領域Ｄ１から位置決め用基準画像検出領域Ｄ１ａへの位置ずれのベクトルＶが大きく、計測サーチ領域Ｄ４-1，Ｄ４-2，Ｄ４-3から計測サーチ領域Ｄ４-1ａ，Ｄ４-2ａ，Ｄ４-3ａへの位置ずれ補正が、Ｙ方向での最大位置ずれ量ΔＣＹmax を超えるような位置ずれ補正となっている。この場合、位置ずれ補正後の計測サーチ領域Ｄ４-1ａ，Ｄ４-2ａについては、取り込み画像データ全領域１００の内部に収まっているが、位置ずれ補正後の計測サーチ領域Ｄ４-3ａについては、取り込み画像データ全領域１００からはみ出してしまっている。なお、計測対象物や検査対象によっては、Ｘ方向での最大位置ずれ量ΔＣＸmax を超えるような場合も、ＸＹ両方向での最大位置ずれ量ΔＣＸmax ，ΔＣＹmax を超えるような場合もある。しかし、すでに説明したように、従来の技術においては、計測サーチ領域Ｄ４の初期設定において、Ｄ４-1，Ｄ４-2の場合は良いが、Ｄ４-3の場合は良くない、ということが、あらかじめ分からないようになっていた。
【００１６】
以上の説明では、計測対象基準画像検出領域Ｄ３側の、計測サーチ領域Ｄ４の初期設定に限界があるにもかかわらず、その限界を超えて位置ずれ補正されるような初期設定してしまった場合の問題を述べたが、位置決め用基準画像検出領域Ｄ１側の基準サーチ領域Ｄ２の初期設定についても限界があり、その限界を超えて初期設定した場合にも、同様の問題が発生する。
【００１７】
そして、実際の計測実行において検査不能のトラブルが生じて初めて、計測サーチ領域Ｄ４−３の初期設定が良くなかったという計測条件初期設定ミスが判明する。検査不能のトラブルが発生すると、生産ラインがその稼働中に不測にストップするなどの不具合が発生し、再設定を行わなければならないので生産効率の低下を招くという大きな問題がある。
【００１８】
あらかじめ知るようにするためには、ユーザーが机上で計算するなどして、最大位置ずれ量ΔＣＸｍａｘ または／およびΔＣＹｍａｘ を超えるような位置ずれ補正であるのか否かを求めればよいが、そのような計算は非常に面倒である。
【００１９】
なお、特開平７−５７０９６号公報には、サーチ領域を大画像パターンから始めて小画像パターンへと進めるようにし、大画像パターンでサーチ領域の候補を絞り込み、次に中画像パターンでさらにサーチ領域の候補を絞り込み、最後に小画像パターンで最適なサーチ領域を決定するという手法が提案されている。しかし、このような絞り込みの手法では、処理時間が長くなってしまう、特に大画像パターンでの演算に多くの処理時間がかかるという問題がある。
【００２０】
以上のような問題は、計測対象物の位置ずれ補正の大きい計測対象を検査する場合や、位置ずれ補正を必要とする計測対象基準画像検出領域Ｄ３が頻繁に変わる場合において、計測サーチ領域Ｄ４の初期設定（計測条件初期設定）について特に問題となる。
【００２１】
本発明は上記した課題の解決を図るべく創作したものであって、サーチ領域の初期設定が適正か否かを、その初期設定時においてあらかじめチェックすることのできる画像処理装置を提供することを目的としている。
【００２２】
【課題を解決するための手段】
上記した課題の解決を図ろうとする本発明にかかわる請求項１の画像処理装置は、次のような構成となっている。理解を容易にするため後述する実施の形態にかかわる図面で用いた符号を併記して記述する。撮像した計測対象物と、その計測対象物上の検査対象について、それらを撮像して得られた画像データから、
計測対象物に係る基準サーチ領域Ｄ２をサーチすることで、パターンマッチングに対応する位置決め用基準画像検出領域Ｄ１を抽出し、計測対象物に係る基準の位置となる基準位置座標Ｐを検出し、
検査対象に係る計測サーチ領域Ｄ４をサーチすることで、パターンマッチングに対応する計測対象基準画像検出領域Ｄ３を抽出し、検査対象に係る基準の位置となる計測対象位置座標Ｑを検出し、
前記基準位置座標Ｐと計測対象位置座標Ｑとの相対的位置関係から、検査対象の良否を判定する画像処理装置であって、
かつ、
検査対象の良否を判定する際に、位置決め用基準画像検出領域Ｄ１に位置ずれが生じた場合には、計測サーチ領域Ｄ４を位置ずれ補正する画像処理装置において、
位置決め用基準画像検出領域Ｄ１および計測サーチ領域Ｄ４から最大位置ずれ補正量ΔＸ１，ΔＸ２，ΔＹ１，ΔＹ２を算出し、その最大位置ずれ補正量ΔＸ１，ΔＸ２，ΔＹ１，ΔＹ２に基づいて、計測サーチ領域Ｄ４に係る最大位置ずれ補正ウインドウＷ４ max および、位置決め用基準画像検出領域Ｄ１に係る最大位置ずれ補正ウインドウＷ２ max を算出し、
計測サーチ領域Ｄ４および位置決め用基準画像検出領域Ｄ１のそれぞれに係る最大位置ずれ補正ウインドウＷ４ max 、Ｗ２ maxが、取り込み画像データ全領域１００の内部に収まっているか否かを、判定するように構成してある。
この構成によると、次のような作用がある。すなわち、基準サーチ領域Ｄ２および計測サーチ領域Ｄ４の初期設定において、それぞれの最大位置ずれ補正ウインドウＷ２max ，Ｗ４max が、取り込み画像データ全領域１００の内部に収まっているものであるか否かについて、その初期設定の段階ですでにチェックすることができるため、実際の計測実行においては、基準位置座標Ｐの位置ずれが基準サーチ領域Ｄ２の範囲内であればどのような位置ずれであっても、位置ずれ補正後の基準サーチ領域Ｄ２（すなわち最大位置ずれ補正ウインドウＷ２max）や計測サーチ領域Ｄ４（すなわち最大位置ずれ補正ウインドウＷ４max ）が取り込み画像データ全領域１００からはみ出すというトラブルは発生しない。また、最大位置ずれ補正ウインドウＷ２max ，Ｗ４max が、取り込み画像データ全領域１００の内部に収まっているか否かの判定のチェックを、自動的に行えるため、オペレータがいちいち机上で計算するなどして人為的に判断するわずらわしさは生じない。そして、実際の計測実行においてはみ出しのトラブルを生じさせることがなく、生産ラインがその稼働中に不測にストップするなどの不具合の発生を抑制でき、再設定による生産効率の低下は招かないですむ。
【００２３】
本発明にかかわる請求項２の画像処理装置は、撮像した計測対象物と、その計測対象物上の検査対象について、それらを撮像して得られた画像データから、
計測対象物に係る基準サーチ領域（Ｄ２）をサーチすることで、パターンマッチングに対応する位置決め用基準画像検出領域（Ｄ１）を抽出し、計測対象物に係る基準の位置となる基準位置座標（Ｐ）を検出し、
検査対象に係る計測サーチ領域（Ｄ４）をサーチすることで、パターンマッチングに対応する計測対象基準画像検出領域（Ｄ３）を抽出し、検査対象に係る基準の位置となる計測対象位置座標（Ｑ）を検出し、
前記基準位置座標（Ｐ）と計測対象位置座標（Ｑ）との相対的位置関係から、検査対象の良否を判定する画像処理装置であって、
かつ、
検査対象の良否を判定する際に、位置決め用基準画像検出領域（Ｄ１）に位置ずれが生じた場合には、計測サーチ領域（Ｄ４）を位置ずれ補正する画像処理装置において、
位置決め用基準画像検出領域（Ｄ１）および計測サーチ領域（Ｄ４）から最大位置ずれ補正量（ΔＸ１，ΔＸ２，ΔＹ１，ΔＹ２）を算出し、その最大位置ずれ補正量（ΔＸ１，ΔＸ２，ΔＹ１，ΔＹ２）に基づいて、計測サーチ領域（Ｄ４）に係る最大位置ずれ補正ウインドウ（Ｗ４ max ）を算出し、
計測サーチ領域（Ｄ４）に係る最大位置ずれ補正ウインドウ（Ｗ４ max ）が、取り込み画像データ全領域（１００）の内部に収まっているか否かを、判定するように構成したものである。
【００２４】
本発明にかかわる請求項３の画像処理装置は、上記請求項１，２において、前記計測対象物が搬送されるものであり、その搬送経路の所要の検査ポイントに前記計測対象物が到達したことを検出する到達検出手段を備えており、この到達検出手段による検出信号をトリガとして、前記計測対象物の撮像および検査対象の良否の判定を行うように構成してあることを特徴としている。この構成によると、計測対象物が搬送されるものであっても、その検査対象をタイミング良く撮像して、上記の作用を得ることが可能となる。
【００２５】
【発明の実施の形態】
以下、本発明にかかわる画像処理装置の実施の形態を図面に基づいて詳細に説明する。
【００２６】
図１は実施の形態の画像処理装置の電気的構成を示すブロック図である。図１において、符号の１は当該の画像処理装置、２は撮影レンズや絞りなどを含む光学系および固体撮像手段の代表例であるＣＣＤ（電荷結合デバイス）などからなるＣＣＤカメラであり、このＣＣＤカメラ２は、撮影レンズによってＣＣＤ上に光学像を結像し、結像された光学像をＣＣＤで光電変換して電気信号として出力するものである。３はＣＣＤカメラ２からのアナログの映像信号（ＣＣＤ出力信号）をディジタル化して画像データに変換するＡ／Ｄ変換器、４はＣＣＤカメラ２、Ａ／Ｄ変換器３およびフレームメモリ５に対してタイミング信号を出力して画像データの取得のタイミング制御を行うとともに、フレームメモリ５およびＤ／Ａ変換器１１に対してタイミング信号を出力して取得の映像信号の表示のタイミング制御を行うカメラ・表示コントローラ、５は画像データ一時記憶手段の一例としてのフレームメモリ、６はシステム全体の制御を司る制御手段の一例としてのＣＰＵ（中央演算処理装置）、７はＣＰＵ６による演算・制御等のためのプログラムを格納しているＲＯＭ（リードオンリーメモリ）、８はＣＰＵ６の演算・制御等を補助するとともにデータを格納するＲＡＭ（ランダムアクセスメモリ）、９は外部との間でデータや制御信号の入出力を行う入出力インターフェイス、１０はＣＰＵ６、ＲＯＭ７、ＲＡＭ８、カメラ・表示コントローラ４、フレームメモリ６および入出力インターフェイス９を接続するバス、１１はフレームメモリ５からカメラ・表示コントローラ４を介しての画像データをアナログの映像信号に変換するＤ／Ａ変換器、１２は画像処理装置１に図示しないインターフェイスおよびケーブルを介して接続されているＣＲＴ（陰極線管）や液晶ディスプレイ（ＬＣＤ）などのモニタである。フレームメモリ５は、少なくとも１フレーム分以上の画像データを蓄積できる画像メモリであって、ＶＲＡＭ、ＳＲＡＭ、ＤＲＡＭなどが一般的に使用されるが、ここではバス１０とは独立動作可能なＶＲＡＭを使用しているものとする。なお、カメラ・表示コントローラ４とフレームメモリ５とはパラレルなバスラインを介して接続されている。また、入出力インターフェイス９には、ＲＡＭ８に必要な初期値、判定基準等のためのパラメータ、しきい値、その他の条件、必要なデータなどを設定入力したり、必要な指示を与えたりするためのワイヤードリモコンなどの入力操作部１３や画像処理装置１の内部の状況や判断結果などをオペレータや作業者に知らせるための警報器１４やインジケータをそれぞれ個別のケーブルを介して接続することが可能となっている。なお、ワイヤードリモコンに代えてワイヤレスリモコンを用いることも可能とし、この場合は、リモコン受信機の出力端子を入出力インターフェイス９に接続するものとする。警報器１４としては、ＬＥＤ（発光ダイオード）、蛍光表示管その他任意の発光素子、灯器、あるいはブザーなどの鳴動器が適用可能とする。さらに、入出力インターフェイス９には、必要な外部記憶装置１５を接続することができるものとする。その外部記憶装置１５としては、ハードディスクドライブなどの磁気記録デバイス、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃｓ）ディスクドライブやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）‐ＲＡＭドライブなどの光磁気記録デバイス、フラッシュメモリ、ＥＥＰＲＯＭその他の不揮発性メモリなどの半導体記憶デバイスなどがあり、さらにはＶＴＲ（ビデオテープレコーダ）などでもよいものとする。
【００２７】
図２は上記構成の画像処理装置１を適用する生産ライン検査システム２０の概要を示す。図２において、符号の２１は計測対象物３０を搬送するコンベヤなどの搬送手段、２２は搬送手段２１の近傍で搬送されていく計測対象物３０の到達を検出するための到達検出手段の一例としての光電センサであり、検査ポイントＤＰに配置されている。光電センサ２２はケーブル２３を介して画像処理装置１の入出力インターフェイス９に接続されている。なお、説明の便宜上、図２においては、ＣＣＤカメラ２を画像処理装置１の外側に出して描いているが、実際には、ＣＣＤカメラ２は画像処理装置１と一体となっている。もっとも、ＣＣＤカメラ２を画像処理装置１とは別体構成とし、両者をケーブルで接続した態様としてもよい。Ｘは搬送手段２１による搬送方向を示す。
【００２８】
図２においては、計測対象物３０として、容器本体３１にキャップ３２を封着しているとともに、容器本体３１にラベル４０が貼り付けられた容器３０が示されている。なお、容器３０としてはガラスビン、ペットボトルなどのプラスチック容器、紙パック容器、アルミ缶など何であってもよい。また、容器３０の内容物としては液体、粘体、粉体、粒体など何であってもよい。ラベル４０は、商品名やデザインを付したもの、商品の仕様・性状等を記載したものなど何であってもよい。ラベル４０の形状については、長方形、正方形、楕円形、円形、その他何であってもよいが、ここでは、四角形であるとしておく。さらには、後に説明するが、計測対象物３０としては、何も容器に限る必要はなく、画像処理による検査が可能なものであれば、どのようなものを検査対象としてもよいことを付記しておく。ここでの容器３０は一例にすぎない。
【００２９】
次に、上記のように構成された実施の形態の場合の生産ライン検査システム２０に適用された画像処理装置１の動作を説明する。
【００３０】
駆動されている搬送手段２１によって複数の計測対象物３０が所定の間隔を隔てて連続的に搬送されていく。検査ポイントＤＰに達した計測対象物３０があると、その検査ポイントＤＰに設置されている到達検出手段２２が動作する。到達検出手段２２が光電センサの場合は、次のような動作となる。光電センサ２２は、レーザーダイオードなどの発光素子とフォトダイオードなどの受光素子からなり、発光素子から出射したレーザービームなどが計測対象物３０に当たって反射し、その反射光を受光素子で捕捉し、電気信号に変換し増幅することにより到達検出を行う。
【００３１】
計測対象物３０が検査ポイントＤＰに到達したことを到達検出手段２２が検出すると、到達検出手段２２はその検出信号をトリガ信号として画像処理装置１に送出する。画像処理装置１においては、その入出力インターフェイス９を介して入力されてきたトリガ信号がバス１０を介してＣＰＵ６に与えられる。ＣＰＵ６はトリガ信号を入力すると、カメラ・表示コントローラ４に起動信号を出力する。カメラ・表示コントローラ４は起動信号を入力すると、ＣＣＤカメラ２、Ａ／Ｄ変換器３、フレームメモリ５およびＤ／Ａ変換器１１に対してタイミング信号を出力する。
【００３２】
ＣＣＤカメラ２におけるＣＣＤはタイミング信号を入力すると、その電子シャッタを開き作動させ、被写体である計測対象物３０を撮像する。すなわち、計測対象物３０の光学像が撮像レンズを介してＣＣＤの表面に結像し、ＣＣＤはその光学像を信号電荷として蓄積しているが、タイミング信号を入力すると、感光部のフォトダイオードから垂直転送ＣＣＤへの転送および垂直転送ＣＣＤから水平転送ＣＣＤへの転送を行い、出力アンプを介して映像信号として出力する。Ａ／Ｄ変換器３はタイミング信号の入力によって起動し、ＣＣＤカメラ２から入力したアナログの映像信号（ＣＣＤ出力信号）をディジタルの画像データに変換する。このＡ／Ｄ変換器３のビット数を例えば８ビットとすると、画像データは２５６階調となる。フレームメモリ５はタイミング信号を入力し、Ａ／Ｄ変換器３と同期をとった状態でＡ／Ｄ変換器３からの１フレーム分の画像データを格納する。なお、８ビットについては、一例にすぎなくて、仕様に応じて適宜に変更してよいことはいうまでもない。
【００３３】
カメラ・表示コントローラ４は、フレームメモリ５への画像データの書き込みと並行して、その書き込んだ画像データをフレームメモリ５から読み出し、Ｄ／Ａ変換器１１に転送する。Ｄ／Ａ変換器１１は、転送されてきた画像データをアナログの映像信号に変換し、モニタ１２に出力する。なお、モニタ１２に至る映像信号は、図示しない所要のビデオエンコーダなどによりＮＴＳＣ方式などモニタ１２に適合した所要のフォーマットに変換されているものとする。このようにして、計測対象物３０の到達を検出した時点から、その計測対象物３０を被写体像とする映像をモニタ１２にリアルタイムに映出する。
【００３４】
カメラ・表示コントローラ４は１フレーム分の画像データのフレームメモリ５に対する書き込みが完了すると、その書き込み完了信号をＣＰＵ６に出力する。その書き込み完了信号を入力したＣＰＵ６は、ＲＯＭ７から読み出したプログラムおよびＲＡＭ８から読み出した画像処理演算用条件に従って、フレームメモリ５をアクセスし、フレームメモリ５に格納されている１フレーム分の画像データを読み出す。そして、１画素単位または複数画素の集合であるブロック単位で所要の画像処理のための演算を実行し、判定のための演算結果をＲＡＭ８にストアする。次に、その演算結果とＲＡＭ８から読み出した判定基準との比較を行い、演算結果が正常であるか否かを判定する。
【００３５】
ＲＡＭ８には、あらかじめ入力操作部１３から入出力インターフェイス９およびバス１０を介して画像処理演算用条件や判定基準が設定登録されている。画像処理演算用条件としては、パターンマッチングのための基準サーチ領域Ｄ２や計測サーチ領域Ｄ４の座標データなどがある。判定基準としては、テンプレート画像データなどがある。
【００３６】
具体的な検査対象の良否判定時の画像処理は、次のとおりである。図３はパターンマッチングの動作説明図である。図３において、符号の５０は図２に示す計測対象物、すなわち、容器３０についての画像データである容器画像、５１は容器本体３１についての画像データである容器本体画像、６０はキャップ３２についての画像データであるキャップ画像、７０はラベル４０についての画像データであるラベル画像、８０は背景画像である。図３に示すように、ＣＣＤカメラによって撮像され、フレームメモリ５に格納されている取り込み画像データ全領域１００において、基準サーチ領域Ｄ２を高速サーチしてキャップ画像６０らしきものを見いだし、ＲＡＭ８から読み出したキャップ画像左上角部に相当するテンプレート画像データと画素比較することのパターンマッチングに基づいて、位置決め用基準画像検出領域Ｄ１を抽出し、キャップ画像６０の左上角部である基準位置座標Ｐ（Ｘ0 ，Ｙ0 ）を検出する。
【００３７】
次に、上記で検出した基準位置座標Ｐ（Ｘ０ ，Ｙ０ ）に基づいて計測サーチ領域Ｄ４を取り込み画像データ全領域１００上に設定する。すなわち、基準サーチ領域Ｄ２の座標と計測サーチ領域Ｄ４の座標との差分に相当する水平方向の変位量ΔＸと垂直方向の変位量ΔＹとを演算によって算出し、基準サーチ領域Ｄ２から変位量ΔＸ，ΔＹの変位を行った座標を起点として計測サーチ領域Ｄ４を設定する。
【００３８】
そして、計測サーチ領域Ｄ４において高速サーチを行い、容器本体画像５１と背景画像８０との境界８１を含んでいることを確認した上で、ラベル画像７０らしきものを見いだし、ＲＡＭ８から読み出したラベル画像右下角部に相当するテンプレート画像データと画素比較することのパターンマッチングに基づいて、計測対象基準画像検出領域Ｄ３を抽出し、その計測対象基準画像検出領域Ｄ３での両者の画像データの一致度を算出し、その一致度が所定のしきい値以上となっているか否かを判断し、しきい値以上となっているときは欠陥無しすなわち位置ずれ無しと判定し、しきい値未満のときは欠陥有りすなわち位置ずれ有りと判定する。また、一致度が所定値以下（この所定値は前記のしきい値よりかなり低く設定されている）のときは、ラベルが貼り付けられていないものと判定する。図３の場合は、ラベル画像７０が容器本体画像５１に対して適正な位置にあると判断される。すなわち、計測対象物３０においてラベル４０が容器本体３１に対して適正な位置関係で貼り付けられていることになる。
【００３９】
図４の場合は、取り込み画像データ全領域１００において容器画像５０、容器本体画像５１、キャップ画像６０、ラベル画像７０が図３よりも水平方向にΔＣＸ、垂直方向にΔＣＹずれている。図４において、図３の状態を二点鎖線で表している。すなわち、図４の位置決め用基準画像検出領域Ｄ１ａは図３の位置決め用基準画像検出領域Ｄ１より（ΔＣＸ，ΔＣＹ）だけずれている。そして、図４の計測対象基準画像検出領域Ｄ３ａは図３の計測対象基準画像検出領域Ｄ３より同じく（ΔＣＸ，ΔＣＹ）だけずれている。しかし、容器本体画像５１に対するラベル画像７０の相対位置関係は同じであるので、計測対象基準画像検出領域Ｄ３ａによる計測対象位置座標Ｑａ（Ｘ１ａ，Ｙ１ａ）は適正なものであり、ラベルの貼り付け位置が正常であると判定する。なお、位置決め用基準画像検出領域Ｄ１ａと計測対象基準画像検出領域Ｄ３ａとの相対位置関係が図３の場合のそれと同じになっている。
【００４０】
図５の場合、計測対象基準画像検出領域Ｄ３ｂにおける計測対象位置座標Ｑｂ（Ｘ１ｂ，Ｙ１ｂ）が適正でない。それは、容器本体画像５１に対するラベル画像７０の相対位置関係が正規の位置関係よりずれているためである。つまり、距離α１ が正規の距離α０ に比べて過剰となっている。この場合、ラベルの貼り付け位置について欠陥有りと判定する。なお、位置決め用基準画像検出領域Ｄ１と計測対象基準画像検出領域Ｄ３ｂとの相対位置関係が図３の場合のそれとは異なっている。
【００４１】
図６の場合、位置決め用基準画像検出領域Ｄ１ａは図４と同様になっている。しかし、計測対象基準画像検出領域Ｄ３ｃにおける計測対象位置座標Ｑｃ（Ｘ１ｃ，Ｙ１ｃ）が適正でない。それは、容器本体画像５１に対するラベル画像７０の相対位置関係が正規の位置関係よりずれているためである。つまり、距離α２ が正規の距離α０ に比べて過小となっている。この場合、ラベルの貼り付け位置について欠陥有りと判定する。なお、位置決め用基準画像検出領域Ｄ１ａと計測対象基準画像検出領域Ｄ３ｃとの相対位置関係が図４の場合のそれとは異なっている。
【００４２】
上記の説明では、容器本体画像５１に対するラベル画像７０の相対位置関係がＸ方向で不適正な場合を述べたが、Ｙ方向で不適正となる場合もある。すなわち、距離β０ に対して過剰または過小となることがある。
【００４３】
以上のようなパターンマッチングによる画像処理の結果は、カメラ・表示コントローラ４およびＤ／Ａ変換器１１を介してモニタ１２に表示される。図３〜図６は画像データについてのものであるが、モニタ１２に表示される内容も参考のために併記してある。すなわち、計測対象基準画像検出領域Ｄ３における一致度と、計測対象位置座標ＱのＸ座標値およびその判定結果（ＯＫまたはＮＧ（Ｎｏ Ｇｏｏｄ））ならびにＹ座標値およびその判定結果（ＯＫまたはＮＧ）であり、これらがモニタ１２に表示されるのである。ラベルの貼り付け位置について欠陥有りのときは、ＣＰＵ６は、バス１０および入出力インターフェイス９を介して外部の警報器１４を作動させる。ラベルの貼り付け無しの場合も同様である。また、ラベルの貼り付け位置の不良または貼り付け無しの場合には、その欠陥の画像データとともに判定結果をバス１０および入出力インターフェイス９を介して外部記憶装置１５に転送格納する。なお、その外部記憶装置１５としては、前述のように、ハードディスクやＭＯディスクやＤＶＤ‐ＲＡＭやＥＥＰＲＯＭやフラッシュメモリなどがある。
【００４４】
次に、図７〜図１５に基づいて、基準サーチ領域Ｄ２および計測サーチ領域Ｄ４の、本願特有の初期設定の処理について説明する。この処理は、上述のパターンマッチングによるラベルの貼り付け位置の良否および貼り付け有無の判定の前段階のものであることはいうまでもない。
【００４５】
（１）まず、図７に示すように、妥当な位置決めであると思われる位置に、実線矩形で図示した位置決め用基準画像検出領域Ｄ１を設定する。この設定は、図示しない外部の入力操作部１３を操作することにより行われ、その操作によるデータは入出力インターフェイス９およびバス１０を介してＲＡＭ８に設定登録されることになる。この処理はＣＰＵ６が実行することはいうまでもない。なお、１００は取り込み画像データ全領域、６０はキャップ画像、７０はラベル画像、Ｏは取り込み画像データ全領域１００についての原点である。
【００４６】
なお、ここでは、ＲＡＭ８は充分に大きな記憶容量をもっているものとし、かつ、電源をオフしても記憶内容が消えないように、ＲＡＭ８に対してバックアップを行っているものとする。そのバックアップは、例えばリチウム電池でもよいし、大容量のキャパシタでもよい。なお、ＲＡＭ８に代えて、バス１０に接続したＥＥＰＲＯＭ１６に各種のデータを保存するようにしてもよい。むしろ、その方が良い場合があり得る。以下では、「ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段」と記述することとする。
【００４７】
（２）次に、図８に示すように、破線矩形で図示した計測サーチ領域Ｄ４を、妥当な位置決めであると思われる位置に設定する。計測サーチ領域Ｄ４は、ラベル画像７０の右下角部を含むとともに、容器本体画像５１と背景画像８０との境界８１を含むように設定する。この設定についても、上記（１）と同様に行われる。
【００４８】
（３）次に、図９に示すように、上記の設定した位置決め用基準画像検出領域Ｄ１と計測サーチ領域Ｄ４とキャップ画像６０の領域とラベル画像７０の領域と取り込み画像データ全領域１００とから、＋Ｘ方向、−Ｘ方向、＋Ｙ方向、−Ｙ方向のそれぞれについての最大位置ずれ補正量ΔＸ１，ΔＸ２，ΔＹ１，ΔＹ２を算出する。
【００４９】
まず、−Ｘ方向の最大位置ずれ補正量ΔＸ１については、計測サーチ領域Ｄ４の左端Ｘ座標とラベル画像７０の左端Ｘ座標との差分として求める。
【００５０】
＋Ｘ方向の最大位置ずれ補正量ΔＸ２については、位置決め用基準画像検出領域Ｄ１の右端Ｘ座標とキャップ画像６０の右端Ｘ座標との差分として求める。
【００５１】
−Ｙ方向の最大位置ずれ補正量ΔＹ１については、位置決め用基準画像検出領域Ｄ１の上端Ｙ座標と取り込み画像データ全領域１００の原点ＯのＹ座標との差分として求める。
【００５２】
＋Ｙ方向の最大位置ずれ補正量ΔＹ２については、計測サーチ領域Ｄ４の下端Ｙ座標と取り込み画像データ全領域１００のＹ方向終端のＹ座標との差分として求める。
【００５４】
（４）次に、図１１に示すように、計測サーチ領域Ｄ４に対して、上記の最大位置ずれ補正量ΔＸ１，ΔＸ２，ΔＹ１，ΔＹ２を加味し、二点鎖線矩形で図示した最大位置ずれ補正ウインドウＷ４max を算出する。
【００５５】
すなわち、計測サーチ領域Ｄ４の四隅の座標をそれぞれ、
Ａ（Ｘａ，Ｙａ）、Ｂ（Ｘｂ，Ｙｂ）、Ｃ（Ｘｃ，Ｙｃ）、Ｄ（Ｘｄ，Ｙｄ）
とし、最大位置ずれ補正ウインドウＷ４ｍａｘ の四隅の座標をそれぞれ、
Ｅ（Ｘｅ，Ｙｅ）、Ｆ（Ｘｆ，Ｙｆ）、Ｇ（Ｘｇ，Ｙｇ）、Ｈ（Ｘｈ，Ｙｈ）
とすると、座標Ｅ（Ｘｅ，Ｙｅ）については、
Ｘｅ＝Ｘａ−ΔＸ１ ………………………………………………（９）
Ｙｅ＝Ｙａ−ΔＹ１ ………………………………………………（１０）
として算出し、座標Ｆ（Ｘｆ，Ｙｆ）については、
Ｘｆ＝Ｘｂ＋ΔＸ２ ………………………………………………（１１）
Ｙｆ＝Ｙｂ−ΔＹ１ ………………………………………………（１２）
として算出し、座標Ｇ（Ｘｇ，Ｙｇ）については、
Ｘｇ＝Ｘｃ−ΔＸ１ ………………………………………………（１３）
Ｙｇ＝Ｙｃ＋ΔＹ２ ………………………………………………（１４）
として算出し、座標Ｈ（Ｘｈ，Ｙｈ）については、
Ｘｈ＝Ｘｄ＋ΔＸ２ ………………………………………………（１５）
Ｙｈ＝Ｙｄ＋ΔＹ２ ………………………………………………（１６）
として算出する。
【００５６】
（５）次に、上記で算出した最大位置ずれ補正ウインドウＷ４max が、ＣＣＤカメラ２による取り込み画像データ全領域１００の内部に、収まっているか否かをチェックする。
【００５７】
図１１の場合には、最大位置ずれ補正ウインドウＷ４ｍａｘ が取り込み画像データ全領域１００の内部に収まっていると判定されるが、図１２のように取り込み画像データ全領域１００に対して最大位置ずれ補正ウインドウＷ４ｍａｘ がＸ方向ではみ出したり、図１３のように取り込み画像データ全領域１００に対して最大位置ずれ補正ウインドウＷ４ｍａｘ がＹ方向ではみ出したりしたときは、収まっていないと判断される。
【００５８】
（６）収まっていないと判断したときは、ＣＰＵ６は警告信号を出力する。その警告信号は、バス１０および入出力インターフェイス９を介して外部に接続された警報器１４に送出され、その警報器１４を動作させることにより、オペレータに対して、計測サーチ領域Ｄ４の設定が良くないことを警告し、再設定すべきことを促す。
【００５９】
設定ミスの警告を知ったオペレータは、上記の（１）からの設定のし直しを行うことになる。
【００６０】
（７）なお、計測サーチ領域Ｄ４が、図１４のように複数ある場合には、すべての計測サーチ領域Ｄ４について上記の処理が終了したか否かをチェックし、終了していないときは、上記の（２）からの処理を繰り返す。
【００６１】
（８）以上のすべての処理が終了すると、図１５に示すように、位置決め用基準画像検出領域Ｄ１についての最大位置ずれ補正ウインドウＷ２ max を、最大位置ずれ補正量ΔＸ１，ΔＸ２，ΔＹ１，ΔＹ２に基づいて設定する。
【００６２】
すなわち、位置決め用基準画像検出領域Ｄ１の四隅の座標をそれぞれ、Ｉ（Ｘｉ，Ｙｉ）、Ｊ（Ｘｊ，Ｙｊ）、Ｋ（Ｘｋ，Ｙｋ）、Ｍ（Ｘｍ，Ｙｍ）とし、位置決め用基準画像検出領域Ｄ１についての最大位置ずれ補正ウインドウＷ２max の四隅の座標を、それぞれ、Ｑ（Ｘｑ，Ｙｑ）、Ｒ（Ｘｒ，Ｙｒ）、Ｓ（Ｘｓ，Ｙｓ）、Ｔ（Ｘｔ，Ｙｔ）とすると、座標Ｑ（Ｘｑ，Ｙｑ）については、
Ｘｑ＝Ｘｉ−ΔＸ１ ………………………………………………（17）
Ｙｑ＝Ｙｉ−ΔＹ１ ………………………………………………（18）
として算出し、座標Ｒ（Ｘｒ，Ｙｒ）については、
Ｘｒ＝Ｘｊ＋ΔＸ２ ………………………………………………（19）
Ｙｒ＝Ｙｊ−ΔＹ１ ………………………………………………（20）
として算出し、座標Ｓ（Ｘｓ，Ｙｓ）については、
Ｘｓ＝Ｘｋ−ΔＸ１ ………………………………………………（21）
Ｙｓ＝Ｙｋ＋ΔＹ２ ………………………………………………（22）
として算出し、座標Ｔ（Ｘｔ，Ｙｔ）については、
Ｘｔ＝Ｘｍ＋ΔＸ２ ………………………………………………（23）
Ｙｔ＝Ｙｍ＋ΔＹ２ ………………………………………………（24）
として算出する。この最大位置ずれ補正ウインドウＷ２ max は、実は、位置決め用基準画像検出領域Ｄ１についての基準サーチ領域Ｄ２となっている。そして、この最大位置ずれ補正ウインドウＷ２max も必然的に取り込み画像データ全領域１００の内部に収まっていることになる。
【００６３】
以上の処理によって初期設定が完了したことになり、位置決め用基準画像検出領域Ｄ１についての最大位置ずれ補正ウインドウＷ２max が、ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に設定され、計測サーチ領域Ｄ４についての最大位置ずれ補正ウインドウＷ４max が、ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に設定されることになる。続いては、図３に示したような実際の計測実行に進む。
【００６４】
以上のように、基準サーチ領域Ｄ２および計測サーチ領域Ｄ４の初期設定において、最大位置ずれ補正ウインドウＷ２ｍａｘ ，Ｗ４ｍａｘ が取り込み画像データ全領域１００の内部に収まっているか否かの判定を、その初期設定の段階ですでにチェックすることができるため、実際の計測実行においては、計測対象の位置ずれが基準サーチ領域Ｄ２の範囲内であればどのような位置ずれであっても、位置ずれ補正後の基準サーチ領域Ｄ２や計測サーチ領域Ｄ４が取り込み画像データ全領域１００からはみ出すというトラブルは発生しない。また、最大位置ずれ補正ウインドウＷ２ｍａｘ ，Ｗ４ｍａｘ が取り込み画像データ全領域１００の内部に収まっているか否かの判定のチェックが自動的に行われるため、オペレータがいちいち机上で計算するなどして人為的に判断するわずらわしさは生じない。
【００６５】
そして、実際の計測実行でのはみ出しのトラブルの発生を予防できるので、生産ラインがその稼働中で不測にストップするなどの不具合の発生を抑制でき、再設定による生産効率の低下は招かないですむ。
【００６６】
以上のＣＰＵ６による動作の概要を図１６のフローチャートに示しておく。
【００６７】
以上、一つの実施の形態について説明してきたが、本発明は次のように構成したものも含み得るものとする。
【００６８】
（１）フレームメモリ５に代えてフィールドメモリでもよいし、その他のメモリでもよい。
【００６９】
（２）すでに述べたことであるが、画像処理演算用条件や判定基準を格納する記憶エリアとして、ＲＡＭ８に代えて、図１で二点鎖線で示したＥＥＰＲＯＭ１６やフラッシュメモリその他の不揮発性メモリを用いてもよい。この場合、その不揮発性メモリは画像処理装置１の内部においてバス１０に接続しておくのでもよいし、入出力インターフェイス９を介して外部に接続するのでもよい。
【００７０】
（３）フレームメモリ５をシステムメモリとしてのＲＡＭ８と共用することも可能である。
【００７１】
（４）計測対象物３０が所定の検査ポイントＤＰに到達したことを検出する到達検出手段については、上記の実施の形態の光電センサ２２に代えて、ＣＣＤカメラ２で撮像して得られた画像データの画像処理に基づいて、すなわち画像データに対して到達検出用のサーチウインドウを設定して、ソフトウェア的に到達検出を判定するように構成してもよい。
【００７２】
（５）計測対象物３０としては何も容器に限る必要はなく、また、検査対象としては何もラベルの貼り付け位置や貼り付けの有無に限る必要はなく、画像処理による検査が可能なものであれば、どのようなものを検査対象としてもよい。半製品または製品に印刷されている印刷内容の印刷位置の良否の判定あるいは印刷有無の判定でもよいし、半導体チップのピンの位置の良否の判定、プリント基板上に実装された電子部品の配置の良否の判定、搬送用のトレイに載置されている複数の部品の配置の良否の判定など何であってもよい。
【００７３】
（６）カメラ・表示コントローラ４は、フレームメモリ５への画像データの書き込みと並行して、その書き込んだ画像データをフレームメモリ５から読み出し、Ｄ／Ａ変換器１１に転送し、モニタ１２に映像をリアルタイムで表示したが、このようなリアルタイムの表示はしなくてもよい。つまり、モニタ１２を位置ずれ有りのときだけリアルタイムに表示動作させるようにしてもよいし、あるいはそれもなくして、位置ずれ有りの欠陥の原因究明のときにだけ用いるようにすることも可能である。
【００７４】
（７）位置ずれ有りなどの欠陥有りのときの画像データ等の保存に際しては、画像データを圧縮してから保存するように構成してもよい。この場合、表示に際しては画像伸張して表示するものとする。
【００７５】
（８）欠陥有りのときの画像データ等の保存を行う外部記憶装置１５に代えて、同様な不揮発性メモリを画像処理装置１の内部に設けてもよい。また、ＲＡＭ８またはフレームメモリ５の容量を大きくして、それらに画像データ等の保存を行うように構成してもよい。
【００７６】
（９）モデムカードやＩＳＤＮカードを利用して公衆回線あるいは専用回線を介して画像データ等を遠隔の端末に送出するように構成することも可能である。
【００７７】
（１０）その他本発明の要旨と直接に関係しない任意の事項については、公知の任意のものが適用可能であり、また、公知以外のものであっても、本発明の要旨を逸脱しない範囲において適用可能であることはいうまでもない。
【００７８】
上記の（１）〜（１０）は互いに独立した事項であり、これらのうち任意の事項を任意数適当に組み合わせてもよきものとする。
【００７９】
【発明の効果】
画像処理装置についての請求項１又は２の発明によれば、基準サーチ領域および計測サーチ領域の初期設定において、それぞれの最大位置ずれ補正ウインドウが、取り込み画像データ全領域に収まっているものであるか否かのチェックを、その初期設定の際に自動的に行うことができる。すなわち、サーチ領域の初期設定が適正か否かを、その初期設定時においてあらかじめチェックすることができ、オペレータがいちいち机上で計算するなどして、人為的に判断するわずらわしさをなくせるとともに、実際の計測実行において最大位置ずれ補正が発生したときでも、はみ出しのトラブルを生じさせることがなく、生産ラインがその稼働中に不測にストップするなどの不具合の発生を抑制でき、再設定による生産効率の低下を招かないですむ。
【００８０】
請求項３の発明によれば、生産ライン等で搬送される計測対象物について、計測対象物をタイミング良く撮像し、その検査対象の良否判定を効率良く行えるので、計測対象物が搬送されるものであっても、上記請求項１と同様の効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態の画像処理装置の電気的構成を示すブロック図
【図２】実施の形態の画像処理装置を適用する生産ライン検査システムの概要の説明図
【図３】実施の形態の生産ライン検査システムでの画像処理装置によるパターンマッチングの動作説明図（位置ずれ無しの場合）
【図４】上記画像処理装置によるパターンマッチングの動作説明図（図３に対する位置ずれ補正の場合）
【図５】上記画像処理装置によるパターンマッチングの動作説明図（図３に対応し、位置ずれ有りの場合）
【図６】上記画像処理装置によるパターンマッチングの動作説明図（図４に対応し、位置ずれ有りの場合）
【図７】上記画像処理装置による初期設定での位置決め用基準画像検出領域の設定の説明図
【図８】上記画像処理装置による初期設定での計測サーチ領域の設定の説明図
【図９】上記画像処理装置による初期設定での最大位置ずれ補正量の算出の説明図
【図１０】上記画像処理装置による初期設定での計測対象基準画像検出領域の設定の説明図
【図１１】上記画像処理装置による初期設定での計測サーチ領域側の最大位置ずれ補正ウインドウの算出の説明図
【図１２】上記画像処理装置による初期設定での計測サーチ領域側の最大位置ずれ補正ウインドウが取り込み画像データ全領域をＸ方向にはみ出したときの説明図
【図１３】上記画像処理装置による初期設定での計測サーチ領域側の最大位置ずれ補正ウインドウが取り込み画像データ全領域をＹ方向にはみ出したときの説明図
【図１４】上記画像処理装置による初期設定での計測サーチ領域側の最大位置ずれ補正ウインドウを複数算出する場合の説明図
【図１５】上記画像処理装置による初期設定での基準サーチ領域側の最大位置ずれ補正ウインドウの算出の説明図
【図１６】上記画像処理装置による初期設定の動作を示す概略のフローチャート
【図１７】従来の技術の問題を指摘するためのものであって、計測サーチ領域の複数の設定の仕方を示すとともに、位置ずれ補正によっても取り込み画像データ全領域からはみ出さない場合の説明図
【図１８】従来の技術の問題を指摘するためのものであって、計測サーチ領域の複数の設定の仕方を示すとともに、最大位置ずれ補正のために取り込み画像データ全領域からはみ出す場合の説明図
【符号の説明】
１…画像処理装置、２…ＣＣＤカメラ、３…Ａ／Ｄ変換器、４…カメラ・表示コントローラ、５…フレームメモリ、６…ＣＰＵ、７…ＲＯＭ、８…ＲＡＭ、９…入出力インターフェイス、１０…バス、１１…Ｄ／Ａ変換器、１２…モニタ、１３…入力操作部、１４…警報器、１５…外部記憶装置、１６…ＥＥＰＲＯＭ、２０…生産ライン検査システム、２１…搬送手段、２２…到達検出手段（光電センサ）、２３…ケーブル、３０…計測対象物（容器）、３１…容器本体、３２…キャップ、４０…ラベル、５０…容器画像、５１…容器本体画像、６０…キャップ画像、７０…ラベル画像、８０…背景画像、１００…取り込み画像データ全領域、ＤＰ…検査ポイント、Ｄ１…位置決め用基準画像検出領域、Ｄ２…基準サーチ領域、Ｄ３…計測対象基準画像検出領域、Ｄ４…計測サーチ領域、Ｐ…基準位置座標、Ｑ…計測対象位置座標、ΔＸ１，ΔＸ２，ΔＹ１，ΔＹ２…最大位置ずれ補正量、Ｗ２ｍａｘ …位置決め用基準画像検出領域側の最大位置ずれ補正ウインドウ、Ｗ４ｍａｘ …計測対象基準画像検出領域側の最大位置ずれ補正ウインドウ
【発明の属する技術分野】
本発明は、欠陥検査用の画像処理装置、特に生産ライン検査システムに装備されて生産される半製品または製品の欠陥（例えばラベルの位置ずれなど）を検出するための画像処理装置にかかわり、詳しくはサーチ領域の初期設定が適正か否かを、その初期設定時においてあらかじめチェックできるようにするための技術に関する。
【０００２】
【従来の技術】
図３は、後述する実施の形態でも用いられるものであって、計測対象物をＣＣＤカメラで撮像してフレームメモリに一時的に格納した取り込み画像データを視覚的に表したものである。ここでは、計測対象物を容器とし、検査対象を容器に貼り付けられたラベル（ラベルの二次元的な位置）であるとする。符号の１００は取り込み画像データ全領域、５０は容器画像、５１は容器本体画像、６０はキャップ画像、７０はラベル画像、８０は背景画像である。ここで、例えばキャップ画像６０というのはキャップの画像データのことであり、ラベル画像７０というのはラベルの画像データのことである。
【０００３】
ラベル画像７０に位置ずれが生じていないかどうかの判定は次のように行う。まず、初期設定において、基準の位置を定めておく必要がある。それを例えばキャップ画像６０の例えば左上角部とし、そこに位置決め用基準画像検出領域Ｄ１を設定するとともに、その位置決め用基準画像検出領域Ｄ１の周囲に、Ｄ１がはみ出さないと想定される程度に大きな基準サーチ領域Ｄ２を設定する。そして、ラベル画像７０の検出ポイントを例えば右下角部として、そこに計測対象基準画像検出領域Ｄ３を設定するとともに、その計測対象基準画像検出領域Ｄ３の周囲に、Ｄ３がはみ出さないと想定される程度に大きな計測サーチ領域Ｄ４を設定する。即ち、基準サーチ領域Ｄ２は、ＣＣＤカメラによる取り込み画像データ全領域１００の内部において、キャップ画像６０の左上角部が存在すると想定される位置に設定し、計測サーチ領域Ｄ４は容器本体画像５１と背景画像８０との境界８１を含むと想定される位置に設定する。
【０００４】
一方、検査対象の良否判定時（計測実行時）には、ＣＣＤカメラによる取り込み画像データ全領域１００において、基準サーチ領域Ｄ２を高速サーチしてキャップ画像６０らしきものを見いだし、メモリから読み出したキャップ画像左上角部に相当するテンプレート画像データと画素比較することのパターンマッチングに基づいて、位置決め用基準画像検出領域Ｄ１を抽出し、キャップ画像６０の左上角部である基準位置座標Ｐ（Ｘ0 ，Ｙ0 ）を検出する。
【０００５】
次に、上記初期設定に基づいて、計測サーチ領域Ｄ４を画像データ上に設定する。これは、例えば次のようにしても行える。メモリにあらかじめ登録されている基準サーチ領域Ｄ２と計測サーチ領域Ｄ４との差分に相当する水平方向の変位量ΔＸと垂直方向の変位量ΔＹとを演算によって算出し、基準位置座標Ｐ（Ｘ0 ，Ｙ0 ）から変位量ΔＸ，ΔＹの変位を行った座標を計測対象位置座標Ｑ（Ｘ1 ，Ｙ1 ）とし、この計測対象位置座標Ｑ（Ｘ1 ，Ｙ1）に基づいて計測サーチ領域Ｄ４を設定するのである。ここで、
Ｘ1 ＝Ｘ0 ＋ΔＸ ……………………………………………（１）
Ｙ1 ＝Ｙ0 ＋ΔＹ ……………………………………………（２）
である。
【０００６】
そして、計測サーチ領域Ｄ４において高速サーチを行い、容器本体画像５１と背景画像８０との境界８１を含んでいることを確認した上で、ラベル画像７０らしきものを見いだし、メモリから読み出したラベル画像右下角部に相当するテンプレート画像データと画素比較することによるパターンマッチングに基づいて、計測対象基準画像検出領域Ｄ３を抽出し、その計測対象基準画像検出領域Ｄ３と、抽出された位置決め用基準画像検出領域Ｄ１との相対位置関係から、欠陥の有無を判定したり、その計測対象基準画像検出領域Ｄ３での両者の画像データの一致度を算出し、その一致度が所定のしきい値以上となっているか否かを判断し、しきい値以上となっているときは欠陥無し、すなわち位置ずれ無しと判定し、しきい値未満のときは欠陥有りすなわち位置ずれ有りと判定したりする。
欠陥無しとは、実際の容器においてそれに貼り付けられているラベルの貼り付け位置が正常ないし許容範囲内であるということである。なお、欠陥有りの場合はラベルが貼り付けられていない場合も表すものとし、これは一致度が所定値以下のときに、そのように判定する。
【０００７】
ところで、さまざまの要因で位置決め用基準画像検出領域Ｄ１の位置ずれが生じる。例えば、ＣＣＤカメラの向きが振動等で変化することがあり、そうなるとＣＣＤカメラの視野が変化し、同じシャッタタイミング（トリガタイミング）で撮像しても、取り込み画像データ全領域１００の内部での前記の４つの領域Ｄ１〜Ｄ４に位置ずれが生じる。昨日のＣＣＤカメラの設定位置や視野方向などが、今日には変化している可能性もある。場合によっては、時間経過とともに変動しているかもしれない。
【０００８】
それを図４を用いて説明する。図４は、後述する実施の形態でも用いられるものであって、位置決め用基準画像検出領域が、検査対象の良否判定時に、図３の場合のＤ１からＤ１ａへ位置ずれしたものを示している。なお、図３の場合の様子は二点鎖線で図示している。つまり、取り込み画像データ全領域１００の内部において、容器画像５０、容器本体画像５１、キャップ画像６０およびラベル画像７０のすべてが、水平方向にΔＣＸ、垂直方向にΔＣＹの位置ずれを生じたとする。これに伴って、計測対象基準画像検出領域はＤ３からＤ３ａへ位置ずれする。なお、初期設定に基づいて設定されている基準サーチ領域Ｄ２や計測サーチ領域Ｄ４は変わらない。
【０００９】
容器画像５０等が取り込み画像データ全領域１００において位置ずれを生じた場合に、基準サーチ領域Ｄ２でサーチした結果として得た位置決め用基準画像検出領域Ｄ１ａの座標をＰａ（Ｘ0a，Ｙ0a）とすると、水平方向および垂直方向の位置ずれ量ΔＣＸ，ΔＣＹは、それぞれ、
ΔＣＸ＝Ｘ0a−Ｘ0 ………………………………………（３）
ΔＣＹ＝Ｙ0a−Ｙ0 ………………………………………（４）
である。そして、位置ずれ後の位置決め用基準画像検出領域Ｄ１ａを基にした位置ずれ後の計測対象基準画像検出領域Ｄ３ａの計測対象位置座標を、計測対象位置座標Ｑａ（Ｘ1a，Ｙ1a）とすると、
Ｘ1a＝Ｘ0 ＋ΔＸ＋ΔＣＸ ………………………………（５）
Ｙ1a＝Ｙ0 ＋ΔＹ＋ΔＣＹ ………………………………（６）
となる。なお、これら式（５），（６）は式（１），（２）より、それぞれ、
Ｘ1a＝Ｘ1 ＋ΔＣＸ ………………………………………（７）
Ｙ1a＝Ｙ1 ＋ΔＣＹ ………………………………………（８）
と等価であり、元の計測対象基準画像検出領域Ｄ３の座標Ｑ（Ｘ1 ，Ｙ1 ）を位置ずれ量ΔＣＸ，ΔＣＹだけ補正したことに相当している。
【００１０】
こうして、パターンマッチングによって、計測サーチ領域Ｄ４でのサーチを行い、計測対象基準画像検出領域Ｄ３ａでの画像データとテンプレート画像データとの画素比較による一致度が、しきい値よりも大きいか否か等を、判定する。
【００１１】
欠陥有りすなわち位置ずれ有りと判定したときは、一般的には警報または警告を発することが行われる。そのとき直ちに生産ラインを停止するか、それともある程度時間をおいて様子を見てから停止するかする。
【００１２】
【発明が解決しようとする課題】
上記した従来の技術には次のような問題点がある。位置決め用基準画像検出領域Ｄ１の周囲の基準サーチ領域Ｄ２の設定と、計測対象基準画像検出領域Ｄ３の周囲の計測サーチ領域Ｄ４の設定とが互いに独立していて、計測サーチ領域Ｄ４を基準サーチ領域Ｄ２とは全く無関係に設定するようになっていた。
そのため、別技術では、位置決め用基準画像検出領域Ｄ１が位置ずれしたときに、その位置ずれに応答して、計測サーチ領域Ｄ４を位置ずれ補正するようにしているが、そのため、その位置ずれ補正後の計測サーチ領域Ｄ４が、ＣＣＤカメラの撮像による取り込み画像データ全領域１００からはみ出してしまうように、最大位置ずれ量ΔＣＸmax または／およびΔＣＹmax を超えるような位置ずれ補正が生じる設定となってしまうことがあり、そうなっていても、そのことには気付くことがなく、そのような計測サーチ領域Ｄ４の設定をかまうことなく任意に設定していた。
その結果として、実際の計測実行において、位置ずれ補正についての許容限界を超える位置ずれ補正が発生するまで、すでに設定されている計測条件の良否を、判定することができなかった。
また、位置決め用基準画像検出領域Ｄ１側の基準サーチ領域Ｄ２の設定についても任意に補正可能であり、取り込み画像データ全領域１００からはみ出してしまう場合があった。
以上の点を図１７、図１８を用いて説明する。
【００１３】
計測対象基準画像検出領域Ｄ３に対する計測サーチ領域Ｄ４を、Ｄ４-1，Ｄ４-2，Ｄ４-3のように、任意のサイズに設定することが可能である。位置決め用基準画像検出領域Ｄ１の位置ずれによって、新たな位置決め用基準画像検出領域Ｄ１ａを得たとき、Ｄ１からＤ１ａへ向かうベクトルＶと同じベクトルＶを、計測サーチ領域Ｄ４-1，Ｄ４-2，Ｄ４-3に加えることで、新たな計測サーチ領域Ｄ４-1ａ，Ｄ４-2ａ，Ｄ４-3ａを得る。
【００１４】
図１７の場合には、位置決め用基準画像検出領域がＤ１からＤ１ａへと位置ずれし、それに伴って、計測サーチ領域がＤ４−１，Ｄ４−２，Ｄ４−３からＤ４−１ａ，Ｄ４−２ａ，Ｄ４−３ａへと位置ずれ補正されたとする。しかし、ベクトルＶが小さいので、位置ずれ補正後の計測サーチ領域Ｄ４−１ａ，Ｄ４−２ａ，Ｄ４−３ａのすべてがＣＣＤカメラによる取り込み画像データ全領域１００の内部に収まっているので、Ｄ４−１，Ｄ４−２，Ｄ４−３いずれの計測サーチ領域の設定でもトラブルは発生しない。
【００１５】
しかし、図１８の場合には、位置決め用基準画像検出領域Ｄ１から位置決め用基準画像検出領域Ｄ１ａへの位置ずれのベクトルＶが大きく、計測サーチ領域Ｄ４-1，Ｄ４-2，Ｄ４-3から計測サーチ領域Ｄ４-1ａ，Ｄ４-2ａ，Ｄ４-3ａへの位置ずれ補正が、Ｙ方向での最大位置ずれ量ΔＣＹmax を超えるような位置ずれ補正となっている。この場合、位置ずれ補正後の計測サーチ領域Ｄ４-1ａ，Ｄ４-2ａについては、取り込み画像データ全領域１００の内部に収まっているが、位置ずれ補正後の計測サーチ領域Ｄ４-3ａについては、取り込み画像データ全領域１００からはみ出してしまっている。なお、計測対象物や検査対象によっては、Ｘ方向での最大位置ずれ量ΔＣＸmax を超えるような場合も、ＸＹ両方向での最大位置ずれ量ΔＣＸmax ，ΔＣＹmax を超えるような場合もある。しかし、すでに説明したように、従来の技術においては、計測サーチ領域Ｄ４の初期設定において、Ｄ４-1，Ｄ４-2の場合は良いが、Ｄ４-3の場合は良くない、ということが、あらかじめ分からないようになっていた。
【００１６】
以上の説明では、計測対象基準画像検出領域Ｄ３側の、計測サーチ領域Ｄ４の初期設定に限界があるにもかかわらず、その限界を超えて位置ずれ補正されるような初期設定してしまった場合の問題を述べたが、位置決め用基準画像検出領域Ｄ１側の基準サーチ領域Ｄ２の初期設定についても限界があり、その限界を超えて初期設定した場合にも、同様の問題が発生する。
【００１７】
そして、実際の計測実行において検査不能のトラブルが生じて初めて、計測サーチ領域Ｄ４−３の初期設定が良くなかったという計測条件初期設定ミスが判明する。検査不能のトラブルが発生すると、生産ラインがその稼働中に不測にストップするなどの不具合が発生し、再設定を行わなければならないので生産効率の低下を招くという大きな問題がある。
【００１８】
あらかじめ知るようにするためには、ユーザーが机上で計算するなどして、最大位置ずれ量ΔＣＸｍａｘ または／およびΔＣＹｍａｘ を超えるような位置ずれ補正であるのか否かを求めればよいが、そのような計算は非常に面倒である。
【００１９】
なお、特開平７−５７０９６号公報には、サーチ領域を大画像パターンから始めて小画像パターンへと進めるようにし、大画像パターンでサーチ領域の候補を絞り込み、次に中画像パターンでさらにサーチ領域の候補を絞り込み、最後に小画像パターンで最適なサーチ領域を決定するという手法が提案されている。しかし、このような絞り込みの手法では、処理時間が長くなってしまう、特に大画像パターンでの演算に多くの処理時間がかかるという問題がある。
【００２０】
以上のような問題は、計測対象物の位置ずれ補正の大きい計測対象を検査する場合や、位置ずれ補正を必要とする計測対象基準画像検出領域Ｄ３が頻繁に変わる場合において、計測サーチ領域Ｄ４の初期設定（計測条件初期設定）について特に問題となる。
【００２１】
本発明は上記した課題の解決を図るべく創作したものであって、サーチ領域の初期設定が適正か否かを、その初期設定時においてあらかじめチェックすることのできる画像処理装置を提供することを目的としている。
【００２２】
【課題を解決するための手段】
上記した課題の解決を図ろうとする本発明にかかわる請求項１の画像処理装置は、次のような構成となっている。理解を容易にするため後述する実施の形態にかかわる図面で用いた符号を併記して記述する。撮像した計測対象物と、その計測対象物上の検査対象について、それらを撮像して得られた画像データから、
計測対象物に係る基準サーチ領域Ｄ２をサーチすることで、パターンマッチングに対応する位置決め用基準画像検出領域Ｄ１を抽出し、計測対象物に係る基準の位置となる基準位置座標Ｐを検出し、
検査対象に係る計測サーチ領域Ｄ４をサーチすることで、パターンマッチングに対応する計測対象基準画像検出領域Ｄ３を抽出し、検査対象に係る基準の位置となる計測対象位置座標Ｑを検出し、
前記基準位置座標Ｐと計測対象位置座標Ｑとの相対的位置関係から、検査対象の良否を判定する画像処理装置であって、
かつ、
検査対象の良否を判定する際に、位置決め用基準画像検出領域Ｄ１に位置ずれが生じた場合には、計測サーチ領域Ｄ４を位置ずれ補正する画像処理装置において、
位置決め用基準画像検出領域Ｄ１および計測サーチ領域Ｄ４から最大位置ずれ補正量ΔＸ１，ΔＸ２，ΔＹ１，ΔＹ２を算出し、その最大位置ずれ補正量ΔＸ１，ΔＸ２，ΔＹ１，ΔＹ２に基づいて、計測サーチ領域Ｄ４に係る最大位置ずれ補正ウインドウＷ４ max および、位置決め用基準画像検出領域Ｄ１に係る最大位置ずれ補正ウインドウＷ２ max を算出し、
計測サーチ領域Ｄ４および位置決め用基準画像検出領域Ｄ１のそれぞれに係る最大位置ずれ補正ウインドウＷ４ max 、Ｗ２ maxが、取り込み画像データ全領域１００の内部に収まっているか否かを、判定するように構成してある。
この構成によると、次のような作用がある。すなわち、基準サーチ領域Ｄ２および計測サーチ領域Ｄ４の初期設定において、それぞれの最大位置ずれ補正ウインドウＷ２max ，Ｗ４max が、取り込み画像データ全領域１００の内部に収まっているものであるか否かについて、その初期設定の段階ですでにチェックすることができるため、実際の計測実行においては、基準位置座標Ｐの位置ずれが基準サーチ領域Ｄ２の範囲内であればどのような位置ずれであっても、位置ずれ補正後の基準サーチ領域Ｄ２（すなわち最大位置ずれ補正ウインドウＷ２max）や計測サーチ領域Ｄ４（すなわち最大位置ずれ補正ウインドウＷ４max ）が取り込み画像データ全領域１００からはみ出すというトラブルは発生しない。また、最大位置ずれ補正ウインドウＷ２max ，Ｗ４max が、取り込み画像データ全領域１００の内部に収まっているか否かの判定のチェックを、自動的に行えるため、オペレータがいちいち机上で計算するなどして人為的に判断するわずらわしさは生じない。そして、実際の計測実行においてはみ出しのトラブルを生じさせることがなく、生産ラインがその稼働中に不測にストップするなどの不具合の発生を抑制でき、再設定による生産効率の低下は招かないですむ。
【００２３】
本発明にかかわる請求項２の画像処理装置は、撮像した計測対象物と、その計測対象物上の検査対象について、それらを撮像して得られた画像データから、
計測対象物に係る基準サーチ領域（Ｄ２）をサーチすることで、パターンマッチングに対応する位置決め用基準画像検出領域（Ｄ１）を抽出し、計測対象物に係る基準の位置となる基準位置座標（Ｐ）を検出し、
検査対象に係る計測サーチ領域（Ｄ４）をサーチすることで、パターンマッチングに対応する計測対象基準画像検出領域（Ｄ３）を抽出し、検査対象に係る基準の位置となる計測対象位置座標（Ｑ）を検出し、
前記基準位置座標（Ｐ）と計測対象位置座標（Ｑ）との相対的位置関係から、検査対象の良否を判定する画像処理装置であって、
かつ、
検査対象の良否を判定する際に、位置決め用基準画像検出領域（Ｄ１）に位置ずれが生じた場合には、計測サーチ領域（Ｄ４）を位置ずれ補正する画像処理装置において、
位置決め用基準画像検出領域（Ｄ１）および計測サーチ領域（Ｄ４）から最大位置ずれ補正量（ΔＸ１，ΔＸ２，ΔＹ１，ΔＹ２）を算出し、その最大位置ずれ補正量（ΔＸ１，ΔＸ２，ΔＹ１，ΔＹ２）に基づいて、計測サーチ領域（Ｄ４）に係る最大位置ずれ補正ウインドウ（Ｗ４ max ）を算出し、
計測サーチ領域（Ｄ４）に係る最大位置ずれ補正ウインドウ（Ｗ４ max ）が、取り込み画像データ全領域（１００）の内部に収まっているか否かを、判定するように構成したものである。
【００２４】
本発明にかかわる請求項３の画像処理装置は、上記請求項１，２において、前記計測対象物が搬送されるものであり、その搬送経路の所要の検査ポイントに前記計測対象物が到達したことを検出する到達検出手段を備えており、この到達検出手段による検出信号をトリガとして、前記計測対象物の撮像および検査対象の良否の判定を行うように構成してあることを特徴としている。この構成によると、計測対象物が搬送されるものであっても、その検査対象をタイミング良く撮像して、上記の作用を得ることが可能となる。
【００２５】
【発明の実施の形態】
以下、本発明にかかわる画像処理装置の実施の形態を図面に基づいて詳細に説明する。
【００２６】
図１は実施の形態の画像処理装置の電気的構成を示すブロック図である。図１において、符号の１は当該の画像処理装置、２は撮影レンズや絞りなどを含む光学系および固体撮像手段の代表例であるＣＣＤ（電荷結合デバイス）などからなるＣＣＤカメラであり、このＣＣＤカメラ２は、撮影レンズによってＣＣＤ上に光学像を結像し、結像された光学像をＣＣＤで光電変換して電気信号として出力するものである。３はＣＣＤカメラ２からのアナログの映像信号（ＣＣＤ出力信号）をディジタル化して画像データに変換するＡ／Ｄ変換器、４はＣＣＤカメラ２、Ａ／Ｄ変換器３およびフレームメモリ５に対してタイミング信号を出力して画像データの取得のタイミング制御を行うとともに、フレームメモリ５およびＤ／Ａ変換器１１に対してタイミング信号を出力して取得の映像信号の表示のタイミング制御を行うカメラ・表示コントローラ、５は画像データ一時記憶手段の一例としてのフレームメモリ、６はシステム全体の制御を司る制御手段の一例としてのＣＰＵ（中央演算処理装置）、７はＣＰＵ６による演算・制御等のためのプログラムを格納しているＲＯＭ（リードオンリーメモリ）、８はＣＰＵ６の演算・制御等を補助するとともにデータを格納するＲＡＭ（ランダムアクセスメモリ）、９は外部との間でデータや制御信号の入出力を行う入出力インターフェイス、１０はＣＰＵ６、ＲＯＭ７、ＲＡＭ８、カメラ・表示コントローラ４、フレームメモリ６および入出力インターフェイス９を接続するバス、１１はフレームメモリ５からカメラ・表示コントローラ４を介しての画像データをアナログの映像信号に変換するＤ／Ａ変換器、１２は画像処理装置１に図示しないインターフェイスおよびケーブルを介して接続されているＣＲＴ（陰極線管）や液晶ディスプレイ（ＬＣＤ）などのモニタである。フレームメモリ５は、少なくとも１フレーム分以上の画像データを蓄積できる画像メモリであって、ＶＲＡＭ、ＳＲＡＭ、ＤＲＡＭなどが一般的に使用されるが、ここではバス１０とは独立動作可能なＶＲＡＭを使用しているものとする。なお、カメラ・表示コントローラ４とフレームメモリ５とはパラレルなバスラインを介して接続されている。また、入出力インターフェイス９には、ＲＡＭ８に必要な初期値、判定基準等のためのパラメータ、しきい値、その他の条件、必要なデータなどを設定入力したり、必要な指示を与えたりするためのワイヤードリモコンなどの入力操作部１３や画像処理装置１の内部の状況や判断結果などをオペレータや作業者に知らせるための警報器１４やインジケータをそれぞれ個別のケーブルを介して接続することが可能となっている。なお、ワイヤードリモコンに代えてワイヤレスリモコンを用いることも可能とし、この場合は、リモコン受信機の出力端子を入出力インターフェイス９に接続するものとする。警報器１４としては、ＬＥＤ（発光ダイオード）、蛍光表示管その他任意の発光素子、灯器、あるいはブザーなどの鳴動器が適用可能とする。さらに、入出力インターフェイス９には、必要な外部記憶装置１５を接続することができるものとする。その外部記憶装置１５としては、ハードディスクドライブなどの磁気記録デバイス、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃｓ）ディスクドライブやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）‐ＲＡＭドライブなどの光磁気記録デバイス、フラッシュメモリ、ＥＥＰＲＯＭその他の不揮発性メモリなどの半導体記憶デバイスなどがあり、さらにはＶＴＲ（ビデオテープレコーダ）などでもよいものとする。
【００２７】
図２は上記構成の画像処理装置１を適用する生産ライン検査システム２０の概要を示す。図２において、符号の２１は計測対象物３０を搬送するコンベヤなどの搬送手段、２２は搬送手段２１の近傍で搬送されていく計測対象物３０の到達を検出するための到達検出手段の一例としての光電センサであり、検査ポイントＤＰに配置されている。光電センサ２２はケーブル２３を介して画像処理装置１の入出力インターフェイス９に接続されている。なお、説明の便宜上、図２においては、ＣＣＤカメラ２を画像処理装置１の外側に出して描いているが、実際には、ＣＣＤカメラ２は画像処理装置１と一体となっている。もっとも、ＣＣＤカメラ２を画像処理装置１とは別体構成とし、両者をケーブルで接続した態様としてもよい。Ｘは搬送手段２１による搬送方向を示す。
【００２８】
図２においては、計測対象物３０として、容器本体３１にキャップ３２を封着しているとともに、容器本体３１にラベル４０が貼り付けられた容器３０が示されている。なお、容器３０としてはガラスビン、ペットボトルなどのプラスチック容器、紙パック容器、アルミ缶など何であってもよい。また、容器３０の内容物としては液体、粘体、粉体、粒体など何であってもよい。ラベル４０は、商品名やデザインを付したもの、商品の仕様・性状等を記載したものなど何であってもよい。ラベル４０の形状については、長方形、正方形、楕円形、円形、その他何であってもよいが、ここでは、四角形であるとしておく。さらには、後に説明するが、計測対象物３０としては、何も容器に限る必要はなく、画像処理による検査が可能なものであれば、どのようなものを検査対象としてもよいことを付記しておく。ここでの容器３０は一例にすぎない。
【００２９】
次に、上記のように構成された実施の形態の場合の生産ライン検査システム２０に適用された画像処理装置１の動作を説明する。
【００３０】
駆動されている搬送手段２１によって複数の計測対象物３０が所定の間隔を隔てて連続的に搬送されていく。検査ポイントＤＰに達した計測対象物３０があると、その検査ポイントＤＰに設置されている到達検出手段２２が動作する。到達検出手段２２が光電センサの場合は、次のような動作となる。光電センサ２２は、レーザーダイオードなどの発光素子とフォトダイオードなどの受光素子からなり、発光素子から出射したレーザービームなどが計測対象物３０に当たって反射し、その反射光を受光素子で捕捉し、電気信号に変換し増幅することにより到達検出を行う。
【００３１】
計測対象物３０が検査ポイントＤＰに到達したことを到達検出手段２２が検出すると、到達検出手段２２はその検出信号をトリガ信号として画像処理装置１に送出する。画像処理装置１においては、その入出力インターフェイス９を介して入力されてきたトリガ信号がバス１０を介してＣＰＵ６に与えられる。ＣＰＵ６はトリガ信号を入力すると、カメラ・表示コントローラ４に起動信号を出力する。カメラ・表示コントローラ４は起動信号を入力すると、ＣＣＤカメラ２、Ａ／Ｄ変換器３、フレームメモリ５およびＤ／Ａ変換器１１に対してタイミング信号を出力する。
【００３２】
ＣＣＤカメラ２におけるＣＣＤはタイミング信号を入力すると、その電子シャッタを開き作動させ、被写体である計測対象物３０を撮像する。すなわち、計測対象物３０の光学像が撮像レンズを介してＣＣＤの表面に結像し、ＣＣＤはその光学像を信号電荷として蓄積しているが、タイミング信号を入力すると、感光部のフォトダイオードから垂直転送ＣＣＤへの転送および垂直転送ＣＣＤから水平転送ＣＣＤへの転送を行い、出力アンプを介して映像信号として出力する。Ａ／Ｄ変換器３はタイミング信号の入力によって起動し、ＣＣＤカメラ２から入力したアナログの映像信号（ＣＣＤ出力信号）をディジタルの画像データに変換する。このＡ／Ｄ変換器３のビット数を例えば８ビットとすると、画像データは２５６階調となる。フレームメモリ５はタイミング信号を入力し、Ａ／Ｄ変換器３と同期をとった状態でＡ／Ｄ変換器３からの１フレーム分の画像データを格納する。なお、８ビットについては、一例にすぎなくて、仕様に応じて適宜に変更してよいことはいうまでもない。
【００３３】
カメラ・表示コントローラ４は、フレームメモリ５への画像データの書き込みと並行して、その書き込んだ画像データをフレームメモリ５から読み出し、Ｄ／Ａ変換器１１に転送する。Ｄ／Ａ変換器１１は、転送されてきた画像データをアナログの映像信号に変換し、モニタ１２に出力する。なお、モニタ１２に至る映像信号は、図示しない所要のビデオエンコーダなどによりＮＴＳＣ方式などモニタ１２に適合した所要のフォーマットに変換されているものとする。このようにして、計測対象物３０の到達を検出した時点から、その計測対象物３０を被写体像とする映像をモニタ１２にリアルタイムに映出する。
【００３４】
カメラ・表示コントローラ４は１フレーム分の画像データのフレームメモリ５に対する書き込みが完了すると、その書き込み完了信号をＣＰＵ６に出力する。その書き込み完了信号を入力したＣＰＵ６は、ＲＯＭ７から読み出したプログラムおよびＲＡＭ８から読み出した画像処理演算用条件に従って、フレームメモリ５をアクセスし、フレームメモリ５に格納されている１フレーム分の画像データを読み出す。そして、１画素単位または複数画素の集合であるブロック単位で所要の画像処理のための演算を実行し、判定のための演算結果をＲＡＭ８にストアする。次に、その演算結果とＲＡＭ８から読み出した判定基準との比較を行い、演算結果が正常であるか否かを判定する。
【００３５】
ＲＡＭ８には、あらかじめ入力操作部１３から入出力インターフェイス９およびバス１０を介して画像処理演算用条件や判定基準が設定登録されている。画像処理演算用条件としては、パターンマッチングのための基準サーチ領域Ｄ２や計測サーチ領域Ｄ４の座標データなどがある。判定基準としては、テンプレート画像データなどがある。
【００３６】
具体的な検査対象の良否判定時の画像処理は、次のとおりである。図３はパターンマッチングの動作説明図である。図３において、符号の５０は図２に示す計測対象物、すなわち、容器３０についての画像データである容器画像、５１は容器本体３１についての画像データである容器本体画像、６０はキャップ３２についての画像データであるキャップ画像、７０はラベル４０についての画像データであるラベル画像、８０は背景画像である。図３に示すように、ＣＣＤカメラによって撮像され、フレームメモリ５に格納されている取り込み画像データ全領域１００において、基準サーチ領域Ｄ２を高速サーチしてキャップ画像６０らしきものを見いだし、ＲＡＭ８から読み出したキャップ画像左上角部に相当するテンプレート画像データと画素比較することのパターンマッチングに基づいて、位置決め用基準画像検出領域Ｄ１を抽出し、キャップ画像６０の左上角部である基準位置座標Ｐ（Ｘ0 ，Ｙ0 ）を検出する。
【００３７】
次に、上記で検出した基準位置座標Ｐ（Ｘ０ ，Ｙ０ ）に基づいて計測サーチ領域Ｄ４を取り込み画像データ全領域１００上に設定する。すなわち、基準サーチ領域Ｄ２の座標と計測サーチ領域Ｄ４の座標との差分に相当する水平方向の変位量ΔＸと垂直方向の変位量ΔＹとを演算によって算出し、基準サーチ領域Ｄ２から変位量ΔＸ，ΔＹの変位を行った座標を起点として計測サーチ領域Ｄ４を設定する。
【００３８】
そして、計測サーチ領域Ｄ４において高速サーチを行い、容器本体画像５１と背景画像８０との境界８１を含んでいることを確認した上で、ラベル画像７０らしきものを見いだし、ＲＡＭ８から読み出したラベル画像右下角部に相当するテンプレート画像データと画素比較することのパターンマッチングに基づいて、計測対象基準画像検出領域Ｄ３を抽出し、その計測対象基準画像検出領域Ｄ３での両者の画像データの一致度を算出し、その一致度が所定のしきい値以上となっているか否かを判断し、しきい値以上となっているときは欠陥無しすなわち位置ずれ無しと判定し、しきい値未満のときは欠陥有りすなわち位置ずれ有りと判定する。また、一致度が所定値以下（この所定値は前記のしきい値よりかなり低く設定されている）のときは、ラベルが貼り付けられていないものと判定する。図３の場合は、ラベル画像７０が容器本体画像５１に対して適正な位置にあると判断される。すなわち、計測対象物３０においてラベル４０が容器本体３１に対して適正な位置関係で貼り付けられていることになる。
【００３９】
図４の場合は、取り込み画像データ全領域１００において容器画像５０、容器本体画像５１、キャップ画像６０、ラベル画像７０が図３よりも水平方向にΔＣＸ、垂直方向にΔＣＹずれている。図４において、図３の状態を二点鎖線で表している。すなわち、図４の位置決め用基準画像検出領域Ｄ１ａは図３の位置決め用基準画像検出領域Ｄ１より（ΔＣＸ，ΔＣＹ）だけずれている。そして、図４の計測対象基準画像検出領域Ｄ３ａは図３の計測対象基準画像検出領域Ｄ３より同じく（ΔＣＸ，ΔＣＹ）だけずれている。しかし、容器本体画像５１に対するラベル画像７０の相対位置関係は同じであるので、計測対象基準画像検出領域Ｄ３ａによる計測対象位置座標Ｑａ（Ｘ１ａ，Ｙ１ａ）は適正なものであり、ラベルの貼り付け位置が正常であると判定する。なお、位置決め用基準画像検出領域Ｄ１ａと計測対象基準画像検出領域Ｄ３ａとの相対位置関係が図３の場合のそれと同じになっている。
【００４０】
図５の場合、計測対象基準画像検出領域Ｄ３ｂにおける計測対象位置座標Ｑｂ（Ｘ１ｂ，Ｙ１ｂ）が適正でない。それは、容器本体画像５１に対するラベル画像７０の相対位置関係が正規の位置関係よりずれているためである。つまり、距離α１ が正規の距離α０ に比べて過剰となっている。この場合、ラベルの貼り付け位置について欠陥有りと判定する。なお、位置決め用基準画像検出領域Ｄ１と計測対象基準画像検出領域Ｄ３ｂとの相対位置関係が図３の場合のそれとは異なっている。
【００４１】
図６の場合、位置決め用基準画像検出領域Ｄ１ａは図４と同様になっている。しかし、計測対象基準画像検出領域Ｄ３ｃにおける計測対象位置座標Ｑｃ（Ｘ１ｃ，Ｙ１ｃ）が適正でない。それは、容器本体画像５１に対するラベル画像７０の相対位置関係が正規の位置関係よりずれているためである。つまり、距離α２ が正規の距離α０ に比べて過小となっている。この場合、ラベルの貼り付け位置について欠陥有りと判定する。なお、位置決め用基準画像検出領域Ｄ１ａと計測対象基準画像検出領域Ｄ３ｃとの相対位置関係が図４の場合のそれとは異なっている。
【００４２】
上記の説明では、容器本体画像５１に対するラベル画像７０の相対位置関係がＸ方向で不適正な場合を述べたが、Ｙ方向で不適正となる場合もある。すなわち、距離β０ に対して過剰または過小となることがある。
【００４３】
以上のようなパターンマッチングによる画像処理の結果は、カメラ・表示コントローラ４およびＤ／Ａ変換器１１を介してモニタ１２に表示される。図３〜図６は画像データについてのものであるが、モニタ１２に表示される内容も参考のために併記してある。すなわち、計測対象基準画像検出領域Ｄ３における一致度と、計測対象位置座標ＱのＸ座標値およびその判定結果（ＯＫまたはＮＧ（Ｎｏ Ｇｏｏｄ））ならびにＹ座標値およびその判定結果（ＯＫまたはＮＧ）であり、これらがモニタ１２に表示されるのである。ラベルの貼り付け位置について欠陥有りのときは、ＣＰＵ６は、バス１０および入出力インターフェイス９を介して外部の警報器１４を作動させる。ラベルの貼り付け無しの場合も同様である。また、ラベルの貼り付け位置の不良または貼り付け無しの場合には、その欠陥の画像データとともに判定結果をバス１０および入出力インターフェイス９を介して外部記憶装置１５に転送格納する。なお、その外部記憶装置１５としては、前述のように、ハードディスクやＭＯディスクやＤＶＤ‐ＲＡＭやＥＥＰＲＯＭやフラッシュメモリなどがある。
【００４４】
次に、図７〜図１５に基づいて、基準サーチ領域Ｄ２および計測サーチ領域Ｄ４の、本願特有の初期設定の処理について説明する。この処理は、上述のパターンマッチングによるラベルの貼り付け位置の良否および貼り付け有無の判定の前段階のものであることはいうまでもない。
【００４５】
（１）まず、図７に示すように、妥当な位置決めであると思われる位置に、実線矩形で図示した位置決め用基準画像検出領域Ｄ１を設定する。この設定は、図示しない外部の入力操作部１３を操作することにより行われ、その操作によるデータは入出力インターフェイス９およびバス１０を介してＲＡＭ８に設定登録されることになる。この処理はＣＰＵ６が実行することはいうまでもない。なお、１００は取り込み画像データ全領域、６０はキャップ画像、７０はラベル画像、Ｏは取り込み画像データ全領域１００についての原点である。
【００４６】
なお、ここでは、ＲＡＭ８は充分に大きな記憶容量をもっているものとし、かつ、電源をオフしても記憶内容が消えないように、ＲＡＭ８に対してバックアップを行っているものとする。そのバックアップは、例えばリチウム電池でもよいし、大容量のキャパシタでもよい。なお、ＲＡＭ８に代えて、バス１０に接続したＥＥＰＲＯＭ１６に各種のデータを保存するようにしてもよい。むしろ、その方が良い場合があり得る。以下では、「ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段」と記述することとする。
【００４７】
（２）次に、図８に示すように、破線矩形で図示した計測サーチ領域Ｄ４を、妥当な位置決めであると思われる位置に設定する。計測サーチ領域Ｄ４は、ラベル画像７０の右下角部を含むとともに、容器本体画像５１と背景画像８０との境界８１を含むように設定する。この設定についても、上記（１）と同様に行われる。
【００４８】
（３）次に、図９に示すように、上記の設定した位置決め用基準画像検出領域Ｄ１と計測サーチ領域Ｄ４とキャップ画像６０の領域とラベル画像７０の領域と取り込み画像データ全領域１００とから、＋Ｘ方向、−Ｘ方向、＋Ｙ方向、−Ｙ方向のそれぞれについての最大位置ずれ補正量ΔＸ１，ΔＸ２，ΔＹ１，ΔＹ２を算出する。
【００４９】
まず、−Ｘ方向の最大位置ずれ補正量ΔＸ１については、計測サーチ領域Ｄ４の左端Ｘ座標とラベル画像７０の左端Ｘ座標との差分として求める。
【００５０】
＋Ｘ方向の最大位置ずれ補正量ΔＸ２については、位置決め用基準画像検出領域Ｄ１の右端Ｘ座標とキャップ画像６０の右端Ｘ座標との差分として求める。
【００５１】
−Ｙ方向の最大位置ずれ補正量ΔＹ１については、位置決め用基準画像検出領域Ｄ１の上端Ｙ座標と取り込み画像データ全領域１００の原点ＯのＹ座標との差分として求める。
【００５２】
＋Ｙ方向の最大位置ずれ補正量ΔＹ２については、計測サーチ領域Ｄ４の下端Ｙ座標と取り込み画像データ全領域１００のＹ方向終端のＹ座標との差分として求める。
【００５４】
（４）次に、図１１に示すように、計測サーチ領域Ｄ４に対して、上記の最大位置ずれ補正量ΔＸ１，ΔＸ２，ΔＹ１，ΔＹ２を加味し、二点鎖線矩形で図示した最大位置ずれ補正ウインドウＷ４max を算出する。
【００５５】
すなわち、計測サーチ領域Ｄ４の四隅の座標をそれぞれ、
Ａ（Ｘａ，Ｙａ）、Ｂ（Ｘｂ，Ｙｂ）、Ｃ（Ｘｃ，Ｙｃ）、Ｄ（Ｘｄ，Ｙｄ）
とし、最大位置ずれ補正ウインドウＷ４ｍａｘ の四隅の座標をそれぞれ、
Ｅ（Ｘｅ，Ｙｅ）、Ｆ（Ｘｆ，Ｙｆ）、Ｇ（Ｘｇ，Ｙｇ）、Ｈ（Ｘｈ，Ｙｈ）
とすると、座標Ｅ（Ｘｅ，Ｙｅ）については、
Ｘｅ＝Ｘａ−ΔＸ１ ………………………………………………（９）
Ｙｅ＝Ｙａ−ΔＹ１ ………………………………………………（１０）
として算出し、座標Ｆ（Ｘｆ，Ｙｆ）については、
Ｘｆ＝Ｘｂ＋ΔＸ２ ………………………………………………（１１）
Ｙｆ＝Ｙｂ−ΔＹ１ ………………………………………………（１２）
として算出し、座標Ｇ（Ｘｇ，Ｙｇ）については、
Ｘｇ＝Ｘｃ−ΔＸ１ ………………………………………………（１３）
Ｙｇ＝Ｙｃ＋ΔＹ２ ………………………………………………（１４）
として算出し、座標Ｈ（Ｘｈ，Ｙｈ）については、
Ｘｈ＝Ｘｄ＋ΔＸ２ ………………………………………………（１５）
Ｙｈ＝Ｙｄ＋ΔＹ２ ………………………………………………（１６）
として算出する。
【００５６】
（５）次に、上記で算出した最大位置ずれ補正ウインドウＷ４max が、ＣＣＤカメラ２による取り込み画像データ全領域１００の内部に、収まっているか否かをチェックする。
【００５７】
図１１の場合には、最大位置ずれ補正ウインドウＷ４ｍａｘ が取り込み画像データ全領域１００の内部に収まっていると判定されるが、図１２のように取り込み画像データ全領域１００に対して最大位置ずれ補正ウインドウＷ４ｍａｘ がＸ方向ではみ出したり、図１３のように取り込み画像データ全領域１００に対して最大位置ずれ補正ウインドウＷ４ｍａｘ がＹ方向ではみ出したりしたときは、収まっていないと判断される。
【００５８】
（６）収まっていないと判断したときは、ＣＰＵ６は警告信号を出力する。その警告信号は、バス１０および入出力インターフェイス９を介して外部に接続された警報器１４に送出され、その警報器１４を動作させることにより、オペレータに対して、計測サーチ領域Ｄ４の設定が良くないことを警告し、再設定すべきことを促す。
【００５９】
設定ミスの警告を知ったオペレータは、上記の（１）からの設定のし直しを行うことになる。
【００６０】
（７）なお、計測サーチ領域Ｄ４が、図１４のように複数ある場合には、すべての計測サーチ領域Ｄ４について上記の処理が終了したか否かをチェックし、終了していないときは、上記の（２）からの処理を繰り返す。
【００６１】
（８）以上のすべての処理が終了すると、図１５に示すように、位置決め用基準画像検出領域Ｄ１についての最大位置ずれ補正ウインドウＷ２ max を、最大位置ずれ補正量ΔＸ１，ΔＸ２，ΔＹ１，ΔＹ２に基づいて設定する。
【００６２】
すなわち、位置決め用基準画像検出領域Ｄ１の四隅の座標をそれぞれ、Ｉ（Ｘｉ，Ｙｉ）、Ｊ（Ｘｊ，Ｙｊ）、Ｋ（Ｘｋ，Ｙｋ）、Ｍ（Ｘｍ，Ｙｍ）とし、位置決め用基準画像検出領域Ｄ１についての最大位置ずれ補正ウインドウＷ２max の四隅の座標を、それぞれ、Ｑ（Ｘｑ，Ｙｑ）、Ｒ（Ｘｒ，Ｙｒ）、Ｓ（Ｘｓ，Ｙｓ）、Ｔ（Ｘｔ，Ｙｔ）とすると、座標Ｑ（Ｘｑ，Ｙｑ）については、
Ｘｑ＝Ｘｉ−ΔＸ１ ………………………………………………（17）
Ｙｑ＝Ｙｉ−ΔＹ１ ………………………………………………（18）
として算出し、座標Ｒ（Ｘｒ，Ｙｒ）については、
Ｘｒ＝Ｘｊ＋ΔＸ２ ………………………………………………（19）
Ｙｒ＝Ｙｊ−ΔＹ１ ………………………………………………（20）
として算出し、座標Ｓ（Ｘｓ，Ｙｓ）については、
Ｘｓ＝Ｘｋ−ΔＸ１ ………………………………………………（21）
Ｙｓ＝Ｙｋ＋ΔＹ２ ………………………………………………（22）
として算出し、座標Ｔ（Ｘｔ，Ｙｔ）については、
Ｘｔ＝Ｘｍ＋ΔＸ２ ………………………………………………（23）
Ｙｔ＝Ｙｍ＋ΔＹ２ ………………………………………………（24）
として算出する。この最大位置ずれ補正ウインドウＷ２ max は、実は、位置決め用基準画像検出領域Ｄ１についての基準サーチ領域Ｄ２となっている。そして、この最大位置ずれ補正ウインドウＷ２max も必然的に取り込み画像データ全領域１００の内部に収まっていることになる。
【００６３】
以上の処理によって初期設定が完了したことになり、位置決め用基準画像検出領域Ｄ１についての最大位置ずれ補正ウインドウＷ２max が、ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に設定され、計測サーチ領域Ｄ４についての最大位置ずれ補正ウインドウＷ４max が、ＲＡＭ８やＥＥＰＲＯＭ１６などの記憶手段に設定されることになる。続いては、図３に示したような実際の計測実行に進む。
【００６４】
以上のように、基準サーチ領域Ｄ２および計測サーチ領域Ｄ４の初期設定において、最大位置ずれ補正ウインドウＷ２ｍａｘ ，Ｗ４ｍａｘ が取り込み画像データ全領域１００の内部に収まっているか否かの判定を、その初期設定の段階ですでにチェックすることができるため、実際の計測実行においては、計測対象の位置ずれが基準サーチ領域Ｄ２の範囲内であればどのような位置ずれであっても、位置ずれ補正後の基準サーチ領域Ｄ２や計測サーチ領域Ｄ４が取り込み画像データ全領域１００からはみ出すというトラブルは発生しない。また、最大位置ずれ補正ウインドウＷ２ｍａｘ ，Ｗ４ｍａｘ が取り込み画像データ全領域１００の内部に収まっているか否かの判定のチェックが自動的に行われるため、オペレータがいちいち机上で計算するなどして人為的に判断するわずらわしさは生じない。
【００６５】
そして、実際の計測実行でのはみ出しのトラブルの発生を予防できるので、生産ラインがその稼働中で不測にストップするなどの不具合の発生を抑制でき、再設定による生産効率の低下は招かないですむ。
【００６６】
以上のＣＰＵ６による動作の概要を図１６のフローチャートに示しておく。
【００６７】
以上、一つの実施の形態について説明してきたが、本発明は次のように構成したものも含み得るものとする。
【００６８】
（１）フレームメモリ５に代えてフィールドメモリでもよいし、その他のメモリでもよい。
【００６９】
（２）すでに述べたことであるが、画像処理演算用条件や判定基準を格納する記憶エリアとして、ＲＡＭ８に代えて、図１で二点鎖線で示したＥＥＰＲＯＭ１６やフラッシュメモリその他の不揮発性メモリを用いてもよい。この場合、その不揮発性メモリは画像処理装置１の内部においてバス１０に接続しておくのでもよいし、入出力インターフェイス９を介して外部に接続するのでもよい。
【００７０】
（３）フレームメモリ５をシステムメモリとしてのＲＡＭ８と共用することも可能である。
【００７１】
（４）計測対象物３０が所定の検査ポイントＤＰに到達したことを検出する到達検出手段については、上記の実施の形態の光電センサ２２に代えて、ＣＣＤカメラ２で撮像して得られた画像データの画像処理に基づいて、すなわち画像データに対して到達検出用のサーチウインドウを設定して、ソフトウェア的に到達検出を判定するように構成してもよい。
【００７２】
（５）計測対象物３０としては何も容器に限る必要はなく、また、検査対象としては何もラベルの貼り付け位置や貼り付けの有無に限る必要はなく、画像処理による検査が可能なものであれば、どのようなものを検査対象としてもよい。半製品または製品に印刷されている印刷内容の印刷位置の良否の判定あるいは印刷有無の判定でもよいし、半導体チップのピンの位置の良否の判定、プリント基板上に実装された電子部品の配置の良否の判定、搬送用のトレイに載置されている複数の部品の配置の良否の判定など何であってもよい。
【００７３】
（６）カメラ・表示コントローラ４は、フレームメモリ５への画像データの書き込みと並行して、その書き込んだ画像データをフレームメモリ５から読み出し、Ｄ／Ａ変換器１１に転送し、モニタ１２に映像をリアルタイムで表示したが、このようなリアルタイムの表示はしなくてもよい。つまり、モニタ１２を位置ずれ有りのときだけリアルタイムに表示動作させるようにしてもよいし、あるいはそれもなくして、位置ずれ有りの欠陥の原因究明のときにだけ用いるようにすることも可能である。
【００７４】
（７）位置ずれ有りなどの欠陥有りのときの画像データ等の保存に際しては、画像データを圧縮してから保存するように構成してもよい。この場合、表示に際しては画像伸張して表示するものとする。
【００７５】
（８）欠陥有りのときの画像データ等の保存を行う外部記憶装置１５に代えて、同様な不揮発性メモリを画像処理装置１の内部に設けてもよい。また、ＲＡＭ８またはフレームメモリ５の容量を大きくして、それらに画像データ等の保存を行うように構成してもよい。
【００７６】
（９）モデムカードやＩＳＤＮカードを利用して公衆回線あるいは専用回線を介して画像データ等を遠隔の端末に送出するように構成することも可能である。
【００７７】
（１０）その他本発明の要旨と直接に関係しない任意の事項については、公知の任意のものが適用可能であり、また、公知以外のものであっても、本発明の要旨を逸脱しない範囲において適用可能であることはいうまでもない。
【００７８】
上記の（１）〜（１０）は互いに独立した事項であり、これらのうち任意の事項を任意数適当に組み合わせてもよきものとする。
【００７９】
【発明の効果】
画像処理装置についての請求項１又は２の発明によれば、基準サーチ領域および計測サーチ領域の初期設定において、それぞれの最大位置ずれ補正ウインドウが、取り込み画像データ全領域に収まっているものであるか否かのチェックを、その初期設定の際に自動的に行うことができる。すなわち、サーチ領域の初期設定が適正か否かを、その初期設定時においてあらかじめチェックすることができ、オペレータがいちいち机上で計算するなどして、人為的に判断するわずらわしさをなくせるとともに、実際の計測実行において最大位置ずれ補正が発生したときでも、はみ出しのトラブルを生じさせることがなく、生産ラインがその稼働中に不測にストップするなどの不具合の発生を抑制でき、再設定による生産効率の低下を招かないですむ。
【００８０】
請求項３の発明によれば、生産ライン等で搬送される計測対象物について、計測対象物をタイミング良く撮像し、その検査対象の良否判定を効率良く行えるので、計測対象物が搬送されるものであっても、上記請求項１と同様の効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態の画像処理装置の電気的構成を示すブロック図
【図２】実施の形態の画像処理装置を適用する生産ライン検査システムの概要の説明図
【図３】実施の形態の生産ライン検査システムでの画像処理装置によるパターンマッチングの動作説明図（位置ずれ無しの場合）
【図４】上記画像処理装置によるパターンマッチングの動作説明図（図３に対する位置ずれ補正の場合）
【図５】上記画像処理装置によるパターンマッチングの動作説明図（図３に対応し、位置ずれ有りの場合）
【図６】上記画像処理装置によるパターンマッチングの動作説明図（図４に対応し、位置ずれ有りの場合）
【図７】上記画像処理装置による初期設定での位置決め用基準画像検出領域の設定の説明図
【図８】上記画像処理装置による初期設定での計測サーチ領域の設定の説明図
【図９】上記画像処理装置による初期設定での最大位置ずれ補正量の算出の説明図
【図１０】上記画像処理装置による初期設定での計測対象基準画像検出領域の設定の説明図
【図１１】上記画像処理装置による初期設定での計測サーチ領域側の最大位置ずれ補正ウインドウの算出の説明図
【図１２】上記画像処理装置による初期設定での計測サーチ領域側の最大位置ずれ補正ウインドウが取り込み画像データ全領域をＸ方向にはみ出したときの説明図
【図１３】上記画像処理装置による初期設定での計測サーチ領域側の最大位置ずれ補正ウインドウが取り込み画像データ全領域をＹ方向にはみ出したときの説明図
【図１４】上記画像処理装置による初期設定での計測サーチ領域側の最大位置ずれ補正ウインドウを複数算出する場合の説明図
【図１５】上記画像処理装置による初期設定での基準サーチ領域側の最大位置ずれ補正ウインドウの算出の説明図
【図１６】上記画像処理装置による初期設定の動作を示す概略のフローチャート
【図１７】従来の技術の問題を指摘するためのものであって、計測サーチ領域の複数の設定の仕方を示すとともに、位置ずれ補正によっても取り込み画像データ全領域からはみ出さない場合の説明図
【図１８】従来の技術の問題を指摘するためのものであって、計測サーチ領域の複数の設定の仕方を示すとともに、最大位置ずれ補正のために取り込み画像データ全領域からはみ出す場合の説明図
【符号の説明】
１…画像処理装置、２…ＣＣＤカメラ、３…Ａ／Ｄ変換器、４…カメラ・表示コントローラ、５…フレームメモリ、６…ＣＰＵ、７…ＲＯＭ、８…ＲＡＭ、９…入出力インターフェイス、１０…バス、１１…Ｄ／Ａ変換器、１２…モニタ、１３…入力操作部、１４…警報器、１５…外部記憶装置、１６…ＥＥＰＲＯＭ、２０…生産ライン検査システム、２１…搬送手段、２２…到達検出手段（光電センサ）、２３…ケーブル、３０…計測対象物（容器）、３１…容器本体、３２…キャップ、４０…ラベル、５０…容器画像、５１…容器本体画像、６０…キャップ画像、７０…ラベル画像、８０…背景画像、１００…取り込み画像データ全領域、ＤＰ…検査ポイント、Ｄ１…位置決め用基準画像検出領域、Ｄ２…基準サーチ領域、Ｄ３…計測対象基準画像検出領域、Ｄ４…計測サーチ領域、Ｐ…基準位置座標、Ｑ…計測対象位置座標、ΔＸ１，ΔＸ２，ΔＹ１，ΔＹ２…最大位置ずれ補正量、Ｗ２ｍａｘ …位置決め用基準画像検出領域側の最大位置ずれ補正ウインドウ、Ｗ４ｍａｘ …計測対象基準画像検出領域側の最大位置ずれ補正ウインドウ
Claims (3)
- 撮像した計測対象物と、その計測対象物上の検査対象について、それらを撮像して得られた画像データから、
計測対象物に係る基準サーチ領域（Ｄ２）をサーチすることで、パターンマッチングに対応する位置決め用基準画像検出領域（Ｄ１）を抽出し、計測対象物に係る基準の位置となる基準位置座標（Ｐ）を検出し、
検査対象に係る計測サーチ領域（Ｄ４）をサーチすることで、パターンマッチングに対応する計測対象基準画像検出領域（Ｄ３）を抽出し、検査対象に係る基準の位置となる計測対象位置座標（Ｑ）を検出し、
前記基準位置座標（Ｐ）と計測対象位置座標（Ｑ）との相対的位置関係から、検査対象の良否を判定する画像処理装置であって、
かつ、
検査対象の良否を判定する際に、位置決め用基準画像検出領域（Ｄ１）に位置ずれが生じた場合には、計測サーチ領域（Ｄ４）を位置ずれ補正する画像処理装置において、
位置決め用基準画像検出領域（Ｄ１）および計測サーチ領域（Ｄ４）から最大位置ずれ補正量（ΔＸ１，ΔＸ２，ΔＹ１，ΔＹ２）を算出し、その最大位置ずれ補正量（ΔＸ１，ΔＸ２，ΔＹ１，ΔＹ２）に基づいて、計測サーチ領域（Ｄ４）に係る最大位置ずれ補正ウインドウ（Ｗ４ max ）および、位置決め用基準画像検出領域（Ｄ１）に係る最大位置ずれ補正ウインドウ（Ｗ２ max ）を算出し、
計測サーチ領域（Ｄ４）および位置決め用基準画像検出領域（Ｄ１）のそれぞれに係る最大位置ずれ補正ウインドウ（Ｗ４ max 、Ｗ２ max ）が、取り込み画像データ全領域（１００）の内部に収まっているか否かを、判定するように構成したことを特徴とする画像処理装置。 - 撮像した計測対象物と、その計測対象物上の検査対象について、それらを撮像して得られた画像データから、
計測対象物に係る基準サーチ領域（Ｄ２）をサーチすることで、パターンマッチングに対応する位置決め用基準画像検出領域（Ｄ１）を抽出し、計測対象物に係る基準の位置となる基準位置座標（Ｐ）を検出し、
検査対象に係る計測サーチ領域（Ｄ４）をサーチすることで、パターンマッチングに対応する計測対象基準画像検出領域（Ｄ３）を抽出し、検査対象に係る基準の位置となる計測対象位置座標（Ｑ）を検出し、
前記基準位置座標（Ｐ）と計測対象位置座標（Ｑ）との相対的位置関係から、検査対象の良否を判定する画像処理装置であって、
かつ、
検査対象の良否を判定する際に、位置決め用基準画像検出領域（Ｄ１）に位置ずれが生じた場合には、計測サーチ領域（Ｄ４）を位置ずれ補正する画像処理装置において、
位置決め用基準画像検出領域（Ｄ１）および計測サーチ領域（Ｄ４）から最大位置ずれ補正量（ΔＸ１，ΔＸ２，ΔＹ１，ΔＹ２）を算出し、その最大位置ずれ補正量（ΔＸ１，ΔＸ２，ΔＹ１，ΔＹ２）に基づいて、計測サーチ領域（Ｄ４）に係る最大位置ずれ補正ウインドウ（Ｗ４ max ）を算出し、
計測サーチ領域（Ｄ４）に係る最大位置ずれ補正ウインドウ（Ｗ４ max ）が、取り込み画像データ全領域（１００）の内部に収まっているか否かを、判定するように構成したことを特徴とする画像処理装置。 - 前記計測対象物が搬送されるものであり、その搬送経路の所要の検査ポイントに前記計測対象物が到達したことを検出する到達検出手段を備えており、この到達検出手段による検出信号をトリガとして、前記計測対象物の撮像および検査対象の良否の判定を行うように構成してあることを特徴とする請求項１又は２のいずれか一項に記載の画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14515599A JP3604587B2 (ja) | 1999-05-25 | 1999-05-25 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14515599A JP3604587B2 (ja) | 1999-05-25 | 1999-05-25 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000339459A JP2000339459A (ja) | 2000-12-08 |
| JP3604587B2 true JP3604587B2 (ja) | 2004-12-22 |
Family
ID=15378707
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14515599A Expired - Fee Related JP3604587B2 (ja) | 1999-05-25 | 1999-05-25 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3604587B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101379912B1 (ko) | 2012-04-20 | 2014-03-28 | 주식회사 케이에스피 | 파우치자동선별장치 및 파우치자동선별방법 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3994761B2 (ja) * | 2002-03-13 | 2007-10-24 | 日本電気ロボットエンジニアリング株式会社 | 物品検査装置 |
| JP2010019558A (ja) * | 2008-07-08 | 2010-01-28 | J-Net:Kk | 測定位置設定装置 |
| JP6369329B2 (ja) * | 2012-10-04 | 2018-08-08 | 株式会社フジシール | シュリンクラベル付き容器及びシュリンクラベル並びにシュリンクラベル付き容器の製造方法 |
| WO2022244616A1 (ja) * | 2021-05-20 | 2022-11-24 | ブラザー工業株式会社 | 検査装置、コンピュータプログラム、および、検査方法 |
-
1999
- 1999-05-25 JP JP14515599A patent/JP3604587B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101379912B1 (ko) | 2012-04-20 | 2014-03-28 | 주식회사 케이에스피 | 파우치자동선별장치 및 파우치자동선별방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000339459A (ja) | 2000-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9744669B2 (en) | Truck unloader visualization | |
| US8335666B2 (en) | Three-dimensional model data generating method, and three dimensional model data generating apparatus | |
| JP2010120141A (ja) | バラ積みピッキング装置とその制御方法 | |
| JP6011490B2 (ja) | 物品保管設備 | |
| US11570422B2 (en) | Method for calibrating a sensor unit of an industrial truck | |
| JP2002357408A (ja) | 光学式計測装置 | |
| JP3604587B2 (ja) | 画像処理装置 | |
| US11964833B2 (en) | Camera-enabled loader system and method | |
| CN111483914B (zh) | 吊具姿态识别方法、装置、设备及存储介质 | |
| JP2000339458A (ja) | 画像処理装置 | |
| CN113894061B (zh) | 一种货物自动分拣的方法及系统 | |
| JPH09255158A (ja) | 物体配置認識装置 | |
| JP2000331162A (ja) | 画像処理装置 | |
| CN112614191A (zh) | 基于双目深度相机的装卸位置检测方法、装置和系统 | |
| JPH1196378A (ja) | 積荷位置姿勢認識装置 | |
| KR20090114565A (ko) | 비젼 센서를 이용한 웨이퍼 위치 오차 인식 시스템 및웨이퍼 위치 오차 인식 방법 | |
| KR20210128579A (ko) | 물류 이송로봇 및 이를 이용한 물류이송 방법 | |
| JP2506201B2 (ja) | 物品検査装置 | |
| CN216827326U (zh) | 一种用于汽车雷达pcb板焊锡质量检测的3d视觉系统 | |
| JP2000331163A (ja) | 画像処理装置 | |
| JPH02230381A (ja) | ワーク検査装置 | |
| JP2000331164A (ja) | 画像処理装置 | |
| JPH11178894A (ja) | 錠剤の外観検査方法と錠剤の外観検査装置とブリスタシート包装機 | |
| JPH11300683A (ja) | 袋状ワーク姿勢検出装置 | |
| JP3415307B2 (ja) | 外観検査装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040518 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040720 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040831 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040929 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081008 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091008 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101008 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |