JP4410635B2 - 画像の一致度判定方法および装置 - Google Patents

Description

本発明は、ライン搬送中の製品を撮影した画面と登録した基準画像とから、製品の形状や製品の表面に表れた製品の欠点を検出して、撮影画像の一致度を判定する方法および装置に関する。

図４は、従来における例えば生産ラインで次々に搬送される製品の良／不良（ＯＫ／ＮＧ）を判断するために、製品の形状や製品表面の文字または図形などを撮影した撮影画像と予め登録した基準画像との一致度を判定する方法を示す。図４（Ａ）のように判定対象となる製品を撮影した画像について、図４（Ｂ）のようにその画像の濃淡（濃度信号）を微分し、輪郭情報を抽出して処理画像を生成する。一方、図４（Ｃ）のように予め基準となる製品を撮影した画像の濃淡を微分して、輪郭情報を抽出して登録基準画像を生成しておく。そして、図４（Ｄ）のように処理画像と登録基準画像とを重ね合わせることにより、両画像の一致度を判定し、製品の良、不良を判断する。

上記のように、撮影画像の濃淡を微分することにより、製品の形状や、製品表面に表れた傷や汚れ、文字や図形の欠けなどの製品の欠点があれば、撮影画像の輪郭の形状が変化した処理画像が得られるので、図４（Ｄ）のように、この処理画像と登録基準画像とを重ね合わせると違いの部分（例えば傷）が残るから、撮影画像のわずかな違いも検出できる。しかし、図４（Ｅ）のように、例えば撮影画像が少し傾くなど登録基準画像に対して位置ずれがあると、大部分が一致しないと認識され、正常に判定できなくなる。このずれをなくすために、撮影した画像の位置、角度、拡大率を微調整して、登録した画像に最も一致するようにサーチする必要がある。

この従来方法として、登録した基準画像の輪郭部分の画像を生成し、それをマスクデータとして、その領域を比較しない方法が知られている（例えば、特許文献１）。また、撮影した画像をサーチした後に、撮影した画像の位置の微調整をして登録した基準画像とのずれを少なくする方法も知られている（例えば、特許文献２）。
特開２００１−２１６４７０号公報 特開平７−３２５８８２号公報

しかし、特許文献１では、撮影した画像の文字や図形の輪郭自体については何ら考慮されていないので、輪郭に欠けている部分がある場合、当該部分を検出できず正常な判定が困難となる。また、特許文献２では、撮影した画像を登録した基準画像に一致するように上下左右に少しずつずらして調整するので、時間がかかる。

本発明は、前記の問題点を解決して、撮影画像と基準となる画像とに位置ずれがあっても、短時間で正常な判定が可能な画像の一致度判定方法および装置を提供することを目的としている。

前記目的を達成するために、本発明にかかる撮影画像の一致度判定方法および装置は、ライン搬送中の製品を撮影した画像と登録した基準画像とから、製品の形状や製品の表面に表れた製品の欠点を検出して、撮影画像の一致度を判定するものであって、基準となる製品を撮影した画像の濃淡（濃度信号）を微分し、輪郭を抽出して生成した登録基準画像を予め記憶しておき、ライン搬送中の製品を撮影した画像の濃淡を微分して、輪郭を抽出した画像を生成し、さらにこの輪郭を当該画素の走査後方の境界（隣接）画素を用いて片側だけ膨張させる第１太線化処理した撮影処理画像を生成して、前記撮影処理画像と登録基準画像とを比較して、両画像の一致度を判定するものである。この場合に、前記製品の欠点が製品表面に表れた傷または汚れであって、前記登録基準画像は、さらに前記登録基準画像の輪郭を当該画素の走査前後方の境界画素を用いて全体に膨張させる第２太線化処理して生成した登録基準太線化処理画像であり、さらに、前記撮影処理画像と前記登録基準太線化処理画像とを比較して、両画像の一致度を判定する。
ここで、第１太線化処理の「当該画素の走査後方の境界画素を用いて片側だけ膨張させる」とは、輪郭の当該画素について既に走査し終わった走査後方の境界（隣接）画素、つまり直前と直横に隣接する画素を用いて輪郭の片側だけ太線化させることをいう。

この構成によれば、ライン搬送中の製品を撮影した画像の濃淡を微分し、輪郭を抽出した画像を生成し、さらにこの輪郭を当該画素の走査後方の境界画素を用いて片側だけ膨張させる第１太線化処理した撮影処理画像と、登録基準画像との一致度を判定する。これにより、ライン搬送中に撮影画像の輪郭を太線化処理して一致度を判定するので、短時間で判定可能で、かつ、撮影画像の位置ずれがあっても、正常に判定できる。しかも、前記撮影処理画像と前記登録基準太線化処理画像とを比較して、両画像の一致度を判定するので、製品表面に表れた傷または汚れを検出して、短時間かつ正常な検出が可能となる。

以下、本発明の実施形態を図面にしたがって説明する。図１は、本発明の一実施形態に係る撮影画像の一致度判定装置を示すブロック図である。本装置は、例えば生産ラインで次々に搬送される製品の良／不良（ＯＫ／ＮＧ）を判定するために、ライン搬送中の製品を撮影した画像と登録した基準画像とから、製品の形状や製品の表面に表れた製品の欠点を検出して、撮影画像の一致度を判定するものである。

図１のように、本装置は、イメージセンサ１、画像メモリ２、微分画像生成回路３、上下左右太線化処理手段４、領域反転手段５、欠け検出用メモリ６Ａと汚れ検出用メモリ６Ｂを有する登録画像メモリ６、下右太線化処理手段７、画像重ね合わせ手段８、９、欠け画素数カウント手段１０、汚れ画素数カウント手段１１、しきい値超過判定手段１２、１３、および論理和回路１４を備えている。

前記イメージセンサ１は、ライン搬送中の製品を撮影するもので、例えばＣＭＯＳイメージセンサが用いられが、ＣＣＤイメージセンサなどを用いてもよい。撮影した画像は画像メモリ２に記憶される。微分画像生成回路３は撮影した画像の濃淡（濃度信号）を微分して、輪郭を抽出した画像を生成する。

登録指示により、前記微分画像生成回路３で、基準となる製品を撮影した画像の濃淡を微分して、輪郭を抽出した画像が生成されると、登録基準画像として、登録画像メモリ（基準画像記憶手段）６の欠け検出用メモリ６Ａに記憶される。この欠け検出用メモリ６Ａに記憶された登録基準画像は製品表面に表れた文字または図形の欠けのような製品の欠点を検出するのに用いられる。この例では製品表面に表れた文字または図形の欠けを検出しているが、製品の形状のような製品の欠点を検出するようにしてもよい。

前記微分画像生成回路３で、基準となる製品を撮影した画像の濃淡を微分して、輪郭を抽出した画像が生成されると、上下左右太線化処理回路４は、画像の輪郭を走査前後方の境界画素を用いて全体に膨張させる第２太線化処理した画像を生成する。この画像は領域反転手段５により領域が反転されて、登録画像メモリ（基準画像記憶手段）６の傷汚れ検出用メモリ６Ｂに記憶される。この傷汚れ検出用メモリ６Ｂに記憶された登録基準画像は製品表面に表れた傷または汚れのような製品の欠点を検出するのに用いられる。この例では製品表面に表れた汚れを検出しているが、製品表面に表れた傷を検出するようにしてもよい。

前記微分画像生成回路３で、ライン搬送中の製品を撮影した画像の濃淡を微分して、輪郭を抽出した画像が生成されると、下右太線化処理回路４は、この輪郭を当該画素の走査後方の境界画素を用いて片側（下右）だけ膨張させる第１太線化処理した撮影処理画像を生成する。この実施形態では、画像の右上から上下方向に順次左方向へ走査しているので、輪郭の当該画素について既に走査し終わった走査後方の境界（隣接）画素を用いて輪郭の下右が太線化される。前記微分画像生成回路３および下右太線化処理回路４により、本発明の撮影処理画像生成手段２０が構成される。

画像重ね合わせ手段８は、撮影処理画像の欠けを検出するように、撮影処理画像と登録基準画像とを比較するため、両画像を重ね合わせる。撮影処理画像の欠け画素数が欠け画素数カウント手段１０によりカウントされ、当該欠け画素数が所定のしきい値を超過しているか否か、しきい値超過判定手段１２による判定される。その一方、画像重ね合わせ手段９は、撮影処理画像の汚れを検出するように、撮影処理画像と登録基準画像とを比較するため、両画像を重ね合わせる。撮影処理画像の汚れ画素数が汚れ画素数カウント手段１１によりカウントされ、当該汚れ画素数が所定のしきい値を超過しているか否か、しきい値超過判定手段１３による判定される。そして、判定結果の論理和（ＯＲ）が論理和回路１４で演算されて、ＯＫ／ＮＧ出力されて、撮影画像の一致度が判定される。前記画像重ね合わせ手段８、９、欠け画素数カウント手段１０、汚れ画素数カウント手段１１、しきい値超過判定手段１２、１３、および論理和回路１４により、本発明の判定手段３０が構成される。

以下に、上記構成の撮影画像の一致度判定装置の動作について説明する。
(1)登録基準画像の生成
図２に、予め基準画像記憶手段６に記憶される登録基準画像の生成過程を示す。まず、図２（Ａ）のように、基準となる製品が撮影され、図２（Ｂ）のように、この撮影画像の濃淡を微分して、輪郭を抽出した画像が生成される。この微分画像が、撮影画像の欠けを検出するための登録基準画像として、欠け検出用メモリ６Ａに予め記憶される。そして、図２（Ｃ）〜（Ｅ）のように、図２（Ｂ）の微分画像の輪郭が、当該画素の走査前後方の境界画素を用いて上下左右の全体に膨張させる第２太線化処理される。この太線化された画像は反転されて、撮影画像の汚れを検出するための登録基準太線化処理画像として、汚れ検出用メモリ６Ａに予め記憶される。

(2)撮影処理画像の生成
図３に、撮影処理画像の生成過程を示す。図３（Ａ）のように、ライン搬送中の製品を撮影した画像の濃淡を微分して、輪郭を抽出した画像が生成される。この微分画像の輪郭が、図３（Ｂ）のように、当該画素の走査後方の境界画素を用いて片側（下右）に膨張させる第１太線化処理される。この第１太線化処理は、第２太線化処理が走査前後方の境界画素を用いるので、画像の全データを一旦メモリに記憶させる必要があるのに対して、走査後方の境界画素を用いて太線化するので、全データをメモリに記憶させる必要がなく、ライン搬送中に製品を撮影しながら太線化を行うので、短時間で撮影画像の一致度を判定することができる。

(3)判定
撮影画像に欠けがある場合、図３（Ｃ）のように、撮影画像が第１太線化処理されている撮影処理画像と、図２（Ｂ）の第２太線化処理されていない（微分画像の）登録基準画像とを重ね合わせる。なお、図３（Ｃ）では図形中の輪郭部分のみを示している。図３（Ｃ）において、登録基準画像の輪郭の領域に、撮影処理画像の太線化していない部分、つまり、欠けの存在を示す微分された部分４０の画素数（欠け画素数）を数える。登録基準画像の輪郭の領域に、撮影処理画像の太線化した部分が重なる場合には欠け部分は存在しない。そして、欠け画素数が所定のしきい値を超過しているか否かが判断される。この欠け画素数が小さいほど一致度が高いと判断される。

その一方、図３（Ｂ）のように、撮影画像に汚れがあって撮影処理画像に汚れの存在を示す微分された部分４１がある場合、この撮影処理画像と図２（Ｅ）の反転させた第２太線化処理されている登録基準太線化処理画像とを重ね合わせて、登録基準太線化処理画像の輪郭以外の領域に、撮影処理画像の太線化した部分、つまり、汚れ部分４１の画素数（汚れ画素数）を数える。登録基準太線化処理画像の輪郭以外の領域に、撮影処理画像の太線化していない部分が重なる場合には、および登録基準太線化処理画像の輪郭の領域には、汚れ部分は存在しない。そして、汚れ画素数が所定のしきい値を超過しているか否かが判断される。この汚れ画素数が小さいほど一致度が高いと判断される。第２太線化処理により登録基準画像の輪郭が太線化されているので、太線化した部分以外の領域は小さくなり、汚れ画素数のカウント範囲も狭くなって、処理を速くできる。

両方の判定結果の論理和（ＯＲ）が論理和回路１４で演算されて、両方がしきい値を超過していない場合にＯＫ出力され、少なくともいずれか１つがしきい値を超過しているとＮＧ出力されて、撮影画像の一致度が判定される。

このように、本発明は、ライン搬送中の製品を撮影した画像の濃淡を微分し、輪郭を抽出した画像を生成し、さらに当該輪郭を走査後の境界画素を用いて片側だけ膨張させる第１太線化処理した撮影処理画像と、登録基準画像との一致度を判定する。これにより、ライン搬送中に撮影画像の輪郭を太線化処理して一致度を判定するので、短時間で判定可能で、かつ、撮影画像の位置ずれがあっても、正常に判定できる。

また、本発明は製品の形状や、製品表面に表れた傷や汚れ、文字や図形の欠けなどの製品の欠点を検出することができ、特に、従来検出が困難であった製品表面に表れた文字や図形の欠けの検出を可能とした。

なお、この実施形態では、製品表面に表れた文字または図形の欠け（または製品の形状）、および製品表面に表れた汚れ（または傷）の両方を検出しているが、いずれか一方を省略してもよい。

本発明の一実施形態に係る撮影画像の一致度判定装置を示すブロック図である。 登録基準画像の生成過程を示す図である。 撮影処理画像の生成過程を示す図である。 従来の撮影画像の一致度判定方法を示す図である。

符号の説明

１：イメージセンサ
６：基準画像記憶手段
２０：撮影処理画像生成手段
３０：判定手段

Claims (2)

1. ライン搬送中の製品を撮影した画像と登録した基準画像とから、製品の形状や製品の表面に表れた製品の欠点を検出して、撮影画像の一致度を判定する方法であって、
   基準となる製品を撮影した画像の濃淡を微分し、輪郭を抽出して生成した登録基準画像を予め記憶しておき、
   ライン搬送中の製品を撮影した画像の濃淡を微分して、輪郭を抽出した画像を生成し、さらにこの輪郭を当該画素の走査後方の境界画素を用いて片側だけ膨張させる第１太線化処理した撮影処理画像を生成して、
   前記撮影処理画像と登録基準画像とを比較して、両画像の一致度を判定するものであり、
   前記製品の欠点が製品表面に表れた傷または汚れであって、
   前記登録基準画像は、さらに前記登録基準画像の輪郭を当該画素の走査前後方の境界画素を用いて全体に膨張させる第２太線化処理して生成した登録基準太線化処理画像であり、
   さらに、前記撮影処理画像と前記登録基準太線化処理画像とを比較して、両画像の一致度を判定する、撮影画像の一致度判定方法。
2. ライン搬送中の製品を撮影した画像と登録した基準画像とから、製品の形状や製品の表面に表れた製品の欠点を検出して、撮影画像の一致度を判定する装置であって、
   基準となる製品を撮影した画像の濃淡を微分し、輪郭を抽出して生成した登録基準画像を予め記憶する基準画像記憶手段と、
   ライン搬送中の製品を撮影した画像の濃淡を微分して、輪郭を抽出した画像を生成し、さらにこの輪郭を当該画素の走査後方の境界画素を用いて片側だけ膨張させる第１太線化処理した撮影処理画像を生成する撮影処理画像生成手段と、
   前記撮影処理画像と登録基準画像とを比較して、両画像の一致度を判定する判定手段とを備え、
   前記製品の欠点が製品表面に表れた傷または汚れであって、
   前記基準画像記憶手段は、さらに前記登録基準画像の輪郭を当該画素の走査前後方の境界画素を用いて全体に膨張させる第２太線化処理して生成した登録基準太線化処理画像を予め記憶し、
   前記判定手段は、さらに前記撮影処理画像と前記登録基準太線化処理画像とを比較して、両画像の一致度を判定する、撮影画像の一致度判定装置。