JP4372660B2 - 画像判定方法および画像処理装置 - Google Patents

Description

本発明は、評価対象物を撮像することによって取得される評価対象物画像を含む評価対象画像と、評価対象物画像と比較されるべき基準画像を含む非評価対象画像とを照合して、評価対象物画像の良否を判定することによって、たとえば食品のパッケージに印刷された賞味期限、および工業製品に印刷されたロット番号など、印刷物に印刷された記号の検査に、好適に用いられる画像判定方法および画像処理装置に関する。

従来の技術では、印刷物に印刷された文字の検査を行う場合、たとえばＣＣＤ（Charge Coupled Device）イメージセンサを用いたカメラなどによって、前記文字が印刷された印刷物を撮像して得られる画像を処理して、この画像を文字単位に分離し、文字を表す評価対象物画像を含む評価対象画像と、評価対象物画像と比較されるべき、予め設定された良品の画像である基準画像を含む非評価対象画像とを照合して、文字毎に良品であるか否かを判定している。このような方法では、各文字をひとつの図形として処理し、文字を表す評価対象物画像と、基準画像との全体的な差異と、文字を表す評価対象物画像と、基準画像との局所的な差異とを区別なく処理する。

評価対象物画像には、基準画像と全体的な形状の差異は見られないが、基準画像が表す図形に対して図形の太さが変化したり、図形の大きさが変化したり、図形が回転したり、または図形ずれが発生したりしている第１評価対象物画像と、局所的に基準画像が表す図形の連続性を切り離す欠け、または非接触部を接続してしまうような汚れが発生したりしてはいるが、基準画像が表す図形に対して図形の太さが変化したり、図形の大きさが変化したり、図形が回転したり、または図形ずれが発生したりはしていない第２評価対象物画像とがある。

図７は、基準画像１と、第１評価対象物画像２ａと、基準画像１および第１評価対象物画像２ａの差異を表す第１差異画像３を表す図であり、図８は、基準画像１と、第２評価対象物画像２ｂと、基準画像１および第２評価対象物画像２ｂの差異を表す第２差異画像５を表す図である。基準画像１と、第１および第２評価対象物画像２ａ，２ｂとは、数字を表す図形のみを表し、非評価対象画像６と評価対象画像７とは、数字を表す図形を含む予め定める領域のブロック画像を表す。図７および図８では、基準画像１と、第１および第２評価対象物画像２ａ，２ｂとは、数字の「８」を表す。第１評価対象物画像２ａは、基準画像１の図形の太さを細くしたものであり、第２評価対象物画像２ｂは、基準画像１の図形の交差する部分が欠けたものである。第１および第２評価対象物画像２ａ，２ｂを総称する場合、単に評価対象物画像２と記載する。

前述した方法では、基準画像１を含む非評価対象画像６と、評価対象物画像２を含む評価対象画像７との全体像から、基準画像１と評価対象物画像２との差異を表す差異量を検出し、この差異量の大きさによって、評価対象物画像２の良否を判定している。前記差異量とは、基準画像１と、評価対象物画像２とにおいて異なる部分の面積、言い換えれば基準画像１と、評価対象物画像２とにおいて異なる部分の画素数である。

第１評価対象物画像２ａは、基準画像１が表す図形に対して図形の太さが変化したり、図形の大きさが変化したり、図形が回転したり、または図形ずれが発生したりしているだけであるので、前記基準画像１との差異量が大きくなったとしても、基準画像１と同じものであると、人が認識することができる可能性が大きい。しかしながら、第２評価対象物画像２ｂは、基準画像１が表す図形の連続性を切り離す「欠け」、または非接触部を接続してしまうような「汚れ」が発生したりしているので、第２評価対象物画像２ｂを基準画像１であると、人が認識することができないおそれが大きい。前記「欠け」とは、基準画像が表す図形に対して、この図形の一部が欠落することによって生じる。また前記「汚れ」は、基準画像１が表す図形に対して、この図形と同じ輝度成分が、この図形以外にも存在することによって生じる。

前述した方法では、基準画像１を含む非評価対象画像６と、評価対象物画像２を含む評価対象画像７との全体像から検出される、基準画像１と非評価対象画像６との差異を表す差異量によって良否を判定するために、たとえば、図７に示すような第１評価対象物画像２ａを良とするしきい値を決定すると、図８に示すような第２評価対象物画像２ｂを良と判定してしまうといった問題がある。

このような問題に鑑み、他の従来の技術として、文字を表す基準画像を含む非評価対象画像をマトリクス状に分割して、マトリクス状に分割される局所領域毎に、それぞれの局所領域毎に対応する文字の存在の有無に関する重み付けを設けておき、電子部品の表示文字を撮像して得られる評価対象画像を、マトリクス状に分割して、このマトリクス状に分割される局所領域毎に、前記重み付けに基づいて各画素の値に関する一致度を求めて、一致度と所定の基準値とを比較することによって、文字の良否を判定している（たとえば特許文献１参照）。

特開平８−３２０９３１号公報

図９は、評価対象画像７においてマトリクス状に分割された局所領域２０が設定されたときに、横方向に隣接する局所領域２０に跨って、評価対象物画像２に生じる欠けまたは汚れを表す図である。図１０は、評価対象画像７においてマトリクス状に分割された局所領域２０が設定されたときに、縦方向に隣接する局所領域２０に跨って、評価対象物画像２に生じる欠けまたは汚れを表す図である。図１１は、評価対象画像７においてマトリクス状に分割された局所領域２０が設定されたときに、横方向および縦方向に隣接する局所領域２０に跨って、評価対象物画像２に生じる欠けまたは汚れを表す図である。

評価対象画像７および非評価対象画像６を、それぞれマトリクス状に分割して、それぞれ分割された局所領域２０毎に、評価対象物画像２および基準画像１との差異を表す差異量を検出する場合、評価対象物画像２および基準画像１との差異は、評価対象画像７に生じる欠けまたは汚れが跨る局所領域２０の数だけ分散してしまい、局所的に差異量を検出することが困難であり、これによって評価対象物画像２の良否を正確に判定することが困難であるという問題がある。

本発明の目的は、評価対象物画像と基準画像との、評価対象画像および非評価対象画像における全領域の差異と、評価対象画像および非評価対象画像における局所領域の差異とに基づいて、評価対象物画像の良否を正確に判定することができる画像判定方法および画像処理装置を提供することである。

本発明は、評価対象物を撮像することによって取得される評価対象物画像を含む評価対象画像と、評価対象物画像と比較されるべき基準画像を含む非評価対象画像とを照合して、評価対象物画像の良否を判定する画像判定方法であって、
評価対象画像の全領域と、非評価対象画像の全領域とを照合し、評価対象画像と非評価対象画像との対応する画素同士を比較し、画素値が異なる部分を表す差異画像の画素数である第１差異量を検出し、
評価対象画像および非評価対象画像を等分割して得られる大きさの局所領域を、評価対象画像および非評価対象画像の全領域にわたって、隣合う局所領域の一部が重なるように複数設定し、
評価対象画像および非評価対象画像において対応する各局所領域を照合し、評価対象画像と非評価対象画像との対応する画素同士を比較し、画素値が異なる部分を表す差異画像の画素数である第２差異量を検出し、
評価対象画像および非評価対象画像を矩形状として、それぞれ横方向の大きさをＸwとし、縦方向の大きさをＹhとし、
各局所領域の大きさは、評価対象画像および非評価対象画像の横方向の分割数をＭとし、かつ縦方向の分割数をＮとしたときの１つのブロックと等しく選ばれ、
各局所領域の、互いに重なる部分の横方向の大きさをＸbwとし、互いに重なる部分の縦方向の大きさをＹbhとし、
第１差異量が表す値をＤallとし、
各局所領域のうち差異が最も大きくなる第２差異量が表す値をＤmaxとし、
各局所領域のうち差異が最も大きくなる第２差異量の第１差異量に対する比率を表す値をＲdとし、
予め定める第１のしきい値をＴallとし、
予め定める第２のしきい値をＴrasioとすると、
Ｘbw、ＹbhおよびＲdは、
Ｘbw＝（Ｘw／Ｍ）／２
Ｙbh＝（Ｙw／Ｎ）／２
Ｒd＝Ｄmax／Ｄall
によって求められ、
Ｔall＞ＤallかつＴrasio＞Ｒdを第１条件とし、
Ｔall＞ＤallまたはＴrasio＞Ｒdを第２条件とし、
第１条件および第２条件のいずれか一方を入力操作によって選択し、
第１条件が選択された場合、第１条件を満たせば、評価対象物画像を良と判定し、第１条件を満たさなければ、評価対象物画像を不良と判定し、
第２条件が選択された場合、第２条件を満たせば、評価対象物画像を良と判定し、第２条件を満たさなければ、評価対象物画像を不良と判定することを特徴とする画像判定方法である。

また本発明は、評価対象物画像に合わせて、前記予め定める第１および第２のしきい値を、入力操作によって調整することが可能であることを特徴とする。
また本発明は、前記画像判定方法を実行する画像処理装置である。

本発明によれば、第１差異量を検出することによって、評価対象画像の全領域と、非評価対象画像の全領域とにおける、評価対象物画像と基準画像との差異、具体的には図形の太さが変化したり、図形の大きさが変化したり、または図形のずれが発生したりしているような評価対象画像の全領域に存在する差異量、および評価対象画像の全領域にわたって頻発するノイズ成分が分かる。

局所領域は、評価対象画像および非評価対象画像を、それぞれ等しい数に分割して得られる大きさであって、評価対象画像および非評価対象画像の全領域にわたって、隣合う局所領域の一部が重なるように複数設定される。隣合う局所領域の一部が重なるので、従来の技術のように隣接する局所領域に欠けまたは汚れが跨ることが防止される。したがって第２差異量を検出することによって、局所的にどの程度の差異が生じているのかが正確に分かる。

第１および第２差異量を用いて評価対象物画像の良否を判定することによって、基準画像と全体的な形状の差異は見られないが、基準画像が表す図形に対して図形の太さが変化したり、図形の大きさが変化したり、図形が回転したり、または図形ずれが発生したりしている場合であっても、局所的に基準画像が表す図形の連続性を切り離す欠け、または非接触部を接続してしまうような汚れが発生したりしている場合であっても、良否の判定を正確に行うことができる。評価対象物画像の良否の判定結果が良であれば、評価対象物画像を基準画像と同様に認識することができることを、評価対象物画像の良否の判定結果が不良であれば、評価対象物画像を基準画像とは異なると認識することができることを表す。

また、第１差異量を表す値と予め定める第１のしきい値とを比較し、各局所領域のうち差異が最も大きくなる第２差異量の、第１差異量に対する比率を表す値と、予め定める第２のしきい値とを比較するという、簡単な処理によって評価対象物画像の良否を判定することができる。各局所領域のうち差異が最も大きくなる第２差異量の、第１差異量に対する比率を表す値を求めることによって、
（Ａ）図形の太さが変化したり、図形の大きさが変化したり、または図形のずれが発生したりしているような評価対象画像の全領域に存在する差異量
（Ｂ）評価対象画像の全領域にわたって頻発するノイズ成分
（Ｃ）評価対象画像に局所的に発生する図形の欠けまたは図形の汚れ
の中から、（Ｃ）評価対象画像に局所的に発生する図形の欠けまたは図形の汚れのみを抽出する、つまり差異量の部分的集中を抽出することができる。

また、評価対象画像および非評価対象画像を矩形状として、それぞれ横方向の大きさをＸwとし、縦方向の大きさをＹhとし、各局所領域の大きさは、評価対象画像および非評価対象画像の横方向の分割数をＭとし、かつ縦方向の分割数をＮとしたときの１つのブロックと等しく選ばれ、各局所領域の、互いに重なる部分の横方向の大きさをＸbwとし、互いに重なる部分の縦方向の大きさをＹbhとすることによって、隣接する局所領域は、縦方向および横方向において、それぞれ局所領域のうち半分の領域ずつ重なることになり、隣り合う辺が重なる局所領域の境界を、カバーするように局所領域が設定される。したがって、従来の技術のように隣接する局所領域に欠けまたは汚れが跨ることが確実に防止される。

第１条件および第２条件のいずれか一方を入力操作によって選択することによって、評価対象物画像の特性に応じて、柔軟な判定を行うことができる。

また本発明によれば、評価対象物画像に合わせて、前記予め定める第１および第２のしきい値を、入力操作によって調整することが可能であるので、汎用性を向上させることができる。

また本発明によれば、画像処理装置によって前述した画像判定方法を実行することができ、評価対象物画像の良否を判定することができる。

図１は、本発明の実施の一形態の画像評価方法を実行する画像処理装置１１を表すブロック図である。本実施の形態の画像処理装置１１は、たとえば食品のパッケージに印刷された賞味期限、および工業製品に印刷されたロット番号など、印刷物に印刷された図形が、本来予め定める図形として認識することができるか否かを検査するために用いられる。前記図形は、記号および文字を含む。以後、図形を、記号と記載する場合がある。本実施の形態の画像処理装置１１は、前述した図７および図８に示すように、評価対象物を撮像することによって取得される評価対象物画像２を含む評価対象画像７と、評価対象物画像２と比較されるべき基準画像１を含む非評価対象画像６とを照合して、評価対象物画像２の良否を判定する。基準画像１と、評価対象物画像２とは、図形のみを表し、非評価対象画像６と評価対象画像７とは、図形を含む予め定める領域のブロック画像を表す。

画像処理装置１１は、画像入力部１２、画像処理部１３、照合部１４、良否判定部１５、出力部１６、指示入力部１７および制御部１８を含んで構成される。

画像入力部１２は、評価対象物を撮像して、評価対象画像７を取得する。評価対象画像７は、評価対象物を表す評価対象物画像２を含む。評価対象物は、本実施の形態では、印刷物に印刷された記号であり、評価対象物画像２は印刷物に印刷された記号を表す。評価対象画像７は、矩形状であり、予め定める大きさに選ばれる。評価対象画像７は、複数の画素によって形成される。画像入力部１２は、制御部１８によって与えられる制御指令に基づいて動作する。画像入力部１２は、ＣＣＤ（Charge Coupled Device）イメージセンサを含み、評価対象画像７をモノクロ画像として取得する。

画像処理部１３は、画像入力部１２によって取得された評価対象画像７を２値画像に変換して、評価対象画像７に含まれる評価対象物画像２を、他の領域、言い換えれば背景画像から分離させる。２値化では、評価対象画像７の各画素の輝度成分を検出し、予め定める輝度以上であればその画素の画素値を「０」とし、予め定める輝度未満であればその画素の画素値を「１」とすることによって、画素値が「１」および「０」の少なくともいずれか一方を含む２値化された評価対象画像７を得ることができる。本実施の形態では、たとえば評価対象画像７の画素値が「１」となるように、予め定める輝度が設定される。画像処理部１３は、制御部１８によって与えられる制御指令に基づいて動作する。

照合部１４は、評価対象画像７の全領域と、非評価対象画像６の全領域とを照合して、評価対象物画像２と基準画像１との全領域における差異を表す第１差異量を検出し、評価対象画像７および非評価対象画像６を同じ数に等分割して得られる大きさの局所領域２０を、評価対象画像７および非評価対象画像６の全領域にわたって、隣合う局所領域２０の一部が重なるように複数設定し、評価対象画像７および非評価対象画像６において対応する各局所領域２０を照合して、評価対象物画像２と基準画像１との各局所領域２０における差異を表す第２差異量を検出する。照合部１６は、たとえばフラッシュロムなどのメモリを含み、このメモリに、評価対象物画像２と比較されるべき基準画像１を含む非評価対象画像６が記憶される。本実施の形態では、非評価対象画像６は２値画像である。非評価対象画像６において、基準画像１の画素の画素値を「１」とし、それ以外の領域の画素値を「０」とする。このように基準画像１と評価対象物画像２の２値化画像における画素値を等しくしておく。照合部１４の具体的な動作処理については、後述する図３のフローチャートの説明において説明する。照合部１４は、制御部１８によって与えられる制御指令に基づいて動作する。

良否判定部１５は、照合部１４の判定結果に基づいて、第１差異量を表す値と予め定める第１のしきい値とを比較して得られる第１比較結果と、各局所領域２０のうち差異が最も大きくなる第２差異量の、第１差異量に対する比率を表す値と、予め定める第２のしきい値とを比較して得られる第２比較結果とを用いて、評価対象物画像２の良否を判定して判定結果を表す結果情報を生成する。良否判定部１５における詳細な処理については、後述する。良否判定部１５は、制御部１８によって与えられる制御指令に基づいて動作する。

出力部１６は、良否判定部１５によって生成された結果情報を出力する。出力部１６は、たとえば液晶表示装置およびエレクトロルミネッセンス（略称ＥＬ）などの表示装置を含んで構成され、結果情報を表示する。これによって利用者に、評価対象物画像が良好なものであるのか否かを知らせることができる。出力部１６は、制御部１８によって与えられる制御指令に基づいて動作する。

指示入力部１７は、利用者が指示を入力するための操作キーを含む。操作キーを操作することによって、操作キーに対応する指示が、制御部１８に与えられる。制御部１８は、指示入力部１７から与えられる指示に基づいて、画像入力部１２、画像処理部１３、照合部１４、良否判定部１５および出力部１６に制御指令を与えて、これらを制御する。

図２は、制御部１８の動作処理を表すフローチャートである。指示入力部１７から、画像処理装置１１による評価対象物画像２の良否を判定を開始するための指示が入力されると、ステップａ０からステップａ１に移る。ステップａ１では、画像入力部１２に制御指令を与えて、評価対象物を撮像させて、評価対象画像７を取得させ、ステップａ２に移る。

ステップａ２では、画像処理部１３に制御指令を与え、ステップａ１で取得した評価対象画像を２値化させて、ステップａ３に移る。

ステップａ３では、照合部１４に制御指令を与えて、第１差異量および第２差異量を検出させて、ステップａ４に移る。

ステップａ４では、良否判定部１５に制御指令を与えて、評価対象物画像２の良否を判定させて、ステップａ５に移る。

ステップａ５では、出力部１６に制御指令を与えて、良否判定部１５によって判定された判定結果を出力させて、ステップａ６に移り、動作処理を終了する。

図３は、照合部１４の動作処理を表すフローチャートである。制御部１８からの制御指令が与えられると、ステップｂ０からステップｂ１に移る。ステップｂ１では、評価対象画像７の全領域と、非評価対象画像６の全領域とを照合して、評価対象物画像２と基準画像１との全領域における差異を表す第１差異量を表す値を検出する。第１差異量は、評価対象画像７と非評価対象画像６との対応する画素同士を比較して、画素値が異なる部分を表す差異画像の画素数を表す。言い換えれば、非評価対象画像６の各画素の画素値から、評価対象画像７の各画素の画素値を減算して、各画素の画素値の絶対値を加算することによって第１差異量を表す値が得られる。前記第１差異量を表す値を、Ｄallとする。ステップｂ１が終了すると、ステップｂ２に移る。

ステップｂ２では、評価対象画像７および非評価対象画像６に複数の局所領域２０を設定する。本実施の形態では、評価対象画像７および非評価対象画像６を矩形状とし、それぞれ横方向の大きさをＸwとし、縦方向の大きさをＹhとする。前記横方向の大きさＸwは、横方向の画素数であり、縦方向の大きさＹhは、縦方向の画素数である。各局所領域２０の大きさは、評価対象画像７および非評価対象画像６の横方向の分割数をＭ（Ｍは正の整数）とし、かつ縦方向の分割数をＮ（Ｎは正の整数）としたときの１つのブロックと等しく選ばれる。各局所領域２０の、互いに重なる部分の横方向の大きさをＸb wとし、互いに重なる部分の縦方向の大きさをＹbhとすると、Ｘbwは式（１）によって求められ、Ｙbhは式（２）によって求められる。
Ｘbw＝（Ｘw／Ｍ）／２ …（１）
Ｙbh＝（Ｙw／Ｎ）／２ …（２）

また局所領域２０の数をＴmnとすると、Ｔmnは式（３）によって求められる。
Ｔmn＝（Ｍ×２−１）×（Ｎ×２−１） …（３）

次にステップｂ３に移り、ステップｂ３では、複数の局所領域２０のうち一つを抽出し、ここでは、画像の縦方向および横方向の一端に位置する局所領域２０を抽出して、ステップｂ４に移る。

ステップｂ４では、ステップｂ３で抽出された局所領域２０の差異を表す第２差異量を検出する。第２差異量は、局所領域２０における評価対象画像７と非評価対象画像６との対応する画素同士を比較して、画素値が異なる部分を表す差異画像の画素数を表す。言い換えれば、局所領域２０において非評価対象画像６の各画素の画素値から、評価対象画像７の各画素の画素値を減算して得られる各画素の画素値の絶対値を加算することによって第２差異量を表す値が得られる。

次にステップｂ５に移る。ステップｂ５では、全ての局所領域２０について第２差異量を検出したか否かを判断する。ステップｂ５において全ての局所領域２０、すなわちＴmn個の局所領域２０について、第２差異量を検出したと判断すると、ステップｂ６に移り動作処理を終了する。

ステップｂ５において、全ての局所領域２０、すなわちＴmn個の局所領域２０について、第２差異量を検出してはいないと判断すると、ステップｂ７に移る。
ステップｂ７では、第２差異量の検出が終了していない局所領域２０を抽出して、ステップｂ４に移る。

図４は、評価対象画像７および非評価対象画像６を横方向に２分割、縦方向に２分割したときの局所領域２０を示す図である。評価対象画像７および非評価対象画像６を横方向に２分割、縦方向に２分割すると、Ｔmn＝（２×２−１）×（２×２−１）＝９個の局所領域２０が設定される。図４（１）〜（９）では、局所領域２０を斜線で示している。従来の技術では、各局所領域２０の大きさを、評価対象画像および非評価対象画像の横方向の分割数をＭとし、かつ縦方向の分割数をＮとしたときの１つのブロックと等しく選ぶと、評価対象画像と非評価対象画像とを、Ｍ×Ｎ通りの局所領域２０に分割することになり、すなわち図４（１），（３），（７），（９）に示すように、隣接する局所領域２０が重なることがない、本発明では、従来の技術における局所領域２０を、横方向にＸbhおよび縦方向にＹbhずつシフトさせた局所領域２０が設定され、横方向および縦方向に隣接する局所領域２０は、この局所領域２０の半分の面積が重なって設定される。これによって隣り合う局所領域２０の辺が重なる局所領域２０の境界を、カバーするように局所領域２０が設定される。したがって、従来の技術のように隣接する局所領域に欠けまたは汚れが跨ることが確実に防止される。

照合部１４は、評価対象画像７と非評価対象画像６の縦方向および横方向の一端に位置する第１局所領域２０ａの第２差異量を検出すると、次ぎに第１局所領域２０ａから評価対象画像７と非評価対象画像６の横方向にＸbｗだけシフトした第２局所領域２０ｂの第２差異量を検出する。そして、さらに処理の対象となる局所領域２０を横方向にシフトしていき、横方向において、それ以上シフトできなくなると、第１局所領域２０ａから、縦方向に検出する局所領域２０をＹbhだけシフトさせて第２差異量を検出する。このように、局所領域２０の第２差異量を検出するときには、まずは横方向一方から他方に局所領域２０をシフトさせて、次に縦方向一方から他方に局所領域２０をシフトして、再び横方向一方から他方に局所領域２０をシフトさせながら、全ての局所領域２０の第２差異量を検出する。前記評価対象画像７と非評価対象画像６の縦方向および横方向は、それぞれ前記評価対象画像７および非評価対象画像６の予め定める一辺の延びる方向と、この一辺に垂直な方向とにそれぞれ対応する。

全ての局所領域２０の第２差異量の検出が終了すると、照合部１４は、照合が終了したことを示す照合終了情報を制御部１８に与える。制御部１８は、照合終了情報を受け取ると、良否判定部１５に制御指令を与えて、評価対象物画像２の良否を判定させる。

良否判定部１５は、まずは各局所領域２０のうち差異が最も大きくなる第２差異量の第１差異量に対する比率を算出する。各局所領域２０のうち差異が最も大きくなる第２差異量が表す値をＤmaxとし、各局所領域２０のうち差異が最も大きくなる第２差異量の第１差異量に対する比率を表す値をＲdとすると、Ｒdは、式（４）によって求められる。
Ｒd＝Ｄmax／Ｄall …（４）

そして、良否判定部１５は、第１差異量の表す値と、予め定める第１のしきい値とを比較して第１の比較結果を得て、さらに各局所領域２０のうち差異が最も大きくなる第２差異量の、第１差異量に対する比率を表す値と、予め定める第２のしきい値とを比較して第２比較結果を得る。

予め定める第１および第２のしきい値は、指示入力部１７の操作キーを操作して、予め定める第１および第２のしきい値を設定するためのしきい値情報を入力することによって、設定される。良否判定部１５は、フラッシュロムなどのメモリを有し、指示入力部１７から入力される予め定める第１および第２のしきい値を設定するためのしきい値情報を記憶する。予め定める第１および第２のしきい値を、指示入力部１７によって設定することができるので、評価する評価対象物に合わせて、予め定める第１および第２のしきい値を調整することができるので、様々な評価対象物画像２の評価に本装置１１を用いることができ、装置の汎用性が向上するとともに、利便性を向上させることができる。

また良否判定部１５は、予め定める第１のしきい値をＴallとし、予め定める第２のしきい値をＴrasioとして、Ｔall＞ＤallかつＴrasio＞Ｒdを第１条件とし、Ｔall＞ＤallまたはＴrasio＞Ｒdを第２条件とし、第１条件および第２条件を選択的に用いて、評価対象物画像の良否を判定する。

第１差異量Ｄallは、図形の太さが変化したり、図形の大きさが変化したり、または図形のずれが発生したりしているような評価対象画像の全領域に存在する差異量、および評価対象画像７の全領域にわたって頻発するノイズ成分の大きさを表す。Ｔall＞Ｄallを満たすか否かを判定することによって、第１差異量Ｄallが予め定める第１のしきい値Ｔallよりも小さな評価対象物画像２だけを良であると判定することができる。

また各局所領域２０のうち差異が最も大きくなる第２差異量の、第１差異量に対する比率Ｒdによって、評価対象画像７に局所的に発生する図形の欠けまたは図形の汚れのみを抽出する、つまり差異量の部分的集中を抽出することができ、この比率ＲdがＴrasio＞Ｒdを満たすか否かを判定することによって、比率Ｒdが予め定める第２のしきい値Ｔrasioよりも小さな評価対象物画像２だけを良であると判定することができる。

良否判定部１５が、第１条件を用いるのか、第２条件を用いるのかは、指示入力部１７からの指令に基づく。指示入力部１７によって、前記第１条件および第２条件を選択することができるので、評価する評価対象物に合わせて、評価条件を変更することができ、様々な評価対象物画像２の評価に本装置１を用いることができ、装置の汎用性が向上するとともに、利便性を向上させることができる。

第１条件が選択された場合、良否判定部１５は、Ｔall＞ＤallかつＴrasio＞Ｒdを満たせば、評価対象物画像２を良である、すなわち評価対象物画像２を基準画像１と同様に認識することができる、言い換えれば評価対象物に印刷されるべき記号が印刷されていると判定し、満たさなければ不良である、すなわち評価対象物画像２を基準画像１とは異なると認識することができ、言い換えれば評価対象物に印刷されるべき記号が印刷されていないと判定する。また第２条件が選択された場合、良否判定部１５は、Ｔall＞ＤallまたはＴrasio＞Ｒdを満たせば、同様に、評価対象画像を良であると判定し、満たさなければ不良であると判定する。第１条件と第２条件とを選択的に用いることによって、評価対象物画像２の特性に応じて、柔軟な判定を行うことができる。

図５および図６は、評価対象物画像２と、基準画像１と、各局所領域２０における第２差異量の第１差異量に対する比率を百分率で表して示す図である。ここでは、図４に示すように評価対象画像７と、非評価対象画像６とを、それぞれ縦方向および横方向に２分割したときの１つのブロックの大きさの局所領域２０を設定している。またここでは、基準画像１と、評価対象物画像２とは、図形の「８」のみを表し、非評価対象画像６と評価対象画像７とは、図形の「８」を含む予め定める領域のブロック画像を表す。

また図５では、基準画像１と全体的な形状の差異は見られないが、基準画像１が表す図形に対して図形の太さが変化したり、図形の大きさが変化したり、図形が回転したり、または図形ずれが発生したりしている場合の各局所領域２０における第２差異量の第１差異量に対する比率について示している。また図６では、局所的に基準画像が表す図形の連続性を切り離す欠け、または非接触部を接続してしまうような汚れが発生したりしてはいるが、基準画像が表す図形に対して図形の太さが変化したり、図形の大きさが変化したり、図形が回転したり、または図形ずれが発生したりはしていない場合の各局所領域２０における第２差異量の第１差異量に対する比率を示している。

図５に示すように、基準画像１と全体的な形状の差異は見られないが、基準画像１が表す図形に対して図形の太さが変化したり、図形の大きさが変化したり、図形が回転したり、または図形ずれが発生したりしている場合のうち、たとえば形状が一致しているが評価対象物画像２および基準画像１が表す図形の太さが異なる場合は、評価対象画像７に全体的に差異が分散するため、各局所領域２０における第２差異量の値は、小さくなる。図形の太さとは、図形を構成する線の太さである。たとえば第１差異量が表す値の、評価対象画像７の全領域の画素数に対する比率が１０％程度となる場合に、各局所領域２０のうち差異が最も大きくなる第２差異量が表す値と、第１差異量が表す値との比率Ｒdは、たとえば２５％程度となり、比率Ｒdは、比較的小さな値となる。

一方図６に示すように、局所的に基準画像１が表す図形の連続性を切り離す欠け、または非接触部を接続してしまうような汚れが発生したりしてはいるが、基準画像１が表す図形に対して図形の太さが変化したり、図形の大きさが変化したり、図形が回転したり、または図形ずれが発生したりはしていない場合では、複数の局所領域２０のうち、いずれかの局所領域２０における第２差異量を表す値が大きくなり、たとえば第１差異量が表す値の、評価対象画像の全領域の画素数に対する比率が８％程度であっても、各局所領域２０のうち差異が最も大きくなる第２差異量が表す値と、第１差異量が表す値との比率Ｒdは、たとえば１００％程度となる場合がある。この場合では、評価対象物画像２と基準画像１と全体的な形状の差異は見られないが、基準画像１が表す図形に対して図形の太さが変化したり、図形の大きさが変化したり、図形が回転したり、または図形ずれが発生したりしている場合に対して、第２差異量を表す値が大きくなる。

たとえば従来の技術のような局所領域における基準画像１と評価対象物画像２との差異を検出する場合では、図５（１），（３），（７），（９）と、図６（１），（３），（７），（９）とをこの順番でそれぞれ対応させて、各領域において差異を検出するのみであって、形状が一致しているが太さが異なる場合と、局所的に形状が不一致の場合との違いを判断することができない。本発明では、各局所領域２０のうち差異が最も大きくなる第２差異量が表す値と、第１差異量が表す値との比率Ｒdを用いることによって、局所的に発生する図形の欠けまたは図形の汚れのみを抽出する、つまり差異量の部分的集中を抽出することができ、形状が一致しているが太さが異なる場合と、局所的に形状が不一致の場合との違いを判断することができる。これによって、局所的に基準画像１が表す図形の連続性を切り離す欠け、または非接触部を接続してしまうような汚れが発生したりしている評価対象物画像を正確に検出することができ、評価対象物画像の良否を確実に判定することができる。したがって、評価性能を向上させることができ、これによって、画像処理装置１１によって良であると判定された評価対象物画像２が、人の目で確認すると実際は不良であったというような不具合が生じることが防止される。

良否判定部１５によって得られた判定結果は、出力部１６によって出力されるので、画像処理装置１１の利用者は、出力される判定結果から、評価対象物画像２が良であることを示している場合、評価対象物画像２に対応する評価対象物が良品であると判断することができる。

本発明の実施の他の形態では、画像入力部１２において入力された評価対象画像７に含まれる評価対象物画像２が文字列を表す場合、画像処理部１３において、評価対象画像７が表す文字列を、１つの文字単位に分離して、１つの文字を表す評価対象物画像２を生成し、この複数の評価対象物画像２について１つずつ良否を判定してもよい。この場合、良否判定部１５は、複数の非評価対象画像６を有し、複数の文字のそれぞれに対応する評価対象物画像２の良否判定の結果から、文字列を表す評価対象物画像２の良否を判定する。たとえば、予め定める割合で、複数の文字に対応する評価対象物画像２が良と判断されれば、文字列を表す評価対象物画像２が良であると判定する。

本発明の画像処理装置１１は、物体の傷および汚れなどを検出する検査にも好適に用いることができる。

本発明の他の実施の形態において、画像入力部１２は、評価対象画像７をカラー画像として取得してもよい。

前記画像処理装置１１は、コンピュータに前述したフローチャートに示す手順を表すプログラムを実行させることによって実現されてもよい。

本発明の実施の一形態の画像評価方法を実行する画像処理装置１１を表すブロック図である。 制御部１８の動作処理を表すフローチャートである。 照合部１４の動作処理を表すフローチャートである。 評価対象画像と非評価対象画像を横方向に２分割、縦方向に２分割したときの局所領域２０を示す図である。 評価対象物画像と、基準画像と、各局所領域２０における第２差異量の第１差異量に対する比率を百分率で表して示す図である。 評価対象物画像と、基準画像と、各局所領域２０における第２差異量の第１差異量に対する比率を百分率で表して示す図である。 基準画像１と、第１評価対象物画像２ａと、基準画像１および第１評価対象物画像２ａの差異を表す第１差異画像３を表す図である。 基準画像１と、第２評価対象物画像２ｂと、基準画像１および第２評価対象物画像２ｂの差異を表す第２差異画像５を表す図である。 評価対象画像７においてマトリクス状に分割された局所領域２０が設定されたときに、横方向に隣接する局所領域２０に跨って、評価対象物画像２に生じる欠けまたは汚れを表す図である。 評価対象画像７においてマトリクス状に分割された局所領域２０が設定されたときに、縦方向に隣接する局所領域２０に跨って、評価対象物画像２に生じる欠けまたは汚れを表す図である。 評価対象画像７においてマトリクス状に分割された局所領域２０が設定されたときに、横方向および縦方向に隣接する局所領域２０に跨って、評価対象物画像２に生じる欠けまたは汚れを表す図である。

符号の説明

１ 基準画像
２ 評価対象物画像
６ 非評価対象画像
７ 評価対象画像
１１ 画像処理装置
１２ 画像入力部
１４ 照合部
１５ 良否判定部
１８ 制御部

Claims (3)

1. 評価対象物を撮像することによって取得される評価対象物画像を含む評価対象画像と、評価対象物画像と比較されるべき基準画像を含む非評価対象画像とを照合して、評価対象物画像の良否を判定する画像判定方法であって、
   評価対象画像の全領域と、非評価対象画像の全領域とを照合し、評価対象画像と非評価対象画像との対応する画素同士を比較し、画素値が異なる部分を表す差異画像の画素数である第１差異量を検出し、
   評価対象画像および非評価対象画像を等分割して得られる大きさの局所領域を、評価対象画像および非評価対象画像の全領域にわたって、隣合う局所領域の一部が重なるように複数設定し、
   評価対象画像および非評価対象画像において対応する各局所領域を照合し、評価対象画像と非評価対象画像との対応する画素同士を比較し、画素値が異なる部分を表す差異画像の画素数である第２差異量を検出し、
   評価対象画像および非評価対象画像を矩形状として、それぞれ横方向の大きさをＸwとし、縦方向の大きさをＹhとし、
   各局所領域の大きさは、評価対象画像および非評価対象画像の横方向の分割数をＭとし、かつ縦方向の分割数をＮとしたときの１つのブロックと等しく選ばれ、
   各局所領域の、互いに重なる部分の横方向の大きさをＸbwとし、互いに重なる部分の縦方向の大きさをＹbhとし、
   第１差異量が表す値をＤallとし、
   各局所領域のうち差異が最も大きくなる第２差異量が表す値をＤmaxとし、
   各局所領域のうち差異が最も大きくなる第２差異量の第１差異量に対する比率を表す値をＲdとし、
   予め定める第１のしきい値をＴallとし、
   予め定める第２のしきい値をＴrasioとすると、
   Ｘbw、ＹbhおよびＲdは、
   Ｘbw＝（Ｘw／Ｍ）／２
   Ｙbh＝（Ｙw／Ｎ）／２
   Ｒd＝Ｄmax／Ｄall
   によって求められ、
   Ｔall＞ＤallかつＴrasio＞Ｒdを第１条件とし、
   Ｔall＞ＤallまたはＴrasio＞Ｒdを第２条件とし、
   第１条件および第２条件のいずれか一方を入力操作によって選択し、
   第１条件が選択された場合、第１条件を満たせば、評価対象物画像を良と判定し、第１条件を満たさなければ、評価対象物画像を不良と判定し、
   第２条件が選択された場合、第２条件を満たせば、評価対象物画像を良と判定し、第２条件を満たさなければ、評価対象物画像を不良と判定することを特徴とする画像判定方法。
2. 評価対象物画像に合わせて、前記予め定める第１および第２のしきい値を、入力操作によって調整することが可能であることを特徴とする請求項１に記載の画像判定方法。
3. 請求項１または２に記載の画像判定方法を実行する画像処理装置。

Images