JP4302382B2

JP4302382B2 - 画像認識方法

Info

Publication number: JP4302382B2
Application number: JP2002293525A
Authority: JP
Inventors: 博志木村
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2002-10-07
Filing date: 2002-10-07
Publication date: 2009-07-22
Anticipated expiration: 2022-10-07
Also published as: JP2004127157A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像認識方法に関し、例えば異欠品部品検査や部品の取り付け位置検査等をする場合に適用し得る画像認識装置に関する。
【０００２】
【従来の技術】
異欠品部品検査や部品の取り付け位置検査等を行う際に、予め登録されているマスタパターンと被検パターンを照合するパターンマッチング手法として、正規化相関法が知られている。正規化相関方法を用いた制御システムは、一般的に言って、照明の変動にロバストであるという優れた長所がある反面、計算量が多くなるという問題がある。
【０００３】
そこで、従来、マスタパターンとして登録したい領域を間引いた縮小画像パターンをマスタパターンとする方法が知られている（例えば、特許文献１参照。）。
【０００４】
一方、対象物の境界線上の画像のみをマスタパターンとする方法も知られている（例えば、特許文献２参照。）。
【０００５】
【特許文献１】
特開平６−２１５１３６号公報
【特許文献２】
特開平１１−３４２５号公報
【０００６】
【発明が解決しようとする課題】
しかし、縮小画像パターンをマスタパターンとする方法では、領域全体を均一に間引くため、位置を確認する上では重要でない面上の点が多く含まれ、計算量をさほど減らせないという問題があった。さらに、対象物の境界線上の画像のみをマスタパターンとする方法では、マスタパターンの画素数を減らせるため、高速化が可能であるが、対象物の境界線の形状は製造条件等のバラツキにより変動するため、対象物の境界線上の画像のみをマスタパターンとすると精度が出ないという問題があった。
【０００７】
そこで、本発明は、高速且つ高精度に画像パターンのサーチを実現するための画像認識方法を提供することを目的とする。
【０００８】
また、本発明は、被検対象物の変形バラツキ又は組み付け上のバラツキに拘わらず、高速且つ高精度に画像パターンのサーチを実現するためのマスタパターンの生成方法を含む画像認識方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記の目的を達成するために、本発明に係る画像認識方法では、対象物パターンを含む基準画像を入力し、基準画像を用いて対象物パターンを含む詳細サーチ用マスタ画像を生成し、基準画像を用いて対象物パターンの境界線上の画素を有しない粗サーチ用マスタ画像を生成し、粗サーチ用マスタ画像を用いてパターン認識を行うことを特徴とする。
【００１０】
また、上記の目的を達成するために、本発明に係る他の画像認識方法では、基準となる対象物を用いて、少なくとも前記対象物の外形パターンを含む基準画像としてのマスタ生成用画像を生成し、前記マスタ生成用画像から詳細サーチ用マスタ画像を生成し、前記マスタ生成用画像中の前記対象物の境界線を検出し、前記境界線の内側及び外側のそれぞれに被検対象物の変形バラつき量に応じて決定された第１の画素分だけ離れた２つの境界線近傍点を求め、前記境界線近傍点から隣り合う画素同士の距離が第２の画素分になるように画素を間引くことにより粗サーチ用マスタ画像を生成し、前記粗サーチ用マスタ画像を前記第１の画素分刻みで移動させながら前記被検対象物の画像である被検画像中で前記粗サーチ用マスタ画像と最も一致した画像領域を決定する粗サーチを行い、前記最も一致した画像領域を中心に前記第１の画素の範囲だけオーバーラップした詳細サーチ用画像領域に対して、前記詳細サーチ用マスタ画像を１画素刻みで移動させながら詳細サーチを行うことを特徴とする。
【００１１】
このように、本発明に従った画像認識方法では、粗サーチ用マスタ画像によって特定の領域を抽出した後に、詳細サーチ用マスタ画像を用いたパターンマッチングが行われるので、高速且つ高精度に画像パターンのサーチを行うことができる。また、粗サーチ用マスタ画像は、対象物パターンの境界線上の画素を有していないので、被検対象物が多少変形していても画像パターンの認識を行うことができるロバスト性を備えている。
【００１２】
なお、本発明に係る画像認識方法において、粗サーチ用マスタ画像は、対象物パターンの境界線から第１の画素分離れた境界線近傍点を含むことが好ましく、対象物パターンの境界線から第１の画素分離れ且つ境界線の両側に位置する２組の境界線近傍点を含むことがさらに好ましい。
【００１３】
また、本発明に係る画像認識方法において、粗サーチ用マスタ画像は、対象物パターンの境界線上の画素を有しない境界線近傍点を隣り合う画素間が第２の画素分毎になるように間引いたものであることが好ましく、対象物パターンの境界線の両側に位置する２組の境界線近傍点をそれぞれ隣り合う画素間が第２の画素分毎になるように間引いたものであることがさらに好ましい。
【００１４】
また、本発明に係る画像認識方法において、粗サーチ用マスタ画像は、対象物パターンの境界線から第１の画素分離れた境界線近傍点を隣り合う画素間が第２の画素分毎になるように間引いたものであることが好ましく、対象物パターンの境界線から第１の画素分離れ且つ境界線の両側に位置する２組の境界線近傍点をそれぞれ隣り合う画素間が第２の画素分毎になるように間引いたものであることがさらに好ましい。
【００１５】
また、本発明に係る画像認識方法において、第１の画素分は、対象物の成形バラツキ又は組み付け位置バラツキに対応した値であることが好ましく、対象物の変形バラツキ又は組み付け位置バラツキに拘わらず粗サーチ用マスタ画像が被検パターンをサーチするのに適した値であることがさらに好ましい。
【００１６】
また、本発明に係る画像認識方法において、第２の画素分は、パターン認識の目標時間及び対象物パターンの境界線の全長に応じて決定されることが好ましい。
【００１７】
パターン認識の目標時間及び対象物パターンの境界線の全長に応じて、最適な結果が得られるように、隣り合う画素間が第２の画素分毎になるように間引かれていることから、高速且つ高精度に画像パターンのサーチを行うことができる。
【００１８】
【発明の実施の形態】
以下、本発明に係る画像認識方法の一実施形態について、図１〜図７を用いて説明する。図１は、本発明に係る画像認識方法を実施するための画像認識装置１の全体構成の概略を示すものであり、画像認識装置１は、主に、ＣＣＤカメラ等から構成される画像入力部２、Ａ／Ｄ変換器３、入力画像を一時記憶するために画像メモリ４、演算部５、マウスやトラックボウル等から構成される着目領域指示部９、液晶ディスプレイやプリンタ等から構成される結果出力部１０、及びマスタ画像を記憶するためにマスタ記憶部１１から構成される。なお、画像認識装置１の各構成要素は、不図示のバス等によって相互に接続され、不図示のＣＰＵ等から構成される全体制御部によって制御される。また、演算部５は、少なくとも着目領域選択部６、マスタ画像生成部７及びサーチ処理部８を有しており、ＣＰＵ，ＲＯＭ、ＲＡＭ及び各種インターフェースなどから構成されている。
【００１９】
次に、本発明に係る画像認識方法の一実施形態におけるマスタ画像の生成手順について、図２を用いて説明する。
【００２０】
まず、マスタ画像生成のために、基準となる対象物１００を用いて、少なくとも対象物の外形パターンを含む基準画像としてのマスタ生成用画像を画像入力部２によって入力し（ステップ２０１）、Ａ／Ｄ変換器３によってデジタル信号に変換して画像メモリ４に一時記憶する（ステップ２０２）。入力されたマスタ生成用画像１１０の一例を図３（ａ）に示す。
【００２１】
次に、入力されたマスタ生成用画像から、マスタ画像として登録したい部分を着目領域として選択する（ステップ２０３）。選択は、オペレータが、マスタ生成用画像１１０を結果出力部１０に表示させながら、着目領域指示部９によって選択することによって行われ、着目領域選択部６によってマスタ生成用画像１１０から選別される。選択された着目領域１２０の一例を図３（ｂ）に示す。着目領域１２０の画像情報は、詳細サーチ用マスタ画像として、マスタ画像記憶部１１に記憶される（ステップ２０４）。なお、領域１３０については後述する。
【００２２】
次に、マスタ生成部７は、マスタ生成用画像の着目領域１２０の画像情報から境界線近傍点を抽出し（ステップ２０５）、抽出された境界線近傍点を粗サーチ用マスタ画像としてマスタ記憶部１１に記憶する（ステップ２０６）。
【００２３】
粗サーチ用マスタ画像を求める手順について図４を用いて以下に説明する。なお、図４（ａ）〜（ｃ）は、図３（ｂ）の領域１３０の部分に対応し、図４（ｄ）は図３（ｂ）の着目領域１２０に対応している。また、図４（ａ）〜（ｃ）は、説明のために画素を強調して表しており、各図において１３５は、対象物パターンを示している。
【００２４】
まず着目領域１２０の画像情報に対して公知の微分処理等を行い、対象物１００の境界線１４０を検出する（図４（ａ）参照）。次に、境界線１４０から、境界線の内側及び外側のそれぞれに、境界線に対して垂直方向にａ画素分だけ離れた２つの境界線近傍点１４２及び１４４を求める（図４（ｂ）参照）。最後に、求められた境界線近傍点１４２及び１４４から、隣り合う画素同士の距離がｂ画素分になるように画素を間引く（図４（ｃ）参照）。この結果得られた粗サーチ用マスタ画像の一例を図４（ｄ）に示す。
【００２５】
なお、図４（ｃ）に示すように、境界線１４０の外側にある境界線近傍点１４２は、それぞれ背景部の濃度を引き継ぐので、明濃度を有し、境界線１４０の内側にある境界線近傍点１４４は、それぞれ対象物パターン１３５の濃度を引き継ぐので、暗濃度を有している。２組の境界線近傍点１４２及び１４４が異なった濃度を有していることは、粗サーチ用マスタ画像１５０によるサーチを行う場合に、被検パターンとのパターンマッチングをより確実に行えるという効果もある。なお、背景が暗濃度、対象物が明濃度であってもよい。２組の境界線近傍点１４２及び１４４に必ず濃度差があることが重要である。
【００２６】
ここで、「ａ画素分」は、被検対象物の変形バラツキ量に応じて決定されることが望ましい。例えば、最大幅が１００ｍｍ程度の樹脂成形品を被検対象物とし、その変形バラツキが±１ｍｍ程度である場合、被検対象物の組み付け時の誤差を考慮して縦横１５０ｍｍ程度の視野サイズが必要である。この場合では、１画素あたりの分解能は０．３ｍｍであるから、±１ｍｍの変形バラツキを許容するためには、±３画素分だけ離れた位置に境界線近傍点を設定するのが適当である。
【００２７】
即ち、被検対象物である樹脂成形品の外形の境界線上に、パターン認識用のマスタ画像（この場合では粗サーチ用マスタ画像）があると、樹脂成形品の変形バラツキによって、高精度なパターン認識ができない場合が生じてしまう。したがって、被検対象物の変形のバラツキに拘わらず、粗サーチではパターン認識ができるように「ａ画素分」を設定したものである。図５に示すように、理想的境界線（基準となる対象物の境界線に相当）に対して、実際の被検対象物の境界線がバラついても、ａ画素分だけ離れた境界線近傍点を有する粗サーチ用マスタ画像１５０を有していれば、被検対象物の形状が多少変化していてもその認識ができるようになり、ロバスト性を向上させることが可能となった。
【００２８】
また、「ｂ画素分」は、画像処理の目標時間と、被検対象物の境界線の全長に応じて決定されることが望ましい。例えば、ＰｅｎｔｉｕｍIII （登録商標）１ＧＨｚのＣＰＵを用いて、０．１ｓ以内に画像処理を完了するためには、境界線近傍点は４００画素以内にすることが必要である。さらに、限られた境界線近傍点で、最高の認識精度を出すためには、境界線近傍点が被検対象物の境界線全体に渡って、まんべんなく散りばめられていることが必要である。例えば、境界線の全長が８００画素の被検対象物の場合、境界線近傍点は、境界線の両側に２００画素づつ（合計４００画素）配置することになるので、間隔ｂは、８００÷２００＝４より、４画素分毎が最適となる。
【００２９】
なお、上述した例における粗サーチ用マスタ画像１５０は、境界線の両側に配置された２組の境界線近傍点を含んでいるが、どちらか一組をすることも可能である。また、画像処理能力が極めて高いＣＰＵ又はシステムを利用する場合には、隣り合う画素の距離がｂ画素分となるように間引かずに、粗サーチ用マスタ画像を生成することもできる。
【００３０】
次に、本発明に係る画像認識方法の一実施形態における認識手順について図６を用いて説明する。
【００３１】
まず、対象物１００に代わって被検対象物１６０を配置し、被検画像を画像入力部２によって入力し、Ａ／Ｄ変換器３によってデジタル信号に変換して画像メモリ４に一時記憶する（ステップ６０１）。入力された被検画像１７０の一例を図７（ａ）に示す。なお、マスタ画像生成用の画像入力部と、被検画像入力用の画像入力部を別々に設けても良い。
【００３２】
次に、サーチ処理部８は、被検画像１７０に対して、図２のステップ２０６で記憶した粗サーチ用マスタ画像１５０を用い、粗サーチを行う（ステップ６０２）。粗サーチは、粗サーチ用マスタ画像１５０をａ画素分（境界線近傍点を求めた時と同じａ画素分）刻みで移動させながら（図７（ａ）参照）、被検画像１７０全体についてサーチを行い、被検画像１７０中で粗サーチ用マスタ画像１５０と最も一致した画像領域が決定される。最も一致した画像領域１８０の一例を図７（ｂ）に示す。
【００３３】
次に、サーチ処理部８は、被検画像中で最も一致した画像領域１８０を中心に±ａ画素の範囲内の画像領域（詳細サーチ用画像領域）１９０に対して、図２のステップ２０４で記憶した詳細サーチ用マスタ画像を用い、詳細サーチを行う（ステップ６０３）。なお、±ａ画素の範囲内の画像領域１９０について詳細サーチを行うのは、粗サーチ用マスタの境界線近傍点が境界線からａ画素離れた位置にあることから、粗サーチ用マスタの周辺部ギリギリにパターンがある場合に、ａ画素分オーバーラップして詳細サーチを行った方がより正確なパターンマッチングを行える場合があると予想されるからである。
【００３４】
詳細サーチは、ステップ６０２における粗サーチによって抽出された詳細サーチ用画像領域１９０に対して、詳細サーチ用マスタ画像を１画素刻みで移動させながら行なわれる。公知のパターンマッチング法によって、詳細サーチ用マスタ画像の対象物パターンと被検パターンとが比較され、被検対象物１６０の異欠品部品検査が行われる（ステップ６０４）。
【００３５】
なお、異欠部品検査の代わりに、部品の位置決め判定（例えば、プリント配線基板上の所定の部品位置の正誤判定）のために、上記のマスタ作成手順及び認識手順を用いることもできる。
【図面の簡単な説明】
【図１】本発明に係わる画像認識方法を実施するための画像認識装置の概要を示すための図である。
【図２】マスタ画像を作成する手順を示すフローチャートである。
【図３】（ａ）はマスタ作成用画像の一例を示す図で、（ｂ）は着目領域の一例を示す図である。
【図４】（ａ）〜（ｃ）は、粗サーチ用マスタ画像の作成手順を説明するための図であり、（ｄ）は作成された粗サーチ用マスタ画像の一例を示す図である。
【図５】粗サーチ用マスタ画像の機能を説明するための図である。
【図６】画像パターンの認識をする手順を説明するためのフローチャートである。
【図７】（ａ）は被検画像の一例を示す図であり、（ｂ）は詳細サーチ用の画像領域の一例を示す図である。
【符号の説明】
１…画像認識装置
２…画像入力部
３…Ａ／Ｄ変換器
４…画像メモリ
５…演算部５
９…着目領域指示部
１０…結果出力部
１１…マスタ記憶部
１００…対象物
１１０…マスタ生成用画像
１２０…着目領域
１５０…粗サーチ用マスタ
１６０…被検対象物
１７０…被検画像
１９０…詳細サーチ用画像領域

Claims

基準となる対象物を用いて、少なくとも前記対象物の外形パターンを含む基準画像としてのマスタ生成用画像を生成し、
前記マスタ生成用画像から詳細サーチ用マスタ画像を生成し、
前記マスタ生成用画像中の前記対象物の境界線を検出し、前記境界線の内側及び外側のそれぞれに被検対象物の変形バラつき量に応じて決定された第１の画素分だけ離れた２つの境界線近傍点を求め、前記境界線近傍点から隣り合う画素同士の距離が第２の画素分になるように画素を間引くことにより粗サーチ用マスタ画像を生成し、前記粗サーチ用マスタ画像を前記第１の画素分刻みで移動させながら前記被検対象物の画像である被検画像中で前記粗サーチ用マスタ画像と最も一致した画像領域を決定する粗サーチを行い、
前記最も一致した画像領域を中心に前記第１の画素の範囲だけオーバーラップした詳細サーチ用画像領域に対して、前記詳細サーチ用マスタ画像を１画素刻みで移動させながら詳細サーチを行う、
ことを特徴とする画像認識方法。
前記第２の画素分は、前記詳細サーチの目標時間及び前記対象物の外形パターンの境界線の全長に応じて決定される請求項１に記載の画像認識方法。