JP3598862B2 - 画像認識装置および画像認識方法 - Google Patents
画像認識装置および画像認識方法 Download PDFInfo
- Publication number
- JP3598862B2 JP3598862B2 JP01558799A JP1558799A JP3598862B2 JP 3598862 B2 JP3598862 B2 JP 3598862B2 JP 01558799 A JP01558799 A JP 01558799A JP 1558799 A JP1558799 A JP 1558799A JP 3598862 B2 JP3598862 B2 JP 3598862B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- recognition
- pattern
- matching
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、認識対象物の画像を取り込んで画像認識を行う画像認識装置および画像認識方法に関するものである。
【０００２】
【従来の技術】
電子部品や機器の製造分野において、検査や位置検出などの目的で認識対象物を画像で取り込み画像認識を行う方法が多用されている。この画像認識の手法の１つとして、パターンマッチングが広く用いられる。このパターンマッチングでは、予め認識対象物の典型画像をリファレンスパターンとして記憶させておき、カメラで取得した認識対象物の画像をこのリファレンスパターンと対比照合し、マッチング率を求めることにより認識対象物であるか否かを判断するものである。そして、このパターンマッチングは、基板や電子部品の位置検出に広く応用されており、基板や電子部品には位置検出用の認識マークが形成される。
【０００３】
【発明が解決しようとする課題】
ところが、フレキシブル基板など、撓み易いものに形成された認識マークが認識対象物であるような場合には、画像認識に際し以下のような困難があった。まず、認識対象物の良好な画像を取得するため、認識対象物周囲を照明することが行われるが、認識マークが形成された面が撓んでいる場合には、照明光が反射される方向は撓みの状態によって異り、カメラで撮像して得られた画像上では大きな明暗差が生じる。このため得られた画像データをリファレンスパターンとパターンマッチングさせたときには、本来正しい認識マークであるにも拘らずマッチング率が低くなり、認識エラーを生ずる場合がある。
【０００４】
また、認識マークそのものは同一であっても、画像上での認識マーク周辺の背景に差異があるような場合、さらには認識対象物の表面が経時的に変質するような場合（例えば金属表面の酸化など）にも、同様の認識エラーを生じる場合がある。このように、従来の画像認識装置では、認識マークそのものは同一であっても、撮像された画像上で見え方が異ることに起因する認識エラーにより認識精度が低く、その都度照明の調整などの対応を必要として装置稼働率を低下させる一要因となっていた。
【０００５】
そこで本発明は、認識精度を向上させ、装置稼働率を向上させることができる画像認識装置および画像認識方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１記載の画像認識装置は、認識対象物の画像を取り込むカメラと、このカメラで取得した画像データを記憶する画像記憶部と、前記認識対象物の見え方がそれぞれ異る複数のリファレンスパターンを記憶するパターン記憶部と、前記記憶された画像データを前記複数のリファレンスパターンとパターンマッチングさせることにより前記認識対象物を認識する画像処理部と、この画像処理部によって求められたマッチング率の合否判定を行い、マッチング率が不合格ならば順次他のリファレンスパターンとのパターンマッチングを指令する判定手段とを備えた。
【０００７】
請求項２記載の画像認識方法は、認識対象物の画像をカメラで取り込み、取得した画像データを画像記憶部に記憶させ、予めパターン記憶部に記憶された前記認識対象物の見え方がそれぞれ異る複数のリファレンスパターンの１つと前記画像データをパターンマッチングさせてマッチング率を求め、求められたマッチング率の合否判定を行い、マッチング率が不合格ならば順次他のリファレンスパターンとのパターンマッチングを行う。
【０００８】
各請求項記載の発明によれば、同一認識対象物について見え方が異る複数のリファレンスパターンを予め記憶させておき、１つのリファレンスパターンとのパターンマッチングによって認識エラーを生じたならば、順次他のリファレンスパターンとパターンマッチングさせることにより、同一認識対象物が単に見え方が異なることによる認識エラーを減少させることができる。
【０００９】
【発明の実施の形態】
次に本発明の実施の形態を図面を参照して説明する。図１は本発明の一実施の形態のボンディング装置の側面図、図２は同基板およびサブ基板の平面図、図３、図４、図５は同ボンディング装置の部分断面図、図６は同ボンディング装置の制御系のブロック図、図７は同リファレンスパターンの画像図、図８は同ボンディング装置の動作を示すフロー図、図９は同画像認識処理のフロー図である。
【００１０】
まず図１を参照して本発明の画像認識装置が組み込まれたボンディング装置の構造を説明する。図１において基台１には第１のＸＹθテーブル２が配設されている。第１のＸＹθテーブル２はＸテーブル２Ａ、Ｙテーブル２Ｂおよびθテーブル２Ｃを段積みして構成されている。θテーブル２Ｃ上には主基板保持テーブル３が装着されており、主基板保持テーブル３は主基板４を吸着して保持する。
【００１１】
基台１上の第１のＸＹテーブル２と反対側の端部には、第２のＸＹθテーブル５が配設されている。第２のＸＹθテーブル５はＸテーブル５Ａ、Ｙテーブル５Ｂおよびθテーブル５Ｃを段積みして構成されており、θテーブル５Ｃ上にはサブ基板保持テーブル６が装着されている。サブ基板保持テーブル６はフレキシブル基板８が予め接続されたサブ基板７を吸着して保持する。
【００１２】
第１のＸＹθテーブル２および第２のＸＹθテーブル５を駆動することにより、主基板４の縁部に対してフレキシブル基板８の端部を位置合せすることができる。第１のＸＹθテーブル２および第２のＸＹθテーブル５の間には、撮像部９が配設されている。基台１上に配設されたカメラ移動手段としてのカメラＸＹテーブル１０上には、カメラ１１が装着されている。カメラ１１に備えられた鏡筒１４には同軸照明部１２およびリング照明部１３が備えられている。カメラＸＹテーブル１０を駆動することにより、カメラ１１は水平方向に移動し、同軸照明部１２およびリング照明部１３によってフレキシブル基板８の下面を照明された状態で、フレキシブル基板８に設けられた認識マークを撮像する。
【００１３】
主基板４の上方には、ＸＹテーブル１５が配設されている。ＸＹテーブル１５はＸテーブル１５ＡおよびＹテーブル１５Ｂを重ねて構成されており、Ｘテーブル１５Ａの下面には移動ブロック１６が装着されている。移動ブロック１６には圧着ツール１８を備えた圧着ヘッド１７が固着されており、移動ブロック１６に立設された棒状のブラケットの下端部には透過照明部１９が装着されている。透過照明部１９が主基板４の縁部の上方に位置した状態で上方より主基板４を照明し、主基板４の下方よりカメラ１１で撮像すると、主基板４の上面の認識マークを撮像する。また、主基板４の縁部上にフレキシブル基板８の端部を位置合せした状態で圧着ツール１８をフレキシブル基板８の端部に押圧することにより、フレキシブル基板８は主基板４にボンディングされる。
【００１４】
次に図２を参照して主基板４とフレキシブル基板８のボンディング部の詳細について説明する。図２において、主基板４の縁部には、多数の端子電極２０が列状に形成され、端子列２０Ａを構成している。それぞれの端子列２０Ａの両側には、それぞれ主基板４の位置認識用の認識対象物である第１の認識マーク２２のＡ点およびＢ点が設けられている。主基板４の上面には、縁部に沿ってテープ状の異方性導電材２１が貼付されている。ここで、異方性導電材２１は本来端子列２０Ａの範囲のみに貼付されればよいものであるが、貼付時に連続したテープを複数の端子列２０Ａ上に一括して貼付する方法が採用されているため、図２において最上部に示す第１の認識マーク２２上には異方性導電材２１は貼付されず、その他の位置の第１の認識マーク２２上には異方性導電材２１が貼付されている。
【００１５】
フレキシブル基板８の下面には、主基板４の端子列２０Ａの配列ピッチに対応して、同様に多数の端子電極２３によって端子列２３Ａが構成されている。また端子列２３Ａの両側のフレキシブル基板８の下面には、フレキシブル基板８の位置認識用の認識対象物である第２の認識マーク２４が形成されている。
【００１６】
第１の認識マーク２２および第２の認識マーク２４を認識することにより、主基板４およびフレキシブル基板８の位置がそれぞれ認識される。したがって、第１の認識マーク２２および第２の認識マーク２４を認識することにより、端子列２０Ａと端子列２３Ａの位置ずれ量を求めることができ、この位置ずれ量に基づいて第２のＸＹθテーブル５を駆動することにより、端子列２３Ａを端子列２０Ａに正確に位置合せすることができる。
【００１７】
次に図３を参照して撮像部９について説明する。図３において、ＸＹテーブル１０に装着されたカメラ１１は鏡筒１４を備えている。鏡筒１４の側面には同軸照明部１２が設けられており、同軸照明部１２を発光させることにより、照明光はハーフミラー１２ａにより上方に反射され、カメラ１１の上方に位置する対象物を同軸方向（矢印ａ）から照明する。鏡筒１４の上端部にはリング照明部１３が鏡筒１４の周囲をリング状に取り囲んで装着されている。リング照明部１３を発光させることにより、カメラ１１の上方の対象物を斜下方（矢印ｂ）から照明する。
【００１８】
撮像部９を図３に示す撮像位置Ａに位置させ、同軸照明部１２およびリング照明部１３を発光した状態で、カメラ１１はフレキシブル基板８の下面の第２の認識マーク２４を撮像する。また撮像部９を撮像位置Ｂに位置させ、透過照明部１９をこの撮像位置Ｂの上方に位置させた状態でカメラ１１により主基板４を撮像することにより、主基板４の上面に形成された第１の認識マーク２２（図２）を撮像する。なお、図３においてはフレキシブル基板８が撮像位置Ｂの主基板４の上方に重なっているが、第１の認識マーク２２の位置にはフレキシブル基板８は存在せず、したがって透過照明を阻害しない。
【００１９】
次に図６を参照してボンディング装置の制御系の構成について説明する。図６においてカメラ１１には画像処理部３０が接続されている。画像処理部３０は取得された画像データを、予め記憶された認識マークの見え方の異なる複数のリファレンスパターンとパターンマッチングさせることにより、第１の認識マーク２２および第２の認識マーク２４の認識を行い、位置を検出する。
【００２０】
画像処理部３０内には、画像記憶部３０ａおよびパターン記憶部３０ｂが設けられており、画像記憶部３０ａはカメラ１１で所得した画像データを記憶し、パターン記憶部３０ｂは前記複数のリファレンスパターンを記憶する。
【００２１】
同軸照明部１２、リング照明部１３および透過照明部１９は照明コントローラ３１に接続されている。照明コントローラ３１は後述の制御部からの指令に従って各照明部のＯＮ−ＯＦＦおよび明るさの制御を行う。制御部３２はＣＰＵであり、ボンディング装置全体の動作制御や位置補正演算などを行うほか、判定手段としてマッチング率の合否判定処理を行う。すなわち、画像処理部３０によって求められたマッチング率が所定値以上であるか否かを判定し、所定値に満たなければ不合格と判定して他のリファレンスパターンとのパターンマッチングを指令する。記憶部３３は検出された認識マークの位置座標データや位置補正データを記憶する。
【００２２】
第１のＸＹθテーブル２、第２のＸＹθテーブル５、ＸＹテーブル１５、カメラＸＹテーブル１０はモータ駆動部３４によって駆動される。モニター３５は認識エラー表示などの報知および操作・入力画面を表示する。操作・入力部３６はキーボードであり、一般の操作コマンドや新たなリファレンスパターンの入力操作を行う。
【００２３】
図６に示す構成要素のうち、カメラＸＹテーブル１０，カメラ１１，画像処理部３０，リング照明部１３，同軸照明部１２，透過照明部１９，照明コントローラ３１，制御部３２，記憶部３３が画像認識装置を構成している。
【００２４】
このボンディング装置は上記のように構成されており、以下動作について図８のフローに沿って説明する。まず図１において主基板保持テーブル３上に主基板４が載置され、主基板４の第１の認識マーク２２のＡ点、Ｂ点をカメラ１１により撮像する。このとき、図４、図５に示すように、透過照明部１９を撮像対象の第１の認識マーク２２上に位置させ、またカメラ１１を第１の認識マーク２２の下方に位置させ、上方から透過照明光を照射した状態で第１の認識マーク２２のＡ点、Ｂ点を順次撮像する（ＳＴ１）。
【００２５】
なお、図４は第１の認識マーク２２上に異方性導電材２１が貼付された状態を、図５は異方性導電材２１が貼付されていない状態を示している。図５は、図２に示す最上部の第１の認識マーク２２に対応しており、図４はそれ以外の第１の認識マーク２２に対応している。このように、同一の認識対象物である第１の認識マーク２２を同一の照明条件で撮像した場合でも、異方性導電材２１の貼付の有無によって、得られる画像は第１の認識マーク２２の背景画像が異なる明度で観察される。
【００２６】
次に、撮像により取得された画像データに基づき第１の認識マーク２２のＡ点、Ｂ点の認識処理を行い（ＳＴ２）、この認識結果により主基板４の位置ズレを求める（ＳＴ３）。そしてこの位置ズレ検出結果に基づき、第１のＸＹθテーブル２を駆動して主基板４の位置を補正する（ＳＴ４）。
【００２７】
この後、第２のＸＹθテーブル５を駆動してフレキシブル基板８の端部を主基板４の縁部に重ね合せ、サブ基板７を主基板４に対して仮位置決めする。次いで図３に示すようにカメラＸＹテーブル１０を駆動してカメラ１１をフレキシブル基板８の第２の認識マーク２４の下方に位置させ、第２の認識マーク２４のＡ点、Ｂ点を撮像する（ＳＴ６）。次いで、取得された画像データを認識処理し（ＳＴ７）、第２の認識マーク２４の位置を検出する。そして主基板４に対するフレキシブル基板８の位置ズレを求め（ＳＴ８）、この位置ズレ検出結果に基づき、第２のＸＹθテーブル５を駆動して、サブ基板７を主基板４に位置合せする（ＳＴ９）。この後、ＸＹテーブル１５を駆動して圧着ヘッド１７を主基板４の縁部上に移動させ、圧着ツール１８を下降させてフレキシブル基板８を主基板４に対して押圧する。これにより、フレキシブル基板８は主基板４に異方性導電材２１を介してボンディングされる（ＳＴ１０）。
【００２８】
次に、図９を参照して前述のフロー中の認識処理（ＳＴ７）について説明する。ここでは、予め対象物である第２の認識マーク２４のリファレンスパターンを複数種類（ここでは６種類）パターン記憶部３０ａに記憶させておき、これらのリファレンスパターンを撮像により取得された画像データと順次パターンマッチングさせるものである。このように複数のリファレンスパターンを用いるのは、フレキシブル基板８は撓み易くしかもその撓みの傾向には法則性がないため、個々のフレキシブル基板８によって撮像された画像が異り、単一のリファレンスパターンのみを用いると認識エラーが多発するからである。
【００２９】
本実施の形態では、図７に示すような６種類のリファレンスパターンが用いられる。図７（ａ）はフレキシブル基板８がほぼ撓みなく水平に保たれた状態での第２の認識マーク２４の画像を示すものである。これに対し図７（ｂ），（ｃ），（ｄ），（ｅ）はフレキシブル基板８の撓みの方向に起因して、画像にそれぞれ左、右、上、下の部分に影が生じた状態を示している。また、図７（ｆ）はフレキシブル基板８そのものは撓みがなく、第２の認識マーク２４の画像には影が発生しないものの、第２の認識マーク２４の表面が酸化などで変質し、光の反射状況が変化して明度が異る画像となった例を示している。このように通常で想定可能な複数種類のリファレンスパターンを予め用意して、これらと順次パターンマッチングさせることにより、認識マーク自体としては正常であるにも拘らず、カメラ１１に対しての認識マークの見え方が異ることによって認識エラーが発生するという事態を防止することができる。
【００３０】
図９において、まず複数のリファレンスパターンに付されるインデックスＮｏ．（ｉ）を１にセットする（ＳＴ１１）。次に、リファレンスパターンＮｏ．（ｉ）と、第２の認識マーク２４のＡ点の画像とをパターンマッチングで照合する（ＳＴ１２）。そして、マッチング率の合否、すなわち求められたマッチング率が８０％以上であるか否かが制御部３２によって判断される（ＳＴ１３）。ここでマッチング率が８０％に満たないならば不合格と判定され、制御部３２の指令により他のリファレンスパターンを用いてパターンマッチングを行う。すなわちインデックスＮｏ．（ｉ）が６未満であるか否かが判断され（ＳＴ１４）、６未満、すなわち他に未使用のリファレンスパターンが存在すれば（ｉ）に１を加算し（ＳＴ１５）、ＳＴ１２に戻って新たなインデックスＮｏ．のリファレンスパターンを用いてパターンマッチングを行う。そしてＳＴ１４にてインデックスＮｏ．が６であれば後述のＳＴ２３に進み、認識エラー処理が行われる。そしてＳＴ１３にてマッチング率が８０％以上であれば、当該リファレンスパターンによって特定された第２の認識マーク２４のＡ点の位置を記憶させる（ＳＴ１６）。
【００３１】
次に、第２の認識マーク２４のＢ点についても、上述のＡ点についての認識処理（ＳＴ１１〜ＳＴ１６）と同様に、ＳＴ１７〜ＳＴ２２の認識処理が行われる。そしてＳＴ１４，ＳＴ２０にてＮＯと判断され、すなわち８０％以上のマッチング率を与えるリファレンスパターンが存在しないと判断されたならば、認識エラー処理が行われる（ＳＴ２３）。ここでは、認識エラーである旨がモニター３５によって報知され、オペレータはこの報知を受けて照明条件の調整や、新たなリファレンスパターンの登録等の処置を行う。
【００３２】
本実施の形態では、第２の認識マーク２４についてのみ複数のリファレンスパターンの説明をしているが、第１の認識マーク２２に対しても同様に複数のリファレンスパターンが用いられる。前述のように第１の認識マーク２２は、上面に異方性導電材２１が貼付されるか否かによって、透過照明下で撮像された画像の見え方が異るからである。したがって、この見え方に応じた複数のリファレンスパターンを予め準備しておき、これらのリファレンスパターンと順次パターンマッチングさせることにより、認識エラーを減少させることができる。
【００３３】
本発明は上記実施の形態に限定されず、本来同一性を保っていながら、照明条件や背景状況など画像上での見え方が異ることに起因して異る認識結果を与えるような認識対象物について適用することができる。
【００３４】
【発明の効果】
本発明によれば、同一対象物について見え方が異る複数のリファレンスパターンを予め記憶させておき、認識エラーを生じたならば順次他のリファレンスパターンとパターンマッチングさせるようにしたので、同一対象物が単に見え方が異なることによる認識エラーを減少させて、認識精度を向上させるとともに、画像認識装置の稼働率を向上させることができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態のボンディング装置の側面図
【図２】本発明の一実施の形態の基板およびサブ基板の平面図
【図３】本発明の一実施の形態のボンディング装置の部分断面図
【図４】本発明の一実施の形態のボンディング装置の部分断面図
【図５】本発明の一実施の形態のボンディング装置の部分断面図
【図６】本発明の一実施の形態のボンディング装置の制御系のブロック図
【図７】本発明の一実施の形態のリファレンスパターンの画像図
【図８】本発明の一実施の形態のボンディング装置の動作を示すフロー図
【図９】本発明の一実施の形態の画像認識処理のフロー図
【符号の説明】
４ 主基板
８ フレキシブル基板
９ 撮像部
１１ カメラ
２２ 第１の認識マーク
２４ 第２の認識マーク
３０ 画像処理部
３０ａ 画像記憶部
３０ｂ パターン記憶部
３２ 制御部
３３ 記憶部
【発明の属する技術分野】
本発明は、認識対象物の画像を取り込んで画像認識を行う画像認識装置および画像認識方法に関するものである。
【０００２】
【従来の技術】
電子部品や機器の製造分野において、検査や位置検出などの目的で認識対象物を画像で取り込み画像認識を行う方法が多用されている。この画像認識の手法の１つとして、パターンマッチングが広く用いられる。このパターンマッチングでは、予め認識対象物の典型画像をリファレンスパターンとして記憶させておき、カメラで取得した認識対象物の画像をこのリファレンスパターンと対比照合し、マッチング率を求めることにより認識対象物であるか否かを判断するものである。そして、このパターンマッチングは、基板や電子部品の位置検出に広く応用されており、基板や電子部品には位置検出用の認識マークが形成される。
【０００３】
【発明が解決しようとする課題】
ところが、フレキシブル基板など、撓み易いものに形成された認識マークが認識対象物であるような場合には、画像認識に際し以下のような困難があった。まず、認識対象物の良好な画像を取得するため、認識対象物周囲を照明することが行われるが、認識マークが形成された面が撓んでいる場合には、照明光が反射される方向は撓みの状態によって異り、カメラで撮像して得られた画像上では大きな明暗差が生じる。このため得られた画像データをリファレンスパターンとパターンマッチングさせたときには、本来正しい認識マークであるにも拘らずマッチング率が低くなり、認識エラーを生ずる場合がある。
【０００４】
また、認識マークそのものは同一であっても、画像上での認識マーク周辺の背景に差異があるような場合、さらには認識対象物の表面が経時的に変質するような場合（例えば金属表面の酸化など）にも、同様の認識エラーを生じる場合がある。このように、従来の画像認識装置では、認識マークそのものは同一であっても、撮像された画像上で見え方が異ることに起因する認識エラーにより認識精度が低く、その都度照明の調整などの対応を必要として装置稼働率を低下させる一要因となっていた。
【０００５】
そこで本発明は、認識精度を向上させ、装置稼働率を向上させることができる画像認識装置および画像認識方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１記載の画像認識装置は、認識対象物の画像を取り込むカメラと、このカメラで取得した画像データを記憶する画像記憶部と、前記認識対象物の見え方がそれぞれ異る複数のリファレンスパターンを記憶するパターン記憶部と、前記記憶された画像データを前記複数のリファレンスパターンとパターンマッチングさせることにより前記認識対象物を認識する画像処理部と、この画像処理部によって求められたマッチング率の合否判定を行い、マッチング率が不合格ならば順次他のリファレンスパターンとのパターンマッチングを指令する判定手段とを備えた。
【０００７】
請求項２記載の画像認識方法は、認識対象物の画像をカメラで取り込み、取得した画像データを画像記憶部に記憶させ、予めパターン記憶部に記憶された前記認識対象物の見え方がそれぞれ異る複数のリファレンスパターンの１つと前記画像データをパターンマッチングさせてマッチング率を求め、求められたマッチング率の合否判定を行い、マッチング率が不合格ならば順次他のリファレンスパターンとのパターンマッチングを行う。
【０００８】
各請求項記載の発明によれば、同一認識対象物について見え方が異る複数のリファレンスパターンを予め記憶させておき、１つのリファレンスパターンとのパターンマッチングによって認識エラーを生じたならば、順次他のリファレンスパターンとパターンマッチングさせることにより、同一認識対象物が単に見え方が異なることによる認識エラーを減少させることができる。
【０００９】
【発明の実施の形態】
次に本発明の実施の形態を図面を参照して説明する。図１は本発明の一実施の形態のボンディング装置の側面図、図２は同基板およびサブ基板の平面図、図３、図４、図５は同ボンディング装置の部分断面図、図６は同ボンディング装置の制御系のブロック図、図７は同リファレンスパターンの画像図、図８は同ボンディング装置の動作を示すフロー図、図９は同画像認識処理のフロー図である。
【００１０】
まず図１を参照して本発明の画像認識装置が組み込まれたボンディング装置の構造を説明する。図１において基台１には第１のＸＹθテーブル２が配設されている。第１のＸＹθテーブル２はＸテーブル２Ａ、Ｙテーブル２Ｂおよびθテーブル２Ｃを段積みして構成されている。θテーブル２Ｃ上には主基板保持テーブル３が装着されており、主基板保持テーブル３は主基板４を吸着して保持する。
【００１１】
基台１上の第１のＸＹテーブル２と反対側の端部には、第２のＸＹθテーブル５が配設されている。第２のＸＹθテーブル５はＸテーブル５Ａ、Ｙテーブル５Ｂおよびθテーブル５Ｃを段積みして構成されており、θテーブル５Ｃ上にはサブ基板保持テーブル６が装着されている。サブ基板保持テーブル６はフレキシブル基板８が予め接続されたサブ基板７を吸着して保持する。
【００１２】
第１のＸＹθテーブル２および第２のＸＹθテーブル５を駆動することにより、主基板４の縁部に対してフレキシブル基板８の端部を位置合せすることができる。第１のＸＹθテーブル２および第２のＸＹθテーブル５の間には、撮像部９が配設されている。基台１上に配設されたカメラ移動手段としてのカメラＸＹテーブル１０上には、カメラ１１が装着されている。カメラ１１に備えられた鏡筒１４には同軸照明部１２およびリング照明部１３が備えられている。カメラＸＹテーブル１０を駆動することにより、カメラ１１は水平方向に移動し、同軸照明部１２およびリング照明部１３によってフレキシブル基板８の下面を照明された状態で、フレキシブル基板８に設けられた認識マークを撮像する。
【００１３】
主基板４の上方には、ＸＹテーブル１５が配設されている。ＸＹテーブル１５はＸテーブル１５ＡおよびＹテーブル１５Ｂを重ねて構成されており、Ｘテーブル１５Ａの下面には移動ブロック１６が装着されている。移動ブロック１６には圧着ツール１８を備えた圧着ヘッド１７が固着されており、移動ブロック１６に立設された棒状のブラケットの下端部には透過照明部１９が装着されている。透過照明部１９が主基板４の縁部の上方に位置した状態で上方より主基板４を照明し、主基板４の下方よりカメラ１１で撮像すると、主基板４の上面の認識マークを撮像する。また、主基板４の縁部上にフレキシブル基板８の端部を位置合せした状態で圧着ツール１８をフレキシブル基板８の端部に押圧することにより、フレキシブル基板８は主基板４にボンディングされる。
【００１４】
次に図２を参照して主基板４とフレキシブル基板８のボンディング部の詳細について説明する。図２において、主基板４の縁部には、多数の端子電極２０が列状に形成され、端子列２０Ａを構成している。それぞれの端子列２０Ａの両側には、それぞれ主基板４の位置認識用の認識対象物である第１の認識マーク２２のＡ点およびＢ点が設けられている。主基板４の上面には、縁部に沿ってテープ状の異方性導電材２１が貼付されている。ここで、異方性導電材２１は本来端子列２０Ａの範囲のみに貼付されればよいものであるが、貼付時に連続したテープを複数の端子列２０Ａ上に一括して貼付する方法が採用されているため、図２において最上部に示す第１の認識マーク２２上には異方性導電材２１は貼付されず、その他の位置の第１の認識マーク２２上には異方性導電材２１が貼付されている。
【００１５】
フレキシブル基板８の下面には、主基板４の端子列２０Ａの配列ピッチに対応して、同様に多数の端子電極２３によって端子列２３Ａが構成されている。また端子列２３Ａの両側のフレキシブル基板８の下面には、フレキシブル基板８の位置認識用の認識対象物である第２の認識マーク２４が形成されている。
【００１６】
第１の認識マーク２２および第２の認識マーク２４を認識することにより、主基板４およびフレキシブル基板８の位置がそれぞれ認識される。したがって、第１の認識マーク２２および第２の認識マーク２４を認識することにより、端子列２０Ａと端子列２３Ａの位置ずれ量を求めることができ、この位置ずれ量に基づいて第２のＸＹθテーブル５を駆動することにより、端子列２３Ａを端子列２０Ａに正確に位置合せすることができる。
【００１７】
次に図３を参照して撮像部９について説明する。図３において、ＸＹテーブル１０に装着されたカメラ１１は鏡筒１４を備えている。鏡筒１４の側面には同軸照明部１２が設けられており、同軸照明部１２を発光させることにより、照明光はハーフミラー１２ａにより上方に反射され、カメラ１１の上方に位置する対象物を同軸方向（矢印ａ）から照明する。鏡筒１４の上端部にはリング照明部１３が鏡筒１４の周囲をリング状に取り囲んで装着されている。リング照明部１３を発光させることにより、カメラ１１の上方の対象物を斜下方（矢印ｂ）から照明する。
【００１８】
撮像部９を図３に示す撮像位置Ａに位置させ、同軸照明部１２およびリング照明部１３を発光した状態で、カメラ１１はフレキシブル基板８の下面の第２の認識マーク２４を撮像する。また撮像部９を撮像位置Ｂに位置させ、透過照明部１９をこの撮像位置Ｂの上方に位置させた状態でカメラ１１により主基板４を撮像することにより、主基板４の上面に形成された第１の認識マーク２２（図２）を撮像する。なお、図３においてはフレキシブル基板８が撮像位置Ｂの主基板４の上方に重なっているが、第１の認識マーク２２の位置にはフレキシブル基板８は存在せず、したがって透過照明を阻害しない。
【００１９】
次に図６を参照してボンディング装置の制御系の構成について説明する。図６においてカメラ１１には画像処理部３０が接続されている。画像処理部３０は取得された画像データを、予め記憶された認識マークの見え方の異なる複数のリファレンスパターンとパターンマッチングさせることにより、第１の認識マーク２２および第２の認識マーク２４の認識を行い、位置を検出する。
【００２０】
画像処理部３０内には、画像記憶部３０ａおよびパターン記憶部３０ｂが設けられており、画像記憶部３０ａはカメラ１１で所得した画像データを記憶し、パターン記憶部３０ｂは前記複数のリファレンスパターンを記憶する。
【００２１】
同軸照明部１２、リング照明部１３および透過照明部１９は照明コントローラ３１に接続されている。照明コントローラ３１は後述の制御部からの指令に従って各照明部のＯＮ−ＯＦＦおよび明るさの制御を行う。制御部３２はＣＰＵであり、ボンディング装置全体の動作制御や位置補正演算などを行うほか、判定手段としてマッチング率の合否判定処理を行う。すなわち、画像処理部３０によって求められたマッチング率が所定値以上であるか否かを判定し、所定値に満たなければ不合格と判定して他のリファレンスパターンとのパターンマッチングを指令する。記憶部３３は検出された認識マークの位置座標データや位置補正データを記憶する。
【００２２】
第１のＸＹθテーブル２、第２のＸＹθテーブル５、ＸＹテーブル１５、カメラＸＹテーブル１０はモータ駆動部３４によって駆動される。モニター３５は認識エラー表示などの報知および操作・入力画面を表示する。操作・入力部３６はキーボードであり、一般の操作コマンドや新たなリファレンスパターンの入力操作を行う。
【００２３】
図６に示す構成要素のうち、カメラＸＹテーブル１０，カメラ１１，画像処理部３０，リング照明部１３，同軸照明部１２，透過照明部１９，照明コントローラ３１，制御部３２，記憶部３３が画像認識装置を構成している。
【００２４】
このボンディング装置は上記のように構成されており、以下動作について図８のフローに沿って説明する。まず図１において主基板保持テーブル３上に主基板４が載置され、主基板４の第１の認識マーク２２のＡ点、Ｂ点をカメラ１１により撮像する。このとき、図４、図５に示すように、透過照明部１９を撮像対象の第１の認識マーク２２上に位置させ、またカメラ１１を第１の認識マーク２２の下方に位置させ、上方から透過照明光を照射した状態で第１の認識マーク２２のＡ点、Ｂ点を順次撮像する（ＳＴ１）。
【００２５】
なお、図４は第１の認識マーク２２上に異方性導電材２１が貼付された状態を、図５は異方性導電材２１が貼付されていない状態を示している。図５は、図２に示す最上部の第１の認識マーク２２に対応しており、図４はそれ以外の第１の認識マーク２２に対応している。このように、同一の認識対象物である第１の認識マーク２２を同一の照明条件で撮像した場合でも、異方性導電材２１の貼付の有無によって、得られる画像は第１の認識マーク２２の背景画像が異なる明度で観察される。
【００２６】
次に、撮像により取得された画像データに基づき第１の認識マーク２２のＡ点、Ｂ点の認識処理を行い（ＳＴ２）、この認識結果により主基板４の位置ズレを求める（ＳＴ３）。そしてこの位置ズレ検出結果に基づき、第１のＸＹθテーブル２を駆動して主基板４の位置を補正する（ＳＴ４）。
【００２７】
この後、第２のＸＹθテーブル５を駆動してフレキシブル基板８の端部を主基板４の縁部に重ね合せ、サブ基板７を主基板４に対して仮位置決めする。次いで図３に示すようにカメラＸＹテーブル１０を駆動してカメラ１１をフレキシブル基板８の第２の認識マーク２４の下方に位置させ、第２の認識マーク２４のＡ点、Ｂ点を撮像する（ＳＴ６）。次いで、取得された画像データを認識処理し（ＳＴ７）、第２の認識マーク２４の位置を検出する。そして主基板４に対するフレキシブル基板８の位置ズレを求め（ＳＴ８）、この位置ズレ検出結果に基づき、第２のＸＹθテーブル５を駆動して、サブ基板７を主基板４に位置合せする（ＳＴ９）。この後、ＸＹテーブル１５を駆動して圧着ヘッド１７を主基板４の縁部上に移動させ、圧着ツール１８を下降させてフレキシブル基板８を主基板４に対して押圧する。これにより、フレキシブル基板８は主基板４に異方性導電材２１を介してボンディングされる（ＳＴ１０）。
【００２８】
次に、図９を参照して前述のフロー中の認識処理（ＳＴ７）について説明する。ここでは、予め対象物である第２の認識マーク２４のリファレンスパターンを複数種類（ここでは６種類）パターン記憶部３０ａに記憶させておき、これらのリファレンスパターンを撮像により取得された画像データと順次パターンマッチングさせるものである。このように複数のリファレンスパターンを用いるのは、フレキシブル基板８は撓み易くしかもその撓みの傾向には法則性がないため、個々のフレキシブル基板８によって撮像された画像が異り、単一のリファレンスパターンのみを用いると認識エラーが多発するからである。
【００２９】
本実施の形態では、図７に示すような６種類のリファレンスパターンが用いられる。図７（ａ）はフレキシブル基板８がほぼ撓みなく水平に保たれた状態での第２の認識マーク２４の画像を示すものである。これに対し図７（ｂ），（ｃ），（ｄ），（ｅ）はフレキシブル基板８の撓みの方向に起因して、画像にそれぞれ左、右、上、下の部分に影が生じた状態を示している。また、図７（ｆ）はフレキシブル基板８そのものは撓みがなく、第２の認識マーク２４の画像には影が発生しないものの、第２の認識マーク２４の表面が酸化などで変質し、光の反射状況が変化して明度が異る画像となった例を示している。このように通常で想定可能な複数種類のリファレンスパターンを予め用意して、これらと順次パターンマッチングさせることにより、認識マーク自体としては正常であるにも拘らず、カメラ１１に対しての認識マークの見え方が異ることによって認識エラーが発生するという事態を防止することができる。
【００３０】
図９において、まず複数のリファレンスパターンに付されるインデックスＮｏ．（ｉ）を１にセットする（ＳＴ１１）。次に、リファレンスパターンＮｏ．（ｉ）と、第２の認識マーク２４のＡ点の画像とをパターンマッチングで照合する（ＳＴ１２）。そして、マッチング率の合否、すなわち求められたマッチング率が８０％以上であるか否かが制御部３２によって判断される（ＳＴ１３）。ここでマッチング率が８０％に満たないならば不合格と判定され、制御部３２の指令により他のリファレンスパターンを用いてパターンマッチングを行う。すなわちインデックスＮｏ．（ｉ）が６未満であるか否かが判断され（ＳＴ１４）、６未満、すなわち他に未使用のリファレンスパターンが存在すれば（ｉ）に１を加算し（ＳＴ１５）、ＳＴ１２に戻って新たなインデックスＮｏ．のリファレンスパターンを用いてパターンマッチングを行う。そしてＳＴ１４にてインデックスＮｏ．が６であれば後述のＳＴ２３に進み、認識エラー処理が行われる。そしてＳＴ１３にてマッチング率が８０％以上であれば、当該リファレンスパターンによって特定された第２の認識マーク２４のＡ点の位置を記憶させる（ＳＴ１６）。
【００３１】
次に、第２の認識マーク２４のＢ点についても、上述のＡ点についての認識処理（ＳＴ１１〜ＳＴ１６）と同様に、ＳＴ１７〜ＳＴ２２の認識処理が行われる。そしてＳＴ１４，ＳＴ２０にてＮＯと判断され、すなわち８０％以上のマッチング率を与えるリファレンスパターンが存在しないと判断されたならば、認識エラー処理が行われる（ＳＴ２３）。ここでは、認識エラーである旨がモニター３５によって報知され、オペレータはこの報知を受けて照明条件の調整や、新たなリファレンスパターンの登録等の処置を行う。
【００３２】
本実施の形態では、第２の認識マーク２４についてのみ複数のリファレンスパターンの説明をしているが、第１の認識マーク２２に対しても同様に複数のリファレンスパターンが用いられる。前述のように第１の認識マーク２２は、上面に異方性導電材２１が貼付されるか否かによって、透過照明下で撮像された画像の見え方が異るからである。したがって、この見え方に応じた複数のリファレンスパターンを予め準備しておき、これらのリファレンスパターンと順次パターンマッチングさせることにより、認識エラーを減少させることができる。
【００３３】
本発明は上記実施の形態に限定されず、本来同一性を保っていながら、照明条件や背景状況など画像上での見え方が異ることに起因して異る認識結果を与えるような認識対象物について適用することができる。
【００３４】
【発明の効果】
本発明によれば、同一対象物について見え方が異る複数のリファレンスパターンを予め記憶させておき、認識エラーを生じたならば順次他のリファレンスパターンとパターンマッチングさせるようにしたので、同一対象物が単に見え方が異なることによる認識エラーを減少させて、認識精度を向上させるとともに、画像認識装置の稼働率を向上させることができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態のボンディング装置の側面図
【図２】本発明の一実施の形態の基板およびサブ基板の平面図
【図３】本発明の一実施の形態のボンディング装置の部分断面図
【図４】本発明の一実施の形態のボンディング装置の部分断面図
【図５】本発明の一実施の形態のボンディング装置の部分断面図
【図６】本発明の一実施の形態のボンディング装置の制御系のブロック図
【図７】本発明の一実施の形態のリファレンスパターンの画像図
【図８】本発明の一実施の形態のボンディング装置の動作を示すフロー図
【図９】本発明の一実施の形態の画像認識処理のフロー図
【符号の説明】
４ 主基板
８ フレキシブル基板
９ 撮像部
１１ カメラ
２２ 第１の認識マーク
２４ 第２の認識マーク
３０ 画像処理部
３０ａ 画像記憶部
３０ｂ パターン記憶部
３２ 制御部
３３ 記憶部
Claims (2)
- 認識対象物の画像を取り込むカメラと、このカメラで取得した画像データを記憶する画像記憶部と、前記認識対象物の見え方がそれぞれ異る複数のリファレンスパターンを記憶するパターン記憶部と、前記記憶された画像データを前記複数のリファレンスパターンとパターンマッチングさせることにより前記認識対象物を認識する画像処理部と、この画像処理部によって求められたマッチング率の合否判定を行い、マッチング率が不合格ならば順次他のリファレンスパターンとのパターンマッチングを指令する判定手段とを備えたことを特徴とする画像認識装置。
- 認識対象物の画像をカメラで取り込み、取得した画像データを画像記憶部に記憶させ、予めパターン記憶部に記憶された前記認識対象物の見え方がそれぞれ異る複数のリファレンスパターンの１つと前記画像データをパターンマッチングさせてマッチング率を求め、求められたマッチング率の合否判定を行い、マッチング率が不合格ならば順次他のリファレンスパターンとのパターンマッチングを行うことを特徴とする画像認識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01558799A JP3598862B2 (ja) | 1999-01-25 | 1999-01-25 | 画像認識装置および画像認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01558799A JP3598862B2 (ja) | 1999-01-25 | 1999-01-25 | 画像認識装置および画像認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000213921A JP2000213921A (ja) | 2000-08-04 |
| JP3598862B2 true JP3598862B2 (ja) | 2004-12-08 |
Family
ID=11892872
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01558799A Expired - Fee Related JP3598862B2 (ja) | 1999-01-25 | 1999-01-25 | 画像認識装置および画像認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3598862B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4829813B2 (ja) * | 2007-03-01 | 2011-12-07 | 芝浦メカトロニクス株式会社 | 電子部品の実装装置及び実装方法 |
| JP2010038762A (ja) * | 2008-08-06 | 2010-02-18 | Micronics Japan Co Ltd | 検査装置 |
| JP7308436B2 (ja) * | 2019-02-22 | 2023-07-14 | パナソニックＩｐマネジメント株式会社 | 情報管理装置及び情報管理方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2660913B2 (ja) * | 1995-06-19 | 1997-10-08 | 名古屋電機工業株式会社 | 印刷配線板の実装部品検査装置 |
| JP3594747B2 (ja) * | 1996-08-22 | 2004-12-02 | 豊田工機株式会社 | 物体認識方法及びその装置 |
| JPH1097610A (ja) * | 1996-09-20 | 1998-04-14 | Fujitsu Ltd | 図形位置検出装置 |
-
1999
- 1999-01-25 JP JP01558799A patent/JP3598862B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000213921A (ja) | 2000-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0886465B1 (en) | Electronic components mounting method and apparatus | |
| JP4628205B2 (ja) | フィードバック補正方法および部品実装方法 | |
| JP4190819B2 (ja) | 電子部品実装装置及び画像認識方法の選択方法 | |
| WO2002005211A1 (fr) | Procede et dispositif de creation de donnees de reconnaissance de pieces, appareil de montage de pieces electroniques, et support enregistre | |
| KR20050118707A (ko) | 반도체 칩 취출 장치 및 방법 | |
| CN101666957A (zh) | 拍摄装置中的自动焦点调整方法 | |
| JP3598862B2 (ja) | 画像認識装置および画像認識方法 | |
| JP4619896B2 (ja) | 基準位置決定方法及び基準位置決定装置並びに接合材料の印刷方法及び印刷装置 | |
| JP2005072046A (ja) | 電子部品実装装置 | |
| US20050072831A1 (en) | Electronic component mounting apparatus and electronic component mounting method | |
| KR101266714B1 (ko) | 부품 장착 장치의 부품 실장 방법 및 부품 장착 장치 | |
| JPH11289199A (ja) | 電子部品認識装置 | |
| JP3613055B2 (ja) | スクリーン印刷における基板の位置合わせ方法 | |
| JP4315752B2 (ja) | 電子部品実装装置 | |
| JP2000259830A (ja) | 画像認識装置および画像認識方法 | |
| JP5740082B2 (ja) | 複数の表面実装装置からなる基板生産ライン | |
| JP3399334B2 (ja) | バンプ付電子部品の熱圧着装置および熱圧着方法 | |
| JP2004281983A (ja) | 位置決め装置および位置決め方法並びに塗布装置および塗布方法 | |
| JP3600643B2 (ja) | 基板位置検出方法及び基板位置検出装置 | |
| JP3555488B2 (ja) | 電子部品の実装装置および実装方法 | |
| JP2003142891A (ja) | 電子部品実装装置 | |
| JPH10135700A (ja) | データ処理装置及び電子部品装着装置 | |
| JPH09307292A (ja) | データ作成装置及び方法並びに電子部品装着装置 | |
| JPH07245500A (ja) | 電子部品実装装置および電子部品実装方法 | |
| JPH0715186A (ja) | Ｐｇａパッケ−ジ装着装置およびｐｇａパッケ−ジのピン端子認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040210 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040401 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040824 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040906 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080924 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080924 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090924 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090924 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100924 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110924 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120924 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 9 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |