JP4561562B2 - 画像認識用データ作成装置および画像認識用データ作成方法 - Google Patents

Description

本発明は、画像認識に用いられる画像認識用データを作成する画像認識用データ作成装置および画像認識用データ作成方法に関するものである。

電子部品・機器の製造分野においては、位置検出や検査などの用途にパターンマッチングによる画像認識が多用される。この画像認識においては、カメラにより認識対象を撮像した認識画像と予め登録された参照画像とをマッチングさせることにより、電子部品などの認識対象の形状や位置が特定される。参照画像の登録は認識対象の種類毎に行われ、多数の品種を認識対象とする場合には、その都度参照画像のティーチングを行う。

ところで、電子部品を基板に実装する部品実装装置では、部品実装密度を向上させることなどを目的として、基板における平面位置を示す直交座標系の基準方向に対して、部品を所定のオフセット角度だけ回転させた状態で実装する場合がある。そしてこのように部品を回転方向にオフセットさせて実装する場合には、パターンマッチングによる認識に用いられる参照画像もオフセット角度に応じたものが必要とされる。このため、このような部品実装装置には、部品のオフセット角度を入力する専用の入力装置を備えたものが提案されている（例えば特許文献１参照）。この特許文献例においては、部品の回転角度の設定を回転式のダイヤルスイッチで容易に行うことができるようになっている。
特開平１０−２４２６９９号公報

しかしながら、上述のような部品を回転方向にオフセットさせて実装する部品実装装置において、位置検出や実装後検査のための画像認識を行う場合には、参照画像データの作成や認識装置へのティーチングにおいて以下のような不都合があった。すなわち、パターンマッチングにおいては、同一品種の部品を対象とする場合にあっても、この部品が基板に実装される際のオフセット角度が異なればもはや同一の参照画像データを用いることができず、オフセット角度毎に別個の参照画像データを登録する必要があった。このため、認識処理に使用される参照画像などの画像認識用データの作成に労力を要するとともに、これらのデータの管理負荷が増大し、画像認識の作業効率が低下するという問題点があった。

そこで本発明は、画像認識用データの作成やデータ管理の作業負荷を低減させて作業効率を向上させることができる画像認識用データ作成装置および画像認識用データ作成方法を提供することを目的とする。

本発明の画像認識用データ作成装置は、撮像されたチップをパターンマッチングにより認識するために用いられる画像認識用データを作成する、チップボンディング装置における画像認識用データ作成装置であって、基板に実装される前記チップの認識面内における基準方向から回転方向への規定オフセット角度を示す角度情報を記憶した記憶部と、前記記憶部の前記角度情報に基づき前記基板に実装された前記チップの画像を撮像する撮像手段と、前記撮像手段により撮像された前記チップの画像の方向を前記記憶部の前記角度情報に基づき前記基準方向に一致させた基準画像を作成する基準画像作成処理部と、前記基準画像において前記チップの特定部分を切り出して基準参照画像として前記記憶部に記憶させる基準参照画像生成処理部と、前記記憶部の前記角度情報に基づき前記基準参照画像を前記チップの規定オフセット角度だけ回転させて前記画像認識用データとなる参照画像を作成する参照画像作成処理部とを備え、認識処理の実行に際しては、認識対象であるチップの規定オフセット角度を読み出し、次いで前記認識対象のチップに対応した前記基準参照画像を読み出し、前記基準参照画像を前記認識対象であるチップの規定オフセット角度だけ回転させて前記参照画像を作成する。

本発明の画像認識用データ作成方法は、撮像されたチップをパターンマッチングにより認識するために用いられる画像認識用データを作成する、チップボンディング装置における画像認識用データ作成方法であって、基板に実装される前記チップの認識面内における基準方向から回転方向への規定オフセット角度を示す角度情報に基づき前記基板に実装された前記チップを撮像する撮像ステップと、前記撮像ステップにより撮像された前記チップの画像の方向を前記角度情報に基づき前記基準方向に一致させた基準画像を作成する基準画像作成ステップと、前記基準画像において前記チップの特定部分を切り出して基準参照画像として記憶させる基準参照画像生成ステップと、前記角度情報に基づき前記基準参照画像を前記チップの規定オフセット角度だけ回転させて前記画像認識用データとなる参照画像を作成する参照画像作成ステップとを含み、認識処理の実行に際しては、認識対象であるチップの規定オフセット角度を読み出し、次いで前記認識対象のチップに対応した前記基準参照画像を読み出し、前記基準参照画像を前記認識対象であるチップの規定オフセット角度だけ回転させて前記参照画像を作成する。

本発明によれば、基板に実装されるチップの認識面内における基準方向から回転方向への規定オフセット角度を示す角度情報に基づき基板に実装されたチップを撮像し、撮像されたチップの画像の方向を角度情報に基づき基準方向に一致させた基準画像を作成し、基準画像においてチップの特定部分を切り出して基準参照画像として記憶させ、角度情報に基づき基準参照画像をチップの規定オフセット角度だけ回転させて画像認識用データとなる参照画像を作成し、認識処理の実行に際しては、認識対象であるチップの規定オフセット角度を読み出し、次いで認識対象のチップに対応した基準参照画像を読み出し、基準参照画像を認識対象であるチップの規定オフセット角度だけ回転させて参照画像を作成することにより、パターンマッチングに用いられる参照画像データをオフセット角度に応じて複数作成する必要がなく、画像認識用データの作成やデータ管理の作業負荷を低減させて作業効率を向上させることができる。

次に本発明の実施の形態を図面を参照して説明する。図１は本発明の一実施の形態のチップボンディング装置の構成説明図、図２は本発明の一実施の形態の画像認識装置の認識対象となる半導体チップの実装状態説明図、図３は本発明の一実施の形態の画像認識装置における記憶部の記憶内容を示す説明図、図４は本発明の一実施の形態の画像認識装置における画像認識処理機能を示す機能ブロック図、図５は本発明の一実施の形態の画像認識用データ作成装置における基準テンプレート作成処理のフロー図、図６は本発明の一実施の形態の画像認識装置による半導体チップの認識処理のフロー図、図７は本発明の一実施の形態の画像認識方法におけるテンプレート作成処理のフロー図、図８は本発明の一実施の形態の画像認識方法におけるサーチエリア変換処理のフロー図、図９，図１０は本発明の一実施の形態の画像認識用データ作成方法の説明図、図１１は本発明の一実施の形態の画像認識装置におけるテンプレート作成処理の説明図、図１２は本発明の一実施の形態の画像認識方法におけるサーチエリア変換処理の説明図である。

まず図１を参照して、本実施の形態の画像認識装置が組み込まれたチップボンディング装置の構成を説明する。図１において、部品供給部１にはリング状のウェハ治具２が治具ホルダ（図示省略）によって着脱自在に保持されており、ウェハ治具２にはシート３が装着されている。シート３には半導体チップ４（以下、単に「チップ４」と略記する。）が、回路形成面を上面に向けた姿勢で貼着保持されている。

シート３の下方には、部品剥離促進手段としてのエジェクタ機構５が、エジェクタ移動機構６によって昇降および水平移動自在に配設されている。エジェクタ機構５は、チップ突き上げ用のエジェクタピン（図示省略）を昇降させるピン昇降機構を備えており、部品剥離促進手段駆動部７によって駆動される。シート３からチップ４を取り出す際には、エジェクタピンによってシート３の下方からチップ４を突き上げることにより、チップ４はシート３から剥離される。部品剥離促進手段としては、エジェクタピンを用いる突き上げ方式以外にも、シート３を下面側から真空吸着することによりシート３をチップ４から剥離させる方式や、シート３の下面側から紫外光を照射してチップ４の粘着力を低減させる方式など、各種の方式を用いることができる。

部品供給部１の側方には、基板位置決め部８が配設されている。基板位置決め部８は、チップ４が実装される基板１０を基板搬送方向（紙面垂直方向）に搬送して位置決めする搬送機構９を備えており、基板位置決め部８には前工程において予め樹脂接着剤１１が塗布された基板１０が搬入される。部品供給部１および基板位置決め部８の上方には、ヘッド移動テーブル１２が水平方向に配設されており、ヘッド移動テーブル１２には第１のカ
メラ１３、搭載ヘッド１４および第２のカメラ１５が水平移動自在に装着されている。第１のカメラ１３は第１のカメラ駆動部１７によって移動し、シート３に貼着されたチップ４を上方から撮像する。第１のカメラ１３によって撮像された画像データは第１の画像認識部１６によって認識処理され、これにより部品供給部１におけるチップ４の位置が検出される。

搭載ヘッド１４は下端部に昇降自在な吸着ノズル１４ａを備えており、搭載ヘッド駆動部１８によって搭載ヘッド１４を駆動することにより、部品供給部１から取り出したチップ４を基板位置決め部８に位置決めされた基板１０の樹脂接着剤１１上に移送搭載する。搭載ヘッド１４が部品供給部１からチップ４を取り出す際には、第１の画像認識部１６によって検出されたチップ４の位置検出結果に基づいて搭載ヘッド１４を移動させる。そして吸着ノズル１４ａによってチップ４をシート３から剥離させる際には、エジェクタ機構５を取り出し対象のチップ４に位置合わせして、チップ４を下方からエジェクタピンによって突き上げる。

部品供給部１と基板位置決め部８の中間には、撮像面を上方に向けて第３のカメラ２１が配設されており、吸着ノズル１４ａによってチップ４を保持した搭載ヘッド１４が部品供給部１から基板位置決め部８に移動する際には、第３のカメラ２１によって搭載ヘッド１４に保持されたチップ４が下方から撮像され、これによりチップ４の位置が認識される。

第２のカメラ１５は第２のカメラ駆動部２０によって駆動されて基板位置決め部８の上方で移動し、基板位置決め部８に位置決めされた基板１０を撮像する。そして第２のカメラ１５によって撮像された画像データを第２の画像認識部１９によって認識処理することにより、基板１０における部品搭載位置が認識される。搭載ヘッド１４によってチップ４を基板１０に搭載する際には、この部品搭載位置の認識結果に基づいて搭載ヘッド１４を基板１０に対して位置合わせする。また基板１０にチップ４が搭載された状態で、第２のカメラ１５によって基板１０を撮像して得られた画像データを第２の画像認識部１９によって認識処理することにより、チップ４の搭載状態の検査が行われる。この搭載状態の検査においては、チップ４の位置ずれや樹脂接着剤１１の過不足などが検査される。

ＣＰＵ２２は演算装置であり、ＣＰＵ２２が記憶部２３に記憶されたプログラムを各種データを用いながら実行することにより、搭載状態の検査のための認識処理を含む各種動作・処理が行われる。したがって、第２のカメラ１５、第２の画像認識部１９、ＣＰＵ２２および記憶部２３は、認識対象を撮像して得られた認識画像と、予め登録された参照画像としてのテンプレートとのパターンマッチングにより、認識対象のチップ４を認識する画像認識装置を構成している。表示部２４はディスプレイ装置であり、第１のカメラ１３、第２のカメラ１５によって撮像された画像を表示するとともに、画像認識用データ作成時のティーチング画像など各種の操作画面の表示を行う。入力部２５はキーボード、マウス、タッチパネルなどの指示入力手段であり、表示部２４に表示された操作画面の案内により、各種データや操作指示の入力を行う。

次にこのチップボンディング装置のボンディング対象となるチップ４の実装形態について、図２を参照して説明する。基板にボンディングされるチップは一般に矩形の平面形状を有するものが多く、このような形状のチップを基板にボンディングする際には、図２（ａ）に示すように、基板における基準方向、すなわち直交座標系のＸ軸方向またはＹ軸方向に、チップ方向を合致させるように実装位置が決定される場合が多い。

しかしながら、基板や電子部品の種類によっては、図２（ｂ）に示すように、基板１０においてＸ軸、Ｙ軸に方向を合わせて形成された電極１０ａに対し、回転方向にオフセッ
トした状態でチップ４を実装する場合がある。このような実装形態は小型・高密度実装が求められる基板において基板面における部品配置上の制約などの理由によって採用されるものである。また図２（ｃ）に示すように、電極１０ａを予め基板１０のＸ軸、Ｙ軸に対して回転方向にオフセットして形成する場合もある。

このような回転方向にオフセットしたチップをパターンマッチングによる認識対象とする場合には、参照画像として用いられるテンプレートをオフセットした状態のチップに対応したものを予め準備する必要がある。したがって従来は、同一品種のチップを認識対象とする場合にあっても、オフセット角度が異なれば別のテンプレートを予め作成しておく必要があり、このためのデータ作成に手間と時間を要していた。

このため本実施の形態においては、このようなデータ作成の負荷を極力低減させることを目的として、以下に説明するように、チップ４の方向が基準方向にある状態におけるテンプレート、すなわち基準テンプレートを予め画像認識用データとして予め作成しておき、認識動作に際しては基準テンプレートを認識対象となるチップ４に対応した規定オフセット角度だけ回転させて、認識実行用のテンプレートを自動的に作成するようにしている。

次に図３を参照して、記憶部２３に記憶されるデータおよびプログラムについて説明する。データ記憶部２３ａには実装データ２６ａ、基準参照画像データ２６ｂ、参照画像データ２６ｃ、基準サーチエリアデータ２６ｄ、変換後サーチエリアデータ２６ｅが記憶されている。実装データ２６ａは、搭載ヘッド１４によって部品供給部１から取り出したチップ４を、基板位置決め部８に位置決めされた基板１０に実装するために必要なデータであり、基板１０における搭載位置を示す座標データや、電子部品の種類・サイズなどを示す部品データ、さらにはチップ４を回転方向にオフセットした状態で実装する場合における規定オフセット角度を示す角度情報などが含まれる。

基準参照画像データ２６ｂは、基準参照画像として用いられる基準テンプレート、すなわち認識対象のチップ４の画像の方向が基準方向に一致した状態におけるテンプレートを示すデータである。参照画像データ２６ｃは、回転方向にオフセットしたチップ４を認識するためのパターンマッチングにおいて参照される認識実行用のテンプレートのデータであり、前述のように基準テンプレートをオフセット角度だけ回転させることによって作成される。

基準サーチエリアデータ２６ｄは、基準テンプレートとマッチする画像を探索するために設定される矩形のサーチエリアを示すデータである。変換後サーチエリアデータ２６ｅは、基準サーチエリアをオフセット角度だけ回転させて回転後サーチエリアとし、さらにこの回転後サーチエリアを矩形で包含する形で設定される新たなサーチエリアのデータである。上記構成において、データ記憶部２３ａは、チップ４の画像の方向が基準方向に一致した状態におけるテンプレートを基準参照画像として記憶する基準参照画像記憶部であり、また認識面内における認識対象の規定オフセット角度を当該認識対象の角度情報として記憶する角度情報記憶部となっている。

次にプログラム記憶部２３ｂには、実装動作プログラム２７ａ、基準画像作成処理プログラム２７ｂ、基準参照画像生成処理プログラム２７ｃ、参照画像作成処理プログラム２７ｄ、サーチエリア変換処理プログラム２７ｅが記憶されている。実装動作プログラム２７ａは、搭載ヘッド１４によってチップ４を取り出して基板１０に実装する動作を実行するためのプログラムであり、この実装動作実行に際しては、データ記憶部２３ａに記憶された実装データ２６ａが参照される。

基準画像作成処理プログラム２７ｂは、 第２のカメラ１５によって基板１０を撮像して得られた認識画像のうち、図２（ｂ）、（ｃ）に示すように、認識面内、すなわち基板１０表面における基準方向（Ｘ軸方向またはＹ軸方向）から、回転方向にオフセットしたチップ４の画像を含む認識画像において、チップ４の画像の方向を基準方向に一致させた基準画像を作成する処理を行うためのプログラムである。基準参照画像生成処理プログラム２７ｃは、前述の基準画像において、チップ４の特定部分、すなわちパターンマッチングにおいてテンプレートとして用いることが可能な形状的特徴が現れている部分を切り出して、基準テンプレートとする処理を行うためのプログラムである。

参照画像作成処理プログラム２７ｄは、基準参照画像データと実装データ２６ａに含まれる角度情報、すなわち当該チップ４の規定オフセット角度とに基づいて、認識動作におけるパターンマッチングで参照画像として用いられる認識用テンプレートを作成する処理を行うためのプログラムである。サーチエリア変換処理プログラム２７ｅは、基準テンプレートに対応して準備された基準サーチエリアを、認識用テンプレートに対応した変換後サーチエリアに変換する処理を行うためのプログラムである。

次に図４を参照して、チップボンディング装置における画像認識装置の処理機能について説明する。図４に示す基準画像作成処理部３０、基準参照画像生成処理部３１、参照画像作成処理部３２、サーチエリア変換処理部３３の各部は、それぞれＣＰＵ２２が基準画像作成処理プログラム２７ｂ、基準参照画像生成処理プログラム２７ｃ、参照画像作成処理プログラム２７ｄ、サーチエリア変換処理プログラム２７ｅを実行することにより実現される機能を示している。

図４において第２のカメラ１５によって基板１０を撮像して得られた画像データは、第２の画像認識部１９に送られ、ここで認識処理用の認識画像が作成される。したがって、第２のカメラ１５は、認識対象を撮像して認識画像を取得する撮像手段となっている。この認識画像は、認識面内における基準方向から回転方向にオフセットした認識対象の画像を含んだものとなっている。作成された認識画像は基準画像作成処理部３０に送られ、ここでデータ記憶部２３ａに記憶された実装データ２６ａに含まれる角度情報、すなわち当該チップ４の規定オフセット角度を参照することにより、認識画像において認識対象の画像の方向を基準方向に一致させた基準画像を作成する。

作成された基準画像は基準参照画像生成処理部３１に送られる。基準参照画像生成処理部３１は、この基準画像において認識対象の特定部分を切り出して基準参照画像としての基準テンプレートを生成する処理を行う。そして生成された基準テンプレートは、データ記憶部２３ａに基準参照画像データ２６ｂとして記憶される。上記構成において、基準画像作成処理部３０、基準参照画像生成処理部３１は、認識対象を撮像して得られた認識画像と予め登録された参照画像とのパターンマッチングにより認識対象を認識するために用いられる画像認識用データ、すなわち少なくとも基準テンプレートのデータを作成する画像認識用データ作成装置としての機能を構成する。

参照画像作成処理部３２は、データ記憶部２３ａに記憶された基準参照画像データ２６ｂと実装データ２６ａに含まれる当該チップ４の規定オフセット角度とに基づいて、チップ４を認識するためのパターンマッチングにおいて用いられる参照画像としての認識用テンプレートを作成する。作成された認識用テンプレートは、データ記憶部２３ａに参照画像データ２６ｃとして記憶される。

サーチエリア変換処理部３３は、基準テンプレートに対応して準備された基準サーチエリアを、認識用テンプレートに対応した変換後サーチエリアに変換する処理を行う。すなわち、まず基準テンプレートとマッチする画像を探索するために予め設定されデータ記憶
部２３ａに基準サーチエリアデータ２６ｄとして記憶された基準サーチエリアを読み出し、この基準サーチエリアを規定オフセット角度だけ回転させて回転後サーチエリアとする。そしてさらにこの回転後サーチエリアを基準方向と一致した矩形で包含する新たなサーチエリアを変換後サーチエリアとして生成する処理を行う。生成された新たなサーチエリアは、データ記憶部２３ａに変換後サーチエリアデータ２６ｅとして記憶される。

そして認識動作においては、第２のカメラ１５によって認識対象のチップ４が実装された基板１０を撮像して得られた認識画像を、第２の画像認識部１９によって認識処理することにより、基板１０におけるチップ４の位置が認識される。このとき、第２の画像認識部１９は、データ記憶部２３ａに参照画像データ２６ｃとして記憶された認識用テンプレートおよびこの認識用テンプレートに対応した変換後サーチエリアデータ２６ｅとして記憶された変換後サーチエリアを用いて、パターンマッチングを実行する。すなわち第２の画像認識部１９は、認識画像と参照画像とのパターンマッチングを実行することにより認識対象のチップ４を認識する認識処理部となっている。

次に前述の画像認識用データを認識動作に先立って作成する画像認識用データ作成方法の詳細について、図５のフローに沿って、図９、図１０を参照しながら説明する。まず認識対象のチップの規定オフセット角度αを入力する（ＳＴ１）。次に回転方向にオフセットしたチップを含むワークを撮像してティーチング用の認識画像（以下、「ティーチング画像」と略称する。）を取得する（ＳＴ２）。すなわち、図９（ａ）に示すように、チップ４を含むティーチング画像４０が第２の画像認識部１９によって取得される。

チップ４の上面には回路パターン４ａが形成されており、チップ４はチップ方向を示す矢印ａがティーチング画像４０内における基準方向（ここではＹ軸方向）から時計廻りに角度αだけオフセットして実装されている。なお、ここで用いられるワークは、予めティーチング用に準備されたサンプルワークでもよく、また実物基板をティーチング用に用いてもよい。

次に、ティーチング画像４０においてチップ部分をティーチし、α度のチップ画像とする（ＳＴ３）。ここでは、ティーチの方法により、図９（ｂ）に示すように、自動ティーチ、手動ティーチの２通りの方法を選択的に用いることができる。図９（ｂ）（イ）は自動ティーチを示しており、ティーチング画像４０上でチップ４を矩形の計測処理枠４０ａで囲むとともに、チップ４の上下方向を特定するための矢印ｂを入力部２５によって入力することにより、α度だけ回転方向にオフセットした状態のチップ画像、すなわちα度のチップ画像が得られる。

図９（ｂ）（ロ）は手動ティーチを示しており、この方法では、オペレータがティーチング画像４０上でチップ４の形状・方向を判断し、チップ４のコーナ点のうち、チップ４が基準状態、すなわち矢印ａをＹ軸方向に一致させた状態における左下、左上、右上にそれぞれ相当するコーナ点Ｐ１、Ｐ２、Ｐ３を、入力部２５のポインティングデバイスにより入力するとともに、方向を特定する矢印ｂを指示入力する。なおこの場合に、コーナ点の入力順序によって部品方向の指定を併せて行う場合には、矢印ｂの入力は省略してもよい。

次いで、図９（ｃ）に示すように、チップ方向を基準方向に一致させた基準画像を求める。すなわち、アフィン変換によりα度のチップ画像を画面中心（原点）に移動し、次いで規定オフセット角度αだけ戻るようにチップ画像を回転して、チップ方向を基準方向に一致させた基準画像を作成する（ＳＴ４）。そしてティーチング画像４０においてチップ４の方向とサイズの微調整を行った後、図１０（ａ）に示すように基準画像においてチップ４の特定部分（ここでは３角形状の回路パターン４ａの２つの頂点近傍をそれぞれ含む
小矩形領域）を示すテンプレートＡ、テンプレートＢを切り出して基準テンプレートを作成し、基準参照画像データとしてデータ記憶部２３ａに登録する（ＳＴ５）。

次いで図１０（ｂ）に示すように、ティーチング画像４０において、基準テンプレートに対応する基準サーチエリアを設定し、基準サーチエリアデータとしてデータ記憶部２３ａに登録する（ＳＴ６）。これにより、認識対象のチップ４についての画像認識用データ作成が完了し、任意のオフセット角度で実装されたチップ４を含む基板を対象とする場合においても、共通の画像認識用データを用いて認識処理を実行することが可能となる。

すなわち、上述の画像認識用データ作成方法は、基板１０表面における基準方向から回転方向にオフセットしたチップ４の画像を含むティーチング用の認識画像において、チップ４の画像の方向を基準方向に一致させた基準画像を作成する基準画像作成ステップと、基準画像においてチップ４の特定部分を切り出して基準参照画像とする基準参照画像生成ステップとを含む形態となっている。そして、基準画像作成ステップにおいて自動ティーチを行う場合には、基板１０表面におけるチップ４の規定オフセット角度を示す角度情報に基づいて基準画像を作成するようにしており、また手動ティーチを行う場合には、ティーチング画像においてチップ４の少なくとも３点を教示されることによって基準画像を作成するようにしている。

次に、上述のように基準方向から任意のオフセット角度で実装されたチップ４を撮像して得られた認識画像と、予め登録された認識実行用テンプレートとのパターンマッチングによってチップ４を認識する画像認識方法について、図６〜図８のフローに沿って、図１１、図１２を参照しながら説明する。図６において、まず回転方向にオフセットしたチップを認識対象に含むワークを撮像して、図１１（ａ）に示すように、認識画像４１を取得する（ＳＴ１１）。ここではチップ４は、認識画像４１内において基準方向（Ｙ軸方向）から時計廻りに規定オフセット角度βだけ回転した状態で実装されている。

認識処理の実行に際しては、まずテンプレート作成処理が実行される（ＳＴ１２）。このテンプレート作成処理を図７のフローに沿って説明する。まず認識対象のチップ４の規定オフセット角度βを示す角度情報を、データ記憶部２３ａから読み出す（ＳＴ３１）。次いで認識対象のチップ４に対応した基準テンプレートデータをデータ記憶部２３ａから読み出す（ＳＴ３２）。すなわち、図１１（ｂ）に示すように、チップ方向を基準方向に一致させた状態におけるテンプレートＡ、テンプレートＢが読み出される。次いで基準テンプレートを、図１１（ｃ）に示すように、規定オフセット角度βだけ回転させ、回転後テンプレートを作成する（ＳＴ３３）。この回転後テンプレートは、実際の認識処理において使用される認識実行用のテンプレートとなるものである。

この後、サーチエリア変換処理が実行される（ＳＴ１３）。このサーチエリア変換処理を図８のフローに沿って説明する。まず認識対象のチップ４の規定オフセット角度βを、データ記憶部２３ａから読み出す（ＳＴ４１）。次いでチップ４に対応した基準サーチエリアデータを、データ記憶部２３ａから読み出す（ＳＴ４２）。すなわち図１２（ａ）に示すように、テンプレートＡ、テンプレートＢに対応したサーチエリアＳＡ、サーチエリアＳＢが読み出される。次に、図１２（ｂ）に示すように、サーチエリアＳＡ、サーチエリアＳＢを規定オフセット角度βだけ回転させ、回転後サーチエリアＳＡ（Ｒ）、ＳＢ（Ｒ）とする（ＳＴ４３）。そして回転後サーチエリアＳＡ（Ｒ）、ＳＢ（Ｒ）を矩形で包含する新たなサーチエリアを設定し、変換後サーチエリアＳＡ（Ｔ）、ＳＢ（Ｔ）とする（ＳＴ４４）。ここで変換後サーチエリアＳＡ（Ｔ）、ＳＢ（Ｔ）の各辺は、ラスタ走査の走査方向と一致するように方向が設定される。

そして図１２（ｃ）に示すように、変換後サーチエリアＳＡ（Ｔ）、ＳＢ（Ｔ）内でラ
スタ走査を行うことにより、認識画像４１とテンプレートＡ、テンプレートＢとのパターンマッチングを実行する（ＳＴ１４）。そしてパターンマッチングの結果に基づき、認識対象のチップ４の位置を出力する（ＳＴ１５）。このパターンマッチングにおいては、傾いた状態にある回転後サーチエリアＳＡ（Ｒ）、ＳＢ（Ｒ）を矩形で包含する変換後サーチエリアＳＡ（Ｔ）、ＳＢ（Ｔ）内でマッチング処理を行うようにしている。これにより、水平な矩形領域内でのラスタ走査によってマッチング処理を行うことができ、傾いた領域内で複雑なサーチを実行する場合と比較して高速処理が実現される。

すなわち上述の画像認識方法は、基板１０表面における基準方向から回転方向にオフセットしたチップ４の画像を含む認識画像において、チップ４の画像の方向が基準方向に一致した状態におけるテンプレートを基準テンプレートとして記憶する基準参照画像記憶部から、基準テンプレートを読み出す基準参照画像読み出しステップと、チップ４を撮像して認識画像４１を取得する撮像ステップと、基板１０表面におけるチップ４の規定オフセット角度を当該チップ４の角度情報として記憶する角度情報記憶部から、規定オフセット角度を読み出す角度情報読み出しステップと、基準テンプレートと規定オフセット角度とに基づいて認識実行用テンプレートを作成する参照画像作成ステップと、認識画像４１と認識実行用テンプレートとのパターンマッチングにより、認識対象のチップ４を認識する認識処理ステップとを含む形態となっている。

そして基準テンプレートとマッチする画像を探索するための矩形の基準サーチエリアを規定オフセット角度に基づいて回転させて回転後サーチエリアとし、さらにこの回転後サーチエリアを矩形で包含する新たなサーチエリアを変換後サーチエリアとして生成するサーチエリア変換ステップを含み、パターンマッチングにおいて前記変換後サーチエリア内をラスタ走査するようにしている。

上記説明したように、チップを回転方向にオフセットさせて実装する部品実装において実装後のチップの認識をパターンマッチングによって行う場合に、上述のように予め画像認識用データを作成する方式を採用することにより、次のような効果を得る。すなわち、従来方法においては同一品種のチップを対象とする場合にあっても、このチップが基板に実装される際のオフセット角度が異なればもはや同一のテンプレートデータを用いることができず、オフセット角度毎に別個のテンプレートデータを登録する必要があった。

これに対し本実施の形態においては、認識対象のチップの画像の方向を基準方向に一致させた基準画像を作成し、基準画像においてチップの特定部分を切り出して基準テンプレートとして記憶させておき、認識動作に際しては、基準テンプレートを当該チップの規定オフセット角度だけ回転させて認識実行用のテンプレートを作成するようにしている。

これにより、認識実行用のテンプレートをオフセット角度に応じて複数作成する必要がなく、画像認識用データの作成やデータ管理の作業負荷を低減させて、作業効率を向上させることができる。この効果は、複数台の装置を連結して部品実装ラインを構成し、この部品実装ラインを多品種少量生産形態で稼動させる場合において特に顕著となる。すなわち、多品種の基板を生産対象とする場合には、各装置においては、各基板品種に対応した部品種毎に画像認識用データを記憶する必要があるが、このような場合に本発明を適用することにより、データ作成、データ管理の作業負荷を低減させることが可能となる。

なお本実施の形態においては、認識対象として回転方向にオフセットした状態で実装されたチップを認識する例を示したが、本発明はこれに限られるものではなく、例えばチップ搭載に先立って行われる部品搭載位置の認識に対しても本発明を適用可能である。

本発明の画像認識用データ作成装置および画像認識用データ作成方法は、画像認識用データの作成やデータ管理の作業負荷を低減させて作業効率を向上させることができるという効果を有し、認識面における基準方向から回転方向にオフセットした認識対象を画像認識する用途に有用である。

本発明の一実施の形態のチップボンディング装置の構成説明図 本発明の一実施の形態の画像認識装置の認識対象となる半導体チップの実装状態説明図 本発明の一実施の形態の画像認識装置における記憶部の記憶内容を示す説明図 本発明の一実施の形態の画像認識装置における画像認識処理機能を示す機能ブロック図 本発明の一実施の形態の画像認識用データ作成装置における基準テンプレート作成処理のフロー図 本発明の一実施の形態の画像認識装置による半導体チップの認識処理のフロー図 本発明の一実施の形態の画像認識方法におけるテンプレート作成処理のフロー図 本発明の一実施の形態の画像認識方法におけるサーチエリア変換処理のフロー図 本発明の一実施の形態の画像認識用データ作成方法の説明図 本発明の一実施の形態の画像認識用データ作成方法の説明図 本発明の一実施の形態の画像認識方法におけるテンプレート作成処理の説明図 本発明の一実施の形態の画像認識方法におけるサーチエリア変換処理の説明図

符号の説明

１ 部品供給部
４ チップ
１０ 基板
１４ 搭載ヘッド
１５ 第２のカメラ
４１ 認識画像
Ａ、Ｂ テンプレート
ＳＡ、ＳＢ サーチエリア
ＳＡ（Ｒ）、ＳＢ（Ｒ） 回転後サーチエリア
ＳＡ（Ｔ）、ＳＢ（Ｔ） 変換後サーチエリア

Claims (2)

1. 撮像されたチップをパターンマッチングにより認識するために用いられる画像認識用データを作成する、チップボンディング装置における画像認識用データ作成装置であって、
   基板に実装される前記チップの認識面内における基準方向から回転方向への規定オフセット角度を示す角度情報を記憶した記憶部と、
   前記記憶部の前記角度情報に基づき前記基板に実装された前記チップの画像を撮像する撮像手段と、
   前記撮像手段により撮像された前記チップの画像の方向を前記記憶部の前記角度情報に基づき前記基準方向に一致させた基準画像を作成する基準画像作成処理部と、
   前記基準画像において前記チップの特定部分を切り出して基準参照画像として前記記憶部に記憶させる基準参照画像生成処理部と、
   前記記憶部の前記角度情報に基づき前記基準参照画像を前記チップの規定オフセット角度だけ回転させて前記画像認識用データとなる参照画像を作成する参照画像作成処理部とを備え、
   認識処理の実行に際しては、認識対象であるチップの規定オフセット角度を読み出し、次いで前記認識対象のチップに対応した前記基準参照画像を読み出し、前記基準参照画像を前記認識対象であるチップの規定オフセット角度だけ回転させて前記参照画像を作成することを特徴とする画像認識用データ作成装置。
2. 撮像されたチップをパターンマッチングにより認識するために用いられる画像認識用データを作成する、チップボンディング装置における画像認識用データ作成方法であって、
   基板に実装される前記チップの認識面内における基準方向から回転方向への規定オフセット角度を示す角度情報に基づき前記基板に実装された前記チップを撮像する撮像ステップと、
   前記撮像ステップにより撮像された前記チップの画像の方向を前記角度情報に基づき前記基準方向に一致させた基準画像を作成する基準画像作成ステップと、
   前記基準画像において前記チップの特定部分を切り出して基準参照画像として記憶させる基準参照画像生成ステップと、
   前記角度情報に基づき前記基準参照画像を前記チップの規定オフセット角度だけ回転させて前記画像認識用データとなる参照画像を作成する参照画像作成ステップとを含み、
   認識処理の実行に際しては、認識対象であるチップの規定オフセット角度を読み出し、次いで前記認識対象のチップに対応した前記基準参照画像を読み出し、前記基準参照画像を前記認識対象であるチップの規定オフセット角度だけ回転させて前記参照画像を作成することを特徴とする画像認識用データ作成方法。

Images