JPWO2020016952A1 - 部品認識装置および部品認識方法 - Google Patents

Abstract

部品認識装置は、第一取得部と、第二取得部とを備える。第一取得部は、保持部材によって保持されている部品を撮像し撮像された第一画像に基づいて、保持部材における部品の保持姿勢を取得する。第二取得部は、部品の保持姿勢が取得された後に部品の少なくとも一部を撮像し撮像された第二画像に基づいて、部品の所定部位の位置を取得する。第二取得部は、第一取得部によって取得された部品の保持姿勢に基づいて、所定部位が存在する可能性が見込まれる特定領域を設定して所定部位の位置を取得する。

Description

本明細書は、部品認識装置および部品認識方法に関する技術を開示する。

特許文献１に記載の実装機は、カメラによって、特徴部が位置する第一の候補領域の撮影を行う。特徴部は、部品または部品収容容器の一部の領域であって、部品または部品収容容器が正規の向きで配置されているときに、部品または部品収容容器の向きを示す部位である。また、特許文献１に記載の実装機は、第一の候補領域において特徴部が認識されなかったときには、部品または部品収容容器が非正規の向きで配置されているときに特徴部が位置する他の候補領域の撮影を行う。

特開２００８−０２１９４６号公報

保持部材によって保持されている部品は、部品の保持姿勢によって所定部位（例えば、上述した特徴部）の位置が異なる。よって、特許文献１に記載の実装機では、保持部材によって保持されている部品の所定部位（例えば、上述した特徴部）の位置を特定することは困難である。

このような事情に鑑みて、本明細書は、保持部材によって保持されている部品の所定部位の位置を取得可能な部品認識装置および部品認識方法を開示する。

本明細書は、第一取得部と、第二取得部と、を備える部品認識装置を開示する。前記第一取得部は、保持部材によって保持されている部品を撮像し撮像された第一画像に基づいて、前記保持部材における前記部品の保持姿勢を取得する。前記第二取得部は、前記部品の前記保持姿勢が取得された後に前記部品の少なくとも一部を撮像し撮像された第二画像に基づいて、前記部品の所定部位の位置を取得する。前記第二取得部は、前記第一取得部によって取得された前記部品の前記保持姿勢に基づいて、前記所定部位が存在する可能性が見込まれる特定領域を設定して前記所定部位の位置を取得する。

また、本明細書は、第一取得工程と、第二取得工程と、を備える部品認識方法を開示する。前記第一取得工程は、保持部材によって保持されている部品を撮像し撮像された第一画像に基づいて、前記保持部材における前記部品の保持姿勢を取得する。前記第二取得工程は、前記部品の前記保持姿勢が取得された後に前記部品の少なくとも一部を撮像し撮像された第二画像に基づいて、前記部品の所定部位の位置を取得する。前記第二取得工程は、前記第一取得工程によって取得された前記部品の前記保持姿勢に基づいて、前記所定部位が存在する可能性が見込まれる特定領域を設定して前記所定部位の位置を取得する。

上記の部品認識装置によれば、第一取得部および第二取得部を備えている。特に、第二取得部は、第一取得部によって取得された部品の保持姿勢に基づいて、所定部位が存在する可能性が見込まれる特定領域を設定して所定部位の位置を取得する。これにより、上記の部品認識装置は、保持部材によって保持されている部品の所定部位の位置を取得することができる。部品認識装置について上述したことは、部品認識方法についても同様に言える。

部品装着機１０の構成例を示す平面図である。 部品８０の一例を示す平面図である。 撮像装置ＣＤ１である部品カメラ１４の構成例を示す模式図である。 部品認識装置７０の制御ブロックの一例を示すブロック図である。 部品認識装置７０による制御手順の一例を示すフローチャートである。 第一画像ＰＣ１の一例を示す模式図である。 図６に示す特定領域ＳＡ１を撮像した第二画像ＰＣ２の一例を示す模式図である。 図６に示す特定領域ＳＡ２を撮像した第二画像ＰＣ２の一例を示す模式図である。 図６に示す特定領域ＳＡ３を撮像した第二画像ＰＣ２の一例を示す模式図である。 図６に示す特定領域ＳＡ４を撮像した第二画像ＰＣ２の一例を示す模式図である。 装着位置が補正されないときの部品８０の装着状態の一例を示す平面図である。 補正部７３によって装着位置が補正されたときの部品８０の装着状態の一例を示す平面図である。 部品８０の他の一例を示す平面図である。 第一画像ＰＣ１の他の一例を示す模式図である。

１．実施形態
１−１．部品装着機１０の構成例
図１に示すように、部品装着機１０は、基板搬送装置１１、部品供給装置１２、部品移載装置１３、部品カメラ１４、基板カメラ１５および制御装置１６を備えている。基板搬送装置１１は、ベルトコンベアなどにより構成され、基板９０を搬送方向（Ｘ軸方向）に搬送する。基板９０は、回路基板であり、電子回路および電気回路のうちの少なくとも一方を形成する。基板搬送装置１１は、部品装着機１０の機内に基板９０を搬入するとともに、機内の所定位置に基板９０を位置決めする。基板搬送装置１１は、部品装着機１０による部品８０の装着処理が終了した後に、基板９０を部品装着機１０の機外に搬出する。

部品供給装置１２は、基板９０に装着する部品８０を供給する。具体的には、部品供給装置１２は、基板９０の搬送方向（Ｘ軸方向）に沿って設けられる複数のフィーダ１２１を備えている。複数のフィーダ１２１の各々は、複数の部品８０が収納されているキャリアテープをピッチ送りさせて、フィーダ１２１の先端側に設けられる採取位置において、部品８０を採取可能に供給する。なお、部品供給装置１２は、チップ部品などと比べて比較的大型の電子部品（例えば、リード部品など）を、トレイ上に配置した状態で供給することもできる。

部品移載装置１３は、ヘッド駆動装置１３１および移動台１３２を備えている。ヘッド駆動装置１３１は、直動機構により移動台１３２を、Ｘ軸方向およびＹ軸方向に移動可能に構成されている。移動台１３２には、クランプ部材（図示略）により部品装着ヘッド２０が着脱可能に（交換可能に）設けられている。部品装着ヘッド２０は、部品８０を採取して位置決めされた基板９０に部品８０を装着する。具体的には、部品装着ヘッド２０は、部品供給装置１２によって供給される部品８０を保持部材３０によって採取して、位置決めされた基板９０の所定の装着位置に装着する。

部品カメラ１４および基板カメラ１５は、例えば、撮像素子１４１を有するデジタル式の撮像装置を用いることができる。撮像素子１４１は、例えば、電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）または相補型金属酸化膜半導体（ＣＭＯＳ：Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサを用いることができる。部品カメラ１４および基板カメラ１５は、制御装置１６から送出される制御信号に基づいて撮像を行う。部品カメラ１４および基板カメラ１５は、撮像により取得した画像データを制御装置１６に送出する。

部品カメラ１４は、光軸がＺ軸方向の上向き（鉛直上方方向）となるように、部品装着機１０の基台に固定されている。部品カメラ１４は、保持部材３０によって保持されている部品８０を下方から撮像することができる。基板カメラ１５は、光軸がＺ軸方向の下向き（鉛直下方方向）となるように、部品移載装置１３の移動台１３２に設けられている。基板カメラ１５は、基板９０を上方から撮像することができる。

制御装置１６は、中央演算装置１６１、記憶装置１６２およびインターフェース１６３を備えており、これらは、バス１６４を介して、電気的に接続されている。中央演算装置１６１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、種々の演算処理を行うことができる。記憶装置１６２は、揮発性記憶装置１６２ａ、第一不揮発性記憶装置１６２ｂおよび第二不揮発性記憶装置１６２ｃを備えている。

揮発性記憶装置１６２ａは、揮発性の記憶装置（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、電力が供給されている状態において、種々のデータを一時的に記憶することができる。当該データには、中央演算装置１６１によって演算処理された演算結果が含まれる。揮発性記憶装置１６２ａは、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性記憶装置を用いることができる。

第一不揮発性記憶装置１６２ｂは、不揮発性の記憶装置（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）であり、電力が供給されていない状態においても、種々のデータを記憶しておくことができる。第一不揮発性記憶装置１６２ｂには、例えば、制御プログラムおよび予め設定される所定の装着条件などが記憶される。そのため、第一不揮発性記憶装置１６２ｂは、例えば、記憶されているデータを書き換え不可能なマスクＲＯＭを用いることができる。また、第一不揮発性記憶装置１６２ｂは、例えば、フラッシュメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記憶されているデータを書き換え可能な不揮発性記憶装置を用いることもできる。この場合、部品装着機１０の管理者は、例えば、制御プログラムのバージョンアップなどに対して、容易に対応することができる。

第二不揮発性記憶装置１６２ｃは、不揮発性の記憶装置であり、例えば、ハードディスクドライブ（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの磁気記憶装置、光ディスクなどの光学記憶装置などを用いることができる。第二不揮発性記憶装置１６２ｃは、データを書き換え可能な不揮発性記憶装置である。第二不揮発性記憶装置１６２ｃは、第一不揮発性記憶装置１６２ｂと比べて、大容量の多数のデータを記憶することができる。当該データは、部品カメラ１４および基板カメラ１５によって撮像された画像データを含むことができる。なお、第二不揮発性記憶装置１６２ｃは、例えば、フラッシュメモリ、ＥＥＰＲＯＭなどの不揮発性記憶装置を用いることもできる。

インターフェース１６３は、部品装着機１０の機内の機器と、制御装置１６とを電気的に接続する機器であり、例えば、通信インターフェース、入出力インターフェースなどを用いることができる。制御装置１６は、インターフェース１６３を介して、基板搬送装置１１、部品供給装置１２、部品移載装置１３、部品カメラ１４および基板カメラ１５と電気的に接続されている。また、インターフェース１６３は、部品装着機１０の機外の機器と、制御装置１６とを電気的に接続することもできる。

制御装置１６には、基板９０に部品８０を装着する装着処理において、部品装着機１０に設けられている複数の各種センサから出力される情報、画像処理などによる認識処理の結果が入力される。制御装置１６は、制御プログラムおよび予め設定されている所定の装着条件などに基づいて、部品移載装置１３に対して制御信号を送出する。制御装置１６は、例えば、保持部材３０の位置および回転角度を制御することができる。

具体的には、制御装置１６は、保持部材３０によって保持されている部品８０を、部品カメラ１４を用いて撮像する。制御装置１６は、部品カメラ１４の撮像により取得した画像データに基づいて、保持部材３０における部品８０の保持姿勢を認識する。このとき、制御装置１６は、例えば、基板９０に対する位置決めの基準となる部品８０の部位、部品８０の外観で特徴的な部位などを画像処理により把握することによって、部品８０の保持姿勢を認識することができる。

次に、制御装置１６は、基板９０における所定位置の上方に向かって、部品装着ヘッド２０を移動させる。このとき、制御装置１６は、画像処理により認識された部品８０の保持姿勢に基づいて、保持部材３０の位置および回転角度を補正する。そして、制御装置１６は、保持部材３０を下降させて基板９０に部品８０を装着する。基板９０に装着された部品８０は、例えば、基板９０の上面に予め塗布されている接合材（例えば、クリームはんだ）の粘性などによるタック力で保持される。制御装置１６は、上述したピックアンドプレースサイクルを繰り返すことにより、基板９０に複数の部品８０を装着する装着処理を実行する。上述したピックアンドプレースサイクルに要する時間をサイクルタイムという。

１−２．部品カメラ１４の構成例
図２に示す部品８０は、ＢＧＡ（Ｂａｌｌ Ｇｒｉｄ Ａｒｒａｙ）であり、方向チェックマーク８１と、複数のはんだボール８２とを備えている。方向チェックマーク８１は、部品８０が基板９０に装着されたときの部品８０の装着方向の正否を判別可能な部位であり、後述する所定部位ＰＰ１に含まれる。方向チェックマーク８１は、部品８０の外縁の四つの角部のうちの一の角部に形成されている。複数のはんだボール８２は、格子状（同図では、１７個×１８個）に並べられており、電極が形成されている。図３に示すように、はんだボール８２は、半球状に形成されている。なお、同図では、図示の便宜上、８つのはんだボール８２が図示されている。

図３は、上述した部品８０を撮像可能な部品カメラ１４の構成例を示している。部品カメラ１４は、撮像素子１４１と、レンズ１４２と、光源１４３とを備えている。既述したように、撮像素子１４１は、電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）などのイメージセンサを用いることができる。撮像素子１４１は、二次元イメージセンサであり、平面状に配置された複数の受光素子を備えている。これにより、部品カメラ１４は、二次元的な撮像視野をもつ。図２に示す例では、複数（４つ）の単位画像ＰＵ１〜ＰＵ４の各々の撮像領域が部品カメラ１４の撮像視野に相当する。

レンズ１４２は、公知の集光用レンズを用いることができ、凸レンズおよび凹レンズを複数組み合わせて、光学系を構成することもできる。レンズ１４２は、例えば、球面収差を低減した非球面レンズ、光の分散を少なくして色収差を低減した低分散レンズを用いることもできる。なお、レンズ１４２の焦点が部品８０に合うように、レンズ１４２の焦点距離が設定されている。

光源１４３は、第一光源１４３ａと、落射光生成部１４３ｂと、第二光源１４３ｃとを備えている。第一光源１４３ａおよび第二光源１４３ｃは、部品８０に光を照射する。第一光源１４３ａおよび第二光源１４３ｃは、例えば、公知の発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を用いることができ、照射する光の波長は、限定されない。落射光生成部１４３ｂは、第一光源１４３ａから照射される光から同軸落射光を生成する。落射光生成部１４３ｂは、例えば、ハーフミラーを用いることができる。

方向チェックマーク８１は、正反射によって認識できるように配置されている。そのため、第一光源１４３ａは、落射光生成部１４３ｂに向かってＹ軸方向に光を照射する（矢印Ｌ１１）。第一光源１４３ａから照射された光は、落射光生成部１４３ｂで反射され、方向チェックマーク８１に向かって進行する（矢印Ｌ１２）。反射角は、９０度に設定されている。方向チェックマーク８１で再び反射した光は、レンズ１４２に向かって進行する（矢印Ｌ１３）。レンズ１４２に到達した光は、レンズ１４２を透過して撮像素子１４１に向かって進行する（矢印Ｌ１４）。このときの光路を第一光路ＯＰ１とする。

はんだボール８２は、半球状の突起部（バンプ）であり、第二光源１４３ｃは、はんだボール８２を認識し易いように、はんだボール８２の斜め下方から光を照射する（矢印Ｌ２１）。はんだボール８２で反射した光は、レンズ１４２に向かって進行する（矢印Ｌ２２）。レンズ１４２に到達した光は、レンズ１４２を透過して撮像素子１４１に向かって進行する（矢印Ｌ２３）。このときの光路を第二光路ＯＰ２とする。なお、部品８０側の焦点位置を焦点位置ＦＰ１とし、撮像素子１４１側の焦点位置を焦点位置ＦＰ０とする。

１−３．部品認識装置７０の構成例
部品認識装置７０は、制御ブロックとして捉えると、第一取得部７１と、第二取得部７２とを備えている。部品認識装置７０は、補正部７３および保存部７４のうちの少なくとも一方をさらに備えると好適である。図４に示すように、本実施形態の部品認識装置７０は、第一取得部７１と、第二取得部７２と、補正部７３と、保存部７４とを備えている。また、本実施形態の部品認識装置７０は、制御装置１６に設けられている。

さらに、部品認識装置７０は、図５に示すフローチャートに従って、制御プログラムを実行する。第一取得部７１は、ステップＳ１１に示す処理を行う。第二取得部７２は、ステップＳ１２に示す処理を行う。補正部７３は、ステップＳ１３に示す処理を行う。保存部７４は、ステップＳ１４に示す処理を行う。なお、ステップＳ１３およびステップＳ１４に示す処理の順序は、入れ替えることもできる。

１−３−１．第一取得部７１
第一取得部７１は、保持部材３０によって保持されている部品８０を撮像し撮像された第一画像ＰＣ１に基づいて、保持部材３０における部品８０の保持姿勢を取得する（ステップＳ１１）。第一取得部７１は、部品８０の一部を撮像した画像であって撮像領域が異なる複数（例えば、４つ）の単位画像ＰＵ１〜ＰＵ４を合成して第一画像ＰＣ１を取得すると好適である。

具体的には、第一取得部７１は、図３に示す部品装着ヘッド２０を移動させて、例えば、部品カメラ１４の撮像視野を図６に示す単位画像ＰＵ１によって示される領域に合わせる。そして、第一取得部７１は、図３に示す撮像素子１４１および第二光源１４３ｃに撮像開始信号を出力する。撮像開始信号が出力されると、第二光源１４３ｃは、所定の露光時間、部品８０（複数のはんだボール８２）に光を照射する。そして、撮像素子１４１は、単位画像ＰＵ１によって示される領域の複数のはんだボール８２を同時に撮像する。

次に、第一取得部７１は、部品装着ヘッド２０を移動させて、例えば、部品カメラ１４の撮像視野を単位画像ＰＵ２によって示される領域に合わせる。そして、第一取得部７１は、撮像素子１４１および第二光源１４３ｃに撮像開始信号を出力する。撮像開始信号が出力されると、第二光源１４３ｃは、所定の露光時間、部品８０（複数のはんだボール８２）に光を照射する。そして、撮像素子１４１は、単位画像ＰＵ２によって示される領域の複数のはんだボール８２を同時に撮像する。同様にして、第一取得部７１は、部品カメラ１４に対して、単位画像ＰＵ３および単位画像ＰＵ４によって示される領域をそれぞれ撮像させる。なお、第一取得部７１は、任意の順序で複数（４つ）の単位画像ＰＵ１〜ＰＵ４の撮像を行わせることができる。

第一取得部７１は、撮像された複数（４つ）の単位画像ＰＵ１〜ＰＵ４の各々を画像処理して、複数のはんだボール８２の形状データを取得する。画像処理は、種々の方法を採り得る。画像処理は、例えば、二値化、エッジ処理のような一つの処理であっても良く、これらの処理を組み合わせた複数の処理であっても良い。図６に示すように、複数（４つ）の単位画像ＰＵ１〜ＰＵ４は、撮像領域が重複している部分が存在する。第一取得部７１は、撮像領域が重複している部分の複数のはんだボール８２の形状データに基づいて、撮像された単位画像ＰＵ１〜ＰＵ４を合成して、第一画像ＰＣ１を取得する。

第一取得部７１は、第一画像ＰＣ１に基づいて、保持部材３０における部品８０の保持姿勢を取得する。図１に示す第一不揮発性記憶装置１６２ｂには、予め部品８０の正規の保持姿勢（複数のはんだボール８２の配置）が記憶されている。第一取得部７１は、部品８０の正規の保持姿勢（複数のはんだボール８２の配置）と、第一画像ＰＣ１に基づいて取得される部品８０の保持姿勢（複数のはんだボール８２の配置）とを比較する。これにより、第一取得部７１は、部品８０の保持姿勢（回転角度）を取得することができる。

なお、部品８０の保持姿勢として、正規の保持位置に対する偏差を取得する場合、部品装着ヘッド２０は、撮像基準部（図示略）を備えると好適である。そして、第一取得部７１は、複数（４つ）の単位画像ＰＵ１〜ＰＵ４の少なくとも一つにおいて、部品８０（複数のはんだボール８２）と併せて撮像基準部を撮像させると良い。これにより、第一取得部７１は、例えば、撮像基準部と部品８０（複数のはんだボール８２）の中心位置との間の距離を取得することができ、当該距離に基づいて、正規の保持位置に対する偏差を取得することができる。

また、撮像基準部の焦点位置が部品８０の焦点位置ＦＰ１と異なる場合は、焦点位置を調整可能な屈折部材（図示略）をレンズ１４２上に配置すると好適である。屈折部材は、例えば、円柱状の光学ガラス、プラスチック、蛍石、非球面レンズをはじめとした種々のレンズなどを用いることができる。これにより、撮像装置ＣＤ１である部品カメラ１４は、焦点位置が異なる撮像基準部と部品８０（複数のはんだボール８２）を同時に撮像することができる。

１−３−２．第二取得部７２
第二取得部７２は、部品８０の保持姿勢が取得された後に部品８０の少なくとも一部を撮像し撮像された第二画像ＰＣ２に基づいて、部品８０の所定部位ＰＰ１の位置を取得する。また、第二取得部７２は、第一取得部７１によって取得された部品８０の保持姿勢に基づいて、所定部位ＰＰ１が存在する可能性が見込まれる特定領域ＳＡ１〜ＳＡ４を設定して所定部位ＰＰ１の位置を取得する（図５に示すステップＳ１２）。所定部位ＰＰ１は、部品８０において特定可能な部位であれば良く、限定されない。本実施形態の所定部位ＰＰ１は、部品８０が基板９０に装着されたときの部品８０の装着方向の正否を判別可能な方向チェックマーク８１である。

既述したように、方向チェックマーク８１は、部品８０の外縁の四つの角部のうちの一の角部に形成される。そのため、所定部位ＰＰ１が方向チェックマーク８１である場合、特定領域ＳＡ１〜ＳＡ４は、図２および図６に示す領域である。図６に示す特定領域ＳＡ１〜ＳＡ４は、部品８０の保持姿勢に合わせて、図２に示す特定領域ＳＡ１〜ＳＡ４が反時計回りに回転している。第二取得部７２は、第一取得部７１によって取得された部品８０の保持姿勢に基づいて、このときの部品８０の回転角度を知得することができ、図６に示す特定領域ＳＡ１〜ＳＡ４を設定することができる。

第二取得部７２は、特定領域ＳＡ１〜ＳＡ４を撮像した第二画像ＰＣ２に基づいて、所定部位ＰＰ１の存否を判断すると好適である。また、第二取得部７２は、撮像装置ＣＤ１に対して、特定領域ＳＡ１〜ＳＡ４を関心領域ＩＡ１〜ＩＡ４に設定させて、撮像装置ＣＤ１を用いて特定領域ＳＡ１〜ＳＡ４を撮像すると好適である。本実施形態の第二取得部７２は、撮像装置ＣＤ１である部品カメラ１４に対して、図６に示す特定領域ＳＡ１〜ＳＡ４を関心領域ＩＡ１〜ＩＡ４にそれぞれ設定させる。そして、第二取得部７２は、部品カメラ１４を用いて特定領域ＳＡ１〜ＳＡ４を撮像し、撮像された第二画像ＰＣ２に基づいて、所定部位ＰＰ１の位置を取得する。

具体的には、撮像装置ＣＤ１である部品カメラ１４は、例えば、図６に示す特定領域ＳＡ１に対して、関心領域ＩＡ１を設定する。関心領域ＩＡ１は、公知のＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）であり、部品カメラ１４によって設定することができる。そして、第二取得部７２は、撮像素子１４１および第一光源１４３ａに撮像開始信号を出力する。撮像開始信号が出力されると、第一光源１４３ａは、所定の露光時間、方向チェックマーク８１に光を照射する。そして、撮像素子１４１は、特定領域ＳＡ１を撮像する。

図７Ａは、図６に示す特定領域ＳＡ１を撮像した第二画像ＰＣ２の一例を示している。特定領域ＳＡ１を撮像した第二画像ＰＣ２には、所定部位ＰＰ１である方向チェックマーク８１が存在する。よって、第二取得部７２は、所定部位ＰＰ１（方向チェックマーク８１）の位置が特定領域ＳＡ１であると判断することができる。なお、仮に、第二画像ＰＣ２に所定部位ＰＰ１（方向チェックマーク８１）が存在しない場合、第二取得部７２は、例えば、特定領域ＳＡ４を撮像した第二画像ＰＣ２に基づいて、所定部位ＰＰ１の存否を判断する。また、第二取得部７２は、部品カメラ１４に対して特定領域ＳＡ４を関心領域ＩＡ４に設定させて、部品カメラ１４を用いて特定領域ＳＡ４を撮像する。本実施形態では、複数のはんだボール８２の配置は、長方形状であり、特定領域ＳＡ４を撮像した第二画像ＰＣ２に所定部位ＰＰ１（方向チェックマーク８１）が存在する可能性が高い。

特定領域ＳＡ４を撮像した第二画像ＰＣ２に所定部位ＰＰ１（方向チェックマーク８１）が存在しない場合、第二取得部７２は、例えば、特定領域ＳＡ２を撮像した第二画像ＰＣ２に基づいて、所定部位ＰＰ１の存否を判断する。第二取得部７２は、部品カメラ１４に対して特定領域ＳＡ２を関心領域ＩＡ２に設定させて、部品カメラ１４を用いて特定領域ＳＡ２を撮像する。また、特定領域ＳＡ２を撮像した第二画像ＰＣ２に所定部位ＰＰ１（方向チェックマーク８１）が存在しない場合、第二取得部７２は、特定領域ＳＡ３を撮像した第二画像ＰＣ２に基づいて、所定部位ＰＰ１の存否を判断する。第二取得部７２は、部品カメラ１４に対して特定領域ＳＡ３を関心領域ＩＡ３に設定させて、部品カメラ１４を用いて特定領域ＳＡ３を撮像する。

特定領域ＳＡ１について上述したことは、特定領域ＳＡ２〜ＳＡ４についても同様に言える。また、関心領域ＩＡ１について上述したことは、関心領域ＩＡ２〜ＩＡ４についても同様に言える。なお、所定部位ＰＰ１の存否を判断する順序は、限定されない。例えば、複数のはんだボール８２の配置が正方形状の場合、第二取得部７２は、特定領域ＳＡ１〜ＳＡ４について、任意の順序で所定部位ＰＰ１（方向チェックマーク８１）の存否を判断することができる。

図７Ｂ〜図７Ｄは、図６に示す特定領域ＳＡ２〜ＳＡ４を撮像した第二画像ＰＣ２の一例を示している。特定領域ＳＡ２〜ＳＡ４を撮像した第二画像ＰＣ２には、所定部位ＰＰ１である方向チェックマーク８１が存在しない。よって、上述した所定部位ＰＰ１（方向チェックマーク８１）の位置が特定領域ＳＡ１である旨の判断は、正当であると言える。このように、第二取得部７２は、所定部位ＰＰ１が存在する可能性が見込まれる複数の特定領域ＳＡ１〜ＳＡ４について、所定部位ＰＰ１の存否を判断することにより、例えば、異物等の付着などによる所定部位ＰＰ１の誤認識を低減することができる。

例えば、特定領域ＳＡ１および特定領域ＳＡ４の両方について、第二画像ＰＣ２に所定部位ＰＰ１（方向チェックマーク８１）が存在する場合、所定部位ＰＰ１（方向チェックマーク８１）の誤認識の可能性がある。この場合、第二取得部７２は、例えば、第二画像ＰＣ２を取得するときの撮像条件、第二画像ＰＣ２の画像処理の方法などを変更して、所定部位ＰＰ１（方向チェックマーク８１）の存否を再度判断すると良い。

また、第二取得部７２は、第二画像ＰＣ２から特定領域ＳＡ１〜ＳＡ４を抽出して所定部位ＰＰ１の存否を判断することもできる。具体的には、第二取得部７２は、図３に示す部品装着ヘッド２０を移動させて、例えば、部品カメラ１４の撮像視野を図６に示す単位画像ＰＵ１によって示される領域に合わせる。そして、第二取得部７２は、撮像素子１４１および第一光源１４３ａに撮像開始信号を出力する。撮像開始信号が出力されると、第一光源１４３ａは、所定の露光時間、方向チェックマーク８１に光を照射する。そして、撮像素子１４１は、単位画像ＰＵ１によって示される領域を撮像する。第二取得部７２は、第二画像ＰＣ２から特定領域ＳＡ１を抽出して所定部位ＰＰ１（方向チェックマーク８１）の存否を判断することができる。特定領域ＳＡ１について上述したことは、特定領域ＳＡ２〜ＳＡ４についても同様に言える。

１−３−３．補正部７３
補正部７３は、第二取得部７２によって取得された所定部位ＰＰ１の位置に基づいて、部品８０を基板９０に装着するときの部品８０の装着位置Ｐ２および装着角度θ１のうちの少なくとも一方を補正する（図５に示すステップＳ１３）。既述したように、第一取得部７１によって取得される部品８０の保持姿勢（回転角度）は、複数のはんだボール８２の配置に基づいて取得される。そのため、複数のはんだボール８２の配置が長方形状の場合、回転角度が１８０度異なる二つの保持姿勢が想定される。第二取得部７２によって所定部位ＰＰ１（方向チェックマーク８１）の位置が取得されることにより、保持部材３０によって保持されている部品８０の保持姿勢（回転角度）が確定する。なお、複数のはんだボール８２の配置が正方形状の場合、回転角度が０度、９０度、１８０度および２７０度の四つの保持姿勢が想定される。

図８Ａの破線で示す部品８０は、部品８０の中心位置８０ａにおいて回転することなく保持部材３０によって保持されて、補正部７３による補正が行われることなく基板９０の装着位置Ｐ１に装着されているものとする。このときの保持姿勢を第一保持姿勢とし、このときの装着状態を第一装着状態とする。また、第一保持姿勢が正規の保持姿勢であり、第一装着状態が正規の装着状態とする。

図８Ａの実線で示すように、部品８０の中心位置８０ａからＸ軸方向と反対方向（Ｘ軸の負の方向）に偏差ΔＸ分、移動した位置において、装着角度θ１分、反時計回りに回転した状態で、保持部材３０によって部品８０が保持されている場合を想定する。このときの保持姿勢を第二保持姿勢とする。保持姿勢が第二保持姿勢のときに、補正部７３による補正が行われないと、図８Ａの実線で示す状態で、部品８０が基板９０に装着されてしまう。

そこで、図８Ｂに示すように、補正部７３は、装着位置Ｐ１から、Ｘ軸方向と反対方向（Ｘ軸の負の方向）に偏差ΔＸ分、移動した位置を装着位置Ｐ２として設定する。また、補正部７３は、保持部材３０の補正回転角度を装着角度θ１（時計回り）とする。これにより、保持部材３０は、装着位置Ｐ２において、装着角度θ１分、時計回りに回転された状態で下降される。その結果、部品８０は、図８Ｂの実線で示すように基板９０に装着される。このときの装着状態は、図８Ａに示す第一装着状態と同じである。このようにして、補正部７３は、第二取得部７２によって取得された所定部位ＰＰ１の位置に基づいて、部品８０の装着位置Ｐ２および装着角度θ１のうちの少なくとも一方を補正することができる。

１−３−４．保存部７４
保存部７４は、第二取得部７２によって取得された所定部位ＰＰ１の位置を記憶装置１６２に保存させる（図５に示すステップＳ１４）。具体的には、保存部７４は、第二取得部７２によって取得された所定部位ＰＰ１の位置を、図１に示す第二不揮発性記憶装置１６２ｃに保存させることができる。

例えば、部品装着機１０において不具合が発生すると、部品装着機１０を管理する管理者は、当該不具合を解析する場合がある。この場合、管理者は、部品装着機１０の稼働中に稼働状態を保存しておき、保存された稼働履歴に基づいて、部品装着機１０の動作などをトレース（追跡）する。本実施形態では、第二取得部７２は、所定部位ＰＰ１（方向チェックマーク８１）の位置を取得する。よって、保存部７４が所定部位ＰＰ１（方向チェックマーク８１）の位置を記憶装置１６２（第二不揮発性記憶装置１６２ｃ）に保存させることにより、管理者は、保持部材３０による部品８０の保持状態をトレースすることができる。

また、保存部７４は、所定部位ＰＰ１（方向チェックマーク８１）の位置を取得する際に用いた画像データを記憶装置１６２（第二不揮発性記憶装置１６２ｃ）に保存させることもできる。画像データには、第一画像ＰＣ１および第二画像ＰＣ２のうちの少なくとも第二画像ＰＣ２に係る画像データが含まれると好適である。第二画像ＰＣ２が特定領域ＳＡ１〜ＳＡ４を撮像した画像である場合、部品８０の全体を撮像した画像と比べて、画像データの保存時のデータ容量が低減される。また、第二画像ＰＣ２が特定領域ＳＡ１〜ＳＡ４を撮像した画像である場合、部品８０の全体を撮像した画像と比べて、撮像装置ＣＤ１である部品カメラ１４から制御装置１６に送出する画像データのデータ容量が低減される。

保存部７４は、第二取得部７２によって所定部位ＰＰ１（方向チェックマーク８１）の位置が取得される毎に、所定部位ＰＰ１の位置を逐次保存することができる。また、保存部７４は、所定数の部品８０についての所定部位ＰＰ１の位置が蓄積したときに、当該所定数の所定部位ＰＰ１の位置を、一度に、または、複数回に分けて保存することもできる。この場合、制御装置１６は、例えば、複数のデータを一時的に記憶可能なリングバッファなどを備えると良い。また、図１に示す中央演算装置１６１の負荷を軽減するため、制御装置１６は、例えば、ＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コントローラなどを備えると良い。なお、保存部７４は、部品８０を特定可能な固有情報、取得年月日、取得時刻、制御プログラムのバージョン情報などを併せて、記憶装置１６２（第二不揮発性記憶装置１６２ｃ）に保存させると好適である。

２．変形形態
２−１．第一変形形態
所定部位ＰＰ１は、部品８０の固有情報を示す識別コード８３であっても良い。固有情報は、例えば、部品種、部品名、型式、生産メーカ名、生産ロットなどを含むと好適である。また、識別コード８３は、一次元コードであっても良く、二次元コードであっても良い。図９は、二次元コードの識別コード８３が部品８０の中央部に付されている状態を模式的に示している。この場合も、実施形態と同様にして、第一取得部７１は、第一画像ＰＣ１に基づいて、保持部材３０における部品８０の保持姿勢を取得する。また、第二取得部７２は、第一取得部７１によって取得された部品８０の保持姿勢に基づいて、所定部位ＰＰ１が存在する可能性が見込まれる特定領域ＳＡ１を設定して所定部位ＰＰ１の位置を取得する。

同図に示すように、識別コード８３は、部品８０の中央部に付されており、第二取得部７２は、一つの特定領域ＳＡ１を設定することができる。よって、第二取得部７２は、特定領域ＳＡ１を撮像した第二画像ＰＣ２に基づいて、所定部位ＰＰ１の存否を判断することができる。さらに、第二取得部７２は、部品カメラ１４に対して特定領域ＳＡ１を関心領域ＩＡ１に設定させて、部品カメラ１４を用いて特定領域ＳＡ１を撮像することができる。

具体的には、第二取得部７２は、図３に示す部品装着ヘッド２０を移動させて、部品カメラ１４の撮像視野を図９に示す特定領域ＳＡ１に合わせる。そして、第二取得部７２は、撮像素子１４１および第一光源１４３ａに撮像開始信号を出力する。撮像開始信号が出力されると、第一光源１４３ａは、所定の露光時間、識別コード８３に光を照射する。そして、撮像素子１４１は、特定領域ＳＡ１を撮像する。第二取得部７２は、部品８０の固有情報を読み取ることができたときに、所定部位ＰＰ１である識別コード８３の位置を取得する。なお、第二取得部７２は、部品８０の少なくとも一部が撮像された第二画像ＰＣ２から特定領域ＳＡ１を抽出して、所定部位ＰＰ１の存否を判断することもできる。

２−２．第二変形形態
部品認識装置７０は、複数の保持部材３０が部品装着ヘッド２０に着脱可能に設けられている部品装着機１０に適用することもできる。部品装着ヘッド２０は、例えば、複数の保持部材３０が円環状に設けられているロータリヘッドを用いることができる。また、部品装着ヘッド２０は、例えば、複数の保持部材３０が直線状に設けられているラインヘッドを用いることもできる。いずれの場合も、第一取得部７１は、複数の保持部材３０に保持されている複数の部品８０を同時に撮像して第一画像ＰＣ１を取得すると好適である。

図１０は、複数（同図では、１２個）の保持部材３０に保持されている複数（同図では、１２個）の部品８０が同時に撮像された第一画像ＰＣ１の一例を示している。この場合の部品装着ヘッド２０は、複数（１２個）の保持部材３０が円環状に設けられているロータリヘッドである。また、複数（１２個）の部品８０は、実施形態および第一変形形態の部品８０と比べて小型であり、第一画像ＰＣ１は、部品カメラ１４の一の撮像視野（例えば、既述した単位画像ＰＵ１によって示される領域に相当）で撮像することができる。さらに、複数（１２個）の部品８０のうちの少なくとも一つの部品８０（同図では、一つの部品８０）は、所定部位ＰＰ１である凹部８４を備えている。凹部８４は、部品８０の一部が陥没している部位であり、既述した方向チェックマーク８１と同様に、正反射によって認識できるように配置されている。

第一取得部７１は、複数（例えば、４つ）の単位画像ＰＵ１〜ＰＵ４を合成することなく、一度の撮像で第一画像ＰＣ１を取得することができる。この場合も、実施形態と同様にして、第一取得部７１は、第一画像ＰＣ１に基づいて、保持部材３０に保持されている部品８０（所定部位ＰＰ１である凹部８４を備える部品８０）の保持姿勢を取得する。また、第二取得部７２は、第一取得部７１によって取得された部品８０の保持姿勢に基づいて、所定部位ＰＰ１が存在する可能性が見込まれる特定領域ＳＡ１を設定して所定部位ＰＰ１の位置を取得する。

さらに、第二取得部７２は、特定領域ＳＡ１を撮像した第二画像ＰＣ２に基づいて、所定部位ＰＰ１の存否を判断することができる。また、第二取得部７２は、部品カメラ１４に対して特定領域ＳＡ１を関心領域ＩＡ１に設定させて、部品カメラ１４を用いて特定領域ＳＡ１を撮像することができる。なお、第二取得部７２は、部品８０の少なくとも一部が撮像された第二画像ＰＣ２から特定領域ＳＡ１を抽出して、所定部位ＰＰ１の存否を判断することもできる。

２−３．その他
実施形態および第一変形形態では、第一取得部７１は、撮像領域が異なる複数（４つ）の単位画像ＰＵ１〜ＰＵ４を合成して第一画像ＰＣ１を取得している。しかしながら、単位画像の数は、限定されない。単位画像の数が増加すると、特定領域が設定されない単位画像が生じる。この場合、第二取得部７２は、特定領域を撮像した第二画像ＰＣ２に基づいて、所定部位ＰＰ１の存否を判断すると良い。これにより、第二取得部７２は、全ての単位画像に相当する領域を撮像し第二画像ＰＣ２を取得して特定領域ＳＡ１を抽出する場合と比べて、第二画像ＰＣ２を取得する際の撮像回数を低減することができる。

３．部品認識方法
部品認識装置７０について既述したことは、部品認識方法についても同様に言える。具体的には、部品認識方法は、第一取得工程と、第二取得工程とを備える。第一取得工程は、保持部材３０によって保持されている部品８０を撮像し撮像された第一画像ＰＣ１に基づいて、保持部材３０における部品８０の保持姿勢を取得する。第二取得工程は、部品８０の保持姿勢が取得された後に部品８０の少なくとも一部を撮像し撮像された第二画像ＰＣ２に基づいて、部品８０の所定部位ＰＰ１の位置を取得する。第二取得工程は、第一取得工程によって取得された部品８０の保持姿勢に基づいて、所定部位ＰＰ１が存在する可能性が見込まれる特定領域ＳＡ１〜ＳＡ４を設定して所定部位ＰＰ１の位置を取得する。また、部品認識方法は、補正工程および保存工程のうちの少なくとも一方を備えると好適である。補正工程は、補正部７３が行う制御に相当する。保存工程は、保存部７４が行う制御に相当する。

４．実施形態の効果の一例
部品認識装置７０によれば、第一取得部７１および第二取得部７２を備えている。特に、第二取得部７２は、第一取得部７１によって取得された部品８０の保持姿勢に基づいて、所定部位ＰＰ１が存在する可能性が見込まれる特定領域ＳＡ１〜ＳＡ４を設定して所定部位ＰＰ１の位置を取得する。これにより、部品認識装置７０は、保持部材３０によって保持されている部品８０の所定部位ＰＰ１の位置を取得することができる。部品認識装置７０について上述したことは、部品認識方法についても同様に言える。

１０：部品装着機、１６２：記憶装置、
２０：部品装着ヘッド、３０：保持部材、
７０：部品認識装置、
７１：第一取得部、７２：第二取得部、
７３：補正部、７４：保存部、
８０：部品、８１：方向チェックマーク、８３：識別コード、
９０：基板、
ＣＤ１：撮像装置、ＩＡ１〜ＩＡ４：関心領域、
ＰＣ１：第一画像、ＰＣ２：第二画像、ＰＰ１：所定部位、
ＰＵ１〜ＰＵ４：単位画像、ＳＡ１〜ＳＡ４：特定領域、
Ｐ２：装着位置、θ１：装着角度。

Claims (11)

1. 保持部材によって保持されている部品を撮像し撮像された第一画像に基づいて、前記保持部材における前記部品の保持姿勢を取得する第一取得部と、
   前記部品の前記保持姿勢が取得された後に前記部品の少なくとも一部を撮像し撮像された第二画像に基づいて、前記部品の所定部位の位置を取得する第二取得部と、
   を備え、
   前記第二取得部は、前記第一取得部によって取得された前記部品の前記保持姿勢に基づいて、前記所定部位が存在する可能性が見込まれる特定領域を設定して前記所定部位の位置を取得する部品認識装置。
2. 前記第二取得部は、前記特定領域を撮像した前記第二画像に基づいて、前記所定部位の存否を判断する請求項１に記載の部品認識装置。
3. 前記第二取得部は、撮像装置に対して前記特定領域を関心領域に設定させて、前記撮像装置を用いて前記特定領域を撮像する請求項２に記載の部品認識装置。
4. 前記第二取得部は、前記第二画像から前記特定領域を抽出して前記所定部位の存否を判断する請求項１に記載の部品認識装置。
5. 前記第一取得部は、前記部品の一部を撮像した画像であって撮像領域が異なる複数の単位画像を合成して前記第一画像を取得する請求項１〜請求項４のいずれか一項に記載の部品認識装置。
6. 複数の前記保持部材が部品装着ヘッドに着脱可能に設けられている部品装着機に適用され、
   前記第一取得部は、複数の前記保持部材に保持されている複数の前記部品を同時に撮像して前記第一画像を取得する請求項１〜請求項４のいずれか一項に記載の部品認識装置。
7. 前記第二取得部によって取得された前記所定部位の位置に基づいて、前記部品を基板に装着するときの前記部品の装着位置および装着角度のうちの少なくとも一方を補正する補正部を備える請求項１〜請求項６のいずれか一項に記載の部品認識装置。
8. 前記第二取得部によって取得された前記所定部位の位置を記憶装置に保存させる保存部を備える請求項１〜請求項７のいずれか一項に記載の部品認識装置。
9. 前記所定部位は、前記部品が基板に装着されたときの前記部品の装着方向の正否を判別可能な方向チェックマークである請求項１〜請求項８のいずれか一項に記載の部品認識装置。
10. 前記所定部位は、前記部品の固有情報を示す識別コードである請求項１〜請求項８のいずれか一項に記載の部品認識装置。
11. 保持部材によって保持されている部品を撮像し撮像された第一画像に基づいて、前記保持部材における前記部品の保持姿勢を取得する第一取得工程と、
    前記部品の前記保持姿勢が取得された後に前記部品の少なくとも一部を撮像し撮像された第二画像に基づいて、前記部品の所定部位の位置を取得する第二取得工程と、
    を備え、
    前記第二取得工程は、前記第一取得工程によって取得された前記部品の前記保持姿勢に基づいて、前記所定部位が存在する可能性が見込まれる特定領域を設定して前記所定部位の位置を取得する部品認識方法。

Images