JP5587021B2 - 部品画像処理装置及び部品画像処理方法 - Google Patents

Description

本発明は、カメラの視野よりも大きい部品を部分的に撮像して画像処理し、その画像処理結果に基づいて当該部品の位置を計測する部品画像処理装置及び部品画像処理方法に関する発明である。

従来より、カメラの視野よりも大きい部品を撮像して画像処理する場合は、図１２に示すように、撮像対象となる部品の全領域をカメラの視野に収まるように複数に分割して、分割領域毎にカメラで撮像した後、複数の分割領域の撮像画像を合成して１つの部品全体の合成画像を作成し、その合成画像に基づいて部品位置計測処理を行うようにしたものがある（特許文献１参照）。

しかし、この方法では、分割領域の数だけカメラの移動と撮像を繰り返す必要があるため、画像処理サイクルタイムが増大するという欠点がある。
そこで、図１３に示すように、部品のうちの一部分のみをカメラで撮像して、その撮像画像に基づいて部品全体を推測して当該部品の位置を計測するようにしたものがある。

特開２００８−２１１００９号公報

しかし、部品のうちの一部分のみを撮像する方法では、部品とカメラ間の距離がずれて部品画像の大きさ（撮像倍率）がずれても、それを認識できないばかりか、部品の特徴的な部分が１つの撮像画像内に収まっていないと、部品位置計測精度が悪くなるという欠点がある。

そこで、本発明が解決しようとする課題は、カメラの視野よりも大きい部品を部分的に撮像して部品の位置を計測する場合に、画像処理サイクルタイムの短縮と部品位置計測精度向上とを実現することができる部品画像処理装置及び部品画像処理方法を提供することである。

上記課題を解決するために、請求項１に係る発明は、カメラの視野よりも大きい部品を部分的に撮像して画像処理し、その画像処理結果に基づいて当該部品の位置を計測する部品画像処理装置において、撮像対象となる部品の範囲から分割して撮像すべき複数の特徴部分の撮像範囲を決定する撮像範囲決定手段と、前記複数の特徴部分をそれぞれ前記カメラで撮像して得られた前記複数の特徴部分の画像を結合して部品の特徴部分の結合画像を作成する結合画像作成手段と、前記部品の特徴部分の結合画像に基づいて当該部品の位置を計測する計測手段とを備え、前記撮像範囲決定手段は、撮像対象となる部品の寸法と前記カメラの視野とに基づいて当該部品の全領域を分割して撮像するのに必要な数の部分領域に分割し、分割した各部分領域に含まれる情報量が多い方から複数の部分領域を前記複数の特徴部分の撮像範囲として選択することを特徴とするものである。この構成では、カメラの視野よりも大きい部品を部分的に撮像する際に、１つの部品の範囲から複数の特徴部分の撮像範囲を決定して撮像し、撮像した複数の特徴部分の画像を結合して部品の特徴部分の結合画像を作成するため、部品とカメラ間の距離がずれて部品画像の大きさ（撮像倍率）がずれても、それを認識できると共に、複数の特徴部分を基準にして部品の位置を精度良く計測することができる。しかも、部品の特徴部分以外の部分は撮像しなくても良いため、部品の全領域を分割して撮像する場合と比べて、画像処理サイクルタイムも短縮できる。

本発明では、撮像対象となる部品の形状・寸法とカメラの視野とに基づいて複数の特徴部分の撮像範囲を自動的に決定するようにしている。このようにすれば、特徴部分の撮像範囲の決定も自動的に行うことができる。
複数の特徴部分の撮像範囲を自動的に決定する場合は、部品のＸＹ両方向の全長を計測できるような範囲を選択するのが望ましい。

具体的には、撮像対象となる部品の寸法とカメラの視野とに基づいて当該部品の全領域を分割して撮像するのに必要な数の部分領域に分割し、分割した各部分領域に含まれる情報量が多い方から複数の部分領域を複数の特徴部分の撮像範囲として選択するようにしている。ここで、情報量としては、例えば、エッジ点の数、外形線の数、外形線の方向の数、角部の数、撮像範囲間の距離等を用いれば良い。これにより、部品の中でより顕著な特徴がある部分を自動的に選択して撮像範囲に決定することができる。

尚、請求項２に係る発明は、本発明の技術思想を方法の発明として記載したものである。

図１は本発明の一実施例で使用する部品画像処理装置の構成を概略的に説明するブロック図である。 図２は部品の特徴部分の撮像範囲を決定する処理の流れを示すフローチャートである。 図３は部品位置計測処理の流れを示すフローチャートである。 図４は部品の寸法データの一例を説明する図である。 図５はエッジ点列データの一例を説明する図である。 図６は有効視野の和領域を求める方法を説明する図である。 図７は部品データの第１例を示す図である。 図８は部品データの第２例を示す図である。 図９は結合画像の第１例を示す図である。 図１０は結合画像の第２例を示す図である。 図１１は本発明に関連する参考例を説明する図である。 図１２は従来の部品分割画像処理技術を説明する図である。 図１３は従来の改良された大型部品位置計測技術を説明する図である。

以下、本発明を実施するための形態を部品実装機に適用して具体化した一実施例を説明する。
まず、図１に基づいて部品画像処理装置の構成を概略的に説明する。

制御装置１１は、部品実装機を制御すると共に、後述する部品画像処理を制御するのであり、例えばパーソナルコンピュータ、ワークステーション等のコンピュータにより構成されている。この制御装置１１には、キーボード、マウス、タッチパネル等の入力装置１２と、部品を撮像するカメラ１３と、様々なデータや制御プログラム等の様々な情報を記憶するハードディスクドライブ、ＭＯディスクドライブ、ＵＳＢメモリ等の記憶装置１４が接続されている。

制御装置１１は、カメラ１３の視野よりも大きい部品を撮像する場合は、部品を吸着した吸着ノズルが保持された装着ヘッド（図示せず）をＸＹ移動装置１５によりＸＹ方向に適宜移動させて部品の特徴部分をカメラ１３で撮像する。

尚、トレイフィーダ等で供給される部品の特徴部分を部品吸着前に上方から撮像する場合は、カメラ（例えばマークカメラ等）をＸＹ方向に適宜移動させて当該部品の特徴部分をカメラで撮像するようにすれば良い。

制御装置１１は、撮像対象となる部品の範囲から分割して撮像すべき複数の特徴部分の撮像範囲を決定する撮像範囲決定手段と、前記複数の特徴部分をそれぞれカメラ１３で撮像して得られた複数の特徴部分の画像を結合して部品の特徴部分の結合画像を作成する結合画像作成手段と、前記部品の特徴部分の結合画像に基づいて当該部品の位置を計測する計測手段として機能する。

この場合、例えば、予め部品の特徴部分の撮像範囲を決めておいて、そのデータを記憶装置１４に記憶しておき、撮像前に記憶装置１４から特徴部分の撮像範囲を読み出すようにしても良い。或は、撮像前に作業者が入力装置１２を操作して特徴部分の撮像範囲のデータを入力するようにしても良い。

更に、本実施例では、撮像対象となる部品の形状・寸法とカメラの視野とに基づいて複数の特徴部分の撮像範囲を自動的に決定する機能を持たせている。複数の特徴部分の撮像範囲を自動的に決定する場合は、部品のＸＹ両方向の全長を計測できるような範囲を選択するのが望ましい。

そこで、部品の形状が四角形である場合は、部品の対角方向に位置する２つの角部をそれぞれ特徴部分とする２つの撮像範囲を決定するようにすると良い。このようにすれば、部品の形状が四角形である場合は、２つの特徴部分から部品のＸＹ両方向の全長を計測することができる。

更に、本実施例では、撮像対象となる部品の寸法とカメラ１３の視野とに基づいて当該部品の全領域を分割して撮像するのに必要な数の部分領域に分割し、分割した各部分領域に含まれる情報量が多い方から複数の部分領域を複数の特徴部分の撮像範囲として選択する機能も持たせている。ここで、情報量としては、例えば、エッジ点の数、外形線の数、外形線の方向の数、角部の数、撮像範囲間の距離等を用いれば良い。これにより、部品の中でより顕著な特徴がある部分を自動的に選択して撮像範囲に決定することができる。

以下、本実施例の特徴部分の撮像範囲の決定方法と部品位置計測方法を図２及び図３のフローチャートを用いて説明する。
図２に示すように、特徴部分の撮像範囲を決定する場合は、まず、ステップ１０１で、撮像対象となる部品のデータを記憶装置１４に登録する。ここで、部品のデータは、例えば幾何学的に定義された寸法（図４参照）や色等のデータでも良い。或は、エッジ点列データ（図５参照）のように、直接画像処理に使用できるようなデータでも良い。

次のステップ１０２で、部品寸法とカメラ１３の有効視野から部品の全領域を分割して撮像するのに必要な分割数を算出する。この後、ステップ１０３に進み、分割された領域毎に、エッジ数（エッジ長さ）とエッジ位置をエッジ方向毎に集計した評価値を算出する。

そして、次のステップ１０４で、全ての２つの領域の組み合わせで得られる評価値の合計を算出した後、ステップ１０５に進み、合計評価値が最大となる２つの領域で十分な情報量が得られるか否かを、合計評価値が所定値以上であるか否かで判定する。その結果、合計評価値が最大となる２つの領域で十分な情報量が得られると判定されれば、ステップ１０６に進み、合計評価値が最大となる２つの領域をそれぞれ特徴部分の撮像範囲として選択する。

これに対し、上記ステップ１０５で、合計評価値が最大となる２つの領域で十分な情報量が得られないと判定されれば、ステップ１０７に進み、全ての３つの領域の組み合わせで得られる評価値の合計を算出した後、ステップ１０８に進み、合計評価値が最大となる３つの領域で十分な情報量が得られるか否かを、合計評価値が所定値以上であるか否かで判定する。その結果、合計評価値が最大となる３つの領域で十分な情報量が得られると判定されれば、ステップ１０９に進み、合計評価値が最大となる３つの領域をそれぞれ特徴部分の撮像範囲として選択する。

一方、上記ステップ１０８で、合計評価値が最大となる３つの領域で十分な情報量が得られないと判定されれば、ステップ１１０に進み、エラーと判定する。この場合は、分割した全ての領域をそれぞれカメラ１３で撮像した後、これらの撮像画像を合成して１つの部品全体の合成画像を作成するようにしても良い。

以上のような手順で、１つの部品の全ての領域の中から複数（２又は３）の特徴部分の撮像範囲を決定した後、複数の特徴部分をそれぞれカメラ１３で撮像し、その撮像画像の信号を制御装置１１に送信する。制御装置１１は、図３に示す手順で部品の位置を計測する。具体的には、まず、ステップ２０１で、カメラ１３から送信されてくる複数の特徴部分の撮像画像とそれぞれの撮像位置のデータを受信する。

次のステップ２０２で、複数の特徴部分を撮像するカメラ１３の有効視野の和領域を求める（図６参照）。この後、ステップ２０３に進み、部品の初期姿勢、許容最大ずれ量、有効視野の和領域から、最悪でもカメラ１３の視野内に収まるエッジを特定する。
この後、ステップ２０４に進み、例えば、既存のパターンマッチング等を使用して、特定したエッジのみを使った部品データを作成する（図７及び図８参照）。

そして、次のステップ２０５で、複数の特徴部分の撮像画像とそれぞれの撮像位置からそれぞれの特徴部分の撮像画像を適切な位置に配置して結合（タイリング）した１枚の結合画像（図９又は図１０参照）を作成する。画像結合時に不足する画像範囲については、ブランク画素で埋めた状態で良い。
この後、ステップ２０６に進み、結合画像内で部品データと一致する場所を特定し、部品の位置を計測する。

以上説明した本実施例では、カメラ１３の視野よりも大きい部品を撮像する場合に、撮像対象となる部品の範囲から分割して撮像すべき複数の特徴部分の撮像範囲を決定し、前記複数の特徴部分をそれぞれカメラ１３で撮像して得られた複数の特徴部分の画像を結合して部品の特徴部分の結合画像を作成し、その結合画像に基づいて当該部品の位置を計測するようにしたので、部品とカメラ１３間の距離がずれて部品画像の大きさ（撮像倍率）がずれても、それを認識できると共に、複数の特徴部分を基準にして部品の位置を精度良く計測することができる。しかも、部品の特徴部分以外の部分は撮像しなくても良いため、部品の全領域を分割して撮像する場合と比べて、画像処理サイクルタイムも短縮することができる。

本発明に関連する参考例では、図１１に示すように、トレイ等に整列配置された複数の四角形状の部品１〜８を撮像する場合は、次のような手順で撮像している。

各部品１〜８の対角方向に位置する２つの角部をそれぞれ特徴部分とする撮像範囲ａ〜ｇを決定し、まず、部品１の対角方向に位置する２つの撮像範囲ａ，ｂをそれぞれカメラで撮像する。撮像範囲ｂは、部品２の一方の特徴部分の撮像範囲でもあるため、部品２の一方の特徴部分の撮像範囲ｂの対角方向に位置する他方の特徴部分の撮像範囲ｃのみを撮像する。これにより、３カ所の撮像範囲ａ〜ｃの撮像で２つの部品１，２の合計４つの特徴部分を撮像できる。撮像範囲ｃは、部品３の一方の特徴部分の撮像範囲でもあるため、部品３の一方の特徴部分の撮像範囲ｃの対角方向に位置する他方の特徴部分の撮像範囲ｄのみを撮像する。撮像範囲ｄは、部品４の一方の特徴部分の撮像範囲でもあるため、部品４の一方の特徴部分の撮像範囲ｄの対角方向に位置する他方の特徴部分の撮像範囲ｅのみを撮像する。これにより、５カ所の撮像範囲ａ〜ｅの撮像で４個の部品１〜４の合計８個の特徴部分を撮像できる。

撮像済みの撮像範囲ａ，ｃ，ｅは、部品５〜８の一方の特徴部分の撮像範囲でもあるため、２つの部品５，６の角部を含む撮像範囲ｆと、２つの部品７，８の角部を含む撮像範囲ｇをそれぞれ撮像すれば良い。このようにすれば、７カ所の撮像範囲ａ〜ｇの撮像で、８個の部品１〜８の合計１６個の特徴部分を撮像できる。これにより、８個の部品１〜８の位置計測処理を能率良く行うことができる。

尚、１つの装着ヘッドに複数の吸着ノズルを保持させる部品実装機では、複数の吸着ノズルに吸着した複数の部品をそれぞれカメラで撮像して部品位置を計測する場合に、１つの撮像範囲に２つの部品の角部を特徴部分として含ませるようにしても良い。

また、本発明による部品位置計測と、部品全領域の分割撮像による部品位置計測とを切り替える機能を持たせても良い。例えば、生産能率優先の場合は、本発明による部品位置計測を行い、計測精度優先の場合は、部品全領域の分割撮像による部品位置計測に切り替えるようにしても良い。

或は、通常は、本発明による部品位置計測を行い、部品実装位置異常等の異常が発生した場合に、部品全領域の分割撮像による部品位置計測に切り替えるようにしても良い。
反対に、通常は、部品全領域の分割撮像による部品位置計測を行い、部品形状のばらつきが小さいことが確認できた時点で、本発明による部品位置計測に切り替えるようにしても良い。

１１…制御装置（撮像範囲決定手段，結合画像作成手段，計測手段）、１２…入力装置、１３…カメラ、１４…記憶装置、１５…ＸＹ移動装置

Claims (2)

1. カメラの視野よりも大きい部品を部分的に撮像して画像処理し、その画像処理結果に基づいて当該部品の位置を計測する部品画像処理装置において、
   撮像対象となる部品の範囲から分割して撮像すべき複数の特徴部分の撮像範囲を決定する撮像範囲決定手段と、
   前記複数の特徴部分をそれぞれ前記カメラで撮像して得られた前記複数の特徴部分の画像を結合して部品の特徴部分の結合画像を作成する結合画像作成手段と、
   前記部品の特徴部分の結合画像に基づいて当該部品の位置を計測する計測手段と
   を備え、
   前記撮像範囲決定手段は、撮像対象となる部品の寸法と前記カメラの視野とに基づいて当該部品の全領域を分割して撮像するのに必要な数の部分領域に分割し、分割した各部分領域に含まれる情報量が多い方から複数の部分領域を前記複数の特徴部分の撮像範囲として選択することを特徴とする部品画像処理装置。
2. カメラの視野よりも大きい部品を部分的に撮像して画像処理し、その画像処理結果に基づいて当該部品の位置を計測する部品画像処理方法において、
   撮像対象となる部品の範囲から分割して撮像すべき複数の特徴部分の撮像範囲を決定する撮像範囲決定処理を行った後、前記複数の特徴部分をそれぞれ前記カメラで撮像し、撮像した複数の特徴部分の画像を結合して部品の特徴部分の結合画像を作成した後、前記部品の特徴部分の結合画像に基づいて当該部品の位置を計測する処理を含み、
   前記撮像範囲決定処理では、撮像対象となる部品の寸法と前記カメラの視野とに基づいて当該部品の全領域を分割して撮像するのに必要な数の部分領域に分割し、分割した各部分領域に含まれる情報量が多い方から複数の部分領域を前記複数の特徴部分の撮像範囲として選択することを特徴とする部品画像処理方法。

Images