JP3797929B2

JP3797929B2 - 画像処理方法及びそれを用いた部品搭載装置

Info

Publication number: JP3797929B2
Application number: JP2001400054A
Authority: JP
Inventors: 幸三熊谷
Original assignee: Yamagata Casio Co Ltd
Current assignee: Yamagata Casio Co Ltd
Priority date: 2001-12-28
Filing date: 2001-12-28
Publication date: 2006-07-19
Anticipated expiration: 2021-12-28
Also published as: JP2003198200A

Description

【０００１】
【発明の属する技術分野】
本発明は、移動中の部品をシャッタ付きカメラで撮像してその撮像画像の形状を正しく認識する画像処理方法及びそれを用いた部品搭載装置に関する。
【０００２】
【従来の技術】
従来より、自装置内に自動搬入される回路基板（以下、単に基板という）上に例えばＩＣ、抵抗、コンデンサ等の多数の電子部品（以下、単に部品という）を自動的に搭載する部品搭載装置がある。
【０００３】
図５(a) は、そのような部品搭載装置の外観を示す斜視図であり、同図(b) はその上下の保護カバーを取り除いて内部の構成を模式的に示す斜視図である。同図(a),(b) に示す部品搭載装置（以下、本体装置ともいう）１は、天井カバー上部にＣＲＴディスプレイからなるモニタ装置２と、稼動状態を報知する警報ランプ３を備えている。また、上部保護カバー４の前面には、液晶ディスプレイとタッチパネルからなり外部からの操作により各種の指示を入力することができる小型の表示入力パネル５が配設されている。
【０００４】
下部の基台６の上には、中央に、固定と可動の１対の平行する基板案内レール７及び７が回路基板（以下、単に基板という）の搬送方向（Ｘ軸方向、図の斜め右下から斜め左上方向）に水平に延在して配設される。これらの基板案内レール７の下部に接して、ループ状の搬送ベルト（コンベアベルト）が走行可能に配設される。搬送ベルトは、それぞれ数ミリ幅のベルト脇部を基板案内レール７の下から基板搬送路に覗かせて、ベルト駆動モータにより駆動され、基板搬送方向に走行し、基板の裏面両側を下から支持しながら装置本体内に部品搭載前の基板をライン上流側から搬入し、部品搭載済みの基板をライン下流側に搬出する。
【０００５】
そして、基台６の内部には、特には図示しないが、基板の位置決め装置、基板を２本の基板案内レール７間に固定する基板固定機構、各部を制御するための制御装置等が備えられている。
また、更に基台６の上には、上記１対の基板案内レール７を跨いで、基板搬送方向に直角の方向（前後方向）に平行に延在する左右一対の固定レール（Ｙ軸レール）８及び８が配設されている。これらＹ軸レール８に移動レール（Ｘ軸レール）９がＹ軸レール８に沿って滑動自在に係合し、このＸ軸レール９に、電子部品（以下、単に部品という）を基板に搭載する作業を行う作業ヘッド１０がＸ軸レール９に沿って滑動自在に懸架されている。
【０００６】
同図(a),(b) では定かに示していないが、上記のＸ軸レール９には、その長手方向（Ｘ軸方向）に沿って作業ヘッド１０を自在に移動させる不図示のＸ軸モータが配設され、基台６上には、Ｘ軸レール９をＹ軸レール８に沿って前後（Ｙ軸方向）に進退させるこれも不図示のＹ軸モータが配設されている。これらのＸ軸モータ及びＹ軸モータが制御回路からの指示により正逆両方向に自在に回転することにより、作業ヘッド９がＸ軸方向及びＹ軸方向に自在に移動する。
【０００７】
この基台６上の前部と後部には夫々部品供給ステージ１１及び１１が配設されている。これら部品供給ステージ１１には、特には図示しないが、部品を収納したテープを巻着したリールを備えたカートリッジ方式の多数の部品供給装置が複数種類の部品に対応して載設され、あるいは複数種類の部品に対応する複数枚のパレットを備えたトレイ方式の部品供給装置等が係合する。
【０００８】
この作業塔１０は、屈曲自在で内部が空洞な帯状のチェーン体１２（１２−１、１２−２）に保護・収容された複数本の不図示の信号コードを介して装置本体１の基台６内部の電装部マザーボード上に配設されている中央制御部と連結されている。作業塔１０は、これらの信号コードを介して中央制御部からは電力及び制御信号を供給され、中央制御部へは基板上の部品搭載位置の情報を示す画像データを送信する。
【０００９】
図６は、上記作業ヘッド１０の斜視図である。同図に示すように、作業ヘッド１０は、上述したように可撓性の帯状コード１２−１（及び図５(b) に示した帯状コード１２−２）によって装置本体の中央制御部と連結されており、先端には２個の搭載ヘッド１３及び１３と、基板認識用カメラ１４を備えている。２個の搭載ヘッド１３は、それぞれＺ軸方向（上下方向）に昇降可能であり、その先端にそれぞれ照明装置１５と更にその先端に吸着ノズル１６を装着している。吸着ノズル１６は、光拡散板１６−１とノズル１６−２とからなりθ軸方向（３６０°方向）に回転可能である。
【００１０】
上記の作業ヘッド１０は、上述した二本のＹ軸レール８と１本のＸ軸レール９により前後左右に自在に移動し、図５(b) に示した部品供給ステージ１１上の不図示の部品供給装置から吸着ノズル１６で部品を吸着して基台６側に配置されている図５(b) に示すの部品認識用カメラ１７上に移動する。
【００１１】
そして、照明装置１５で光拡散板１６−１を上から照明して均一な明るさの背景光を光拡散板１６−１から拡散させ、この背景光の中に浮き出る部品を部品認識用カメラ１７で撮像する。通常、上記の部品認識用カメラ１７にはＣＣＤカメラが用いられる。このＣＣＤカメラから撮像して出力されるアナログ画像データをＡ／Ｄ変換器でデジタル画像データに変換してから画像認識を行い、部品の保持位置偏差を検出し、この検出した保持位置偏差に基づいて搭載位置データを補正する。
【００１２】
更に、作業ヘッド１０は、基板認識用カメラ１４で図５(a),(b) に示す基板案内レール７によって位置決めされている不図示の基板の位置を確認して、その基板上の所定の位置に上記の部品を搭載する。
【００１３】
【発明が解決しようとする課題】
ところで、生産効率向上のため、部品はカメラ上を移動中に撮像される。このとき、撮像される部品の画像は、カメラのシャッタ速度と部品の移動速度との関係から、必ず部品の移動方向にブレを生じる。このブレは、当然のことではあるが、その後この画像を用いて行われる画像認識による部品の姿勢検出に悪影響を与えるから出来るだけ少ない方がよい。
【００１４】
このため通常は、シャッタ開時間を小さくする又は部品の移動速度を小さくするのいずれかで、プレ量が画像認識に影響を与えない値まで小さくするようにしている。
しかし、カメラのシャッタ開時間Ｔを小さくして明瞭な撮影画像を得るためには、強力な照明と高感度のカメラが必要になる。これは付属装置類のコストの上昇をもたらし、ひいいては本体製品の価格の上昇要因となって好ましくない。
【００１５】
また、部品の移動速度を小さくすることは、全体の処理速度を低下させることになり、生産効率の低下をもたらす。したがって、通常は両者のバランスをとって部品移動速度とシャッタ開時間を決めることになる。いずれにしても、部品の移動速度には一定の制約を受ける。これにより、部品搭載装置の生産能力の向上が阻害されるという問題があった。
【００１６】
本発明の課題は、上記従来の実情に鑑み、部品姿勢の認識精度を維持しながら部品の移動速度の制約を緩和して生産能力をより向上させることのできる画像処理方法及びそれを用いた部品搭載装置を提供することである。
【００１７】
【課題を解決するための手段】
先ず、請求項１記載の発明の画像処理方法は、一定速度で移動する被写体の移動速度と移動位置を検出する移動検出工程と、上記一定速度で移動する上記被写体を所定のシャッタ開速度で撮像してブレ画像を取得する撮像工程と、この撮像で得られた上記被写体のブレ画像をデジタルデータに変換するデータ変換工程と、このデジタルデータ化されたブレ画像データを上記シャッタ開時間に関わる積分関数として該積分関数を微分演算する微分演算工程と、該微分演算によって得られた関数値を上記被写体の近似的な静止画像データとして画像処理する処理工程と、を含んで構成される。
【００１８】
次に、請求項２記載の発明の部品搭載装置は、電子部品を保持して移動するＸＹＺθロボットの移動速度と移動位置を制御する移動制御手段と、該移動制御手段による制御により上記ＸＹＺθロボットに保持されて一定速度で移動する上記電子部品を所定のシャッタ開速度で撮像してブレ画像を取得する撮像手段と、この撮像で得られた上記部品のブレ画像をデジタルデータに変換するデータ変換手段と、このデジタルデータ化されたブレ画像データを上記シャッタ開時間に関わる積分関数として該積分関数を微分演算する微分演算手段と、該微分演算手段によって得られた関数値を上記部品の近似的な静止画像データとして該静止画像データに基づいて上記部品の被保持位置の補正を行う画像処理手段と、を備えて構成される。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら説明する。
図１は、一実施の形態における部品搭載装置の機構主用部の構成を模式的に示す図である。同図に示す部品搭載装置２０において、外観及び内部の機構部分の構成は、図５(a) に示した部品搭載装置１の外観、及び図５(b) ならびに図６に示した内部機構部分の構成とほぼ同様である。
【００２０】
図１に示すＸＹＺθロボット２１は、作業ヘッド２２と、この作業ヘッド２２を、図の矢印Ｘ及びＹで示すように水平Ｘ軸方向及び水平Ｙ軸方向に移動自在に支持する支持部２３と、作業ヘッド２２に設けられ、矢印Ｚで示すように上下のＺ軸方向に昇降自在な搭載ヘッド２４と、この搭載ヘッド２４先端に装着され、矢印θで示すように水平３６０度方向に回転自在な吸着ノズル２５とで構成される。
【００２１】
上記の作業ヘッド２２のＸ軸方向とＹ軸方向の移動、搭載ヘッド２４のＺ軸方向の移動、吸着ノズル２５の３６０度方向の回転は、それぞれ専用の不図示のアクチュエータによって行われる。
また、上記作業ヘッド２２が不図示の部品供給装置から部品２６を吸着ノズル２５で吸着して、この吸着した部品２６を不図示の基板上に移載すべく移動する経路上には、上記部品２６を下方から撮像するＣＣＤカメラ２７が部品搭載装置本体側に配設されている。ＣＣＤカメラ２７は、レンズ２８とＣＣＤが配置されている撮像部２９とから成る。
【００２２】
図２は、上記の構成において不図示の中央制御装置によって制御される部品２６に対する画像認識処理を説明するフローチャートである。同図において、先ず部品を撮像する（図２の処理Ｓ１）。
この処理は、作業ヘッド２２が吸着ノズル２５によって部品供給装置から部品２６を吸着し、ＣＣＤカメラ２７の上方を、一旦停止することなく一定の速度で通過しながら、ＣＣＤカメラ２７によって部品２６の底面の画像を取得する処理である。
【００２３】
このとき、吸着ノズル２５先端の部品２６は、ＸＹＺθロボット２１により移動自在の保持されていることにより、その移動速度と移動位置のデータはＸＹＺθロボット２１を制御する中央制御部によって認識されている。このときの撮像画像は、上記のように部品が一定の速度で移動していることにより、撮像画像にはブレが生じている。
【００２４】
図３(a),(b),(c),(ｄ) は、そのように撮像ブレした画像のＣＣＤ画像データとして得られるデータの状態を説明する図である。図３(a) に示すように、吸着ノズル２５に吸着保持された部品２６は、矢印Ｖで示すように左から右方向に一定速度Ｖで移動している。この部品２６を、照明装置３１で下方から照明しながらカメラ２７によりシャッタ開時間Ｔで部品２６の底面画像を撮像する。
【００２５】
尚、従来説明の図６では、光拡散板１６−１による拡散光を背景として部品を撮像すると説明したが、その場合は背景は明るく写るため例えば白データとして得られ、部品の映像は暗く写るため例えば黒データとして得られる。本例の場合は、下方からの照明であるので部品の映像は反射光による白データとなり、反射光の無い背景は黒データとなる。もちろんＣＣＤ素子の出力を反転させれば、上記の白黒が反転した画像が得られる。
【００２６】
上記のように速度Ｖで移動する部品２６を、シャッタ開時間Ｔで撮像すると、その撮像画像には、ブレ量「Ｓ＝ＶＴ」で表されるブレが発生する。本例では、このプレ量Ｓを補正して適正な画像を得ることが出来るように、ブレた画像データの微分値を検出する（図２の処理Ｓ２）。
【００２７】
この処理について、以下、説明する。
図３(b) は、同図(a) に示す速度Ｖで移動す部品２６をシャッタ開時間Ｔで撮像するに際し、カメラのシャッタが開いた直後にカメラに結像された画像を示している。また、同図(c) は、カメラのシャッタが閉じた直前にカメラに結像された画像を示している。
【００２８】
すなわち、カメラ２７のＣＣＤ素子面に結像する画像は、部品２６の移動に伴って、ブレ量Ｓ（Ｓ＝ＶＴ）だけ同図(b) から同図(c) に示すように移動する。このとき、この移動方向に並んで配設されているＣＣＤ素子のうち、破線３２で示す位置にあるＣＣＤ素子３２を例にとれば、このＣＣＤ素子３２は同図(b) の点ａに在って最初の撮像光を受光し、同図(c) のように移動する撮像光に対しては、このＣＣＤ素子３２は相対的に同図(c) の点ａ´から点ｂ´に移動していることになる。
【００２９】
したがって、この間に、ＣＣＤ素子３２が受光する同図(d) に領域ｃで示す撮像光量は、同図(c) に領域ｂで示す撮像光量が蓄積されたものとなる。この結果、このＣＣＤ素子３２からは、シャッタ開時間Ｔの期間にあたった光（領域ｂ）の積分量に比例した値（領域ｃ）が出力される。そして、結果として同図(d) に示す画像が得られる。
【００３０】
ここで図３(b) の光の波形を関数ｆ（ｘ）で表すとすると、同図(c) の画像は関数ｆ（ｘ−Ｓ）で表すことができる。そして最終的にカメラ２７から出力される同図(d) に示す画像データを関数ｇ（ｘ）とすると、「ｘ−Ｓ」から「ｘ」までは時間Ｔで変動する量であるので、部品２６が速度Ｖで移動するときの位置ｘにあるＣＣＤ素子に当たる光の量を示す関数ｈ（ｘ）は
【００３１】
【数１】

【００３２】
である。
ここで、シャッタ開時間Ｔを一定とし、移動速度∨→０の極限をとると、
【００３３】
【数２】

【００３４】
となり、移動速度Ｖ→０のときは、ブレ量Ｓ→０となるので、この式は
【００３５】
【数３】

【００３６】
となる。この値がブレのない画像出力となる。
ところで、ＣＣＤ素子面に結像する光量は、カメラ２７の出力となるときは電圧に変換される。この変換定数をＧとすると、
ｇ（ｘ）＝Ｇ（Ｔ／Ｓ）｛∫ｆ（ｘ）ｄｘ−∫ｆ（ｘ−Ｓ）ｄｘ｝．．．式１
となる。この式１の両辺を微分すると、
ｇ’（ｘ）＝Ｇ（Ｔ／Ｓ）｛ｆ（ｘ）−ｆ（ｘ−Ｓ）｝．．．．．．．式２
となる。上記の関数ｇ（ｘ）は、得られた画像の画像データであるので、その微分を取ることによって関数ｆ（ｘ）を導き出すことができる。
【００３７】
尚、関数ｆ（ｘ）は、最小二乗法等を用いて解くことも可能であるが、それでは処理時間がかかるので、条件をつけて簡単に、導き出すようにするとよい。次にそのその方法を示す
図４(a),(b),(c) は、条件をつけて関数ｆ（ｘ）を簡単に導き出す方法を説明する図である。
【００３８】
先ず、あらかじめ、速度０で撮像した画像に、ある程度の長さ一定の値になる部分ができるようにしておく。具体的には、光を反射するものをおかず、一様に暗くなる部分があるように準備する。
通常、吸着ノズル２５に保持されている部品２６近辺外には、部品以外にカメラ２７に写り込む物が無く、その部分の映像は真っ黒になるため、一様に暗くなる部分があるように準備は容易に実現できる。
【００３９】
図４(a) は速度０で撮像した部品の画像で、領域Ａの部分は真っ暗で、なにも写っていない。この部品を今度は移動速度∨で移動しながら撮像すると、図４(b) の画像が得られる。この場合も領域Ｃの部分は上記同様に真っ暗であり何も写らない。
【００４０】
上記の領域Ｃが速度∨の移動によって起こるプレ量Ｓよりも十分大きく、着目点「ｘ₀」と「ｘ₀ −Ｓ」が、その領域Ｃ内にあるとき、
ｆ（ｘ₀ ）＝ｆ（ｘ₀ −Ｓ）
であると考えられる。したがって、図４(b) を微分した図４(c) から、領域Ｃ内のｆ（ｘ₀ ）、ｆ（ｘ₀ −Ｓ）は求められる。すなわち
ｆ（ｘ₀ ）＝ｆ（ｘ₀ −Ｓ）＝（１／２）（Ｓ／ＧＴ）ｇ（ｘ₀ ）
となる。これにより、初期値ｆ（ｘ₀ ）の値が求められる。
【００４１】
前述の式２に、Ｘ＝ｘ0 ＋Ｓを代入すると、
ｇ’（ｘ₀ ＋Ｓ）＝Ｇ（Ｔ／Ｓ）｛ｆ（ｘ₀＋Ｓ）−ｆ（ｘ₀）｝
となる。
ｇ’（ｘ₀ ＋Ｓ）とｆ（ｘ₀ ）の値は既知であるから、ｆ（ｘ₀ ＋Ｓ）の値が求められる。順次これを繰り返すことにより、
ｘ＝ｘ₀ ＋Ｓ、ｘ₀ ＋２Ｓ、ｘ₀ ＋３Ｓ、・・・、ｘ₀ ＋ｎＳ、（ｎ＝１，２．３‥‥）の値が判明する。
【００４２】
次に、「ｘ₀ 」と「ｘ₀ −Ｓ」の間で、領域Ｃ内に存在する「ｘ₁ 」に関しても、同様に繰り返すことにより、ｆ（ｘ）を復元することができる（図２の処理Ｓ３）。
これらの処理は、部品の移動方向が、ＣＣＤカメラ２７のＣＣＤ素子の配列が２次元配列のどちらかに一致した場合、１次元の処理として実行でき、もっとも処理が簡単になる。
【００４３】
上記の補正方法により、プレが修正されて近似的な静止画像に修正された画像を用いて、通常の画像処理を行い、部品の姿勢や位置を検出する（図２の処理Ｓ４）。
そして、この検出した部品の姿勢や位置に基づいて、基板への搭載座標に補正を加え、この補正データに基づいてＸＹＺθロボットのアクチュエータを制御する（図２の処理Ｓ５）。
【００４４】
その後、次の撮像すべき部品が有るか否かを判別して（図２の処理Ｓ６）、有れば（Ｓ６がＹｅｓ）、Ｓ１に戻ってＳ１〜Ｓ６の処理を繰り返す。他方、次の撮像すべき部品が無いときは（Ｓ６がＮｏ）、処理を終了する。
このように照明やカメラの性能を高度に変更することなく、それら照明やカメラの性能を超えた速度で部品を移動させながら撮影して、ほぼ静止画像に近似する画像に変かなすることが可能となり、これにより、低廉な装置のままで高精度を維持し、生産能力を向上させることができる画像処理方法及びそれを用いた部品搭載装置を提供することが可能となる。
【００４５】
【発明の効果】
以上詳細に説明したように、本発明によれば、部品の移動による画像のプレを補正して部品を停止させて撮像したのと同様の画像に変換することにより照明やカメラの性能を超えた速度での部品の移動中撮影が可能となり、これにより、低廉な装置のままで高精度を維持し、生産能力を向上させることができる画像処理方法及びそれを用いた部品搭載装置を提供することが可能となる。
【図面の簡単な説明】
【図１】一実施の形態における部品搭載装置の機構主用部の構成を模式的に示す図である。
【図２】一実施の形態における部品搭載装置の中央制御装置によって制御される部品に対する画像認識処理を説明するフローチャートである。
【図３】 (a),(b),(c),(d) は移動中の部品を撮像してＣＣＤ画像データとして得られるデータの状態を説明する図である。
【図４】 (a),(b),(c) は、条件をつけてｆ（ｘ）を簡単に導き出す方法を説明する図である。
【図５】 (a) は従来の部品搭載装置の外観を示す斜視図、(b) はその上下の保護カバーを取り除いて内部の構成を模式的に示す斜視図である。
【図６】従来の部品搭載装置の作業ヘッドの斜視図である。
【符号の説明】
１部品搭載装置
２モニタ装置
３警報ランプ
４上部保護カバー
５表示入力パネル
６基台
７基板案内レール
８Ｙ軸レール
９Ｘ軸レール
１０作業ヘッド
１１部品供給ステージ
１２−１、１２−２帯状コード
１３搭載ヘッド
１４基板認識用カメラ
１５照明装置
１６吸着ノズル
１６−１光拡散板
１６−２ノズル
１７部品認識用カメラ
２１ＸＹＺθロボット
２２作業ヘッド
２３支持部
２４搭載ヘッド
２５吸着ノズル
２６部品
２７ＣＣＤカメラ
２８レンズ
２９撮像部
３１照明装置

Claims

一定速度で移動する被写体の移動速度と移動位置を検出する移動検出工程と、
前記一定速度で移動する前記被写体を所定のシャッタ開速度で撮像してブレ画像を取得する撮像工程と、
この撮像で得られた前記被写体のブレ画像をデジタルデータに変換するデータ変換工程と、
このデジタルデータ化されたブレ画像データを前記シャッタ開時間に関わる積分関数として該積分関数を微分演算する微分演算工程と、
該微分演算によって得られた関数値を前記被写体の近似的な静止画像データとして画像処理する処理工程と、
を含むことを特徴とする画像処理方法。
電子部品を保持して移動するＸＹＺθロボットの移動速度と移動位置を制御する移動制御手段と、
該移動制御手段による制御により前記ＸＹＺθロボットに保持されて一定速度で移動する前記電子部品を所定のシャッタ開速度で撮像してブレ画像を取得する撮像手段と、
この撮像で得られた前記部品のブレ画像をデジタルデータに変換するデータ変換手段と、
このデジタルデータ化されたブレ画像データを前記シャッタ開時間に関わる積分関数として該積分関数を微分演算する微分演算手段と、
該微分演算手段によって得られた関数値を前記部品の近似的な静止画像データとして該静止画像データに基づいて前記部品の被保持位置の補正を行う画像処理手段と、
を備えたことを特徴とする部品搭載装置。