JP7213016B2 - 高解像度画像作成用カメラスタンド - Google Patents

Description

本明細書は、マルチフレーム超解像処理により高解像度画像を作成する高解像度画像作成用カメラスタンドに関する技術を開示したものである。

部品実装機で吸着ノズルに吸着した微小な部品をカメラで撮像して画像認識する際に、カメラで撮像した画像の解像度が低いために微小な部品の認識が困難な場合がある。そのような場合に、特許文献１（国際公開ＷＯ２０１５／０８３２２０号公報）に記載されているように、マルチフレーム超解像技術を利用して、カメラを移動させて部品を複数回撮像して取得した複数枚の低解像度画像から１枚の高解像度画像を作成して当該部品を認識するようにしたものがある。

国際公開ＷＯ２０１５／０８３２２０号公報

生産開始前に、部品実装機で部品をマルチフレーム超解像処理により正常に画像認識できることを確認する超解像処理テストを行う必要がある場合がある。この超解像処理テストは、生産開始前に部品実装機を使用して行うため、次の生産に使用する部品の超解像処理テストを行う場合に、先の生産が終了するまで超解像処理テストを行うことができない。しかも、先の生産が終了しても、超解像処理テストが終了するまで次の生産を開始できないため、超解像処理テストの所要時間がそのまま稼働率低下につながる。

そこで、生産中でも、次の生産に使用する部品の超解像処理テストを行えるようにするために、部品実装機のカメラユニットと同等のカメラユニットを設けたカメラスタンドを用意して、このカメラスタンドを使用して部品の超解像処理テストを行うことが考えられる。しかし、現存するカメラスタンドは、カメラが固定されていて、カメラを移動できないため、マルチフレーム超解像処理を行うことができない。

上記課題を解決するために、回路基板に実装するためのひとつの部品を載置する載置台であって、互いに交わる複数の直線状の基準位置部が、載置された前記部品を囲むように上面に設けられた載置台と、前記載置台に載置した部品をその上方から撮像するカメラと、撮像対象となる部品を照明する照明装置と、前記カメラで撮像した画像を処理する画像処理装置とを備えた高解像度画像作成用カメラスタンドにおいて、前記載置台又は前記カメラを移動可能に構成すると共に、前記載置台又は前記カメラの移動量を計測可能に構成し、前記画像処理装置は、前記カメラの視野内に前記載置台上の部品及び前記基準位置部の少なくとも一部が収まる範囲内で前記載置台又は前記カメラを移動させて複数回撮像することで、異なる位置で前記載置台上の部品及び前記基準位置部の少なくとも一部を撮像した複数枚の画像を取得すると共に、各画像内の前記基準位置部の前記少なくとも一部の位置に基づいて各画像を撮像した位置間の移動量を計測し、その計測値に基づいて前記複数枚の画像を位置合わせして統合して高解像度画像を作成するようにしたものである。

このように構成すれば、高解像度画像作成用カメラスタンドを使用して、部品実装基板の生産に用いる部品の高解像度画像を作成できるため、生産中でも、次の生産に使用する部品の超解像処理テストを能率良く行うことができると共に、生産中に、次の生産に使用する部品の超解像処理テストを行うことで、生産終了後に速やかに次の生産を開始することができ、部品実装機の稼働率を向上させることができる。

図１は実施例１の高解像度画像作成用カメラスタンドの構成を示す縦断正面図である。 図２は基準位置マークの第１例を示す載置台の平面図である。 図３は高解像度画像作成用カメラスタンドの電気的な構成を示すブロック図である。 図４は１回目の撮像で取得した第１画像を示す図である。 図５は２回目の撮像で取得した第２画像を示す図である。 図６はマルチフレーム超解像処理プログラムの処理の流れを示すフローチャートである。 図７は基準位置マークの第２例を示す載置台の平面図である。 図８は基準位置マークの第３例を示す載置台の平面図である。 図９は実施例２の載置台の平面図である。 図１０は実施例３の載置台の平面図である。

以下、幾つかの実施例を説明する。

図１乃至図８を用いて実施例１を説明する。
まず、図１及び図２を参照して高解像度画像作成用カメラスタンド１１の構成を説明する。

高解像度画像作成用カメラスタンド１１の本体フレーム１２の上部に、カメラ１３が下向きに取り付けられている。このカメラ１３は、部品実装機に搭載された部品撮像用カメラと同種のカメラであり、例えば、グレースケール画像（モノクロ画像）を撮像する撮像素子を用いて構成されているが、カラー画像を撮像する撮像素子を用いたカメラであっても良い。

このカメラ１３の下方には、レンズユニット１４が取り付けられ、このレンズユニット１４の下方に同軸落射照明装置１５が取り付けられ、この同軸落射照明装置１５の下方に側射照明装置１６が取り付けられている。図示はしないが、同軸落射照明装置１５は、その側方から中心側に向けて光を水平方向に放射するＬＥＤ等の発光源と、その発光源の光を下方の撮像対象物に向けて直角に反射するハーフミラー等を備えた構成となっている。

一方、側射照明装置１６は、例えば、上下３段の側射光源２１，２２，２３を椀状又は多角錐台状に配置した構成となっている。各段の側射光源２１，２２，２３は、例えば、多数のＬＥＤを実装した複数枚のＬＥＤ実装基板を八角形等の多角形の環状に組み付けて構成され、各段の側射光源２１，２２，２３の照明光がカメラ１３の光軸上に位置する撮像対象物に対して斜め上方から照射されるように、撮像対象物に対する各段の側射光源２１，２２，２３の側射照明の角度が設定されている。

この側射照明装置１６の各段の側射光源２１，２２，２３は、点灯／消灯を個別に切り換え可能に構成され、後述する画像処理装置４１（図３参照）によって、側射照明装置１６の各段の側射光源２１，２２，２３の点灯／消灯の組み合わせパターンである点灯パターンを、撮像対象となる部品の種類（サイズ、形状等）に応じて切り換えるようになっている。これにより、撮像対象となる部品と同じ品種の部品を実装する部品実装機に搭載された照明装置と同等の照明条件を再現できるように構成されている。

側射照明装置１６の下方には、撮像対象となるひとつの部品を載置する載置台２５が設置されている。この載置台２５は、これを水平方向に移動させる移動装置２６の移動テーブル２７に水平に支持されている。移動装置２６は、例えば、ボールねじ装置、リニアモータ、リニアソレノイド等のアクチュエータ２８を駆動源とし、そのアクチュエータ２８によって載置台２５を水平方向に移動させるように構成されている。この載置台２５の移動方向は、例えば、カメラ１３の視野内を撮像対象の部品が斜め方向に移動する方向である。この移動装置２６は、載置台２５の移動方向を調整可能に構成しても良い。

載置台２５のうちの少なくとも部品を載置する部分は、移動時の部品のずれ動きを防止するために滑り止め加工が施されている。滑り止め加工としては、例えば、シリコーン等の高摩擦係数の材料のコーティング、表面の摩擦係数を大きくする粗面加工や化学的表面処理のいずれかを用いれば良い。或は、載置台２５のうちの少なくとも部品を載置する部分をシリコーン樹脂やゴム等の高摩擦係数の材料で形成しても良い。

或は、載置台２５に、載置した部品を保持する保持具（図示せず）を設けた構成としても良い。この保持具は、例えば負圧吸引力や磁気吸引力等により載置台２５上の部品を保持するものであっても良いし、粘着テープの粘着力により載置台２５上の部品を保持するものであっても良い。

また、図２に示すように、載置台２５の上面のうち、載置する部品と重ならない所定位置に基準位置部として１個又は複数個の基準位置マーク２９が設けられている。基準位置マーク２９は、画像認識により特定可能な形状であれば、どの様な形状であっても良い。複数個の基準位置マーク２９の位置関係によって方向を特定できるようにしても良いし、基準位置マーク２９の形状が画像認識により方向を特定可能な形状であれば、基準位置マーク２９の個数は１個のみであっても良い。また、移動装置２６による載置台２５の移動方向が正確に一定方向のみに固定されている場合は、基準位置マーク２９の個数は１個のみであっても良い。

図２の例では、載置台２５の上面の１つのコーナー部付近に４個の基準位置マーク２９が配置されているが、基準位置マーク２９の位置は、カメラ１３の視野内に載置台２５上の部品と基準位置マーク２９の両方を収めて撮像できる位置で、且つ、載置台２５を移動させて撮像した複数枚の画像（図４、図５参照）に含まれる位置であれば、基準位置マーク２９の位置を適宜変更しても良い。

例えば、図７に示すように、載置台２５の上面の４つのコーナー部付近に基準位置マーク３０を１個ずつ配置しても良い。或は、図８に示すように、載置台２５の上面の４辺と平行に直線状の基準位置マーク３１を配置して４本の直線状の基準位置マーク３１が互いに交わるようにしても良い。いずれの場合でも、基準位置マーク２９～３１は、それぞれの位置関係によって方向を特定できる。

カメラ１３で撮像した画像は、画像処理装置４１（図３参照）に取り込まれてマルチフレーム超解像による画像処理が施される。画像処理装置４１は、コンピュータを主体として構成され、図３に示すように、キーボード、マウス、タッチパネル等で構成した入力装置４２と、カメラ１３で撮像した画像やマルチフレーム超解像処理により作成した高解像度画像等を表示する表示装置４３等が接続されている。画像処理装置４１は、マルチフレーム超解像処理を行う場合に、カメラ１３の視野内に載置台２５上の部品及び基準位置マーク２９が収まる範囲内で移動装置２６により載置台２５を移動させて複数回撮像することで、異なる位置で載置台２５上の部品及び基準位置マーク２９を撮像した複数枚の画像（図４、図５参照）を取得すると共に、各画像内の基準位置マーク２９の位置に基づいて各画像を撮像した位置間の移動量を計測し、その計測値に基づいて前記複数枚の画像を位置合わせして統合して高解像度画像を作成する。

尚、カメラ１３で撮像する部品の種類によって、載置台２５上の部品を照明する照明モードが切り替えられる。例えば、同軸落射照明装置１５と側射照明装置１６の両方で部品を照明する全点灯照明モードと、同軸落射照明装置１５のみで部品を同軸落射照明する同軸落射照明モードと、側射照明装置１６のみで部品を側射照明する側射照明モードがある。基準位置マーク２９は同軸落射照明装置１５で同軸落射照明する必要があるため、側射照明装置１６のみで部品を側射照明して撮像する場合は、撮像する位置毎に載置台２５の移動を停止して、その位置で側射照明装置１６で側射照明した部品の撮像と、同軸落射照明装置１５で同軸落射照明した基準位置マーク２９の撮像とを別々に行う。この場合は、同軸落射照明装置１５で同軸落射照明して撮像した各画像内の基準位置マーク２９の位置に基づいて各画像を撮像した位置間の移動量を計測し、その計測値に基づいて、側射照明装置１６で側射照明して撮像した複数枚の画像を位置合わせして統合して高解像度画像を作成する。

以上説明した本実施例１のマルチフレーム超解像処理は、画像処理装置４１によって図６のマルチフレーム超解像処理プログラムに従って次のように実行される。尚、図６のマルチフレーム超解像処理プログラムは、載置台２５上の部品と基準位置マーク２９を同軸落射照明装置１５で同軸落射照明し、又は、同軸落射照明装置１５と側射照明装置１６の両方で照明して撮像した２枚の低解像度画像（第１画像と第２画像）から１枚の高解像度画像を作成する例であり、３枚以上の低解像度画像から１枚の高解像度画像を作成するようにしても良いことは言うまでもない。

図６のマルチフレーム超解像処理プログラムは、作業者が載置台２５上に部品を載置して入力装置４２により画像処理開始操作を行うと実行される。本プログラムが起動されると、まず、ステップ１０１で、カメラ１３の視野内に載置台２５上の部品及び基準位置マーク２９を収めて撮像して第１画像を取得する（１回目の撮像）。この後、ステップ１０２に進み、カメラ１３の視野内に載置台２５上の部品及び基準位置マーク２９が収まる範囲内で移動装置２６により載置台２５を移動させた後、ステップ１０３に進み、カメラ１３で載置台２５上の部品及び基準位置マーク２９を撮像して第２画像を取得する（２回目の撮像）。

そして、次のステップ１０４で、第１画像と第２画像をそれぞれ画像処理して、各画像内の基準位置マーク２９の位置（Ｘ1 ，Ｙ1 ）、（Ｘ2 ，Ｙ2 ）を計測する。尚、図４、図５の例では、各画像の右上の角を原点（０，０）として各画像内の基準位置マーク２９の位置（Ｘ1 ，Ｙ1 ）、（Ｘ2 ，Ｙ2 ）を計測するようにしているが、各画像の他の角（例えば左下の角）や各画像の中心点を原点（０，０）として各画像内の基準位置マーク２９の位置（Ｘ1 ，Ｙ1 ）、（Ｘ2 ，Ｙ2 ）を計測するようにしても良い。

この後、ステップ１０５に進み、両画像を撮像した位置間の移動量ΔＸ、ΔＹを算出する。
ΔＸ＝｜Ｘ1 －Ｘ2 ｜
ΔＹ＝｜Ｙ1 －Ｙ2 ｜

この後、ステップ１０６に進み、両画像を撮像した位置間の移動量ΔＸ、ΔＹに基づいて、各画像内の基準位置マーク２９の位置が一致するように両画像を位置合わせして統合して１枚の高解像度画像を作成して、本プログラムを終了する。

以上説明した本実施例１の高解像度画像作成用カメラスタンド１１を使用して、部品実装基板の生産開始前にその生産に使用する部品と同じ品種の部品を載置台２５に載置してカメラ１３で複数回撮像して高解像度画像を作成して当該部品を正常に画像認識できることを確認する超解像処理テストを行うようにすれば良い。

本実施例１によれば、高解像度画像作成用カメラスタンド１１を使用して、部品実装基板の生産に用いる部品の高解像度画像を作成できるため、生産中でも、次の生産に使用する部品の超解像処理テストを能率良く行うことができると共に、生産中に、次の生産に使用する部品の超解像処理テストを行うことで、生産終了後に速やかに次の生産を開始することができ、部品実装機の稼働率を向上させることができる。

次に、図９を用いて実施例２を説明する。但し、上記実施例１と実質的に同じ部分については、同一符号を付して説明を省略又は簡単化し、主として異なる部分について説明する。

上記実施例１では、載置台２５の上面に設けた基準位置部である基準位置マーク２９は、同軸落射照明装置１５で同軸落射照明して撮像する必要があるため、載置台２５上の部品を側射照明装置１６のみで側射照明して撮像する場合は、撮像する位置毎に載置台２５の移動を停止して、その位置で側射照明装置１６で側射照明した部品の撮像と、同軸落射照明装置１５で同軸落射照明した基準位置マーク２９の撮像とを別々に行う必要があり、マルチフレーム超解像処理に必要な撮像回数が２倍に増える。

そこで、本実施例２では、載置台２５の上面に基準位置部としてＬＥＤ等の基準位置表示用の発光素子３２を設けている。基準位置表示用の発光素子３２を設ける位置や個数は、上記実施例１の基準位置マーク２９の場合と同じで良い。

載置台２５上の部品は、バンプの配列が形成されたバンプ部品等、側射照明装置１６のみで側射照明して撮像する部品である。バンプ部品の場合は、載置台２５上にバンプを上向きにして載置する。バンプ部品を側射照明装置１６のみで側射照明して撮像する際に、基準位置表示用の発光素子３２を発光させて、カメラ１３の視野内に載置台２５上のバンプ部品と基準位置表示用の発光素子３２の両方を収めて撮像する。側射照明のみであっても、基準位置表示用の発光素子３２を発光させて、カメラ１３の視野内に載置台２５上のバンプ部品と基準位置表示用の発光素子３２の両方を収めて撮像すれば、１回の撮像で載置台２５上のバンプ部品と基準位置表示用の発光素子３２の両方を画像認識できる。このため、載置台２５上の部品が側射照明のみで撮像するバンプ部品等の部品である場合でも、基準位置表示用の発光素子３２を発光させることで、基準位置表示用の発光素子３２を同軸落射照明して撮像する必要がなく、マルチフレーム超解像処理に必要な撮像回数が増えずに済む。

次に、図１０を用いて実施例３を説明する。但し、上記実施例１，２と実質的に同じ部分については、同一符号を付して説明を省略又は簡単化し、主として異なる部分について説明する。

上記実施例１，２では、載置台２５の上面に基準位置部（基準位置マーク２９又は基準位置表示用の発光素子３２）を設けて、載置台２５を移動させて載置台２５上の部品と基準位置部とを撮像した複数枚の画像を取得することで、各画像内の基準位置部の位置に基づいて各画像を撮像した位置間の移動量を計測するようにしている。

これに対し、図１０に示す実施例３では、載置台２５の上面に基準位置部を設けず、載置台２５の移動量を計測するセンサ部として、Ｘ方向の移動量（載置台２５の位置のＸ座標）を計測するＸ方向リニアスケール４４と、Ｙ方向の移動量（載置台２５の位置のＹ座標）を計測するＹ方向リニアスケール４５とが設けられている。この場合、各リニアスケール４４，４５は、高解像度画像作成用カメラスタンド１１の本体フレーム側に固定され、載置台２５が移動しても、各リニアスケール４４，４５は移動しないように構成されている。載置台２５には、各リニアスケール４４，４５から位置情報（Ｘ座標，Ｙ座標）を読み取る各検出ヘッド４６，４７が設けられ、各検出ヘッド４６，４７によって載置台２５の位置（Ｘ座標，Ｙ座標）を読み取ることで、載置台２５の移動量を計測する。

マルチフレーム超解像処理を行う場合には、カメラ１３の視野内に載置台２５上の部品が収まる範囲内で載置台２５を移動させて複数回撮像することで、異なる位置で載置台２５上の部品を撮像した複数枚の画像を取得すると共に、各画像を撮像した位置間の移動量を各リニアスケール４４，４５の検出ヘッド４６，４７により計測し、その計測値に基づいて複数枚の画像を位置合わせして統合して１枚の高解像度画像を作成する。

尚、載置台２５の移動量を計測するセンサ部は、リニアスケール４４，４５に限定されず、例えば、移動装置２６の駆動源となるアクチュエータ２８の動作量を検出するエンコーダを設け、このエンコーダで検出したアクチュエータ２８の動作量に基づいて載置台２５の移動量を計測するようにしても良い。
以上のように構成した実施例３でも、前述した実施例１と同様の効果を得ることができる。

［その他の実施例］
上記実施例１～３では、カメラ１３の位置を固定して移動装置２６により載置台２５を移動させることで、異なる位置で載置台２５上の部品を撮像した複数枚の画像を取得するようにしたが、載置台２５の位置を固定し、カメラを移動装置により水平方向に移動させることで、異なる位置で載置台２５上の部品を撮像した複数枚の画像を取得するようにしても良い。

或は、載置台２５又はカメラ１３を作業者が手動で移動させるように構成し、作業者が手動で載置台２５又はカメラ１３を移動させることで、異なる位置で載置台２５上の部品を撮像した複数枚の画像を取得するようにしても良い。

その他、本発明は、上記各実施例に限定されず、例えば、移動装置２６の構成を変更したり、載置台２５上の部品を照明する照明装置の構成を変更しても良い等、要旨を逸脱しない範囲内で種々変更して実施できることは言うまでもない。

１１…高解像度画像作成用カメラスタンド、１３…カメラ、１４…レンズユニット、１５…同軸落射照明装置、１６…側射照明装置、２１，２２，２３…上下３段の側射光源、２５…載置台、２６…移動装置、２８…アクチュエータ、２９，３０，３１…基準位置マーク（基準位置部）、３２…基準位置表示用の発光素子（基準位置部）、４１…画像処理装置、４３…表示装置、４４…Ｘ方向リニアスケール（センサ部）、４５…Ｙ方向リニアスケール（センサ部）、４６，４７…検出ヘッド（センサ部）

Claims (7)

1. 回路基板に実装するためのひとつの部品を載置する載置台であって、互いに交わる複数の直線状の基準位置部が、載置された前記部品を囲むように上面に設けられた載置台と、 前記載置台に載置した部品をその上方から撮像するカメラと、
   撮像対象となる部品を照明する照明装置と、
   前記カメラで撮像した画像を処理する画像処理装置と
   を備えた高解像度画像作成用カメラスタンドにおいて、
   前記載置台又は前記カメラを移動可能に構成すると共に、前記載置台又は前記カメラの移動量を計測可能に構成し、
   前記画像処理装置は、前記カメラの視野内に前記載置台上の部品及び前記基準位置部の少なくとも一部が収まる範囲内で前記載置台又は前記カメラを移動させて複数回撮像することで、異なる位置で前記載置台上の部品及び前記基準位置部の前記少なくとも一部を撮像した複数枚の画像を取得すると共に、各画像内の前記基準位置部の前記少なくとも一部の位置に基づいて各画像を撮像した位置間の移動量を計測し、その計測値に基づいて前記複数枚の画像を位置合わせして統合して高解像度画像を作成する、高解像度画像作成用カメラスタンド。
2. 前記載置台又は前記カメラを移動させる移動装置を備え、
   前記移動装置には、駆動源となるアクチュエータが設けられている、請求項１に記載の高解像度画像作成用カメラスタンド。
3. 前記載置台又は前記カメラを作業者が手動で移動させるように構成されている、請求項１に記載の高解像度画像作成用カメラスタンド。
4. 前記照明装置は、撮像時に前記載置台上の部品を斜め上方から側射照明する側射照明装置を含む、請求項１乃至３のいずれかに記載の高解像度画像作成用カメラスタンド。
5. 前記載置台が移動可能に構成され、
   前記載置台のうちの少なくとも部品を載置する部分は、滑り止め加工が施され又は高摩擦係数の材料で形成されている、請求項１乃至４のいずれかに記載の高解像度画像作成用カメラスタンド。
6. 前記載置台が移動可能に構成され、
   前記載置台には、載置した部品を保持する保持具が設けられている、請求項１乃至４のいずれかに記載の高解像度画像作成用カメラスタンド。
7. 前記照明装置は、撮像対象となる部品と同じ品種の部品を実装する部品実装機に搭載された照明装置と同等の照明条件を再現できるように構成されている、請求項１乃至６のいずれかに記載の高解像度画像作成用カメラスタンド。

Images