JP5875676B2 - 撮像装置及び画像処理装置 - Google Patents

Description

本発明は、複数の撮像対象を１つのレンズ系を通して１つのイメージサークル内に収めて撮像する撮像装置及び画像処理装置に関する発明である。

例えば、部品実装機においては、特許文献１（特開２００２−９４２９６号公報）に記載されているように、吸着ノズルに部品を吸着して回路基板に実装する際に、吸着ノズルに吸着した部品をその下方からカメラで撮像して、その画像信号を処理して部品の吸着位置を認識し、吸着ノズルに対する部品の吸着位置のずれ（部品の中心と吸着ノズルの中心とのずれ）を考慮して該部品を回路基板に実装するようにしている。この際、吸着ノズルに吸着した部品をその下方から撮像した画像には、吸着ノズルの中心が部品に隠れて見えないため、部品撮像時に吸着ノズルの中心をカメラの中心に正確に位置合わせして停止させる必要があるが、部品撮像毎に吸着ノズルの中心をカメラの中心に正確に位置合わせして停止させると、その分、部品の吸着から実装までに要する時間が長くなり、生産性が低下する。

そこで、特許文献１では、吸着ノズルに対して予め決められた位置に基準ピンを下向きに設けて、該基準ピンの下端を基準マークとすると共に、該基準マークの高さ位置を吸着ノズルの下端とほぼ同じ高さに設定し、部品撮像時に吸着ノズルに吸着した部品と基準マークの両方をカメラの視野内に収めて撮像し、カメラの画像信号を処理して基準マークを基準にして部品の位置を認識することで、吸着ノズルに対する部品の吸着位置のずれ（部品の中心と吸着ノズルの中心とのずれ）を計測できるようにしている。このようにすれば、部品撮像時に吸着ノズルの中心をカメラの中心に正確に位置合わせする必要がなくなり、吸着ノズルを移動させながら部品を撮像しても（つまり吸着ノズルの中心がカメラの中心からずれていても）、吸着ノズルに対する部品の吸着位置のずれを計測できるようになる。

特開平２００２−９４２９６号公報

ところで、図２に示すように、吸着ノズル３０に吸着した部品３１と基準位置マーク３２の両方をカメラのレンズを通して撮像素子３３の受光面に結像させて撮像する場合は、部品３１の像は、撮像素子３３の受光面の中央側領域に結像し、基準位置マーク３２の像は、撮像素子３３の受光面の端部付近の領域に結像する。基準位置マーク３２の位置は、吸着ノズル３０に吸着可能な最大サイズの部品３１の存在範囲より外側に位置させる必要があるため、撮像素子３３の受光面の２辺部付近の領域は、基準位置マーク３２のみを撮像する領域Ｂとなり、部品３１を撮像する領域Ａとしては利用できない。このため、部品３１と基準位置マーク３２の両方を撮像する撮像素子３３は、従来より縦横の画素数を基準位置マーク３２の撮像領域Ｂ分だけ増加させた大きなサイズの撮像素子３３を使用する必要があり、しかも、撮像素子３３のサイズが大きくなれば、その分、イメージサークル３４（カメラのレンズを通して撮像対象物がシャープに結像する円形の領域）も大きくする必要があり、その結果、カメラが大型化するばかりか、コストアップ幅も大きいという欠点があった。

ところで、基準位置マーク３２（基準ピンの下端）の高さ位置を撮像対象である部品３１の下面と同じ高さにすると、吸着ノズル３０に部品３１を吸着するときや該部品３１を基板に実装するとき等に、基準位置マーク３２が周辺の物体に衝突する可能性があるため、基準位置マーク３２の高さ位置を撮像対象である部品３１の下面の高さ位置よりも少し高くして衝突を避ける必要がある。このため、２つの撮像対象（部品３１と基準位置マーク３２）の結像面の位置が光軸方向の前後にずれてしまい、一方の撮像対象に焦点を合わせると、他方の撮像対象には焦点が合わず、撮像画像がボケてしまう欠点がある。

この対策として、レンズの絞りを絞って被写界深度（焦点が合っているように見える範囲）を深くすると、撮像画像が暗くなってしまい、シャッター速度を遅くせざるを得ない。このため、動く撮像対象を撮像する場合は、撮像対象がぶれて撮像される可能性があり、画像認識精度が悪化する。

そこで、本発明が解決しようとする課題は、複数の撮像対象を撮像する撮像装置のコンパクト化（省スペース化）と低コスト化を実現しながら、被写界深度を深くせずに、複数の撮像対象を全て焦点を合わせて撮像でき、複数の撮像対象の画像認識精度も向上できるようにすることである。

上記課題を解決するために、本発明は、複数の撮像対象を１つのレンズ系を通して１つのイメージサークル内に収めて撮像する撮像装置において、前記複数の撮像対象を撮像する複数の撮像素子を前記１つのイメージサークル内に配置し、前記各撮像素子は、それぞれ異なる撮像対象を撮像し、且つ、該撮像対象の結像面（焦点面）に対して光学的に焦点深度の範囲内に収まる位置に配置されていることを特徴とするものである。ここで、焦点深度は、像のボケが許容ボケ内に収まる光軸上の距離であり、この焦点深度の範囲内であれば、焦点がずれていても、像のボケが許容ボケ内に収まり、十分に鮮明な像が得られる。

また、イメージサークルは、レンズ系（１枚のレンズ又は１群のレンズ）を通して撮像対象がシャープに結像する円形の領域であるのに対して、各撮像素子は四角形の形状である。この点を考慮して、本発明では、複数の撮像対象を撮像対象毎に撮像する複数の撮像素子を１つの円形のイメージサークル内に配置する構成であるため、１つの円形のイメージサークルの領域全体を有効に使用して、複数の撮像素子をスペース効率良く配置できると共に、全ての撮像素子の受光面全体を撮像対象の撮像領域として有効に使用できる。これにより、撮像素子のサイズを大きくする必要がなく、イメージサークルも大きくする必要がないため、複数の撮像対象を撮像する撮像装置のコンパクト化（省スペース化）を実現できる。しかも、各撮像素子は、サイズの小さい撮像素子を使用できるため、比較的安価であり、１個の大きな撮像素子で複数の撮像対象を一括して撮像する従来構成と比較して、撮像装置の低コスト化も実現できる。更に、本発明では、各撮像素子を各撮像対象の結像面（焦点面）に対して光学的に焦点深度の範囲内に収まる位置に配置しているため、複数の撮像対象が同一平面内に位置していない場合でも、被写界深度を深くせずに、複数の撮像対象を全て焦点を合わせて撮像することが可能となり、複数の撮像対象の画像認識精度も向上できる。

本発明は、同一平面内に位置しない複数の撮像対象を１つのレンズ系を通して１つのイメージサークル内に収めて撮像する複数の撮像素子を備えた撮像装置を搭載する機器に広く適用して実施でき、例えば、部品実装機に適用する場合、複数の撮像対象のうちの１つの撮像対象は、部品実装機で実装する部品とし、該部品を撮像する撮像素子は、他の撮像素子よりも大型の撮像素子で、且つ、イメージサークル内の中央側に配置し、他の撮像対象は、基準位置又は前記部品の情報を示すマークであり、該マークを撮像するマーク撮像用の撮像素子を部品撮像用の撮像素子の外側に配置した構成とすると良い。このようにすれば、円形のイメージサークル内のうちの部品撮像用の撮像素子の外側の空きスペースを有効に利用してマーク撮像用の撮像素子を配置することができる。

また、本発明は、複数の撮像素子を同じ回路基板に実装し、且つ、レンズ系から撮像対象の結像面までの距離が長い方の撮像素子の位置が焦点深度の範囲内に収まるように前記回路基板を配置し、複数の撮像素子のうちのレンズ系から撮像対象の結像面までの距離が短い方の撮像素子の受光面側に、光学的距離（光路長）を短縮する光学的距離調整手段を設けた構成としても良い。ここで、光学的距離調整手段としては、例えば、ガラス板、小型レンズ等を用いれば良い。この構成では、複数の撮像素子を同じ回路基板に実装できるため、複数の撮像素子の実装構造を簡単化でき、低コスト化できる。

本発明を部品実装機に適用する場合は、複数の撮像対象のうちの１つの撮像対象を、部品実装機の吸着ノズルに吸着された部品とし、他の撮像対象を、前記吸着ノズルに対して予め決められた位置に設けられた基準位置マークとし、撮像装置から出力される画像信号を処理して前記基準位置マークを基準にして前記部品の位置を画像処理手段により認識するようにすると良い。このようにすれば、部品実装機において、吸着ノズルに吸着された部品と基準位置マークの両方を撮像する撮像装置のコンパクト化（省スペース化）と低コスト化と画像認識精度向上を実現できる。

図１は本発明の実施例１を示す部品実装機の構成を示す縦断面図である。 図２は従来例におけるイメージサークルと撮像素子の配置関係を示す図である。 図３は実施例１におけるイメージサークル、メイン撮像素子及びマーク用撮像素子の位置関係を示す図である。 図４は実施例１における部品、基準位置マーク、レンズ及び各撮像素子の位置関係を示す図である。 図５は実施例２における部品、基準位置マーク、レンズ及び各撮像素子の位置関係を示す図である。 図６は実施例３におけるイメージサークル、メイン撮像素子及び２つのマーク用撮像素子の位置関係を示す図である。

以下、本発明を実施するための形態を部品実装機に適用して具体化した３つの実施例１〜３を説明する。

本発明の実施例１を図１〜図３を用いて説明する。
まず、図１に基づいて部品実装機全体の概略構成を説明する。

Ｘ軸スライド１１は、Ｘ軸ボールねじ１２によってＸ軸方向（図１の左右方向）にスライド移動可能に設けられ、このＸ軸スライド１１に対して、Ｙ軸スライド１３がＹ軸ボールねじ１４によってＹ軸方向（図１の紙面垂直方向）にスライド移動可能に設けられている。

Ｙ軸スライド１３には、装着ヘッド１５が設けられ、この装着ヘッド１５にノズルホルダ１６がＺ軸駆動機構（図示せず）を介してＺ軸方向（上下方向）に昇降可能に設けられ、このノズルホルダ１６に吸着ノズル１７が下向きに取り付けられている。装着ヘッド１５は、その中心軸（Ｚ軸）の回りを回転機構（図示せず）により回転可能に構成され、吸着ノズル１７に吸着した部品１８を回路基板に実装するとき等に、該部品１８の向きを調整できるようになっている。

一方、Ｘ軸スライド１１には、吸着ノズル１７に吸着した部品１８（撮像対象）をその下面側から一対の反射鏡２０，２１を介して撮像する部品位置認識用の撮像装置２２（パーツカメラ）が設けられている。吸着ノズル１７に吸着した部品１８の下方に位置する反射鏡２０の上方には、吸着ノズル１７に吸着した部品１８をその下面側から照明する照明光源としてリング状のフロントライト２３が設けられている。尚、撮像装置２２を吸着ノズル１７の真下に配置した構成としても良い。

本実施例１では、吸着ノズル１７の上端フランジ部１７ａのうちの予め決められた位置に基準ピン２４が下向きに設けられ、該基準ピン２４の下端を、基準位置を示す基準位置マーク２５とすると共に、該基準位置マーク２５の高さ位置が吸着ノズル１７に吸着した部品１８の下面の高さ位置よりも少し高い位置に設定されている。吸着ノズル１７に部品１８を吸着するときや該部品１８を基板に実装するとき等に、基準ピン２４の下端（基準位置マーク２５）が周辺の物体に衝突することを避けるためである。基準位置マーク２５の位置は、吸着ノズル１７に吸着可能な最大サイズの部品１８の存在範囲より外側に位置し、部品１８の位置を画像認識する際の基準位置となる。

撮像装置２２は、図３に示すように、２つの撮像対象である部品１８と基準位置マーク２５の両方を１つのイメージサークル２６内に収めて撮像するように構成されている。ここで、イメージサークル２６は、撮像装置２２のレンズ３６（１枚のレンズ又は１群のレンズ）を通して撮像対象がシャープに結像する円形の領域である。このイメージサークル２６内に部品１８を撮像する四角形のメイン撮像素子２７が配置され、該イメージサークル２６内のうちのメイン撮像素子２７の外側の予め決められた位置に、基準位置マーク２５を撮像するマーク用撮像素子２８が配置されている。

前述したように、吸着ノズル１７に部品１８を吸着するときや該部品１８を基板に実装するとき等に、基準位置マーク２５（基準ピン２４の下端）が周辺の物体に衝突することを避けるため、基準位置マーク２５の高さ位置を撮像対象である部品１８の下面の高さ位置よりも少し高くして衝突を避ける必要がある。このため、図４に示すように、２つの撮像対象（部品１８と基準位置マーク２５）の結像面の位置が光軸方向の前後にずれてしまい、一方の撮像対象に焦点を合わせると、他方の撮像対象には焦点が合わず、撮像画像がボケてしまう。

この対策として、レンズ３６の絞りを絞って被写界深度（焦点が合っているように見える範囲）を深くすると、撮像画像が暗くなってしまい、シャッター速度を遅くせざるを得ない。このため、動く撮像対象を撮像する場合は、撮像対象がぶれて撮像される可能性があり、画像認識精度が悪化する。

そこで、本実施例１では、図４に示すように、２つの撮像対象（部品１８と基準位置マーク２５）を撮像するメイン撮像素子２７とマーク用撮像素子２８を、それぞれ該撮像対象の結像面（焦点面）に対して焦点深度の範囲内に収まる位置に配置している。ここで、焦点深度は、像のボケが許容ボケ内に収まる光軸上の距離であり、この焦点深度の範囲内であれば、焦点がずれていても、像のボケが許容ボケ内に収まり、十分に鮮明な像が得られる。

部品実装機の制御装置（画像処理手段）は、生産中に、フィーダ（図示せず）から供給される部品１８を吸着ノズル１７に吸着して回路基板に実装する動作を制御すると共に、吸着ノズル１７に吸着した部品１８を回路基板側へ移送する途中で、該部品１８を撮像位置（フロントライト２３の上方位置）を通過させ、該部品１８と基準位置マーク２５の両方を下方からフロントライト２３で照明して撮像装置２２で撮像する動作を制御する。撮像時には、部品１８をメイン撮像素子２７で撮像すると共に、基準位置マーク２５をマーク用撮像素子２８で撮像し、各撮像素子２７，２８から出力される画像信号を画像処理して、基準位置マーク２５を基準にして吸着ノズル１７に対する部品１８の吸着位置を認識する。

前述したように、イメージサークル２６は、レンズ３６を通して撮像対象がシャープに結像する円形の領域であるのに対して、各撮像素子２７，２８は四角形の形状である。この点を考慮して、本実施例１では、２つの撮像対象（部品１８と基準位置マーク２５）を撮像する２つの撮像素子２７，２８を１つの円形のイメージサークル２６内に配置する構成であるため、１つの円形のイメージサークル２６の領域全体を有効に使用して、２つの撮像素子２７，２８をスペース効率良く配置できると共に、各撮像素子２７，２８の受光面全体を撮像対象の撮像領域として有効に使用できる。これにより、２つの撮像素子２７，２８のサイズを大きくする必要がなく、イメージサークル２６も大きくする必要がないため、２つの撮像対象を撮像する撮像装置２２のコンパクト化（省スペース化）を実現できる。しかも、各撮像素子２７，２８は、サイズの小さい撮像素子を使用できるため、比較的安価であり、１個の大きな撮像素子で２つの撮像対象を一括して撮像する従来構成と比較して、撮像装置２２の低コスト化も実現できる。

更に、本実施例１では、各撮像素子２７，２８を各撮像対象の結像面（焦点面）に対して焦点深度の範囲内に収まる位置に配置しているため、２つの撮像対象（部品１８と基準位置マーク２５）が同一平面内に位置していない場合でも、被写界深度を深くせずに、２つの撮像対象の両方を焦点を合わせて撮像することが可能となり、２つの撮像対象の画像認識精度も向上できる。

また、撮像装置２２の撮像素子を、部品１８を撮像するメイン撮像素子２７と、基準位置マーク２５を撮像するマーク用撮像素子２８とに分割しているため、様々な画像処理方法を採用できる。例えば、部品１８の画像処理と基準位置マーク２５の画像処理とを別々に並行して行っても良いし、先にマーク用撮像素子２８の画像処理を行った後にメイン撮像素子２７の画像処理を開始するようにしても良い。更に、マーク用撮像素子２８とメイン撮像素子２７のデータ転送を並行して実行しても良いし、基準位置マーク２５の位置認識と部品１８の位置認識を並行して実行するようにしても良い。

尚、本実施例１では、基準ピン２４（基準位置マーク２５）を吸着ノズル１７の上端フランジ部１７ａに設けたが、ノズルホルダ１６に設けるようにしても良く、要は、吸着ノズル１７に対して予め決められた位置に基準ピン２４（基準位置マーク２５）を設けるようにすれば良い。

上記実施例１では、メイン撮像素子２７を実装した回路基板にマーク用撮像素子２８を取り付ける場合は、該回路基板にスペーサ部材を介してマーク用撮像素子２８を取り付ければ良いが、この構成では、マーク用撮像素子２８の端子構造やスペーサ部材の厚みによっては、マーク用撮像素子２８の端子をメイン撮像素子２７の回路基板に接続する配線構造が複雑化したり、或は、マーク用撮像素子２８を実装する回路基板をメイン撮像素子２７の回路基板とは別に設けたりする必要がある。

そこで、本発明の実施例２では、図５に示すように、メイン撮像素子２７とマーク用撮像素子２８を同じ回路基板３７に実装し、且つ、レンズ３６から撮像対象の結像面までの距離が長い方の撮像素子であるメイン撮像素子２７の位置が焦点深度の範囲内に収まるように回路基板３７を配置している。更に、２つの撮像素子２７，２８のうちのレンズ３６から撮像対象の結像面までの距離が短い方の撮像素子であるマーク用撮像素子２８の受光面側に、光学的距離（光路長）を短縮する光学的距離調整手段３８を設けた構成としている。ここで、光学的距離調整手段３８としては、例えば、ガラス板、小型レンズ等を用いれば良い。その他の構成は、前記実施例１と同じである。

以上説明した本実施例２では、２つの撮像素子２７，２８を同じ回路基板３７に実装できるため、２つの撮像素子２７，２８の実装構造を簡単化でき、低コスト化できる。その他、前記実施例１と同様の効果を得ることができる。

本発明は、上記実施例１，２のように基準位置マーク２５を１箇所のみに設けても良いが、この場合は、撮像装置２２の座標系（撮像画像の座標系）で１箇所の基準位置マーク２５を基準にして部品１８の位置を計測できるだけであり、撮像装置２２側から部品１８に隠れて見えない吸着ノズル１７の位置は認識できないため、装着ヘッド１５の回転停止位置のずれにより基準位置マーク２５の位置が装着ヘッド１５の回転方向にずれたことが原因で部品１８の位置が相対的に装着ヘッド１５の回転方向にずれた状態を撮像した場合と、吸着ノズル１７に対する部品１８の吸着位置が実際にずれた状態を撮像した場合とを区別できない。

そこで、図６に示す本発明の実施例３では、吸着ノズル１７に対して予め決められたＸ方向とＹ方向の２箇所にそれぞれ基準位置マーク２５Ｘ，２５Ｙを設けると共に、イメージサークル２６内のうちのメイン撮像素子２７の外側のＸ方向とＹ方向の２箇所に、それぞれマーク用撮像素子２８Ｘ，２８Ｙを設け、各マーク用撮像素子２８Ｘ，２８Ｙでそれぞれ基準位置マーク２５Ｘ，２５Ｙを撮像するようにしている。各マーク用撮像素子２８Ｘ，２８Ｙは、それぞれ撮像対象である基準位置マーク２５Ｘ，２５Ｙの結像面（焦点面）に対して光学的に焦点深度の範囲内に収まる位置に配置されている。その他の事項は、前記実施例１又は２と同じである。

以上説明した本実施例３では、撮像装置２２側から吸着ノズル１７の位置が部品１８に隠れて見えないという事情があっても、２箇所の基準位置マーク２５Ｘ，２５Ｙの位置から吸着ノズル１７の位置が一義的に決まるため、撮像装置２２の座標系（撮像画像の座標系）で２箇所の基準位置マーク２５Ｘ，２５Ｙを基準にして吸着ノズル１７の位置と部品１８の位置を精度良く計測でき、装着ヘッド１５の回転停止位置のずれにより基準位置マーク２５の位置が装着ヘッド１５の回転方向にずれていても、吸着ノズル１７に対する部品１８の吸着位置を精度良く計測できる。
［その他の実施例］
上記実施例１〜３では、部品実装機の吸着ノズル１７に吸着した部品１８を撮像対象としたが、フィーダから供給される部品や、基板に実装した部品等を撮像対象とし、これらを上方から撮像する撮像装置に本発明を適用しても良い。

また、マーク用撮像素子で撮像するマークは、基準位置マークに限定されず、撮像対象（部品１８等）の情報を表示した二次元コード、一次元コード等の情報マークを撮像するようにしても良く、勿論、マーク以外の物体を撮像対象としても良い。

その他、本発明は、部品実装機に限定されず、同一平面内に位置しない複数の撮像対象を１つのレンズ系を通して１つのイメージサークル内に収めて撮像する複数の撮像素子を備えた撮像装置を搭載する機器に広く適用して実施できる等、要旨を逸脱しない範囲内で種々変更して実施できることは言うまでもない。

１１…Ｘ軸スライド、１３…Ｙ軸スライド、１５…装着ヘッド、１６…ノズルホルダ、１７…吸着ノズル、１８…部品（撮像対象）、２０，２１…反射鏡、２２…撮像装置、２３…フロントライト、２４…基準ピン、２５，２５Ｘ，２５Ｙ…基準位置マーク（撮像対象）、２６…イメージサークル、２７…メイン撮像素子、２８，２８Ｘ，２８Ｙ…マーク用撮像素子、３６…レンズ、３７…回路基板、３８…光学的距離調整手段

Claims (4)

1. 複数の撮像対象を１つのレンズ系を通して１つのイメージサークル内に収めて撮像する撮像装置において、
   前記複数の撮像対象を撮像する複数の撮像素子を前記１つのイメージサークル内に配置し、
   前記各撮像素子は、それぞれ異なる撮像対象を撮像し、且つ、該撮像対象の結像面に対して光学的に焦点深度の範囲内に収まる位置に配置されていることを特徴とする撮像装置。
2. 前記複数の撮像対象のうちの１つの撮像対象は、部品実装機で実装する部品であり、該部品を撮像する撮像素子は、他の撮像素子よりも大型の撮像素子で、且つ、前記イメージサークル内の中央側に配置され、
   他の撮像対象は、基準位置又は前記部品の情報を示すマークであり、該マークを撮像する前記他の撮像素子は、前記部品を撮像する撮像素子の外側に配置されていることを特徴とする請求項１に記載の撮像装置。
3. 前記複数の撮像素子は、同じ回路基板に実装され、且つ、前記レンズ系から前記撮像対象の結像面までの距離が長い方の撮像素子の位置が前記焦点深度の範囲内に収まるように前記回路基板が配置され、
   前記複数の撮像素子のうちの前記レンズ系から前記撮像対象の結像面までの距離が短い方の撮像素子の受光面側に、光学的距離を短縮する光学的距離調整手段が設けられていることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記複数の撮像対象のうちの１つの撮像対象は、部品実装機の吸着ノズルに吸着された部品であり、
   前記他の撮像対象は、前記吸着ノズルに対して予め決められた位置に設けられた基準位置マークであり、
   請求項１乃至３のいずれかに記載の撮像装置から出力される画像信号を処理して前記基準位置マークを基準にして前記部品の位置を認識する画像処理手段を備えていることを特徴とする画像処理装置。

Images