JP7450245B2

JP7450245B2 - 三次元画像生成装置及び三次元画像生成方法

Info

Publication number: JP7450245B2
Application number: JP2020012709A
Authority: JP
Inventors: 隆也金城
Original assignee: Yamaha Robotics Holdings Co Ltd
Current assignee: Yamaha Robotics Holdings Co Ltd
Priority date: 2020-01-29
Filing date: 2020-01-29
Publication date: 2024-03-15
Anticipated expiration: 2040-01-29
Also published as: JP2021117909A

Description

本発明は、カメラを用いた対象物の三次元画像生成装置及び三次元画像生成方法に関する。

半導体チップのパッドと基板のリードとを接続するボンディングワイヤ（以下、ワイヤという）等の対象物の三次元画像を生成する方法が提案されている（例えば、特許文献１参照）。

特許文献１に記載された方法は、ワイヤをリング状照明器で照明し、焦点深度を浅くした光学系を用いて合焦高さを変化させながらワイヤ画像を撮像し、各ワイヤ画像の中心に現出した暗部を検出することにより、各合焦高さにおけるワイヤの各ＸＹ座標を検出し、それらのデータからワイヤ全体の三次元形状を検出し、三次元画像を生成するものである。

特許第３２３５００９号明細書

しかし、特許文献１に記載の方法では、光学系の合焦高さを変化させて複数の画像を撮像することが必要なため、三次元画像の生成に掛かる時間が長くなってしまうという問題があった。

そこで、本発明は、短時間に対象物の三次元画像を生成することを目的とする。

本発明の三次元画像生成装置は、半導体素子の電極と基板の電極、又は、半導体素子の一の電極と半導体素子の他の電極とを接続するワイヤの三次元画像を生成する三次元画像生成装置であって、撮像素子を用いた複数のカメラと、カメラが撮像した各画像を処理する制御部と、を備え、制御部は、ワイヤを含む空間内に複数のボクセルを設定し、照明でワイヤを上方から照明し、複数のカメラで複数の方向から複数のボクセルを撮像し、（ａ）複数のボクセルの内の一ボクセルに対応する各カメラの各撮像素子の各明度を検出し、（ｂ）各カメラが検出した各明度の内で一番小さいものを一ボクセルの最小明度として特定し、（ｃ）特定した最小明度がワイヤの反射光によることを示す所定の閾値以上の場合に、一ボクセルをワイヤを含む特定ボクセルとして特定し、（ａ）～（ｃ）の動作を複数のボクセル全てについて繰り返し実行し、（ｃ）で特定した複数の特定ボクセルを接続してワイヤの三次元画像を生成すること、を特徴とする。

本発明の三次元画像生成方法は、半導体素子の電極と基板の電極、又は、半導体素子の一の電極と半導体素子の他の電極とを接続するワイヤの三次元画像を生成する三次元画像生成方法であって、撮像素子を用いた複数のカメラと、ワイヤを上方から照らす照明と、を準備し、ワイヤを含む空間内に複数のボクセルを設定し、照明でワイヤを上方から照明し、複数のカメラで複数の方向から複数のボクセルを撮像し、（ａ）複数のボクセルの内の一ボクセルに対応する各カメラの各撮像素子の各明度を検出し、（ｂ）各カメラが検出した各明度の内で一番小さいものを一ボクセルの最小明度として特定し、（ｃ）特定した最小明度がワイヤの反射光によることを示す所定の閾値以上の場合に、一ボクセルをワイヤを含む特定ボクセルとして特定し、（ａ）～（ｃ）の動作を複数のボクセル全てについて繰り返し実行し、（ｃ）で特定した複数の特定ボクセルを接続してワイヤの三次元画像を生成すること、を特徴とする。

このように、複数のカメラで撮影した画像を処理して三次元画像を生成するので、光学系の合焦高さを変化させる等のハードウェアの動作を伴わずに三次元画像を生成することができ、短時間で対象物の三次元画像の生成を行うことができる。

本発明は、短時間に対象物の三次元画像を生成することができる。

実施形態の三次元画像生成方法を実行する三次元画像生成装置の構成を示す系統図である。図１に示すｙ＝ｙ１の面のボクセルを複数のカメラで撮像した場合の各ボクセル中心と各カメラの撮像素子の位置との関係を示す説明図である。実施形態の三次元画像生成方法の工程を示すフローチャートである。図３に示す工程中の対象物を含む特定ボクセルを特定する処理を示すフローチャートである。各ボクセルの最小明度と特定ボクセルの特定処理を説明する表である。

以下、図面を参照しながら実施形態の三次元画像生成方法を実行する三次元画像生成装置１００について説明する。以下の説明では、三次元画像生成装置１００は、図１に示すように、半導体素子の電極５１と基板の電極５２とを接続するワイヤ５３の三次元画像を生成することとして説明するが、他の対象物の三次元画像の生成を行うことも可能である。

三次元画像生成装置１００は、撮像素子を用いた３つのカメラ１０，２０，３０と、カメラ１０，２０，３０が撮像した画像を処理して対象物であるワイヤ５３の三次元画像を生成する制御部４０と、ワイヤ５３を照明する光源４５とを含んでいる。本実施形態では、カメラは３つとして説明するが、複数であれば３つに限らず、２つでも４つ以上でもよい。

光源４５はワイヤ５３の上方に配置されている。また、カメラ１０は、ワイヤ５３の上方に配置されており、カメラ２０，３０は、ワイヤ５３の上方で各光軸２０ａ，３０ａがカメラ１０の光軸１０ａに対して傾斜するようにして配置されている。制御部４０は、内部に情報処理を行うＣＰＵ４１とメモリ４２とを含むコンピュータで構成されている。

ワイヤ５３を含む空間には、複数のボクセルＶが設定されている。ボクセルＶはワイヤ５３が存在する空間内全てに設定されている。ボクセルＶの各中心座標はＶｃ（ｘ，ｙ，ｈ）で表される。図１では、ワイヤ５３を含む空間に設定された９つのボクセルＶ１～Ｖ９を示す。９つのボクセルＶ１～Ｖ９は、各中心座標はＶｃ（ｘ，ｙ，ｈ）のｙ方向の座標がｙ１の平面内に位置しており、ｘ座標がｘ１，ｘ２，ｘ３で、それぞれ高さｈがｈ１，ｈ２，ｈ３の位置となっている。また、Ｖｃ（ｘ２，ｙ１，ｈ２）に中心があるボクセルＶ５にはワイヤ５３のｙ＝ｙ１の断面が位置している。

次に図２を参照しながら、図１を参照して説明した９つのボクセルＶ１～Ｖ９と、各カメラ１０，２０，３０の各撮像素子１１，２１，３１の各画素の位置との関係の例について説明する。

ボクセルＶ１は、中心位置Ｖｃ（ｘ１，ｙ１，ｈ１）であり、カメラ１０の撮像素子１１の画素Ｐ１１、カメラ２０の撮像素子２１の画素Ｐ２３、カメラ３０の撮像素子３１の画素Ｐ３１に対応する。同様にボクセルＶ２の中心位置Ｖｃ（ｘ２，ｙ１，ｈ１）は、撮像素子１１の画素Ｐ１２に対応し、撮像素子２１の画素Ｐ２４、撮像素子３１の画素Ｐ３２に対応する。また、ボクセルＶ３の中心位置Ｖｃ（ｘ３，ｙ１，ｈ１）は、撮像素子１１の画素Ｐ１３に対応し、撮像素子２１の画素Ｐ２５、撮像素子３１の画素Ｐ３３に対応する。以下、同様に、同様にボクセルＶ４の中心位置Ｖｃ（ｘ１，ｙ１，ｈ２）は画素Ｐ１１、画素Ｐ２２、画素Ｐ３２に対応し、ボクセルＶ５の中心位置Ｖｃ（ｘ２，ｙ１，ｈ２）は画素Ｐ１２、画素Ｐ２３、画素Ｐ３３に対応し、ボクセルＶ６の中心位置Ｖｃ（ｘ３，ｙ１，ｈ２）は画素Ｐ１３、画素Ｐ２４、画素Ｐ３４に対応する。更に、ボクセルＶ７の中心位置Ｖｃ（ｘ１，ｙ１，ｈ３）は画素Ｐ１１、画素Ｐ２１、画素Ｐ３３に対応し、ボクセルＶ８の中心位置Ｖｃ（ｘ２，ｙ１，ｈ３）は画素Ｐ１２、画素Ｐ２２、画素Ｐ３４に対応し、ボクセルＶ９の中心位置Ｖｃ（ｘ３，ｙ１，ｈ３）は画素Ｐ１３、画素Ｐ２３、画素Ｐ３５に対応する。

そして、各カメラ１０，２０，３０でボクセルＶ１～Ｖ９を撮像すると、各ボクセルＶ１～Ｖ９明度は対応する各カメラ１０，２０，３０の各撮像素子１１，２１，３１の各対応する画素の明度として検出される。

次に図３から図５を参照して三次元画像生成装置１００の動作について説明する。

三次元画像生成装置１００の制御部４０のＣＰＵ４１は、図３のステップＳ１０１に示すように、複数のカメラ１０，２０，３０で複数の方向から複数のボクセルＶを撮像する。そして、ステップＳ１０２で各カメラ１０，２０，３０が撮像した画像分析面をｙ＝０の面に設定し、ステップＳ１０３でｙ＝０の面の中で対象物であるワイヤ５３を含むボクセルＶを特定ボクセルとして特定する。そして、ｙがボクセルＶの存在するｙの最大値であるｙｅｎｄとなるまでステップＳ１０５でｙをΔｙずつ増加させてステップＳ１０３を繰り返し実行する。そして、ステップＳ１０４でＹＥＳと判断した場合には、図３のステップＳ１０６に進んでステップＳ１０３で特定した複数の特定ボクセルを接続して対象物の三次元画像を生成する。

ここで、制御部４０のＣＰＵ４１が実行する図３のステップＳ１０３の対象物を含む特定ボクセルを特定する処理の例について、図４、図５を参照しながら説明する。以下の説明では、図１に示すｙ＝ｙ１の平面に中心座標が位置するボクセルＶ１～Ｖ９において対象物であるワイヤ５３を含む特定ボクセルを特定する処理について説明する。

図３を参照して説明したように、各カメラ１０，２０，３０でボクセルＶ１～Ｖ９を撮像すると、各ボクセルＶ１～Ｖ９の明度は対応する各カメラ１０，２０，３０の各撮像素子１１，２１，３１の各対応する画素の明度として検出される。ワイヤ５３を含むボクセルＶはワイヤ５３で光が反射されるためワイヤ５３を含むボクセルＶに対応する画素は明るい明度１を検出する。一方、ワイヤ５３を含まないボクセルＶは光を反射しないので暗い明度０を検出する。ただし、ボクセルＶと画素との光路の間又は光路の延長上にワイヤ５３を含む他のボクセルＶが存在するとその画素は、他のボクセルＶの明るい明度１を検出する。

図４のステップＳ２０１に示すように、制御部４０のＣＰＵ４１は、カメラ１０，２０，３０が撮像した画像から、複数のボクセルの内の一ボクセルに対応する各カメラ１０，２０，３０の各撮像素子１１，２１，３１の各明度を検出する。

ＣＰＵ４１がボクセルＶ１の明度を検出する場合について説明する。図２、図５に示すように、ボクセルＶ１は、ワイヤ５３を含まないボクセルＶである。対応するカメラ１０，３０の各撮像素子１１，３１の画素Ｐ１１、Ｐ３１は、画素Ｐ１１，Ｐ３１とボクセルＶ１との間にワイヤ５３が存在しないので、ボクセルＶ１の暗い明度０を検出する。一方、対応するカメラ２０の撮像素子２１の画素Ｐ２３はボクセルＶ１と画素Ｐ２３との間にワイヤ５３を含むボクセルＶ５が存在するので、ボクセルＶ１の暗い明度ではなく、ボクセルＶ５の明るい明度１を検出する。このため、ＣＰＵ４１は、図５に示すように、ボクセルＶ１に対応する３つの画素Ｐ１１，Ｐ２３，Ｐ３１の明度を、それぞれ明度０，１，０と検出する。

次にＣＰＵ４１は、図４のステップＳ２０２に進んで、各カメラ１０，２０，３０が検出した各明度の内で一番小さいものをそのボクセルＶの最小明度として特定する。ボクセルＶ１では、検出した明度は、０，１，０であるから、最小明度は０と特定する。

そして、ＣＰＵ４１は、図４のステップＳ２０３に進んで、特定した最小明度が所定の閾値よりも大きい場合に、そのボクセルは対象物であるワイヤ５３を含む特定ボクセルと特定する。閾値は、０よりも大きい所定の値とすることができ、例えば、１としてもよい。ボクセルＶ１の場合は、最小明度が０であるから、ＣＰＵ４１は、ボクセルＶ１を特定ボクセルと特定せずに図４のステップＳ２０４に進み、ｙ＝ｙ１の面に中心がある全てのボクセルＶについてステップＳ２０１～Ｓ２０３の処理を行ったかどうか判断し、ＮＯの場合、ステップＳ２０１に戻って次のボクセルＶについてステップＳ２０１～Ｓ２０３の処理を行う。

ＣＰＵ４１は、ボクセルＶ１の処理を行った後、図４のステップＳ２０４でＮＯと判断して図４のステップＳ２０１に戻り、ボクセルＶ２についてステップＳ２０１～Ｓ２０３の処理を行う。

ＣＰＵ４１は、図５に示すように、ボクセルＶ１と同様に、ボクセルＶ２に対応する３つの画素Ｐ１２，Ｐ２４，Ｐ３２の明度を検出する。この場合、ボクセルＶ２と画素Ｐ１２の間にはワイヤ５３を含むボクセルＶ５が位置しているので、画素Ｐ１２は明度１を検出する。従って、ＣＰＵ４１は、ボクセルＶ２に対応する３つの画素Ｐ１２，Ｐ２４，Ｐ３２の明度を１，０，０と検出する。そして、ＣＰＵ４１は、ステップＳ２０２でボクセルＶ２の最小明度を０と特定し、ステップＳ２０３でボクセルＶ２を特定ボクセルと特定せずに図４のステップＳ２０４に進み、ボクセルＶ３の処理をおこなう。

以下、同様にＣＰＵ４１は、図５に示すように、ボクセルＶ３～Ｖ４について各画素の明度を特定し、最小明度を０と特定し、ボクセルＶ３～Ｖ４を特定ボクセルとしない。

ＣＰＵ４１は、ボクセルＶ５に対応する各画素Ｐ１２，Ｐ２３，Ｐ３３の各明度を検出する。ボクセルＶ５はワイヤ５３をそれぞれ含むボクセルＶであるから、各カメラ１０，２０，３０のいずれの撮像素子１１，２１，３１の対応する画素Ｐ１２，Ｐ２３，Ｐ３３も明るい明度１を検出する。従って、ＣＰＵ４１は、ボクセルＶ５の最小明度を１と特定し、ボクセルＶ５を特定ボクセルに特定してボクセルＶ６の処理に進む。

図５に示すように、ＣＰＵ４１は、ステップＳ２０１でボクセルＶ６に対応する各画素の各明度をそれぞれ、０，０，０と特定する。そして、ＣＰＵ４１はステップＳ２０２でボクセルＶ６の最小明度を０と特定し、ボクセルＶ６を特定ボクセルとせずにボクセルＶ７の処理に進む。

ボクセルＶ７はボクセルＶ７とカメラ３０の対応する画素Ｐ３３との間の光路の延長線上にワイヤ５３が位置している。このため、ＣＰＵ４１は、ボクセルＶ７に対応する各画素Ｐ１１，Ｐ２１，Ｐ３１をそれぞれ０，０，１と特定する。そして、ＣＰＵ４１は、ボクセルＶ７の最小明度を０と特定し、ボクセルＶ７を特定ボクセルとせずにボクセルＶ８，Ｖ９の処理に進む。

ボクセルＶ７と同様、ＣＰＵ４１は、ボクセルＶ８，Ｖ９の対応する画素の明度をそれぞれ、１，０，０、及び、０，１，０と検出し、各最小明度を０と特定し、ボクセルＶ８，Ｖ９を特定ボクセルとしないで図４のステップＳ２０４に進み、ステップＳ２０４でＹＥＳと判断して図３のステップＳ１０３に示す対象物を含む特定するボクセルを特定する処理を終了する。

この処理により、ＣＰＵ４１は、図５に示すようにｙ＝ｙ１の平面に座標中心にある９つのボクセルＶ１～Ｖ９の内でワイヤ５３を含むボクセルＶ５のみを特定ボクセルとして特定する。

ＣＰＵ４１はｙをΔｙずつ変化させて、ボクセルＶが存在する全ての空間で図３のステップＳ１０３の処理を実行したら、図３のステップＳ１０４でＹＥＳと判断して図３のステップＳ１０６に進んで各平面における特定ボクセルを接続することにより、ワイヤ５３の三次元画像を生成する。

このように、実施形態の三次元画像生成方法は、対象物を含む空間内に複数のボクセルＶを設定し、複数のボクセルＶを異なる角度から複数のカメラ１０，２０，３０で撮像した場合、対象物を含むボクセルＶに対応する各カメラ１０，２０，３０の各画素が検出する明度は対象物による反射により全て明るい明度１となり、そのボクセルＶの最小明度は１となる。一方、対象物が存在しないボクセルＶに対応する各カメラ１０，２０，３０の各画素が検出する明度の少なくとも１つが暗い明度０となり、そのボクセルＶの最小明度は０となる。これにより、最小明度が１となる場合にそのボクセルＶを対象物を含む特定ボクセルに特定し、その特定ボクセルを接続して対象物の三次元画像を生成するものである。

以上説明したように、実施形態の三次元画像生成装置１００は、複数のカメラ１０，２０，３０で撮影した画像を処理して三次元画像を生成するので、光学系の合焦高さを変化させる等のハードウェアの動作を伴わずに三次元画像を生成することができ、短時間でワイヤ５３等の対象物の三次元画像の生成を行うことができる。

１０，２０，３０カメラ、１０ａ，２０ａ，３０ａ光軸、１１，２１，３１撮像素子、４０制御部、４１ＣＰＵ、４２メモリ、４５光源、５１，５２電極、５３ワイヤ、１００三次元画像生成装置。

Claims

半導体素子の電極と基板の電極、又は、前記半導体素子の一の電極と前記半導体素子の他の電極とを接続するワイヤの三次元画像を生成する三次元画像生成装置であって、
撮像素子を用いた複数のカメラと、
前記カメラが撮像した各画像を処理する制御部と、
前記ワイヤを情報から照らす照明と、を備え、
前記制御部は、
前記ワイヤを含む空間内に複数のボクセルを設定し、
前記照明で前記ワイヤを上方から照明し、複数の前記カメラで複数の方向から複数のボクセルを撮像し、
（ａ）複数のボクセルの内の一ボクセルに対応する各前記カメラの各前記撮像素子の各明度を検出し、
（ｂ）各前記カメラが検出した各明度の内で一番小さいものを前記一ボクセルの最小明度として特定し、
（ｃ）特定した最小明度が前記ワイヤの反射光によることを示す所定の閾値以上の場合に、前記一ボクセルを前記ワイヤを含む特定ボクセルとして特定し、
前記（ａ）～（ｃ）の動作を複数のボクセル全てについて繰り返し実行し、
（ｃ）で特定した複数の特定ボクセルを接続して前記ワイヤの三次元画像を生成すること、
を特徴とする三次元画像生成装置。
半導体素子の電極と基板の電極、又は、前記半導体素子の一の電極と前記半導体素子の他の電極とを接続するワイヤの三次元画像を生成する三次元画像生成方法であって、
撮像素子を用いた複数のカメラと、前記ワイヤを上方から照らす照明と、を準備し、
前記ワイヤを含む空間内に複数のボクセルを設定し、
前記照明で前記ワイヤを上方から照明し、複数の前記カメラで複数の方向から複数のボクセルを撮像し、
（ａ）複数のボクセルの内の一ボクセルに対応する各前記カメラの各前記撮像素子の各明度を検出し、
（ｂ）各前記カメラが検出した各明度の内で一番小さいものを前記一ボクセルの最小明度として特定し、
（ｃ）特定した最小明度が前記ワイヤの反射光によることを示す所定の閾値以上の場合に、前記一ボクセルを前記ワイヤを含む特定ボクセルとして特定し、
前記（ａ）～（ｃ）の動作を複数のボクセル全てについて繰り返し実行し、
（ｃ）で特定した複数の特定ボクセルを接続して前記ワイヤの三次元画像を生成すること、
を特徴とする三次元画像生成方法。