WO2023007657A1 - 三次元画像生成装置及び三次元画像生成方法 - Google Patents

三次元画像生成装置及び三次元画像生成方法 Download PDF

Info

Publication number
WO2023007657A1
WO2023007657A1 PCT/JP2021/028121 JP2021028121W WO2023007657A1 WO 2023007657 A1 WO2023007657 A1 WO 2023007657A1 JP 2021028121 W JP2021028121 W JP 2021028121W WO 2023007657 A1 WO2023007657 A1 WO 2023007657A1
Authority
WO
WIPO (PCT)
Prior art keywords
voxel
dimensional image
voxels
image generation
brightness
Prior art date
Application number
PCT/JP2021/028121
Other languages
English (en)
French (fr)
Inventor
隆也 金城
Original Assignee
ヤマハロボティクスホールディングス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハロボティクスホールディングス株式会社 filed Critical ヤマハロボティクスホールディングス株式会社
Priority to CN202180073161.1A priority Critical patent/CN116457832A/zh
Priority to KR1020237035730A priority patent/KR20230158581A/ko
Priority to PCT/JP2021/028121 priority patent/WO2023007657A1/ja
Publication of WO2023007657A1 publication Critical patent/WO2023007657A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors

Definitions

  • the present invention relates to a three-dimensional image generating apparatus and three-dimensional image generating method of an object using a camera.
  • a method has been proposed for generating a three-dimensional image of an object such as a bonding wire (hereinafter referred to as wire) that connects a pad of a semiconductor chip and a lead of a substrate (see, for example, Patent Document 1).
  • wire a bonding wire
  • Patent Document 1 The method described in Patent Document 1 is to illuminate a wire with a ring-shaped illuminator, capture a wire image while changing the focus height using an optical system with a shallow depth of focus, and focus on the center of each wire image.
  • the XY coordinates of the wire at each focused height are detected by detecting the appearing dark portion, the three-dimensional shape of the wire as a whole is detected from those data, and a three-dimensional image is generated.
  • Patent Document 1 it is necessary to pick up a plurality of images by changing the focal height of the optical system, so there is a problem that it takes a long time to generate a three-dimensional image. there were.
  • an object of the present invention is to generate a three-dimensional image of an object in a short time.
  • a three-dimensional image generating apparatus includes a plurality of cameras using imaging devices, and a control unit that processes each image captured by the cameras. to capture a plurality of voxels from a plurality of directions with a plurality of cameras, (a) detect the brightness of each imaging element of each camera corresponding to one voxel of the plurality of voxels, and (b) each Identifying the smallest brightness of each brightness detected by the camera as the minimum brightness of one voxel; and repeating the operations (a) to (c) for all of the plurality of voxels, and connecting the plurality of specific voxels identified in (c) to generate a three-dimensional image of the object. .
  • a plurality of cameras using imaging devices are prepared, a plurality of voxels are set in a space containing an object, and the plurality of voxels are captured from a plurality of directions by the plurality of cameras.
  • the three-dimensional image can be generated without hardware operations such as changing the focusing height of the optical system. It is possible to generate a three-dimensional image of the object in a short time.
  • the object may be illuminated from above, and a plurality of cameras may be set above the object.
  • the object may be a wire connecting an electrode of the semiconductor element and an electrode of the substrate, or a wire connecting one electrode of the semiconductor element and another electrode of the semiconductor element.
  • the present invention can generate a three-dimensional image of an object in a short period of time.
  • FIG. 1 is a system diagram showing the configuration of a three-dimensional image generating device that executes a three-dimensional image generating method according to an embodiment
  • FIG. 4 is a flow chart showing steps of a three-dimensional image generation method according to an embodiment
  • FIG. 4 is a flow chart showing the process of identifying specific voxels containing the object in the process shown in FIG. 3
  • FIG. 4 is a table for explaining the minimum brightness of each voxel and specific processing for specific voxels;
  • a three-dimensional image generating apparatus 100 that executes the three-dimensional image generating method of the embodiment will be described below with reference to the drawings.
  • the three-dimensional image generating apparatus 100 generates a three-dimensional image of wires 53 connecting electrodes 51 of a semiconductor element and electrodes 52 of a substrate as shown in FIG. It is also possible to generate a three-dimensional image of the object.
  • a three-dimensional image generating apparatus 100 processes images captured by three cameras 10, 20, and 30 using imaging elements, and generates a three-dimensional image of a wire 53, which is an object. It includes a control unit 40 and a light source 45 for illuminating the wire 53 .
  • the number of cameras is described as three, but the number is not limited to three, and may be two or four or more.
  • the light source 45 is arranged above the wire 53 .
  • the camera 10 is arranged above the wire 53, and the cameras 20 and 30 are arranged above the wire 53 so that their respective optical axes 20a and 30a are inclined with respect to the optical axis 10a of the camera 10.
  • the control unit 40 is composed of a computer including a CPU 41 and a memory 42 for processing information therein.
  • a plurality of voxels V are set in the space containing the wire 53.
  • the voxels V are set throughout the space where the wire 53 exists.
  • Each center coordinate of voxel V is represented by Vc(x, y, h).
  • FIG. 1 nine voxels V1 to V9 set in a space containing the wire 53 are shown.
  • the nine voxels V1 to V9 are located in a plane whose central coordinates are Vc (x, y, h) and whose y-direction coordinates are y1, whose x-coordinates are x1, x2, and x3, and whose height is h are the positions of h1, h2 and h3.
  • the voxel V1 is the center position Vc (x1, y1, h1) and corresponds to the pixel P11 of the imaging element 11 of the camera 10, the pixel P23 of the imaging element 21 of the camera 20, and the pixel P31 of the imaging element 31 of the camera 30.
  • the center position Vc (x2, y1, h1) of the voxel V2 corresponds to the pixel P12 of the image sensor 11, the pixel P24 of the image sensor 21, and the pixel P32 of the image sensor 31.
  • the center position Vc (x3, y1, h1) of the voxel V3 corresponds to the pixel P13 of the image sensor 11, the pixel P25 of the image sensor 21, and the pixel P33 of the image sensor 31.
  • the center position Vc (x1, y1, h2) of voxel V4 corresponds to pixel P11, pixel P22, and pixel P32
  • the center position Vc (x2, y1, h2) of voxel V5 corresponds to pixel P12, pixel P12, and pixel P32. It corresponds to pixel P23 and pixel P33
  • the center position Vc (x3, y1, h2) of voxel V6 corresponds to pixel P13, pixel P24 and pixel P34.
  • center position Vc (x1, y1, h3) of voxel V7 corresponds to pixel P11, pixel P21, and pixel P33
  • the center position Vc (x2, y1, h3) of voxel V8 corresponds to pixel P12, pixel P22, and pixel P34
  • the center position Vc (x3, y1, h3) of voxel V9 corresponds to pixel P13, pixel P23, and pixel P35.
  • each voxel V1 to V9 is that of each corresponding pixel of each imaging element 11, 21, and 31 of each corresponding camera 10, 20, and 30. Detected as lightness.
  • FIG. 1 the operation of the 3D image generation device 100 will be described with reference to FIGS. 3 to 5.
  • FIG. 1 the operation of the 3D image generation device 100 will be described with reference to FIGS. 3 to 5.
  • the CPU 41 of the control unit 40 selects the images captured by the cameras 10, 20, and 30 corresponding to one voxel among the plurality of voxels. Each brightness of the elements 11, 21 and 31 is detected.
  • voxel V1 is voxel V that does not include wire 53.
  • FIG. The pixels P11 and P31 of the respective imaging elements 11 and 31 of the corresponding cameras 10 and 30 detect the dark brightness 0 of the voxel V1 because the wire 53 does not exist between the pixels P11 and P31 and the voxel V1.
  • the corresponding pixel P23 of the image sensor 21 of the camera 20 detects the bright brightness 1 of the voxel V5 instead of the dark brightness of the voxel V1 because the voxel V5 including the wire 53 exists between the voxel V1 and the pixel P23. do. Therefore, the CPU 41 detects the brightness of the three pixels P11, P23, and P31 corresponding to the voxel V1 as 0, 1, and 0, respectively, as shown in FIG.
  • the CPU 41 proceeds to step S202 in FIG. 4 and specifies the smallest brightness among the brightnesses detected by the cameras 10, 20, and 30 as the minimum brightness of the voxel V.
  • the detected brightnesses are 0, 1, and 0, so 0 is specified as the minimum brightness.
  • the CPU 41 advances to step S203 in FIG. 4, and if the identified minimum brightness is greater than a predetermined threshold, the voxel is identified as a specific voxel containing the wire 53 that is the object.
  • the threshold may be a predetermined value greater than 0, for example 1.
  • the CPU 41 proceeds to step S204 in FIG. It is determined whether or not the processing of S201 to S203 has been performed, and if NO, the process returns to step S201 and the processing of steps S201 to S203 is performed for the next voxel V.
  • the CPU 41 determines NO in step S204 of FIG. 4, returns to step S201 of FIG. 4, and performs the processing of steps S201 to S203 for the voxel V2.
  • the CPU 41 detects the brightness of three pixels P12, P24, P32 corresponding to the voxel V2, similarly to the voxel V1.
  • the pixel P12 detects a brightness of 1. Therefore, the CPU 41 detects that the brightness of the three pixels P12, P24, P32 corresponding to the voxel V2 is 1, 0, 0.
  • the CPU 41 specifies the minimum brightness of voxel V2 as 0 in step S202, proceeds to step S204 in FIG. 4 without specifying voxel V2 as a specific voxel in step S203, and processes voxel V3.
  • the CPU 41 similarly specifies the brightness of each pixel for voxels V3 to V4 as shown in FIG. 5, specifies the minimum brightness to be 0, and does not set voxels V3 to V4 as specified voxels.
  • the CPU 41 detects the brightness of each pixel P12, P23, P33 corresponding to the voxel V5. Since voxel V5 is voxel V including wire 53, corresponding pixels P12, P23, P33 of any one of imaging elements 11, 21, 31 of cameras 10, 20, 30 detect lightness 1 as bright. Therefore, the CPU 41 specifies the minimum brightness of voxel V5 as 1, specifies voxel V5 as a specific voxel, and proceeds to process voxel V6.
  • the CPU 41 specifies 0, 0, 0 as the brightness of each pixel corresponding to the voxel V6 in step S201. Then, in step S202, the CPU 41 specifies the minimum brightness of voxel V6 as 0, and proceeds to process voxel V7 without making voxel V6 a specified voxel.
  • a wire 53 is positioned on the extension line of the optical path between the voxel V7 and the corresponding pixel P33 of the camera 30. Therefore, the CPU 41 identifies the pixels P11, P21, P31 corresponding to the voxel V7 as 0, 0, 1, respectively. Then, the CPU 41 specifies 0 as the minimum brightness of voxel V7, and proceeds to process voxels V8 and V9 without making voxel V7 a specific voxel.
  • step S204 the process of specifying a voxel to be specified including the object shown in step S103 in FIG. 3 ends.
  • step S103 in FIG. 3 When the CPU 41 changes y by ⁇ y and executes the process of step S103 in FIG. 3 in all the spaces in which the voxel V exists, it determines YES in step S104 in FIG. A three-dimensional image of the wire 53 is generated by connecting specific voxels in the plane.
  • the three-dimensional image generation method of the embodiment when a plurality of voxels V are set in a space containing an object, and the plurality of voxels V are imaged from different angles by a plurality of cameras 10, 20, and 30,
  • the lightness detected by each pixel of each camera 10, 20, 30 corresponding to the voxel V containing the object becomes bright lightness 1 due to reflection by the object, and the minimum lightness of the voxel V becomes 1.
  • at least one of the brightness detected by each pixel of each camera 10, 20, 30 corresponding to the voxel V in which the object does not exist is a dark brightness of 0, and the minimum brightness of the voxel V is 0.
  • the minimum brightness is 1, the voxel V is identified as a specific voxel containing the object, and the specific voxels are connected to generate a three-dimensional image of the object.
  • the three-dimensional image generation device 100 of the embodiment processes images captured by a plurality of cameras 10, 20, and 30 to generate a three-dimensional image.
  • a three-dimensional image can be generated without any hardware operation such as causing the wire 53 to generate a three-dimensional image in a short period of time.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

撮像素子（１１，２１，３１）を用いた複数のカメラ（１０，２０，３０）と、カメラ（１０，２０，３０）が撮像した各画像を処理する制御部（４０）と、を備え、制御部（４０）は、対象物を含む空間内に複数のボクセル（Ｖ）を設定し、複数の方向から複数のボクセル（Ｖ）を撮像し、（ａ）複数のボクセル（Ｖ）の内の一ボクセル（Ｖ）に対応する各撮像素子（１１，２１，３１）の各明度を検出し、（ｂ）検出した各明度の内で一番小さいものを一ボクセル（Ｖ）の最小明度として特定し、（ｃ）特定した最小明度が所定の閾値以上の場合に、一ボクセル（Ｖ）を対象物を含む特定ボクセルとして特定し、（ａ）～（ｃ）の動作を複数のボクセル（Ｖ）全てについて繰り返し実行し、（ｃ）で特定した複数の特定ボクセルを接続して対象物の三次元画像を生成する。

Description

三次元画像生成装置及び三次元画像生成方法
　本発明は、カメラを用いた対象物の三次元画像生成装置及び三次元画像生成方法に関する。
　半導体チップのパッドと基板のリードとを接続するボンディングワイヤ（以下、ワイヤという）等の対象物の三次元画像を生成する方法が提案されている（例えば、特許文献１参照）。
　特許文献１に記載された方法は、ワイヤをリング状照明器で照明し、焦点深度を浅くした光学系を用いて合焦高さを変化させながらワイヤ画像を撮像し、各ワイヤ画像の中心に現出した暗部を検出することにより、各合焦高さにおけるワイヤの各ＸＹ座標を検出し、それらのデータからワイヤ全体の三次元形状を検出し、三次元画像を生成するものである。
特許第３２３５００９号明細書
　しかし、特許文献１に記載の方法では、光学系の合焦高さを変化させて複数の画像を撮像することが必要なため、三次元画像の生成に掛かる時間が長くなってしまうという問題があった。
　そこで、本発明は、短時間に対象物の三次元画像を生成することを目的とする。
　本発明の三次元画像生成装置は、撮像素子を用いた複数のカメラと、カメラが撮像した各画像を処理する制御部と、を備え、制御部は、対象物を含む空間内に複数のボクセルを設定し、複数のカメラで複数の方向から複数のボクセルを撮像し、（ａ）複数のボクセルの内の一ボクセルに対応する各カメラの各撮像素子の各明度を検出し、（ｂ）各カメラが検出した各明度の内で一番小さいものを一ボクセルの最小明度として特定し、（ｃ）特定した最小明度が所定の閾値以上の場合に、一ボクセルを対象物を含む特定ボクセルとして特定し、（ａ）～（ｃ）の動作を複数のボクセル全てについて繰り返し実行し、（ｃ）で特定した複数の特定ボクセルを接続して対象物の三次元画像を生成すること、を特徴とする。
　本発明の三次元画像生成方法は、撮像素子を用いた複数のカメラを準備し、対象物を含む空間内に複数のボクセルを設定し、複数のカメラで複数の方向から複数のボクセルを撮像し、（ａ）複数のボクセルの内の一ボクセルに対応する各カメラの各撮像素子の各明度を検出し、（ｂ）各カメラが検出した各明度の内で一番小さいものを一ボクセルの最小明度として特定し、（ｃ）特定した最小明度が所定の閾値以上の場合に、一ボクセルを対象物を含む特定ボクセルとして特定し、（ａ）～（ｃ）の動作を複数のボクセル全てについて繰り返し実行し、（ｃ）で特定した複数の特定ボクセルを接続して対象物の三次元画像を生成すること、を特徴とする。
　このように、複数のカメラで撮影した画像を処理して三次元画像を生成するので、光学系の合焦高さを変化させる等のハードウェアの動作を伴わずに三次元画像を生成することができ、短時間で対象物の三次元画像の生成を行うことができる。
　本発明の三次元画像生成方法において、対象物を上方から照明し、複数のカメラは、対象物の上方に設定してもよい。
　これにより、簡便な方法で三次元画像の生成を行うことができる。
　本発明の三次元画像生成方法において、対象物は、半導体素子の電極と基板の電極、又は、半導体素子の一の電極と半導体素子の他の電極とを接続するワイヤでもよい。
　このように、ワイヤの三次元画像生成を短時間に行うことができる。
　本発明は、短時間に対象物の三次元画像を生成することができる。
実施形態の三次元画像生成方法を実行する三次元画像生成装置の構成を示す系統図である。 図１に示すｙ＝ｙ１の面のボクセルを複数のカメラで撮像した場合の各ボクセル中心と各カメラの撮像素子の位置との関係を示す説明図である。 実施形態の三次元画像生成方法の工程を示すフローチャートである。 図３に示す工程中の対象物を含む特定ボクセルを特定する処理を示すフローチャートである。 各ボクセルの最小明度と特定ボクセルの特定処理を説明する表である。
　以下、図面を参照しながら実施形態の三次元画像生成方法を実行する三次元画像生成装置１００について説明する。以下の説明では、三次元画像生成装置１００は、図１に示すように、半導体素子の電極５１と基板の電極５２とを接続するワイヤ５３の三次元画像を生成することとして説明するが、他の対象物の三次元画像の生成を行うことも可能である。
　三次元画像生成装置１００は、撮像素子を用いた３つのカメラ１０，２０，３０と、カメラ１０，２０，３０が撮像した画像を処理して対象物であるワイヤ５３の三次元画像を生成する制御部４０と、ワイヤ５３を照明する光源４５とを含んでいる。本実施形態では、カメラは３つとして説明するが、複数であれば３つに限らず、２つでも４つ以上でもよい。
　光源４５はワイヤ５３の上方に配置されている。また、カメラ１０は、ワイヤ５３の上方に配置されており、カメラ２０，３０は、ワイヤ５３の上方で各光軸２０ａ，３０ａがカメラ１０の光軸１０ａに対して傾斜するようにして配置されている。制御部４０は、内部に情報処理を行うＣＰＵ４１とメモリ４２とを含むコンピュータで構成されている。
　ワイヤ５３を含む空間には、複数のボクセルＶが設定されている。ボクセルＶはワイヤ５３が存在する空間内全てに設定されている。ボクセルＶの各中心座標はＶｃ（ｘ，ｙ，ｈ）で表される。図１では、ワイヤ５３を含む空間に設定された９つのボクセルＶ１～Ｖ９を示す。９つのボクセルＶ１～Ｖ９は、各中心座標はＶｃ（ｘ，ｙ，ｈ）のｙ方向の座標がｙ１の平面内に位置しており、ｘ座標がｘ１，ｘ２，ｘ３で、それぞれ高さｈがｈ１，ｈ２，ｈ３の位置となっている。また、Ｖｃ（ｘ２，ｙ１，ｈ２）に中心があるボクセルＶ５にはワイヤ５３のｙ＝ｙ１の断面が位置している。
　次に図２を参照しながら、図１を参照して説明した９つのボクセルＶ１～Ｖ９と、各カメラ１０，２０，３０の各撮像素子１１，２１，３１の各画素の位置との関係の例について説明する。
　ボクセルＶ１は、中心位置Ｖｃ（ｘ１，ｙ１，ｈ１）であり、カメラ１０の撮像素子１１の画素Ｐ１１、カメラ２０の撮像素子２１の画素Ｐ２３、カメラ３０の撮像素子３１の画素Ｐ３１に対応する。同様にボクセルＶ２の中心位置Ｖｃ（ｘ２，ｙ１，ｈ１）は、撮像素子１１の画素Ｐ１２に対応し、撮像素子２１の画素Ｐ２４、撮像素子３１の画素Ｐ３２に対応する。また、ボクセルＶ３の中心位置Ｖｃ（ｘ３，ｙ１，ｈ１）は、撮像素子１１の画素Ｐ１３に対応し、撮像素子２１の画素Ｐ２５、撮像素子３１の画素Ｐ３３に対応する。以下、同様に、同様にボクセルＶ４の中心位置Ｖｃ（ｘ１，ｙ１，ｈ２）は画素Ｐ１１、画素Ｐ２２、画素Ｐ３２に対応し、ボクセルＶ５の中心位置Ｖｃ（ｘ２，ｙ１，ｈ２）は画素Ｐ１２、画素Ｐ２３、画素Ｐ３３に対応し、ボクセルＶ６の中心位置Ｖｃ（ｘ３，ｙ１，ｈ２）は画素Ｐ１３、画素Ｐ２４、画素Ｐ３４に対応する。更に、ボクセルＶ７の中心位置Ｖｃ（ｘ１，ｙ１，ｈ３）は画素Ｐ１１、画素Ｐ２１、画素Ｐ３３に対応し、ボクセルＶ８の中心位置Ｖｃ（ｘ２，ｙ１，ｈ３）は画素Ｐ１２、画素Ｐ２２、画素Ｐ３４に対応し、ボクセルＶ９の中心位置Ｖｃ（ｘ３，ｙ１，ｈ３）は画素Ｐ１３、画素Ｐ２３、画素Ｐ３５に対応する。
　そして、各カメラ１０，２０，３０でボクセルＶ１～Ｖ９を撮像すると、各ボクセルＶ１～Ｖ９の明度は対応する各カメラ１０，２０，３０の各撮像素子１１，２１，３１の各対応する画素の明度として検出される。
　次に図３から図５を参照して三次元画像生成装置１００の動作について説明する。
　三次元画像生成装置１００の制御部４０のＣＰＵ４１は、図３のステップＳ１０１に示すように、複数のカメラ１０，２０，３０で複数の方向から複数のボクセルＶを撮像する。そして、ステップＳ１０２で各カメラ１０，２０，３０が撮像した画像分析面をｙ＝０の面に設定し、ステップＳ１０３でｙ＝０の面の中で対象物であるワイヤ５３を含むボクセルＶを特定ボクセルとして特定する。そして、ｙがボクセルＶの存在するｙの最大値であるｙｅｎｄとなるまでステップＳ１０５でｙをΔｙずつ増加させてステップＳ１０３を繰り返し実行する。そして、ステップＳ１０４でＹＥＳと判断した場合には、図３のステップＳ１０６に進んでステップＳ１０３で特定した複数の特定ボクセルを接続して対象物の三次元画像を生成する。
　ここで、制御部４０のＣＰＵ４１が実行する図３のステップＳ１０３の対象物を含む特定ボクセルを特定する処理の例について、図４、図５を参照しながら説明する。以下の説明では、図１に示すｙ＝ｙ１の平面に中心座標が位置するボクセルＶ１～Ｖ９において対象物であるワイヤ５３を含む特定ボクセルを特定する処理について説明する。
　図３を参照して説明したように、各カメラ１０，２０，３０でボクセルＶ１～Ｖ９を撮像すると、各ボクセルＶ１～Ｖ９の明度は対応する各カメラ１０，２０，３０の各撮像素子１１，２１，３１の各対応する画素の明度として検出される。ワイヤ５３を含むボクセルＶはワイヤ５３で光が反射されるためワイヤ５３を含むボクセルＶに対応する画素は明るい明度１を検出する。一方、ワイヤ５３を含まないボクセルＶは光を反射しないので暗い明度０を検出する。ただし、ボクセルＶと画素との光路の間又は光路の延長線上にワイヤ５３を含む他のボクセルＶが存在するとその画素は、他のボクセルＶの明るい明度１を検出する。
　図４のステップＳ２０１に示すように、制御部４０のＣＰＵ４１は、カメラ１０，２０，３０が撮像した画像から、複数のボクセルの内の一ボクセルに対応する各カメラ１０，２０，３０の各撮像素子１１，２１，３１の各明度を検出する。
　ＣＰＵ４１がボクセルＶ１の明度を検出する場合について説明する。図２、図５に示すように、ボクセルＶ１は、ワイヤ５３を含まないボクセルＶである。対応するカメラ１０，３０の各撮像素子１１，３１の画素Ｐ１１，Ｐ３１は、画素Ｐ１１，Ｐ３１とボクセルＶ１との間にワイヤ５３が存在しないので、ボクセルＶ１の暗い明度０を検出する。一方、対応するカメラ２０の撮像素子２１の画素Ｐ２３はボクセルＶ１と画素Ｐ２３との間にワイヤ５３を含むボクセルＶ５が存在するので、ボクセルＶ１の暗い明度ではなく、ボクセルＶ５の明るい明度１を検出する。このため、ＣＰＵ４１は、図５に示すように、ボクセルＶ１に対応する３つの画素Ｐ１１，Ｐ２３，Ｐ３１の明度を、それぞれ明度０，１，０と検出する。
　次にＣＰＵ４１は、図４のステップＳ２０２に進んで、各カメラ１０，２０，３０が検出した各明度の内で一番小さいものをそのボクセルＶの最小明度として特定する。ボクセルＶ１では、検出した明度は、０，１，０であるから、最小明度は０と特定する。
　そして、ＣＰＵ４１は、図４のステップＳ２０３に進んで、特定した最小明度が所定の閾値よりも大きい場合に、そのボクセルは対象物であるワイヤ５３を含む特定ボクセルと特定する。閾値は、０よりも大きい所定の値とすることができ、例えば、１としてもよい。ボクセルＶ１の場合は、最小明度が０であるから、ＣＰＵ４１は、ボクセルＶ１を特定ボクセルと特定せずに図４のステップＳ２０４に進み、ｙ＝ｙ１の面に中心がある全てのボクセルＶについてステップＳ２０１～Ｓ２０３の処理を行ったかどうか判断し、ＮＯの場合、ステップＳ２０１に戻って次のボクセルＶについてステップＳ２０１～Ｓ２０３の処理を行う。
　ＣＰＵ４１は、ボクセルＶ１の処理を行った後、図４のステップＳ２０４でＮＯと判断して図４のステップＳ２０１に戻り、ボクセルＶ２についてステップＳ２０１～Ｓ２０３の処理を行う。
　ＣＰＵ４１は、図５に示すように、ボクセルＶ１と同様に、ボクセルＶ２に対応する３つの画素Ｐ１２，Ｐ２４，Ｐ３２の明度を検出する。この場合、ボクセルＶ２と画素Ｐ１２の間にはワイヤ５３を含むボクセルＶ５が位置しているので、画素Ｐ１２は明度１を検出する。従って、ＣＰＵ４１は、ボクセルＶ２に対応する３つの画素Ｐ１２，Ｐ２４，Ｐ３２の明度を１，０，０と検出する。そして、ＣＰＵ４１は、ステップＳ２０２でボクセルＶ２の最小明度を０と特定し、ステップＳ２０３でボクセルＶ２を特定ボクセルと特定せずに図４のステップＳ２０４に進み、ボクセルＶ３の処理をおこなう。
　以下、同様にＣＰＵ４１は、図５に示すように、ボクセルＶ３～Ｖ４について各画素の明度を特定し、最小明度を０と特定し、ボクセルＶ３～Ｖ４を特定ボクセルとしない。
　ＣＰＵ４１は、ボクセルＶ５に対応する各画素Ｐ１２，Ｐ２３，Ｐ３３の各明度を検出する。ボクセルＶ５はワイヤ５３をそれぞれ含むボクセルＶであるから、各カメラ１０，２０，３０のいずれの撮像素子１１，２１，３１の対応する画素Ｐ１２，Ｐ２３，Ｐ３３も明るい明度１を検出する。従って、ＣＰＵ４１は、ボクセルＶ５の最小明度を１と特定し、ボクセルＶ５を特定ボクセルに特定してボクセルＶ６の処理に進む。
　図５に示すように、ＣＰＵ４１は、ステップＳ２０１でボクセルＶ６に対応する各画素の各明度をそれぞれ、０，０，０と特定する。そして、ＣＰＵ４１はステップＳ２０２でボクセルＶ６の最小明度を０と特定し、ボクセルＶ６を特定ボクセルとせずにボクセルＶ７の処理に進む。
　ボクセルＶ７はボクセルＶ７とカメラ３０の対応する画素Ｐ３３との間の光路の延長線上にワイヤ５３が位置している。このため、ＣＰＵ４１は、ボクセルＶ７に対応する各画素Ｐ１１，Ｐ２１，Ｐ３１をそれぞれ０，０，１と特定する。そして、ＣＰＵ４１は、ボクセルＶ７の最小明度を０と特定し、ボクセルＶ７を特定ボクセルとせずにボクセルＶ８，Ｖ９の処理に進む。
　ボクセルＶ７と同様、ＣＰＵ４１は、ボクセルＶ８，Ｖ９の対応する画素の明度をそれぞれ、１，０，０、及び、０，１，０と検出し、各最小明度を０と特定し、ボクセルＶ８，Ｖ９を特定ボクセルとしないで図４のステップＳ２０４に進み、ステップＳ２０４でＹＥＳと判断して図３のステップＳ１０３に示す対象物を含む特定するボクセルを特定する処理を終了する。
　この処理により、ＣＰＵ４１は、図５に示すようにｙ＝ｙ１の平面に座標中心にある９つのボクセルＶ１～Ｖ９の内でワイヤ５３を含むボクセルＶ５のみを特定ボクセルとして特定する。
　ＣＰＵ４１はｙをΔｙずつ変化させて、ボクセルＶが存在する全ての空間で図３のステップＳ１０３の処理を実行したら、図３のステップＳ１０４でＹＥＳと判断して図３のステップＳ１０６に進んで各平面における特定ボクセルを接続することにより、ワイヤ５３の三次元画像を生成する。
　このように、実施形態の三次元画像生成方法は、対象物を含む空間内に複数のボクセルＶを設定し、複数のボクセルＶを異なる角度から複数のカメラ１０，２０，３０で撮像した場合、対象物を含むボクセルＶに対応する各カメラ１０，２０，３０の各画素が検出する明度は対象物による反射により全て明るい明度１となり、そのボクセルＶの最小明度は１となる。一方、対象物が存在しないボクセルＶに対応する各カメラ１０，２０，３０の各画素が検出する明度の少なくとも１つが暗い明度０となり、そのボクセルＶの最小明度は０となる。これにより、最小明度が１となる場合にそのボクセルＶを対象物を含む特定ボクセルに特定し、その特定ボクセルを接続して対象物の三次元画像を生成するものである。
　以上説明したように、実施形態の三次元画像生成装置１００は、複数のカメラ１０，２０，３０で撮影した画像を処理して三次元画像を生成するので、光学系の合焦高さを変化させる等のハードウェアの動作を伴わずに三次元画像を生成することができ、短時間でワイヤ５３等の対象物の三次元画像の生成を行うことができる。
　１０，２０，３０　カメラ、１０ａ，２０ａ，３０ａ　光軸、１１，２１，３１　撮像素子、４０　制御部、４１　ＣＰＵ、４２　メモリ、４５　光源、５１，５２　電極、５３　ワイヤ、１００　三次元画像生成装置。

Claims (5)

  1. 　三次元画像生成装置であって、
    　撮像素子を用いた複数のカメラと、
    　前記カメラが撮像した各画像を処理する制御部と、を備え、
    　前記制御部は、
    　対象物を含む空間内に複数のボクセルを設定し、
    　複数の前記カメラで複数の方向から複数のボクセルを撮像し、
    　（ａ）複数のボクセルの内の一ボクセルに対応する各前記カメラの各前記撮像素子の各明度を検出し、
    　（ｂ）各前記カメラが検出した各明度の内で一番小さいものを前記一ボクセルの最小明度として特定し、
    　（ｃ）特定した最小明度が所定の閾値以上の場合に、前記一ボクセルを前記対象物を含む特定ボクセルとして特定し、
    　前記（ａ）～（ｃ）の動作を複数のボクセル全てについて繰り返し実行し、
    　（ｃ）で特定した複数の特定ボクセルを接続して前記対象物の三次元画像を生成すること、
    　を特徴とする三次元画像生成装置。
  2. 　三次元画像生成方法であって、
    　撮像素子を用いた複数のカメラを準備し、
    　対象物を含む空間内に複数のボクセルを設定し、
    　複数の前記カメラで複数の方向から複数のボクセルを撮像し、
    　（ａ）複数のボクセルの内の一ボクセルに対応する各前記カメラの各前記撮像素子の各明度を検出し、
    　（ｂ）各前記カメラが検出した各明度の内で一番小さいものを前記一ボクセルの最小明度として特定し、
    　（ｃ）特定した最小明度が所定の閾値以上の場合に、前記一ボクセルを前記対象物を含む特定ボクセルとして特定し、
    　前記（ａ）～（ｃ）の動作を複数のボクセル全てについて繰り返し実行し、
    　（ｃ）で特定した複数の特定ボクセルを接続して前記対象物の三次元画像を生成すること、
    　を特徴とする三次元画像生成方法。
  3. 　請求項２に記載の三次元画像生成方法であって、
    　前記対象物を上方から照明し、
    　複数の前記カメラは、前記対象物の上方に設定すること、
    　を特徴とする三次元画像生成方法。
  4. 　請求項２に記載の三次元画像生成方法であって、
    　前記対象物は、半導体素子の電極と基板の電極、又は、前記半導体素子の一の電極と前記半導体素子の他の電極とを接続するワイヤであること、
    　を特徴とする三次元画像生成方法。
  5. 　請求項３に記載の三次元画像生成方法であって、
    　前記対象物は、半導体素子の電極と基板の電極、又は、前記半導体素子の一の電極と前記半導体素子の他の電極とを接続するワイヤであること、
    　を特徴とする三次元画像生成方法。
PCT/JP2021/028121 2021-07-29 2021-07-29 三次元画像生成装置及び三次元画像生成方法 WO2023007657A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180073161.1A CN116457832A (zh) 2021-07-29 2021-07-29 三维画像产生装置以及三维画像产生方法
KR1020237035730A KR20230158581A (ko) 2021-07-29 2021-07-29 3차원 화상 생성 장치 및 3차원 화상 생성 방법
PCT/JP2021/028121 WO2023007657A1 (ja) 2021-07-29 2021-07-29 三次元画像生成装置及び三次元画像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/028121 WO2023007657A1 (ja) 2021-07-29 2021-07-29 三次元画像生成装置及び三次元画像生成方法

Publications (1)

Publication Number Publication Date
WO2023007657A1 true WO2023007657A1 (ja) 2023-02-02

Family

ID=85087743

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/028121 WO2023007657A1 (ja) 2021-07-29 2021-07-29 三次元画像生成装置及び三次元画像生成方法

Country Status (3)

Country Link
KR (1) KR20230158581A (ja)
CN (1) CN116457832A (ja)
WO (1) WO2023007657A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10122823A (ja) * 1996-08-27 1998-05-15 Olympus Optical Co Ltd 位置合せ方法およびこの方法を用いた高さ測定装置
JP2018032938A (ja) * 2016-08-23 2018-03-01 キヤノン株式会社 画像処理装置、画像処理の方法およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3235009B2 (ja) 1994-09-09 2001-12-04 株式会社新川 ボンディングワイヤ検査方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10122823A (ja) * 1996-08-27 1998-05-15 Olympus Optical Co Ltd 位置合せ方法およびこの方法を用いた高さ測定装置
JP2018032938A (ja) * 2016-08-23 2018-03-01 キヤノン株式会社 画像処理装置、画像処理の方法およびプログラム

Also Published As

Publication number Publication date
CN116457832A (zh) 2023-07-18
KR20230158581A (ko) 2023-11-20

Similar Documents

Publication Publication Date Title
US20240118218A1 (en) Stroboscopic stepped illumination defect detection system
CN107316047B (zh) 图像处理装置、图像处理方法以及存储介质
TWI268104B (en) Apparatus and method for processing images
WO2019233264A1 (zh) 图像处理方法、计算机可读存储介质和电子设备
US4866629A (en) Machine vision process and apparatus for reading a plurality of separated figures
WO2022126870A1 (en) Three-dimensional imaging method and method based on light field camera and three-dimensional imaging measuring production line
JP6337614B2 (ja) 制御装置、ロボット、及び制御方法
US20210004943A1 (en) Image processing device, image processing method, and recording medium
CN112489037B (zh) 缺陷检测及相关模型的训练方法、电子设备和存储装置
JP7450245B2 (ja) 三次元画像生成装置及び三次元画像生成方法
WO2023108545A1 (en) Method for constructing defect detection model of micro led array panel, apparatures for dectectig pixel defect and devices
JP2019057211A (ja) 部品計数装置、部品計数方法およびプログラム
JPH07198354A (ja) 画像処理を使用しての搭載されたコネクタピンのテスト
JP2023077054A (ja) 外観検査装置及び外観検査方法
WO2023007657A1 (ja) 三次元画像生成装置及び三次元画像生成方法
WO2019176614A1 (ja) 画像処理装置、画像処理方法、およびコンピュータプログラム
JP6433810B2 (ja) ボンディングワイヤの検出方法及びボンディングワイヤの検出装置
JP2021022637A (ja) ボンディングワイヤの検査装置、ボンディングワイヤの検査方法、及びボンディングワイヤの検査プログラム
JP2014062837A (ja) 欠陥検査装置及び欠陥レビュー装置
CN115082552B (zh) 标记孔的定位方法、装置、装配设备及存储介质
TWI794909B (zh) 三維畫像產生裝置以及三維畫像產生方法
JP2019158711A (ja) 画像処理システム、画像処理装置、画像処理プログラム
CN111383262B (zh) 遮挡检测方法、系统、电子终端以及存储介质
JP6939501B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
KR910007348B1 (ko) 다수의 개별 도형 판별용 기계시각 인식 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21951119

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202180073161.1

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 20237035730

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020237035730

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE