TWI794909B

TWI794909B - 三維畫像產生裝置以及三維畫像產生方法

Info

Publication number: TWI794909B
Application number: TW110127875A
Authority: TW
Inventors: 金城𨺓也
Original assignee: 日商雅馬哈智能機器控股股份有限公司
Priority date: 2021-07-29
Filing date: 2021-07-29
Publication date: 2023-03-01
Also published as: TW202305316A

Abstract

本發明的課題是於短時間內產生對象物的三維畫像。三維畫像產生裝置包括：多個相機，使用了拍攝元件；及控制部，處理由相機拍攝的各畫像，控制部於包含對象物的空間內設定多個體素，自多個方向拍攝多個體素，（a）檢測與多個體素中的一個體素對應的各拍攝元件的各亮度，（b）將檢測出的各亮度中最小的亮度特定為一個體素的最小亮度，（c）於特定的最小亮度為規定的臨限值以上的情況下，將一個體素特定為包含對象物的特定體素，針對多個體素全部反覆執行（a）～（c）的動作，將（c）中特定的多個特定體素連接而產生對象物的三維畫像。

Description

三維畫像產生裝置以及三維畫像產生方法

本發明是有關於一種使用了相機的對象物的三維畫像產生裝置以及三維畫像產生方法。

提出了一種產生將半導體晶片的焊墊(pad)與基板的引線連接的接合線(bonding wire)(以下稱為線)等對象物的三維畫像的方法(例如，參照專利文獻1)。

專利文獻1中記載的方法是如下方法：利用環狀照明器對線進行照明，使用焦點深度變淺的光學系統一邊使聚焦高度發生變化一邊拍攝線畫像，檢測於各線畫像的中心出現的暗部，藉此檢測各聚焦高度的線的各XY座標，根據該些資料檢測線整體的三維形狀，並產生三維畫像。

[現有技術文獻]

[專利文獻]

[專利文獻1]日本專利第3235009號說明書

但是，專利文獻1中記載的方法中，需要使光學系統的聚焦高度發生變化並拍攝多個畫像，因此存在三維畫像的產生所需的時間變長的問題。

因此，本發明的目的是於短時間內產生對象物的三維畫像。

本發明的三維畫像產生裝置的特徵在於包括：使用了拍攝元件的多個相機；以及控制部，處理由相機拍攝的各畫像，控制部於包含對象物的空間內設定多個體素，利用多個相機自多個方向拍攝多個體素，(a)檢測與多個體素中的一個體素對應的各相機的各拍攝元件的各亮度，(b)將各相機的所檢測出的各亮度中最小的亮度特定為一個體素的最小亮度，(c)於特定的最小亮度為規定的臨限值以上的情況下，將一個體素特定為包含對象物的特定體素，針對多個體素全部反覆執行(a)~(c)的動作，將(c)中特定的多個特定體素連接而產生對象物的三維畫像。

本發明的三維畫像產生方法的特徵在於，準備使用了拍攝元件的多個相機，於包含對象物的空間內設定多個體素，利用多個相機自多個方向拍攝多個體素，(a)檢測與多個體素中的一個體素對應的各相機的各拍攝元件的各亮度，(b)將各相機的所檢測出的各亮度中最小的亮度特定為一個體素的最小亮度，(c)於特定的最小亮度為規定的臨限值以上的情況下，將一個體素特定為包含對象物的特定體素，針對多個體素全部反覆執行(a)~(c)的動作，將(c)中特定的多個特定體素連接而產生對象物的三維畫像。

如此，處理由多個相機拍攝的畫像而產生三維畫像，因此可於不伴隨使光學系統的聚焦高度發生變化等硬體的動作的情況下產生三維畫像，可於短時間內產生對象物的三維畫像。

本發明的三維畫像產生方法中，可自上方對對象物進行照明，多個相機設定於對象物的上方。

藉此，可利用簡單的方法產生三維畫像。

本發明的三維畫像產生方法中，對象物可為連接半導體元件的電極與基板的電極或者半導體元件的一個電極與半導體元件的其他電極的線。

如此，可於短時間內產生線的三維畫像。

本發明可於短時間內產生對象物的三維畫像。

10、20、30:相機

10a、20a、30a:光軸

11、21、31:拍攝元件

40:控制部

41:CPU

42:記憶體

45:光源

51、52:電極

53:線

100:三維畫像產生裝置

h、h1、h2、h3:高度

x、x1、x2、x3:座標

y:方向

P₁₁~P₁₃、P₂₁~P₂₅、P₃₁~P₃₅:畫素

V、V1~V9:體素

Vc(x，y，h)、Vc(x1，y1，h1)、Vc(x2，y1，h1)、Vc(x3，y1，h1)、Vc(x1，y1，h2)、Vc(x2，y1，h2)、Vc(x3，y1，h2)、Vc(x1，y1，h3)、Vc(x2，y1，h3)、Vc(x3，y1，h3)、(x1，y1)、(x2，y1)、(x3，y1):座標

S101~S106、S201~S204:步驟

圖1是表示執行實施方式的三維畫像產生方法的三維畫像產生裝置的結構的系統圖。

圖2是表示利用多個相機拍攝圖1所示的y=y1的面的體素時的各體素中心與各相機的拍攝元件的位置的關係的說明圖。

圖3是表示實施方式的三維畫像產生方法的步驟的流程圖。

圖4是表示圖3所示的步驟中的對包含對象物的特定體素進行特定的處理的流程圖。

圖5是說明各體素的最小亮度與特定體素的特定處理的表。

以下，參照圖示對執行實施方式的三維畫像產生方法的三維畫像產生裝置100進行說明。以下的說明中，如圖1所示，三維畫像產生裝置100以產生將半導體元件的電極51與基板的電極52連接的線53的三維畫像的形式進行了說明，但亦可產生其他對象物的三維畫像。

三維畫像產生裝置100包括：三個相機10、20、30，使用了拍攝元件；控制部40，處理由相機10、相機20、相機30拍攝的畫像而產生作為對象物的線53的三維畫像；以及光源45，對線53進行照明。本實施方式中，將相機以三個進行說明，但若為多個則不限於三個，可為兩個，亦可為四個以上。

光源45配置於線53的上方。另外，相機10配置於線53的上方，相機20、相機30以於線53的上方各光軸20a、30a相對於相機10的光軸10a傾斜的方式配置。控制部40包括包含在內部進行資訊處理的中央處理單元(Central Processing Unit，CPU)41及記憶體42的電腦。

於包含線53的空間中設定有多個體素V。體素V設定於存在線53的所有空間內。體素V的各中心座標以Vc(x，y，h)表示。圖1中示出了設定於包含線53的空間中的九個體素V1~V9。九個體素V1~V9的各中心座標中，Vc(x，y，h)的y方向座標位於y1的平面內，成為x座標為x1、x2、x3且高度h分別為h1、h2、h3的位置。另外，線53的y=y1的剖面位於中心處於 Vc(x2，y1，h2)的體素V5。

其次，參照圖2說明參照圖1說明的九個體素V1~V9與各相機10、20、30的各拍攝元件11、21、31的各畫素的位置的關係的例子。

體素V1的中心位置是Vc(x1，y1，h1)，與相機10的拍攝元件11的畫素P11、相機20的拍攝元件21的畫素P23、相機30的拍攝元件31的畫素P31對應。同樣地，體素V2的中心位置Vc(x2，y1，h1)與拍攝元件11的畫素P12對應，與拍攝元件21的畫素P24、拍攝元件31的畫素P32對應。另外，體素V3的中心位置Vc(x3，y1，h1)與拍攝元件11的畫素P13對應，與拍攝元件21的畫素P25、拍攝元件31的畫素P33對應。以下，同樣地，體素V4的中心位置Vc(x1，y1，h2)與畫素P11、畫素P22、畫素P32對應，體素V5的中心位置Vc(x2，y1，h2)與畫素P12、畫素P23、畫素P33對應，體素V6的中心位置Vc(x3，y1，h2)與畫素P13、畫素P24、畫素P34對應。進而，體素V7的中心位置Vc(x1，y1，h3)與畫素P11、畫素P21、畫素P33對應，體素V8的中心位置Vc(x2，y1，h3)與畫素P12、畫素P22、畫素P34對應，體素V9的中心位置Vc(x3，y1，h3)與畫素P13、畫素P23、畫素P35對應。

然後，於利用各相機10、20、30拍攝體素V1~體素V9時，各體素V1~V9的亮度作為對應的各相機10、20、30的各拍攝元件11、21、31的各對應的畫素的亮度被檢測出。

其次，參照圖3至圖5對三維畫像產生裝置100的動作進行說明。

三維畫像產生裝置100的控制部40的CPU 41如圖3的步驟S101所示利用多個相機10、20、30自多個方向拍攝多個體素V。然後，於步驟S102中將各相機10、20、30拍攝的畫像分析面設定為y=0的面，於步驟S103中將y=0的面中包含作為對象物的線53的體素V特定為特定體素。然後，於步驟S105中使y每次增加Δy，直至y成為存在體素V的y的最大值、即「yend」為止，反覆執行步驟S103。然後，於在步驟S104中判斷為是(YES)的情況下，進入至圖3的步驟S106，將步驟S103中特定的多個特定體素連接而產生對象物的三維畫像。

此處，參照圖4、圖5說明控制部40的CPU 41執行的圖3的步驟S103的對包含對象物的特定體素進行特定的處理的例子。以下的說明中，說明圖1所示的中心座標位於y=y1的平面的體素V1~體素V9中對包含作為對象物的線53的特定體素進行特定的處理。

如參照圖3所說明般，於利用各相機10、20、30拍攝體素V1~體素V9時，各體素V1~V9的亮度作為對應的各相機10、20、30的各拍攝元件11、21、31的各對應的畫素的亮度被檢測出。包含線53的體素V利用線53反射光，因此關於與包含線53的體素V對應的畫素，檢測出亮的亮度1。另一方面，不含線53的體素V不反射光，因此檢測出暗的亮度0。其中，於在體素 V與畫素的光路之間或光路的延長線上存在包含線53的其他體素V時，關於所述畫素，檢測出其他體素V的亮的亮度1。

如圖4的步驟S201所示，控制部40的CPU 41根據由相機10、相機20、相機30所拍攝的畫像，檢測與多個體素中的一個體素對應的各相機10、20、30的各拍攝元件11、21、31的各亮度。

對CPU 41檢測體素V1的亮度的情況進行說明。如圖2、圖5所示，體素V1是不包含線53的體素V。關於對應的相機10、相機30的各拍攝元件11、31的畫素P11、畫素P31，於畫素P11、畫素P31與體素V1之間不存在線53，因此檢測出體素V1的暗的亮度0。另一方面，關於對應的相機20的拍攝元件21的畫素P23，於體素V1與畫素P23之間存在包含線53的體素V5，因此檢測出體素V5的亮的亮度1而非體素V1的暗的亮度0。因此，如圖5所示，CPU 41將與體素V1對應的三個畫素P11、P23、P31的亮度分別檢測為亮度0、亮度1、亮度0。

其次，CPU 41進入至圖4的步驟S202，將各相機10、20、30的所檢測出的各亮度中最小的亮度特定為所述體素V的最小亮度。體素V1中，所檢測出的亮度為0、1、0，因此將最小亮度特定為0。

然後，CPU 41進入至圖4的步驟S203，於所特定的最小亮度為規定的臨限值以上的情況下，將所述體素特定為包含作為對象物的線53的特定體素。臨限值可設為比0大的規定值，例如可設為1。於體素V1的情況下，由於最小亮度為0，因此CPU 41不將體素V1特定為特定體素而進入至圖4的步驟S204，判斷是否對中心處於y=y1的面的所有體素V進行了步驟S201~步驟S203的處理，於否(NO)的情況下，返回至步驟S201，對接下來的體素V進行步驟S201~步驟S203的處理。

CPU 41於進行了體素V1的處理後，於圖4的步驟S204中判斷為否(NO)，返回至圖4的步驟S201，並對體素V2進行步驟S201~步驟S203的處理。

如圖5所示，CPU 41與體素V1同樣地檢測與體素V2對應的三個畫素P12、P24、P32的亮度。於所述情況下，包含線53的體素V5位於體素V2與畫素P12之間，因此關於畫素P12，檢測出亮度1。因此，CPU 41將與體素V2對應的三個畫素P12、P24、P32的亮度檢測為1、0、0。然後，CPU 41於步驟S202中將體素V2的最小亮度特定為0，於步驟S203中不將體素V2特定為特定體素而進入至圖4的步驟S204，進行體素V3的處理。

以下，同樣地，如圖5所示，CPU 41對體素V3~體素V4特定各畫素的亮度，將最小亮度特定為0，且不將體素V3~體素V4作為特定體素。

CPU 41檢測與體素V5對應的各畫素P12、P23、P33的各亮度。體素V5是分別包含線53的體素V，因此關於各相機10、20、30中的任一者的拍攝元件11、拍攝元件21、拍攝元件31的對應的畫素P12、P23、P33，亦檢測出亮的亮度1。因此， CPU 41將體素V5的最小亮度特定為1，將體素V5特定為特定體素，並進入至體素V6的處理。

如圖5所示，CPU 41於步驟S201中將與體素V6對應的各畫素的各亮度分別特定為0、0、0。然後，CPU 41於步驟S202中將體素V6的最小亮度特定為0，且不將體素V6作為特定體素而進入至體素7的處理。

關於體素V7，線53位於體素V7與相機30的對應的畫素P33之間的光路的延長線上。因此，CPU 41將與體素V7對應的各畫素P11、P21、P33分別特定為0、0、1。然後，CPU 41將體素V7的最小亮度特定為0，且不將體素V7特定為特定體素而進入至體素V8、體素V9的處理。

與體素V7同樣地，CPU 41將體素V8、體素V9的對應的畫素的亮度分別檢測為1、0、0以及0、1、0，將各最小亮度特定為0，且不將體素V8、體素V9作為特定體素而進入至圖4的步驟S204，於步驟S204中判斷為是(YES)且使圖3的步驟S103所示的對包含對象物的特定體素進行特定的處理結束。

藉由所述處理，如圖5所示，CPU 41僅將於y=y1的平面處於座標中心的九個體素V1~V9中包含線53的體素V5特定為特定體素。

CPU 41使y每次變化Δy，於在存在體素V的所有空間執行圖3的步驟S103的處理後，於圖3的步驟S104中判斷為是(YES)而進入至圖3的步驟S106，藉由將各平面中的特定體素連接而產生線53的三維畫像。

如此，實施方式的三維畫像產生方法中，於包含對象物的空間內設定多個體素V，於自不同的角度利用多個相機10、20、30拍攝多個體素V的情況下，與包含對象物的體素V對應的各相機10、20、30的各畫素中所檢測出的亮度藉由對象物引起的反射而全部為亮的亮度1，所述體素V的最小亮度為1。另一方面，與不存在對象物的體素V對應的各相機10、20、30的各畫素中所檢測出的亮度中的至少一個為暗的亮度0，所述體素V的最小亮度為0。藉此，於最小亮度為1的情況下，將所述體素V特定為包含對象物的特定體素，將所述特定體素連接來產生對象物的三維畫像。

如以上所說明般，實施方式的三維畫像產生裝置100處理利用多個相機10、20、30拍攝的畫像而產生三維畫像，因此可於不伴隨使光學系統的聚焦高度發生變化等硬體的動作的情況下產生三維畫像，可於短時間內產生線53等對象物的三維畫像。

10、20、30:相機 10a、20a、30a:光軸 11、21、31:拍攝元件 40:控制部 41:CPU 42:記憶體 45:光源 51、52:電極 53:線 100:三維畫像產生裝置 h、h1、h2、h3:高度 x:座標 y:方向 V、V1～V9:體素 Vc（x，y，h）、（x2，y1，h2）、（x1，y1）、（x2，y1）、（x3，y1）:座標

Claims

一種三維畫像產生裝置，其特徵在於包括：多個相機，使用了拍攝元件；以及控制部，處理由所述相機拍攝的各畫像，所述控制部於包含對象物的空間內設定多個體素，利用多個所述相機自多個方向拍攝多個體素，（a）檢測與多個體素中的一個體素對應的各所述相機的各所述拍攝元件的各亮度，（b）將各所述相機的所檢測出的各亮度中最小的亮度特定為所述一個體素的最小亮度，（c）於特定的最小亮度為規定的臨限值以上的情況下，將所述一個體素特定為包含所述對象物的特定體素，針對多個體素全部反覆執行所述（a）～（c）的動作，將（c）中特定的多個特定體素連接而產生所述對象物的三維畫像。
一種三維畫像產生方法，其特徵在於，準備使用了拍攝元件的多個相機，於包含對象物的空間內設定多個體素，利用多個所述相機自多個方向拍攝多個體素，（a）檢測與多個體素中的一個體素對應的各所述相機的各所述拍攝元件的各亮度，（b）將各所述相機的所檢測出的各亮度中最小的亮度特定為所述一個體素的最小亮度，（c）於特定的最小亮度為規定的臨限值以上的情況下，將所述一個體素特定為包含所述對象物的特定體素，針對多個體素全部反覆執行所述（a）～（c）的動作，將（c）中特定的多個特定體素連接而產生所述對象物的三維畫像。
如請求項2所述的三維畫像產生方法，其中自上方對所述對象物進行照明，多個所述相機設定於所述對象物的上方。
如請求項2或請求項3所述的三維畫像產生方法，其中所述對象物是連接半導體元件的電極與基板的電極或者所述半導體元件的一個電極與所述半導體元件的其他電極的線。