TWI626623B - 三維檢測裝置以及用於三維檢測的方法 - Google Patents

三維檢測裝置以及用於三維檢測的方法 Download PDF

Info

Publication number
TWI626623B
TWI626623B TW106120012A TW106120012A TWI626623B TW I626623 B TWI626623 B TW I626623B TW 106120012 A TW106120012 A TW 106120012A TW 106120012 A TW106120012 A TW 106120012A TW I626623 B TWI626623 B TW I626623B
Authority
TW
Taiwan
Prior art keywords
image
axial direction
axis
plane
predetermined
Prior art date
Application number
TW106120012A
Other languages
English (en)
Other versions
TW201835852A (zh
Inventor
李文宗
溫光溥
林棟
Original Assignee
德律科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 德律科技股份有限公司 filed Critical 德律科技股份有限公司
Application granted granted Critical
Publication of TWI626623B publication Critical patent/TWI626623B/zh
Publication of TW201835852A publication Critical patent/TW201835852A/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)

Abstract

三維檢測裝置包含承載平台、影像感測組件以及資訊處理控制器。承載平台用以支撐物體。影像感測組件用以沿第一軸向、第二軸向以及第三軸向分別擷取物體的第一影像、第二影像以及第三影像，其中第一軸向、第二軸向以及第三軸向互不平行。資訊處理控制器用以分析第一影像以及第二影像以取得第一方位立體資訊，並分析第三影像與物體的預定影像，以取得第二方位立體資訊。

Description

三維檢測裝置以及用於三維檢測的方法
本發明是關於三維檢測裝置以及用於三維檢測的方法。
近年來，三維檢測物體的流程成為製作各種電子元件的流程中的一環。舉例而言，在電子板的製造過程中，在將元件裝設至板上並進行回焊過程後，會檢測各個元件的焊接狀態。
傳統的檢測三維物體(例如焊接狀態)的方法中，檢測者以肉眼檢測三維物體(例如焊接狀態)。因此，取決於檢測者的狀況以及技巧，使用此三維物體(例如焊接狀態)的產品品質並不一致。更甚者，當複雜的電子板(例如電路板)進行檢測時，由於傳統方法需要較長的檢測時間，傳統方法會面臨問題，其產量會明顯地降低。
根據本發明的範例性實施方式，以第一與第二方位立體資訊重建了物體的外觀。第一與第二方位立體資訊可藉 由分別計算兩對影像而取得，此兩對影像可以共用其中一個影像。或者，第一與第二方位立體資訊可藉由兩對影像而取得，其中多個影像互不相同。藉由此設置，可以提升檢測物體的精準度。
根據本發明之部分實施方式，三維檢測裝置包含承載平台、影像感測組件以及資訊處理控制器。承載平台用以支撐物體。影像感測組件用以沿第一軸向、第二軸向以及第三軸向分別擷取物體的第一影像、第二影像以及第三影像，其中第一軸向、第二軸向以及第三軸向互不平行。資訊處理控制器用以分析第一影像以及第二影像以取得第一方位立體資訊，並分析第三影像與物體的預定影像，以取得第二方位立體資訊，其中預定影像是沿預定軸向被擷取，預定軸向不平行於第二軸向以及第三軸向。
於部分實施方式中，影像感測組件包含多個影像感測器，分別設置於第一軸向、第二軸向以及第三軸向上並用以擷取第一影像、第二影像以及第三影像。
於部分實施方式中，影像感測組件包含靜止影像感測器以及可移動影像感測器，靜止影像感測器設置於第一軸向上且用以擷取第一影像，可移動影像感測器用以從第二軸向旋轉至第三軸向以擷取第二影像與第三影像。
於部分實施方式中，預定影像為第一影像，第一軸向垂直於該承載平台的上表面。
於部分實施方式中，預定影像為第一影像，第三軸向位於第一軸向與第二軸向所形成的第一平面上。
於部分實施方式中，預定影像為第一影像，第三軸向不位於第一軸向與第二軸向所形成的第一平面上。
於部分實施方式中，影像感測組件更用以沿第四軸向擷取物體之第四影像，第四軸向不平行於第一軸向、第二軸向以及第三軸向，資訊處理控制器更用以分析第一影像與第四影像，以取得第三方位立體資訊，其中第三軸向與第四軸向分別朝向第一平面的相反兩側延伸。
於部分實施方式中，影像感測組件更用以沿一第五軸向擷取物體之第五影像，第五軸向不平行於第一軸向、第二軸向、第三軸向以及第四軸向，資訊處理控制器更用以分析第一影像與第五影像，以取得第四方位立體資訊，其中第三軸向與第四軸向形成第二平面，第二軸向與第五軸向分別朝向第二平面的相反兩側延伸。
於部分實施方式中，影像感測組件包含多個影像感測器，分別設置於第一軸向、第二軸向、第三軸向以及第四軸向上並用以擷取第一影像、第二影像、第三影像以及第四影像。
於部分實施方式中，影像感測組件包含靜止影像感測器以及可移動影像感測器，靜止影像感測器設置於第一軸向上且用以擷取第一影像，可移動影像感測器用以沿著第二軸向、第三軸向以及第四軸向的至少一者，擷取第二影像、第三影像以及第四影像的至少一者。
於部分實施方式中，影像感測組件更用以沿一第四軸向擷取物體之一第四影像，預定影像為第四影像。
於部分實施方式中，影像感測組件包含多個影像感測器，分別設置於第一軸向、第二軸向、第三軸向以及第四軸向上，分別用以取得第一影像、第二影像、第三影像以及第四影像。
於部分實施方式中，影像感測組件包含靜止影像感測器以及可移動影像感測器，靜止影像感測器設置於第一軸向上且用以取得第一影像，可移動影像感測器用以沿著第二軸向、第三軸向以及第四軸向的至少一者，擷取第二影像、第三影像以及第四影像的至少一者。
於部分實施方式中，第一軸向與第二軸向所形成的第一平面垂直於承載平台之上表面，預定影像的被擷取的預定軸向與第三軸向所形成的第二平面垂直於承載平台之上表面。
於部分實施方式中，第一軸向與第二軸向形成第一平面，第一平面與承載平台之上表面的傾斜夾角在80度至100度的範圍內。
於部分實施方式中，第一軸向與第二軸向形成第一平面，預定影像被擷取的預定軸向與第三軸向形成第二平面，第一平面不平行於第二平面。
於部分實施方式中，三維檢測裝置更包含投影機，用以投射光學圖樣至物體。
根據本發明之部分實施方式，用於三維檢測的方法包含：設置物體於承載平台上；沿第一軸向擷取物體之第一影像、沿第二軸向擷取物體之第二影像以及沿第三軸向擷取物 體之第三影像，其中第一軸向、第二軸向以及第三軸向互不平行；分析第一影像與第二影像，以取得第一方位立體資訊；分析第三影像與物體的預定影像，以取得第二方位立體資訊，其中預定影像是沿預定軸向被擷取，預定軸向不平行於第二軸向以及第三軸向。
於部分實施方式中，預定影像為第一影像。
於部分實施方式中，方法包含投射光學圖樣至物體，其中光學圖樣具有多個隨機分布的點，其中擷取物體之第一影像、第二影像以及第三影像包含擷取物體上的光學圖樣，且位於物體之一部份上的點具有不同於位於物體之其他部分上的點的分布。
100‧‧‧三維檢測裝置
D1‧‧‧第一軸向
110‧‧‧承載平台
D2‧‧‧第二軸向
112‧‧‧上表面
D3‧‧‧第三軸向
120‧‧‧影像感測組件
D4‧‧‧第四軸向
121~125‧‧‧影像感測器
D5‧‧‧第五軸向
126‧‧‧靜止影像感測器
P1‧‧‧第一平面
127‧‧‧可移動影像感測器
P2‧‧‧第二平面
130‧‧‧資訊處理控制器
P2’‧‧‧第二平面
140‧‧‧投影機
Z1‧‧‧夾角
140P‧‧‧光學圖樣
Z1’‧‧‧夾角
200‧‧‧物體
X2~X5‧‧‧夾角
300‧‧‧方法
ROI‧‧‧感興趣區域
310~350‧‧‧步驟
210‧‧‧第一部份
220‧‧‧第二部份
Q1‧‧‧第一位置
Q2‧‧‧第二位置
第1圖為根據本發明之部分實施方式之三維檢測裝置的立體示意圖。
第2圖為第1圖的三維檢測裝置的上視圖。
第3圖為根據本發明之部分實施方式之三維檢測裝置的立體示意圖。
第4圖為根據本發明之部分實施方式之三維檢測裝置的立體示意圖。
第5圖為根據本發明之部分實施方式之用於三維檢測的方法的流程圖。
第6圖為根據本發明之部分實施方式之物體上的光學圖樣的上視圖。
以下將以圖式揭露本發明之多個實施方式，為明確說明起見，許多實務上的細節將在以下敘述中一併說明。然而，應瞭解到，這些實務上的細節不應用以限制本發明。也就是說，在本發明部分實施方式中，這些實務上的細節是非必要的。此外，為簡化圖式起見，一些習知慣用的結構與元件在圖式中將以簡單示意的方式為之。
第1圖為根據本發明之部分實施方式之三維檢測裝置100的立體示意圖。第2圖為第1圖的三維檢測裝置100的上視圖。三維檢測裝置100包含承載平台110、影像感測組件120、資訊處理控制器130以及投影機140。承載平台110用以支撐物體200。投影機140用以投射光學圖樣至物體200。影像感測組件120分別沿第一軸向D1、第二軸向D2、第三軸向D3、第四軸向D4以及第五軸向D5用以擷取物體200的第一影像、第二影像、第三影像、第四影像以及第五影像。第一軸向D1、第二軸向D2以及第三軸向D3、第四軸向D4以及第五軸向D5互不平行。資訊處理控制器130用以分析第一影像以及第二影像以取得第一方位立體資訊，並分析第三影像與物體200的預定影像，以取得第二方位立體資訊。於本發明之部分實施方式中，預定影像是沿預定軸向被擷取，預定軸向不平行於第二軸向D2以及第三軸向D3。舉例而言，預定軸向可能是第一軸向 D1、第四軸向D4以及第五軸向D5其中一者。
於本發明之部分實施方式中，影像感測組件120包含多個影像感測器121~125，分別設置於第一軸向D1、第二軸向D2以及第三軸向D3、第四軸向D4以及第五軸向D5上並用以擷取第一影像、第二影像、第三影像、第四影像以及第五影像。於部分實施方式中，物體200與各個影像感測器121~125之間的距離實質相同，影像感測器121~125是一樣的，因此，第一至第五影像的解析度實質相同。當然，不應以此限制本發明之範圍，於部分實施方式中，物體200與各個影像感測器121~125之間的距離是不同的。此外，影像感測器121~125可以是不同的。
於此，在部分實施方式中，第二至第五軸向D2~D5與承載平台110的上表面112之間分別具有夾角X2~X5，夾角X2~X5大致相同，但不應以此限制本發明之範圍。於其他實施方式中，夾角X2~X5可以是不同的。此外，在部分實施方式中，第一至第五軸向D1~D5可以交會在物體200的一點上。於部分實施方式中，第一至第五軸向D1~D5不會交會在同一位置上，而是指向物體200的一部份(例如感興趣區域(Region of interest；ROI))。
在本發明的部分實施方式中，第一軸向D1與第二軸向D2所形成的第一平面P1垂直於承載平台110的上表面112，且第三軸向D3與預定影像被擷取的預定軸向所形成的第二平面垂直於承載平台110的上表面112。此垂直配置簡化了後續為了取得方位立體資訊而進行的分析的計算，因此增加了 方位立體資訊的精確度。然而，不應以此垂直配置而精準地限制第一平面P1與承載平台110的上表面112之間的夾角為90度，此垂直配置可以有一個容許範圍。舉例而言，第一平面P1相對於承載平台110的上表面112可具有傾斜夾角，該傾斜夾角可在60度至120度的範圍內，較佳地，該傾斜夾角可在80度至100度的範圍內。且，第二平面相對於承載平台110的上表面112可具有傾斜夾角，該傾斜夾角可在60度至120度的範圍內，較佳地，該傾斜夾角可在80度至100度的範圍內。應了解到，此傾斜夾角的數值不應限制本發明之範圍。
於部分其他實施方式中，第一平面P1與第二平面可以不垂直於承載平台110的上表面112。相關的細節(例如第一平面P1與上表面112的夾角或第二平面與上表面112的夾角)可以作為後續分析以取得方位立體資訊中的因素。
在本發明之部分實施方式中，第一與第二方位立體資訊可以透過多種方法而獲得，在此詳細介紹。
對於第一種方法，第一軸向D1垂直於承載平台110的上表面112，且與第二方位立體資訊關聯的預定影像可以是第一影像。於本實施方式中，第一軸向D1與第二軸向D2所形成的第一平面P1實質垂直於承載平台110的上表面112，且第三軸向D3與用於擷取預定影像的預定軸向(在此指第一軸向D1)所形成的第二平面P2實質垂直於承載平台110的上表面112。
於此，與第二方位立體資訊關聯的第三軸向D3可以不位於第一平面P1上。舉例而言，第二平面P2相對於第 一平面P1具有夾角Z1，其中夾角Z1的範圍為0度至90度，例如10度至90度。於本實施方式中，第一平面P1垂直於第二平面P2(亦即夾角Z1為90度)，如此一來，第一方位立體資訊與第二方位立體資訊以兩個正交的方位透露出物體的外觀。然而，不應以此限制本發明之範圍，於部分實施方式中，第一平面P1可不垂直於第二方位立體資訊關聯的平面。舉例而言，如果第二方位立體資訊是從第一軸向D1以及第五軸向D5所擷取的影像中取得的，其中第一軸向D1以及第五軸向D5位於第一平面P1上，此時，第二方位立體資訊關聯的平面可以平行於第一平面P1。
藉由此設置，可以從第一影像、第二影像以及第三影像建構第一方位立體資訊以及第二方位立體資訊。
對於第二種方法，第二方位立體資訊關聯的預定影像可以是第一影像，但第一軸向D1不垂直於承載平台110的上表面112。第3圖為根據本發明之部分實施方式之三維檢測裝置100的立體示意圖。第3圖的實施方式與第1圖的實施方式相似，差別在於：第一軸向D1不垂直於承載平台110的上表面112。於本實施方式中，第一軸向D1、第二軸向D2以及第三軸向D3位於同一平面上。藉由此設置，第一軸向D1與第二軸向D2所形成的第一平面P1平行於第三軸向D3以及用於擷取預定影像的預定軸向(在此指第一軸向D1)所形成的第二平面P2。
於此，第一平面P1以及第二平面P2可以垂直於承載平台110的上表面112。如前所述，垂直配置簡化了後續為 了取得方位立體資訊而進行的分析的計算，因此增加了方位立體資訊的精確度。此外，不應以此垂直配置而精準地限制第一平面P1或第二平面P2與承載平台110的上表面112之間的夾角為90度，此垂直配置可以有一個容許範圍。舉例而言，第一平面P1或第二平面P2相對於承載平台110的上表面112可具有傾斜夾角，該傾斜夾角可在60度至120度的範圍內，較佳地，該傾斜夾角可在80度至100度的範圍內。應了解到，此傾斜夾角的數值不應限制本發明之範圍。
如前所述，第一影像與第二影像被分析以取得第一方位立體資訊，第一影像與第三影像被分析以取得第二方位立體資訊。
對於第三種方法，預定影像可以不是第一影像，而是第四影像。再回到第1圖。於部分實施方式中，第三影像與預定影像(在此為第四影像)被分析以取得第二方位立體資訊。如前所述，第三軸向D3與預定影像被擷取的預定軸向(在此為第四軸向D4)所形成的第二平面P2’垂直於承載平台110的上表面112。如前所述，第二平面P2’相對於承載平台110的上表面112可具有傾斜夾角，該傾斜夾角可在80度至100度的範圍內。
於此，第一軸向D1可以垂直於承載平台110的上表面112。然而，於其他部分實施方式中，第一軸向D1可以不垂直於承載平台110的上表面112。舉例而言，於其他部分實施方式中，第一軸向D1可以與第五軸向D5互換，而使得第一與第二方位立體資訊的計算中並沒有採用沿著承載平台110的 上表面112法線方向擷取的影像。
在部分實施方式中，第三軸向D3以及第二方位立體資訊關聯的預定軸向(在此指第四軸向D4)不位於第一平面P1上。舉例而言，第二平面P2’相對於第一平面P1具有夾角Z1’，其中夾角Z1’可以是10度至90度，但不應以此夾角Z1’的數值限制本發明之範圍。於本實施方式中，第一平面P1垂直於第二平面P2’(亦即夾角Z1’為90度)，如此一來，第一方位立體資訊與第二方位立體資訊以兩個正交的方位透露出物體的外觀。然而，不應以此限制本發明之範圍，於部分實施方式中，第一平面P1可不垂直於第二平面P2’。
藉由上述提到的方法，可以得到第一與第二方位立體資訊。資訊處理控制器130可以選擇性地將第一與第二方位立體資訊結合成一整合立體資訊。應了解到，可以計算並取得兩個以上的方位立體資訊，並以此兩個以上的方位立體資訊產生整合立體資訊。舉例而言，可以從第四影像與第五影像中計算並取得第三以及第四方位立體資訊。
舉例而言，於本發明之部分實施方式中，資訊處理控制器130用以分析第一影像以及第四影像以取得第三方位立體資訊。於部分實施方式中，第一軸向D1與第四軸向D4所形成的平面垂直於承載平台110的上表面112。舉例而言，第一軸向D1垂直於承載平台110的上表面112。如此一來，資訊處理控制器130分析第一影像以及第二影像以取得第一方位立體資訊，分析第一影像以及第三影像以取得第二方位立體資訊，分析第一影像以及第四影像以取得第三方位立體資訊。
於此，在承載平台110的上表面112的上方，第三軸向D3與第四軸向D4分別朝向第一平面P1的相反兩側延伸，藉以從各個角度偵測物體200。然而，不應以此限制本發明的範圍，在承載平台110的上表面112的上方，第三軸向D3與第四軸向D4可朝向第一平面P1的同一側延伸，藉以更精細地偵測物體200。
更甚者，於本發明的部分實施方式中，資訊處理控制器130用以分析第一影像以及第五影像以取得第四方位立體資訊。於部分實施方式中，第一軸向D1與第五軸向D5所形成的平面垂直於承載平台110的上表面112。舉例而言，第一軸向D1垂直於承載平台110的上表面112。如此一來，資訊處理控制器130分析第一影像以及第二影像以取得第一方位立體資訊，分析第一影像以及第三影像以取得第二方位立體資訊，分析第一影像以及第四影像以取得第三方位立體資訊，分析第一影像以及第五影像以取得第四方位立體資訊。
於此，在承載平台110的上表面112的上方，第二軸向D2與第五軸向D5分別朝向第二平面P2(第一軸向D1與第三軸向D3所形成)或第二平面P2’(第三軸向D3與第四軸向D4所形成)的相反兩側延伸，藉以從各個角度偵測物體200。然而，不應以此限制本發明的範圍，在承載平台110的上表面112的上方，第二軸向D2與第五軸向D5可朝向第二平面P2或第二平面P2’的同一側延伸，藉以更精細地偵測物體200。
更甚者，於本發明的部分實施方式中，資訊處理控制器130用以分析第二影像與第五影像，以取得第五方位立 體資訊。於本發明的部分實施方式中，資訊處理控制器130用以分析第三影像與第四影像，以取得第六方位立體資訊。如此一來，第一至第六方位立體資訊的部分可作為物品測試的標準，例如電路板上焊接狀態的測試。應了解到，根據方位立體資訊的需求數量，可以省略或關閉部分的影像感測器121~125。舉例而言，於簡單的實施方式中，影像感測組件120可僅包含影像感測器121~123。或者，於部分實施方式中，影像感測組件120可僅包含影像感測器121、122與125。於部分其他實施方式中，影像感測組件120可僅包含影像感測器122~125。
於本發明的實施方式中，物體200具有至少一三維特徵於其上。舉例而言，物體200可以是電路板，而其三維特徵可以是焊接狀態。投影機140可包含光源以及具有一圖樣的遮罩，而使光源發出的光線被遮罩部分遮擋，而使經過遮罩的光線而帶有圖樣。於部分實施方式中，影像感測器121~125能夠量測物體200所反射的光線強度。舉例而言，影像感測器121~125是感光耦合元件(charge coupled device；CCD)相機、互補式金屬氧化物半導體(complementary metal-oxide-semiconductor；CMOS)影像感測器、接面場效電晶體(junction gate field-effect transistor；JFET)影像感測器或其他適當的感光裝置。
第4圖為根據本發明之部分實施方式之三維檢測裝置的立體示意圖。本實施方式與第1圖的實施方式相似，差別在於：本實施方式中，影像感測組件120包含靜止影像感測 器126以及可移動影像感測器127，而非影像感測器121~125。靜止影像感測器126設置於第一軸向D1上且用以擷取第一影像，可移動影像感測器127用以從第二軸向D2旋轉至第三軸向D3以擷取第二影像與第三影像。
於本實施方式中，第二軸向D2與第三軸向D3分別與承載平台110的上表面112之間具有夾角X2以及X3，夾角X2以及X3相似，而使可移動影像感測器127可以水平地從在第二軸向D2上的位置旋轉至在第三軸向D3上的位置。
於部分實施方式中，如前所述，多於第一至第三影像被拍攝，且可移動影像感測器127是用以沿著第二至第五軸向D2~D5其中至少一者，分別擷取第二影像、第三影像、第四影像以及第五影像其中至少一者。可移動影像感測器127可在第二至第五軸向D2~D5之中移動。在這些實施方式中，舉例而言，部分的第二至第四軸向D2~D4與承載平台110的上表面112之間具有角度X2~X4，角度X2~X4相似，而使可移動影像感測器127可以水平地旋轉並移動至空位(亦即圖中虛框的位置)中。於部分實施方式中，可移動影像感測器127可以第一軸向D1為中心而水平地旋轉。然而，於其他實施方式中，角度X2~X4可以不同，且可移動影像感測器127可以不只水平移動，還可以垂直移動。
應了解到，影像感測組件120可以透過多種方式來沿者第一至第五軸向D1~D5擷取影像，而不應限於第1圖、第3圖與第4圖所示的方式。舉例而言，可移動影像感測器127可以在第一至第五軸向D1~D5之間移動，而可以省略靜止影 像感測器126。
本實施方式的其他細節大致如第1圖的實施方式所述，在此不再贅述。
第5圖為根據本發明之部分實施方式之用於三維檢測的方法300的流程圖。方法300包含步驟310~350，方法300的介紹請搭配第1圖、第3圖與第4圖中至少一者來了解。
首先，在步驟310，投影機140投射光學圖樣140P至物體200上。第6圖為根據本發明之部分實施方式之物體200上的光學圖樣140P的上視圖。投射於物體200上的光學圖樣140P能使後續拍攝的影像更精準地映射(mapping)。在部分實施方式中，光學圖樣140P可以是一個條紋圖案。在部分實施方式中，光學圖樣140P可以是一個隨機點狀分布圖案，亦即光學圖案140P包含多個隨機分布的點。對於隨機點狀分布圖案而言，物體200之多個部份上的點狀分布是不同且獨特的，例如物體200之每個部分可以經由其上的點狀分布而成為能被識別的。
更甚者，對於隨機點狀分布圖案而言，物體200上的點的排列使感興趣區域(Region of interest)ROI內的點是獨特的。換句話說，位於物體200之一部份上的點具有不同於位於物體200之其他部分上的點的分布。舉例而言，在第一位置Q1(以粗實線表示)的感興趣區域ROI的點的分布不同於在第二位置Q2或其他位置(以粗虛線表示)的感興趣區域ROI的點的分布，其中在第一位置Q1的感興趣區域ROI可以與在第二位置Q2的感興趣區域ROI重疊。
於此，物體200的第一部份210是對應於在第一位置Q1的感興趣區域ROI，物體200的第二部份220是對應於在第二位置Q2的感興趣區域ROI。物體200的第一部份210以及物體200的第二部份220可以或可不包含物體200的相同特徵。於部分實施方式中，感興趣區域ROI位於多個影像感測器的視野(field of view)內，且可與被擷取的影像的一部份相關聯。不同的感興趣區域ROI內的光學圖樣140P的點不限於以可辨認的方式分布。於部分其他實施方式中，各個感興趣區域ROI可能因為其他因素而為可辨認的。
在部份情況下，物體200的固有特徵是可辨認的，而可省略步驟310。
其次，在步驟320，擷取物體200的第一部份210的影像。如前所述，沿第一至第五軸向D1~D5擷取第一至第五影像。當光學圖樣140P投射至物體200上時，擷取物體200的第一至第五影像包含擷取物體200上的光學圖樣140P。
其後在步驟330，分析物體200之第一部份210的第一至第五影像，以取得物體200之第一部份210之第一方位立體資訊以及第二方位立體資訊。如同前述，預定影像可以是第一影像、第四影像或其他影像。物體200之第一部份210之第一方位立體資訊以及第二方位立體資訊可或可不整合成一整合立體資訊。相關分析方法已在前提過，在此省略。
藉著，在步驟340，擷取物體200的第二部分220的影像，其中感興趣區域ROI轉移至物體200的第二位置Q2。如同前述，沿第一至第五軸向D1~D5擷取第一至第五影像。 當光學圖樣140P投射至物體200上時，擷取物體200的第一至第五影像包含擷取物體200上的光學圖樣140P。
其後，來到步驟350，分析物體200之第二部份220的第一至第五影像，以取得物體200之第二部份220之第一方位立體資訊以及第二方位立體資訊。如同前述，預定影像可以是第一影像、第四影像或其他影像。物體200之第二部份220之第一方位立體資訊以及第二方位立體資訊可或可不整合成一整合立體資訊。相關分析方法已在前提過，在此省略。
藉由此設置，可分別產生物體200之第一部份210與第二部份220的立體資訊。應了解到，可以計算並取得超過兩個的立體資訊，其細節已提過，在此不再贅述。物體200的多個立體資訊可以經由資訊處理控制器130處理以及結合而成為物體的整合立體資訊。
總而言之，根據本發明的範例性實施方式，以第一與第二方位立體資訊重建了物體的外觀。第一與第二方位立體資訊可藉由分別計算兩對影像而取得，此兩對影像可以共用其中一個影像。或者，第一與第二方位立體資訊可藉由兩對影像而取得，其中多個影像互不相同。藉由此設置，可以提升檢測物體的精準度。
雖然本發明已以多種實施方式揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (13)

  1. 一種三維檢測裝置，包含：一承載平台，用以支撐一物體；一影像感測組件，用以沿一第一軸向、一第二軸向以及一第三軸向分別擷取該物體的一第一影像、一第二影像以及一第三影像，其中該第一軸向、該第二軸向以及該第三軸向互不平行，該第一軸向垂直於該承載平台的一上表面，該第二軸向以及該第三軸向分別與該第一軸向夾相同角度，該影像感測組件包含一靜止影像感測器以及一可移動影像感測器，該靜止影像感測器設置於該第一軸向上且用以擷取該第一影像，該可移動影像感測器用以從該第二軸向旋轉至該第三軸向以擷取該第二影像與該第三影像；一資訊處理控制器，用以分析該第一影像以及該第二影像以取得一第一方位立體資訊，並分析該第三影像與該物體的一預定影像，以取得一第二方位立體資訊，其中該預定影像是沿一預定軸向被擷取，該預定軸向不平行於該第二軸向以及該第三軸向；以及一投影機，用以投射一光學圖樣至該物體，其中該光學圖樣具有複數個隨機分布的點。
  2. 如請求項1所述之三維檢測裝置，其中該預定影像為該第一影像，該第三軸向位於該第一軸向與該第二軸向所形成的一第一平面上。
  3. 如請求項1所述之三維檢測裝置，其中該預 定影像為該第一影像，該第三軸向不位於該第一軸向與該第二軸向所形成的一第一平面上。
  4. 如請求項3所述之三維檢測裝置，其中該影像感測組件更用以沿一第四軸向擷取該物體之一第四影像，該第四軸向不平行於該第一軸向、該第二軸向以及該第三軸向，該資訊處理控制器更用以分析該第一影像與該第四影像，以取得一第三方位立體資訊，其中該第三軸向與該第四軸向分別朝向該第一平面的相反兩側延伸。
  5. 如請求項4所述之三維檢測裝置，其中該影像感測組件更用以沿一第五軸向擷取該物體之一第五影像，該第五軸向不平行於該第一軸向、該第二軸向、該第三軸向以及該第四軸向，該資訊處理控制器更用以分析該第一影像與該第五影像，以取得一第四方位立體資訊，其中該第三軸向與該第四軸向形成一第二平面，該第二軸向與該第五軸向分別朝向該第二平面的相反兩側延伸。
  6. 如請求項4所述之三維檢測裝置，其中該可移動影像感測器用以沿著該第四軸向，擷取該第四影像。
  7. 如請求項1所述之三維檢測裝置，其中該影像感測組件更用以沿一第四軸向擷取該物體之一第四影像，該預定影像為該第四影像。
  8. 如請求項7所述之三維檢測裝置，其中該可移動影像感測器更用以沿著該第四軸向，擷取該第四影像。
  9. 如請求項1所述之三維檢測裝置，其中該第一軸向與該第二軸向所形成的一第一平面垂直於該承載平台之一上表面，該預定影像被擷取的該預定軸向與該第三軸向所形成的一第二平面垂直於該承載平台之該上表面。
  10. 如請求項1所述之三維檢測裝置，其中該第一軸向與該第二軸向形成一第一平面，該第一平面與該承載平台之一上表面的傾斜夾角在80度至100度的範圍內。
  11. 如請求項1所述之三維檢測裝置，其中該第一軸向與該第二軸向形成一第一平面，該預定影像被擷取的該預定軸向與該第三軸向形成一第二平面，該第一平面不平行於該第二平面。
  12. 一種用於三維檢測的方法，包含：設置一物體於一承載平台上；投射一光學圖樣至該物體，其中該光學圖樣具有複數個隨機分布的點，其中位於該物體之一部份上的該些點具有不同於位於該物體之其他部分上的該些點的分布；以一靜止影像感測器沿一第一軸向擷取該物體之一第一影像以及該物體上的該光學圖樣，其中該第一軸向垂直於該承載平台的一上表面； 以一可移動影像感測器沿一第二軸向擷取該物體之一第二影像以及該物體上的該光學圖樣以及沿一第三軸向擷取該物體之一第三影像以及該物體上的該光學圖樣，其中該第一軸向、該第二軸向以及該第三軸向互不平行，該第二軸向以及該第三軸向分別與該第一軸向夾相同角度，其中該可移動影像感測器用以從該第二軸向旋轉至該第三軸向；分析該第一影像與該第二影像，以取得一第一方位立體資訊；以及分析該第三影像與該物體的一預定影像，以取得一第二方位立體資訊，其中該預定影像是沿一預定軸向被擷取，該預定軸向不平行於該第二軸向以及該第三軸向。
  13. 如請求項12所述之方法，其中該預定影像為該第一影像。
TW106120012A 2017-03-24 2017-06-15 三維檢測裝置以及用於三維檢測的方法 TWI626623B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/468,128 2017-03-24
US15/468,128 US10841561B2 (en) 2017-03-24 2017-03-24 Apparatus and method for three-dimensional inspection

Publications (2)

Publication Number Publication Date
TWI626623B true TWI626623B (zh) 2018-06-11
TW201835852A TW201835852A (zh) 2018-10-01

Family

ID=63255795

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106120012A TWI626623B (zh) 2017-03-24 2017-06-15 三維檢測裝置以及用於三維檢測的方法

Country Status (5)

Country Link
US (1) US10841561B2 (zh)
JP (1) JP6473206B2 (zh)
CN (1) CN108627512B (zh)
DE (1) DE102017112404A1 (zh)
TW (1) TWI626623B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI668411B (zh) * 2018-10-12 2019-08-11 國立交通大學 位置檢測方法及其電腦程式產品
CN112614788A (zh) * 2019-10-04 2021-04-06 致茂电子(苏州)有限公司 电子组件检测系统
CN112614788B (zh) * 2019-10-04 2024-05-24 致茂电子(苏州)有限公司 电子组件检测系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112805816A (zh) * 2018-10-15 2021-05-14 株式会社高迎科技 用于检查的装置、方法及记录命令的记录介质
CN110161053B (zh) * 2019-07-05 2022-06-24 苏州光图智能科技有限公司 缺陷检测系统
TWI735953B (zh) * 2019-09-18 2021-08-11 財團法人工業技術研究院 三維量測裝置與其操作方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377353B1 (en) * 2000-03-07 2002-04-23 Pheno Imaging, Inc. Three-dimensional measuring system for animals using structured light
US20040234122A1 (en) * 2001-07-30 2004-11-25 Nobuo Kochi Surface shape measurement apparatus, surface shape measurement method, surface state graphic apparatus
US20050136819A1 (en) * 2002-08-02 2005-06-23 Kriesel Marshall S. Apparatus and methods for the volumetric and dimensional measurement of livestock
US20050257748A1 (en) * 2002-08-02 2005-11-24 Kriesel Marshall S Apparatus and methods for the volumetric and dimensional measurement of livestock
CN101995231A (zh) * 2010-09-20 2011-03-30 深圳大学 一种大型薄壳物体表面的三维检测系统及其检测方法
TW201346833A (zh) * 2012-05-14 2013-11-16 Univ Nat Sun Yat Sen 三維幾何測量方法
TW201629909A (zh) * 2014-10-28 2016-08-16 惠普發展公司有限責任合夥企業 三維物件識別技術

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19516662A1 (de) * 1995-05-05 1996-11-14 Fraunhofer Ges Forschung Identifizierung dreidimensionaler Objekte, insbesondere Personen
US6879338B1 (en) * 2000-03-31 2005-04-12 Enroute, Inc. Outward facing camera system for environment capture
JP4085671B2 (ja) 2002-03-29 2008-05-14 コニカミノルタホールディングス株式会社 データ処理方法、データ処理プログラムおよび記録媒体
US7777199B2 (en) * 2004-09-17 2010-08-17 Wichita State University System and method for capturing image sequences at ultra-high framing rates
JP4530019B2 (ja) 2007-09-28 2010-08-25 オムロン株式会社 撮像装置の調整方法
KR101251372B1 (ko) * 2008-10-13 2013-04-05 주식회사 고영테크놀러지 3차원형상 측정방법
JP5256251B2 (ja) * 2009-07-03 2013-08-07 コー・ヤング・テクノロジー・インコーポレーテッド 測定対象物の検査方法
JP5641514B2 (ja) 2010-01-22 2014-12-17 株式会社ミツトヨ 非接触変位計測装置
JP5713159B2 (ja) 2010-03-24 2015-05-07 独立行政法人産業技術総合研究所 ステレオ画像による３次元位置姿勢計測装置、方法およびプログラム
CN102760234B (zh) * 2011-04-14 2014-08-20 财团法人工业技术研究院 深度图像采集装置、系统及其方法
US8803943B2 (en) 2011-09-21 2014-08-12 National Applied Research Laboratories Formation apparatus using digital image correlation
EP2589925A1 (de) * 2011-11-02 2013-05-08 Siemens Aktiengesellschaft 3D-Oberflächeninspektionssystem mittels 2D-Aufnahmen und Verfahren
TWI460394B (zh) 2012-07-20 2014-11-11 Test Research Inc 三維影像量測裝置
TWI591584B (zh) * 2012-12-26 2017-07-11 財團法人工業技術研究院 三維感測方法與三維感測裝置
US9384551B2 (en) * 2013-04-08 2016-07-05 Amazon Technologies, Inc. Automatic rectification of stereo imaging cameras
JP2015017921A (ja) 2013-07-12 2015-01-29 株式会社明電舎 摺り板形状計測装置
JP2015045587A (ja) 2013-08-28 2015-03-12 株式会社キーエンス 三次元画像処理装置、三次元画像処理装置の状態変化判定方法、三次元画像処理装置の状態変化判定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN103993548A (zh) * 2014-05-07 2014-08-20 长安大学 基于多台相机立体拍摄的路面损坏裂缝检测系统及方法
DE102014113389A1 (de) * 2014-09-17 2016-03-17 Pilz Gmbh & Co. Kg Verfahren und Vorrichtung zum Identifizieren von Strukturelementen eines projizierten Strukturmusters in Kamerabildern
US9666620B2 (en) 2014-10-06 2017-05-30 Visera Technologies Company Limited Stacked filter and image sensor containing the same
JP6412799B2 (ja) 2015-01-07 2018-10-24 株式会社Ｎｔｔドコモ 形状認識装置及び形状認識方法
CN106060521B (zh) * 2016-06-21 2019-04-16 英华达（上海）科技有限公司 深度影像建构方法及系统
TWI597966B (zh) * 2016-07-29 2017-09-01 台達電子工業股份有限公司 全視角三維掃描器
US10560679B2 (en) * 2016-08-30 2020-02-11 Microsoft Technology Licensing, Llc Deformation detection and automatic calibration for a depth imaging system
CN106530315B (zh) * 2016-12-27 2024-02-27 浙江大学常州工业技术研究院 中小型物体全角度下目标提取系统及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377353B1 (en) * 2000-03-07 2002-04-23 Pheno Imaging, Inc. Three-dimensional measuring system for animals using structured light
US20040234122A1 (en) * 2001-07-30 2004-11-25 Nobuo Kochi Surface shape measurement apparatus, surface shape measurement method, surface state graphic apparatus
US20050136819A1 (en) * 2002-08-02 2005-06-23 Kriesel Marshall S. Apparatus and methods for the volumetric and dimensional measurement of livestock
US20050257748A1 (en) * 2002-08-02 2005-11-24 Kriesel Marshall S Apparatus and methods for the volumetric and dimensional measurement of livestock
CN101995231A (zh) * 2010-09-20 2011-03-30 深圳大学 一种大型薄壳物体表面的三维检测系统及其检测方法
TW201346833A (zh) * 2012-05-14 2013-11-16 Univ Nat Sun Yat Sen 三維幾何測量方法
TW201629909A (zh) * 2014-10-28 2016-08-16 惠普發展公司有限責任合夥企業 三維物件識別技術

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI668411B (zh) * 2018-10-12 2019-08-11 國立交通大學 位置檢測方法及其電腦程式產品
CN112614788A (zh) * 2019-10-04 2021-04-06 致茂电子(苏州)有限公司 电子组件检测系统
CN112614788B (zh) * 2019-10-04 2024-05-24 致茂电子(苏州)有限公司 电子组件检测系统

Also Published As

Publication number Publication date
CN108627512B (zh) 2021-09-24
DE102017112404A1 (de) 2018-09-27
US10841561B2 (en) 2020-11-17
CN108627512A (zh) 2018-10-09
US20180278911A1 (en) 2018-09-27
TW201835852A (zh) 2018-10-01
JP2018163136A (ja) 2018-10-18
JP6473206B2 (ja) 2019-02-20

Similar Documents

Publication Publication Date Title
TWI626623B (zh) 三維檢測裝置以及用於三維檢測的方法
JP5109633B2 (ja) 測定方法及び検査方法並びに測定装置及び検査装置
JP5418176B2 (ja) パンタグラフ高さ測定装置及びそのキャリブレーション方法
JP2001249007A5 (zh)
TWI636234B (zh) 外形量測方法、外形量測設備及形變檢測設備
WO2020065850A1 (ja) ３次元測定装置
JP2009216453A (ja) 内面測定装置
JP2008241643A (ja) ３次元形状測定装置
TWI665425B (zh) 檢查半導體封裝的裝置及方法
JP4834373B2 (ja) Ｘ線検査装置、ｘ線検査方法およびｘ線検査プログラム
JP2015072197A (ja) 形状測定装置、構造物製造システム、形状測定方法、構造物製造方法、及び形状測定プログラム
TW201809778A (zh) 自動對焦系統、方法及影像檢測儀器
JP2010256151A (ja) 形状測定方法
JP5992315B2 (ja) 表面欠陥検出装置および表面欠陥検出方法
JP2978866B2 (ja) 画像処理による寸法計測回路
US10715790B2 (en) System and method for lead foot angle inspection using multiview stereo vision
JP2016138761A (ja) 光切断法による三次元測定方法および三次元測定器
JP7134253B2 (ja) ワーク検査装置及びワーク検査方法
TW201734436A (zh) 視覺檢測方法
JP4741943B2 (ja) 検査装置及び検査方法
KR101639043B1 (ko) 나사부 치수 측정 장치
JP4029975B2 (ja) 半導体ウェーハのノッチの肩円弧部半径の測定方法
JP2004085467A (ja) 三次元計測装置
JP2002214155A (ja) 被検査物の欠陥検査装置
JP2006032521A (ja) マーク識別装置