TW201812700A - 多維度尺寸量測系統及其方法 - Google Patents

多維度尺寸量測系統及其方法 Download PDF

Info

Publication number
TW201812700A
TW201812700A TW105129451A TW105129451A TW201812700A TW 201812700 A TW201812700 A TW 201812700A TW 105129451 A TW105129451 A TW 105129451A TW 105129451 A TW105129451 A TW 105129451A TW 201812700 A TW201812700 A TW 201812700A
Authority
TW
Taiwan
Prior art keywords
dimensional
image
dimensional image
macroscopic
microscopic
Prior art date
Application number
TW105129451A
Other languages
English (en)
Other versions
TWI607412B (zh
Inventor
賴岳益
曾坤隆
張子健
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW105129451A priority Critical patent/TWI607412B/zh
Priority to US15/353,704 priority patent/US10008005B2/en
Application granted granted Critical
Publication of TWI607412B publication Critical patent/TWI607412B/zh
Publication of TW201812700A publication Critical patent/TW201812700A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

一種用以量測物體之多維度尺寸之量測系統及方法。一二維影像取像裝置用以擷取待測之一物體之至少一宏觀二維影像。一三維資訊擷取裝置用以擷取物體之至少一微觀三維量測數據。一整合估測裝置用以接收並對宏觀二維影像以及微觀三維量測數據進行一二維與三維影像校正，以映射微觀三維量測數據至宏觀二維影像，從而產出對應物體之宏觀二維影像的一三維形貌數據，依據機器學習機制，對三維形貌數據中至少任二位置間之一連線特徵與一資料庫進行配對，以推舉出一適配模型，並依據其所對應之至少一擬合式，估測三維形貌數據之連線特徵以產出至少一估測特徵量，從而得到相應物體之量測結果。

Description

多維度尺寸量測系統及其方法
本發明係有關於一種量測系統及其量測方法，特別是有關於一種可用以量測物體之多維度尺寸之量測系統及其量測方法。
近年來，隨著工業自動檢測技術的發展，工廠自動化生產越來越受重視。工廠生產結合自動化檢測技術可用以降低產線錯誤並加快生產速度。目前工業界因應客製化的需求，「少量多樣」的物體設計已是主要趨勢。傳統上，使用2D影像投影方式進行物體量測，在不同尺寸的物體檢測中，已可以達到高精度且自動化之快速檢測水準。然而，目前遭遇最大的困難在於如何在立體物體的檢測上進行多維度的尺寸量測。
一般而言，多維度尺寸的量測仍以接觸式量測為主要方法，雖然其量測精度很好，但其缺點為量測速度太慢。因此，如何在一般待測物體的多維度量測上，快速且維持高精度的量測結果，是目前非常受重視的議題之一。
本發明一實施例提供一種多維度尺寸量測系統，包括一二維影像取像裝置、一三維資訊擷取裝置、一整合估測 裝置、以及一顯示裝置。二維影像取像裝置用以擷取待測之一物體之至少一宏觀二維影像，其中至少一宏觀二維影像對應於物體之整體。三維資訊擷取裝置用以擷取物體之至少一微觀三維量測數據，其中至少一微觀三維量測數據對應於物體之一部分區域。整合估測裝置係耦接至二維影像取像裝置以及三維資訊擷取裝置，用以接收並對至少一宏觀二維影像以及至少一微觀三維量測數據進行一二維與三維影像校正，以映射至少一微觀三維量測數據至至少一宏觀二維影像，從而產出對應物體之宏觀二維影像的一三維形貌數據。顯示裝置係耦接至整合估測裝置，用以顯示物體之一量測結果。其中，整合估測裝置係依據機器學習機制，對三維形貌數據中至少任二位置間之一連線特徵與一資料庫中多個二維模型進行一配對，以從多個二維模型中推舉出一適配模型，並依據適配模型所對應之至少一擬合式，估測三維形貌數據之連線特徵以產出至少一估測特徵量，從而依據至少一估測特徵量，得到相應物體之量測結果。
再者，本發明另一實施例提供一種多維度尺寸量測方法，適用於一量測系統，量測系統至少包括一二維影像取像裝置、一三維資訊擷取裝置、一整合估測裝置以及一顯示裝置。方法包括下列步驟：經由二維影像取像裝置，擷取待測之一物體之至少一宏觀二維影像，其中至少一宏觀二維影像對應於物體之整體；經由三維資訊擷取裝置，擷取該物體之至少一微觀三維量測數據，其中至少一微觀三維量測數據對應於物體之一部分區域；經由整合估測裝置，對至少一宏觀二維影像以及至少一微觀三維量測數據進行一二維與三維影像校正，以映 射至少一微觀三維量測數據至至少一宏觀二維影像，從而產出對應物體之宏觀二維影像的一三維形貌數據；經由整合估測裝置，依據機器學習機制，對三維形貌數據中至少任二位置間之一連線特徵與一資料庫中多個二維模型進行一配對，以從多個二維模型中推舉出一適配模型，並依據適配模型所對應之至少一擬合式，估測三維形貌數據之連線特徵以產出至少一估測特徵量，從而依據至少一估測特徵量，得到相應物體之一量測結果；以及經由顯示裝置，顯示物體之該量測結果。
本發明之方法可經由本發明之系統來實作，其為可執行特定功能之硬體或韌體，亦可以透過程式碼方式收錄於一紀錄媒體中，並結合特定硬體來實作。當程式碼被電子裝置、處理器、電腦或機器載入且執行時，電子裝置、處理器、電腦或機器變成用以實行本發明之裝置或系統。
100‧‧‧量測系統
110‧‧‧二維影像取像裝置
120‧‧‧三維資訊擷取裝置
130‧‧‧整合估測裝置
131‧‧‧訊號擷取模組
132‧‧‧處理器
133‧‧‧機器學習引擎
134‧‧‧三維資料對位模組
135‧‧‧智能型多維資料量測模組
136‧‧‧智能型二維與三維影像整合模組
137‧‧‧智能型立體元件邊緣偵測模組
138‧‧‧智能型多維資料幾何量測模組
140‧‧‧儲存裝置
142‧‧‧資料庫
150‧‧‧顯示裝置
S202、S204、S206、S208、S210、S212‧‧‧執行步驟
S302、S304、S306、S308‧‧‧執行步驟
500‧‧‧治具
502‧‧‧參考面
510‧‧‧待測物體
610、612‧‧‧二維影像
620、622、624‧‧‧點雲資料
第1圖為依據本發明一實施例之多維度尺寸量測系統之示意圖。
第2圖顯示依據本發明一實施例之多維度尺寸量測方法之流程圖。
第3圖顯示依據本發明一實施例之用於二維與三維影像校正以及整合之方法之流程圖。
第4圖為依據本發明實施例之類神經網路之示意圖。
第5圖為依據本發明一實施例之量測環境之示意圖。
第6A圖以及第6B圖為依據本發明實施例之二維影像之示 意圖。
第6C圖為依據本發明實施例之三維量測數據之示意圖。
第7A圖以及第7B圖為依據本發明實施例之點雲資料之示意圖。
第8圖為依據本發明一實施例之三維形貌數據之示意圖。
為使本發明之目的、特徵、和優點能更明顯易懂，特舉出下文實施例，並配合所附圖式，作詳細說明如下。注意的是，本章節所敘述的實施例目的在於說明本發明之實施方式而非用以限定本發明之保護範圍，任何熟悉此項技藝者，在不脫離本發明之精神和範圍內，當可做些許更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。應理解下列實施例可經由軟體，硬體，韌體，或上述任意組合來實現。
在物體尺寸的多維度量測上，為了要求量測精確度(accuracy)，一般是以二維(2D)投影方式的量測為主。然而，越來越多的多維度尺寸的量測需求，並無法以二維投影方式來進行量測。為了達到三維形貌的量測需求，使用接觸式量測系統可以達到高精度(量測誤差<0.005mm)的需求，然其檢測速度通常太過緩慢，使其無法滿足現場作業的要求。另一種三維形貌量測方式為不使用接觸式量測機台，例如使用投射結構光(structured light)的3D物體建模方式，雖然可以加快量測速度，然而，其精度難以達到高精度例如：量測誤差<0.005毫米(mm)的量測要求。
因此，本發明一實施例提出一種整合立體深度資訊與二維影像之多維度尺寸量測系統及其相關多維度尺寸量測方法，可透過立體資訊與影像縫合(3D data and image stitching)的技術，整合三維資訊與二維影像，並透過智能化之區塊化(segmentation)技術，從三維資訊如點雲資料(point cloud data)中擷取有用的資訊，例如：待測物體之檢測面、待測物體之檢測邊緣等資訊，從而利用這些幾何特徵進行待測物之多維度尺寸量測，獲得待測物之量測尺寸，達到多維度尺寸量測之目的。
第1圖為依據本發明一實施例之多維度尺寸量測系統100之示意圖。如第1圖所示，多維度尺寸量測系統100(以下簡稱量測系統100)包括二維影像取像裝置110、三維資訊擷取裝置120、整合估測裝置130、儲存裝置140以及顯示裝置150。量測系統100可用以對待測物體進行多維度尺寸的量測。待測物體可為任一立體元件。
二維影像取像裝置110可為任意具有二維影像輸出功能的取像裝置，例如：光電耦合元件(Charge Coupled Device,CCD)或互補式金氧半導體光學感測元件(Complementary Metal Oxide Semiconductor,CMOS)鏡頭模組或攝影機等，其中所取得的二維影像解析度可為任意解析度，如1280*1024、5K、4K、Full HD等等。二維影像取像裝置110用以取得待測物體的一或多個宏觀(macro)二維影像。所謂宏觀二維影像係指此二維影像對應到待測物體的整體，例如：待測物體的完整投影影像等等。
三維資訊擷取裝置120用以取得待測物體之至少一微觀(micro)三維量測數據。所謂微觀三維量測數據係指對應到待測物體之局部區域的三維量測數據，例如：待測物體特定的橫切面或待測物體的邊緣或角落之形貌分布等等的量測數據。三維資訊擷取裝置120係為一非接觸式取像裝置，可為任意非接觸式之三維資料擷取裝置，例如雙相機之立體視覺模組(stereovision)、使用投影裝置與相機之立體視覺模組(structured light,random pattern)、使用雷射三角測距之立體視覺模組、使用光行進時間(Time of Flight)之立體視覺模組等。上述立體視覺模組可具有對應的硬體電路以實現所需的各項功能。
在第1圖所示的實施例中，三維資訊擷取裝置120係採用光學影像投影等非接觸式方式來取得待測物體的深度、表面形貌分布或距離資訊，因此量測速度較快，但本發明不以此為限。在一實施例，三維資訊擷取裝置120亦可採用接觸式方式來取得待測物體的深度、表面形貌分布或距離資訊。
於一些實施例中，三維資訊擷取裝置120可更包括深度訊號擷取元件、深度資訊運算元件以及深度資訊輸出元件(未繪示)。深度訊號擷取元件(例如：深度感測器)用以接收來自物體的深度訊號。深度資訊運算元件(例如：深度感測運算晶片)用以依據深度訊號擷取元件所接收到的物體的深度訊號，運算出物體的深度資訊。深度資訊輸出元件則用以將深度資訊運算元件運算出物體的深度資訊輸出為所需的三維量測資訊。舉例來說，三維資訊擷取裝置120可為深度感測器、深 度攝影機、三維掃描儀(3D scanner)以及任何可用以擷取並得到物體的深度資訊的實體裝置。舉例來說，三維量測資訊可為對應於物體的一組點雲資料(cloud data)，這些點雲資料可用來插補成物體的表面形狀，進行三維重建，越密集的點雲可以建立更精確的模型。由於擷取元件的掃描範圍有限，因此需要變換擷取元件與物體的相對位置，進行多個掃描以拼湊物體的完整模型。因此，需要進一步透過影像對位(image registration)或對齊(alignment)，以將多個片面模型整合成完整模型。
儲存裝置140可為非揮發性儲存媒體(例如：唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash memory)、硬碟、光碟等)、揮發性儲存媒體(例如：隨機存取記憶體(Radom Access Memory，RAM))、或多者之任意組合，用以儲存相關資料，例如運算過程中的中間資料及運算結果資料等。儲存裝置140可更包括資料庫142，用以儲存多個二維線型模型(line model)，其中每個二維線型模型對應至少一擬合式。舉例來說，擬合式可為一或多個線性擬合方程式、一或多個多項式擬合方程式、一或多個拋物線擬合方程式或其任意組合等等，但本發明並不限於此。於一實施例中，每個二維線型模型可分別對應至一拋物線擬合式。
整合估測裝置130係以有線或無線方式耦接至二維影像取像裝置110、三維資訊擷取裝置120、儲存裝置140與顯示裝置150，可從儲存裝置140中載入並執行指令集及/或程式碼，以依據二維影像取像裝置110所擷取到的二維投影影像以及三維資訊擷取裝置120所擷取到的三維資訊來執行本案所 述之用以量測物體之尺寸之方法，其細節將於後進行說明。
整合估測裝置130可更包括訊號擷取模組131、處理器132、機器學習引擎133、三維資料對位模組134、以及智能型多維資料量測模組135。訊號擷取模組131可用以接收二維影像取像裝置110所擷取到的二維投影影像以及三維資訊擷取裝置120所擷取到的三維資訊。處理器132可為通用處理器、微處理器(Micro-Control Unit，MCU)、影像處理器或數位訊號處理器(Digital Signal Processor，DSP)等，用以提供資料處理及運算之功能。
本實施例的三維資料對位模組134可利用三維影像對位技術，將非接觸式光學取像裝置所取得之立體資訊進行處理，透過三維資料對位(3d data registration)技術，將三維資料進行連結處理。本實施例之三維資料對位技術可以將不同條件下(例如：不同環境光亮度、裝置角度等)取得的三維點雲資料進行比對與整合，以將物體的多個局部三維模型整合成完整的三維模型，以方便智能型多維資料量測模組135據此建立對應待測物體的虛擬物件來模擬待測物體並透過所虛擬物件進行後續的各項量測。
智能型多維資料量測模組135可至少包含智能型二維與三維影像整合模組136、智能型立體元件邊緣偵測模組137、以及智能型多維資料幾何量測模組138。其中，智能型二維與三維影像整合模組136可將二維影像中的邊緣資訊與三維資料整合。在本實施例中，邊緣資訊不包含二維影像所取得的待測物體的表面資訊，例如待測物體的表面材質、色彩等，但 本發明並不限於此。
在本實施例中，智能型立體元件邊緣偵測模組137可針對二維與三維影像整合後的虛擬物件進行邊緣偵測，可進行虛擬物件量測面判斷、以及虛擬物件上量測面的邊緣偵測等等。
在本實施例中，智能型多維資料幾何量測模組138可利用智能型立體元件邊緣偵測模組137所得到的邊緣資訊對虛擬物件進行各種幾何量測，例如：距離量測、線段夾角角度量測等等幾何量測。
在本實施例中，具體來說，整合估測裝置130可經由處理器132來控制訊號擷取模組131、機器學習引擎133、三維資料對位模組134、以及智能型多維資料量測模組135的操作來接收待測物體的一或多個宏觀二維影像以及一或多個微觀三維量測數據，並對其進行二維與三維影像校正，映射待測物體的一或多個微觀三維量測數據至宏觀二維影像，以產出對應待測物體的宏觀二維影像的一三維形貌數據。明確來說，每一微觀三維量測數據係對應至待測物體的一部份區域，整合估測裝置130可透過二維與三維影像校正，來評估出各微觀三維量測數據所對應的宏觀二維影像的位置，在利用智能化之區塊化技術來將一或多個微觀三維量測數據映射至宏觀二維影像的對應位置上，從而產出對應待測物體的宏觀二維影像的一三維形貌數據。相關的細節將說明於下。
在本實施例中，整合估測裝置130再估測所產生的三維形貌數據中至少任二位置間的一連線特徵。其中，整合估 測裝置130的機器學習引擎132，可依據一機器學習機制，對三維形貌數據中的多個連線特徵與資料庫142進行一配對，以從資料庫142的多個二維線型模型中推舉出一適配二維線型模型，並依據推舉出的適配二維線型模型所對應的一或多個擬合式，估測連線特徵以產出一或多個估測特徵量。整合估測裝置150再將所有的連線特徵所對應的估測特徵量整合在一起，便可得到一對應的量測結果，例如：估測特徵量可用以表示待測物體的實體形狀(包含幾何構造等)與外觀資料。
在本實施例中，顯示裝置150可為任一可用以顯示或呈現量測結果之裝置。顯示裝置150係可顯示相關資料，例如是文字、圖形、介面及/或各種資訊如顯示或呈現量測結果等。顯示裝置150可用以呈現量測結果之影像(包含任一種影像格式，如bmp、jpg、png等)或呈現量測結果之畫面，例如：液晶顯示器(LCD)。應理解的是，於一些實施例中，顯示裝置150係結合觸碰感應裝置(未顯示)之螢幕。觸控感應裝置係具有一觸控表面，其包括至少一維度的感測器以偵測靠近或在觸控表面上的一輸入工具如手指或觸控筆等在其表面上的接觸及動作。因此，使用者可透過顯示裝置150來進行觸控輸入命令或訊號。於一實施例中，顯示裝置150可為其他用以呈現量測結果之任何媒體，例如用以呈現量測結果的紙張等。
可理解的是，上述各元件或模組係為一具有對應功能的裝置，可具有適當的硬體電路或元件以執行對應功能，然而，該裝置並不以具有實體為限，其亦得為一虛擬的具有對應功能的程式、軟體，或是具有處理、運行該程式、軟體能力 的裝置。而上述各元件運作的方式，可進一步的參閱以下對應之方法之說明。具體來說，量測系統100可經由控制二維影像取像裝置110、三維資訊擷取裝置120、整合估測裝置130、儲存裝置140以及顯示裝置150的操作來執行本發明之用以量測物體之尺寸之方法，以對一待測的立體物體進行尺寸量測，其細節將於以下之實施例進行說明。
第2圖顯示依據本發明一實施例之多維度尺寸量測方法之流程圖。依據本發明實施例之多維度尺寸量測方法可以適用於一量測系統，其至少包括一二維影像取像裝置、一三維資訊擷取裝置、一整合估測裝置以及一顯示裝置，如第1圖所示的量測系統100且可由其所執行。於本實施例中，假設待測物體為具有三維尺寸的量測需求的一立體物。
當想要量測待測物體時，如步驟S202，可經由二維影像取像裝置110，擷取立體物的一或多個宏觀二維影像，並如步驟S204，可經由三維資訊擷取裝置120，擷取立體物的至少一微觀三維量測數據。其中宏觀二維影像對應於立體物之整體，至少一微觀三維量測數據對應於立體物的部分區域。舉例來說，宏觀二維影像係為立體物的二維投影影像，微觀三維量測數據係為立體物的一弧狀結構所對應的點雲資料。
如步驟S206，可經由整合估測裝置130，對至少一宏觀二維影像以及至少一微觀三維量測數據進行一二維與三維影像校正，以映射至少一微觀三維量測數據至至少一宏觀二維影像，從而產出對應立體物的宏觀二維影像的一三維形貌數據。在本實施例中，提出採用參考標的(Reference)的作法來做 為二維與三維資訊的影像校正與整合演算法，透過提供參考標的來進行座標轉換，將原先不同座標系統的二維影像與三維影像的各點經由參考標的的座標系統轉換為相同的座標系統，以便有效整合二維與三維資訊，但本發明並不限於此。參考標的可為虛擬面或實體面。於一實施例中，參考標的可為實體的參考面，例如可包括實體存在之治具或實體存在之機構等。於另一實施例中，參考標的可為虛擬的參考面，例如可包括虛擬擬合之虛擬物件中軸線、或是其他可同時存在於二維與三維資料中之實際或虛擬的參考面或參考線。於一些實施例中，參考面不限於平面，也可以是彎曲、不連續、或前述複合式的任意可參考面。
第3圖顯示依據本發明一實施例之用於二維與三維影像校正以及整合之方法之流程圖。依據本實施例之用於二維與三維影像校正以及整合之方法可由量測系統100所執行。
如步驟S302，經由二維影像取像裝置110，擷取參考標的的一參考二維影像，並如步驟S304，經由三維資訊擷取裝置120，擷取參考標的的一參考三維量測數據。
得到參考標的的參考二維影像以及參考三維量測數據之後，如步驟S306，經由整合估測裝置130，分別利用參考二維影像以及參考三維量測數據，對宏觀二維影像以及微觀三維量測數據進行一座標轉換，以同時將宏觀二維影像以及微觀三維量測數據轉換至相應參考標的之一第一座標系統。
具體來說，前述步驟S306可依據二維影像取像裝置110所對應的視野範圍與影像解析度以及三維資訊擷取裝置 120的視野範圍與影像解析度來進行座標轉換。二維影像取像裝置110之視野範圍為FOV_2D，影像解析度為Reso_2D，則以參考標的之座標Pixel_2D_Ref為新座標軸，再次定義待測物體之所有座標Pixel_xy的轉換後座標New_2D_Pixel_xy可表示為：New_2D_Pixel_xy=(Pixel_xy-Pixel_2D_Ref)x(FOV_2D/Reso_2D) (1)
類似地，三維資訊擷取裝置120之視野範圍為FOV_3D，影像解析度為Reso_3D，則以參考標的之座標Pixel_3D_Ref為新座標軸，再次定義待測物體之所有座標Pixel_xy的轉換後座標New_3D_Pixel_xy可表示為：New_3D_Pixel_xy=(Pixel_xy-Pixel_3D_Ref)x(FOV_3D/Reso_3D) (2)
此時，轉換後座標New_2D_Pixel_xy與轉換後座標New_3D_Pixel_xy已經為同一個座標系統，因此可以整合成一獨立之座標系統。
如步驟S308，經由整合估測裝置130，透過第一座標系統進行二維與三維影像校正，並以第一座標系統映射微觀三維量測數據至宏觀二維影像的對應位置。
請再參閱第2圖之實施例，於映射一或多個微觀三維量測數據至宏觀二維影像並產出對應立體物的宏觀二維影像的一三維形貌數據之後，如步驟S208，經由整合估測裝置130，依據機器學習機制，對三維形貌數據中至少任二位置間的一連線特徵與一資料庫中多個二維模型進行一配對，以從多 個二維模型中推舉出一適配模型。具體來說，機器學習引擎133可透過類神經網路反覆不斷的機器學習和誤差重複之修正來從多個二維模型中推舉出一最佳的適配模型。在機器學習的範疇中，大致可以分成「分群」與「學習」兩個主要的部分。其中，所謂分群係指將原始資料透過一些演算法分析與整理後，將原始資料依其特徵區分成一群一群的資料，這些資料越獨立越好，有助於後續學習之用。之後，再將所有數據進行分組，相似數據係歸類於同一組，一筆數據只屬於某一組，每一組稱作一個「群集」。舉例來說，傳統的分類器演算法有SVM、Random Forest、K-means等作法。
另一方面，所謂「學習」係將前述分群完的資料，透過如同人類神經網路的連結與處理方式，在訓練過程中，藉由輸入和輸出數值之間的對應規則，產生一個新的權重值來學習應對方式。本發明實施例中，機器學習引擎133所採用的類神經網路演算法的有倒傳遞網路(Back Propagation Network,BPN)、學習向量量化網路(Learning Vector Qantization,LVQ)與反傳遞網路(Counter-Propagation Network,CPN)等。所述類神經網路演算法可包括一輸入層、一隱藏層、以及一輸出層。其中，輸入層的節點數目即等於欲輸入的資料變數的數目，而輸出層的節點數目即等於欲預測的輸出變數的數目。
於本發明實施例中，由於反傳遞網路(CPN)的結構和前述倒傳遞網路的結構相似，並且反傳遞網路的整體效能及精準度較倒傳遞網路為佳。因此，在本案的實施例中，係採用反傳遞網路的演算法來作為機器學習引擎之類神經網路的學 習與訓練演算法，但本發明並不限於此。可理解的是，其它相同或相似類型的類神經網路之演算法(例如：倒傳遞網路演算法)也可適用於本發明之機器學習引擎。
第4圖為依據本發明實施例之類神經網路之示意圖。如第4圖所示，機器學習引擎133所採用之類神經網路為一具有一輸入層、一隱藏層與一輸出層之反傳遞網路，其中，輸入層的節點內容為經過前一階段所得之特徵分類的結果，其可能為資料點雲範圍之長度、資料點雲範圍之寬度、資料點雲範圍之密度等資訊。輸出層則可能是可擬合此點雲資料的線性擬合方程式1、多項式擬合方程式2、拋物線擬合方程式3等等。機器學習引擎133經由倒傳遞網路的運作過程，對欲比對的連線特徵與資料庫中的多個二維線型模型進行一適配性評估，以透過機器學習機制，從多個二維線型模型中推舉出一適配二維線型模型。注意的是，具體機器學習機制的細節係可採用本領域技藝人士所熟知的各種處理技術來加以實現，其細節在此省略。
待推舉出適配模型，如步驟S210，經由整合估測裝置130，依據步驟S208所推舉出的適配模型所對應的至少一擬合式，估測三維形貌數據的連線特徵以產出至少一估測特徵量，從而依據估測特徵量，得到相應物件的一量測結果。具體來說，整合估測裝置150可將所有的連線特徵所對應的估測特徵量整合在一起，便可得到一對應的量測結果，例如：估測特徵量可用以表示待測物體的實體形狀(包含幾何構造等)與外觀資料。舉例來說，整合估測裝置130可應用適配模型所對應的 擬合式(例如：一拋物線方程式)於微觀三維量測數據的點雲資料，以便產生立體物的三維形貌例如一弧狀結構的虛擬物件，再針對虛擬物件進行各項量測，例如虛擬物件量測面判斷、以及虛擬物件上量測面的邊緣偵測或距離量測、線段夾角角度量測等等各種幾何量測，得到對應的估測特徵量，再根據一或多個對應的估測特徵量得到相應的量測結果。
待得到相應物件的量測結果，如步驟S212，經由顯示裝置150，顯示立體物的量測結果。
以下列舉一些實施例，用以輔助說明依據本發明之方法細節，但本發明並不限於此。本案之用以量測物體之尺寸的具體流程請參閱以下第5圖至第8圖的說明。
第5圖為依據本發明一實施例之量測環境之示意圖。第6A圖以及第6B圖為依據本發明實施例之二維影像之示意圖。第6C圖為依據本發明實施例之三維量測數據之示意圖。
如第5圖所示，於此實施例中，一種具有弧形特徵之待測物體510被夾持於治具500上，其中，治具500的一突出實體面502可作為參考標的。
當要進行待測物體510的多維度尺寸量測時，首先，量測系統100取得待測物體510的量測數據資料，其中包含二維與三維數據。具體而言，可利用二維影像取像裝置110取得對應的2維影像資料以及利用三維資訊擷取裝置120，取得對應的3D點雲資料，如第6A圖誌第6C圖所示。第6A圖為待測物體510使用二維影像取像裝置110(例如：CCD相機)擷取的二維投影影像610，其中，二維投影影像610中必須包含此參考面502 的參考二維投影影像612。第6B圖係顯示另一實施例中，待測物體510使用二維影像取像裝置110(例如：CCD相機)擷取的二維投影影像610以待測物體510之中軸線為虛擬參考面中軸線502平面作為參考標的示意圖。如第6C圖所示，待測物體510使用三維資訊擷取裝置120(例如：線型雷射位移感測器)擷取的三維資訊(以三維點雲資料呈現)620包括待測物體510的三維資訊622以及參考面502的三維資訊624。
接著，整合估測裝置130針對3D點雲資料，計算軸心資訊。於此步驟中，整合估測裝置130係將所取得的3D點雲資料當作機器學習引擎的輸入層，透過反傳遞網路(CPN網路)找出最合適之擬合方程式。第7A圖以及第7B圖為依據本發明實施例之點雲資料與擬合方程式之示意圖。第7A圖以及第7B圖的實施例係以拋物線方程式為例進行說明，但本發明並不限於此。如第7A圖以及第7B圖所示，係顯示待測物體510的不同面的不同角度下取得之3D點雲資料，這些在不同角度下取得之3D點雲資料可以分別用15條拋物線進行擬合。
接著，整合估測裝置130再由15條拋物線的方程式中使用最小平方差異演算法來尋找最小差異之方程式參數，並據此計算軸心位置。當取得軸心位置資訊之後，整合估測裝置130再利用軸心資訊，整合數據資料，疊合成一立體物體外貌，產生三維形貌數據，如第8圖所示。第8圖為依據本發明一實施例之三維形貌數據之示意圖。如第8圖所示為待測物體510的某一橫切面圖。
接著，整合估測裝置130採用待測物體510的中軸 線為虛擬參考標的(如第6B圖所示)，並使用上述第8圖為三維資訊擷取裝置擷取之整合後資訊，且此資訊中必須包含此虛擬中軸線之虛擬參考面之點雲資料，之後透過參考面以及利用上述公式(1)與公式(2)進行座標轉換，將2D與3D之資料整合。
整合估測裝置130可應用適配模型所對應的擬合式(例如：一拋物線方程式)於整合的資料，以便產生待測物體510的三維形貌例如一弧狀結構的虛擬物件，再針對虛擬物件進行各項量測，例如虛擬物件量測面判斷、以及虛擬物件上量測面的邊緣偵測或距離量測、線段夾角角度量測等等各種幾何量測，得到對應的估測特徵量，再根據一或多個對應的估測特徵量得到相應的量測結果，之後再經由顯示裝置150(例如：液晶顯示器螢幕)顯示待測物體510的量測結果。
因此，依據本發明實施例之多維度量測系統及其相關用以量測物體之多維度尺寸之方法，可分別透過非接觸式光學取像裝置取得一待測物之立體資訊與透過一光學取像裝置取得待測物之二維投影影像，再透過立體資訊與影像縫合技術並透過智能化之區塊化技術同時整合3D資訊與2D影像，可同時兼具傳統2D影像式量測系統與傳統3D影像式量測系統的優點，並且可精準地提供待測物之多維度尺寸量測，獲得待測物之量測尺寸，達到多維度尺寸量測之需求。
本發明之方法，或特定型態或其部份，可以以程式碼的型態存在。程式碼可以包含於實體媒體，如軟碟、光碟片、硬碟、或是任何其他機器可讀取(如電腦可讀取)儲存媒體，亦或不限於外在形式之電腦程式產品，其中，當程式碼被機 器，如電腦載入且執行時，此機器變成用以參與本發明之裝置。程式碼也可透過一些傳送媒體，如電線或電纜、光纖、或是任何傳輸型態進行傳送，其中，當程式碼被機器，如電腦接收、載入且執行時，此機器變成用以參與本發明之裝置。當在一般用途處理器實作時，程式碼結合處理器提供一操作類似於應用特定邏輯電路之獨特裝置。
雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中包括通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾。舉例來說，本發明實施例所述之系統以及方法可以硬體、軟體或硬體以及軟體的組合的實體實施例加以實現。因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (18)

  1. 一種多維度尺寸量測系統，包括：一二維影像取像裝置，用以擷取待測之一物體之至少一宏觀(macro)二維影像，其中該至少一宏觀二維影像對應於該物體之整體；一三維資訊擷取裝置，用以擷取該物體之至少一微觀(micro)三維量測數據，其中該至少一微觀三維量測數據對應於該物體之一部分區域；一整合估測裝置，耦接至該二維影像取像裝置以及三維資訊擷取裝置，用以接收並對該至少一宏觀二維影像以及該至少一微觀三維量測數據進行一二維與三維影像校正，以映射該至少一微觀三維量測數據至該至少一宏觀二維影像，從而產出對應該物體之該宏觀二維影像的一三維形貌數據；以及一顯示裝置，耦接至該整合估測裝置，用以顯示該物體之一量測結果，其中該整合估測裝置係依據機器學習機制，對該三維形貌數據中至少任二位置間之一連線特徵與一資料庫中多個二維模型進行一配對，以從該多個二維模型中推舉出一適配模型，並依據該適配模型所對應之至少一擬合式，估測該三維形貌數據之該等連線特徵以產出至少一估測特徵量，從而依據該至少一估測特徵量，得到相應該物體之該量測結果。
  2. 如申請專利範圍第1項所述之多維度尺寸量測系統，其中該二維影像取像裝置更擷取一參考標的之一參考二維影像，該三維資訊擷取裝置更擷取該參考標的之一參考三維量測數據，並且該整合估測裝置利用該參考二維影像以及該參考三維量測數據，對該至少一宏觀二維影像以及該至少一微觀三維 量測數據進行該二維與三維影像校正，以映射該至少一微觀三維量測數據至該至少一宏觀二維影像。
  3. 如申請專利範圍第1項所述之多維度尺寸量測系統，其中該整合估測裝置分別利用該參考二維影像以及該參考三維量測數據，對該至少一宏觀二維影像以及該至少一微觀三維量測數據進行一座標轉換，以同時將該至少一宏觀二維影像以及該至少一微觀三維量測數據轉換至相應該參考標的之一第一座標系統，以透過該第一座標系統進行該二維與三維影像校正。
  4. 如申請專利範圍第3項所述之多維度尺寸量測系統，其中該二維影像取像裝置更包括一第一視野範圍以及一第一影像解析度以及該三維資訊擷取裝置更包括一第二視野範圍以及一第二影像解析度，並且該整合估測裝置更依據該第一視野範圍、該第一影像解析度、該第二視野範圍以及該第二影像解析度，對該至少一宏觀二維影像以及該至少一微觀三維量測數據進行該座標轉換。
  5. 如申請專利範圍第1項所述之多維度尺寸量測系統，其中該參考標的係為位置固定之一實體面。
  6. 如申請專利範圍第1項所述之多維度尺寸量測系統，其中該參考標的係為相應該物體之一中軸線之一虛擬面。
  7. 如申請專利範圍第1項所述之多維度尺寸量測系統，其中該機器學習機制包括一倒傳遞網路(Back Propagation Network,BPN)與反傳遞網路(Counter-Propagation Network,CPN)之類神經網路演算法。
  8. 如申請專利範圍第1項所述之多維度尺寸量測系統，其中該三維資訊擷取裝置係為一非接觸式光學取像裝置。
  9. 如申請專利範圍第1項所述之多維度尺寸量測系統，其中該三維資訊擷取裝置包括：一深度訊號擷取元件，用以接收來自該物體之深度訊號；一深度資訊運算元件，用以依據該物體之深度訊號，運算出該物體之深度資訊；以及一深度資訊輸出元件，用以將該物體之深度資訊輸出為量測資訊。
  10. 一種多維度尺寸量測方法，適用於一量測系統，該量測系統至少包括一二維影像取像裝置、一三維資訊擷取裝置、一整合估測裝置以及一顯示裝置，該方法包括下列步驟：經由該二維影像取像裝置，擷取待測之一物體之至少一宏觀(macro)二維影像，其中該至少一宏觀二維影像對應於該物體之整體；經由該三維資訊擷取裝置，擷取該物體之至少一微觀(micro)三維量測數據，其中該至少一微觀三維量測數據對應於該物體之一部分區域；經由該整合估測裝置，對該至少一宏觀二維影像以及該至少一微觀三維量測數據進行一二維與三維影像校正，以映射該至少一微觀三維量測數據至該至少一宏觀二維影像，從而產出對應該物體之該宏觀二維影像的一三維形貌數據；經由該整合估測裝置，依據機器學習機制，對該三維形貌數據中至少任二位置間之一連線特徵與一資料庫中多個二維 模型進行一配對，以從該多個二維模型中推舉出一適配模型，並依據該適配模型所對應之至少一擬合式，估測該三維形貌數據之該等連線特徵以產出至少一估測特徵量，從而依據該至少一估測特徵量，得到相應該物體之一量測結果；以及經由該顯示裝置，顯示該物體之該量測結果。
  11. 如申請專利範圍第10項所述之多維度尺寸量測方法，更包括：提供一參考標的；經由該二維影像取像裝置，擷取該參考標的之一參考二維影像；經由該三維資訊擷取裝置，擷取該參考標的之一參考三維量測數據；以及經由該整合估測裝置，利用該參考二維影像以及該參考三維量測數據，對該至少一宏觀二維影像以及該至少一微觀三維量測數據進行該二維與三維影像校正，以映射該至少一微觀三維量測數據至該至少一宏觀二維影像。
  12. 如申請專利範圍第10項所述之多維度尺寸量測方法，其中，該利用該參考二維影像以及該參考三維量測數據，對該至少一宏觀二維影像以及該至少一微觀三維量測數據進行該二維與三維影像校正之步驟更包括：經由該整合估測裝置，分別利用該參考二維影像以及該參考三維量測數據，對該至少一宏觀二維影像以及該至少一微觀三維量測數據進行一座標轉換，以同時將該至少一宏觀二維影像以及該至少一微觀三維量測數據轉換至相應該參考標的之 一第一座標系統，以透過該第一座標系統進行該二維與三維影像校正。
  13. 如申請專利範圍第12項所述之多維度尺寸量測方法，其中該二維影像取像裝置更包括一第一視野範圍以及一第一影像解析度以及該三維資訊擷取裝置更包括一第二視野範圍以及一第二影像解析度，並且該分別利用該參考二維影像以及該參考三維量測數據，對該至少一宏觀二維影像以及該至少一微觀三維量測數據進行該座標轉換之步驟，更包括：依據該第一視野範圍、該第一影像解析度、該第二視野範圍以及該第二影像解析度，對該至少一宏觀二維影像以及該至少一微觀三維量測數據進行該座標轉換。
  14. 如申請專利範圍第11項所述之多維度尺寸量測方法，其中該參考標的係為位置固定之一實體面。
  15. 如申請專利範圍第11項所述之多維度尺寸量測方法，其中該參考標的係為相應該物體之中軸線之一虛擬面。
  16. 如申請專利範圍第10項所述之多維度尺寸量測方法，其中該機器學習機制包括一倒傳遞網路(Back Propagation Network,BPN)與反傳遞網路(Counter-Propagation Network,CPN)之類神經網路演算法。
  17. 如申請專利範圍第10項所述之多維度尺寸量測方法，其中該三維資訊擷取裝置係為一非接觸式光學取像裝置。
  18. 如申請專利範圍第10項所述之多維度尺寸量測方法，其中該至少一宏觀二維影像係為一投影影像以及該至少一微觀三維資訊係為一點雲資料。
TW105129451A 2016-09-10 2016-09-10 多維度尺寸量測系統及其方法 TWI607412B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW105129451A TWI607412B (zh) 2016-09-10 2016-09-10 多維度尺寸量測系統及其方法
US15/353,704 US10008005B2 (en) 2016-09-10 2016-11-16 Measurement system and method for measuring multi-dimensions

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105129451A TWI607412B (zh) 2016-09-10 2016-09-10 多維度尺寸量測系統及其方法

Publications (2)

Publication Number Publication Date
TWI607412B TWI607412B (zh) 2017-12-01
TW201812700A true TW201812700A (zh) 2018-04-01

Family

ID=61230710

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105129451A TWI607412B (zh) 2016-09-10 2016-09-10 多維度尺寸量測系統及其方法

Country Status (2)

Country Link
US (1) US10008005B2 (zh)
TW (1) TWI607412B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI646302B (zh) * 2018-06-04 2019-01-01 宏碁股份有限公司 三維掃描系統
TWI717865B (zh) * 2018-12-14 2021-02-01 大陸商深圳市商湯科技有限公司 影像處理方法及裝置、電子設備、電腦可讀取的記錄媒體和電腦程式產品

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6420404B1 (ja) * 2017-04-26 2018-11-07 ファナック株式会社 物体認識装置
US10845079B1 (en) * 2017-06-28 2020-11-24 Alarm.Com Incorporated HVAC analytics
JP2019015553A (ja) * 2017-07-05 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法および個体撮像装置
JP6559201B2 (ja) * 2017-09-29 2019-08-14 株式会社トプコン 解析システム、解析方法、及び解析プログラム
US10721471B2 (en) * 2017-10-26 2020-07-21 Intel Corporation Deep learning based quantization parameter estimation for video encoding
US11017548B2 (en) 2018-06-21 2021-05-25 Hand Held Products, Inc. Methods, systems, and apparatuses for computing dimensions of an object using range images
CN110969651B (zh) * 2018-09-29 2023-07-25 Tcl科技集团股份有限公司 3d景深估计方法、装置及终端设备
CA3028599A1 (en) * 2018-11-15 2020-05-15 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for correcting a high-definition map based on detection of obstructing objects
CN111027405B (zh) * 2019-11-15 2023-09-01 浙江大华技术股份有限公司 物品空间占比估计方法、装置、终端及存储装置
WO2021113810A1 (en) 2019-12-06 2021-06-10 Mashgin, Inc. System and method for identifying items
US20210241450A1 (en) * 2020-01-30 2021-08-05 Electronics And Telecommunications Research Institute Method and apparatus for detecting dimension error
US11669988B1 (en) * 2020-02-10 2023-06-06 4DMobile, LLC System and method for three-dimensional box segmentation and measurement
CN113763231B (zh) * 2020-06-08 2024-02-09 北京京东乾石科技有限公司 模型生成方法、图像透视图确定方法、装置、设备及介质
TWI755765B (zh) 2020-06-22 2022-02-21 中強光電股份有限公司 視覺與深度座標系的校正系統、校正方法及校正裝置
JP2022066928A (ja) * 2020-10-19 2022-05-02 日本電子株式会社 座標リンケージシステム及び座標リンケージ方法
CN113643328B (zh) * 2021-08-31 2022-09-09 北京柏惠维康科技股份有限公司 标定物的重建方法、装置、电子设备及计算机可读介质
US20230367445A1 (en) * 2022-05-13 2023-11-16 Baker Hughes Holdings Llc Interactive measurement based on three-dimensional representations of objects
CN115797359B (zh) * 2023-02-10 2023-06-16 苏州赫芯科技有限公司 基于电路板上锡膏的检测方法、设备和存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4266333B2 (ja) 2003-09-01 2009-05-20 株式会社キーエンス 拡大観察装置、画像ファイル生成装置、画像ファイル生成プログラムおよびコンピュータで読み取り可能な記録媒体
TWI267037B (en) * 2004-10-14 2006-11-21 Univ Nat Taipei Technology Method of three-dimensional surface shape measurement by using encoded datum points
US7689003B2 (en) 2006-03-20 2010-03-30 Siemens Energy, Inc. Combined 2D and 3D nondestructive examination
US8477154B2 (en) 2006-03-20 2013-07-02 Siemens Energy, Inc. Method and system for interactive virtual inspection of modeled objects
US8244025B2 (en) 2006-03-20 2012-08-14 Siemens Energy, Inc. Method of coalescing information about inspected objects
US8010315B2 (en) 2007-11-27 2011-08-30 General Electric Company Multi-modality inspection method with data validation and data fusion
EP2399242A1 (en) 2009-02-19 2011-12-28 Dimensional Perception Technologies Ltd. System and method for geometric modeling using multiple data acquisition means
US8866114B2 (en) 2011-01-20 2014-10-21 Mitutoyo Corporation Vision measuring device
US8766153B2 (en) 2011-02-17 2014-07-01 Mitutoyo Corporation Vision measuring device and auto-focusing control method
US9972120B2 (en) * 2012-03-22 2018-05-15 University Of Notre Dame Du Lac Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces
US8861653B2 (en) 2012-05-04 2014-10-14 Qualcomm Incorporated Devices and methods for obtaining and using a priori information in decoding convolutional coded data
TWI550555B (zh) * 2012-05-14 2016-09-21 國立中山大學 三維幾何測量方法
CN103425806A (zh) * 2012-05-17 2013-12-04 鸿富锦精密工业（深圳）有限公司 三次元编程产品模拟系统及方法
CN104794756A (zh) * 2014-01-20 2015-07-22 鸿富锦精密工业（深圳）有限公司 点云模型贴图系统及方法
JP6280458B2 (ja) 2014-06-27 2018-02-14 株式会社キーエンス 三次元形状測定装置、測定データ処理ユニット、測定データ処理方法、及びコンピュータプログラム
CN104268935A (zh) * 2014-09-18 2015-01-07 华南理工大学 一种基于特征的机载激光点云与影像数据融合系统及方法
CN104330074B (zh) 2014-11-03 2017-01-18 广州欧科信息技术股份有限公司 一种智能测绘平台及其实现方法
TWI550425B (zh) * 2014-12-24 2016-09-21 財團法人工業技術研究院 三維點雲融合二維影像的方法、裝置與儲存媒體
CN105608737B (zh) * 2016-02-01 2019-01-08 成都通甲优博科技有限责任公司 一种基于机器学习的人体足部三维重建方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI646302B (zh) * 2018-06-04 2019-01-01 宏碁股份有限公司 三維掃描系統
TWI717865B (zh) * 2018-12-14 2021-02-01 大陸商深圳市商湯科技有限公司 影像處理方法及裝置、電子設備、電腦可讀取的記錄媒體和電腦程式產品

Also Published As

Publication number Publication date
TWI607412B (zh) 2017-12-01
US20180075618A1 (en) 2018-03-15
US10008005B2 (en) 2018-06-26

Similar Documents

Publication Publication Date Title
TWI607412B (zh) 多維度尺寸量測系統及其方法
US10979694B2 (en) Information processing apparatus, method, and storage medium
US10880541B2 (en) Stereo correspondence and depth sensors
Luhmann et al. Sensor modelling and camera calibration for close-range photogrammetry
EP3006893B1 (en) Methods for improving the accuracy of dimensioning-system measurements
US9135710B2 (en) Depth map stereo correspondence techniques
EP2416113B1 (en) Position and orientation measurement apparatus and position and orientation measurement method
JP5029618B2 (ja) パターン投影法による３次元形状計測装置、方法およびプログラム
JP4900204B2 (ja) 物体認識方法
JP2016128810A (ja) 奥行きカメラを校正する方法
US11568601B2 (en) Real-time hand modeling and tracking using convolution models
Wang et al. Phocal: A multi-modal dataset for category-level object pose estimation with photometrically challenging objects
Ahmadabadian et al. Stereo‐imaging network design for precise and dense 3D reconstruction
Ye et al. Accurate and dense point cloud generation for industrial Measurement via target-free photogrammetry
CN103559710B (zh) 一种用于三维重建系统的标定方法
JP7230722B2 (ja) 画像処理装置及び画像処理方法
JP6486083B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2011022084A (ja) 三次元姿勢測定装置および三次元姿勢測定方法
Tran et al. Accurate RGB-D camera based on structured light techniques
Fu et al. Real-time depth camera tracking with geometrically stable weight algorithm
TWI662694B (zh) 三維影像攝取方法及系統
Yu et al. Multi-view 2D–3D alignment with hybrid bundle adjustment for visual metrology
KR101424118B1 (ko) 3차원 스캐닝 장치 및 3차원 스캐닝 방법
Zhan et al. One Dimensional Camera of Line Structured Light Probe Calibration
Tang et al. 3-step-calibration of 3D vision measurement system based-on structured light