TWI818367B - 用於增強經積層製造產品之２ｄ影像序列之影像解析度之方法、電子裝置及非暫時性電腦可讀儲存媒體 - Google Patents

Abstract

本發明提供一種用於增強經積層製造產品之2D影像序列之影像解析度之方法。針對複數個積層製造程序之各者，程序在該各自積層製造程序期間獲得一各自產品之各自複數個循序低解析度2D影像且在該各自積層製造程序完成之後獲得該各自產品之一各自高解析度3D影像。該程序選擇分別將該等低解析度2D影像及該等高解析度3D影像細分成低解析度圖塊及高解析度圖塊之平鋪圖。該程序亦使用包含低解析度及高解析度圖塊之有序對之訓練輸入在一生成對抗網路中反覆地構建一影像增強生成器。該程序儲存該影像增強生成器以供隨後用於增強在積層製造期間針對產品擷取之低解析度2D影像序列。

Description

用於增強經積層製造產品之2D影像序列之影像解析度之方法、電子裝置及非暫時性電腦可讀儲存媒體

所揭示實施方案大體上係關於積層製造且更具體言之，係關於用於積層製造之基於深度學習之影像增強之系統、方法及使用者介面。

歸因經積層製造零件(例如，使用3D列印製造之零件)之複雜性，非破壞性品質控制方法非常有限。最廣泛使用之非破壞性測試方法係顯微CT(電腦斷層攝影)掃描。雖然此程序提供更大幾何準確度，但該程序極其昂貴且耗時，且不隨由緻密材料製成之大零件按比例調整(例如，程序受緻密材料中之陰影假影影響)。一些系統使用基於近紅外(NIR)影像之數位孿生3D體積。NIR後處理提供優越孔或裂縫界定但幾何定尺寸及容差(GD&T)較不準確，且未預測構建後效應。3D體積亦受影像之解析度限制。再者，此等系統僅在一製造程序期間擷取資料，此意謂未擷取隨後發生之改變。例如，此等系統未擷取金屬之重新熔融(此更改最終幾何形狀)。

除在先前技術段落中闡述之問題之外，亦存在需要檢測積 層製造品質之一經改良系統及方法之其他原因。例如，由於現有技術依賴於經積層製造產品之事後分析，故缺乏用於適當根本原因分析之背景內容資訊。本發明描述一種解決習知方法及系統之缺點之系統及方法。

本發明描述一種解決習知方法及系統之缺點之一些的系統及方法。本發明使用稱為一生成對抗網路(GAN)之深度神經網路技術以同時增加NIR影像之解析度、模型化構建後效應(諸如重新熔融或收縮)且將資料轉換為可由現成CT分析工具使用之一格式。本文中描述之技術使大3D體積能夠藉由神經網路處理。本發明描述兩個相異處理管線。第一管線用於訓練且測試(一進行中程序，其改良演算法之品質)，且第二管線用於現場部署。

根據一些實施方案，本發明使用電腦視覺、機器學習及/或統計模型化，且構建用於積層製造品質之現場檢測之數位模型。本文中描述之技術可用於將較低解析度NIR影像增強至CT式品質及解析度。另外，輸出可使用現成CT掃描軟體分析。技術需要針對高度準確全面性GD&T之每一構建之可忽略成本。技術增強特徵(諸如裂縫或孔)之特徵偵測。技術亦可用於基於來自先前構建之訓練預測層後效應(諸如重新熔融、膨脹及收縮)。不同於CT，根據本文中描述之技術之系統不如同CT般產生掃描假影，且幫助減少輸出中之雜訊。

根據一些實施方案，本發明使用一或多個相機作為感測器以在產品之積層製造期間擷取循序影像(例如，靜態影像或視訊)。使用電腦視覺及機器/深度學習技術將時間上循序之影像作為一多維資料陣列進行處理以產生相關分析及/或預測見解。此包含定位特定特徵(例如，缺陷)且判定該等特徵之範圍以評估品質。

在一些實施方案中，使用一經訓練電腦視覺及機器/深度學習演算法處理進展中積層製造程序之影像以產生缺陷特性化。在一些實施方案中，訓練電腦視覺及機器/深度學習演算法以基於進展中積層製造程序之影像判定產品品質。

根據一些實施方案，一方法在一運算系統處執行。通常言之，運算系統包含一單一電腦或工作站或複數個電腦，各電腦具有一或多個CPU及/或GPU處理器及記憶體。經實施機器學習模型化之方法通常不需要一運算叢集或超級電腦。

在一些實施方案中，一運算系統包含一或多個電腦。該等電腦之各者包含一或多個處理器及記憶體。該記憶體儲存經組態以藉由該一或多個處理器執行之一或多個程式。該一或多個程式包含用於執行本文中描述之任何方法之指令。

在一些實施方案中，一非暫時性電腦可讀儲存媒體儲存經組態以藉由具有一或多個電腦之一運算系統執行之一或多個程式，各電腦具有一或多個處理器及記憶體。該一或多個程式包含用於執行本文中描述之任何方法之指令。

因此，揭示促進積層製造程序之現場檢測之方法及系統。本文中描述之論述、實例、原理、組合物、結構、特徵、配置及程序可適用於、經調適用於適應性製造程序且體現於適應性製造程序中。

100:系統

102:積層製造設備

104:相機裝置

106:影像感測器

108:影像處理器

110:通信網路

112:現場檢測伺服器/現場檢測引擎

114:電腦視覺處理演算法

116:機器/深度學習資料模型

118:積層製造參數

200:系統

202:原始輸入影像

204:近紅外(NIR)及電腦斷層攝影(CT)資料

206:中間平鋪輸入

208:生成對抗網路

210:輸入資料

212:生成器

214:原始「真實」

216:鑑別器

218:樣本/結果

220:方塊

222:經微調回饋

224:系統

226:原始輸入影像

228:經剪切近紅外(NIR)影像

230:有序圖塊

232:有序圖塊輸出

234:輸出

236:數位孿生模型

300:運算裝置

302:處理單元/核心

304:通信介面

306:使用者介面

308:顯示裝置

310:輸入裝置/機構

312:通信匯流排

314:記憶體

316:作業系統

318:通信模組

320:選用資料視覺化應用程式或模組

322:影像處理模組

324:影像平鋪模組

326:影像拼接模組

328:影像轉換模組

330:積層製造控制模組

332:平鋪圖

334:機器/深度學習/迴歸模型

336:積層製造程序

338:循序低解析度2D影像

340:高解析度3D影像

342:構建後效應模型

344:內插模組

346:輸入/輸出使用者介面處理模組

400:影像

402:影像

404:影像

406:影像

500:拼接演算法/影像

502:初始經平鋪影像/第二影像

600:第一影像/輸入近紅外(NIR)影像

602:第二影像/電腦斷層攝影(CT)影像

604:第三影像/偽造電腦斷層攝影(CT)影像

606:表

700:厚度量測

702:圖表

704:圖表

706:圖表

804:近紅外(NIR)影像

806:偽造電腦斷層攝影(CT)影像

808:輸入影像

810:影像

812:輸入影像

814:影像

900:系統

902:第一輸入通道

904:第二輸入通道

906:第三輸入通道

908:3通道輸入

910:3通道輸出

912:影像

914:影像

916:影像

1000:系統

1002:積層製造程序

1004:循序低解析度2D影像

1006:選擇

1008:高解析度3D影像

1010:圖塊

1012:構建

1014:影像增強生成器

1016:獲得

1018:獲得

1020:使用

1022:儲存

1100:系統

1102:進展中積層製造程序

1104:循序低解析度2D影像

1106:選擇

1108:低解析度(LR)圖塊

1110:應用

1112:高解析度2D人工影像圖塊

1114:識別

1116:缺陷

1118:獲得

1120:獲得

為了更佳理解所揭示系統及方法以及額外系統及方法，應結合以下圖式參考下文之[實施方式]，其中在圖各處，相同元件符號指代對應部分。

圖1係根據一些實施方案之用於積層製造程序之現場檢測之一系統之一方塊圖。

圖2A係根據一些實施方案之用於訓練用於增強經積層製造產品之2D影像序列之影像解析度之一生成對抗網路(GAN)之一系統之一方塊圖。

圖2B係根據一些實施方案之圖2A中展示之生成對抗網路(GAN)之一方塊圖。

圖2C係根據一些實施方案之用於使用用於增強經積層製造產品之2D影像序列之影像解析度之一生成對抗網路(GAN)之一系統之一方塊圖。

圖3係根據一些實施方案之一運算裝置之一方塊圖。

圖4係根據一些實施方案之積層製造程序之層之影像之例示性圖塊(tile)之一圖解。

圖5係根據一些實施方案之將積層製造程序之影像圖塊(image tile)拼接在一起之一圖解。

圖6A係根據一些實施方案之針對NIR、顯微CT掃描及人工高解析度影像量測之壁厚度之一圖解。

圖6B展示根據一些實施方案之具有基於一幾何比較測試之例示性量測之一表。

圖7展示根據一些實施方案之壁厚度量測之例示性視覺化。

圖8A及圖8B展示根據一些實施方案之人工高解析度影像之實例。

圖9係根據一些實施方案之用於Z軸放大(內插)之一方法之一示意圖。

圖10係繪示根據一些實施方案之訓練用於增強經積層製造產品之2D影像序列之影像解析度之一生成對抗網路之一系統之一方塊圖。

圖11係繪示根據一些實施方案之使用用於增強經積層製造產品之2D影像序列之影像解析度之一生成對抗網路之一系統之一方塊圖。

現將參考實施方案，在隨附圖式中繪示該等實施方案之實例。在以下描述中，闡述多個具體細節以便提供本發明之一透徹理解。然而，一般技術者將明白，可實踐本發明而無需此等具體細節。

圖1係根據一些實施方案之用於積層製造程序之現場檢測之一系統100之一方塊圖。積層製造設備102由一或多個相機裝置104監測，各裝置104包含一或多個影像感測器106及一或多個影像處理器108。由相機裝置收集之資料使用一通信網路110傳達至一現場檢測伺服器112。積層製造設備102使用可藉由現場檢測伺服器112動態地更新之一組積層製造參數118。製造參數可包含定義所使用材料及如何執行程序兩者之詳細程序流程。

現場檢測伺服器112使用一些標準電腦視覺處理演算法114以及一些機器/深度學習資料模型116。

程序在積層製造操作期間現場擷取影像且應用標準影像處理技術來突顯特徵(例如，高斯(Gaussian)模糊、電極及焊池之邊緣偵測、 信雜比過濾及角度校正)。程序使用時間互相關以將影像堆疊或視訊圖框與幾何形狀對準。在一些實施方案中，此資訊經饋送至一或多個經安裝機器人相機以供準確影像擷取。系統藉由獲取影像之時間導數而將時間影像趨勢轉換為平穩信號。系統用3D卷積(例如，像素位置、強度及色彩/光譜帶)針對依序、滯後影像批次訓練一卷積神經網路。在一些實施方案中，機器/深度學習資料模型116輸出某些事件(例如，是/否或缺陷之類型)之概率。

圖2A係根據一些實施方案之用於訓練用於增強經積層製造產品之2D影像序列之影像解析度之一生成對抗網路(GAN)之一系統200之一方塊圖。自積層製造程序之現場監測獲得原始輸入影像202(例如，NIR影像或CT資料)。一些實施方案藉由以一預定解析度(例如，60μm(微米)解析度)擷取NIR影像(在構建產品之同時)而獲取初始資料(原始輸入影像202)。一些實施方案以一第二預定解析度(例如，20μm解析度)執行經列印部分或產品之顯微CT掃描。顯微CT掃描通常係在完全建構一產品之後產生。在一些實施方案中，各NIR影像對應於一產品之一X-Y橫截面(例如，一層)。輸入影像經剪切且對準以獲得NIR及CT資料204，該NIR及CT資料204隨後使用翹曲變換平鋪(例如，隨機x-y、y-z或x-z圖塊)以獲得中間平鋪輸入206。此等圖塊堆疊(各表示整體影像之一部分)用於訓練一生成對抗網路208。例如，各NIR影像對應於一產品之一X-Y橫截面或層，且CT影像堆疊包含產品層之自下而上之一掃描(即，首先最底層，接著為一後續層，一直至最頂層)。將NIR影像與CT掃描影像對準包含將影像從最底層至最頂層逐層匹配。一些實施方案藉由修改輸入資料以增加可用於訓練之資料之量而擴增輸入資料(用於訓練神經網路之資料)。一些實 施方案對輸入資料進行旋轉、調整位置及/或按比例調整以獲得進一步資料以供訓練。在一些例項中，此等操作實際上未提供額外資料。例如，當輸入資料或影像含有圓形或六邊形時，旋轉未提供額外資料或資訊。一些實施方案藉由翹曲資料而擴增資料。在一些例項中，翹曲產生用於訓練神經網路之額外資訊(例如，一H形狀)。翹曲用於擴增訓練資料集以增加訓練資料中之分集。翹曲(有時稱為透視翹曲)包含輸入資料之(若干)仿射變換。一些實施方案翹曲NIR影像(或自NIR影像獲得之圖塊)及CT影像(或自CT影像獲得之圖塊)以產生對應翹曲影像(或圖塊)以供訓練。翹曲操作獲取一2D影像且將其投射至一3D空間中，此使影像看起來宛如其以一角度被觀看。由於最終影像被投射回二維，故翹曲產生看起來被拉伸、扭曲、彎曲或以其他方式變形之影像。一些實施方案對CT及NIR輸入資料兩者相同地執行翹曲操作，從而針對在原始資料中未見之幾何形狀或特徵產生成對真實數據。

一些實施方案藉由將NIR影像組合成一3D體積而將資料源配對，將NIR與顯微CT體積對準及/或將NIR影像放大至CT解析度(例如，使用基本內插)。一些實施方案藉由自上文描述之經配對3D體積隨機選擇圖塊，隨機操縱資料以擴增資料集及/或將資料庫劃分為訓練、測試及驗證資料集而提取訓練集。一些實施方案隨後使用訓練集以訓練GAN 208。

圖2B係根據一些實施方案之圖2A中展示之生成對抗網路(GAN)208之一方塊圖。一生成對抗網路或GAN係訓練一深度卷積神經網路(CNN)之一先進方法。代替使用一單一網路，訓練兩個分開的網路(一生成器212及一鑑別器216)。生成器212係將在訓練之後最後使用之網路。生成器212獲取輸入資料210(例如，近紅外或NIR影像)，處理輸入資 料210且產生樣本218(例如，偽造或人工資料)。結果218被視為「偽造」資料，此係因為其係經產生的(非一實際CT掃描)。鑑別器216獲取一原始「真實」樣本214或一「偽造」經產生樣本218(或兩者同時)，且嘗試判定資料是否係「真實」或「偽造」的。兩個網路同時被訓練。生成器212係基於其「欺騙」鑑別器216相信其資料係「真實」之能力而訓練，而鑑別器216係基於其辨別「真實」與「偽造」之能力而訓練。此導致兩個模型或網路變得愈來愈準確。當兩個網路之準確度已穩定(例如，準確度針對若干反覆未改變)時，模型被視為「收斂」或「完全訓練」(由方塊220展示之狀態)。在一些情況中，當鑑別器在約50%之時間係正確時，收斂發生。直至網路收斂時，方塊220中展示之狀態將經微調回饋222提供至生成器212及鑑別器216。在一些實施方案中，一人類開發人員驗證「偽造」資料結果之品質。在GAN訓練程序期間，網路利用訓練資料集(上文描述)以訓練網路，且利用獨立驗證資料集(上文亦描述)以量測準確度。訓練模型針對各輸入產生統計資料(例如，準確度及/或損失)。在一些實施方案中，一旦訓練已達到其中一開發人員相信輸出品質良好之一點，便使用一完全分開的資料集來執行測試。此資料集基本上係生產模型之一空運行(dry run)，從而不僅測試神經網路自身而且亦測試完整影像處理及組合管線。

圖2C係根據一些實施方案之用於使用用於增強經積層製造產品之2D影像序列之影像解析度之生成對抗網路(GAN)208之一系統224之一方塊圖。自一產品之一積層製造程序之現場監測獲得原始輸入影像226(例如，NIR影像)。一些實施方案在一積層製造程序期間擷取一產品之層影像。一些實施方案對影像重新定大小(例如，將大小增加3倍)。剪 切輸入影像以獲得經剪切NIR影像228。一些實施方案將經剪切影像228分段成經編號圖塊(例如，作為256x256像素圖塊)，從而針對各預定數目個像素提取一圖塊(例如，每128個像素)。在一些實施方案中，圖塊重疊(例如，4個圖塊重疊)以消除邊緣效應。隨後，對經剪切NIR影像排序及/或平鋪以獲得有序圖塊230。將有序圖塊230輸入至經訓練GAN生成器208(其在一推斷模式中運行)以獲得有序圖塊輸出232。對有序圖塊輸出232拼接且融合以獲得輸出234，該輸出234用於重建一數位孿生模型236(例如，附加經拼接影像以形成一3D體積)。根據一些實施方案，下文參考圖4及圖5描述平鋪及影像拼接演算法之細節。在一些實施方案中，將各圖塊分開地輸入至GAN。將輸入影像切片成圖塊，各圖塊由GAN處理，且接著將輸出圖塊重組成一最終影像。此係針對(圖塊之)影像堆疊中之各影像完成，且接著最終將輸出影像之堆疊組合成一3D體積。

圖3係繪示根據一些實施方案之一運算裝置300之一方塊圖。運算裝置300之各種實例包含伺服器、超級電腦、桌上型電腦、雲端伺服器及其他運算裝置之高效能叢集(HPC)。運算裝置300通常包含用於執行儲存於記憶體314中之模組、程式及/或指令且藉此執行處理操作之一或多個處理單元/核心(CPU及/或GPU)302；一或多個網路或其他通信介面304；記憶體314；及用於將此等組件互連之一或多個通信匯流排312。通信匯流排312可包含將系統組件互連且控制系統組件之間之通信之電路。

運算裝置300可包含一使用者介面306，該使用者介面306包括一顯示裝置308及一或多個輸入裝置或機構310。在一些實施方案中，輸入裝置/機構包含一鍵盤。在一些實施方案中，輸入裝置/機構包含 一「軟」鍵盤，該「軟」鍵盤視需要顯示於顯示裝置308上，從而使一使用者能夠「按下」呈現在顯示器308上之「鍵」。在一些實施方案中，顯示器308及輸入裝置/機構310包括一觸控螢幕顯示器(亦稱為一觸敏顯示器)。

在一些實施方案中，記憶體314包含高速隨機存取記憶體，諸如DRAM、SRAM、DDR RAM或其他隨機存取固態記憶體裝置。在一些實施方案中，記憶體314包含非揮發性記憶體，諸如一或多個磁碟儲存裝置、光碟儲存裝置、快閃記憶體裝置或其他非揮發性固態儲存裝置。在一些實施方案中，記憶體314包含遠端於(若干)GPU/(若干)CPU302定位之一或多個儲存裝置。記憶體314或替代地，記憶體314內之(若干)非揮發性記憶體裝置包括一非暫時性電腦可讀儲存媒體。在一些實施方案中，記憶體314或記憶體314之電腦可讀儲存媒體儲存以下程式、模組及資料結構或其等之一子集：●一作業系統316，其包含用於處置各種基本系統服務且用於執行硬體相依任務之程序；●一通信模組318，其用於經由一或多個通信網路介面304(有線或無線)及一或多個通信網路(諸如網際網路、其他廣域網路、區域網路、都會區域網路等)將運算裝置300連接至其他電腦及裝置；●一選用資料視覺化應用程式或模組320，其用於顯示用於現場檢測之積層製造缺陷之視覺化；●一輸入/輸出使用者介面處理模組346，其容許一使用者指定參數或控制變數；●一現場檢測引擎112(有時稱為線上監測引擎，上文參考圖1描 述)。在一些實施方案中，檢測引擎112包含一影像處理模組322及/或一積層製造控制模組330，如下文關於圖10描述。在一些實施方案中，影像處理模組322包含一影像平鋪模組324、一影像拼接模組326及/或一影像轉換模組328，如下文更詳細描述；●平鋪圖332，如由影像平鋪模組324使用以細分低解析度2D影像以獲得低解析度(LR)圖塊及/或用於細分高解析度2D影像以獲得高解析度(HR)圖塊；●機器/深度學習/迴歸模型334(例如，圖1中之模型116，且如下文進一步描述)，其包含權重及輸入向量；●積層製造程序336；●循序低解析度2D影像338；●高解析度3D影像340，其等包含高解析度2D影像之切片；●視情況，構建後效應模型342；及/或●一內插模組344。

上文識別之可執行模組、應用程式或程序集之各者可儲存於一或多個先前提及之記憶體裝置中且對應於用於執行上文描述之一功能之一指令集。上文識別之模組或程式(即，指令集)不需要實施為分開的軟體程式、程序或模組，且因此，在各種實施方案中，此等模組之各種子集可經組合或以其他方式重新配置。在一些實施方案中，記憶體314儲存上文識別之模組及資料結構之一子集。此外，記憶體314可儲存上文未描述之額外模組或資料結構。根據一些實施方案，下文進一步描述圖3中展示之各模組之操作及資料結構之性質。

雖然圖3展示一運算裝置300，但圖3旨在更多地作為可存 在之各種特徵之一功能描述而非作為本文中描述之實施方案之一結構示意圖。實務上且如一般技術者認知，分開地展示之物品可經組合且一些物品可被分開。

在一些實施方案中，雖然未展示，但記憶體314亦包含用於訓練且執行上文參考圖1及圖2A至圖2C描述之模型之模組。具體言之，在一些實施方案中，記憶體314亦包含一隨機取樣模組、一編碼架構、一或多個卷積神經網路、一統計支援封裝及/或其他影像、信號或相關聯資料。

圖4係根據一些實施方案之積層製造程序之層之影像之例示性圖塊之一圖解。根據一些實施方案，影像400、402、404及406可對應於相同產品之不同層(或使用相同積層製造程序或不同積層製造程序構建之一不同產品)。根據一些實施方案，各影像根據一圖塊大小平鋪，該圖塊大小係一影像大小之一分率(例如，一影像大小之四分之一或八分之一)。一些實施方案使用相同圖塊大小以平鋪全部影像。一些實施方案針對不同產品及/或不同積層製造程序使用不同圖塊大小。在圖4中，影像400、402、404及406對應於來自同一影像之分開的圖塊組。一些實施方案組合此等圖塊組以產生在各方向上重疊之一組圖塊。例如，高解析度影像在各軸上通常包含10個或更多個總圖塊，總共400個圖塊(4*100)。由於圖塊偏移，故在邊緣上存在在一或多個方向上具有一半厚度之圖塊。在一些實施方案中，GAN需要圖塊具有均勻大小，使得此等圖塊不被包含於計算中(例如，經剪切部分係使用零填充)，或經剪切部分與未剪切部分成鏡像。

圖5係根據一些實施方案之拼接積層製造程序之層之影像 之圖塊之一圖解。相較於習知方法，一些實施方案使用提供經平鋪影像之優越融合之一影像拼接演算法而無細節損失。輸出影像中之各像素由其在四個或更多個重疊圖塊之各者中之值之一加權總和產生。各圖塊之權重與距圖塊之中心之距離成線性比例以消除邊緣效應。根據一些實施方案，圖5展示可藉由拼接演算法500處理以產生一經拼接平鋪影像之一初始經平鋪影像502。在圖5中，影像500展示經重疊圖塊，其中來自各重疊圖塊之邊緣呈現在影像中。一些實施方案藉由拼接4個重疊圖塊組態且憑藉獲取4個影像(各影像對應於一重疊圖塊)之平均值或均值將其等融合在一起而產生影像500。圖5亦展示使用一經改良融合方法產生之一第二影像502。在一些實施方案中，在拼接各組圖塊之前，將圖塊乘以藉由一數學公式產生之一「融合圖塊」，下文展示該數學公式之一實例：

在上文展示之方程式(1)中，x及y係(一影像之一像素之)x、y座標，且width及height係對應於像素之一圖塊之寬度及高度(維度之大小)。在一些實施方案中，方程式(1)產生一加權影像，其中自0至1之一尺度由距影像之中心之x及y距離判定。在一些實施方案中，將藉由此4個組態產生之影像相加在一起，使得各像素之總權重係1。

圖6A及圖6B展示根據一些實施方案之測試經訓練神經網路(例如，GAN 208)之輸出之結果。根據一些實施方案，測試結果係基於NIR、CT及偽造CT(藉由一GAN 208之生成器產生之人工影像)之卡尺量測。根據一些實施方案，測試結果係來自包含以下項之一幾何比較測試：藉由以像素為單位量測零件之完整寬度而校準像素大小；使用卡尺量測薄壁(最小可能特徵)之厚度；及比較用於系統之輸出之量測與針對NIR及顯 微CT掃描量測之壁厚度。圖6A展示根據一些實施方案使用卡尺在寬度方向上量測之一經積層製造零件之一橫截面。寬度方向量測被劃分為各影像中此區域之平均像素寬度以判定一立體像素大小。藉由利用零件之整個寬度，歸因於+/-1像素邊緣界定不確定性之量測誤差率被最小化至一分率+/-2/(像素之總數)。在圖6A中，第一影像600係一NIR影像(一輸入影像，其具有低解析度且包含427個像素之一最小值、228個像素之均值數及431個像素之最大數)。第二影像602對應於一CT掃描影像(有時稱為一CT影像，其係包含1,367個像素之一最小值、1,373個像素之一最大值及1,369個像素之一均值之一更高解析度影像)。第三影像604對應於藉由系統產生之輸出(一偽造CT影像，其包含1,294個像素之一最小值、1,301個像素之一最大值及1,297個像素之一均值)。解析度在影像600、602及604之各者之y軸上展示。輸入影像600具有660μm之一卡尺量測，且偽造CT影像604具有626μm±40μm之一卡尺量測。如繪示，NIR影像之解析度低(0至100個單位)，而偽造CT影像之解析度(接近300個單位)類似於CT影像602之解析度。影像600、602及604中之x軸對應於藉由積層製造構建之一產品或一零件之一層之一線性尺寸。

圖6B展示根據一些實施方案之其橫截面在圖6A中展示之產品或零件之一面(「面1」)之量測之一表606。表606展示26.14個單位之一卡尺值，CT像素之數目係1,369，NIR像素之數目係428，偽造CT像素之數目係1,297，CT立體像素大小係19.0μm，NIR立體像素大小係61μm，且偽造CT立體像素大小係20.15μm。根據一些實施方案，表606展示用於計算圖6A中展示之影像之立體像素大小之數目。

圖7展示根據一些實施方案針對圖6A及圖6B中之零件之一 相同位置使用NIR、CT及偽造CT資料之例示性厚度量測700。根據一些實施方案，在圖7中，圖表702對應於輸入NIR影像600，圖表704對應於CT影像602且圖表706對應於偽造CT影像604。各圖表或影像包含遍及區域之最大、最小及平均厚度量測。比較該量測與來自同一位置之卡尺量測以判定準確度，如上文參考圖6A及圖6B描述。

圖8A及圖8B展示根據一些實施方案之人工高解析度影像之實例。圖8A展示被輸入至針對來自較早構建之CT資料訓練之一經訓練網路之一NIR影像804，該經訓練網路產生一偽造CT影像806(匹配一CT影像之一人工影像)。當網路收斂時，偽造CT影像之解析度及/或品質匹配一真實CT影像之解析度及/或品質。圖8B展示當針對不同幾何形狀測試(即，針對未包含於訓練集中之多個幾何形狀測試網路)時如參考圖8A描述般訓練之網路之輸出。例如，使用如在圖8A中描述般訓練之網路，輸入影像808產生影像810，且輸入影像812產生影像814。

圖9係根據一些實施方案之用於Z軸放大(內插)之一系統900之一示意圖。一些實施方案使用一分開的神經網路(例如，除上文描述之GAN 208之外之一神經網路)。一些實施方案訓練且使用GAN 208以供Z軸放大。在一些實施方案中，分開的網路經訓練以不僅增加X及Y軸上之解析度，而且亦在Z軸上內插於列印層之間。在實驗中，結果展示持續GD&T準確度及在一些例項中，經改良孔界定。在一些實施方案中，內插操作由上文參考圖3描述之內插模組344執行。在一些實施方案中，組合三個通道輸入(例如，3 x 1通道輸入，包含0μm下之一第一輸入通道902、25μm下之一第二輸入通道904及50μm下之一第三輸入通道906)以形成一3通道輸入908。一些實施方案針對經積層製造之一產品之各層使 用一個輸入通道。一些實施方案針對在距經積層製造之一產品之一預定位置一各自距離處之各層使用一各自輸入通道。在一些實施方案中，各輸入通道對應於在相對於經積層製造之一產品之另一層之一預定距離(例如，25μm)處之一層。3通道輸入經輸入至一神經網路(類似於GAN 208)，該神經網路經訓練以在Z軸上內插於列印層之間(類似於產生一更高解析度影像)且輸出一3通道輸出910，該3通道輸出910被分裂成3 x 1通道輸出(分別在0μm、25μm及50μm下之影像912、914及916)。

圖10係繪示根據一些實施方案之訓練用於增強經積層製造產品之2D影像序列之影像解析度之一生成對抗網路之一系統1000之一方塊圖。在一些實施方案中，系統1000(例如，運算裝置300)執行用於增強經積層製造產品之2D影像之時間序列之影像解析度之一方法。方法包含針對複數個積層製造程序1002之各者執行一序列步驟。該序列步驟包含獲得(1016)各自積層製造程序期間之一各自產品之各自複數個循序低解析度2D影像1004(例如，使用近紅外(NIR)影像之低解析度2D影像338)。該序列步驟亦包含獲得(1018)在完成各自積層製造程序之後之各自產品之一各自高解析度3D影像1008(例如，一高解析度3D影像342)。高解析度3D影像包括對應於低解析度2D影像之複數個高解析度2D影像。該序列步驟亦包含選擇(1006)將低解析度2D影像之各者細分成複數個LR圖塊且將對應高解析度2D影像之各者細分成複數個對應HR圖塊之一或多個平鋪圖。在圖10中，複數個LR圖塊及複數個HR圖塊係由圖塊1010指示。在一些實施方案中，LR及HR圖塊經分開儲存。一些實施方案運算且儲存LR及HR圖塊之有序對。該序列步驟亦包含使用(1020)包括對應LR圖塊及HR圖塊之有序對之訓練輸入在一生成對抗網路中反覆地構建(1012)一影像增強生 成器1014。在一些實施方案中，該序列步驟亦包含儲存(1022)影像增強生成器以供隨後用於增強在積層製造期間針對產品擷取之低解析度2D影像序列。

在一些實施方案中，生成對抗網路(例如，GAN 208)包含包括影像增強生成器(例如，生成器212)之一第一神經網路及包括一鑑別器(例如，鑑別器216)之一第二神經網路。在一些實施方案中，反覆地構建影像增強生成器包含：訓練影像增強生成器以基於低解析度2D影像產生候選高解析度2D影像(例如，偽造CT資料)；及訓練鑑別器以在候選高解析度2D影像與經獲得高解析度3D影像(真實高解析度影像)之2D切片之間進行區分。根據一些實施方案，訓練低解析度2D影像及高解析度2D影像之實例在上文參考圖2A至圖2C、圖6、圖8A及圖8B描述。在一些實施方案中，當影像增強生成器之輸出在多個連續訓練反覆期間由鑑別器針對百分之50之候選高解析度2D影像分類為一真實高解析度3D影像時，構建影像增強生成器停止。例如，兩個模型變得愈來愈準確。當兩個網路之準確度已穩定時，模型被視為「收斂」或「完全訓練」。在一些實施方案中，一人類開發人員接受「偽造」資料結果之品質。

在一些實施方案中，複數個循序低解析度2D影像1004之各者係各自積層製造程序期間之各自產品之一近紅外(NIR)影像。

在一些實施方案中，基於在各自積層製造程序完成之後執行各自產品之一顯微CT掃描而產生高解析度3D影像1008之各者(例如，20μm解析度)。

在一些實施方案中，方法進一步包含在細分成切片之前剪切低解析度2D影像且將其等與高解析度2D影像對準。在一些實施方案 中，方法進一步包含藉由對2D影像之一些執行一翹曲變換而擴增訓練輸入中之LR圖塊及HR圖塊。在一些實施方案中，一或多個平鋪圖包括複數個平鋪圖，各平鋪圖根據一不同圖案細分。在一些實施方案中，選擇平鋪圖及細分(有時稱為平鋪)由影像處理模組322(例如，使用影像平鋪模組324)執行。根據一些實施方案，經平鋪影像及平鋪操作之實例在上文參考圖3及圖4描述。

圖11係繪示根據一些實施方案之使用來自用於增強經積層製造產品之2D影像序列之影像解析度之一經訓練生成對抗網路(例如，經由上文參考圖10描述之程序訓練之GAN)之生成器之一系統1100之一方塊圖。系統1100執行經提供用於增強經積層製造產品之2D影像序列之影像解析度之一方法。方法在具有一或多個處理器及儲存經組態以藉由該一或多個處理器執行之一或多個程式之記憶體之運算裝置300處執行。

方法包含在一進展中積層製造程序1102(例如，積層製造程序336)期間獲得(1118)一產品之複數個循序低解析度2D影像1104(例如，近紅外(NIR)影像)。方法亦包含獲得(1120)先前作為一生成對抗網路之部分訓練(例如，如上文參考圖10描述般訓練)之一影像增強生成器1014。影像增強生成器經組態以接受具有一固定2維大小之輸入影像。方法亦包含選擇(1106)將低解析度2D影像之各者細分成複數個LR圖塊1108之一或多個平鋪圖(例如，使用影像平鋪模組324)。來自低解析度2D影像之空間上對應圖塊形成複數個圖塊堆疊。方法亦包含針對LR圖塊之各者，應用(1110)影像增強生成器1014以產生產品之一高解析度2D人工影像圖塊1112。方法亦包含將高解析度2D人工影像圖塊拼接(例如，使用影像拼接模組326)在一起以形成對應於低解析度影像之一組高解析度2D人 工層，且將高解析度2D人工層堆疊在一起以形成產品之一3D人工體積。

在一些實施方案中，方法進一步包含使用3D人工體積以識別(1114)產品中之構建後效應及/或缺陷1116(例如，特徵偵測，諸如裂縫/孔，基於先前構建預測層後效應(諸如重新熔融、膨脹、收縮))。

在一些實施方案中，生成對抗網路(如上文參考圖2B描述)包含包括一影像增強生成器之一第一神經網路及包括一鑑別器之一第二神經網路。

在一些實施方案中，在訓練(上文參考圖10描述其之實例)期間，訓練影像增強生成器1014以基於低解析度2D影像(例如，NIR影像)產生候選高解析度2D影像(例如，偽造或人工CT資料)；及訓練鑑別器以在候選高解析度2D影像與在積層製造程序完成之後擷取之真實高解析度3D影像之切片之間進行鑑別。

在一些實施方案中，獲得複數個循序低解析度2D影像1104包含在進展中積層製造程序期間擷取產品之各層之一各自低解析度2D影像(例如，在圖4、圖5、圖6、圖8A、圖8B及圖9中展示之影像)。

在一些實施方案中，方法進一步包含對複數個循序低解析度2D影像重新定大小(例如，使用影像轉換模組328)。

在一些實施方案中，各平鋪圖將低解析度2D影像之各者細分成非重疊圖塊。在一些實施方案中，一或多個平鋪圖包含複數個平鋪圖，各平鋪圖根據一不同圖案細分低解析度2D影像。在一些實施方案中，拼接包含：針對包含於平鋪圖之兩個或更多個重疊區域中之各像素，藉由運算對應高解析度2D人工影像圖塊中之值之一各自加權總和而產生各自像素之一各自輸出影像。在一些實施方案中，運算各自加權總和包 含：針對各圖塊對各自加權總和之貢獻，將與距各自圖塊之一中心之一距離成線性比例之一各自權重相關聯。

在一些實施方案中，方法進一步包含(例如，使用影像轉換模組328)將產品之高解析度3D人工體積轉換為一原生CT掃描格式(例如，可由現成CT分析工具使用之一格式)。

在一些實施方案中，方法進一步包含使用一經訓練神經網路內插於(例如，使用內插模組344，且如上文參考圖9描述)進展中積層製造程序之列印層之間(例如，除增加X及Y軸上之解析度之外，GAN網路亦在Z軸上內插於列印層之間)。

一些實施方案反覆參考圖11描述之程序以隨後標記及/或拒絕有缺陷零件。例如，一些系統識別及/或摒棄經預測具有超出一預定臨限值之孔隙率或不滿足一預定幾何標準之一層之產品。

在本文中之本發明之描述中使用之術語僅係出於描述特定實施方案之目的且不旨在限制本發明。如本發明之描述及隨附發明申請專利範圍中使用，單數形式「一(a/an)」及「該」旨在亦包含複數形式，除非背景內容另有清楚指示。亦將理解，如本文中使用之術語「及/或」係指且涵蓋相關聯所列物品之一或多者之任何及全部可能組合。將進一步理解，當在本說明書中使用時，術語「包括(comprises及/或comprising)」指定所述特徵、步驟、操作、元件及/或組件之存在，但不排除一或多個其他特徵、步驟、操作、元件、組件及/或其等之群組之存在或添加。

為了解釋之目的，已參考特定實施方案描述前述描述。然而，上文之闡釋性論述不旨在為窮舉性或將本發明限於所揭示之精確形式。鑑於上文中之教示，許多修改及變動係可行的。選取且描述實施方案 以便最佳解釋本發明之原理及其實際應用以藉此使其他熟習此項技術者能夠最佳利用具有如適合所審慎考慮特定使用之各種修改之本發明及各種實施方案。

1000:系統

1002:積層製造程序

1004:循序低解析度2D影像

1006:選擇

1008:高解析度3D影像

1010:圖塊

1012:構建

1014:影像增強生成器

1016:獲得

1018:獲得

1020:使用

1022:儲存

Claims (23)

1. 一種用於增強經積層製造產品(additively manufactured products)之2D影像序列之影像解析度之方法，該方法包括：針對複數個積層製造程序之各者：在該各自積層製造程序期間獲得一各自產品之各自複數個循序低解析度2D影像；在該各自積層製造程序完成之後獲得該各自產品之一各自高解析度3D影像，其中該高解析度3D影像包括對應於該等低解析度2D影像之複數個高解析度2D影像；選擇將該等低解析度2D影像之各者細分成複數個LR圖塊(tile)且將該等對應高解析度2D影像之各者細分成複數個對應HR圖塊之一或多個平鋪圖(tiling map)；使用包括對應LR圖塊及HR圖塊之有序對之訓練輸入在一生成對抗網路(generative adversarial network)中反覆地構建一影像增強生成器；及儲存該影像增強生成器以供隨後用於增強在積層製造期間針對產品擷取之低解析度2D影像序列。
2. 如請求項1之方法，其中該複數個循序低解析度2D影像之各者係在該各自積層製造程序期間以一時間序列擷取之該各自產品之一近紅外(NIR)影像。
3. 如請求項1之方法，其中基於在該各自積層製造程序完成之後執行該各自產品之一顯微CT掃描而產生該等高解析度3D影像之各者。
4. 如請求項1之方法，其中該生成對抗網路包含包括該影像增強生成器之一第一神經網路及包括一鑑別器之一第二神經網路。
5. 如請求項4之方法，其中反覆地構建該影像增強生成器包括：訓練該影像增強生成器以基於低解析度2D影像產生候選高解析度2D影像；及訓練該鑑別器以在該等候選高解析度2D影像與該等經獲得高解析度3D影像之2D切片之間進行區分。
6. 如請求項5之方法，其中當該影像增強生成器之輸出在多個連續訓練反覆期間由該鑑別器針對百分之50之該等候選高解析度2D影像分類為一真實高解析度3D影像時，構建該影像增強生成器停止。
7. 如請求項1之方法，其進一步包括在細分成圖塊之前剪切該等低解析度2D影像且將其等與該等高解析度2D影像對準。
8. 如請求項1之方法，其進一步包括藉由對該等2D影像之一些執行一翹曲變換而擴增該訓練輸入中之該等LR圖塊及該等HR圖塊。
9. 如請求項1之方法，其中該一或多個平鋪圖包括複數個平鋪圖，各平 鋪圖根據一不同圖案細分。
10. 一種用於增強經積層製造產品之2D影像序列之影像解析度之方法，該方法包括：在一進展中積層製造程序期間獲得一產品之複數個時間上循序之低解析度2D影像；獲得先前作為一生成對抗網路之部分訓練之一影像增強生成器，其中該影像增強生成器經組態以接受具有一固定2維大小之輸入影像；選擇將該等低解析度2D影像之各者細分成複數個LR圖塊之一或多個平鋪圖；針對該等LR圖塊之各者，應用該影像增強生成器以產生該產品之一高解析度2D人工影像圖塊；將該等高解析度2D人工影像圖塊拼接在一起以形成對應於該等低解析度影像之一組高解析度2D人工層；及將該等高解析度2D人工層堆疊在一起以形成該產品之一3D人工體積。
11. 如請求項10之方法，其中該生成對抗網路包含包括該影像增強生成器之一第一神經網路及包括一鑑別器之一第二神經網路。
12. 如請求項11之方法，其中在訓練期間：訓練該影像增強生成器以基於低解析度2D影像產生候選高解析度 2D影像；及訓練該鑑別器以在該等候選高解析度2D影像與在積層製造程序完成之後擷取之真實高解析度3D影像之片段之間進行鑑別。
13. 如請求項10之方法，其中獲得該複數個時間上循序之低解析度2D影像包括在該進展中積層製造程序期間擷取該產品之各層之一各自低解析度2D影像。
14. 如請求項10之方法，其進一步包括對該複數個循序低解析度2D影像重新定大小。
15. 如請求項10之方法，其中各平鋪圖將該等低解析度2D影像之各者細分成非重疊圖塊。
16. 如請求項10之方法，其中該一或多個平鋪圖包括複數個平鋪圖，各平鋪圖根據一不同圖案細分該等低解析度2D影像。
17. 如請求項10之方法，其中該拼接包括：針對包含於該平鋪圖之兩個或更多個重疊區域中之各像素，藉由運算該等對應高解析度2D人工影像圖塊中之值之一各自加權總和而產生該各自像素之一各自輸出影像。
18. 如請求項17之方法，其中運算該各自加權總和包括： 針對各圖塊對該各自加權總和之貢獻，將與距該各自圖塊之一中心之一距離成線性比例之一各自權重相關聯。
19. 如請求項10之方法，其進一步包括：將該產品之該3D人工體積轉換為一原生CT掃描格式。
20. 如請求項10之方法，其進一步包括：使用一經訓練神經網路內插於該進展中積層製造程序之列印層之間。
21. 如請求項10之方法，其進一步包括使用該3D人工體積以識別該產品中之構建後效應或缺陷。
22. 一種用於增強經積層製造產品之2D影像序列之影像解析度之電子裝置，其包括：一或多個處理器；及記憶體，其儲存經組態以藉由該一或多個處理器執行之一或多個程式，該一或多個程式包含用於執行如請求項1至21中任一項之方法之指令。
23. 一種非暫時性電腦可讀儲存媒體，其儲存經組態以藉由一電子裝置之一或多個處理器執行之一或多個程式，該一或多個程式包含用於執行如請求項1至21中任一項之方法之指令。