JP2023553004A - 付加製造のためのディープラーニングベースの画像拡張 - Google Patents

付加製造のためのディープラーニングベースの画像拡張 Download PDF

Info

Publication number
JP2023553004A
JP2023553004A JP2023534038A JP2023534038A JP2023553004A JP 2023553004 A JP2023553004 A JP 2023553004A JP 2023534038 A JP2023534038 A JP 2023534038A JP 2023534038 A JP2023534038 A JP 2023534038A JP 2023553004 A JP2023553004 A JP 2023553004A
Authority
JP
Japan
Prior art keywords
image
resolution
images
additive manufacturing
tiles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023534038A
Other languages
English (en)
Inventor
サイモン・メーソン
ライアン・スコット・キッチン
トラヴィス・マクフォールズ
Original Assignee
ビーダブリューエックスティー・アドバンスド・テクノロジーズ・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ビーダブリューエックスティー・アドバンスド・テクノロジーズ・エルエルシー filed Critical ビーダブリューエックスティー・アドバンスド・テクノロジーズ・エルエルシー
Publication of JP2023553004A publication Critical patent/JP2023553004A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3-D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3-D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y50/00—Data acquisition or data processing for additive manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P10/00—Technologies related to metal processing
    • Y02P10/25—Process efficiency

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Materials Engineering (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

付加製造した製品の2D画像のシーケンスについて画像解像度を向上させるための方法が提供される。複数の付加製造プロセスの各々について、プロセスは、それぞれの付加製造プロセスの期間に、それぞれの製品のそれぞれの複数の連続した低解像度2D画像を得て、それぞれの付加製造プロセスの完了後の、それぞれの製品のそれぞれの高解像度3D画像を得る。低解像度2D画像および高解像度3D画像をそれぞれ低解像度タイルおよび高解像度タイルへと細分化するタイル配置マップをプロセスが選択する。プロセスは、低解像度および高解像度タイルの順序付けした対を含む訓練入力を使用して、敵対的生成ネットワーク中で繰り返して画像拡張生成器をやはり構築する。プロセスは、付加製造期間に製品についてキャプチャされた低解像度2D画像のシーケンスを拡張するために後で使用するため、画像拡張生成器を記憶する。

Description

開示される実装形態は、一般的に、付加製造に関し、より具体的には、付加製造のためのディープラーニングベースの画像拡張のための、システム、方法、およびユーザインターフェースに関する。
付加製造した部分(たとえば、3Dプリントを使用して製造された部分)の複雑さに起因して、非破壊品質制御方法は非常に限られる。最も広く使用される非破壊試験方法は、マイクロCT(コンピュータ断層撮影)スキャニングである。このプロセスはより高い幾何学的精度を実現するが、本プロセスは、極端に高価で時間がかかり、密度の高い材料から作られる大きい部分に拡大しない(たとえば、本プロセスは、密度の高い材料中のシャドウイングアーチファクトによって影響を受ける)。いくつかのシステムは、近赤外線(NIR)画像に基づいたデジタルツイン3D容積を使用する。NIR後処理によって、優れた細孔またはクラック鮮明度が実現されるが、正確でない幾何学的寸法&公差(GD&T)となり、構築後効果は予測されない。3D容積は、画像の解像度によっても制限される。さらに、そのようなシステムは、製造プロセス期間のデータだけをキャプチャし、このことは、その後に生じた変化がキャプチャされないことを意味する。たとえば、これらのシステムは、最終的な幾何形状を変える金属の再溶融をキャプチャしない。
背景セクションで記載された問題に加えて、付加製造品質を検査する改善されたシステムおよび方法が必要な他の理由がある。たとえば、既存の技法が、付加製造された製品の事後分析に依拠するため、適正な根本原因の分析のための状況の情報が欠けている。本開示は、従来の方法およびシステムの欠点に対処するシステムおよび方法を記載する。
本開示は、従来の方法およびシステムの欠点のいくつかに対処するシステムおよび方法を記載する。本開示は、敵対的生成ネットワーク(GAN)と呼ばれるディープニューラルネット技術を使用して、同時に、NIR画像の解像度を向上させ、構築後効果(再溶融または縮小など)をモデル化し、データを市販のCT分析ツールが使用できる形式に変換する。本明細書に記載される技法によって、大きい3D容積をニューラルネットが処理することが可能になる。本開示は、2つの別個の処理パイプラインを記載する。第1のパイプラインは、(アルゴリズムの品質を改善する進行中のプロセスの)訓練および試験のために使用され、第2のパイプラインは現場で展開するために使用される。
本開示は、コンピュータビジョン、機械学習、および/または統計的モデリングを使用し、いくつかの実装形態にしたがって、付加製造品質の現場検査用のデジタルモデルを構築する。本明細書で記載される技法は、低解像度のNIR画像を、CTのような品質および解像度に拡張するために使用することができる。加えて、出力を市販のCTスキャンソフトウェアで分析することができる。本技法は、非常に正確な包括的GD&Tについて、構築するごとにごく少ないコストがかかる。本技法は、クラックまたは細孔などといった特徴について、特徴検出を向上させる。本技法は、以前の構築からの訓練に基づいて、再溶融、拡大、および縮小などといった、ポストレイヤ効果を予測するため使用することもできる。CTとは異なって、本明細書に記載される技法にしたがったシステムは、CTのようなスキャンアーチファクトを生成させず、出力中のノイズを低減させるのを助ける。
いくつかの実装形態によれば、本発明は、製品の付加製造の期間に連続した画像(たとえば、静止画像または動画)をキャプチャするためのセンサとして1つまたは複数のカメラを使用する。時間的に連続した画像は、コンピュータビジョンおよび機械/ディープラーニング技法で多次元データ配列として処理され、関連分析および/または予測洞察を行う。これは、特定の特徴(たとえば、欠陥)を位置決めするステップ、およびそれらの特徴の程度を決定して品質を評価するステップを含む。
いくつかの実装形態では、進行中の付加製造プロセスの画像が、訓練したコンピュータビジョンおよび機械/ディープラーニングアルゴリズムを使用して処理されて、欠陥特性化をもたらす。いくつかの実装形態では、コンピュータビジョンおよび機械/ディープラーニングアルゴリズムが訓練されて、進行中の付加製造プロセスの画像に基づいて製品品質を決定する。
いくつかの実装形態によれば、方法は、コンピューティングシステムで実行する。典型的には、コンピューティングシステムは、各々が1つもしくは複数のCPUおよび/またはGPUプロセッサならびにメモリを有する単一のコンピュータもしくはワークステーションまたは複数のコンピュータを含む。実装される機械学習モデル化の方法は、一般的に、コンピューティングクラスタまたはスーパーコンピュータを必要としない。
いくつかの実装形態では、コンピューティングシステムは、1つまたは複数のコンピュータを含む。コンピュータの各々は、1つまたは複数のプロセッサならびにメモリを含む。メモリは、1つまたは複数のプロセッサが実行するために構成される1つまたは複数のプログラムを記憶する。1つまたは複数のプログラムは、本明細書に記載される方法のいずれかを実施するための命令を含む。
いくつかの実装形態では、非一時的コンピュータ可読記憶媒体は、各コンピュータが1つまたは複数のプロセッサおよびメモリを有する1つまたは複数のコンピュータを有するコンピューティングシステムが実行するように構成される1つまたは複数のプログラムを記憶する。1つまたは複数のプログラムは、本明細書に記載される方法のいずれかを実施するための命令を含む。
こうして、付加製造プロセスの現場検査を容易にする方法およびシステムが開示される。本明細書に記載される議論、例、原理、組成、構造、特徴、配置、およびプロセスは、付加製造プロセスに適用すること、適合させること、具体化することができる。
開示されるシステムおよび方法、ならびに追加のシステムおよび方法をよりよく理解するため、下の実装形態の記載とともに以下の図面への参照を行うべきであり、図面では、同様の参照番号は、図の全体を通して対応する部分のことをいう。
いくつかの実装形態にしたがった、付加製造プロセスの現場検査のためのシステムのブロック図である。 いくつかの実装形態にしたがった、付加製造した製品の2D画像のシーケンスについて画像の解像度を向上させるため、敵対的生成ネットワーク(GAN)を訓練するためのシステムのブロック図である。 いくつかの実装形態にしたがった、図2Aに示された敵対的生成ネットワーク(GAN)のブロック図である。 いくつかの実装形態にしたがった、付加製造した製品の2D画像のシーケンスについて画像の解像度を向上させるため、敵対的生成ネットワーク(GAN)を使用するためのシステムのブロック図である。 いくつかの実装形態にしたがった、コンピューティングデバイスのブロック図である。 いくつかの実装形態にしたがった、付加製造プロセスの層の画像の例示のタイルの図である。 いくつかの実装形態にしたがった、付加製造プロセス用に画像タイルを一緒にスティッチするステップの図である。 いくつかの実装形態にしたがった、NIR、マイクロCTスキャン、および人工高解像度画像について測定された壁厚の図である。 いくつかの実装形態にしたがった、幾何学的比較試験に基づいた例示測定値を示す表である。 いくつかの実装形態にしたがった、壁厚測定値を示す例示的に視覚化した図である。 いくつかの実装形態にしたがった、人工高解像度画像の例を示す図である。 いくつかの実装形態にしたがった、人工高解像度画像の例を示す図である。 いくつかの実装形態にしたがった、Z軸高級化(補間)のための方法の概略図である。 いくつかの実装形態にしたがった、付加製造した製品の2D画像のシーケンスについて画像解像度を向上させるための敵対的生成ネットワークを訓練するシステムを図示するブロック図である。 いくつかの実装形態にしたがった、付加製造した製品の2D画像のシーケンスについて画像解像度を向上させるための敵対的生成ネットワークを使用するシステムを図示するブロック図である。
実装形態への参照がここで行われ、その例が添付図面に図示される。以下の記載では、本発明の完全な理解をもたらすために、多くの具体的な詳細が記載される。しかし、これらの具体的な詳細を必要とせずに本発明を実行できることは、当業者には明らかであろう。
図1は、いくつかの実装形態にしたがった、付加製造プロセスの現場検査のためのシステム100のブロック図である。付加製造装置102は、1つまたは複数のカメラデバイス104によって監視され、各デバイス104は、1つまたは複数の画像センサ106および1つまたは複数の画像プロセッサ108を含む。カメラデバイスによって集められたデータは、通信ネットワーク110を使用して現場検査サーバ112に通信される。付加製造装置102は、付加製造パラメータ118の組を使用し、それは、現場検査サーバ112が動的にアップデートすることができる。製造パラメータは、使用される材料と、プロセスがどのように実施されるのかの両方を規定する詳細なプロセスフローを含むことができる。
現場検査サーバ112は、いくつかの標準的なコンピュータビジョン処理アルゴリズム114、ならびに、いくつかの機械/ディープラーニングデータモデル116を使用する。
付加製造動作の期間にプロセスが現場で画像をキャプチャし、標準的な画像処理技法を適用して特徴を強調する(たとえば、ガウシアンぼかし、電極および溶融池のエッジ検出、信号対ノイズフィルタ処理、ならびに角度補正)。本プロセスは、時間的相互相関を使用して、画像スタックまたはビデオフレームを幾何形状に位置合わせする。いくつかの実装形態では、この情報は、正確な画像キャプチャのために、1つまたは複数の搭載されるロボットカメラに供給される。システムは、画像の時間導関数を取ることによって、時間的画像傾向を定常的信号に変換する。システムは、連続し遅延した画像バッチ上で畳込みニューラルネットワークを、3D畳込みで訓練する(たとえば、画素位置、強度、および色/スペクトル帯)。いくつかの実装形態では、機械/ディープラーニングデータモデル116は、ある種のイベントの可能性を出力する(たとえば、はい(yes)/いいえ(no)、または、欠陥タイプのいずれか)。
図2Aは、いくつかの実装形態にしたがった、付加製造した製品の2D画像のシーケンスについて画像の解像度を向上させるため、敵対的生成ネットワーク(GAN)を訓練するためのシステム200のブロック図である。付加製造プロセスの現場監視から、生の入力画像202(たとえば、NIR画像またはCTデータ)が得られる。いくつかの実装形態は、予め規定された解像度(たとえば、60μm(マイクロメートル)解像度)で(製品を構築する間に)NIR画像をキャプチャすることによる初期データ(生の入力画像202)を取得する。いくつかの実装形態は、第2の予め規定された解像度(たとえば、20μm解像度)で印刷された部分または製品のマイクロCTスキャンを実施する。マイクロCTスキャンは、典型的には製品が完全に構築された後に生成される。いくつかの実装形態では、各NIR画像は、製品のXY断面(たとえば、層)に対応する。入力画像は、NIRおよびCTデータ204を得るために切り取って位置合わせされ、これがその後湾曲変形でタイル配置され(たとえば、ランダムなxy、yz、またはxzタイル)、中間タイル配置入力206が得られる。(各々が全体画像の一部を表す)これらのタイルのスタックが使用されて敵対的生成ネットワーク208を訓練する。たとえば、各NIR画像は、XY断面または製品の層に対応し、CT画像スタックは、製品の底部～上部の層のスキャンを含む(すなわち、最も底部の層が最初であり、後続の層が続き、最も上部の層までずっと続く)。NIR画像およびCTスキャン画像を位置合わせするステップは、最も底部の層から最も上部の層で、画像を層ごとに一致させるステップを含む。いくつかの実装形態は、訓練に利用可能なデータの量を増やすため入力データを変更することによって、入力データ(ニューラルネットワークを訓練するために使用されるデータ)を拡張する。いくつかの実装形態は、訓練するためのさらなるデータを得るために、入力データを回転し、位置を調整し、および/または拡大縮小する。いくつかの事例では、これらの動作は、実際には追加データを提供しない。たとえば、入力データまたは画像が円または六角形を含むとき、回転は、追加データまたは情報を提供しない。いくつかの実装形態は、データを湾曲することによってデータを拡張する。いくつかの事例では、湾曲によって、ニューラルネットワークを訓練するために使用される追加情報(たとえば、H字形状)が生成される。湾曲は、訓練データ中の多様性を増加させるために訓練データセットを拡張するために使用される。湾曲(パースペクティブワープと呼ばれることも多い)は、入力データのアフィン変換を含む。いくつかの実装形態は、NIR画像(または、NIR画像から得られるタイル)およびCT画像(または、CT画像から得られるタイル)を湾曲して、訓練のための、対応する湾曲画像(または、タイル)を生成する。湾曲動作は、2D画像を取って、それを3D空間へと投影する。これによって、画像を、ある角度で見られた場合のように表示させる。最後の画像が2次元へと再投影されるために、湾曲によって、伸張、ねじり、曲げ、または他の方法で変形して見える画像が生成される。いくつかの実装形態は、CT入力データとNIR入力データの両方に等しく湾曲動作を実施し、元のデータには見られない幾何形状または特徴についての対を成すグランドトゥルースを生成する。
いくつかの実装形態は、NIR画像を3D容積へと組み立てることによってデータ発生源を対にして、NIR容積とマイクロCT容積を位置合わせし、および/または、NIR画像をCT解像度へと(たとえば、基本的補間を使用して)高級化する。いくつかの実装形態は、上で記載した対になる3D容積からタイルをランダムに選択するステップ、データセットを拡張するためデータをランダムに操作するステップ、および/または、データセットをデータの訓練、試験、および検証用セットへと分割するステップによって、訓練セットを抽出する。いくつかの実装形態は、GAN208を訓練するために、訓練セットをその後使用する。
図2Bは、いくつかの実装形態にしたがった、図2Aに示された敵対的生成ネットワーク(GAN)208のブロック図である。敵対的生成ネットワークまたはGANは、ディープ畳込みニューラルネットワーク(CNN)を訓練する高度な方法である。単一のネットワークを使用する代わりに、2つの別個のネットワーク(生成器212および弁別器216)が訓練される。生成器212は、最終的に、訓練後に使用することになるネットワークである。生成器212は、入力データ210(たとえば、近赤外線またはNIR画像)を取り、入力データ210を処理し、サンプル218(たとえば、偽または人工的CTデータ)を生成する。結果218は「偽」データと考えられる。というのは、それは(実際のCTスキャンでなく)生成されるためである。弁別器216は、元の「真の」サンプル214または「偽の」生成されたサンプル218(または同時に両方)を取って、データが「真」または「偽」であるかを決定しようと試みる。2つのネットワークが同時に訓練される。生成器212は、弁別器216がそのデータが「真」であると信じるように「だます」ようにその能力に基づいて訓練され、一方で弁別器216は、「偽」から「真」を見分けるようにその能力で訓練される。このことによって、両方のモデルまたはネットワークがますます正確になることになる。両方のネットワークの正確さが安定したら(たとえば、正確さが数回の繰返しで変化しない)、モデルは、「収束した」または「完全に訓練された」と考えられる(ブロック220によって示される状態)。いくつかの場合に、弁別器のICが約50%の時間補正すると、収束が生じる。ネットワークが収束するまで、ブロック220に示される状態が、生成器212および弁別器216に対する微調整フィードバック222を提供する。いくつかの実装形態では、人間の開発者が、「偽」データ結果の品質を検証する。GAN訓練プロセス期間に、ネットワークは、ネットワークを訓練するために訓練データセット(上述)を利用し、正確さを測定するために独立検証データセット(やはり上述)を利用する。訓練モデルは、各入力についての統計(たとえば、正確さおよび/または損失)を生成する。いくつかの実装形態では、出力品質が良好であると開発者が考える点に訓練が一度達したら、完全に別のデータセットを使用して試験が実施される。このデータセットは、本質的に製品モデルの予行演習であり、ニューラルネット自体だけでなく、全画像処理および組立パイプラインを試験する。
図2Cは、いくつかの実装形態にしたがった、付加製造した製品の2D画像のシーケンスについて画像の解像度を向上させるため、敵対的生成ネットワーク(GAN)208を使用するためのシステム224のブロック図である。生の入力画像226(たとえば、NIR画像)は、製品の付加製造プロセスの現場監視から得られる。いくつかの実装形態は、付加製造プロセス期間の製品について層画像をキャプチャする。いくつかの実装形態は、画像の大きさを変える(たとえば、サイズを3倍に増やす)。入力画像は、切り取ったNIR画像228を得るために切り取られる。いくつかの実装形態は、切り取った画像228を番号付けしたタイル(たとえば、256x256画素タイル)へとセグメント化し、各予め規定された数の画素に対して(たとえば、128画素ごとに)タイルを抽出する。いくつかの実装形態では、エッジ効果をなくすために、タイルがオーバーラップする(たとえば、4つのタイルがオーバーラップする)。その後、切り取ったNIR画像が順序付けされ、および/またはタイル配置されて、順序付けたタイル230が得られる。順序付けたタイル230は、訓練される(推定モードで動作する)GAN生成器208に入力され、順序付けたタイル出力232が得られる。順序付けたタイル出力232は、出力234を得るために、スティッチされて混合される。出力234は、デジタルツインモデル236を再構築するために使用される(たとえば、スティッチされた画像は、3D容積を形成するために添付される)。いくつかの実装形態にしたがった、タイル配置の詳細、および画像をスティッチするアルゴリズムは、図4および図5を参照して下で記載される。いくつかの実装形態では、各タイルが別個にGANに入力される。入力画像がタイルへとスライスされ、各タイルがGANによって処理され、次いで出力タイルが最後の画像へと再度組み立てられる。これは、(タイルの)画像スタック中の各画像について行われ、次いで最終的に出力画像のスタックは、3D容積へと組み合わされる。
図3は、いくつかの実装形態にしたがった、コンピューティングデバイス300を図示するブロック図である。コンピューティングデバイス300の様々な例としては、サーバ、スーパーコンピュータ、デスクトップコンピュータ、クラウドサーバ、および他のコンピューティングデバイスの高性能クラスタ(HPC)が挙げられる。コンピューティングデバイス300は、典型的には、メモリ314に記憶されるモジュール、プログラム、および/または命令を実行し、それによって処理動作を実施するための1つまたは複数の処理ユニット/コア(CPUおよび/またはGPU)302、1つもしくは複数のネットワークまたは他の通信インターフェース304、メモリ314、ならびに、これらの構成要素を相互接続するための1つまたは複数の通信バス312を含む。通信バス312は、システム構成要素間の通信を相互接続して制御する回路を含むことができる。
コンピューティングデバイス300は、表示デバイス308および1つもしくは複数の入力デバイスまたはメカニズム310を備えるユーザインターフェース306を含むことができる。いくつかの実装形態では、入力デバイス/メカニズムはキーボードを含む。いくつかの実装形態では、入力デバイス/メカニズムは、「ソフト」キーボードを含む。これは、必要に応じて表示デバイス308上に表示され、ユーザがディスプレイ308上に現れる「キーを押す」ことを可能にする。いくつかの実装形態では、ディスプレイ308および入力デバイス/メカニズム310は、タッチスクリーンディスプレイ(タッチセンサディスプレイとも呼ばれる)を備える。
いくつかの実装形態では、メモリ314は、DRAM、SRAM、DDR RAMまたは他のランダムアクセス固体メモリデバイスなどといった、高速ランダムアクセスメモリを含む。いくつかの実装形態では、メモリ314は、1つもしくは複数の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、または他の不揮発性固体記憶デバイスなどといった不揮発性メモリを含む。いくつかの実装形態では、メモリ314は、GPU/CPU302から離れて配置される1つまたは複数の記憶デバイスを含む。メモリ314、または代わりに、メモリ314内の不揮発性メモリデバイスは、非一時的コンピュータ可読記憶媒体を備える。いくつかの実装形態では、メモリ314、またはメモリ314のコンピュータ可読記憶媒体は、以下のプログラム、モジュール、およびデータ構造、またはそれらのサブセットを記憶する。
・様々な基本システムサービスを取り扱い、ハードウェア依存のタスクを実施するための手順を含む、オペレーティングシステム316、
・1つまたは複数の通信ネットワークインターフェース304(有線またはワイヤレス)、および、インターネット、他のワイドエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどといった1つまたは複数の通信ネットワークを介してコンピューティングデバイス300を他のコンピュータおよびデバイスに接続するために使用される、通信モジュール318、
・現場検査のために付加製造した欠陥を視覚化して表示するための、任意選択のデータ可視化アプリケーションまたはモジュール320、
・ユーザがパラメータまたは制御変数を指定するのを可能にする、入出力ユーザインターフェース処理モジュール346、
・現場検査エンジン112(図1を参照して上で記載された、インライン監視エンジンと呼ばれることも多い)。いくつかの実装形態では、検査エンジン112は、図10を参照して下で記載されるように、画像処理モジュール322および/または付加製造制御モジュール330を含む。いくつかの実装形態では、画像処理モジュール322は、下でより詳細に記載されるように、画像タイル配置モジュール324、画像スティッチモジュール326、および/または画像変換モジュール328を含む。
・低解像度(LR)タイルを得るために低解像度2D画像を細分化するため、および/または、高解像度(HR)タイルを得るために高解像度2D画像を細分化するための、画像タイル配置モジュール324が使用するような、タイル配置マップ332、
・重みおよび入力ベクトルを含む、機械/ディープラーニング/回帰モデル334(たとえば、図1中および下でさらに記載されるようなモデル116)、
・付加製造プロセス336、
・連続した低解像度2D画像338、
・高解像度2D画像のスライスを含む、高解像度3D画像340、
・任意選択で、構築後効果モデル342、および/または
・補間モジュール344
上で識別された実行可能なモジュール、アプリケーション、または手順のセットの各々は、以前に言及されたメモリデバイスのうちの1つまたは複数に記憶することができ、上で記載された機能を実施するための命令のセットに対応する。上で識別されたモジュールまたはプログラム(すなわち、命令のセット)は、別個のソフトウェアプログラム、手順、またはモジュールとして実装される必要はなく、したがって、これらのモジュールの様々なサブセットを組み合わせること、またはさもなくば、様々な実装形態で再配置することができる。いくつかの実装形態では、メモリ314は、上で識別されたモジュールおよびデータ構造のサブセットを記憶する。さらに、メモリ314は、上で記載されない追加モジュールまたはデータ構造を記憶することができる。いくつかの実装形態にしたがった、図3に示されるモジュールの各々の動作およびデータ構造のプロパティが、下でさらに記載される。
図3はコンピューティングデバイス300を示すが、図3は、本明細書に記載される実装形態の構造の概略としてではなく、むしろ、存在することができる様々な特徴の機能的説明としてより意図されている。実際には、当業者によって認識されるように、別個に示されるアイテムを組み合わせることができ、いくつかのアイテムを分離することができる。
いくつかの実装形態では、示されないが、メモリ314は、図1および図2A～図2Cを参照して上で記載されたモデルを訓練および実行するためのモジュールをやはり含む。具体的には、いくつかの実装形態では、メモリ314は、確率的サンプリングモジュール、コーディングフレームワーク、1つもしくは複数の畳込みニューラルネットワーク、統計的サポートパッケージ、および/または、他の画像、信号、もしくは関連データをやはり含む。
図4は、いくつかの実装形態にしたがった、付加製造プロセスの層の画像の例示的なタイルの図である。画像400、402、404、および406は、いくつかの実装形態にしたがった、同じ製品(または、同じ付加製造プロセスもしくは異なる付加製造プロセスを使用して構築した異なる製品)の異なる層に対応することができる。いくつかの実装形態にしたがって、各画像は、画像サイズの画分(たとえば、画像サイズの1/4または1/8)であるタイルサイズにしたがってタイル配置される。いくつかの実装形態は、全部の画像をタイル配置するため、同じタイルサイズを使用する。いくつかの実装形態は、異なる製品、および/または異なる付加製造プロセスについて異なるタイルサイズを使用する。図4では、画像400、402、404、および406は、同じ画像からの別個のタイルのセットに対応する。いくつかの実装形態は、これらのタイルのセットを組み合わせて、各方向にオーバーラップするタイルのセットを作成する。たとえば、高解像度画像は一般的に、各軸に10以上の合計タイルを含み、合計で400個のタイル(4*100)を含む。タイルがオフセットされるために、1つまたは複数の方向に半分の厚さを有する縁部上にタイルがある。いくつかの実装形態では、GANが均一なサイズのものであるタイルを必要とし、そのため、これらのタイルは、計算で含まれず(たとえば、切り取られた部分がゼロで充填される)、または、切り取られた部分が切り取られなかった部分からミラー反転される。
図5は、いくつかの実装形態にしたがった、付加製造プロセスの層の画像のタイルのスティッチステップの図である。いくつかの実装形態は、詳細が失われることのない従来の方法と比較して、タイル配置された画像の優れた混合を実現する画像スティッチアルゴリズムを使用する。出力画像中の各画素は、4つ以上のオーバーラップするタイルの各々におけるその値の重みを付けた合計によって生成される。各タイルの重みは、エッジ効果をなくすために、タイルの中心からの距離に線形に比例する。図5は、いくつかの実装形態にしたがった、スティッチされたタイル配置画像を作成するため、スティッチアルゴリズム500によって処理できる、初期のタイル配置画像502を示す。図5では、画像500は、オーバーラップしたタイルを示しており、各オーバーラップするタイルからの縁部が画像中に現れる。いくつかの実装形態は、4つのオーバーラップするタイル構成をスティッチし、(各画像がオーバーラップするタイルに対応する)4つの画像の代表値または平均値を考えることによって、それらを一緒に混合することによって、画像500を生成する。図5は、改善した混合方法を使用して生成される第2の画像502をやはり示す。いくつかの実装形態では、タイルの各セットをスティッチする前に、タイルは、数式によって生成される「混合タイル」によって乗算される。数式の例は下に示される。
上に示される式(1)では、xおよびyは、(画像の画素の)x,y座標であり、幅および高さは、画素に対応するタイルの幅および高さ(寸法のサイズ)である。いくつかの実装形態では、式(1)は、画像の中心からのxおよびyの距離によって決定される0から1のスケールを有する重み付け画像を生成する。いくつかの実装形態では、各画素の合計の重みが1であるように、これら4つの構成によって生成される画像が一緒に加えられる。
図6Aおよび図6Bは、いくつかの実装形態にしたがった、訓練されたニューラルネットワーク(たとえば、GAN208)の出力を試験した結果を示す。試験結果は、いくつかの実装形態にしたがった、NIR、CT、および偽CT(GAN208の生成器によって作成された人工画像)についてのキャリパ測定に基づく。試験結果は、いくつかの実装形態にしたがった、部分の全幅を画素で測定することにより画素サイズを較正すること、キャリパを使用して薄い壁(可能性のある最も小さい特徴)の厚さを測定すること、および、システムの出力についての測定値をNIRおよびマイクロCTスキャンについて測定した壁厚と比較することを含んだ幾何形状比較試験からのものである。図6Aは、いくつかの実装形態にしたがった、キャリパを使用して幅方向を測定した付加製造した部分の断面図を示す。幅方向の測定値は、ボクセルサイズを決定するため、各画像中のこの領域の平均画素幅に分割される。部分の全幅を利用することによって、+/-1画素のエッジ境界の不確実性に起因する測定誤差比率は、分数+/-2/(画素の総数)に最小化される。図6Aでは、第1の画像600はNIR画像である(低解像度を有する入力画像。427画素の最小値、228の平均画素数、431の最大画素数を含む)。第2の画像602はCTスキャン画像に対応する(CT画像と呼ばれることも多い。これは、1367画素の最小値、最大1373画素、平均1369画素を含む高解像度画像である)。第3の画像604はシステムによって生成された出力に対応する(偽CT画像。これは、1294画素の最小値、最大1301画素、平均1297画素を含む)。解像度は、画像600、602、および604の各々のy軸上に示される。入力画像600は660μmのキャリパ測定値を有し、偽CT画像604は、626μm±40μmのキャリパ測定値を有する。図示されるように、NIR画像の解像度は低い(0～100単位)一方で、偽CT画像の解像度はCT画像602のものと同様である(300単位に近い)。画像600、602、および604におけるx軸は、付加製造によって構築された製品または部分の層の線寸法に対応する。
図6Bは、いくつかの実装形態にしたがった、図6Aにその断面図が示される製品または部分の面(面1)の測定値の表606を示す。表606は26.14単位のキャリパ値を示し、CT画素の数が1369であり、NIR画素の数が428であり、偽CT画素の数が1297であり、CTボクセルサイズが19.0μmであり、NIRボクセルサイズが61μmであり、偽CTボクセルサイズが20.15μmである。表606は、いくつかの実装形態にしたがった、図6Aに示される画像のボクセルサイズを計算するために使用される数を示す。
図7は、いくつかの実装形態にしたがった、図6Aおよび図6B中の部分についての同じ場所について、NIR、CT、および偽CTデータを使用した例示的な厚さ測定700を示す。図7では、いくつかの実装形態にしたがって、グラフ702が入力NIR画像600に対応し、グラフ704がCT画像602に対応し、グラフ706が偽CT画像604に対応する。各グラフまたは画像は、領域にわたる最大、最小、および平均の厚さ測定値を含む。測定値は、図6Aおよび図6Bを参照して上で記載されたような、正確さを決定するため、同じ場所からのキャリパ測定値と比較された。
図8Aおよび図8Bは、いくつかの実装形態にしたがった、人工高解像度画像の例を示す。図8AはNIR画像804を示しており、NIR画像804は、より早い構築からのCTデータで訓練された、訓練済みネットワークへと入力され、偽CT画像806(CT画像と一致する人工画像)を生成する。偽CT画像の解像度および/または品質は、ネットワークが収束すると、真のCT画像のものと一致する。図8Bは、異なる幾何形状で試験された、図8Aを参照して記載されたように訓練されるネットワークの出力を示す(すなわち、ネットワークは、訓練セットに含まれない複数の幾何形状で試験される)。たとえば、図8Aに記載されるように、訓練済みネットワークを使用して、入力画像808が画像810を生成し、入力画像812が画像814を生成する。
図9は、いくつかの実装形態にしたがった、Z軸高級化(補間)のためのシステム900の概略図である。いくつかの実装形態は、別個のニューラルネットワーク(たとえば、上で記載されたGAN208以外のニューラルネットワーク)を使用する。いくつかの実装形態は、Z軸の高級化のためGAN208を訓練し使用する。いくつかの実装形態では、XおよびY軸で解像度を向上させるだけでなく、Z軸上の印刷層間を補間するために、別個のネットワークが訓練される。実験では、連続したGD&T精度が結果に示され、いくつかの事例では、細孔の規定が改善される。いくつかの実装形態では、補間動作は、図3を参照して上で記載された補間モジュール344によって実施される。いくつかの実装形態では、3つのチャネル入力(たとえば、0μmでの第1の入力チャネル902、25μmでの第2の入力チャネル904、および50μmでの第3の入力チャネル906を含む3x1チャネル入力)が組み合わされて3チャネル入力908を形成する。いくつかの実装形態では、付加製造される製品の各層について、1つの入力チャネルを使用する。いくつかの実装形態では、付加製造される製品の予め規定された場所からそれぞれの距離に各層についてそれぞれの入力チャネルを使用する。いくつかの実装形態では、各入力チャネルは、付加製造される製品の別の層に対して予め規定された距離(たとえば、25μm)にある層に対応する。3チャネル入力は、(高解像度画像を作成するのと同様に)Z軸における印刷層間で補間するために訓練される(GAN208と同様の)ニューラルネットワークに入力され、3x1チャネル出力へと分割される3チャネル出力910(それぞれ、0μmにおける画像912、25μmにおける画像914、および50μmにおける画像916)を出力する。
図10は、いくつかの実装形態にしたがった、付加製造した製品の2D画像のシーケンスについて画像解像度を向上させるための敵対的生成ネットワークを訓練するシステム1000を図示するブロック図である。いくつかの実装形態では、システム1000(たとえば、コンピューティングデバイス300)は、付加製造した製品の2D画像の時間的シーケンスについて画像解像度を向上させるための方法を実施する。方法は、複数の付加製造プロセス1002の各々について一連のステップを実施するステップを含む。一連のステップは、それぞれの付加製造プロセス期間に、それぞれの製品の、それぞれ複数の連続した低解像度2D画像1004(たとえば、近赤外線(NIR)画像を使用する低解像度2D画像338)を得るステップ(1016)を含む。一連のステップは、それぞれの付加製造プロセスの完了後のそれぞれの製品の、それぞれの高解像度3D画像1008(たとえば、高解像度3D画像340)を得るステップ(1018)をやはり含む。高解像度3D画像は、低解像度2D画像に対応する複数の高解像度2D画像を含む。一連のステップは、低解像度2D画像の各々を複数のLRタイルへと細分化し、対応する高解像度2D画像の各々を複数の対応するHRタイルへと細分化する、1つまたは複数のタイル配置マップを選択するステップ(1006)をやはり含む。図10において、複数のLRタイルおよび複数のHRタイルが、タイル1010によって示される。いくつかの実装形態では、LRおよびHRタイルは別個に記憶される。いくつかの実装形態は、LRおよびHRタイルの順序付けした対を計算し記憶する。一連のステップは、対応するLRタイルとHRタイルの順序付けした対を含む訓練入力を使用して(1020)、敵対的生成ネットワーク中で繰り返して画像拡張生成器1014を構築するステップ(1012)をやはり含む。いくつかの実装形態では、一連のステップは、付加製造期間に製品についてキャプチャされた低解像度2D画像のシーケンスを拡張するために後で使用するため、画像拡張生成器を記憶するステップ(1022)をやはり含む。
いくつかの実装形態では、敵対的生成ネットワーク(たとえば、GAN208)は、画像拡張生成器(たとえば、生成器212)を備える第1のニューラルネットワークと、弁別器(たとえば、弁別器216)を備える第2のニューラルネットワークとを含む。いくつかの実装形態では、画像拡張生成器を構築するステップは、低解像度2D画像に基づいて候補の高解像度2D画像(たとえば、偽CTデータ)を作成するため画像拡張生成器を訓練するステップと、候補の高解像度2D画像と得られた高解像度3D画像(真の高解像度画像)の2Dスライスの間で区別するように弁別器を訓練するステップとを繰り返して含む。低解像度2D画像および高解像度2D画像を訓練するステップの例は、いくつかの実装形態にしたがって、図2A～図2C、図6、図8Aおよび図8Bを参照して上で記載される。いくつかの実装形態では、画像拡張生成器を構築するステップは、画像拡張生成器の出力が、複数の連続する訓練の繰返し期間に、候補の高解像度2D画像の50パーセントについて、真の高解像度3D画像と弁別器によって分類されると終了する。たとえば、両方のモデルが次第に正確になる。両方のネットワークの正確さが安定したら、モデルは、「収束した」または「完全に訓練された」と考えられる。いくつかの実装形態では、人間の開発者が、「偽」データ結果の品質を受け入れる。
いくつかの実装形態では、複数の連続した低解像度の2D画像1004の各々が、それぞれの付加製造プロセス期間のそれぞれの製品の近赤外線(NIR)画像である。
いくつかの実装形態では、高解像度の3D画像1008の各々は、それぞれの付加製造プロセスが完了した後、それぞれの製品のマイクロCTスキャンを実施することに基づいて生成される(たとえば、20μm解像度)。
いくつかの実装形態では、方法は、タイルへと細分化するステップの前に、低解像度2D画像を切り取って、高解像度2D画像と位置合わせするステップをさらに含む。いくつかの実装形態では、方法は、2D画像のいくつかに湾曲変形を実施することによって訓練入力にLRタイルおよびHRタイルを拡張するステップをさらに含む。いくつかの実装形態では、1つまたは複数のタイル配置マップは、各々が異なるパターンにしたがって細分化する複数のタイル配置マップを含む。いくつかの実装形態では、タイル配置マップを選択し細分化するステップ(タイル配置ステップと呼ばれることも多い)は、画像処理モジュール322によって(たとえば、画像タイル配置モジュール324を使用して)実施される。タイル配置した画像およびタイル配置動作の例は、いくつかの実装形態にしたがった図3および図4を参照して上で記載される。
図11は、いくつかの実装形態にしたがった、付加製造した製品の2D画像のシーケンスについて画像解像度を向上させるための訓練した敵対的生成ネットワーク(たとえば、図10を参照して上で記載されたプロセスを介して訓練されたGAN)からの生成器を使用するシステム1100を図示するブロック図である。システム1100は、付加製造した製品の2D画像のシーケンスについて画像解像度を向上させるために提供された方法を実施する。方法は、1つまたは複数のプロセッサ、および、1つまたは複数のプロセッサが実行するように構成される1つまたは複数のプログラムを記憶するメモリを有するコンピューティングデバイス300で実行される。
方法は、進行中の付加製造プロセス1102(たとえば、付加製造プロセス336)の期間に、製品の複数の連続した低解像度2D画像1104(たとえば、近赤外線(NIR)画像)を得るステップ(1118)を含む。方法は、敵対的生成ネットワークの部分として、以前に訓練された(たとえば、図10を参照して上で記載されたように訓練された)画像拡張生成器1014を得るステップ(1120)をやはり含む。画像拡張生成器は、固定された2次元サイズの入力画像を受け入れるように構成される。方法は、低解像度2D画像の各々を複数のLRタイル1108へと細分化する1つまたは複数のタイル配置マップを(たとえば、画像タイル配置モジュール324を使用して)選択するステップ(1106)をやはり含む。低解像度2D画像から空間的に対応するタイルが、複数のタイルのスタックを形成する。方法は、製品の高解像度2D人工画像タイル1112を生成するために、LRタイルの各々について、画像拡張生成器1014を適用するステップ(1110)をやはり含む。方法は、低解像度画像に対応する高解像度2D人工層のセットについて、高解像度2D人工画像のタイルを(たとえば、画像スティッチモジュール326を使用して)一緒にスティッチするステップと、製品の3D人工容積を形成するため高解像度2D人工層を一緒にスタックするステップとをやはり含む。
いくつかの実装形態では、方法は、製品中の構築後効果および/または欠陥1116を識別する(たとえば、クラック/細孔などの特徴を検出し、以前の構築に基づいて再溶融、拡大、縮小などのポストレイヤ効果を予測)ために3D人工容積を使用するステップ(1114)をさらに含む。
いくつかの実装形態では、(図2Bを参照して上で記載したような)敵対的生成ネットワークは、画像拡張生成器を備える第1のニューラルネットワークと、弁別器を備える第2のニューラルネットワークとを含む。
いくつかの実装形態では、(その例が図10を参照して上で記載される)訓練の期間に、画像拡張生成器1014は、低解像度2D画像(たとえば、NIR画像)に基づいて候補の高解像度2D画像(たとえば、偽または人工CTデータ)を生成するように訓練され、弁別器は、候補の高解像度2D画像と、付加製造プロセスが完了した後にキャプチャされた真の高解像度3D画像のスライスとの間で弁別するように訓練される。
いくつかの実装形態では、複数の連続した低解像度2D画像を得るステップ1104は、進行中の付加製造プロセスの期間に、製品の各層について、それぞれの低解像度2D画像(たとえば、図4、図5、図6、図8A、図8B、および図9に示される画像)をキャプチャするステップを含む。
いくつかの実装形態では、方法は、(たとえば、画像変換モジュール328を使用して)複数の連続した低解像度2D画像の大きさを変えるステップをさらに含む。
いくつかの実装形態では、各タイル配置マップは、低解像度2D画像の各々をオーバーラップしないタイルへと細分化させる。いくつかの実装形態では、1つまたは複数のタイル配置マップは、各々が低解像度2D画像を異なるパターンにしたがって細分化する複数のタイル配置マップを含む。いくつかの実装形態では、スティッチするステップは、タイル配置マップの2つ以上のオーバーラップする領域に含まれる各画素について、対応する高解像度2D人工画像タイルにおいてそれぞれの重み付けした値の合計を計算することによって、それぞれの画素についてそれぞれの出力画像を生成するステップを含む。いくつかの実装形態では、それぞれの重み付けした合計を計算するステップは、それぞれの重み付けした合計に対する各タイルの寄与について、それぞれのタイルの中心からの距離に線形に比例するそれぞれの重みを関連付けるステップを含む。
いくつかの実装形態では、方法は、製品の高解像度3D人工容積を固有のCTスキャン形式(たとえば、市販のCT分析ツールが使用可能な形式)へと(たとえば、画像変換モジュール328を使用して)変換するステップをさらに含む。
いくつかの実装形態では、方法は、進行中の付加製造プロセスの印刷層間で、訓練したニューラルネットワークを使用して、(たとえば、補間モジュール344を使用し、図9を参照して上で記載したように)補間するステップをさらに含む(たとえば、GANネットワークは、XおよびY軸で解像度を向上させることに加えて、Z軸で印刷層間に補間をやはり実施する)。
いくつかの実装形態は、図11を参照して記載されるプロセスを繰り返し、その後、欠陥のある部分にラベル付けをし、および/または、欠陥のある部分を取り除く。たとえば、いくつかのシステムは、予め規定された間隙率のしきい値を超えると予測される製品、または予め規定された幾何形状の基準を満たさない層を識別する、および/または破棄する。
本明細書における本発明の記載で使用される用語は、具体的な実装形態を記載する目的だけのものであり、本発明を限定する意図はない。本発明の記載および添付される請求項で使用される単数形「a」、「an」、および「the」は、文脈がそうでないと明らかに示さない限り、複数形を同様に含むことを意図している。本明細書で使用する「および/または」という用語は、関連するリスト化された項目のうちの1つまたは複数のあらゆる可能な組合せのことを呼び、それらを包含することをやはり理解されよう。「備える、含む(comprises)」および/または「備えている、含んでいる(comprising)」という用語は、本明細書で使用するとき、明記される特徴、ステップ、動作、要素、および/または構成要素の存在を指定するが、1つまたは複数の他の特徴、ステップ、動作、要素、構成要素、および/またはそれらのグループの存在または追加を排除しないことをさらに理解されよう。
説明のための上の記載は、具体的な実装形態を参照して記載されている。しかし、上の例示の議論は、網羅的であること、または、本発明を開示される正確な形式に限定することを意図していない。上の教示を鑑みて、多くの修正形態および変形形態が可能である。本実装形態は、本発明の原理およびその実際の応用を最も良好に説明するために選択および記載され、それによって、当業者が、意図される特定の使用法に適するように本発明および様々な修正を行った様々な実装形態を最も良好に利用することが可能になる。
100 システム
102 付加製造装置
104 カメラデバイス
106 画像センサ
108 画像プロセッサ
110 通信ネットワーク
112 現場検査サーバ/エンジン、インライン監視エンジン
114 コンピュータビジョン処理アルゴリズム
116 機械/ディープラーニングデータモデル
118 付加製造パラメータ
200 システム
202 生の入力画像、生のNIRデータ、生のCTデータ
204 NIR/CTデータ
206 中間タイル配置入力、xy/yz/xzタイル
208 敵対的生成ネットワーク(GAN)、GAN生成器
210 入力データ、潜在ランダム変数
212 生成器
214 真のデータサンプル
216 弁別器
218 サンプル、偽サンプル
220 ブロック、条件
222 微調整フィードバック
224 システム
226 生の入力画像、生のNIR画像
228 NIR画像
230 順序付けたタイル
232 順序付けたタイル出力
234 出力
236 デジタルツインモデル
300 コンピューティングデバイス、コンピュータシステム
302 処理ユニット/コア、CPU、GPU
304 通信インターフェース、通信ネットワークインターフェース
306 ユーザインターフェース
308 表示デバイス、ディスプレイ
310 入力デバイス/メカニズム
312 通信バス
314 メモリ
316 オペレーティングシステム
318 通信モジュール
320 データ可視化アプリケーション、モジュール
322 画像処理モジュール
324 画像タイル配置モジュール
326 画像スティッチモジュール
328 画像変換モジュール
330 付加製造制御モジュール
332 タイル配置マップ
334 機械/ディープラーニング/回帰モデル
336 付加製造プロセス
338 低解像度2D画像
340 高解像度3D画像
342 構築後効果モデル
344 補間モジュール
346 入出力ユーザインターフェース処理モジュール
400 画像
402 画像
404 画像
406 画像
500 スティッチアルゴリズム、画像
600 画像
602 画像
604 画像
600 入力NIR画像
602 CT画像
604 偽CT画像
606 表
700 厚さ測定
702 グラフ
704 グラフ
706 グラフ
804 NIR画像
806 偽CT画像
808 入力画像、NIR
810 画像、偽CT
812 画像
814 画像
900 システム
902 第1の入力チャネル
904 第2の入力チャネル
906 第3の入力チャネル
908 3チャネル入力
910 3チャネル出力
912 画像
914 画像
916 画像
1000 システム
1002 付加製造プロセス
1004 低解像度2D画像
1006 ステップ
1008 高解像度3D画像
1010 タイル
1012 画像拡張生成器
1014 画像拡張生成器
1100 システム
1102 進行中の付加製造プロセス
1104 低解像度2D画像
1106 ステップ
1108 LRタイル
1110 ステップ、画像拡張生成器
1112 高解像度3D人工画像タイル、高解像度3D人工画像
1114 ステップ
1116 構築後効果、欠陥
1118 ステップ
1120 ステップ

Claims (23)

  1. 付加製造した製品の2D画像のシーケンスについて画像解像度を向上させるための方法であって、
    複数の付加製造プロセスの各々について、
    前記それぞれの付加製造プロセス期間に、それぞれの製品の、それぞれ複数の連続した低解像度2D画像を得るステップと、
    前記それぞれの付加製造プロセスの完了後の前記それぞれの製品の、それぞれの高解像度3D画像を得るステップであって、前記高解像度3D画像が、前記低解像度2D画像に対応する複数の高解像度2D画像を含む、ステップと、
    前記低解像度2D画像の各々を複数のLRタイルへと細分化し、前記対応する高解像度2D画像の各々を複数の対応するHRタイルへと細分化する、1つまたは複数のタイル配置マップを選択するステップと、
    対応するLRタイルとHRタイルの順序付けした対を含む訓練入力を使用して、敵対的生成ネットワーク中で繰り返して画像拡張生成器を構築するステップと、
    付加製造期間に製品についてキャプチャされた低解像度2D画像のシーケンスを拡張するために後で使用するため、前記画像拡張生成器を記憶するステップと
    を含む、方法。
  2. 前記複数の連続した低解像度2D画像の各々が、前記それぞれの付加製造プロセス期間の時間シーケンス中にキャプチャされた前記それぞれの製品の近赤外線(NIR)画像である、請求項1に記載の方法。
  3. 前記高解像度3D画像の各々が、前記それぞれの付加製造プロセスが完了した後、前記それぞれの製品のマイクロCTスキャンを実施することに基づいて生成される、請求項1に記載の方法。
  4. 前記敵対的生成ネットワークが、前記画像拡張生成器を備える第1のニューラルネットワークと、弁別器を備える第2のニューラルネットワークとを含む、請求項1に記載の方法。
  5. 前記画像拡張生成器を繰り返して構築するステップが、
    低解像度2D画像に基づいて候補の高解像度2D画像を作成するため前記画像拡張生成器を訓練するステップと、
    前記候補の高解像度2D画像と前記得られた高解像度3D画像の2Dスライスとの間で区別するように前記弁別器を訓練するステップと
    を含む、請求項4に記載の方法。
  6. 前記画像拡張生成器の出力が、複数の連続する訓練の繰返し期間に、前記候補の高解像度2D画像の50パーセントについて真の高解像度3D画像と前記弁別器によって分類されると、前記画像拡張生成器を構築するステップが終了する、請求項5に記載の方法。
  7. タイルへと細分化するステップの前に、前記低解像度2D画像を切り取って、前記高解像度2D画像と位置合わせするステップをさらに含む、請求項1に記載の方法。
  8. 前記2D画像のいくつかに湾曲変形を実施することによって前記訓練入力に前記LRタイルおよびHRタイルを拡張するステップをさらに含む、請求項1に記載の方法。
  9. 前記1つまたは複数のタイル配置マップが、各々が異なるパターンにしたがって細分化する複数のタイル配置マップを含む、請求項1に記載の方法。
  10. 付加製造した製品の2D画像のシーケンスについて画像解像度を向上させるための方法であって、
    進行中の付加製造プロセスの期間に、製品の複数の時間的に連続した低解像度2D画像を得るステップと、
    敵対的生成ネットワークの部分として、以前に訓練された画像拡張生成器を得るステップであって、前記画像拡張生成器が、固定された2次元サイズの入力画像を受け入れるように構成される、ステップと、
    前記低解像度2D画像の各々を複数のLRタイルへと細分化する1つまたは複数のタイル配置マップを選択するステップと、
    前記製品の高解像度2D人工画像タイルを生成するために、前記LRタイルの各々について、前記画像拡張生成器を適用するステップと、
    前記低解像度画像に対応する高解像度2D人工層のセットについて、前記高解像度2D人工画像のタイルを一緒にスティッチするステップと、
    前記製品の3D人工容積を形成するため前記高解像度2D人工層を一緒にスタックするステップと
    を含む、方法。
  11. 前記敵対的生成ネットワークが、前記画像拡張生成器を備える第1のニューラルネットワークと、弁別器を備える第2のニューラルネットワークとを含む、請求項10に記載の方法。
  12. 訓練期間に、
    前記画像拡張生成器が、低解像度2D画像に基づいて候補の高解像度2D画像を生成するように訓練され、
    前記弁別器が、前記候補の高解像度2D画像と、付加製造プロセスが完了した後にキャプチャされた真の高解像度3D画像のスライスとの間で弁別するように訓練される、請求項11に記載の方法。
  13. 前記複数の時間的に連続した低解像度2D画像を得るステップが、前記進行中の付加製造プロセスの期間に、前記製品の各層について、それぞれの低解像度2D画像をキャプチャするステップを含む、請求項10に記載の方法。
  14. 前記複数の連続した低解像度2D画像の大きさを変えるステップをさらに含む、請求項10に記載の方法。
  15. 各タイル配置マップが、前記低解像度2D画像の各々をオーバーラップしないタイルへと細分化させる、請求項10に記載の方法。
  16. 前記1つまたは複数のタイル配置マップが、各々が前記低解像度2D画像を異なるパターンにしたがって細分化する複数のタイル配置マップを含む、請求項10に記載の方法。
  17. スティッチするステップが、
    前記タイル配置マップの2つ以上のオーバーラップする領域に含まれる各画素について、前記対応する高解像度2D人工画像タイルにおけるそれぞれの重み付けした値の合計を計算することによって、前記それぞれの画素についてそれぞれの出力画像を生成するステップ
    を含む、請求項10に記載の方法。
  18. 前記それぞれの重み付けした合計を計算するステップが、
    前記それぞれの重み付けした合計に対する各タイルの寄与について、前記それぞれのタイルの中心からの距離に線形に比例するそれぞれの重みを関連付けるステップ
    を含む、請求項17に記載の方法。
  19. 前記製品の前記3D人工容積を固有のCTスキャン形式へと変換するステップ
    をさらに含む、請求項10に記載の方法。
  20. 前記進行中の付加製造プロセスの印刷層間で、訓練したニューラルネットワークを使用して、補間するステップ
    をさらに含む、請求項10に記載の方法。
  21. 前記製品中の構築後効果または欠陥を識別するために前記3D人工容積を使用するステップをさらに含む、請求項10に記載の方法。
  22. 付加製造した製品の2D画像のシーケンスについて画像解像度を向上させるための電子デバイスであって、
    1つまたは複数のプロセッサと、
    前記1つまたは複数のプロセッサが実行するように構成される1つまたは複数のプログラムを記憶するメモリと
    を備え、前記1つまたは複数のプログラムが請求項1から21のいずれか一項に記載の方法を実施するための命令を含む、電子デバイス。
  23. 電子デバイスの1つまたは複数のプロセッサが実行するように構成される1つまたは複数のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つまたは複数のプログラムが請求項1から21のいずれか一項に記載の方法を実施するための命令を含む、非一時的コンピュータ可読記憶媒体。
JP2023534038A 2020-12-01 2021-12-01 付加製造のためのディープラーニングベースの画像拡張 Pending JP2023553004A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063120141P 2020-12-01 2020-12-01
US63/120,141 2020-12-01
US17/535,766 2021-11-26
US17/535,766 US20220172330A1 (en) 2020-12-01 2021-11-26 Deep learning based image enhancement for additive manufacturing
PCT/US2021/061323 WO2022119877A2 (en) 2020-12-01 2021-12-01 Deep learning based image enhancement for additive manufacturing

Publications (1)

Publication Number Publication Date
JP2023553004A true JP2023553004A (ja) 2023-12-20

Family

ID=81752795

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023534038A Pending JP2023553004A (ja) 2020-12-01 2021-12-01 付加製造のためのディープラーニングベースの画像拡張

Country Status (9)

Country Link
US (1) US20220172330A1 (ja)
EP (1) EP4256469A2 (ja)
JP (1) JP2023553004A (ja)
KR (1) KR20230117170A (ja)
CN (1) CN116888620A (ja)
AU (1) AU2021391517A1 (ja)
CA (1) CA3199809A1 (ja)
TW (1) TWI818367B (ja)
WO (1) WO2022119877A2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11743552B1 (en) * 2022-06-03 2023-08-29 International Business Machines Corporation Computer technology for enhancing images with a generative adversarial network

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6359316B2 (ja) * 2014-03-31 2018-07-18 三菱重工業株式会社 三次元積層装置及び三次元積層方法
EP3229996A4 (en) * 2014-12-12 2018-09-05 Velo3d Inc. Feedback control systems for three-dimensional printing
CN108349001B (zh) * 2015-08-26 2021-09-07 代表亚利桑那州立大学的亚利桑那校董会 利用局部超声波增强的材料流和熔合的增材制造系统和方法
TWI607032B (zh) * 2017-01-18 2017-12-01 美樺興業股份有限公司 聚對二甲苯的三維多孔性結構
US11155031B2 (en) * 2018-03-30 2021-10-26 Mantis Composites Inc. 5-axis continuous carbon fiber 3D printing and meta-materials, parts, structures, systems, and design methods thereby enabled
US11084225B2 (en) * 2018-04-02 2021-08-10 Nanotronics Imaging, Inc. Systems, methods, and media for artificial intelligence process control in additive manufacturing
WO2019211822A1 (en) * 2018-05-04 2019-11-07 University Of New South Wales Smart composite textiles and methods of forming
TWI709107B (zh) * 2018-05-21 2020-11-01 國立清華大學 影像特徵提取方法及包含其顯著物體預測方法
CN109446951B (zh) * 2018-10-16 2019-12-10 腾讯科技（深圳）有限公司 三维图像的语义分割方法、装置、设备及存储介质
US20200237378A1 (en) * 2019-01-25 2020-07-30 The Board Of Regents Of The University Of Oklahoma Shape memory polymer-based devices and methods of use in treating intracorporeal defects
US11559221B2 (en) * 2019-03-22 2023-01-24 Siemens Healthcare Gmbh Multi-task progressive networks for patient modeling for medical scans
US11398013B2 (en) * 2019-10-18 2022-07-26 Retrace Labs Generative adversarial network for dental image super-resolution, image sharpening, and denoising
CN114731455A (zh) * 2019-11-20 2022-07-08 三星电子株式会社 使用与图像质量相关的ai元数据的设备和方法
US20220035961A1 (en) * 2020-08-03 2022-02-03 Ut-Battelle, Llc System and method for artifact reduction of computed tomography reconstruction leveraging artificial intelligence and a priori known model for the object of interest

Also Published As

Publication number Publication date
WO2022119877A2 (en) 2022-06-09
EP4256469A2 (en) 2023-10-11
WO2022119877A3 (en) 2022-08-25
US20220172330A1 (en) 2022-06-02
CA3199809A1 (en) 2022-06-09
KR20230117170A (ko) 2023-08-07
AU2021391517A1 (en) 2023-07-06
TW202233436A (zh) 2022-09-01
TWI818367B (zh) 2023-10-11
CN116888620A (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
US9715761B2 (en) Real-time 3D computer vision processing engine for object recognition, reconstruction, and analysis
TWI709107B (zh) 影像特徵提取方法及包含其顯著物體預測方法
US20190043216A1 (en) Information processing apparatus and estimating method for estimating line-of-sight direction of person, and learning apparatus and learning method
US11282271B2 (en) Method in constructing a model of a scenery and device therefor
CN106780543A (zh) 一种基于卷积神经网络的双框架估计深度和运动方法
EP3306309B1 (en) Image acquisition device, image acquisition method, and image correction program
US9165341B2 (en) Method for generating super-resolution images having improved image resolution and measuring device
JP2023553004A (ja) 付加製造のためのディープラーニングベースの画像拡張
Fang et al. Quality assessment for image super-resolution based on energy change and texture variation
Eastwood et al. Autonomous close-range photogrammetry using machine learning
KR102177726B1 (ko) 가공품 검사 장치 및 검사 방법
Ziabari et al. Simurgh: A Framework for CAD-Driven Deep Learning Based X-Ray CT Reconstruction
JP7070308B2 (ja) 推定器生成装置、検査装置、推定器生成方法、及び推定器生成プログラム
CN113167568B (zh) 坐标计算装置、坐标计算方法和计算机可读记录介质
JP2023003764A (ja) 画像処理装置、画像処理方法、及びプログラム
CN109410302B (zh) 纹理映射方法、装置、计算机设备和存储介质
CN113128292A (zh) 一种图像识别方法、存储介质及终端设备
KR20210000791A (ko) 레이저를 이용한 가공품 검사 장치 및 검사 방법
Petrou et al. Super-resolution in practice: the complete pipeline from image capture to super-resolved subimage creation using a novel frame selection method
WO2022077146A1 (zh) 透明物体的网格重建方法、装置、计算机设备和存储介质
JP7211271B2 (ja) 画像選択方法、画像選択プログラム、および画像選択装置
Prajapati et al. Unsupervised Denoising for Super-Resolution (UDSR) of Real-World Images
CN117929411A (zh) 建筑幕墙的无损检测方法、装置、设备及存储介质
JP2017224169A (ja) 距離画像解像度変換装置、距離画像解像度変換方法及びコンピュータプログラム
Zhukov et al. The algorithm for determining pathological objects on medical images