KR20230117170A

KR20230117170A - 적층 제조를 위한 딥 러닝 기반 이미지 향상

Info

Publication number: KR20230117170A
Application number: KR1020237021868A
Authority: KR
Inventors: 사이먼 메이슨; 라이언 스콧 키천; 트래비스 맥폴스
Original assignee: 비더블유엑스티 어드밴스드 테크놀로지스 엘엘씨
Priority date: 2020-12-01
Filing date: 2021-12-01
Publication date: 2023-08-07
Also published as: WO2022119877A2; JP2023553004A; EP4256469A2; WO2022119877A3; US20220172330A1; CA3199809A1; AU2021391517A1; TW202233436A; TWI818367B; CN116888620A

Abstract

적층 제조된 제품의 2-D 이미지 시퀀스에 대한 이미지 해상도를 향상시키는 방법이 제공된다. 복수의 적층 제조 공정 각각에 대해, 공정은 개개의 적층 제조 공정 동안 개개 제품의 개개의 복수의 시퀀싱된 저해상도 2-D 이미지를 획득하고, 개개의 적층 제조 공정 완료 후 후 개개 제품의 각각의 고해상도 3-D 이미지를 획득한다. 이 공정은 저해상도 2-D 이미지와 고해상도 3-D 이미지를 저해상도 타일과 고해상도 타일로 각각 세분화하는 타일링 맵을 선택한다. 또한, 이 공정은 저해상도 및 고해상도 타일의 순서 지정된 쌍을 포함하는 훈련 입력을 사용하여 생성적 적대 신경망에서 이미지 향상 생성기를 반복적으로 구축한다. 이 공정은 적층 제조 동안 제품에 대해 캡처된 저해상도 2-D 이미지의 시퀀스를 향상시키기 위해 후속 사용을 위해 이미지 향상 생성기를 저장한다.

Description

적층 제조를 위한 딥 러닝 기반 이미지 향상

본 발명은 일반적으로 적층 제조에 관한 것이며, 보다 구체적으로는 적층 제조를 위한 딥 러닝(deep learning) 기반 이미지 향상을 위한 시스템, 방법, 및 사용자 인터페이스에 관한 것이다.

적층 제조 부품(예를 들어, 3-D 인쇄를 사용하여 제조된 부품)의 복잡성으로 인해, 비파괴 품질 관리 방법은 매우 제한적이다. 가장 널리 사용되는 비파괴 검사 방법은 마이크로 CT(Computed Tomography) 스캐닝이다. 이 공정은 더 많은 기하학적(geometric) 정확도를 제공하지만, 공정은 비용이 많이 들고 시간이 많이 걸리며, 밀도가 높은 물질로 제조된 대형 부품으로 확장되지 않는다(예를 들어, 공정이 밀도 높은 물질의 음영 아트팩트의 영향을 받음). 일부 시스템은 근적외선(NIR, Near-Infrared) 이미지를 기반으로 하는 디지털 트윈 3-D 볼륨을 사용한다. NIR 후처리에서는, 우수한 기공 또는 균열 정의를 제공하지만, 기하학적 치수 및 공차(GD&T, Geometric Dimensioning & Tolerancing) 정확도가 떨어지며, 구축(build) 후 효과를 예측하지 못한다. 3-D 볼륨은 또한 이미지의 해상도에 의해서도 제한된다. 더욱이, 이러한 시스템은 제조 공정 동안만 데이터를 캡처하고, 이는 이후에 발생하는 변경 사항은 캡처되지 않는다는 것을 의미한다. 예를 들어, 이러한 시스템은 최종 기하학적 형상(geometry)을 변경하는 금속의 재용융을 캡처하지 않는다.

발명의 개요

배경기술 항목에서 제시된 문제들에 더하여, 적층 제조 품질을 검사하는 개선된 시스템 및 방법이 필요한 다른 이유가 있다. 예를 들어, 기존 기술은 적층 제조 제품의 사후 분석에 의존하기 때문에, 적절한 근본 원인 분석을 위한 컨텍스트 정보가 없다. 본 발명은 종래의 방법 및 시스템의 단점을 해결하는 시스템 및 방법을 설명한다.

본 발명은 종래의 방법 및 시스템의 단점 중 일부를 해결하는 시스템 및 방법을 설명한다.

본 발명은 생성적 적대 신경망(GAN, Generative Adversarial Network)이라고 하는 심층 신경망 기술(deep neural net technology)을 이용하여 NIR 이미지의 해상도를 동시에 높이고, 구축 후(post-build) 효과(예를 들어, 재용융 또는 수축)를 모델링하고, 데이터를 규격품(off-the-shelf)의 CT 분석 툴(CT analysis tool)로 사용 가능한 형식으로 변환한다. 본 명세서에 설명된 기술을 사용하면, 대용량 3-D 볼륨을 신경망에서 처리할 수 있다. 본 발명의 개시내용에서는, 2 개의 상이한 처리 파이프라인에 대해 설명한다. 제1 파이프라인은 훈련(training) 및 테스트(알고리즘의 품질을 향상시키는 진행 중인 공정)에 사용되고, 제2 파이프라인은 현장(in-situ)에서의 전개에 사용된다.

본 발명에서는 컴퓨터 비전, 기계 학습 및/또는 통계 모델링을 사용하고, 일부 구현예에 따라 적층 제조 품질의 현장 검사를 위한 디지털 모델을 구축한다. 본 명세서에 설명된 기술은 저해상도 NIR 이미지를 CT와 같은 품질과 해상도로 향상시키는 데 사용될 수 있다. 또한, 규격품 CT 스캔 소프트웨어로 출력을 분석할 수 있다. 이 기술은 매우 정확한 종합 GD&T를 위해 구축당 비용을 무시할 수 있다. 이 기술은 균열이나 기공(pore)과 같은 특징의 검출을 향상시킨다. 이 기술은 또한 이전 구축의 훈련을 기반으로 지용융, 팽창 및 수축과 같은 레이어 후(post-layer) 효과를 예측하는 데에도 사용될 수 있다. 본 명세서에 설명된 기술에 따른 시스템은, CT와 달리, CT와 같은 스캐닝 아티팩트(artifact)를 생성하지 않으며 출력의 노이즈를 줄이는 데 도움이 된다.

일부 구현예에 따르면, 본 발명은 제품의 적층 제조 동안 시퀀싱된 (sequenced) 이미지(예를 들어, 스틸 이미지 또는 비디오)를 캡처하기 위한 센서로서 하나 이상의 카메라를 사용한다. 일시적으로 시퀀싱된 이미지는 컴퓨터 비전 및 기계/딥 러닝 기술을 이용하여 다차원 데이터 배열로 처리되어 관련 분석 및/또는 예측 통찰(predictive insights)을 생성한다. 이는 특정 기능(예를 들어, 결함)을 찾고 품질을 평가하기 위해 이러한 기능의 범위를 결정하는 것이 포함된다.

일부 구현예에서, 진행 중인 적층 제조 공정의 이미지는 훈련된 컴퓨터 비전 및 기계/딥 러닝 알고리즘을 사용하여 처리되어 결함 특성화를 생성한다. 일부 구현예에서, 컴퓨터 비전 및 기계/딥 러닝 알고리즘은 진행 중인 적층 제조 공정의 이미지를 기반으로 제품 품질을 결정하도록 훈련된다.

일부 구현예에 따르면, 방법은 컴퓨팅 시스템에서 실행된다. 전형적으로, 컴퓨팅 시스템은, 각각 하나 이상의 CPU 및/또는 GPU 프로세서 및 메모리를 갖는 단일 컴퓨터 또는 워크스테이션, 또는 복수의 컴퓨터를 포함한다. 실현된 기계 학습 모델링 방법은 일반적으로 컴퓨팅 클러스터 또는 슈퍼 컴퓨터가 필요하지 않다.

일부 구현예에서, 컴퓨팅 시스템은 하나 이상의 컴퓨터를 포함한다. 각각의 컴퓨터는 하나 이상의 프로세서와 메모리를 포함한다. 메모리는 하나 이상의 프로세서에 의해 구현되도록 구성된 하나 이상의 프로그램을 저장한다. 하나 이상의 프로그램은 본 명세서에 설명된 방법들 중 어느 한 방법을 수행하기 위한 명령을 포함한다.

일부 구현예에서, 비일시적 컴퓨터 판독 가능 저장 매체는, 하나 이상의 컴퓨터를 갖는 컴퓨팅 시스템에 의해 실행되도록 구성된 하나 이상의 프로그램을 저장하고, 각 컴퓨터는 하나 이상의 프로세서 및 메모리를 갖는다. 하나 이상의 프로그램은 본 명세서에 설명된 방법들 중 어느 한 방법을 수행하기 위한 명령을 포함한다.

따라서 적층 제조 공정의 현장 검사를 용이하게 하는 방법 및 시스템이 개시된다. 본 명세서에 기술된 설명, 예, 원리, 구성, 구조, 특징, 배열, 및 공정은 적층 제조 공정에 이용되고, 적응되고, 실현될 수 있다.

기술된 시스템 및 방법과 추가 시스템 및 방법을 더 잘 이해하기 위해서는, 도면 전체에 걸쳐 동일한 참조 번호가 해당 부분을 지칭하는 다음 도면과 함께, 아래 구현예를 참조해야 한다.
도 1은 일부 구현예에 따른 적층 제조 공정의 현장 검사를 위한 시스템의 블록도이다.
도 2a는 일부 구현예에 따라 적층 제조 제품의 2-D 이미지 시퀀스에 대한 이미지 해상도를 향상시키기 위해 생성적 적대 신경망(GAN)을 훈련하기 위한 시스템의 블록도이다.
도 2b는 일부 구현예에 따라, 도 2a에 도시된 생성적 적대 신경망(GAN)의 블록도이다.
도 2c는 일부 구현예에 따라, 적층 제조된 제품의 2-D 이미지 시퀀스에 대한 이미지 해상도를 향상시키기 위해 생성적 적대 신경망(GAN)를 사용하기 위한 시스템의 블록도이다.
도 3은 일부 구현예에 따른 컴퓨팅 장치의 블록도이다.
도 4는 일부 구현예에 따른 적층 제조 공정의 레이어 이미지의 예시적인 타일의 예시도이다.
도 5는 일부 구현예에 따른 적층 제조 공정을 위한 이미지 타일을 함께 스티칭하는 예시도이다.
도 6a는 일부 구현예에 따른 NIR, 마이크로-CT 스캔, 및 인공 고해상도 이미지에 대해 측정된 벽 두께의 예시도이다.
도 6b는 일부 구현예에 따른 기하학적 비교 테스트를 기반으로 예시적인 측정치를 갖는 표를 도시한다.
도 7은 일부 구현예에 따른 벽 두께 측정의 예시적인 시각화를 도시한다.
도 8a 및 8b는 일부 구현예에 따른 인공 고해상도 이미지의 예를 도시한다.
도 9는 일부 구현예에 따른 Z축 업스케일링(보간) 방법의 개략도이다.
도 10은 일부 구현예에 따라 적층 제조된 제품의 2-D 이미지 시퀀스에 대한 이미지 해상도를 향상시키기 위해 생성적 적대 신경망을 훈련하는 시스템을 예시하는 블록도이다.
도 11은 일부 구현예에 따라 적층 제조된 제품의 2-D 이미지 시퀀스에 대한 이미지 해상도를 향상시키기 위해 생성적 적대 신경망을 사용하는 시스템을 예시하는 블록도이다.

이하, 첨부된 도면에 예시된 구현예를 참조할 것이다. 이하의 설명에서, 본 발명의 완전한 이해를 제공하기 위해 다수의 특정 세부사항이 설명된다. 그러나 본 발명이 이들 특정 세부사항을 필요로 하지 않고 실행될 수 있다는 것은 본 기술분야의 숙련자에게 명백할 것이다.

도 1은 일부 구현예에 따른 적층 제조 공정의 현장 검사를 위한 시스템(100)의 블록도이다. 적층 제조 장비(102)는 하나 이상의 카메라 장치(104)에 의해 모니터링되며, 각각의 장치(104)는 하나 이상의 이미지 센서(106) 및 하나 이상의 이미지 프로세서(108)를 포함한다. 카메라 장치에 의해 수집된 데이터는 통신 네트워크(110)를 사용하여 현장 검사 서버(112)에 전달된다. 적층 제조 장비(102)는 현장 검사 서버(112)에 의해 동적으로 업데이트될 수 있는 적층 제조 파라미터 세트(118)를 사용한다. 제조 파라미터에는 사용된 물질과 공정 수행 방법을 모두 규정하는 자세한 공정 흐름이 포함될 수 있다.

현장 검사 서버(112)는 일부 기계/딥 러닝 데이터 모델(116)뿐만 아니라 일부 표준 컴퓨터 비전 처리 알고리즘(114)을 사용한다.

이 공정은 적층 제조 작업 동안 이미지를 현장에서 캡처하고 특징을 강조하기 위해 표준 이미지 처리 기술을 적용한다(예를 들어, 가우시안 블러(Gaussian blur), 전극 및 용접 풀의 엣지 검출, 신호 대 잡음 필터링 및 각도 보정). 이 공정은 이미지 스택 또는 비디오 프레임을 기하학적 형상으로 정렬하기 위해 시간적 상호 상관관계를 사용한다. 일부 구현예에서, 이 정보는 정확한 이미지 캡처를 위해 하나 이상의 장착된 로봇 카메라에 공급된다. 시스템은 이미지의 시간적 도함수를 취함으로써 시간적 이미지 추세를 고정 신호로 변환한다. 이 시스템은 3-D 컨볼루션(예를 들어, 픽셀 위치, 강도, 및 색상/스펙트럼 밴드)을 사용하여 순차적인 지연 이미지 배치에서 컨볼루션(convolution) 신경망을 훈련한다. 일부 구현예에서, 기계/딥 러닝 데이터 모델(116)은 특정 이벤트의 확률(예를 들어, 예/아니오 또는 결함 유형)을 출력한다.

도 2a는 일부 구현예에 따라 적층 제조된 제품의 2-D 이미지 시퀀스에 대한 이미지 해상도를 향상시키기 위해 생성적 적대 신경망(GAN)을 훈련하기 위한 시스템(200)의 블록도이다. 원시 입력 이미지(202)(예를 들어, NIR 이미지 또는 CT 데이터)는 적층 제조 공정의 현장 모니터링으로부터 획득된다. 일부 구현예는 미리 결정된 해상도(예를 들어, 60 μm(마이크로미터) 해상도)에서 NIR 이미지(제품을 구축하는 동안)를 캡처함으로써 초기 데이터(원시 입력 이미지(202))를 획득한다. 일부 구현예에서는 제2 미리 결정된 해상도(예를 들어, 20 μm 해상도)로 인쇄된 부품 또는 제품의 마이크로 CT 스캔을 수행한다. 마이크로 CT 스캔은 일반적으로 제품이 완전히 구성된 후에 생성된다. 일부 구현예에서, 각각의 NIR 이미지는 제품의 X-Y 단면(예를 들어, 레이어)에 대응한다. 입력 이미지는 크롭(crop) 및 정렬되어 NIR 및 CT 데이터(204)를 획득하며, 이는 중간 타일 입력(206)을 획득하기 위해 워프(warp) 변환으로 타일링(예를 들어, 무작위 x-y, y-z 또는 x-z 타일)된다. 이러한 타일 스택(각각 전체 이미지의 일부를 나타냄)은 생성적 적대 신경망(208)을 훈련하는 데 사용된다. 예를 들어, 각각의 NIR 이미지는 제품의 X-Y 단면 또는 레이어에 대응하며, CT 이미지 스택은 제품 상향식(bottom-up) 레이어(즉, 맨 아래 레이어 먼저, 다음 레이어, 맨 위 레이어까지) 스캔을 포함한다. NIR 이미지와 CT 스캔 이미지를 정렬하는 것은 이미지를 레이어 별로, 맨 아래에서 맨 위 레이어로 일치시키는 것을 포함한다. 일부 구현예에서는 훈련에 사용할 수 있는 데이터의 양을 늘리기 위해 입력 데이터를 수정함으로써 입력 데이터(신경망 훈련에 사용되는 데이터)를 증강한다. 일부 구현예에서는 훈련을 위한 추가 데이터를 획득하기 위해 입력 데이터를 회전, 위치 조정 및/또는 스케일 조정한다. 일부 경우에, 이러한 작업은 실제로 추가 데이터를 제공하지 않는다. 예를 들어, 입력 데이터나 이미지가 원이나 육각형을 포함하는 경우, 회전은 추가 데이터나 정보를 제공하지 않는다. 일부 구현예는 데이터를 워핑함으로써 데이터를 증강한다. 일부 경우에, 워핑은 신경망을 훈련하는 데 사용되는 추가 정보(예를 들어, H 모양)를 생성한다. 워핑은 훈련 데이터의 다양성을 높이기 위해 훈련 데이터 세트를 증강하는 데 사용된다. 워핑(때로는 원근 워핑이라고도 함)은 입력 데이터의 아핀 변환을 포함한다. 일부 구현예는 NIR 이미지(또는 NIR 이미지로부터 획득된 타일), 및 CT 이미지(또는 CT 이미지로부터 획득된 타일)를 워핑하여 훈련을 위해 대응하는 워핑된 이미지(또는 타일)를 생성한다. 워프 작업은 2-D 이미지를 가져와서 3-D 공간으로 투영하여 이미지를 일정 각도로 보고 있는 것처럼 보이게 한다. 최종 이미지는 2-D로 역투영되기 때문에, 워핑은 늘어나거나, 비틀리거나, 구부러지거나, 변형된 것처럼 보이는 이미지를 생성한다. 일부 구현예에서는, CT 및 NIR 입력 데이터 모두에 대해 동일하게 워프 작업을 수행하여, 원본 데이터에서 볼 수 없는 기하학적 형상 또는 기능에 대해 그라운드 트루스(ground-truth)쌍을 생성한다.

일부 구현예는 NIR 이미지를 3-D 볼륨으로 조립하고, NIR 및 마이크로-CT 볼륨을 정렬하고, 및/또는 NIR 이미지를 CT 해상도로 업스케일링(upscaling)함으로써(예를 들어, 기본 보간법을 사용하여) 데이터 소스를 페어링한다. 일부 구현예에서는, 위에서 설명한 쌍을 이룬 3-D 볼륨으로부터 타일을 무작위로 선택하고, 데이터를 무작위로 조작하여 데이터 세트를 증강하고 및/또는 데이터 세트를 훈련, 테스트 및 검증 데이터 세트로 나누어 훈련 세트를 추출한다. 일부 구현예에서는, 그후 GAN(208)을 훈련하기 위해 훈련 세트를 사용한다.

도 2b는 일부 구현예에 따라 도 2a에 도시된 생성적 적대 신경망(GAN)(208)의 블록도이다. 생성적 적대 신경망 또는 GAN은 심층 컨볼루션 신경망(CNN, Deep Convolutional Neural Network)을 훈련하는 고급 방법이다. 단일 네트워크를 사용하는 대신, 2 개의 개별 네트워크(생성기(212) 및 판별기(216))가 훈련된다. 생성기(212)는 훈련 후에 궁극적으로 사용될 네트워크이다. 생성기(212)는 입력 데이터(210)(예를 들어, 근적외선 또는 NIR 이미지)를 취하고, 입력 데이터(210)를 처리하고, 샘플(218)(예를 들어, 가짜 또는 인공 CT 데이터)을 생성한다. 결과(218)는 생성되기 때문에(실제 CT 스캔이 아님), 결과는 "가짜" 데이터로 간주된다. 판별기(216)는 원래의 "진짜" 샘플(214) 또는 "가짜" 생성된 샘플(218)(또는 둘 다 동시에)을 취하고, 데이터가 "진짜"인지 "가짜"인지 결정하려고 시도한다. 두 네트워크는 동시에 훈련된다. 생성기(212)는 판별기(216)가 자신의 데이터가 "진짜"라고 믿도록 "속이는" 능력을 기반으로 훈련되는 반면, 판별기(216)는 "가짜"로부터 "진짜"를 식별하는 능력에 대해 훈련된다. 이로 인해 모델 또는 네트워크가 점점 더 정확해진다. 모델은, 두 네트워크의 정확도가 안정화되었을 때(예를 들어, 정확도가 여러 반복에 대해 변경되지 않음), "수렴됨" 또는 "완전히 훈련됨"으로 간주된다(블록 220으로 표시된 상태). 일부 경우에, 판별자가 시간의 약 50 %를 수정할 때 수렴이 발생한다. 네트워크가 수렴할 때까지, 블록(220)에 도시된 상태는 생성기(212) 및 판별기(216)에 미세 조정된 피드백(222)을 제공한다. 일부 구현예에서는 인간 개발자가 "가짜" 데이터 결과의 품질을 검증한다. GAN 훈련 동안, 네트워크는 훈련 데이터 세트(위에서 설명)를 활용하여 네트워크를 훈련하고, 독립적인 유효성 검증 데이터 세트(위에서도 설명)를 사용하여 정확도를 측정한다. 훈련 모델은 각 입력에 대한 통계(예를 들어, 정확도 및/또는 손실)를 생성한다. 일부 구현예에서는, 훈련은, 개발자가 출력 품질이 좋다고 믿는 지점에 도달하면, 완전히 별도의 데이터 세트를 사용하여 테스트가 수행된다. 이 데이터 세트는 본질적으로 프로덕션 모델의 드라이런(dry run)으로서, 신경망 자체뿐만 아니라 전체 이미지 처리 및 어셈블리 파이프라인을 테스트한다.

도 2c는, 일부 구현예에 따라, 적층 제조된 제품의 2-D 이미지 시퀀스에 대한 이미지 해상도를 향상시키기 위해 생성적 적대 신경망(GAN)(208)을 사용하기 위한 시스템(224)의 블록도이다. 원시 입력 이미지(226)(예를 들어, NIR 이미지)는 제품의 적층 제조 공정의 현장 모니터링으로부터 획득된다. 일부 구현예는 적층 제조 공정 동안 제품의 레이어 이미지를 캡처한다. 일부 구현예에서는 이미지 크기를 조정한다(예를 들어, 크기를 3 배 늘림). 입력 이미지는 크롭된 NIR 이미지(228)를 획득하기 위해 크롭된다. 일부 구현예에서는, 크롭된 이미지(228)를 번호가 매겨진 타일(예를 들어, 256 x 256 픽셀 타일)로 분할하여, 각각의 미리 결정된 픽셀 수(예를 들어, 128 픽셀마다)에 대한 타일을 추출한다. 일부 구현예에서는, 엣지(edge) 효과를 제거하기 위해 타일이 중첩된다(예를 들어, 4 개의 타일이 겹침). 이어서, 크롭된 NIR 이미지는 정렬 및/또는 타일링되어 순서 지정된(ordered) 타일(230)을 획득된다. 순서 지정된 타일(230)은 순서 지정된 타일 출력(232)을 획득하기 위해 훈련된 GAN 생성기(208)(추론 모드에서 실행됨)에 입력된다. 순서 지정된 타일 출력(232)은 디지털 트윈 모델(236)을 재구성하는 데 사용되는 출력(234)을 획득하기 위해 스티칭 및 혼합된다(예를 들어, 스티칭된 이미지는 3-D 볼륨을 형성하기 위해 첨부됨). 타일링 및 이미지 스티칭 알고리즘의 세부 사항은, 일부 구현예에 따라, 도 4 및 5를 참조하여 아래에서 설명된다. 일부 구현예에서 각각의 타일은 GAN에 개별적으로 입력된다. 입력 이미지는 타일로 분할되고, 각각의 타일은 GAN에 의해 처리된 다음, 출력 타일이 최종 이미지로 재조립된다. 이것은 이미지 스택(타일)의 각 이미지에 대해 수행된 다음, 마지막으로 출력 이미지 스택이 3-D 볼륨으로 조합된다.

도 3은 일부 구현예에 따른 컴퓨팅 장치(300)를 예시하는 블록도이다. 컴퓨팅 장치(300)의 다양한 예는 서버, 슈퍼컴퓨터, 데스크톱 컴퓨터, 클라우드 서버, 및 기타 컴퓨팅 장치의 고성능 클러스터(HPC)를 포함한다. 컴퓨팅 장치(300)는 일반적으로 메모리(314)에 저장된 모듈, 프로그램 및/또는 명령을 실행하여 처리 작업을 수행하기 위한 하나 이상의 처리 장치/코어(CPU 및/또는 GPU)(302); 하나 이상의 네트워크 또는 다른 통신 인터페이스(304); 메모리(314); 및 이들 구성요소를 상호 연결하기 위한 하나 이상의 통신 버스(312)를 포함한다. 통신 버스(312)는 시스템 구성요소들 간의 통신을 상호 연결하고 제어하는 회로를 포함할 수 있다.

컴퓨팅 장치(300)는 디스플레이 장치(308) 및 하나 이상의 입력 장치 또는 메커니즘(310)을 포함하는 사용자 인터페이스(306)를 포함할 수 있다. 일부 구현예에서는, 입력 장치/메커니즘은 키보드를 포함한다. 일부 구현예에서는, 입력 장치/메커니즘은 필요에 따라 디스플레이 장치(308)에 표시되는 "소프트" 키보드를 포함하여, 사용자가 디스플레이(308)에 나타나는 "키를 누를" 수 있게 한다. 일부 구현예에서는, 디스플레이(308) 및 입력 장치/메커니즘(310)은 터치 스크린 디스플레이(터치 감지 디스플레이라고도 함)를 포함한다.

일부 구현예에서, 메모리(314)는 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 솔리드 스테이트 메모리 장치와 같은 고속 랜덤 액세스 메모리를 포함한다. 일부 구현예에서는, 메모리(314)는 하나 이상의 자기 디스크 저장 장치, 광학 디스크 저장 장치, 플래시 메모리 장치, 또는 다른 비휘발성 솔리드 스테이트 저장 장치와 같은 비휘발성 메모리를 포함한다. 일부 구현예에서는, 메모리(314)는 GPU(들)/CPU(들)(302)로부터 원격 위치된 하나 이상의 저장 장치를 포함한다. 메모리(314) 또는 대안적으로 메모리(314) 내의 비휘발성 메모리 장치(들)는 비일시적 컴퓨터 판독 가능 저장 매체를 포함한다. 일부 구현예에서는, 메모리(314) 또는 메모리(314)의 컴퓨터 판독 가능 저장 매체는 다음 프로그램, 모듈 및 데이터 구조, 또는 이들의 서브세트를 저장한다:

- 다양한 기본 시스템 서비스를 처리하고 하드웨어 종속 작업을 수행하기 위한 절차를 포함하는 운영 시스템(316);

- 하나 이상의 통신 네트워크 인터페이스(304)(유선 또는 무선) 및 하나 이상의 통신 네트워크, 예를 들면, 인터넷, 기타 광역 네트워크, 기타 광역 통신망, 근거리 통신망, 대도시 통신망 등을 통해 컴퓨팅 장치(300)를 다른 컴퓨터 및 장치에 연결하는 데 사용되는 통신 모듈(318);

- 현장 검사를 위한 적층 제조 결함의 시각화를 표시하기 위한 선택적 데이터 시각화 애플리케이션 또는 모듈(320);

- 사용자가 파라미터 또는 제어 변수를 지정할 수 있도록 하는, 입력/출력 사용자 인터페이스 처리 모듈(346);

- 현장 검사 엔진(112)(종종 인라인 모니터링 엔진이라고 함, 도 1과 관련하여 위에서 설명됨). 일부 구현예에서, 검사 엔진(112)은, 도 10과 관련하여 아래에 설명된 바와 같이, 이미지 처리 모듈(322) 및/또는 적층 제조 제어 모듈(330)을 포함한다. 일부 구현예에서는, 아래에서 더 자세히 설명된 바와 같이, 이미지 처리 모듈(322)은 이미지 타일링 모듈(324), 이미지 스티칭 모듈(326), 및/또는 이미지 변환 모듈(328);

- 저해상도(LR) 타일을 획득하도록 저해상도 2-D 이미지를 세분화하기 위해 및/또는 고해상도(HR) 타일을 획득하도록 고해상도 2-D 이미지를 세분화하기 위해, 이미지 타일링 모듈(324)에 의해 사용되는 타일링 맵(332);

- 가중치(weight) 및 입력 벡터를 포함하는 기계/딥 러닝/회귀 모델(334)(예를 들어, 도 1의 모델(116, 이하에서 더 설명됨);

- 적층 제조 공정(336);

- 시퀀싱된 저해상도 2-D 이미지(338);

- 고해상도 2-D 이미지의 슬라이스를 포함하는 고해상도 3-D 이미지(340);

- 선택적으로, 구축 후 효과 모델(342); 및/또는

- 보간 모듈(344).

위에서 식별된 실행 가능한 모듈, 애플리케이션, 또는 절차 세트 각각은 이전에 언급된 메모리 장치 중 하나 이상에 저장될 수 있으며, 위에서 설명한 기능을 수행하기 위한 명령 세트에 대응한다. 위에서 식별된 모듈 또는 프로그램(즉, 명령 집합)은 별도의 소프트웨어 프로그램, 절차 또는 모듈로서 구현될 필요가 없으므로, 이러한 모듈의 다양한 하위 집합이 조합되거나 다양한 구현예에서 재배열될 수 있다. 일부 구현예에서는, 메모리(314)는 위에서 식별된 모듈 및 데이터 구조의 서브세트를 저장한다. 또한, 메모리(314)는, 위에서 설명되지 않은 추가적인 모듈 또는 데이터 구조를 저장할 수 있다. 일부 구현예에 따라, 도 3에 도시된 데이터 구조의 각 모듈 및 속성의 작업이 아래에 자세히 추가로 설명된다.

도 3은 컴퓨팅 장치(300)를 도시하지만, 도 3은 본 명세서에 설명된 구현예의 구조적 개략이라기보다는 존재할 수 있는 다양한 특징의 기능적 설명으로서 더 의도된 것이다. 실제로, 본 기술분야의 숙련자가 인식하는 바와 같이, 개별적으로 표시된 항목은 조합될 수 있고 일부 항목은 분리될 수 있다.

일부 구현예에서, 비록 도시되지는 않았지만, 메모리(314)는 또한 도 1 및 도 2a-2c를 참조하여 전술한 모델을 훈련하고 실행하기 위한 모듈을 포함한다. 구체적으로, 일부 구현예에서, 메모리(314)는 또한 확률적 샘플링 모듈, 코딩 프레임워크, 하나 이상의 컨볼루션 신경망, 통계적 지원 패키지, 및/또는 다른 이미지, 신호, 또는 관련 데이터를 포함한다.

도 4는 일부 구현예에 따른 적층 제조 공정의 레이어 이미지의 예시적 타일의 예시도이다. 이미지(400, 402, 404, 406)는, 일부 구현예에 따라, 동일한 제품(또는 동일한 적층 제조 공정 또는 상이한 적층 제조 공정을 이용하여 제작된 상이한 제품)의 상이한 레이어에 대응할 수 있다. 각각의 이미지는, 일부 구현예에 따라, 이미지 크기의 일부(예를 들어, 이미지 크기의 1/4 또는 1/8)인 타일 크기에 따라 타일링된다. 일부 구현예에서는, 모든 이미지를 타일링하기 위해 동일한 타일 크기를 사용한다. 일부 구현예에서는, 상이한 제품 및/또는 상이한 적층 제조 공정에 대해 상이한 타일 크기를 사용한다. 도 4에서, 이미지(400, 402, 404, 406)는 동일한 이미지로부터의 개별 타일 세트에 대응한다. 일부 구현예에서는, 이러한 타일 세트를 조합하여 각 방향으로 중첩되는 타일 세트를 생성한다. 예를 들어, 고해상도 이미지는 일반적으로 각각의 축에 총 10 개 이상의 타일을 포함하여 총 400 개 타일(4*100)이 된다. 타일이 오프셋되어 있기 때문에, 하나 이상의 방향에서 두께가 절반인 타일이 가장자리에 있다. 일부 구현예에서는, GAN은 타일이 균일한 크기이어야 하므로, 이러한 타일은 계산에 포함되지 않거나(예를 들어, 크롭된 부분이 0으로 채워짐) 또는 크롭된 부분이 크롭되지 않은 부분에서 미러링된다.

도 5는 일부 구현예에 따른 적층 제조 공정의 레이어 이미지 타일을 스티칭한 예시도이다. 일부 구현예에서는, 세부 사항 손실 없이 기존 방법에 비해 타일 이미지의 우수한 혼합을 제공하는 이미지 스티칭 알고리즘을 사용한다. 출력 이미지의 각 픽셀은 4 개 이상의 중첩되는 타일 각각에서 대응 값의 가중치 합으로 생성된다. 각 타일의 가중치는 엣지 효과를 제거하기 위해 타일 중심으로부터의 거리에 선형적으로 비례한다. 도 5는, 일부 구현예에 따라 스티칭 타일 이미지를 생성하기 위해 스티칭 알고리즘(500)에 의해 처리될 수 있는 초기 타일 이미지(502)를 도시한다. 도 5에서, 이미지(500)는 중첩된 타일을 나타내며, 각각의 중첩된 타일로부터의 엣지가 이미지에 나타나 있다. 일부 구현예에서는, 4 개의 중첩된 타일 구성을 스티칭하고 4 개의 이미지(각 이미지는 중첩된 타일에 대응함)의 평균을 취하여 함께 혼합함으로써 이미지(500)를 생성한다. 도 5는 또한 개선된 혼합 방법을 이용하여 생성된 제2 이미지(502)를 도시한다. 일부 구현예에서는, 각 타일 세트를 스티칭하기 전에, 타일에 하기 수학식에 의해 생성된 "혼합 타일"이 곱해진다. 그 예를 아래에 나타낸다:

(1)

위의 수학식(1)에서,

x, y는 (이미지의 픽셀의) x, y 좌표이고, 그리고

'width'와 'height'는 픽셀에 대응하는 타일의 폭과 높이(차원의 크기)이다.

일부 구현예에서는, 수학식(1)은 이미지 중심으로부터의 x 및 y 거리에 의해 결정되는 0에서 1까지의 스케일을 갖는 가중 이미지를 생성한다. 일부 구현예에서는, 이러한 4 가지 구성에 의해 생성된 이미지가 함께 추가되어 각 픽셀의 총 가중치가 1이 된다.

도 6a 및 6b는, 일부 구현예에 따라, 훈련된 신경망(예를 들어, GAN(208))의 출력을 테스트한 결과를 도시한다. 테스트 결과는 일부 구현예에 따라 NIR, CT 및 가짜 CT(GAN 208의 생성기로 생성된 인공 이미지)에 대한 캘리퍼 측정을 기반으로 한다. 테스트 결과는, 캘리퍼를 사용하여 얇은 벽(가능한 한 최소의 기능)의 두께를 측정하고, 일부 구현예에 따라, 시스템의 출력 측정값을 NIR 및 마이크로 CT 스캔에 대해 측정된 두께와 비교하여 부품의 전체 폭을 픽셀 단위로 측정하여 픽셀 크기를 보정함으로써 기하학적 비교 테스트로부터 나온 것이다. 도 6a는, 일부 구현예에 따라, 캘리퍼를 사용하여 폭 방향으로 측정된 적층 제조된 부품의 단면을 도시한다. 폭 방향 측정은 복셀 크기를 결정하기 위해 각 이미지에서 이 영역의 평균 픽셀 폭으로 나뉜다. 부품의 전체 폭을 이용함으로써, +/- 1 픽셀 엣지 규정 불확실성으로 인한 측정 오차 비율은 분수 +/- 2/(총 픽셀 수)로 최소화된다. 도 6a에서, 제1 이미지(600)는 NIR 이미지(저해상도의 입력 이미지로서 최소 427 개의 픽셀, 228 개의 평균 픽셀 수, 및 431 개의 최대 픽셀 수를 포함함)이다. 제2 이미지(602)는 CT 스캔 이미지(때로는 최소 1,367 개의 픽셀, 최대 1,373 개의 픽셀 및 평균 1,369 개의 픽셀을 포함하는 고해상도 이미지인 CT 이미지라고도 함)에 대응한다. 제3 이미지(604)는 시스템에 의해 생성된 출력(최소 1,294 개의 픽셀, 최대 1,301 개의 픽셀, 평균 1,297 개의 픽셀을 포함하는 가짜 CT 이미지)에 대응한다. 해상도는 각각의 이미지(600, 602, 604)의 y축에 표시된다. 입력 이미지(600)는 660 μm의 캘리퍼 측정치를 갖고, 가짜 CT 이미지(604)는 626 μm ± 40 μm의 캘리퍼 측정치를 갖는다. 예시된 바와 같이, NIR 이미지의 해상도는 낮은(0 내지 100 단위) 반면, 가짜 CT 이미지의 해상도(300 단위에 근접)는 CT 이미지(602)의 해상도와 유사하다. 이미지(600, 602, 604)의 x축은 적층 제조에 의해 제조된 제품 또는 부품의 레이어의 선형 치수에 대응한다.

도 6b는, 일부 구현예에 따라, 그 단면이 도 6a에 도시된 제품 또는 부품의 면("면 1")의 측정 표(606)를 도시한다. 표(606)는 캘리퍼 값이 26.14 단위, CT 픽셀 수가 1,369 개, NIR 픽셀 수가 428 개, 가짜 CT 픽셀 수가 1,297 개, CT 복셀 크기가 19.0 μm, NIR 복셀 크기가 61 μm이고, 가짜 CT 복셀 크기가 20.15 μm임을 나타낸다. 표(606)는, 일부 구현예에 따라, 도 6a에 표시된 이미지의 복셀 크기를 계산하는 데 사용되는 숫자를 나타낸다.

도 7은, 일부 구현예에 따라, 도 6a 및 6b 부품의 동일한 위치에 대한 NIR, CT 및 가짜 CT 데이터를 사용하는 예시적인 두께 측정(700)을 도시한다. 도 7에서, 일부 구현예에 따라, 그래프(702)는 입력 NIR 이미지(600)에 대응하고, 그래프(704)는 CT 이미지(602)에 대응하고, 그래프(706)는 가짜 CT 이미지(604)에 대응한다. 각각의 그래프 또는 이미지는 영역에 대한 최대, 최소 및 평균 두께 측정치를 포함한다. 도 6a 및 6b를 참조하여 전술한 바와 같이, 정확도를 결정하기 위해 측정치를 동일한 위치로부터의 캘리퍼 측정치와 비교하였다.

도 8a 및 8b는 일부 구현예에 따른 인공 고해상도 이미지의 예를 도시한다. 도 8a는 가짜 CT 이미지(806)(CT 이미지와 일치하는 인공 이미지)를 생성하는 이전 구축으로부터의 CT 데이터에 대해 훈련된 훈련 네트워크에 입력되는 NIR 이미지(804)를 도시한다. 가짜 CT 이미지의 해상도 및/또는 품질은, 네트워크가 수렴할 때, 실제 CT 이미지의 해상도 및/또는 품질과 일치한다. 도 8b는, 도 8a를 참조하여 설명된 바와 같이, 훈련된 네트워크의 출력을 도시한다. 다른 지오메트리로 테스트할 때(즉, 네트워크는 훈련 세트에 포함되지 않은 여러 기하학으로 테스트됨). 예를 들어, 입력 이미지(808)는 이미지(810)를 생성하고, 입력 이미지(812)는, 도 8a에 설명된 바와 같이 훈련된 네트워크를 사용하여 이미지(814)를 생성한다.

도 9는 일부 구현예에 따른 Z축 업스케일링(보간)을 위한 시스템(900)의 개략도이다. 일부 구현예는 별도의 신경망(예를 들어, 위에서 설명한 GAN(208) 이외의 신경망)을 사용한다. 일부 구현예에서는, Z축 업스케일링을 위해 GAN(208)을 훈련하고 사용한다. 일부 구현예에서, 별도의 네트워크는 X축과 Y축의 해상도를 높일 뿐만 아니라 Z축의 인쇄 레이어들 사이를 보간하도록 훈련된다. 실험에서, 결과는 지속적인 GD&T 정확도를 나타내고, 어떤 경우에는 향상된 기공 규정을 나타낸다. 일부 구현예에서, 보간 동작은 도 3을 참조하여 전술한 보간 모듈(344)에 의해 수행된다. 일부 구현에서, 3 개의 채널 입력(예를 들어, 0 μm의 제1 입력 채널(902), 25 μm의 제2 입력 채널(904), 및 50 μm의 제3 입력 채널(906)을 포함하는 3 x 1-채널 입력)은 조합되어 3채널 입력(908)을 형성한다. 일부 구현예에서는, 적층 제조되는 제품의 각 레이어에 대해 하나의 입력 채널을 사용한다. 일부 구현예에서는, 적층 제조되는 제품의 미리 결정된 위치로부터 개개의 거리에 있는 각 레이어에 대해 개개의 입력 채널을 사용한다. 일부 구현예에서, 각각의 입력 채널은 적층 제조되는 제품의 다른 레이어에 대해 미리 결정된 거리(예를 들어, 25 ㎛)에 있는 레이어에 대응한다. 3-채널 입력은 Z축에서 인쇄 레이어들 사이를 보간(고해상도 이미지를 생성하는 것과 유사)하도록 훈련된 신경망(GAN 208과 유사)에 입력되고, 3 x 1-채널 출력으로 분할되는 3-채널 출력(910)(각각 0 μm, 25 μm, 및 50 μm에서 이미지 912, 914 및 916)을 출력한다.

도 10은 일부 구현예에 따라 적층 제조된 제품의 2-D 이미지 시퀀스에 대한 이미지 해상도를 향상시키기 위해 생성적 적대 신경망을 훈련하는 시스템(1000)을 예시하는 블록도이다. 일부 구현예에서는, 시스템(1000)(예를 들어, 컴퓨팅 장치(300))은 적층 제조된 제품의 2-D 이미지의 시간적 시퀀스에 대한 이미지 해상도를 향상시키는 방법을 수행한다. 이 방법은 복수의 적층 제조 공정(1002) 각각에 대해 일련의 단계를 수행하는 것을 포함한다. 일련의 단계는 개개의 적층 제조 공정 동안 개개 제품 각각의 복수 시퀀싱된 저해상도 2-D 이미지(1004)(예를 들어, 근적외선(NIR) 이미지를 사용하는 저해상도 2-D 이미지(338))를 획득 단계(1016)를 포함한다. 일련의 단계는 또한 개개의 적층 제조 공정의 완료 후에 개개 제품 각각의 고해상도 3-D 이미지(1008)(예를 들어, 고해상도 3-D 이미지(342))를 획득 단계(1018)를 포함한다. 고해상도 3-D 이미지는 저해상도 2-D 이미지에 대응하는 복수의 고해상도 2-D 이미지를 포함한다. 일련의 단계는 또한 각각의 저해상도 2-D 이미지를 복수의 LR 타일로 세분하고, 각각의 대응하는 고해상도 2-D 이미지를 복수의 해당 HR 타일로 세분화하는 하나 이상의 타일링 맵을 선택하는 단계(1006)를 포함한다. 도 10에서, 복수의 LR 타일 및 복수의 HR 타일은 타일(1010)로 표시되어 있다. 일부 구현예에서는, LR 및 HR 타일은 별도로 저장된다. 일부 구현예에서는 순서 지정된 LR 및 HR 타일 쌍을 계산하고 저장한다. 일련의 단계는 또한 대응하는 LR 타일 및 HR 타일의 순서 지정된 쌍을 포함하는 훈련 입력(1020)을 사용하여 생성적 적대 신경망에서 이미지 향상 생성기(1014)를 반복적으로 구축하는 단계(1012)를 포함한다. 일부 구현예에서, 일련의 단계는 또한 적층 제조 동안 제품에 대해 캡처된 저해상도 2-D 이미지의 시퀀스를 향상시키기 위해 후속 사용을 위해 이미지 향상 생성기를 저장하는 단계(1022)을 포함한다.

일부 구현예에서, 생성적 적대 신경망(예를 들어, GAN(208))는 이미지 향상 생성기(예를 들어, 생성기(212))를 포함하는 제1 신경망 및 판별기(예를 들어, 판별기(216))를 갖는 제2 신경망을 포함한다. 일부 구현예에서, 이미지 향상 생성기를 반복적으로 구축하는 것은 저해상도 2-D 이미지를 기반으로 후보 고해상도 2-D 이미지(예를 들어, 가짜 CT 데이터)를 생성하도록 이미지 향상 생성기를 훈련시키는 단계; 및 후보 고해상도 2-D 이미지와 획득된 고해상도 3-D 이미지의 2-D 슬라이스(실제 고해상도 이미지) 사이를 구별하도록 판별기를 훈련시키는 단계를 포함한다. 훈련, 저해상도 2-D 이미지, 및 고해상도 2-D 이미지의 예는, 일부 구현예에 따라, 도 2a-2c, 6, 8a 및 8b를 참조하여 위에 설명되어 있다. 일부 구현예에서, 이미지 향상 생성기의 출력이 여러 번의 연속 훈련 반복 동안 후보 고해상도 2-D 이미지의 50 %에 대해 판별기에 의해 실제 고해상도 3-D 이미지로 분류될 때, 이미지 향상 생성기 구축이 중단된다. 예를 들어 두 모델 모두 점점 더 정확해진다. 두 네트워크의 정확도가 안정화되면, 모델이 "수렴" 또는 "완전히 훈련된" 것으로 간주된다. 일부 구현예에서는, 인간 개발자는 "가짜" 데이터 결과의 품질을 수용한다.

일부 구현예에서, 복수의 시퀀싱된 저해상도 2-D 이미지(1004) 각각은 개개의 적층 제조 공정 동안 개개 제품의 근적외선(NIR) 이미지이다.

일부 구현예에서, 고해상도 3-D 이미지(1008) 각각은 개개의 적층 제조 공정이 완료된 후(예를 들어, 20 ㎛ 해상도), 개개 제품의 마이크로-CT 스캔을 수행하는 것을 기반으로 생성된다.

일부 구현예에서, 본 발명의 방법은 타일로 세분하기 전에 저해상도 2-D 이미지를 고해상도 2-D 이미지로 크롭하고 정렬하는 단계를 더 포함한다. 일부 구현예에서, 이 방법은 2-D 이미지 중 일부에 대해 워프 변환을 수행함으로써 훈련 입력에서 LR 타일 및 HR 타일을 증강하는 단계를 더 포함한다. 일부 구현예에서, 하나 이상의 타일링 맵은 상이한 패턴에 따라 각각 세분화되는 복수의 타일링 맵을 포함한다. 일부 구현예에서, 타일링 맵 선택 및 세분화(때때로 타일링이라고 함)는 이미지 처리 모듈(322)(예를 들어, 이미지 타일링 모듈(324)을 사용)에 의해 수행된다. 타일링된 이미지 및 타일링 작업의 예는, 일부 구현예에 따라, 도 3 및 4를 참조하여 위에 설명되어 있다.

도 11은, 일부 구현예에 따라, 적층 제조된 제품의 2-D 이미지 시퀀스에 대한 이미지 해상도를 향상시키기 위해 훈련된 생성적 적대 신경망(예를 들어, 도 10과 관련하여 위에서 설명한 공정을 통해 훈련된 GAN)로부터 생성기를 사용하는 시스템(1100)을 예시하는 블록도이다. 시스템(1100)은 적층 제조된 제품의 2-D 이미지 시퀀스에 대한 이미지 해상도를 향상시키기 위해 제공된 방법을 수행한다. 이 방법은 하나 이상의 프로세서 및 하나 이상의 프로세서에 의해 실행하도록 구성된 하나 이상의 프로그램을 저장하는 메모리를 갖는 컴퓨팅 장치(300)에서 수행된다.

이 방법은 진행 중인 적층 제조 공정(1102)(예를 들어, 적층 제조 공정(336)) 동안 제품의 복수의 시퀀싱된 저해상도 2-D 이미지(1104)(예를 들어, 근적외선(NIR) 이미지)를 획득 단계(1118)를 포함한다. 이 방법은 또한 생성적 적대 신경망의 일부로서 이전에 훈련된(예를 들어, 도 10을 참조하여 전술한 바와 같이 훈련된) 이미지 향상 생성기(1014)를 획득 단계(1120)를 포함한다. 이미지 향상 생성기는 고정된 2차원 크기의 입력 이미지를 수용하도록 구성된다. 이 방법은 또한 저해상도 2-D 이미지 각각을 복수의 LR 타일(1108)로 세분화하는 하나 이상의 타일링 맵(예를 들어, 이미지 타일링 모듈(324)을 사용)을 선택하는 단계(1106)를 포함한다. 저해상도 2-D 이미지로부터 공간적으로 대응하는 타일은 복수의 타일 스택을 형성한다. 이 방법은 또한 각각의 LR 타일에 대해, 제품의 고해상도 2-D 인공 이미지 타일(1112)을 생성하기 위해 이미지 향상 생성기(1014)를 적용하는 단계(1110)를 포함한다. 이 방법은 또한 저해상도 이미지에 대응하는 고해상도 2-D 인공 레이어 세트를 위해 고해상도 2-D 인공 이미지 타일을 함께 스티칭(예를 들어, 이미지 스티칭 모듈(326)을 사용)하고 고해상도 2-D 인공 레이어를 함께 적층하여 제품의 3-D 인공 볼륨을 형성한다.

일부 구현예에서, 이 방법은 3-D 인공 볼륨을 사용하여 제품의 구축 후 효과 및/또는 결함(1116)을 식별하는 단계(1114)를 더 포함한다(예를 들어, 균열/기공과 같은 기능 검출은 이전 구축을 기반으로 재용융, 팽창, 수축과 같은 레이어 후 효과를 예측).

일부 구현예에서, 생성적 적대 신경망(도 2b를 참조하여 전술한 바와 같음)는 이미지 향상 생성기를 갖는 제1 신경망 및 판별기를 갖는 제2 신경망을 포함한다.

일부 구현예에서, 훈련 동안(그 예는 도 10을 참조하여 위에서 설명됨), 이미지 향상 생성기(1014)는 저해상도 2-D 이미지(예를 들어, NIR 이미지)를 기반으로 후보 고해상도 2-D 이미지(예를 들어, 가짜 또는 인공 CT 데이터)를 기반으로 생성하도록 훈련되고; 그리고 판별기는 후보 고해상도 2-D 이미지와 적층 제조 공정이 완료된 후 캡처된 실제 고해상도 3-D 이미지 슬라이스를 구별하도록 훈련된다.

일부 구현예에서, 복수의 시퀀싱된 저해상도 2-D 이미지를 획득 단계(1104)는 진행 중인 적층 제조 공정 동안 제품의 각 레이어에 대한 개개의 저해상도 2-D 이미지(예를 들어, 도 4, 5, 6, 8a, 8b 및 9에 도시된 이미지)를 캡처하는 것을 포함한다.

일부 구현예에서, 이 방법은 복수의 시퀀싱된 저해상도 2-D 이미지를 리사이징하는 단계(예를 들어, 이미지 변환 모듈(328)을 사용)를 더 포함한다.

일부 구현예에서, 각각의 타일링 맵은 각각의 저해상도 2-D 이미지를 중첩되지 않는 타일로 세분화한다. 일부 구현예에서, 하나 이상의 타일링 맵은 복수의 타일링 맵을 포함하고, 각각은 상이한 패턴에 따라 저해상도 2-D 이미지를 세분화한다. 일부 구현예에서, 스티칭은 타일링 맵의 2개 이상의 중첩 영역에 포함된 각각의 픽셀에 대해, 대응하는 고해상도 2-D 인공 이미지 타일에서 값의 개개 가중치 합을 계산함으로써 개개의 픽셀에 대한 개개의 출력 이미지를 생성하는 것을 포함한다. 일부 구현예에서, 개개의 가중치 합을 계산하는 단계는 개개의 가중치 합에 대한 각각의 타일의 기여도에 대해, 개개의 타일의 중심으로부터의 거리에 선형적으로 비례하는 개개의 가중치를 연관시키는 것을 포함한다.

일부 구현예에서, 이 방법은 제품의 고해상도 3-D 인공 볼륨을 기본 CT 스캔 형식(예를 들어, 규격품 CT 분석 툴에 의해 사용 가능한 형식)으로 변환하는 것(예를 들어, 이미지 변환 모듈(328) 사용)을 추가로 포함한다.

일부 구현예에서, 이 방법은 진행 중인 적층 제조 공정의 인쇄 층들 사이에서 훈련된 신경망을 사용하여 보간하는 것(예를 들어, 보간 모듈(344)을 사용하고, 도 9를 참조하여 전술한 바와 같이)을 추가로 포함한다(예를 들어, GAN 네트워크는 또한 X축과 Y축의 해상도를 높이는 것 외에도 Z-축의 인쇄 레이어들 사이의 보간도 수행함).

일부 구현예에서는, 도 11을 참조하여 설명된 공정을 반복하여 후속적으로 결함 부품에 라벨을 붙이고 및/또는 거부한다. 예를 들어, 일부 시스템은 미리 결정된 다공성 임계값을 초과하는 것으로 예측되는 제품, 또는 미리 결정된 기하학적 표준을 충족하지 않는 레이어를 식별 및/또는 폐기한다.

본 명세서에서 본 발명의 설명에 사용된 용어는 단지 특정 구현예를 설명하기 위한 것이며 본 발명을 제한하려는 의도가 아니다. 본 발명의 설명 및 첨부된 청구범위에 사용된 바와 같이, 단수형 "a", "an" 및 "the"는 문맥상 명백하게 달리 나타내지 않는 한, 복수형도 포함하는 것으로 의도된다. 또한, 본 명세서에서 사용되는 "및/또는"이라는 용어는 연관된 나열 항목 중 하나 이상의 임의의 및 모든 가능한 조합을 지칭하고, 포함하는 것으로 이해될 것이다. "포함하다" 및/또는 "포함하는"이라는 용어는, 본 명세서에서 사용될 때, 명시된 특징, 단계, 작동, 소자 및/또는 구성요소의 존재를 지정하지만, 하나 이상의 다른 특징, 단계, 작동, 소자, 구성 요소 및/또는 그 그룹의 존재 또는 추가를 배제하지 않는다.

전술한 설명은 설명을 위해 특정 구현예를 참조하여 설명되었다. 그러나 상기 예시적인 설명은 본 발명을 개시된 정확한 형태로 제한하거나 철저하게 하기 위한 것이 아니다. 상기 교시의 관점에서 많은 수정 및 변형이 가능하다. 구현예는 본 발명의 원리 및 그 실제 적용을 가장 잘 설명하기 위해 선택되고 설명되었으며, 이에 따라 본 기술분야의 숙련자는 본 발명 및 고려되는 특정 용도에 적합한 다양한 수정을 갖는 다양한 구현예를 가장 잘 활용할 수 있다.

Claims

적층 제조된 제품의 2-D 이미지 시퀀스에 대한 이미지 해상도를 향상시키는 방법으로서,
복수의 적층 제조 공정 각각에 대해,
상기 개개의 적층 제조 공정 동안 개개 제품의 개개의 복수의 시퀀싱된 저해상도 2-D 이미지를 획득하는 단계;
상기 개개의 적층 제조 공정의 완료 후에 상기 개개 제품의 개개의 고해상도 3-D 이미지를 획득하는 단계로서, 상기 고해상도 3-D 이미지는 저해상도 2-D 이미지에 대응하는 복수의 고해상도 2-D 이미지를 포함하는, 고해상도 3-D 이미지의 획득 단계;
상기 저해상도 2-D 이미지 각각을 복수의 LR 타일로 세분화하고, 상기 대응 고해상도 2-D 이미지 각각을 복수의 HR 타일로 세분화하는 하나 이상의 타일링 맵을 선택하는 단계;
대응하는 LR 타일 및 HR 타일의 순서 지정된 쌍을 포함하는 훈련 입력을 사용하여 생성적 적대 신경망에서 이미지 향상 생성기를 반복적으로 구축하는 단계; 및
적층 제조 동안 제품에 대해 캡처된 저해상도 2-D 이미지의 시퀀스를 향상하도록 후속 사용을 위해 상기 이미지 향상 생성기를 저장하는 단계
를 포함하는, 이미지 해상도 향상 방법.
제1 항에 있어서,
상기 복수의 시퀀싱된 저해상도 2-D 이미지 각각은 상기 개개의 적층 제조 공정 동안 시간적 시퀀스로 캡처된 개개 제품의 근적외선(NIR) 이미지인 것을 특징으로 하는 방법.
제1 항에 있어서,
상기 각각의 고해상도 3-D 이미지는 상기 개개의 적층 제조 공정이 완료된 후 상기 개개 제품의 마이크로-CT 스캔 수행을 기반으로 생성되는 것을 특징으로 하는 방법.
제1 항에 있어서,
상기 생성적 적대 신경망은 상기 이미지 향상 생성기를 갖는 제1 신경망 및 판별기를 갖는 제2 신경망을 포함하는 것을 특징으로 하는 방법.
제4 항에 있어서,
상기 이미지 향상 생성기를 반복적으로 구축하는 단계는,
저해상도 2-D 이미지를 기반으로 후보 고해상도 2-D 이미지를 생성하기 위해 상기 이미지 향상 생성기를 훈련하는 단계; 및
상기 후보 고해상도 2-D 이미지와 상기 획득된 고해상도 3-D 이미지의 2-D 슬라이스를 구별하기 위해 판별기를 훈련하는 단계를 포함하는 것을 특징으로 하는 방법.
제5 항에 있어서,
상기 이미지 향상 생성기의 구축 단계는, 상기 이미지 향상 생성기의 출력이 판별기에 의해 후보 고해상도 2-D 이미지의 50 %에 대한 실제 고해상도 3-D 이미지로서 다중 연속 훈련 반복 동안 분류될 때, 중지되는 것을 특징으로 하는 방법.
제1 항에 있어서,
상기 저해상도 2-D 이미지를 타일로 세분화하기 전에 상기 고해상도 2-D 이미지와 크롭 및 정렬하는 단계를 추가로 포함하는 것을 특징으로 하는 방법.
제1 항에 있어서,
상기 2-D 이미지 중 일부에 대해 워프 변환을 수행함으로써 상기 훈련 입력의 LR 타일 및 HR 타일을 증강하는 단계를 추가로 포함하는 것을 특징으로 하는 방법.
제1 항에 있어서,
상기 하나 이상의 타일링 맵은 서로 다른 패턴에 따라 각각 세분화되는 복수의 타일링 맵을 포함하는 것을 특징으로 하는 방법.
적층 제조된 제품의 2-D 이미지 시퀀스에 대한 이미지 해상도를 향상시키는 방법으로서,
진행 중인 적층 제조 공정 동안 제품의 시간적으로 시퀀싱된 복수의 저해상도 2-D 이미지를 획득하는 단계;
생성적 적대 신경망의 일부로서 이전에 훈련된 이미지 향상 생성기를 획득하는 단계로서, 상기 이미지 향상 생성기는 고정된 2차원 크기의 입력 이미지를 수용하도록 구성되는, 이미지 향상 생성기 획득 단계;
각각의 상기 저해상도 2-D 이미지를 복수의 LR 타일로 세분화하는 하나 이상의 타일링 맵을 선택하는 단계;
각각의 상기 LR 타일에 대해, 상기 이미지 향상 생성기를 적용하여 상기 제품의 고해상도 2-D 인공 이미지 타일을 생성하는 단계;
상기 저해상도 이미지에 대응하는 고해상도 2-D 인공 레이어 세트를 위해 상기 고해상도 2-D 인공 이미지 타일을 함께 스티칭하는 단계; 및
상기 제품의 3-D 인공 볼륨을 형성하기 위해 상기 고해상도 2-D 인공 레이어를 함께 스택하는 단계
를 포함하는, 이미지 해상도 향상 방법.
제10 항에 있어서,
상기 생성적 적대 신경망은 상기 이미지 향상 생성기를 갖는 제1 신경망 및 판별기를 갖는 제2 신경망을 포함하는 것을 특징으로 하는 방법.
제11 항에 있어서,
훈련 동안, 상기 이미지 향상 생성기는 저해상도 2-D 이미지를 기반으로 후보 고해상도 2-D 이미지를 생성하기 위해 훈련되고; 그리고
상기 판별기는 상기 후보 고해상도 2-D 이미지와 적층 제조 공정이 완료된 후 캡처된 실제 고해상도 3-D 이미지 슬라이스 사이에 구별하도록 훈련되는 것을 특징으로 하는 방법.
제10 항에 있어서,
상기 복수의 시간적으로 시퀀싱된 저해상도 2-D 이미지를 획득하는 단계는 상기 진행 중인 적층 제조 공정 동안 제품의 각 레이어에 대한 개개의 저해상도 2-D 이미지를 캡처하는 단계를 포함하는 것을 특징으로 하는 방법.
제10 항에 있어서,
상기 복수의 시퀀싱된 저해상도 2-D 이미지를 리사이징하는 단계를 추가로 포함하는 것을 특징으로 하는 방법.
제10 항에 있어서,
각각의 타일링 맵은 상기 저해상도 2-D 이미지 각각을 비중첩 타일로 세분화하는 것을 특징으로 하는 방법.
제10 항에 있어서,
상기 하나 이상의 타일링 맵은 복수의 타일링 맵을 포함하고, 각가의 타일링 맵은 서로 다른 패턴에 따른 저해상도 2-D 이미지를 세분화하는 것을 특징으로 하는 방법.
제10 항에 있어서,
상기 스티칭 단계는, 상기 타일링 맵의 2 개 이상의 중첩 영역에 포함된 각 픽셀에 대해, 상기 대응하는 고해상도 2-D 인공 이미지 타일의 값의 개개의 가중치 합을 계산함으로써 상기 개개의 픽셀에 대한 개개의 출력 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
제17 항에 있어서,
상기 개개의 가중치 합을 계산하는 단계는, 상기 개개의 가중치 합에 대한 각 타일의 기여도에 대해, 상기 개개 타일의 중심으로부터의 거리에 선형적으로 비례하는 개개 가중치를 연관시키는 것을 특징으로 하는 방법.
제10 항에 있어서,
상기 제품의 상기 3-D 인공 부피를 기본 CT 스캔 형식으로 변환하는 단계를 추가로 포함하는 것을 특징으로 하는 방법.
제10 항에 있어서,
상기 진행 중인 적층 제조 공정의 인쇄 레이어들 사이에서 훈련된 신경망을 사용하여 보간하는 단계를 추가로 포함하는 것을 특징으로 하는 방법.
제10 항에 있어서,
상기 3-D 인공 볼륨을 사용하여 상기 제품의 구축 후 효과 또는 결함을 식별하는 단계를 추가로 포함하는 것을 특징으로 하는 방법.
적층 제조된 제품의 2-D 이미지 시퀀스에 대한 이미지 해상도를 향상시키는 전자 장치로서,
하나 이상의 프로세서; 및
상기 하나 이상의 프로세서에 의해 실행되도록 구성되고 제1 항 내지 제21 항 중 어느 한 항의 방법을 수행하기 위한 명령을 갖는 하나 이상의 프로그램을 저장하는 메모리를 포함하는, 이미지 해상도 향상을 위한 전자 장치.
전자 장치의 하나 이상의 프로세서에 의해 실행되도록 구성되고, 제1 항 내지 제21 항 중 어느 한 항의 방법을 수행하기 위한 명령을 포함하는 하나 이상의 프로그램을 저장하는 비일시적 컴퓨터 판독 가능 저장 매체.