KR20190001608A

KR20190001608A - 반도체 애플리케이션을 위한 입력 이미지로부터의 시뮬레이션된 이미지 생성

Info

Publication number: KR20190001608A
Application number: KR1020187037530A
Authority: KR
Inventors: 징 장; 크리스 바스카
Original assignee: 케이엘에이-텐코 코포레이션
Priority date: 2016-05-25
Filing date: 2017-05-24
Publication date: 2019-01-04
Also published as: KR102229081B1; EP3465174B1; JP6758418B2; US20170345140A1; TW201800983A; EP3465174A1; IL262672B; US10395356B2; WO2017205537A1; TWI723168B; CN109074650B; CN109074650A; JP2019522897A; IL262672A; EP3465174A4

Abstract

입력 이미지로부터 시뮬레이션된 이미지를 생성하기 위한 방법 및 시스템이 제공된다. 하나의 시스템은 하나 이상의 컴퓨터 서브시스템 및 상기 하나 이상의 컴퓨터 서브시스템에 의해 실행되는 하나 이상의 구성요소를 포함한다. 하나 이상의 구성요소는 시료에 대한 이미지의 피처를 결정하도록 구성된 2개 이상의 인코더 계층을 포함하는 신경망을 포함한다. 신경망은 또한 결정된 피처로부터 하나 이상의 시뮬레이션된 이미지를 생성하도록 구성된 2개 이상의 디코더 계층을 포함한다. 신경망은 완전히 연결된 계층을 포함하지 않으므로, 2개 이상의 인코더 계층에 입력되는 이미지의 크기에 대한 제약을 제거한다.

Description

반도체 애플리케이션을 위한 입력 이미지로부터의 시뮬레이션된 이미지 생성

본 발명은 일반적으로 반도체 애플리케이션을 위한 입력 이미지로부터 시뮬레이션된 이미지를 생성하기 위한 방법 및 시스템에 관한 것이다.

다음의 설명 및 예는 이 섹션에 포함된 종래 기술로 인정되지 않는다.

로직 및 메모리 디바이스와 같은 반도체 디바이스를 제조하는 것은 일반적으로 복수의 반도체 제조 프로세스를 사용하여 반도체 웨이퍼와 같은 기판을 처리하여, 반도체 디바이스의 다양한 피처(feature) 및 다중(multiple) 레벨을 형성하는 단계를 포함한다. 예를 들어, 리소그래피는 레티클로부터 반도체 웨이퍼 상에 배열된 레지스트로 패턴을 전사하는 것을 포함하는 반도체 제조 프로세스이다. 반도체 제조 프로세스의 추가의 예는 화학적-기계적 연마(CMP), 에칭, 증착, 및 이온 주입을 포함하지만, 이에 한정되지는 않는다. 복수의 반도체 디바이스는 단일 반도체 웨이퍼 상의 배열로 제조된 후, 개별적인 반도체 디바이스로 분리될 수 있다.

검사 프로세스는 반도체 제조 프로세스 동안에 여러 단계에서 사용되어, 시료의 결함을 검출하여 제조 프로세스에서 높은 수율을 이끌어 내고, 수익을 높인다. 검사는 항상 반도체 다바이스 제조의 중요한 부분이었다. 그러나, 반도체 디바이스의 치수가 감소함에 따라, 허용 가능한 반도체 디바이스의 성공적인 제조에 대한 검사가 더욱 더 중요하게 되는데, 그 이유는 더 작은 결함이 디바이스를 고장나게 할 수 있기 때문이다.

결함 검토는 일반적으로 검사 프로세스에 의해 이와 같이 검출된 결함을 재검출하고 고배율 광학 시스템 또는 주사 전자 현미경(SEM)을 사용하여 더 높은 해상도에서 결함에 대한 추가 정보를 생성하는 것을 포함한다. 따라서, 결함 검토는 검사에 의해 결함이 검출된 시료의 개별 위치에서 수행된다. 결함 검토에 의해 생성된 결함에 대한 더 높은 해상도 데이터는, 프로파일, 거칠기, 보다 정확한 크기 정보 등과 같은 결함의 속성을 결정하는데 더 적합하다.

계측 프로세스는 또한 프로세스를 모니터하고 제어하기 위해 반도체 제조 프로세스 동안에 여러 단계에서 사용된다. 계측 프로세스는 결함이 시료에서 검출되는 검사 프로세스와 달리, 현재 사용된 검사 툴을 사용하여 결정할 수 없는 시료의 하나 이상의 특성을 측정하는데 사용된다는 점에서, 검사 프로세스와는 상이하다. 예를 들어, 계측 프로세스는, 프로세스의 성능이 하나 이상의 특성으로부터 결정될 수 있도록, 프로세스 동안에 시료에 형성된 피처의 치수(예를 들어: 라인 폭, 두께 등)와 같은 시료의 하나 이상의 특성을 측정하는데 사용된다. 또한, 시료의 하나 이상의 특성이 허용되지 않는 경우(예를 들어: 특성(들)에 대한 미리 결정된 범위를 벗어남), 시료의 하나 이상의 특성의 측정은, 프로세스에 의해 제조된 추가의 시료가 허용 가능한 특성(들)을 가지도록, 프로세스의 하나 이상의 파라미터를 변경하는데 사용될 수 있다.

계측 프로세스는 또한, 검사에 의해 검출되는 결함이 결함 검토에서 재검사되는 결함 검토 프로세스와 달리, 계측 프로세는 결함이 검출되지 않는 위치에서 수행될 수 있다는 점에서 결함 검토 프로세스와는 다르다. 다시 말해서, 결함 검토와 달리, 시료에 대해 계측 프로세스가 수행되는 위치는, 시료에 대해 수행된 검사 프로세스의 결과와 독립적일 수 있다. 특히, 계측 프로세스가 수행되는 위치는 검사 결과와 독립적으로 선택될 수 있다.

설계 규칙이 축소됨에 따라, 레티클 및 웨이퍼와 같은 표본에 형성된 설계는, 최적으로 수행되는 프로세스를 사용하여 형성되는 경우에도, 실제 설계와 크게 다르게 보일수 있다. 예를 들어, 물리적인 시료에 설계를 형성하는 것과 관련된 물리적인 프로세스의 내재적인 한계로 인해, 물리적인 시료에 형성된 설계의 피처는 일반적으로 다른 형상과 같은 설계와는 다소 상이한 특성을 가지며(예를 들어: 코너 라운딩 및 기타 근접 효과로 인함), 가능한 최적 버전의 설계가 시료에 형성되어 있더라도 약간 다른 치수(예를 들어: 근접 효과로 인함)를 가질 수 있다.

때때로, 검사 툴, 결함 검토 툴, 계측 툴 등과 같은 툴에 의해 생성된 설계 정보가 형성되는 시료 및 시료의 이미지에 설계가 어떻게 나타날지를 알 수 없다. 그러나, 여러 가지 이유로 이러한 툴로 생성된 시료 및 이미지에 설계가 어떻게 나타나는지를 알고 있는 것이 종종 바람직하다. 한 가지 이유는 설계가 허용되는 방식으로 시료에 형성될 수 있도록 하는 것이다. 또 다른 이유는 시료에 대해 수행된 하나 이상의 기능에 사용될 수 있는 설계가 시료에 형성되게 되는 방법을 보여주는 설계에 대한 참조를 제공하는 것이다. 예를 들어, 일반적으로, 시료 상에 형성된 설계와 기준 간의 임의의 차이가 검출되어 결함 또는 잠재적인 결함으로 식별될 수 있도록, 결함 검출을 위한 기준이 필요하다.

따라서 시료에 대한 다른 이미지로부터 시료에 대한 하나의 이미지를 시뮬레이션할 수 있는 다양한 방법과 시스템을 개발하기 위해 많은 작업이 행해져 왔다. 그러나 현재 사용 가능한 방법에는 몇 가지 단점이 있다. 예를 들어, 현재 사용되는 일부 방법에는 방법이 변환할 수있는 입력 이미지의 크기에 대한 상한을 가진다. 현재 사용되는 다른 방법은, 실질적으로 큰 입력 이미지를 변환할 수 있지만, 이를 행함에 있어서 몇 가지 단점이 있다.

그러한 일례에서, 비교적 큰 입력 이미지를 변환하기 위해 현재 사용되는 하나의 방법은, (비교적 큰) 임의의 크기의 이미지(예를 들어, 1024 픽셀 × 1024 픽셀)를 필요한 크기(예를 들어, 64 픽셀 × 64 픽셀)를 가진 많은 이미지 패치로 크로핑하고, 신경망을 통해 모든 패치를 공급하는 단계를 포함한다. 이미지 크기(즉, 1024 픽셀 x 1024 픽셀) 결과는 패치 크기 결과(즉, 각각이 64 픽셀 x 64 픽셀의 크기를 갖는 923,521개의 이미지 패치)로부터 구성될 수 있다.

따라서, 현재 사용되는 방법에는 몇 가지 단점이 있다. 예를 들어, 현재 사용되는 방법은 가장 빠른 그래픽 처리 장치(GPU)에서 조차도 런타임시에 엄청난 양의 계산을 필요로 한다(예를 들어, 1024 픽셀 × 1024 픽셀 이미지를 처리하는 데는 수십 분에서 수 시간이 걸림). 또한, 현재 사용되는 방법은, 추가 크로핑 및 재구성 단계를 포함하며, 이는 소프트웨어 구현 흐름을 복잡하게 한다.

따라서, 전술한 하나 이상의 단점을 갖지 않는 입력 이미지로부터 시뮬레이션된 이미지를 생성하기 위한 시스템 및 방법을 개발하는 것이 바람직할 것이다.

다음의 다양한 실시예의 설명은 첨부된 청구범위의 청구물을 제한하는 것으로 해석되어서는 안된다.

일 실시예는 입력 이미지로부터 시뮬레이션된 이미지를 생성하도록 구성된 시스템에 관한 것이다. 시스템은 하나 이상의 컴퓨터 서브 시스템 및 하나 이상의 컴퓨터 서브시스템에 의해 실행되는 하나 이상의 구성 요소를 포함한다. 하나 이상의 구성요소는 시료에 대한 이미지의 피처를 결정하도록 구성된 2개 이상의 인코더 계층을 포함하는 신경망을 포함한다. 신경망은 또한, 결정된 피처로부터 하나 이상의 시뮬레이션된 이미지를 생성하도록 구성된 2개 이상의 디코더 계층을 포함한다. 신경망은 완전히 연결된 계층을 포함하지 않으므로, 2개 이상의 인코더 계층에 입력되는 이미지의 크기에 대한 제약을 제거한다. 상기 시스템은 본 명세서에 설명된 바와 같이 추가로 구성될 수 있다.

추가적인 실시예는 입력 이미지로부터 시뮬레이션된 이미지를 생성하도록 구성된 또 다른 시스템에 관한 것이다. 이 시스템은 위에서 설명한 바와 같이 구성된다. 이 시스템은 또한, 2개 이상의 인코더 계층에 입력되는 시료의 이미지를 생성하도록 구성된 이미징 서브시스템을 포함한다. 컴퓨터 서브시스템(들)은, 이 실시예에서, 이미징 서브시스템으로부터 이미지를 획득하도록 구성된다. 본 시스템의 실시예는 본 명세서에 설명된 바와 같이 추가로 구성될 수 있다.

다른 실시예는 입력 이미지로부터 시뮬레이션된 이미지를 생성하기 위한 컴퓨터 구현 방법에 관한 것이다. 상기 방법은 시료에 대한 이미지를 획득하는 단계를 포함한다. 이 방법은 또한 신경망의 2개 이상의 인코더 계층에 이미지를 입력함으로써 시료에 대한 이미지의 피처를 결정하는 단계를 포함한다. 또한, 상기 방법은 상기 결정된 피처들로부터 하나 이상의 시뮬레이션된 이미지를 생성하는 단계를 포함한다. 하나 이상의 시뮬레이션된 이미지를 생성하는 것은 신경망의 2개 이상의 디코더 계층에 의해 수행된다. 획득, 결정, 및 생성은 하나 이상의 컴퓨터 시스템에 의해 수행된다. 하나 이상의 구성요소는 하나 이상의 컴퓨터 시스템에 의해 실행되고, 하나 이상의 구성요소는 신경망을 포함한다.

전술한 방법의 각 단계는 본 명세서에서 추가로 설명된 바와 같이 추가로 수행될 수 있다. 또한, 전술한 방법의 실시예는 본 명세서에 설명된 임의의 다른 방법(들)의 임의의 다른 단계(들)을 포함할 수 있다. 또한, 전술한 방법은 본 명세서에 설명된 시스템 중 임의의 시스템에 의해 수행될 수 있다.

다른 실시예는 입력 이미지로부터 시뮬레이션된 이미지를 생성하기 위한 컴퓨터 구현 방법을 수행하기 위해 하나 이상의 컴퓨터 시스템에서 실행 가능한 프로그램 명령어를 저장하는 비일시적 컴퓨터 판독 가능한 매체에 관한 것이다. 컴퓨터 구현 방법은 전술한 방법의 단계들을 포함한다. 컴퓨터 판독 가능한 매체는 본 명세서에 설명된 바와 같이 추가로 구성될 수 있다. 컴퓨터 구현 방법의 단계들은 본 명세서에 더 설명되는 바와 같이 수행될 수 있다. 또한, 프로그램 명령어가 실행 가능한 컴퓨터 구현 방법은, 본 명세서에 설명된 임의의 다른 방법(들)의 임의의 다른 단계(들)을 포함할 수 있다.

본 발명의 다른 이점은, 첨부 도면의 참조시에, 바람직한 실시예에 대한 다음의 상세한 설명의 이득을 가진 당업자에게 명백하게 될 것이다.
도 1 및 도 1a는 본 명세서에 설명된 바와 같이 구성된 시스템의 실시예의 측면도를 도시하는 개략도이다.
도 2는 입력 이미지로부터 시뮬레이션된 이미지를 생성하기 위해 현재 사용되는 방법의 일 예를 그리고 현재 사용되는 방법의 크로핑 및 재구성 단계없이 입력 이미지로부터 시뮬레이션된 이미지를 생성하는 일 실시예를 도시하는 개략도이다.
도 3a는 고정된 입력 이미지 크기를 갖는 현재 사용된 신경망의 일례를 도시하는 개략도이다.
도 3b는 임의의 입력 이미지 크기를 가능하게 하는 신경망의 일 실시예를 도시하는 개략도이다.
도 4는 하나 이상의 컴퓨터 시스템로 하여금 본 명세서에 설명된 컴퓨터 구현 방법을 수행하게 하는 프로그램 명령어를 저장하는 비일시적 컴퓨터 판독 가능한 매체의 일 실시예를 도시하는 블록도이다.
본 발명은 다양한 수정 및 대안적인 형태가 가능하지만, 이들의 특정 실시예는 도면의 예로서 도시되며 본 명세서에서 상세히 설명된다. 도면은 축척이 맞지 않을 수 있다. 그러나, 도면들 및 그에 대한 상세한 설명은, 본 발명을 개시된 특정 형태로 제한하려는 것이 아니며, 이와 반대로, 본 발명은 첨부된 청구범위에 의해 규정된 본 발명의 사상 및 범위 내에 있는 모든 수정, 등가물, 및 대안을 커버하는 것이다.

본 명세서에서 교환가능하게 사용된 “설계”, “설계 데이터” 및 “설계 정보”라는 용어는, 일반적으로 복잡한 시뮬레이션 또는 간단한 기하학적 및 부울(boolean) 연산을 통해 물리적 설계에서 유도된 IC의 물리적 설계(레이아웃) 및 데이터를 지칭한다. 또한, 레티클 검사 시스템 및/또는 그 파생물에 의해 획득된 레티클의 이미지는, 설계를 위한 “프록시” 또는 “프록시들”로서 사용될 수 있다. 이러한 레티클 이미지 또는 그 파생물은, 설계를 사용하는 본 명세서에 설명된 임의의 실시예에서 설계 레이아웃의 대체물로서 기능할 수 있다. 이 설계는 일반적으로 소유된, 자파(Zafar) 등에 의해 2009년 8월 4일자로 발행된 미국 특허 제7,570,796호, 및 쿨카르니(Kulkarni) 등에 의해 2010년 3월 9일자로 발행된 미국 특허 제7,676,077호에 기재된 임의의 다른 설계 데이터 또는 설계 데이터 프록시를 포함할 수 있으며, 이들 모두는 본 명세서에서 충분히 설명된 것처럼 참고문헌으로서 통합된다. 또한, 설계 데이터는 표준 셀 라이브러리 데이터, 통합 레이아웃 데이터, 하나 이상의 계층에 대한 설계 데이터, 설계 데이터의 파생물, 및 전체 또는 부분 칩 설계 데이터일 수 있다.

또한, 본 명세서에서 설명된 “설계”, “설계 데이터” 및 “설계 정보”는, 설계 프로세스에서 반도체 디바이스 설계자에 의해 생성되는 정보 및 데이터를 지칭하며, 이에 따라 레티클 및 웨이퍼와 같은 임의의 물리적 시료에 설계를 인쇄하는 것에 앞서서 본 명세서에 잘 설명된 실시예에서 사용하기 위하여 이용가능하다.

이제 도면으로 돌아가면, 도면은 일정한 비율로 그려지지 않는다는 점에 주목하여야 한다. 특히, 도면의 일부 요소의 스케일은 요소의 특성을 강조하기 위해 크게 과장되어 있다. 또한, 도면은 동일한 축척으로 그려지지 않는다는 점에 주목하여야 한다. 유사하게 구성될 수 있는 하나 이상의 도면에 도시된 요소는, 동일한 참조 번호를 사용하여 표시되어 있다. 본 명세서에서 달리 언급하지 않는 한, 설명되고 도시된 임의의 요소는, 상업적으로 이용 가능한 임의의 적절한 요소를 포함할 수 있다.

일 실시예는 입력 이미지로부터 시뮬레이션된 이미지를 생성하도록 구성된 시스템에 관한 것이다. 일반적으로, 본 명세서에 설명된 실시예는 반도체 검사 및 계측 애플리케이션을 위한 완전 콘볼루션(convolutional) 깊은(deep) 생성 모델로서 구성될 수 있다. 본 명세서에 설명된 실시예는 유리하게는 (1) 임의의 크기의 이미지에 대해 계산 가능한 깊은 생성 모델을 가능하게 하고, (2) 광학, 전자 빔, 웨이퍼, 마스크, 검사, 및 계측 도구에 대하여 가능한, 런타임 예측을 위한 계산 시간을 100x 내지 1000x로 대폭 감소시키기 위힌 계산 효율적인 방법론을 제공한다.

입력 이미지로부터 시뮬레이션된 이미지를 생성하도록 구성된 시스템의 일 실시예가 도 1에 도시된다. 시스템은 하나 이상의 컴퓨터 서브시스템[예를 들어, 컴퓨터 서브시스템(36) 및 컴퓨터 서브시스템(들)(102)] 및 하나 이상의 컴퓨터 서브시스템에 의해 실행되는 하나 이상의 구성요소(100)를 포함한다. 일부 실시예에서, 시스템은 이미징 시스템(또는 서브시스템)(10)을 포함한다. 도 1의 실시예에서, 상기 이미징 시스템은 시료로부터의 광을 검출하면서 상기 시료의 물리적 버전에 광을 스캐닝하거나 광을 지향시켜 상기 시료에 대한 이미지를 생성하도록 구성된다. 또한, 이미징 시스템은 스캐닝(또는 지향)를 수행하고 다중 모드로의 검출을 수행하도록 구성될 수 있다.

일 실시예에서, 상기 시료는 웨이퍼이다. 웨이퍼는 당해 분야에 공지된 임의의 웨이퍼를 포함할 수 있다. 다른 실시예에서, 상기 시료는 레티클이다. 레티클은 당해 분야에 공지된 임의의 레티클을 포함할 수 있다.

일 실시예에서, 상기 이미징 시스템은 광학 기반 이미징 시스템이다. 이러한 방식으로, 일부 실시예들에서, 본 명세서에서 더 설명된 2개 이상의 인코더 계층으로 입력된 이미지는 광학 기반 이미징 시스템에 의해 생성된다. 그러한 일 예에서, 도 1에 도시된 시스템의 실시예에서, 광학 기반 이미징 시스템(10)은 광을 시료(14)에 지향시키도록 구성된 조명 서브시스템을 포함한다. 조명 서브시스템은 적어도 하나의 광원을 포함한다. 예를 들어, 도 1에 도시된 바와 같이, 조명 서브시스템은 광원(16)을 포함한다. 일 실시예에서, 조명 서브시스템은 하나 이상의 경사각 및/또는 하나 이상의 수직각을 포함할 수 있는 하나 이상의 입사각으로 시료에 광을 지향시키도록 구성된다. 예를 들어, 도 1에 도시된 바와 같이, 광원(16)으로부터의 광은, 광학 요소(18)에 이어서 렌즈(20)를 통과하고 경사 입사각으로 표본(14)으로 지향하게 된다. 경사 입사각은 임의의 적절한 경사 입사각을 포함할 수 있으며, 이는 예를 들어 시료의 특성에 따라 변할 수 있다.

상기 이미징 시스템은 상이한 시간에 상이한 입사각으로 상기 광을 상기 시료로 지향시키도록 구성될 수 있다. 예를 들어, 이미징 시스템은 광이 도 1에 도시된 것과 다른 입사각으로 시료로 지향될 수 있도록, 조명 서브시스템의 하나 이상의 요소의 하나 이상의 특성을 변경하도록 구성될 수 있다. 그러한 일 예에서, 상기 이미징 시스템은, 광이 상이한 경사 입사각 또는 수직 (또는 거의 수직) 입사각으로 시료로 지향되도록, 광원(16), 광학 요소(18), 및 렌즈(20)를 이동시키도록 구성될 수 있다.

일부 예에서, 이미징 시스템은 광을 동시에 하나 이상의 입사각으로 시료에 지향시키도록 구성될 수 있다. 예를 들어, 조명 서브시스템은 하나 이상의 조명 채널을 포함할 수 있고, 조명 채널들 중 하나는 도 1에 도시된 바와 같이 광원(16), 광학 요소(18), 및 렌즈(20)를 포함할 수 있고, 조명 채널들(도시되지 않음) 중 다른 하나는, 상이하게 또는 동일하게 구성될 수있는 유사한 요소를 포함할 수 있고, 또는 적어도 광원 및 가능하게는 본 명세서에 후술되는 것과 같은 하나 이상의 다른 구성 요소를 포함할 수 있다. 그러한 광이 다른 광과 동시에 시료에 지향되는 경우, 상이한 입사각으로 시료로 지향되는 광의 하나 이상의 특성(예를 들어, 파장, 편광 등)이 다를 수 있으므로, 상이한 입사각으로의 시료의 조명으로부터 기인한 광이 검출기(들)에서 서로 구별될 수있다.

다른 예에서, 조명 서브시스템은, 단지 하나의 광원(예를 들어, 도 1에 도시된 광원 (16))을 포함할 수 있고, 광원으로부터의 광은 조명 서브시스템의 하나 이상의 광학 요소(미도시)에 의해 (예를 들어, 파장, 편광 등에 기초하여) 상이한 광학 경로로 분리될 수 있다. 그 후, 상이한 광학 경로들의 각각의 광은, 시료로 지향될 수 있다. 복수의 조명 채널은 동시에 또는 상이한 시간에(예를 들어, 상이한 조명 채널이 순차적으로 시료를 조명하는데 사용되는 경우) 시료에 광을 지향시키도록 구성될 수 있다. 다른 예에서, 동일한 조명 채널은 상이한 시간에 상이한 특성을 갖는 시료에 광을 지향시키도록 구성될 수 있다. 예를 들어, 일부 경우들에서, 광학 요소(18)는 스펙트럼 필터로서 구성될 수 있고, 스펙트럼 필터의 특성들은, 상이한 파장의 광이 상이한 시간에 시료로 지향될 수 있도록 다양한 상이한 방식으로(예를 들어, 스펙트럼 필터를 교체함으로써) 변화될 수 있다. 조명 서브시스템은 상이하거나 동일한 특성을 갖는 광을 서로 다른 또는 동일한 입사각으로 순차적 또는 동시에 상기 시료에 지향시키기 위한 당해 분야에 공지된 임의의 다른 적절한 구성을 가질 수 있다.

일 실시예에서, 광원(16)은 광대역 플라즈마(broadband plasma; BBP) 광원을 포함할 수 있다. 이러한 방식으로, 광원에 의해 생성되어 시료로 지향되는 광은 광대역 광을 포함할 수 있다. 그러나, 광원은 레이저와 같은 임의의 다른 적절한 광원을 포함할 수 있다. 레이저는 당해 분야에 공지된 임의의 적절한 레이저를 포함할 수 있고, 당해 분야에 공지된 임의의 적절한 파장 또는 파장들에서 광을 생성하도록 구성될 수 있다. 또한, 레이저는 단색 또는 거의 단색인 광을 생성하도록 구성될 수 있다. 이러한 방식으로, 레이저는 협대역 레이저일 수 있다. 광원은 또한 복수의 별개의 파장 또는 파장 대역에서 광을 생성하는 다색 광원을 포함할 수 있다.

광학 요소(18)로부터의 광은 렌즈(20)에 의해 시료(14) 위에 포커싱될 수 있다. 렌즈(20)가 단일 굴절 광학 요소로서 도 1에 도시되어 있지만, 실제로, 렌즈(20)는 광학 요소로부터의 광을 조합하여 시료에 포커싱하는 복수의 굴절 및/또는 반사 광학 요소를 포함할 수 있다. 도 1에 도시되고 본 명세서에 설명된 조명 서브시스템은 임의의 다른 적절한 광학 요소(미도시)를 포함할 수 있다. 이러한 광학 요소의 예는, 편광 성분(들), 스펙트럼 필터(들), 공간 필터(들), 반사 광학 요소(들), 아포다이저(들), 빔 스플리터(들), 애퍼처(들) 등을 포함하지만 이들로 제한되지는 않으며, 이는 당해 분야에 공지된 임의의 이러한 적절한 광학 요소를 포함할 수 있다. 또한, 이미징 시스템은 이미징을 위해 사용될 조명의 유형에 기초하여 조명 서브시스템의 하나 이상의 요소를 변경하도록 구성될 수 있다.

상기 이미징 시스템은 또한 상기 시료에 광이 스캐닝되도록 구성된 스캐닝 서브시스템을 포함할 수 있다. 예를 들어, 이미징 시스템은 검사 중에 시료(14)가 배치되는 스테이지(22)를 포함할 수 있다. 스캐닝 서브시스템은 광이 시료에 스캐닝될 수 있도록 시료를 이동시키도록 구성될 수 있는 임의의 적절한 기계적 및/또는 로봇식 어셈블리(스테이지(22)를 포함함)를 포함할 수 있다. 추가적으로 또는 대안적으로, 이미징 시스템은 이미징 시스템의 하나 이상의 광학 요소가 시료에 대한 광의 일부 스캐닝을 수행하도록 구성될 수 있다. 광은 뱀 모양의 경로 또는 나선형 경로와 같은 임의의 적절한 방식으로 시료에 스캐닝될 수 있다.

이미징 시스템은 하나 이상의 검출 채널을 더 포함한다. 하나 이상의 검출 채널 중 적어도 하나는, 시스템에 의한 시료의 조명으로 인해 시료로부터의 광을 검출하고, 검출된 광에 반응하는 출력을 생성하도록 구성된 검출기를 포함한다. 예를 들어, 도 1에 도시된 이미징 시스템은, 2개의 검출 채널을 포함하고, 이러한 검출 채널 중 하나는 콜렉터(24), 요소(26), 및 검출기(28)에 의해 형성되고, 다른 하나는 콜렉터(30), 요소(32), 및 검출기(34)에 의해 형성된다. 도 1에 도시된 바와 같이, 2개의 검출 채널은 상이한 수집 각도에서 광을 모으고 검출하도록 구성된다. 일부 예에서, 2개의 검출 채널은 산란된 광을 검출하도록 구성되며, 검출 채널은 시료로부터 다른 각도로 산란된 광을 검출하도록 구성된다. 그러나, 하나 이상의 검출 채널은 시료로부터 다른 유형의 광(예를 들어, 반사된 광)을 검출하도록 구성될 수 있다.

도 1에 더 도시된 바와 같이, 2개의 검출 채널은 종이의 평면 내에 위치된 것으로 도시되어 있고, 조명 서브시스템은 또한 종이의 평면 내에 위치된 것으로 도시되어 있다. 그러므로, 이 실시예에서, 2개의 검출 채널은 입사면에 (예를 들어, 중심에) 위치된다. 그러나, 하나 이상의 검출 채널은 입사면 밖에 위치될 수 있다. 예를 들어, 콜렉터(30), 요소(32), 및 검출기(34)에 의해 형성된 검출 채널은, 입사면 밖으로 산란된 광을 모으고 검출하도록 구성될 수 있다. 그러므로, 이러한 검출 채널은 일반적으로 “측(side)” 채널로 지칭될 수 있으며, 그러한 측 채널은 입사면에 실질적으로 수직한 평면에서 중심에 놓일 수 있다.

도 1은 2개의 검출 채널을 포함하는 이미징 시스템의 실시예를 도시하지만, 이미징 시스템은 상이한 수의 검출 채널(예를 들어, 단지 하나의 검출 채널 또는 2개 이상의 검출 채널)을 포함할 수 있다. 그러한 일례에서, 콜렉터(30), 요소(32), 및 검출기(34)에 의해 형성된 검출 채널은, 전술한 바와 같이 일 측 채널을 형성할 수 있고, 상기 이미징 시스템은, 입사면의 반대 측에 위치된 다른 측 채널로서 형성된 추가 검출 채널(도시되지 않음)을 포함할 수 있다. 따라서, 이미징 시스템은 콜렉터(24), 요소(26), 및 검출기(28)를 포함하고, 입사면의 중심에 있고, 시료 표면에 수직이거나 또는 수직에 가까운 산란 각(들)에서 광을 모으고 검출하도록 구성된 검출 채널을 포함할 수 있다. 따라서, 이 검출 채널은 일반적으로 “상부”채널로 지칭될 수 있고, 이미징 시스템은 또한 전술한 바와 같이 구성된 2개 이상의 측 채널을 포함할 수 있다. 이와 같이, 이미징 시스템은 적어도 3개의 채널(즉, 하나의 상부 채널 및 2개의 측 채널)을 포함할 수 있고, 적어도 3개의 채널 각각은 그 자신의 콜렉터를 가지며, 각각의 콜렉터는 다른 콜렉터들의 각각과 상이한 산란 각으로 광을 모으도록 구성된다.

위에서 더 설명한 바와 같이, 이미징 시스템에 포함된 각각의 검출 채널은, 산란된 광을 검출하도록 구성될 수 있다. 따라서, 도 1에 도시된 이미징 시스템은 시료의 암 시야(dark field; DF) 이미징을 위해 구성될 수 있다. 그러나, 이미징 시스템은 또한 또는 대안적으로, 시료의 명 시야(bright field; BF) 이미징을 위해 구성된 검출 채널(들)을 포함할 수 있다. 즉, 상기 이미징 시스템은 상기 시료로부터 정반사된 광을 검출하도록 구성된 적어도 하나의 검출 채널을 포함할 수 있다. 따라서, 본 명세서에 설명된 이미징 시스템은, DF만, BF만, 또는 DF 및 BF 이미징 모두를 위해 구성될 수 있다. 콜렉터의 각각은 단일 굴절 광학 요소로서 도 1에 도시되어 있지만, 콜렉터의 각각은 하나 이상의 굴절 광학 요소(들) 및/또는 하나 이상의 반사 광학 요소(들)를 포함할 수 있다는 것을 이해하여야 한다.

하나 이상의 검출 채널은 당해 분야에 공지된 임의의 적절한 검출기를 포함할 수 있다. 예를 들어, 검출기는 광전자 증배관(PMT), 전하 결합 소자(CCD), 시간 지연 통합(TDI) 카메라, 및 당해 분야에 공지된 임의의 다른 적절한 검출기를 포함할 수 있다. 검출기는 비-이미징 검출기 또는 이미징 검출기를 포함할 수도 있다. 이러한 방식으로, 검출기가 비-이미징 검출기인 경우, 검출기의 각각은 강도와 같은 산란된 광의 임의의 특성을 검출하도록 구성될 수 있지만, 이미징 평면 내의 위치의 함수와 같은 특성을 검출하도록 구성되지 않을 수 있다. 이와 같이, 이미징 시스템의 각각의 검출 채널에 포함된 각각의 검출기에 의해 생성된 출력은, 신호 또는 데이터일 수 있지만, 이미지 신호 또는 이미지 데이터는 아니다. 이러한 경우, 컴퓨터 서브시스템(36)과 같은 컴퓨터 서브시스템은, 검출기의 비-이미징 출력으로부터 시료의 이미지를 생성하도록 구성될 수 있다. 그러나, 다른 예들에서, 검출기는 이미지 신호 또는 이미지 데이터를 생성하도록 구성된 이미징 검출기로서 구성될 수 있다. 따라서, 이미징 시스템은 복수의 방식으로 본 명세서에 설명된 이미지를 생성하도록 구성될 수 있다.

도 1은 본 명세서에 설명된 시스템 실시예에 포함되거나 본 명세서에 설명된 시스템 실시예에 의해 사용되는 이미지를 생성할 수 있는 이미징 시스템 또는 서브시스템의 구성을 일반적으로 예시하기 위해 본 명세서에 제공된다는 점에 주목하여야 한다. 명백하게, 상업용 이미징 시스템을 설계할 때 정상적으로 수행되는 이미징 시스템의 성능을 최적화하도록 본 명세서에 설명된 이미징 시스템 구성이 변경될 수 있다. 또한, 본 명세서에 설명된 시스템은 캘리포니아주 밀피타스 소재의 KLA-Tencor로부터 상업적으로 입수할 수 있는 29xx/39xx 및 Puma 9xxx 시리즈 툴과 같은 기존 시스템을 사용하여(예를 들어, 기존 시스템에 본 명세서에 설명된 기능성을 추가함으로써) 구현될 수 있다. 일부 이러한 시스템들에 대해, 본 명세서에 설명된 실시예들은, (예를 들어, 시스템의 다른 기능에 부가하여) 시스템의 선택적 기능으로서 제공될 수 있다. 대안으로, 본 명세서에 설명된 이미징 시스템은 완전히 새로운 이미징 시스템을 제공하기 위해 "처음부터" 설계될 수 있다.

이미징 시스템의 컴퓨터 서브시스템(36)은 (예를 들어, “유선” 및/또는 “무선” 전송 매체를 포함할 수 있는 하나 이상의 전송 매체를 통해) 임의의 적절한 방식으로 이미징 시스템의 검출기에 결합되어, 컴퓨터 서브시스템은 시료의 스캐닝 동안에 검출기에 의해 생성된 출력을 수신할 수 있다. 컴퓨터 서브시스템(36)은, 본 명세서에서 검출기의 출력을 사용하여 더 설명되는 복수의 기능을 수행하도록 구성될 수 있다.

(본 명세서에서 설명된 다른 컴퓨터 서브시스템들뿐만 아니라) 도 1에 도시된 컴퓨터 서브시스템들은 또한, 본 명세서에서 컴퓨터 시스템(들)이라고 지칭될 수 있다. 본 명세서에 설명된 컴퓨터 서브시스템(들) 또는 시스템(들) 각각은, 퍼스널 컴퓨터 시스템, 이미지 컴퓨터, 메인프레임 컴퓨터 시스템, 워크스테이션, 네트워크 어플라이언스, 인터넷 어플라이언스, 또는 기타 디바이스를 포함하여 다양한 형태를 취할 수 있다. 일반적으로, 용어 “컴퓨터 시스템”은 메모리 매체로부터 명령어를 실행하는 하나 이상의 프로세서를 갖는 임의의 디바이스를 포괄하도록 광범위하게 규정될 수 있다. 컴퓨터 서브시스템(들) 또는 시스템(들)은 또한 병렬 프로세서와 같은 당해 분야에 공지된 임의의 적절한 프로세서를 포함할 수 있다. 또한, 컴퓨터 서브시스템(들) 또는 시스템(들)은 고속 프로세싱 및 소프트웨어를 갖는 컴퓨터 플랫폼을 독립형 또는 네트워크형 툴로서 포함할 수 있다.

시스템이 2개 이상의 컴퓨터 서브시스템을 포함하는 경우, 상이한 컴퓨터 서브시스템은 이미지, 데이터, 정보, 명령어 등이 본 명세서에서 추가로 설명되는 바와 같이 컴퓨터 서브시스템간에 전송될 수 있도록 서로 결합될 수 있다. 예를 들어, 컴퓨터 서브시스템(36)은 당해 분야에 공지된 임의의 적절한 유선 및/또는 무선 전송 매체를 포함할 수 있는 임의의 적절한 전송 매체에 의해 도 1의 점선으로 도시된 바와 같이 컴퓨터 서브시스템(들)(102)에 결합될 수 있다. 이러한 컴퓨터 서브시스템들 중 2개 이상은 또한, 공유된 컴퓨터 판독 가능한 저장 매체(도시되지 않음)에 의해 효과적으로 결합될 수 있다.

이미징 시스템은 광학 또는 광 기반의 이미징 시스템인 것으로 위에서 설명되었지만, 이미징 시스템은 전자 빔 기반 이미징 시스템일 수 있다. 이러한 방식으로, 일부 실시예들에서, 본 명세서에 설명된 2개 이상의 인코더 계층들로 입력된 이미지는, 전자 빔 기반 이미징 시스템에 의해 생성된다. 도 1a에 도시된 그러한 일 실시예에서, 이미징 시스템은 컴퓨터 서브시스템(124)에 결합된 전자 칼럼(column)(122)을 포함한다. 도 1a에도 도시된 바와 같이, 전자 칼럼은 하나 이상의 소자(130)에 의해 시료(128)에 포커싱된 전자를 생성하도록 구성된 전자 빔 소스(126)를 포함한다. 전자 빔 소스는 예를 들어 캐소드 소스 또는 이미터 팁(tip)을 포함할 수 있으며, 하나 이상의 요소(130)는 예를 들어, 건(gun) 렌즈, 애노드, 빔 제한 애퍼처, 게이트 밸브, 빔 전류 선택 애퍼처, 대물 렌즈, 및 스캐닝 서브시스템을 포함하며, 이들 모두는 당해 분야에 공지된 임의의 이러한 적절한 요소를 포함할 수 있다.

시료로부터 복귀된 전자(예를 들어, 2차 전자)는 하나 이상의 요소(132)에 의해 검출기(134)에 포커싱될 수 있다. 하나 이상의 요소(132)는 예를 들어 요소(들)(130)에 포함된 동일한 스캐닝 서브시스템일 수 있는 스캐닝 서브시스템을 포함할 수 있다.

전자 칼럼은 당해 분야에 공지된 임의의 다른 적절한 요소를 포함할 수 있다. 또한, 전자 칼럼은 지앙(Jiang) 등에 의해 2014년 4월 4일자로 발행된 미국 특허 제8,664,594호, 코지마(Kojima) 등에 의해 2014년 4월 8일자로 발행된 미국 특허 제8,692,204호, 굽벤스(Gubbens) 등에 의해 2014년 4월 15일자로 발행된 미국 특허 제8,698,093호, 및 맥도날드(MacDonald) 등에 의해 2014년 5월 6일자로 발행된 미국 특허 제8,716,662호에 기재되어 있는 바와 같이 추가로 구성될 수 있으며, 이는 본 명세서에서 충분히 설명된 것처럼 참고문헌으로서 통합된다.

도 1a에서 전자 칼럼은 전자가 경사 입사각으로 시료로 지향되고 또 다른 경사각으로 시료로부터 산란되도록 구성되어 있는 것으로 도시되어 있지만, 전자 빔은 임의의 적절한 각도로 시료로 지향되고 그 시료로부터 산란될 수 있다는 것을 이해하여야 한다. 또한, 전자 빔 기반 이미징 시스템은 본 명세서에 더 설명되는 바와 같이 시료의 이미지를 생성하기 위해 다중 모드(예를 들어, 상이한 조명 각도, 수집 각도 등을 가짐)를 사용하도록 구성될 수 있다. 전자 빔 기반 이미징 시스템의 다중 모드는, 이미징 시스템의 임의의 이미지 생성 파라미터에서 상이할 수 있다.

컴퓨터 서브시스템(124)은 전술한 바와 같이 검출기(134)에 결합될 수 있다. 검출기는 시료의 표면으로부터 되돌아온 전자를 검출하여, 시료의 전자 빔 이미지를 형성할 수 있다. 전자 빔 이미지는 임의의 적절한 전자 빔 이미지를 포함할 수 있다. 컴퓨터 서브시스템(124)은 검출기(134)에 의해 생성된 출력을 사용하여 시료에 대해 본 명세서에서 추가로 설명된 하나 이상의 기능을 수행하도록 구성될 수 있다. 컴퓨터 서브시스템(124)은 본 명세서에 설명된 임의의 추가 단계(들)을 수행하도록 구성될 수 있다. 도 1a에 도시된 이미징 시스템을 포함하는 시스템은, 본 명세서에 설명된 바와 같이 추가로 구성될 수 있다.

도 1a는 본 명세서에 설명된 실시예들에 포함될 수 있는 전자 빔 기반 이미징 시스템의 구성을 일반적으로 예시하기 위해 본 명세서에 제공된다는 점에 주목하여야 한다. 전술한 광학 기반 이미징 시스템에서와 같이, 본 명세서에서 설명된 전자 빔 기반 이미징 시스템 구성은 상업적 이미징 시스템을 설계할 때 정상적으로 수행되는 이미징 시스템의 성능을 최적화하도록 변경될 수 있다. 또한, 본 명세서에 설명된 시스템은, KLA-Tencor로부터 상업적으로 입수할 수 있는 eSxxx 및 eDR-xxxx 시리즈 툴과 같은 기존 시스템을 사용하여(예를 들어, 기존 시스템에 본 명세서에 설명된 기능을 추가함으로써) 구현될 수 있다. 일부 이러한 시스템들에 대해, 본 명세서에 설명된 실시예들은 (예를 들어, 시스템의 다른 기능에 부가하여) 시스템의 선택적 기능으로서 제공될 수 있다. 대안으로, 본 명세서에 설명된 시스템은 완전히 새로운 시스템을 제공하기 위해 “처음부터” 설계될 수 있다.

이미징 시스템은 광학 기반 이미징 시스템 또는 전자 빔 기반 이미징 시스템인 것으로서 위에서 설명되었지만, 이미징 시스템은 이온 빔 기반 이미징 시스템일 수 있다. 이러한 이미징 시스템은, 전자 빔 소스가 당해 분야에 공지된 임의의 적절한 이온 빔 소스로 대체될 수 있다는 것을 제외하고는 도 1a에 도시된 바와 같이 구성될 수 있다. 또한, 이미징 시스템은 상업적으로 이용 가능한 포커싱된 이온 빔(FIB) 시스템, 헬륨 이온 현미경(HIM) 시스템, 및 2 차 이온 질량 분광기(SIMS) 시스템에 포함된 것과 같은 임의의 다른 적절한 이온 빔 기반 이미징 시스템일 수 있다.

위에서 언급한 바와 같이, 이미징 시스템은 시료의 물리적 버전에 에너지(예를 들어, 광 또는 전자)를 스캐닝하여, 시료의 물리적 버전에 대한 실제 이미지를 생성하도록 구성된다. 이러한 방식으로, 이미징 시스템은 “가상” 시스템보다는 “실제” 시스템으로 구성될 수 있다. 예를 들어, 도 1에 도시된 저장 매체(도시되지 않음) 및 컴퓨터 서브시스템(들)(102)은 “가상” 시스템으로서 구성될 수 있다. 특히, 저장 매체 및 컴퓨터 서브시스템(들)은 이미징 시스템(10)의 부분이 아니며, 시료의 물리적 버전을 처리하기 위한 어떠한 능력도 갖고 있지 않다. 즉, 가상 시스템으로 구성된 시스템에서, 실제 시스템의 하나 이상의 검출기에 의해 이전에 생성되어 가상 시스템에 저장되는 하나 이상의 “검출기”의 출력이, 출력될 수 있으며, “스캐닝” 동안에, 가상 시스템은 시료가 스캐닝되고 있는 것처럼 저장된 출력을 재생할 수 있다. 이러한 방식으로, 가상 시스템으로 시료를 스캐닝하는 것은, 물리적인 시료가 실제 시스템으로 스캔되고 있는 것처럼 보일 수 있지만, 실제로, “스캐닝”은 시료가 스캐닝될 수 있는 동일한 방식으로 시료에 대한 출력을 간단하게 재생하는 것을 수반한다. “가상” 검사 시스템으로 구성된 시스템 및 방법은, 일반적으로 양도된, 바스카(Bhaskar) 등에 의해 2012년 2월 28일자로 발행된 미국 특허 제8,126,255호, 듀피(Duffy) 등에 의해 2015년 12월 29일자로 발행된 미국 특허 제9,222,895호에 기재되어 있고, 이들 모두는 본 명세서에 충분히 설명된 것처럼 참고문헌로서 통합된다. 본 명세서에 설명된 실시예들은 이들 특허에서 설명된 바와 같이 추가로 구성될 수 있다. 예를 들어, 본 명세서에 설명된 하나 이상의 컴퓨터 서브시스템은, 이들 특허에 설명된 바와 같이 추가로 구성될 수 있다. 또한, 하나 이상의 가상 시스템을 중앙 연산 및 저장 장치(CCS) 시스템으로 구성하는 것은, 위에서 참조된 듀피(Duffy)의 특허에 설명된 바와 같이 수행될 수 있다. 본 명세서에 설명된 영구 저장 메커니즘은, CCS 아키텍처와 같은 분산 컴퓨팅 및 저장 장치를 가질 수 있지만, 본 명세서에 설명된 실시예들은 그 아키텍처로 제한되지 않는다.

위에서 추가로 언급한 바와 같이, 이미징 시스템은 다중 모드로 시료의 이미지를 생성하도록 구성될 수 있다. 일반적으로, “모드”는 시료의 이미지를 생성하는데 사용되는 이미징 시스템의 파라미터의 값 또는 시료의 이미지를 생성하는데 사용되는 출력에 의해 규정될 수 있다. 따라서, 상이한 모드는, 이미징 시스템의 이미징 파라미터 중 적어도 하나에 대한 값이 상이할 수 있다. 예를 들어, 광학 기반 이미징 시스템의 일 실시예에서, 다중 모드들 중 적어도 하나는, 다중 모드들 중 적어도 하나의 다른 모드에 사용되는 조명용 광의 적어도 하나의 파장과는 다른 조명용 광의 적어도 하나의 파장을 사용한다. 모드들은 상이한 모드들에 대해 (예를 들어, 상이한 광원, 상이한 스펙트럼 필터 등을 사용함으로써) 본 명세서에 더 설명된 바와 같이 조명 파장이 다를 수 있다. 다른 실시예에서, 다중 모드 중 적어도 하나는, 다중 모드 중 적어도 하나의 다른 모드에 사용되는 이미징 시스템의 조명 채널과는 다른 이미징 시스템의 조명 채널을 사용한다. 예를 들어, 위에서 언급한 바와 같이, 이미징 시스템은 2개 이상의 조명 채널을 포함할 수 있다. 이와 같이, 상이한 조명 채널이 상이한 모드에 대해 사용될 수 있다.

일 실시예에서, 이미징 시스템은 검사 시스템이다. 예를 들어, 본 명세서에 설명된 광학 및 전자 빔 이미징 시스템은 검사 시스템으로 구성될 수 있다. 이러한 방식으로, 2개 이상의 인코더 계층에 입력된 이미지는, 일부 실시예에서 검사 시스템에 의해 생성된다. 다른 실시예에서, 이미징 시스템은 결함 검토 시스템이다. 예를 들어, 본 명세서에 설명된 광학 및 전자 빔 이미징 시스템은, 결함 검토 시스템으로 구성될 수 있다. 또 다른 실시예에서, 이미징 시스템은 계측 시스템이다. 예를 들어, 본 명세서에 설명된 광학 및 전자 빔 이미징 시스템은, 계측 시스템으로서 구성될 수 있다. 이러한 방식으로, 2개 이상의 인코더 층으로의 입력 이미지는, 일부 실시예에서 계측 시스템에 의해 생성된다. 특히, 본 명세서에 설명되고 도 1 및 도 1a에 도시된 이미징 시스템의 실시예는, 하나 이상의 파라미터에서 수정되어 이들이 사용될 애플리케이션에 따라 다른 이미징 능력을 제공할 수 있다. 이러한 일례에서, 도 1에 도시된 이미징 시스템은 검사보다는 결함 검토 또는 계측에 사용되는 것이면 더 높은 분해능을 갖도록 구성될 수 있다. 다시 말해서, 도 1 및 도 1a에 도시된 이미징 시스템의 실시예들은, 상이한 애플리케이션에 다소간 적합한 상이한 이미징 성능을 갖는 이미징 시스템을 생성하는 당업자에게 명백한 복수의 방식으로 맞춤화될 수 있는 이미징 시스템에 대한 일부 일반적 및 다양한 구성을 설명한다.

하나 이상의 컴퓨터 서브시스템은 본 명세서에 설명된 이미징 서브시스템에 의해 생성된 시료에 대한 이미지를 획득하도록 구성될 수 있다. 이미지를 획득하는 것은 본 명세서에 설명된 이미징 시스템 중 하나를 사용하여(예를 들어, 광 또는 전자 빔을 시료로 지향시키고 상기 시료로부터 광 또는 전자 빔을 검출함으로써) 수행될 수 있다. 이러한 방식으로, 이미지를 획득하는 것은 물리적 시료 자체 및 일종의 이미징 하드웨어를 사용하여 수행될 수 있다. 그러나, 이미지를 획득하는 것은 반드시 이미징 하드웨어를 사용하여 시료를 이미징하는 것을 포함하지는 않는다. 예를 들어, 다른 시스템 및/또는 방법은 이미지를 생성할 수 있으며, 본 명세서에 설명된 바와 같은 가상 검사 시스템 또는 본 명세서에 설명된 다른 저장 매체와 같은 하나 이상의 저장 매체에 생성된 이미지를 저장할 수 있다. 따라서, 이미지를 획득하는 단계는, 이미지가 저장된 저장 매체로부터 이미지를 획득하는 단계를 포함할 수 있다.

컴퓨터 서브시스템(들), 예를 들어 컴퓨터 서브시스템(36) 및/또는 컴퓨터 서브시스템(들)(102)에 의해 실행되는 구성요소(들), 예를 들어 도 1에 도시된 구성요소(100)는 신경망(104)을 포함한다. 신경망은 시료에 대한 이미지의 피처를 결정하도록 구성된 2개 이상의 인코더 계층을 포함한다. “인코더”라는 용어는. 일반적으로 입력 데이터의 정보 내용을 더 압축된 표현으로 “인코딩”하는 신경망 또는 신경망의 일부를 지칭한다. 인코드 프로세스는 사실상 손실이 있거나 손실이 없을 수 있다. 또한, 인코드 프로세스는 사람이 해석할 수도 있고 또는 사람이 해석하지 않을 수도 있다. 인코딩된 표현은 스칼라 값 또는 분포의 벡터일 수 있다.

신경망은 또한 결정된 피처로부터 하나 이상의 시뮬레이션된 이미지를 생성하도록 구성된 2개 이상의 디코더 계층을 포함한다. “디코더”라는 용어는 인코딩된 압축 표현을 가능하게는 원래 입력 및/또는 입력의 결합(joint) 표현으로 “디코딩”하는 신경망 또는 신경망의 일부를 지칭한다. 본 명세서에 설명된 실시예들은 일반적으로, 인코더-디코더 유형의 신경망, 특히 깊은 생성 모델(deep generation model)에 적용가능하며, 이는 본 명세서에서 더 설명되는 바와 같이 구성될 수 있다.

일 실시예에서, 신경망은 심층 학습 모델이다. 일반적으로, “심층 학습”(깊은 구조화 학습, 계층적 학습, 또는 심층 기계 학습으로도 알려짐)은 데이터에서 높은 수준의 추상물을 모델링하려는 일련의 알고리즘에 기초하는 기계 학습의 한 분야이다. 간단한 경우, 2개의 세트의 뉴런이 존재하며, 하나는 입력 신호를 수신하는 것이며, 다른 하나는 출력 신호를 전송하는 것이다. 입력 계층이 입력을 수신할 때, 상기 입력 계층은 입력 계층의 수정된 버전을 다음 계층으로 전달한다. 깊은 네트워크에서는, 입력과 출력 사이에 많은 계층이 있고(그리고 계층은 뉴런으로 만들어지지 않았지만, 그렇게 생각하는 것을 도울 수 있다), 알고리즘으로 하여금 다중 선형 및 비선형으로 변환으로 구성된 다중 처리 계층을 사용하도록 허용한다.

심층 학습은 데이터의 학습 표현에 기초한 더 광범위한 기계 학습 방법 계열의 일부이다. 관측(예를 들어, 이미지)은 픽셀 당 세기 값의 벡터와 같은 많은 방법으로 표현될 수 있거나, 일 세트의 에지, 특정 형상의 영역 등으로 보다 추상적인 방식으로 표현될 수 있다. 일부 표현은 학습 과제를 단순화할 때 다른 표현보다 우수하다(예를 들어, 얼굴 인식 또는 표정 인식). 심층 학습의 약속 중 하나는, 수작업 피처를 감독되지 않거나(unsurpervised) 반감독된 피처 학습 및 계층 적 피처 추출을 위한 효율적인 알고리즘으로 대체하는 것이다.

이 영역의 연구는. 보다 나은 표현을 만들고 모델을 생성하여 대형 레이블이 없는 데이터로부터 이러한 표현을 학습한다. 표현의 일부는 신경과학의 진보에 의해 영감을 받았고, 대략적으로는 뇌에서 다양한 자극과 관련 신경 반응 사이의 관계를 규정하려고 하는 신경 코딩과 같은 신경 시스템에서의 정보 처리 및 통신 패턴의 해석에 기초한다.

컴퓨터 비전, 자동 음성 인식, 자연 언어 처리, 오디오 인식, 및 생물 정보학과 같은 분야에서 심 신경망, 콘볼루션 심 신경망, 깊은 신념 네트워크, 및 반복적인 신경 네트워크와 같은 다양한 심층 학습 아키텍처가 적용되어 왔으며, 다양한 작업에 대한 최첨단 결과를 생성하도록 나타내어져 왔다.

다른 실시예에서, 신경망은 기계 학습 모델이다. 기계 학습은 일반적으로 컴퓨터에 명시적으로 프로그래밍되지 않고 학습할 수 있는 능력을 가진 인공 지능(AI)의 유형으로 규정될 수 있다. 기계 학습은 새로운 데이터에 노출될 때 스스로 성장하고 변화하도록 가르칠 수 있는 컴퓨터 프로그램의 개발에 중점을 둔다. 다시 말해서, 기계 학습은 “컴퓨터에 명시적으로 프로그래밍되지 않고 학습할 수 있는 능력을 부여하는” 컴퓨터 과학의 하위 분야로서 규정될 수 있다. 기계 학습은 데이터를 통해 학습하고 예측할 수 있는 알고리즘의 연구 및 구축을 탐구하며, 이러한 알고리즘은 샘플 입력으로 모델을 구축하는 것을 통해, 데이터 기반의 예측 또는 의사 결정을 통해 엄격하게 정적인 프로그램 명령어가 뒤따르는 것을 극복한다.

본 명세서에 설명된 기계 학습은, 스기야먀(Sugiyama), 모건 카우프만(Morgan Kaufmann) 저자의, 2016년판, 534 페이지에 개시된 “Introduction to Statistical Machine Learning; Jebara, MIT Thesis, 2002, 212 페이지에 개시된 "Discriminative, Generative, and Imitative Learning"; Hand et al., MIT Press, 2001, 578 페이지에 개시된“Principles of Data Mining (Adaptive Computation and Machine Learning)”에 기재된 바와 같이 추가로 수행될 수 있으며, 이는 본 명세서에 충분히 설명된 것처럼 참조문헌으로서 통합된다. 본 명세서에 설명된 실시예들은 이들 참조문헌에 기재된 바와 같이 추가로 구성될 수 있다.

일부 실시예에서, 신경 네트워크는 생성 모델이다. “생성” 모델은 일반적으로 사실상 확률론적인 모델로서 규정될 수 있다. 다시 말해서, “생성” 모델은 순방향 시뮬레이션이나 규칙 기반 접근 방식을 수행하는 것이 아니며, 실제 이미지를 생성하는데 관련된 프로세스의 물리 모델(시뮬레이션된 이미지가 생성되는 모델)은 필요하지 않다. 그 대신에, 본 명세서에서 더 설명되는 바와 같이, 생성 모델은 적절한 트레이닝 데이터 세트에 기초하여 (그 파라미터가 학습될 수 있다는 점에서) 학습될 수 있다.

일 실시예에서, 신경망은 깊은 생성 모델(deep generative model)로 구성된다. 예를 들어, 모델은, 모델이 복수의 알고리즘 또는 변환을 수행하는 다중 계층을 포함할 수 있다는 점에서, 심층 학습 아키텍처를 갖도록 구성될 수 있다. 모델의 일 측 또는 양 측에 있는 계층의 수는 본 명세서에 설명된 도면에 도시된 것과 다를 수 있다. 예를 들어, 생성 모델의 인코더 측의 계층의 수는 사용 경우에 따라 다르다. 또한, 디코더 측의 계층의 수는, 사용 경우에 따라 다르며, 인코더 측의 계층의 수에 따라 달라질 수 있다. 일반적으로 생성 모델의 일 측 또는 양 측에 있는 계층의 수는 중요하지 않으며, 사용 경우에 따라 다르다. 실제적인 목적을 위해, 양 측에 적합한 계층 범위는, 2개의 계층 내지 수십 계층이다.

또 다른 실시예에서, 신경망은 트레이닝을 위해 공급된 데이터에 따라 세계를 모델링하는 일련의 가중치를 갖는 깊은 신경망일 수 있다. 신경망은 일반적으로 축색 돌기(axon)에 의해 연결된 생물학적 뉴런의 상대적으로 큰 클러스터로 생물학적 뇌가 문제를 해결하는 방식을 느슨하게 모델링하는 비교적 큰 규모의 신경 단위를 기초로 한 계산 접근법으로서 규정될 수 있다. 각 신경 단위는 많은 다른 단위와 연결되어 있으며, 링크는 연결된 신경 단위의 활성화 상태에 미치는 영향을 강화하거나 억제할 수 있다. 이러한 시스템은 명시적으로 프로그래밍되는 것이 아니라 자체 학습 및 트레이닝되고, 솔루션 또는 피처 검출을 기존의 컴퓨터 프로그램에서 표현하기 어려운 영역에서 탁월하다.

신경망은 일반적으로 복수의 계층으로 구성되며, 신호 경로는 앞에서 뒤로 이동한다. 신경망의 목표는, 비록 일부 신경망이 훨씬 추상적이기는 하지만, 인간의 두뇌가 행하는 것과 동일한 방식으로 문제를 해결하는 것이다. 현대 신경 네트워크 프로젝트는 일반적으로 수천에서 수백만 개의 신경 단위 및 수백만 개의 연결로 작동한다. 신경망은 당해 분야에 공지된 임의의 적절한 아키텍처 및/또는 구성을 가질 수 있다.

다른 실시예에서, 신경망은 콘볼루션 신경망(CNN)이다. 예를 들어, 본 명세서에 설명 된 실시예는 CNN과 같은 심층 학습 개념을 이용하여, 통상 다루기 어려운 표현 변환 문제(예를 들어, 렌더링)를 해결할 수 있다. 모델은 당해 분야에 공지된 임의의 CNN 구성 또는 아키텍처를 가질 수 있다. 다른 실시예에서, 신경망은 완전 콘볼루션 모델로서 구성된다. 추가적인 실시예에서, 신경망은 깊은 생성 모델, CNN, GAN(generative adversarial net), cGAN(conditional generative adversarial net), GAN, 및 VAE(Variational autoencoder), 그리고 CNN을 일부분로서 포함하는 네트워크(즉, 신경망의 일부분이 CNN으로 구성됨)로 구성될 수 있으며, 이들 모두는 신경망이 임의의 크기의 입력을 가질 수 있도록 본 명세서에 설명된 바와 같이 구성될 수 있다.

본 명세서에 설명된 실시예들에 포함된 GAN은, “Generative Adversarial Nets”, 굿펠로우(Goodfellow) et al., arXiv: 1406.2661, 2014년 6월 10일, 9 페이지에 기재된 바와 같이 구성될 수 있으며, 이는 본 명세서에서 충분히 설명된 것처럼 참조문헌으로서 통합된다. 굿펠로우 등은 두 가지 모델이 동시에 트레이닝되는 적대적 프로세스를 통해 생성 모델을 추정하기 위한 새로운 프레임워크를 설명하며, 상기 모델은, 데이터 분포를 캡처하는 생성 모델 G 및 샘플이 G보다는 트레이닝 데이터에서 올 확률을 추정하는 차별 모델 D를 포함한다. G에 대한 트레이닝 절차는 D가 실수를 할 확률을 최대화하는 것이다. 이 프레임워크는 미니맥스 2인 게임에 대응한다. 임의의 함수 G 및 D의 공간에서, G는 훈련 데이터 분포를 복구하고 D는 모든 곳의 1/2와 동등하게 되는 고유한 솔루션이 존재한다. G와 D가 다층 퍼셉트론에 의해 규정되는 경우, 전체 시스템은 역전파로 트레이닝될 수 있다. 트레이닝이나 샘플 생성 중에 임의의 마코브 체인(Markov chain)이나 언롤링된(unrolled) 대략적인 추론 네트워크가 필요하지 않다. 실험은 생성된 샘플의 질적 및 양적 평가를 통해 프레임워크의 잠재력을 입증한다. 본 명세서에 설명된 실시예들의 신경망은 굿펠로우 등에 의해 기재된 바와 추가로 구성될 수 있다.

본 명세서에 설명된 실시예들에 포함된 CGAN은, 미즈자(Mirza) et al., arXiv: 1411.1784, 2014년 11월 6일, 7 페이지에 개시된 “Conditional Generative Adversarial Nets”에 기재된 바와 같이 구성될 수 있으며, 이는 충분히 본 명세서에 설명된 것처럼 참조문헌으로서 통합되다. 생성적 적대적 네트(Generative adversarial net)는 생성자와 식별자(discriminator)가 약간의 추가 정보 y를 조건으로 한다면 조건부 모델로 확장될 수 있다. y는 클래스 레이블이나 다른 양식의 데이터와 같은 임의의 종류의 보조 정보일 수 있다. 컨디셔닝은 추가 입력 계층으로서 식별자와 생성자 모두에 y를 공급함으로써 수행될 수 있다. 생성기에서, 이전의 입력 잡음 Pz(z) 및 y는, 조인트 히든 표현으로 결합되고, 적대적 트레이닝 프레임 워크는 이러한 히든 표현이 어떻게 구성되는지에 있어서 상당한 융통성을 허용한다. 식별자 x와 y는 차별 함수[일부 경우들에서 다층 퍼셉트론(MLP)에 의해 구현됨)의 입력으로 제공된다. 2 인용 미니맥스 게임의 목적 함수는 다음과 같다.

본 명세서에 기술 된 실시 예들에 포함된 신경망들은, 미르자(Mirza) 등에 의한 상기 통합된 참고문헌에 기재된 바와 같이 추가로 구성될 수 있다.

가변 자동 인코더는 심층 학습 및 가변 추론의 장점을 취하고 생성 모델링에서 상당한 진보를 이끄는 구성요소이다. 추가적으로 또는 대안적으로, GAN 또는 DGAN(deep generative adversarial network)과 결합된 VAE(variational autoencoder)는, 마크자니(Makhzani) et al., arXiv: 1511.05644v2, 2016년 5월 25일, 16페이지에 개시된 “Adversarial Autoencoders”에 기재된 바와 같이 구성될 수 있으며, 이는 본 명세서에 충분히 설명된 것처럼 참조문헌로서 통합된다. 본 명세서에 설명된 실시예들은 이 참조문헝에 설명된 바와 같이 추가로 구성될 수 있다.

신경망은 완전히 연결된 계층을 포함하지 않으므로, 2개 이상의 인코더 계층에 입력되는 이미지의 크기에 대한 제약을 제거한다. 예를 들어, 현재 사용된 방법들 및 시스템들에서 행해지는 것처럼 완전히 연결된 계층(들)을 사용하는 대신에, 본 명세서에 설명된 신경망들은 완전하게 연결된 계층(들)을 제거하며, 이는 본 명세서에 추가로 설명된 바와 같은 하나 이상의 콘볼루션 계층에 의해 대체될 수 있다. 완전히 연결된 계층(들)을 콘볼루션 계층(들)로 대체함으로써, 신경망은 입력 이미지 크기와 무관하게 되는데, 이는 신경망이 현재 사용되는 신경망과 같이 입력 이미지 크기에 상한을 갖지 않는다는 것을 의미한다.

완전히 연결된 계층(들)을 콘볼루션 층(들)으로 대체하는 것은 다음 조건 하에서 행해질 수 있다. 완전히 연결된 계층이 2 차원(N, D) 입력 데이터를 취하는 경우, N은 배치(batch) 크기이고, D는 입력 채널 수이다. 종종, D=C*H*W를 만족하는 4 차원 입력(N, C, H, W)을 2 차원 입력(N, D)으로 변환하기 위해 완전히 연결된 계층 앞에 재성형 계층이 수행되며, 여기서 C는 채널 수이고, H는 높이이고, W는 폭이다. 완전히 연결된 계층이 O 출력 채널을 갖는다고 가정하면, 즉 완전히 연결된 계층의 출력 데이터 치수는 (N, O)가 되고, 재성형 계층과 완전히 연결된 계층은, (C, O, H, W)의 커널 크기를 가진 VALID 패딩이 있는 콘볼루션 계층으로 대체될 수 있고, 결과적인 네트워크는 임의의 크기 입력에 대해 정확한 연산을 수행할 수 있다.

일 실시예에서, 하나 이상의 컴퓨터 서브시스템, 하나 이상의 구성요소, 및 신경망은 2 개 이상의 인코더 계층에 입력된 이미지를 크롭(crop)하지 않는다. 다른 실시예에서, 하나 이상의 컴퓨터 서브시스템, 하나 이상의 구성요소, 및 신경망은, 2개 이상의 크로핑된 이미지로부터 하나 이상의 시뮬레이션된 이미지를 재구성하지 않는다. 그러므로, 본 명세서에 설명된 실시예들은 복수의 상이한 방식으로 현재 사용되는 방법들과는 상이하다.

도 2에 도시된 바와 같이, 예를 들어, 현재 사용되는 방법(200)은 1024 픽셀 × 1024 픽셀의 크기를 갖는 입력 이미지(202)를 취할 수 있다. 이 방법은 입력 이미지(202)로부터 패치 이미지들의 세트(206)를 생성하는 크로핑(204)을 포함할 수 있는데, 여기서 패치 이미지들 각각은, 입력 이미지보다 상당히 작고 이 방법에 의해 처리될 수 있는 가장 큰 크기인 사이즈를 갖는다. 예를 들어, 크로핑(204)은 각각이 64 픽셀 x 64 픽셀의 크기를 갖는 923,521개의 패치 이미지들의 세트(206)를 생성할 수 있다. 이들 패치 이미지는 인코더(208) 및 디코더(210)를 포함하는 신경망에 입력될 수 있으며, 상기 인코더(208) 및 디코더(210)는 인코더에 대한 입력과 동등한 결과 세트를 생성할 수 있다. 예를 들어, 전술한 패치 이미지 세트가 인코더(208)에 입력되면, 디코더(210)는 각각이 64 픽셀 x 64 픽셀의 크기를 갖는 923,521개의 패치 이미지를 포함하는 패치 이미지의 세트(212)를 생성할 것이다. 그 후, 이 방법은 패치 이미지 세트를 사용하여 입력 이미지와 동일한 크기(즉, 1024 픽셀 × 1024 픽셀)를 갖는 최종 이미지 결과(216)를 생성하는 재구성 단계(214)를 포함할 수 있다.

이와 반대로, 본 명세서에 설명된 실시예는 입력 이미지에 대해 임의의 크로핑을 수행하지 않으며 및/또는 입력 이미지보다 큰 이미지에 대해 수행된 임의의 크로핑에 의해 입력 이미지를 생성하지 않는다. 다시 말해서, 일단 입력 이미지가 본 명세서에 설명된 방법 및 시스템에 입력되면, 상기 입력 이미지는 크로핑되지 않는다. 또한, 본 명세서에 설명된 실시예들에서 사용된 입력 이미지는 더 큰 이미지로부터 크로핑되지 않는다. 본 명세서에 설명된 실시예는 또한 본 명세서에 설명된 실시예의 요소들 중 임의의 요소에 의해 생성된 임의의 더 작은 이미지들로부터 최종 이미지의 어떠한 재구성도 수행하지 않는다. 예를 들어, 도 2에 도시된 바와 같이, 일 실시예(218)는 입력 이미지(220)를 인코더(222) 및 디코더(224)를 포함하는 신경망에 입력으로서 취할 수 있다. 인코더(222)는 여기에 설명된 임의의 실시예에 따라 구성될 수 있는 2개 이상의 인코더 계층을 포함할 수 있다. 또한, 디코더(224)는 본 명세서에 설명된 임의의 실시예에 따라 구성될 수 있는 2개 이상의 디코더 계층을 포함할 수 있다.

일 실시예에서, 본 명세서에서 더 설명되는 바와 같이, 신경망은 완전 콘볼루션 신경망(full convolutional neural network)로서 구성될 수 있는데, 이는 각각의 계층 유형이 특정 입력 크기에 대한 가정을 갖지 않으며, 전체 네트워크가 트레이닝 및 추론 양자에 대한 임의의 크기의 입력에 대하여 동작할 수 있다. 또한, 신경망은 경계 댐핑(boundary damping)을 수행하기 위해 본 명세서에 더 설명된 바와 같이 구성될 수 있다. 디코더는 입력 이미지와 동일한 이미지 크기를 갖는 시뮬레이션된 이미지(226)를 생성하도록 구성될 수 있다. 예를 들어, 입력 이미지 크기가 1024 픽셀 x 1024 픽셀이면, 출력 이미지 크기는 1024 픽셀 x 1024 픽셀이다. 따라서, 현재 사용되는 방법(200) 및 실시예(218)를 비교함으로써 도시된 바와 같이, 본 명세서에 설명된 실시예는 임의의 크로 핑 및 재구성 단계를 수행하도록 구성되지 않을 수 있다.

일 실시예에서, 하나 이상의 컴퓨터 서브시스템은 기존 신경망의 완전히 연결된 층을 콘볼루션 계층의 그룹으로 대체함으로써 신경망을 설정하도록 구성되며, 이에 의해 신경망을 생성한다. 예를 들어, 본 명세서에 설명된 실시예는, 롱(Long) 등의 CVPR2015, pp. 3431-3440, 2015에 의한 “의미론적 세그먼테이션을 위한 완전 콘볼루션 네트워크(fully convolutional networks for semantic segmentation)”에 기재된 일반적인 아이디어[이는 본 명세서에 충분히 설명된 것처럼 참고로 통합됨]를 따를 수 있으며, 콘볼루션 계층에 의해 신경망의 완전히 연결된 층을 대체하여 전체 신경망을 입력 크기에 독립적으로 만든다. 본 명세서에 설명된 실시예들은 이러한 참조문헌에서 설명된 바와 같이 추가로 구성될 수 있다.

도 3a 및 도 3b는 고정된 입력 크기(즉, 64 픽셀 x 64 픽셀)를 갖는 현재 사용되는 인코더-디코더 네트워크가 임의의 입력 크기를 가능하게 하는 완전 콘벌루션 네트워크로 어떻게 변환될 수 있는지를 도시한다. 특히, 도 3a는 64 픽셀 × 64 픽셀의 고정된 입력 크기를 갖는 현재 사용되는 신경망을 도시하고, 도 3b는 본 명세서에서 설명된 접근법으로 임의의 입력 크기를 가능하게 하는 신경망의 일 실시예를 도시한다. 도 3a 및 도 3b에서, 입력 및 출력 치수는 몇 단계로 도시되며, 각각의 경우에, 치수는 (C, H, W)의 포맷을 가지며, 여기서 C는 채널의 수이고, H는 입력 또는 출력의 높이이고, W는 입력 또는 출력의 폭이다.

도 3a에 도시된 바와 같이, 입력 이미지(300)는 현재 사용되는 네트워크의 인코더부(302)에 입력될 수 있다. 입력 이미지의 입력 치수(300d)는 (1, 64, 64)이다. 인코더부(302)는 콘볼루션 및 풀링 계층, 재성형 계층(310), 및 완전히 연결된 계층(312)의 2 개의 세트(304, 306)를 포함한다. 입력 이미지는 콘볼루션 및 풀링 계층들의 세트(306)에 입력되고, 이는 콘벌 루션 및 풀링 계층의 세트(304)에 입력되는 출력(304o)(c1, 32, 32)을 생성한다. 세트(306)의 출력(306o)(c2, 16, 16)은 출력(310o)을 생성하는 재성형 계층(310)에 입력되고, 이는 완전히 연결된 계층(312)에 입력되고, 상기 계층(312)은 현재 사용되는 네트워크의 디코더부에 입력된다.

현재 사용되는 네트워크의 디코더부(316)는 완전히 연결된 계층(318), 재성형 계층(320), 및 콘볼루션 및 업풀링 계층들의 세트들(322 및 324)을 포함한다. 표현(314)은 출력(318o)(c3, 16, 16)을 생성하는 완전히 연결된 계층(318)에 입력된다. 출력(318o)은 출력(320o)을 생성하는 재성형 계층(320)에 입력되고, 재성형 계층(320)은 출력(322o)(c4, 32, 32))을 생성하는 콘볼루션 및 업풀링 계층의 세트(322)에 입력된다. 출력(322o)은 출력 치수(326d)(1, 64, 64))를 가지며 신경망의 출력인 출력 (326)을 생성하는 콘볼루션 및 업풀링 계층의 세트(324)에 입력된다.

이와 반대로, 도 3b에 도시된 바와 같이, 입력 이미지(328)는 본 명세서에 설명된 실시 예들에 따라 구성된 신경망의 인코더부(330)에 입력된다. 입력 이미지(328)는 (1, 1024, 1024)의 입력 치수(328d)를 갖는다. 인코더부(330)은 콘볼루션 및 풀링 계층들의 세트들(332 및 334) 및 콘볼루션 계층들의 세트(336)를 포함한다. 입력 이미지(328)는 출력(334o)(c2, 256, 256))을 생성하는 콘볼루션 및 풀링 계층의 세트(334)에 입력되는 출력(332o)(c1, 512, 512)을 생성하는 콘볼루션 및 풀링 계층의 세트(332)에 입력된다. 출력(334o)은 표현(338)(512, 241, 241)를 생성하는 콘볼루션 계층들의 세트(336)에 입력된다.

표현(338)은 신경망 실시예의 디코더부(340)에 입력된다. 디코더부(340)는 콘볼루션 계층들의 세트(342) 및 콘볼루션 및 업풀링 계층들의 세트(344 및 346)를 포함한다. 표현(338)은 출력(342o)(c3, 256, 256)을 생성하는 콘볼루션 계층들의 세트(342)에 입력된다. 출력(342o)은 출력(344o)(c4, 512, 512)을 생성하는 콘볼루션 및 업풀링 계층의 세트(344)에 입력된다. 출력(344o)은 (1, 1024, 1024)의 출력 치수(348d)를 가지며 신경망의 출력인 출력(348)을 생성하는 콘볼루션 및 업풀링 계층의 세트(346)에 입력된다.

롱(Long) 등에 의해 기재된 방법 및 시스템과는 달리, 앞서 통합된 참고문헌에서, 본 명세서에 설명된 바와 같이 완전하게 연결된 층을 콘볼루션 계층으로 대체하는 것은, 완전하게 연결된 층 및 콘볼루션 층의 일대일 매핑으로 제약되지 않는다. 본 명세서에 설명된 실시예들의 문맥에서, “일대일 매핑”은 하나의 완전히 연결된 층(또는 하나의 완전히 연결된 층 + 하나의 재성형 계층)을 하나의 콘볼루션 계층으로 대체하는 것을 수반할 것이다. 그러나, 그러한 구성은 결과적인 콘볼루션 계층들에 대해 실질적으로 큰 커널 크기를 초래할 수 있다. 예를 들어, (위에서와 동일한 표시법에 따라) 재성형 계층에 대한 입력 치수가 (N, 64, 32, 32)이면, 재성형 계층의 출력(즉, 완전히 연결된 계층에 대한 입력)은 (N, 64*32*32)이고, 완전히 연결된 계층의 출력이 (N, 256)이라고 가정하면, 재성형 및 완전히 연결된 계층은 커널 크기(64, 256, 32, 32)의 콘볼루션 계층으로 대체될 수 있다.

커널(64, 256, 32, 32)의 H 및 W(즉, 32)는 실제 선택(예를 들어, 3 또는 5 또는 7 또는 10 미만)에 비해 실질적으로 크기 때문에, 학습 프로세스는 비효율적일 수 있다. 그러므로, 상대적으로 큰 커널을 갖는 콘볼루션 계층은, 상대적으로 작은 커널을 갖는 콘볼루션 계층들의 그룹에 의해 근사될 수 있다. 예를 들어, 위에 제공된 예에서, (64, 256, 32, 32)는 (64, M, 32, 1) 및 (M, 256, 1, 32)로 대체될 수 있으며, M은 프리 하이퍼(free hyper) 파라미터이다.

이러한 그룹 대체는, 콘볼루션 계층의 그룹을 적용하는 출력 치수가 커널(C, O, H, W)을 갖는 원래의 콘볼루션 층을 적용하는 출력 치수와 동일하게 되도록 요구될 수 있다. 콘볼루션 계층의 그룹의 일반적인 선택은, (C, O, H, w) ==> (C, M, H, k) + (M, O, k, W) 또는 (C, M, k, H) + (M, O, W, k)일 수 있으며, 여기서 k와 M은 하이퍼 파라미터이고, k는 종종 실질적으로 작으며(예를 들어, 1, 2, 3, ...) , H 또는 W보다 더 작다.

완전히 연결된 계층의 윈도우 크기가, 반도체 프로세스 조건(예를 들어, 리소그래피 툴 및/또는 광학 검사 툴의 점 분산 기능, 또는 에칭 프로세스의 화학적 및 물리적 반응 등)을 고려하기에 충분히 큰 경우, 완전히 연결된 계층은, 본 명세서에 설명된 바와 같이 콘볼루션 계층(각각이 보다 작은 필터 윈도우 크기를 가짐(H 및 W에서))의 그룹으로 대체될 수 있고, 전체 그룹의 유효 윈도우 크기는, 완전히 연결된 계층의 크기와 동일하거나 그보다 더 크다. 이 접근법은 입력 크기 제약을 제거하고, 또한 (트레이닝 및 런타임 모두에 대한) 파라미터의 총 개수를 감소시킨다. 이러한 방식으로, 본 명세서에 설명된된 실시예들은 반도체 프로세스로 인한 윈도우 크기를 만족시키면서, 모델 크기를 줄이기 위해 콘볼루션 계층들의 그룹을 사용할 수 있다.

일부 실시예에서, 2 이상의 인코더 계층에 입력되는 이미지는, 시료에 대해 생성된 전체 프레임 이미지이다. 용어 “프레임” 이미지는, 일반적으로 웨이퍼 또는 레티클과 같은 시료의 스캐닝 동안에 획득된 일 세트의 데이터 또는 이미지에서 다이의 일부에 대한 데이터 또는 이미지로서 규정된다. “프레임” 또는 “작업(job)”은 일반적으로 시스템에 의한 유닛으로서 집합적으로 처리될 수 있는 이미징 서브시스템에 의해 생성된 모든 출력 중 상대적으로 작은 부분으로서 규정될 수도 있다. 따라서, 출력의 “프레임”은 이미징 서브시스템 구성뿐만 아니라 이미징 서브시스템에 의해 생성된 출력을 취급 및/또는 처리하기 위한 시스템에 포함된 임의의 구성요소의 구성에 따라 변할 수 있다. 그러나, 이미지 프레임은 일반적으로 이미지를 시뮬레이션하기 위해 현재 사용되는 신경망에 일반적으로 입력될 수 있는 패치 이미지 및 최대 이미지 크기보다 실질적으로 더 클 것이다. 예를 들어, 본 명세서에 설명된 실시예에 대한 이미지 프레임은, 1024 픽셀 x 1024 픽셀 또는 512 픽셀 x 512 픽셀일 수 있는 반면에, 패치 이미지는 64 픽셀 x 64 픽셀 또는 32 픽셀 x 32 픽셀의 일반적인 크기를 가질 수 있다.

다른 실시예에서, 2개 이상의 인코더 계층에 입력된 이미지는 시료에 대한 전체 다이 이미지이다. 예를 들어, 전체 다이 이미지는 이미징 시스템에 의해 시료 상의 다이에 대해 생성된 모든 이미지 데이터 또는 출력을 포함할 수 있다. 이러한 방식으로, 현재 사용되는 신경망과는 달리, 본 명세서에 설명된 실시예는 실제로 전체 프레임 또는 전체 다이 렌더링을 가능하게 한다. 특히, 본 명세서에 설명된 실시예들은, 완전히 연결된 계층(들)을 신경망을 위한 콘볼루션 계층(들)으로 대체함으로써 임의의 이미지 크기를 가능하게 한다. 이러한 방식으로, 본 명세서에 설명된 실시예들은 신경망 사용 케이스들에 대해 전체 프레임 및 다이 런타임 추정을 가능하게 한다.

따라서, 본 명세서에 설명된 실시예들은, 시뮬레이션 이미지를 생성하기 위한 다른 방법 및 시스템에 비해 복수의 이점을 갖는다. 예를 들어, 본 명세서에 설명된 실시예들은 트레이닝 및 런타임에 대한 임의의 입력 크기를 가능하게 한다. 또한, 본 명세서에 설명된 실시예는 현재 사용되는 방법 및 시스템과 비교하여 런타임 계산을 100x 내지 1000x 만큼 대폭 감소시킨다. 그러므로, 본 명세서에 설명된 실시예들은 현재 사용되는 방법 및 시스템과 비교하여 런타임 하드웨어 비용을 감소시킨다. 또한, 실시예는 전체 프레임 및 다이 추정을 가능하게 한다. 또한, 본 명세서에 설명된 실시예는 유리하게도 동일한 조작 윈도우 크기를 유지하면서 모델 크기(즉, 모델 파라미터의 수)를 감소시킨다. 이러한 방식으로, 본 명세서에 설명된 실시예들은 트레이닝 프로세스에서의 통신 과부하를 감소시킨다. 또한, 대안 방법은 본 명세서에 설명된 실시예와 동등한 성능을 갖지 못한다.

본 명세서에 설명된 실시예들은 신경망을 트레이닝하기 위해 구성될 수 있고 또는 구성되지 않을 수도 있다. 예를 들어, 트레이닝된 신경망을 생성하도록 다른 방법 및/또는 시스템이 구성될 수 있으며, 이러한 트레이닝된 신경망은 본 명세서에 설명된 실시예에 의해 액세스되어 사용될 수 있다.

일 실시예에서, 하나 이상의 컴퓨터 서브시스템은 경계 효과를 변경하기 위해 포비-붕괴 가중 손실 함수를 사용하여 신경망을 트레이닝하도록 구성된다. 예를 들어, 인코더와 디코더에서 인코더와 디코더 토폴로지 및 콘볼루션 유형(예를 들어, 유효, 전체, 동일)에 따라, 출력의 경계 부분은, 특히 신경망이 상대적으로 깊고, 트레이닝 이미지가 상대적으로 작을 때, 콘볼루션 계층의 경계 효과로 인해, 출력의 중앙 부분과 비교하여 다른 수학 연산을 수행할 수 있다. 특히, 콘볼루션 계층은 VALID, SAME, 및 FULL의 3 가지 패딩(padding) 유형을 가진다. 입력 이미지 크기가 (H, W)이고, 콘볼루션 필터 크기가 (h, w)인 경우, (a) VALID로부터의 출력 크기는 (H-h+1, W-w+1)이고, (b) SAME은 (H, w)이고, (c) FULL은 (H+h-1, W+w-1)이다. SAME 또는 FULL 패딩을 사용하면, 입력 이미지의 경계 부분에서, 콘볼루션 필터가 이미지의 외부에 배치될 것이고, 이는 입력 이미지 외부의 픽셀을 0 값으로 간주하는 것과 동등하다. 이는 이미지의 경계에서의 콘볼루션 결과가 종종 대표가 아니며, 경계에 아티팩트 결과가 표시될 수 있음을 의미한다.

경계 영역의 기여도를 제거하기 위해, 트레이닝 프로세스 동안에 포비-붕괴(fovy-decay) 가중 손실 함수가 사용될 수 있으며, 여기서 “포비(fovy)”는 일반적으로 (OpenGL과 같은 그래픽 애플리케이션에서와 같이) y 방향의 시야를 지칭하기 위해 사용된다. 예를 들어, SAME 또는 FULL 패딩으로 전체 콘벌루션 네트워크를 트레이닝할 때, 트레이닝은 경계 픽셀에서의 결과를 고려할 것이며, 이는 아티팩트에서 학습 프로세스로 많은 잡음을 발생시킨다. 이 문제를 해결하기 위해, 포비-붕괴 가중 손실 함수, 예를 들어, 3x3 fovy가 도입될 수 있다.

0.5, 0.6, 0.5,

0.6, 1.0, 0.6,

0.5, 0.6, 0.5

여기서, 중심 영역은 1.0에 가깝거나 이와 동일한 가중치를 가지며, 경계 영역 부근에서, 그 값은 1.0미만이다. 포비-붕괴 가중 손실의 모티베이션은 학습 프로세스를 상대적으로 중심 영역 픽셀에 집중시키는 것이다.

붕괴의 형상은 인코더 및 디코더 토폴로지 및 관련 애플리케이션에 따라 원형, 정사각형, 또는 직사각형일 수 있다. 또한, 포비-붕괴 가중치를 생성하는 일반적인 방법은, (1) 고정된 상대적으로 작은 값을 상수 경계에 할당하고, 좌측 중심 영역에 1.0을 할당함; (2) 평균과 표준 편차가 적절하게 선택된 2D 가우스 커널; (3) 평균 및 표준 편차가 적절하게 선택된 2개의 1D 가우스 커널일 수 있다. 일부 애플리케이션의 경우에, 이 단계가 생략될 수 있다. 이러한 방식으로, 본 명세서에 설명된 실시예들은 트레이닝에서 바람직하지 않은 경계 효과(또는 경계 잡음)를 제거하기 위해 포비-붕괴 가중 손실 함수를 사용할 수 있다.

일반적으로, 신경망을 트레이닝하는 것은 데이터(예를 들어, 입력 이미지 및 시뮬레이션된 이미지 모두, 이는 본 명세서에서 설명된 임의의 입력 이미지 및 시뮬레이션된 이미지를 포함할 수 있음)를 획득하는 것을 포함할 수 있다. 일 실시예에서, 하나 이상의 컴퓨터 서브시스템은 각각이 임의의 동일한 크기를 갖는 한 묶음의 트레이닝 이미지 사용하여 신경망을 트레이닝하도록 구성된다. 추가적인 실시예에서, 하나 이상의 컴퓨터 서브시스템은, 한 묶음의 트레이닝 이미지를 사용하여 신경망을을 트레이닝하도록 구성되고, 상기 묶음의 트레이닝 이미지 중 2개 이상은 상이한 임의의 크기를 갖는다. 이러한 방식으로, 한 묶음의 임의로 크기가 정해진 이미지는, 복수의 크기의 이미지를 포함할 수 있거나, 또는 각각의 묶음은 동일한 임의의 크기의 모든 이미지를 포함할 수 있다. 실제로, 계산 및 구현 효율성을 위해, 각 배치는 동일한 임의의 크기의 모든 이미지를 포함할 수 있다.

신경망을 트레이닝하는데 사용되는 이미지는 입력 이미지와 동일한 크기를 갖거나 또는 동일한 크기를 갖지 않을 수 있다. 예를 들어, 입력 이미지는 네트워크 토폴로지로 인해 최소 크기 요건을 가질 수 있으며, 상기 입력 이미지가 하드웨어 저장 한계에 맞을 수 있는 한 최소 크기 제한은 없다. 최소 크기는 네트워크 토폴로지에 의해 결정될 수 있으며, 종종 광학 설정을 반영하도록 선택된다. 실제로, 패치 이미지는 종종 최소 크기 요건보다 더 크다. 실제로, 우리는 (1) 패치 이미지를 트레이닝시키고 패치 또는 프레임 이미지를 예측할 수 있고, 또는 (2) 프레임 이미지를 트레이닝시키고 패치 또는 프레임 이미지를 예측할 수 있다.

이러한 일부 실시예에서, 트레이닝 단계에서, 일 세트의 임의의 크기의 트레이닝 이미지들(이들의 각각은 설계된 최소 크기 이상일 수 있고, 즉 도 3a에 도시된 예에서는 64 픽셀 x 64 픽셀)이 주어질 때, 랜덤 배치(batch)의 이미지가 선택된다. 트레이닝은 하위(sub) 단계없이 한 단계로 수행될 수 있다. 또한, 트레이닝 데이터를 준비하는데 추가 단계가 필요하지 않다. 이론상으로는, 임의로 크기가 정해진 이미지의 배치가 트레이닝을 위해 사용될 수 있다. 그러나. 하드웨어 로우 레벨 명령어를 이용하기 위하여, 고정된 크기의 패치의 배치를 선택한 이미지에서 랜덤으로 샘플링할 수 있다. 이러한 샘플링된 패치 이미지는 트레이닝 단계에 사용될 수 있다. 패치 크기는, 일반적인 경우에는 미리 결정되어 있지만, 트레이닝 단계에서는 상이할 수 있다. 그 후, 런타임에서, 일 세트의 임의의 크기의 런타임 이미지가 주어지면, 이들의 각각은 임의의 크로핑(cropping) 또는 재구성 단계없이 예측(즉, 시뮬레이션된 이미지(들))을 생성하기 위해 네트워크에 공급될 수도 있다.

모델 트레이닝은 2016년 6월 7일자로 출원된 장(Zhang) 등에 의한 미국 특허 출원 제15/176,139호 및 2016년 12월 29일자로 출원된 바스카(Bhaskar) 등에 의한 미국 특허 출원 제15/394,790호에 기재된 바와 같이 추가로 수행될 수 있으며, 이는 여기에 충분히 설명된 것처럼 참조로서 통합된다. 본 명세서에 설명된 실시예는 이들 특허 출원에 기재된 바와 같이 추가로 구성될 수 있다.

인코더 층에 의해 결정되는 피처는, 본 명세서에서 입력으로부터 추론될 수 있고 본 명세서에서 추가로 기재되는 출력을 생성하는데 사용될 수 있는 당해 분야에 공지된 임의의 적절한 피처를 포함할 수 있다. 예를 들어, 피처들은 픽셀 당 세기 값의 벡터를 포함할 수 있다. 피처는 본 명세서에 기재된 임의의 다른 유형의 피처, 예를 들어 스칼라 값의 벡터, 독립 분포의 벡터, 조인트 분포, 또는 당해 분야에 공지된 임의의 다른 적합한 피처 유형을 포함할 수도 있다.

전술한 신경망의 각 층은, 그 값이 신경망을 트레이닝함으로써 결정될 수 있는 가중치 W 및 바이어스 B와 같은 하나 이상의 파라미터를 가질 수 있으며, 이는 본 명세서에서 더 설명되는 바와 같이 수행될 수 있다. 예를 들어, 신경망에 포함된 임의의 층의 가중치 및 바이어스는, 비용 함수를 최소화함으로써 트레이닝 중에 결정될 수 있다. 비용 함수는 이미지에서 수행되고 있는 변환에 따라 변할 수 있다.

본 명세서에 기재된 신경 네트워크는, 특정 시료(예를 들어, 특정 웨이퍼 또는 레티클), 프로세스 및 이미징 파라미터에 대해 생성될 수 있다. 다시 말하면, 본 명세서에 기재된 신경망은 시료 특성(specimen specific), 프로세스 특성, 및 이미징 파라미터 특성일 수 있다. 예를 들어, 일 실시예에서, 각각의 신경망은 특정 설계 및 웨이퍼 층에 고유하게 되도록 트레이닝될 수 있다. 그 후, 트레이닝된 신경망은 그 계층에 대한 예측을 수행하는 데에만 사용된다. 이러한 방식으로, 상이한 신경망들이 상이한 웨이퍼 층들에 대해 생성될 수 있다. 그러나, 다른 실시예에서, 단일 신경망은 상이한 설계 및 웨이퍼 유형 층으로부터의 데이터로 트레이닝될 수 있다. 결과적인 신경망은 일반적으로 트레이닝 데이터에 포함된 모든 유형의 시료에 대한 예측을 수행하는데 사용될 수 있다. 또한, 상이한 신경망이 입력 이미지(들)를 생성하는데 사용되는 상이한 세트의 이미징 파라미터(예를 들어, 상이한 이미징 모드)에 대하여 그리고 가능하게는 변환이 수행되는 시뮬레이션된 이미지의 상이한 세트의 이미징 파라미터(예를 들어, 상이한 이미징 모드)에 대하여 생성될 수 있다[예를 들어, 상이한 이미징 모드에 대응하는 복수의 시뮬레이션된 이미지를 생성하는 경우]. 일반적으로, 신경망은 선택된 이미징 모드가 툴(tool)을 통해 반복 가능한한 툴과 독립적일 수 있다. 상이한 신경망들의 각각은 상이한 트레이닝 세트의 데이터로 생성될 수 있다. 데이터의 상이한 트레이닝 세트의 각각은 임의의 적절한 방식으로 생성될 수 있다.

여기에 기재된 실시예는 복수의 상이한 유형의 변환(즉, 입력 이미지를 하나 이상의 시뮬레이션된 이미지로 변환)을 수행하도록 구성될 수 있다. 예를 들어, 일부 실시예에서, 신경망은 저해상도 입력 이미지로부터 하나 이상의 고해상도 이미지를 생성하도록 구성될 수 있다. 본 명세서에서 사용된 시료의 “저해상도 이미지”라는 용어는, 일반적으로 이미지가 생성된 시료의 영역에 형성된 모든 패턴화된 피처가 이미지에서 분해되지 않는 이미지로서 규정된다. 예를 들어, 저해상도 이미지가 생성된 시료 영역의 패턴화된 피처 중 일부는, 그 크기가 분해될 수 있게 만들기에 충분히 큰 경우 저해상도 이미지에서 분해될 수 있다. 그러나, 저해상도 이미지는 이미지의 모든 패턴화된 피처를 분해가능하게 만드는 해상도에서 생성되지 않는다. 이러한 방식으로, 본 명세서에서 사용되는 “저해상도 이미지”라는 용어는, 저해상도 이미지가 결함 검토와 같은 애플리케이션에 사용되기에 충분한 시료 상의 패턴화된 피처에 관한 정보를 포함하지 않으며, 이는 결함 분류 및/또는 검증, 계측을 포함할 수 있다. 또한, 본 명세서에서 사용되는“저해상도 이미지”라는 용어는, 일반적으로 비교적 빠른 처리량을 가지기 위하여, 일반적으로 비교적 낮은 (예를 들어, 결함 검토 및/또는 계측 시스템보다 낮은) 해상도를 가지는 검사 시스템에 의해 생성된 이미지를 지칭한다.

“저해상도 이미지”는 본 명세서에 기재된 “고해상도 이미지”보다 낮은 해상도를 가진다는 점에서 “저해상도”일 수도 있다. 본 명세서에 사용되는 “고해상도 이미지”라는 용어는, 일반적으로 시료의 모든 패턴화된 피처가 비교적 높은 정확도로 분해되는 이미지로서 규정될 수 있다. 이러한 방식으로, 고해상도 이미지가 생성되는 시료 영역 내의 모든 패턴화된 피처가 그 크기에 관계없이 고해상도 이미지로 분해된다. 이와 같이, 본 명세서에서 사용되는 “고해상도 이미지”라는 용어는 결함 분류 및/또는 검증, 계측을 포함할 수 있는 결함 검토와 같은 애플리케이션에 대해 사용될 고해상도 이미지를 위하여 충분한 시료의 패턴화된 피처에 대한 정보를 포함한다. 또한, 본 명세서에서 사용되는 “고해상도 이미지”라는 용어는 일반적으로 루틴 동작 동안 검사 시스템에 의해 생성될 수 없는 이미지를 지칭하며, 이는 증가된 처리량을 위한 해상도 능력을 희생하도록 구성된다.

저해상도 이미지는 또한, 예를 들어 시료의 광학 이미지를 포함할 수 있으며, 고해상도 이미지는 전자 빔 이미지(예를 들어, 주사 전자 현미경(scanning electron microscope; SEM) 이미지) 또는 시료에 대한 설계 데이터를 포함할 수 있다. 또한, 본 명세서에서 더 설명되는 바와 같이, 시료에 대한 고해상도 이미지는 본 명세서에서 설명된 바와 같이 구성된 신경망으로 생성될 수 있다. 따라서, 본 명세서에서 더 설명되는 바와 같이, 실시예들은 심층 학습(deep learning) 기술을 사용하여 광학 대 SEM 및/또는 설계 데이터 변환을 수행하도록 구성될 수 있다.

본 명세서에서 설명된 실시예들은 아마도 입력 이미지와 조합하여 하나 이상의 시뮬레이션 이미지를 사용하여 다수의 상이한 기능을 수행하도록 구성될 수 있다. 예를 들어, 하나 이상의 컴퓨터 서브 시스템은 (a) 광학, 전자빔 및 마스크 툴상의 IC 구조의 표현 학습; (b) 결함 검출 및 분류; (c) 전체 프레임 또는 다이 검사를 위하여 구성될 수 있다. 이들 기능들 각각은 본 명세서에서 추가로 설명된 바와 같이 수행될 수 있다.

일 실시예에서, 하나 이상의 컴퓨터 서브시스템은, 2개 이상의 인코더 층에 입력된 이미지 또는 하나 이상의 시뮬레이션된 이미지에서 검출된 결합을 분류하도록 구성되고, 상기 분류는 하나 이상의 시뮬레이션된 이미지에 기초하여 수행된다. 예를 들어, 신경 네트워크로의 입력 이미지는 시료의 광학 이미지일 수 있고, 신경망에 의해 생성된 하나 이상의 시뮬레이션된 이미지는 전자 빔 이미징 서브 시스템에 의해 생성될 수 있는 이미지 및/또는 시료에 대한 설계 데이터 또는 설계 정보의 이미지와 같은 시료의 고해상도 이미지를 포함할 수 있다.

SEM 및/또는 설계 변환에 대한 광학 이미지의 한 가지 이점은, 광학 검사가 여전히 반도체 제조 프로세스에서 대량 생산 수율의 핵심이라는 것이다. 해상도 부족으로 인해, 광학 검사관에 의해 검출된 결함은 결함 분류에 대한 SEM 검토를 필요로 한다. 광학을 SEM 및/또는 설계로 자동으로 변환하는 방법은, 수율 관리를 위한 SEM 검토 요건을 잠재적으로 줄여, 전체 검사 주기 시간을 단축할 수 있다. 예를 들어, 본 명세서에 설명된 시뮬레이션된 이미지는 1) 시료없이 그리고 이미징 하드웨어없이 획득될 수 있고, 2) 결함 분류와 같은 결함 검토 애플리케이션에 사용될 수 있으므로, 표본 검사 후에 결함 검토 시스템상에서 SEM 이미지를 획득할 필요를 제거할 수 있다.

신경망에 의해 분류된 결함은, 본 명세서에서 설명된 입력 이미지 및/또는 하나 이상의 시뮬레이션 이미지에서 검출될 수 있다. 또한, 하나 이상의 시뮬레이션된 이미지에 기초하여 결함을 분류하는 것은, 당해 분야에 공지된 임의의 적절한 방식으로 수행될 수 있다. 예를 들어, 하나 이상의 시뮬레이션된 이미지는 당해 분야에 공지된 임의의 적절한 결함 분류 방법 및/또는 알고리즘에 대한 입력으로서 사용될 수 있다. 즉, 하나 이상의 시뮬레이션된 이미지는 결함 분류를 위한 임의의 다른 이미지로서 사용될 수 있다. 본 명세서에 설명된 실시예에 의해 수행된 결함 분류의 결과는, 임의의 적절한 포맷(예를 들어, 결함 분류 코드 등)을 가질 수 있다.

추가 실시예에서, 하나 이상의 컴퓨터 서브시스템은 하나 이상의 시뮬레이션 된 이미지에 기초하여 시료 상의 결함을 검출하도록 구성된다. 컴퓨터 서브시스템 (들)은 임의의 적절한 방식으로 시료 상의 결함을 검출하기 위해 하나 이상의 시뮬레이션된 이미지를 사용하도록 구성될 수 있다. 예를 들어, 컴퓨터 서브 시스템 (들)은 임의의 적절한 결함 검출 알고리즘 및/또는 당해 분야에 공지된 방법을 포함할 수 있는 하나 이상의 결함 검출 알고리즘 및/또는 방법을 하나 이상의 시뮬레이션된 이미지에 적용하도록 구성될 수 있다. 그러한 일례에서, 컴퓨터 서브시스템 (들)은 하나 이상의 시뮬레이션된 이미지를 시료에 대한 기준과 비교하고, 그 비교 결과에 임계 값을 적용하도록 구성될 수 있다. 임계 값 위의 비교 결과를 갖는 시뮬레이션된 이미지(들)의 픽셀들은, 결함으로 식별될 수있는 반면에, 임계 값 아래의 비교 결과를 갖는 시뮬레이션된 이미지(들)의 픽셀은 결함으로 식별되지 않을 수 있다.

다른 예에서, 컴퓨터 서브시스템(들)은 카르센티(Karsenti) 등에 의해 2016년 11월 16일자로 출원된 미국 특허 출원 제15/353,210호에 기재된 바와 같이 단일 이미지 검출을 위해 구성될 수 있으며, 이는 본 명세서에 충분히 설명된 듯이 참조로서 통합된다. 이러한 하나의 실시예에서, 이 특허 출원에 기재된 바와 같이, 신경망에 의해 입력 이미지에 대해 결정된 피처가 입력 이미지의 결함을 검출하는데 사용될 수 있다. 예를 들어, 컴퓨터 서브시스템(들)은 (1) 결정된 피처들 및 (2) 입력 피처 맵 볼륨의 픽셀들 또는 픽셀들의 블록들의 라벨로의 맵핑(mapping)에 기초하여 입력 이미지 내의 픽셀들 또는 픽셀들의 블록에 대한 라벨을 선택하도록 구성될 수 있다. 컴퓨터 서브시스템은 또한, 픽셀 또는 블록에 대해 선택된 라벨에 기초하여 시료 상의 결함을 검출하도록 구성될 수 있다.

또한, 컴퓨터 서브시스템(들)은 신경망에 의해 생성된 하나 이상의 시뮬레이션된 이미지와 함께 신경망에 입력된 이미지를 사용하여 시료 상의 결함을 검출하도록 구성될 수 있다. 예를 들어, 입력 이미지가 저해상도 이미지이고 하나 이상의 시뮬레이션 이미지가 고해상도 이미지를 포함하면, 저해상도 이미지에서 검출된 결함의 위치가 고해상도 이미지에서 식별되어 결함의 설계 컨텍스트를 결정할 수 있으며, 이는 결함이 불량(nuisance) 결함인지 또는 실제 결함인지를 결정하는 데 사용될 수 있다. 또한, 저해상도 이미지에서 검출된 결함의 위치는, 고해상도 이미지에서 결함이 존재하는지(검출될 수 있는지)를 결정하기 위해 고해상도 이미지에서 결함의 위치를?식별하는데 사용될 수 있다. 고해상도 이미지에서 결함을 검출할 수 있으면, 이는 실제 결함으로서 지정된다. 고해상도 이미지에서 결함을 감출할 수 없으면, 이는 불량 결함으로 지정된다.

추가적인 실시예에서, 하나 이상의 컴퓨터 서브시스템은, 하나 이상의 시뮬레이션된 이미지에 기초하여 시료의 하나 이상의 피처 또는 시료에서 검출된 결함을 측정하도록 구성된다. 예를 들어, 신경망은 신경망에 의해 생성된 하나 이상의 시뮬레이션된 이미지가 저해상도 이미지인 입력 이미지로부터 생성된 고해상도 이미지(들)이도록 구성될 수 있다. 따라서, 고해상도 이미지(들)는 입력 이미지보다 시료 상에 형성된 피처들(예를 들어, 라인, 공간, 컨택트 등과 같은 패턴화된 피처들뿐만 아니라 시료 상의 결함들)에 대한 보다 상세한 내용을 포함할 수 있다. 그 후, 컴퓨터 서브시스템은 이러한 고해상도 이미지를 사용하여 시료의 피처의 하나 이상의 특성을 측정 또는 결정할 수 있다.

피처의 하나 이상의 특성은 임의의 적절한 방식으로 결정될 수 있다. 또한, 컴퓨터 서브 시스템(들)에 의해 결정되거나 측정되는 피처의 하나 이상의 특성은, 치수(예를 들어, 라인 폭, 컨택트 직경 등), 형상, 상대 위치 등과 같은 임의의 적절한 특성을 포함할 수 있다. 측정은 더피(Duffy) 등에 의해 2016년 4월 28일에 공개된 미국 특허 출원 공보 제2016/0116420호, 파크(Park) 등에 의해 2016년 12월 22일에 공개된 미국 특허 출원 공보 제2016/0372303호, 그리고 구프타(Gupta) 등에 의해 2016년 12월 29일에 공개된 미국 특허 출원 공보 제2016/0377425호에 기재된 바와 같이 컴퓨터 서브시스템(들)에 의해 시뮬레이션된 이미지(들) 상에서 수행될 수 있으며, 이는 본 명세서에서 충분히 설명된 것처럼 참조문헌로서 통합된다. 본 명세서에 설명된 실시예들은 이들 공보에 기재된 바와 같이 추가로 구성될 수 있다.

일부 실시예에서, 하나 이상의 컴퓨터 서브시스템은 하나 이상의 시뮬레이션된 이미지를 2개 이상의 인코더 층에 입력된 이미지와 실질적으로 동일하게 만드는 피처에 대한 값들을 결정함으로써 시료 상의 하나의 이상의 구조의 표현을 학습하도록 구성된다. 그 표현은 입력 이미지에 대해 결정된 모든 피쳐에 의해 규정될 수 있다. 표현은 입력 이미지와 실질적으로 동등한 하나 이상의 시뮬레이션 이미지를 생성하려고 시도함으로써 학습될 수 있다. 예를 들어, 입력 이미지는 2개 이상의 인코더 계층/에 입력될 수 있고, 신경망은 하나 이상의 시뮬레이션된 이미지를 생성할 수 있다. 하나 이상의 시뮬레이션된 이미지와 입력 이미지 사이의 차이가 결정될 수 있고, 이러한 차이에 관한 정보가, (본 명세서에서 더 설명된 것과 같은) 신경망의 하나 이상의 파라미터를 변경하는데 사용될 수 있다. 변경된 파라미터를 갖는 신경망은, 하나 이상의 시뮬레이션된 이미지가 입력 이미지와 실질적으로 매칭될 때까지(즉, 하나 이상의 시뮬레이션된 이미지와 입력 이미지 간의 차이가 효과적으로 최소화될 때까지), 반복적으로 프로세스를 반복하는데 사용될 수 있다. 이러한 학습 프로세스는 장(Zhang) 등에 의해 2016년 6월 7일자로 출원된 미국 특허 출원 제15/176,139호에 기재된 바와 같이 추가로 수행될 수 있으며, 이는 본 명세서에서 충분히 설명된 것처럼 참조로서 통합된다. 본 명세서에 설명된 실시예들은 본 특허 출원에 설명된 바와 같이 추가로 구성될 수 있다.

본 명세서에 설명된 실시예들은, 일반적으로 소유되는 장(Zhang) 등에 의해 2016년 6월 7일자로 출원된 미국 특허 출원 제15/176,139호, 카르센티(Karsenti) 등에 의해 2016년 11월 16일자로 출원된 미국 특허 출원 제15/353,210호, 바스카(Bhaskar) 등에 의해 2016년 12월 29일자로 출원된 미국 특허 출원 제15/394,790호, 바스카 등에 의해 2016년 12월 29일자로 출원된 미국 특허 출원 제15/394,792호, 장(Zhang) 등에 의해 2017년 1월 2일자로 출원된 미국 특허 출원 제15/396,800호, 바스카 등에 의해 2017년 1월 9일자로 출원된 미국 특허 출원 제15/402,094호, 바스카 등에 의해 2017년 1월 9일자로 출원된 미국 특허 출원 제15/402,169호, 파크 등에 의해 2017년 1월 9일자로 출원된 미국 특허 출원 제15/402,197호에 기재된 것과 같은 (입력 이미지로부터 시뮬레이션된 이미지로의) 다른 변환을 수행하도록 추가로 구성될 수 있으며, 이는 본 명세서에 충분히 설명된 것처럼 참조문헌으로서 통합된다. 본 명세서에 설명된 실시예는 이들 특허 출원에 기재된 바와 같이 추가로 구성될 수 있다. 또한, 본 명세서에 설명된 실시예는 이들 특허 출원에 기재된 임의의 단계를 수행하도록 구성될 수 있다.

입력 이미지로부터 시뮬레이션된 이미지를 생성하도록 구성된 시스템의 다른 실시예는 시료의 이미지를 생성하도록 구성된 이미징 서브시스템을 포함한다. 이미징 서브시스템은 본 명세서에서 설명된 임의의 구성을 가질 수 있다. 상기 시스템은 또한 하나 이상의 컴퓨터 서브시스템, 예를 들어 도 1에 도시된 컴퓨터 서브시스템(들)(102)[이는 본 명세서에서 더 설명되는 바와 같이 구성될 수 있음], 및 하나 이상의 컴퓨터 서브시스템에 의해 실행되는 하나 이상의 구성요소 예를 들어 구성요소(들)(100)[이는 본 명세서에서 설명되는 구성요소(들) 중 임의의 구성요소를 포함할 수 있음]를 포함한다. 구성요소(들)은 본 명세서에서 설명된 바와 같이 구성될 수 있는 신경망, 예를 들어 신경망(104)을 포함한다. 예를 들어, 신경망은, 이미지의 피처를 결정하도록 구성된 2 이상의 인코더 층, 및 결정된 피처로부터 하나 이상의 시뮬레이션된 이미지를 생성하도록 구성된 2 이상의 디코더 층을 포함한다. 신경망은 완전히 연결된 층을 포함하지 않으므로, 2 이상의 인코더 층에 입력되는 이미지의 크기에 대한 제약을 제거한다. 신경망은 본 명세서에 더 설명된 바와 같이 추가로 구성될 수 있다. 이 시스템 실시예는 본 명세서에 설명된 바와 같이 추가로 구성될 수 있다.

전술한 각각의 시스템의 실시예 각각은 하나의 단일 실시예로 함께 결합될 수 있다.

다른 실시예는 입력 이미지로부터 시뮬레이션된 이미지를 생성하기 위한 컴퓨터 구현 방법에 관한 것이다. 상기 방법은 시료에 대한 이미지를 획득하는 단계를 포함한다. 이 방법은 또한 신경망의 2 이상의 인코더 층에 이미지를 입력함으로써 시료에 대한 이미지의 피처를 결정하는 단계를 포함한다. 또한, 상기 방법은 상기 결정된 피처들로부터 하나 이상의 시뮬레이션된 이미지들을 생성하는 단계를 포함한다. 하나 이상의 시뮬레이션된 이미지를 생성하는 단계는 신경망의 2 개 이상의 디코더 층에 의해 수행된다. 획득, 결정, 및 생성은 하나 이상의 컴퓨터 시스템에 의해 수행된다. 하나 이상의 구성 요소는 하나 이상의 컴퓨터 시스템에 의해 실행되고, 하나 이상의 구성 요소는 신경망을 포함한다.

본 방법의 각 단계는 본 명세서에서 추가로 설명된 바와 같이 수행될 수 있다. 이 방법은 또한 시스템, 컴퓨터 서브시스템, 및/또는 이미징 시스템 또는 본 명세서에 설명된 서브시스템에 의해 수행될 수있는 임의의 다른 단계(들)을 포함할 수 있다. 하나 이상의 컴퓨터 시스템, 하나 이상의 구성요소, 및 신경망은, 본 명세서에 설명된 실시예들 중 임의의 실시예, 예를 들어 컴퓨터 서브시스템(들)(102), 구성요소(들)(100), 및 신경망(104)에 따라 구성될 수 있다. 또한, 전술한 방법은 본 명세서에 설명된 임의의 시스템 실시예에 의해 수행될 수 있다.

추가의 실시예는, 입력 이미지로부터 시뮬레이션된 이미지를 생성하기 위한 컴퓨터 구현 방법을 수행하기 위해 하나 이상의 컴퓨터 시스템에서 실행 가능한 프로그램 명령어를 저장하는 비일시적 컴퓨터 판독가능한 매체에 관한 것이다. 이러한 하나의 실시예는 도 4에 도시된다. 특히, 도 4에 도시된 바와 같이, 비일시적 컴퓨터 판독가능한 매체(400)는 컴퓨터 시스템 (들)(404)상에서 실행가능한 프로그램 명령어(402)를 포함한다. 컴퓨터 구현 방법은 본 명세서에 설명된 임의의 방법(들)의 임의의 단계(들)을 포함할 수 있다.

본 명세서에 설명된 방법과 같은 방법을 구현하는 프로그램 명령어(402)는 컴퓨터 판독가능한 매체(400)에 저장될 수 있다. 컴퓨터 판독가능한 매체는 자기 디스크 또는 광학 디스크와 같은 저장 매체, 자기 테이프, 또는 당해 분야에 공지된 임의의 다른 적절한 비일시적 컴퓨터 판독가능한 매체일 수 있다.

프로그램 명령어는 특히 절차 기반 기술, 구성요소 기반 기술, 및/또는 객체 지향 기술을 비롯한 임의의 다양한 방법으로 구현될 수 있다. 예를 들어, 원하는 경우 ActiveX 컨트롤, C++객체, 자바빈스(JavaBeans), MFC(Microsoft Foundation Classes), SSE(Streaming SIMD Extension) 또는 기타 기술 또는 방법을 사용하여 프로그램 명령어가 구현될 수 있다.

컴퓨터 시스템(들)(404)은 본 명세서에 설명된 임의의 실시예에 따라 구성될 수 있다.

본 발명의 다양한 양태의 다른 변형 및 대안적인 실시예는 이 설명을 고려하여 당업자에게 명백할 것이다. 예를 들어, 입력 이미지로부터 시뮬레이션된 이미지를 생성하기 위한 방법 및 시스템이 제공된다. 따라서, 이 설명은 단지 예시적인 것으로서 해석되어야하며, 본 발명을 수행하는 일반적인 방식을 당업자에게 교시하기 위한 것이다. 본 명세서에 도시되고 설명된 본 발명의 형태는 현재 바람직한 실시예로 간주되어야 한다고 이해하여야 한다. 요소들 및 재료들이 본 명세서에 도시되고 설명된 것들을 위하여 대체될 수 있으며, 본 발명의 이점을 얻은 후에 당업자에게 명백한 바와 같이, 부분 및 프로세스가 반전될 수 있고, 본 발명의 일부 피처들은 독립적으로 이용될 수 있다. 이하의 청구범위에 기재된 본 발명의 사상 및 범위를 벗어나지 않고 본 명세서에 설명된 요소들이 변경될 수 있다.

Claims

입력 이미지로부터 시뮬레이션된 이미지를 생성하도록 구성된 시스템에 있어서,
하나 이상의 컴퓨터 서브시스템과,
상기 하나 이상의 컴퓨터 서브시스템에 의해 실행되는 하나 이상의 구성요소
를 포함하고,
상기 하나 이상의 구성요소는,
신경망을 포함하고, 상기 신경망은,
시료(specimen)에 대한 이미지의 피처(feature)를 결정하도록 구성된 2개 이상의 인코더 층과,
상기 결정된 피처로부터 하나 이상의 시뮬레이션된 이미지를 생성하도록 구성된 2개 이상의 디코더 층 - 상기 신경망은, 완전 연결된 층을 포함하지 않으므로 상기 2개 이상의 인코더 층에 입력된 이미지의 크기에 대한 제약을 제거함 -
을 포함하는 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
제1항에 있어서, 상기 신경망은 완전 컨볼루션(fully convolutional) 모델로서 구성되는 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
제1항에 있어서, 상기 신경망은 깊은 생성 모델(deep generative model)로서 구성되는 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
제1항에 있어서, 상기 신경망은 콘볼루션 신경망(convolutional neural network)으로서 구성되는 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
제1항에 있어서, 상기 신경망은 생성적 적대적 네트(generative adversarial net)로서 구성되는 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
제1항에 있어서, 상기 신경망은 조건 생성적 적대적 네트(conditional generative adversarial net)로서 구성되는 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
제1항에 있어서, 상기 신경망은 생성적 적대적 네트워크 및 가변 오토인코더로 구성되는 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
제1항에 있어서, 상기 신경망의 일부는 콘볼루션 신경망(convolutional neural network)으로서 구성되는 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
제1항에 있어서, 상기 하나 이상의 컴퓨터 서브시스템, 상기 하나 이상의 구성요소, 및 상기 신경망은 상기 2개 이상의 인코더 층에 입력된 이미지를 크롭(crop)하지 않는 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
제1항에 있어서, 상기 하나 이상의 컴퓨터 서브시스템, 상기 하나 이상의 구성요소, 및 상기 신경망은 상기 2개 이상의 크로핑된 이미지로부터 상기 하나 이상의 시뮬레이션된 이미지를 재구성하지 않는 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
제1항에 있어서, 상기 하나 이상의 컴퓨터 서브시스템은, 기존 신경망의 완전히 연결된 층을 콘볼루션 층들의 그룹으로 대체하여 신경망을 생성함으로써 상기 신경망을 설정하도록 구성되는 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
제1항에 있어서, 상기 하나 이상의 컴퓨터 서브시스템은. 경계 효과를 변경하기 위해 포비-붕괴(fovy-decay) 가중 손실 함수를 사용하여 상기 신경망을 학습하도록 구성되는 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
제1항에 있어서, 상기 하나 이상의 컴퓨터 서브시스템은, 각각이 동일한 임의의 크기를 갖는 한 묶음의 트레이닝 이미지를 사용하여 상기 신경망을 트레이닝하도록 구성되는 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
제1항에 있어서, 상기 하나 이상의 컴퓨터 서브시스템은 한 묶음의 트레이닝 이미지를 사용하여 상기 신경망을을 트레이닝하도록 구성되고, 상기 묶음 내의 2개 이상의 트레이닝 이미지는 상이한 임의의 크기를 가지는 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
제1항에 있어서, 상기 2개 이상의 인코더 층에 입력된 이미지는, 상기 시료에 대해 생성된 전체 프레임 이미지인 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
제1항에 있어서, 상기 2개 이상의 인코더 층에 입력된 이미지는, 상기 시료에 대한 전체 다이 이미지인 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
제1항에 있어서, 상기 2개 이상의 인코더 층에 입력되는 이미지는, 전자 빔 기반 이미징 시스템에 의해 생성되는 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
제1항에 있어서, 상기 2개 이상의 인코더 층에 입력되는 이미지는, 광학 기반 이미징 시스템에 의해 생성되는 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
제1항에 있어서, 상기 2개 이상의 인코더 층에 입력된 이미지는, 검사 시스템에 의해 생성되는 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
제1항에 있어서, 상기 2 이상의 인코더 층에 입력되는 이미지는, 계측 시스템에 의해 생성되는 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
제1항에 있어서, 상기 시료는 웨이퍼인 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
제1항에 있어서, 상기 시료는 레티클인 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
제1항에 있어서, 상기 하나 이상의 컴퓨터 서브시스템은, 상기 하나 이상의 시뮬레이션된 이미지에 기초하여 상기 시료 상의 결함을 검출하도록 구성되는 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
제1항에 있어서, 상기 하나 이상의 컴퓨터 서브시스템은, 입력된 이미지에서 검출된 결함을 상기 2개 이상의 인코더 층 또는 상기 하나 이상의 시뮬레이션된 이미지로 분류하도록 구성되며, 상기 분류는 상기 하나 이상의 시뮬레이션된 이미지에 기초하여 수행되는 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
제1항에 있어서, 상기 하나 이상의 컴퓨터 서브시스템은, 상기 하나 이상의 시뮬레이션된 이미지에 기초하여 상기 시료의 하나 이상의 피처 또는 상기 시료에서 검출된 결함을 측정하도록 구성되는 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
제1항에 있어서, 상기 하나 이상의 컴퓨터 서브시스템은, 상기 하나 이상의 시뮬레이션된 이미지를 상기 2개 이상의 인코더 층에 입력된 이미지와 실질적으로 동일하게 하는 상기 피처의 값을 결정함으로써 상기 시료 상의 하나 이상의 구조의 표현을 학습하도록 구성되는 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
입력 이미지로부터 시뮬레이션된 이미지를 생성하도록 구성된 시스템에 있어서,
시료의 이미지를 생성하도록 구성된 이미징 서브시스템과,
이미지를 획득하도록 구성된 하나 이상의 컴퓨터 서브시스템과,
상기 하나 이상의 컴퓨터 서브시스템에 의해 실행되는 하나 이상의 구성요소
를 포함하고,
상기 하나 이상의 구성요소는,
신경망을 포함하고, 상기 신경망은,
상기 이미지의 피처를 결정하도록 구성된 2개 이상의 인코더 층과,
상기 결정된 피처로부터 하나 이상의 시뮬레이션된 이미지를 생성하도록 구성된 2개 이상의 디코더 층 - 상기 신경망은 완전히 연결된 층을 포함하지 않으므로 상기 2개 이상의 인코더 층에 대한 상기 이미지 입력의 크기에 대한 제약을 제거함 -
을 포함하는 것인 시뮬레이션된 이미지를 생성하도록 구성된 시스템.
입력 이미지로부터 시뮬레이션된 이미지를 생성하기 위한 컴퓨터 구현 방법을 수행하기 위해 하나 이상의 컴퓨터 시스템에서 실행 가능한 프로그램 명령어를 저장하는 비일시적 컴퓨터 판독 가능한 매체로서, 상기 컴퓨터 구현 방법은,
시료에 대한 이미지를 획득하는 단계와,
상기 이미지를 신경망의 2개 이상의 인코더 층에 입력함으로써 상기 시료에 대한 상기 이미지의 피처를 결정하는 단계와,
상기 결정된 피처로부터 하나 이상의 시뮬레이션된 이미지를 생성하는 단계 - 상기 하나 이상의 시뮬레이션된 이미지를 생성하는 단계는, 상기 신경망의 2개 이상의 디코더 층에 의해 수행되고, 상기 획득하는 단계, 상기 결정하는 단계, 및 상기 생성하는 단계는, 상기 하나 이상의 컴퓨터 시스템에 의해 수행되고, 상기 하나 이상의 컴퓨터 시스템에 의해 하나 이상의 구성 요소가 실행되고, 상기 하나 이상의 구성요소는 상기 신경망을 포함함 -
를 포함하는 것인 비일시적 컴퓨터 판독 가능한 매체.
입력 이미지로부터 시뮬레이션된 이미지를 생성하기 위한 컴퓨터 구현 방법에 있어서,
시료에 대한 이미지를 획득하는 단계와,
상기 이미지를 신경망의 2개 이상의 인코더 층에 입력함으로써 상기 시료에 대한 상기 이미지의 피처를 결정하는 단계와,
상기 결정된 피처로부터 하나 이상의 시뮬레이션된 이미지를 생성하는 단계 - 상기 하나 이상의 시뮬레이션된 이미지를 생성하는 단계는, 상기 신경망의 2개 이상의 디코더 층에 의해 수행되고, 상기 획득하는 단계, 상기 결정하는 단계, 및 상기 생성하는 단계는, 하나 이상의 컴퓨터 시스템에 의해 수행되고, 상기 하나 이상의 컴퓨터 시스템에 의해 하나 이상의 구성요소가 실행되고, 상기 하나 이상의 구성요소는 상기 신경망을 포함함 -
를 포함하는 시뮬레이션된 이미지를 생성하기 위한 컴퓨터 구현 방법.