KR20220147660A - 공정과 연관된 공정 메트릭 예측 방법 및 장치 - Google Patents

Abstract

본 발명은 방법을 제시하는데, 본 방법은 공정 데이터를 입력하는 것을 기반으로 제조 공정의 공정 메트릭을 예측하도록 구성된 하나 이상의 모델을 획득하는 것; 및 새로운 공정 데이터를 하나 이상의 모델에 입력하는 것을 기반으로 하나 이상의 모델 및/또는 하나 이상의 모델의 모델 구성을 평가하기 위해 강화 학습 프레임워크를 사용하는 것과, 새로운 공정 데이터를 입력하는 것을 기반으로 공정 메트릭을 예측하는데 있어서의 하나 이상의 모델 및/또는 모델 구성의 성능 표시를 결정하는 것을 포함한다.

Description

공정과 연관된 공정 메트릭 예측 방법 및 장치

관련 출원에 대한 상호 참조

본 출원은 2020년 4월 2일에 출원된 EP 출원 제20167729.1호 및 2020년 4월 20일에 출원된 EP 출원 제20170414.5호의 우선권을 주장하며, 이들의 내용은 원용에 의해 전체적으로 본 명세서에 포함된다.

본 발명은 공정과 연관된 공정 메트릭을 예측하기 위한 컴퓨터-구현 방법 및 장치에 관한 것이다. 구체적으로, 본 발명은 복수의 모델 구성으로부터, 공정 메트릭을 예측하기 위한 모델 구성을 선택하는 것에 관한 것이다. 본 방법 및 장치는 산업적 제조 공정, 예를 들어 반도체 제조 공정에 적용 가능할 수 있다.

반도체 기판을 패터닝하는 공정과 같은 제조 공정은 전형적으로 공정이 안정적인지 여부를 모니터링하기 위해 제조 공정을 특징짓는 특징(feature)들의 적절한 등록(registration)을 필요로 한다. 이러한 특징의 예는 제조에 사용되는 장비 및 기판에 제공되는 피처의 특성과 연관된 핵심 성능 지표(KPI)이다. 흔히 이러한 특징의 값은 공정 데이터로 지칭된다.

공정 데이터는 공정의 수율 또는 처리된 후 개별 기판의 품질과 같은, 제조 공정의 예상 특성을 추론하기 위하여 사용되는 예측 모델에 대한 입력으로서 중요하다. 오늘날에는 이러한 예측 모델이 제조 장비의 작동 매개변수를 수정하는 것과 같은 공정을 제어하는 데 추가로 사용되며 및/또는 하나 이상의 공정 단계를 거친 후 개별 기판에 대하여 재작업 결정을 내리는 데 도움을 준다는 것이 일반적이다.

그러나, a) 흔히 제조 공정을 특징짓는 특징이 상당한 발전 (드리프트, 점프)을 보여주고 있고 및/또는 b) 공정 데이터의 양이 고정되어 있지 않고 시간이 지나면서 증가하며, 이런 이유로 초기에 선택된 예측 모델 또는 예측 모델 구성이 나중에 더 이상 최적이 아닌 경우가 많기 때문에, 현재의 예측 모델의 사용은 상당히 다소 정적이며 따라서 시간이 지남에 따라 정확도를 잃기 쉽다.

본 발명의 목적은 최신 기술 방법의 단점을 극복하는 것이다.

본 발명의 제1 양태에 따르면, 공정과 연관된 공정 메트릭을 예측하기 위한 모델 구성을 복수의 모델 구성으로부터 선택하는 컴퓨터 구현 방법이 제공된다. 본 방법은 복수의 모델 구성과 연관된 값 및 공정의 특징과 연관된 값을 포함하는 공정 데이터를 획득하는 것, 공정 데이터를 기반으로 복수의 모델 구성의 각 모델 구성에 대한 성능 표시를 평가하는 것, 평가된 성능 표시를 기반으로 모델 구성을 선택하는 것, 선택된 모델 구성을 갖는 모델을 이용하여 공정 메트릭을 예측하는 것, 및 예측된 공정 메트릭을 컴퓨터에 의하여 출력하는 것을 포함한다.

공정은 산업 처리, 산업 제조, 기후 예측, 교통 관리, 네트워크 관리, 경계 예측, 의료 진단, 또는 복합적인 환경에서의 임의의 다른 공정 중 하나를 포함할 수 있다.

공정 메트릭은 공정의 특성을 포함할 수 있다. 공정 메트릭은 수율, 공정의 품질, 공정의 실패 확률, 공정 환경에서의 구성 요소의 고장 확률, 진단 상태 중 하나를 포함할 수 있다.

공정 메트릭을 예측하는 것은, 선택된 모델 구성을 갖는 모델에 대한 입력으로서 공정의 특징과 연관된 값을 제공하는 것, 및 모델로부터의 출력으로서 공정 메트릭의 예측을 수신하는 것을 포함할 수 있다.

본 방법의 단계는 컴퓨터 시스템의 하나 이상의 프로세서에 의해 수행될 수 있다.

공정 데이터는 공정이 발생하는 환경과 연관된 단일 특징 또는 다수의 특징, 그리고 공정의 단일 특성 또는 다수의 특성과 연관된 값을 포함할 수 있다. 특징은 공정이 발생하는 환경의 상태를 나타낼 수 있다. 특징의 예는 임계 치수, 온도, 파워이다.

복수의 모델 구성과 연관된 값은 환경에서의 현재의 모델 구성 세트를 포함할 수 있다. 복수의 모델 구성과 관련된 값은 이전에 선택된 모델 구성을 사용하여 예측된 이전에 예측된 공정 메트릭의 정확도를 포함할 수 있다. 즉, 이 방법은 반복적으로 수행될 수 있으며 또한 이전 반복으로부터의 데이터를 사용할 수 있다. 정확도는 표준 성능 측정 기술, 예를 들어 수신자 조작 특성 아래 영역(AUC-ROC) 값 또는 정밀도와 재현율을 이용하여 결정될 수 있다.

성능 표시는 선택된 모델에 의해 이루어진 예측의 성능 (예를 들어, 정확도)의 측정치를 나타낼 수 있다. 상기 성능 표시는, 예를 들어 어드밴테이지 이점 함수 또는 시간적 차이를 사용하여 분석적으로 결정될 수 있다.

이 방법을 사용하면 성능이 현재 모델 구성의 성능을 초과하는 경우 상이한 모델 구성이 선택될 수 있다. 유익하게는, 이러한 방법은 다음의 이점을 제공한다:

공정 메트릭은 증가된 정확도로 예측될 수 있다. 특히, 예를 들어 본 명세서에서 설명된 방법이 발견적 방법이기보다는 데이터에 따라 처리하는 방법이기 때문에, 정확도는 수동 개입을 사용하여 달성될 수 있는 것보다 더 높을 수 있다. 본 명세서에서 설명된 방법을 사용하여 모델 구성을 선택하는 것은 수동 개입을 사용하여 달성될 수 있는 것보다 훨씬 빠르며, 이에 의하여 예측 공정에 대한 실시간 업데이트를 허용한다. 본 명세서에서 설명된 방법을 이용하는 것 그리고 이를 이용한 보정을 적용하는 것은, 예를 들어 공정이 최적화되고 가동 중지 시간이 방지됨에 따라 공정의 수율을 증가시킬 수 있다. 본 방법이 많은 환경 및 공정에 적용될 수 있고 또한 새로운 환경 및 공정을 학습하도록 및/또는 환경 및 공정 내의 변화를 학습하도록 트레이닝될 수 있기 때문에, 본 명세서에서 설명된 방법은 또한 매우 유연하다.

부가적으로, 본 명세서에서 설명된 방법을 사용함으로써, 예를 들어 더 적은 모델이 저장될 필요가 있기 때문에 일반적인 방법보다 더 적은 저장 공간을 필요로 하는 모델 선택 툴이 제공된다. 특히, 모델 구성의 선택이 완전히 새로운 모델을 요구하기 보다는 새로운 데이터에 응답하여 모델이 업데이트되는 것을 허용하기 때문에 더 적은 모델이 저장될 필요가 있다.

공정의 특징과 연관된 값은 시간이 지남에 따라 특징이 변경되는 방식과 관련된 데이터를 포함할 수 있다.

시간에 따라 특징이 변화하는 방식과 연관된 데이터는 시간적 변화 데이터로 지칭될 수 있다. 시간적 변화 데이터는 시간 경과에 따라 모니터링된 특징과 연관된 값을 포함할 수 있다. 드리프트 상태는 특징의 시간적 변화를 기반으로 결정될 수 있다. 드리프트 상태는 드리프트 이벤트를 식별하기 위해 사용될 수 있다. 드리프트 상태는 드리프트 없음, 갑작스런 드리프트, 점진적인 드리프트, 증분 드리프트, 반복 개념 드리프트 중 하나를 포함할 수 있다. 드리프트 상태는 대안적으로, 예를 들어 선택된 기간이 경과한 후 주기적으로 결정될 수 있다.

각 모델 구성은 모델 유형, 모델 매개변수 및/또는 모델 초매개변수 중 하나 이상을 포함할 수 있다.

모델 유형은 모델 아키텍처 유형 및/또는 알고리즘 유형을 나타낼 수 있다. 모델 매개 변수는 트레이닝 데이터를 이용한 모델의 트레이닝 동안 결정되는 매개변수를 나타낼 수 있다. 모델 초매개변수는 전형적으로 트레이닝 전에 설정되는 모델의 매개변수를 나타낼 수 있다. 초매개변수의 예는 그리디니스(greediness), 학습률, 계층의 수이다.

모델 구성을 선택하는 것은 제1 모델 유형, 제1 모델 매개변수 및 제1 모델 초매개변수를 갖는 제1 모델을 선택하는 것을 포함할 수 있다. 제1 모델 유형 및/또는 제1 모델 매개변수 및/또는 제1 모델 초매개변수는 이전에 선택된 모델의 이전 모델 유형, 이전 모델 매개변수 및 이전 모델 초매개변수와 동일할 수 있다. 즉, 이전에 선택된 것과 동일한 모델 구성을 유지하는 것이 유리하다는 점이 결정될 수 있다. 대안적으로, 제1 모델 유형, 제1 모델 매개변수 및 제1 모델 초매개변수 중 하나 이상은 이전 모델 유형, 이전 모델 매개변수 및/또는 이전 모델 초매개변수와 다를 수 있다.

모델 유형은 서포트 벡터 머신, 신경망, 또는 랜덤 포레스트(random forest)를 포함할 수 있다.

모델 구성을 선택하는 것은 그의 모델 매개 변수를 업데이트하기 위해 모델을 재트레이닝시키는 것을 포함할 수 있다. 특히, 모델을 재트레이닝시키는 것은 드리프트 이벤트 후에 수행될 수 있다. 모델은 공정의 하나 이상의 특징과 연관된 값을 사용하여 재트레이닝될 수 있다.

모델 구성을 선택하는 것은 공정의 특징과 연관된 값을 포함하는 데이터세트를 더 기반으로 할 수 있다. 데이터세트는 본 방법의 이전 반복으로부터의 저장된 값을 포함할 수 있다. 데이터세트는 공정의 특징과 연관된 이전에 측정된 값을 포함할 수 있다.

모델 구성을 선택하는 것은 데이터세트의 크기 또는 데이터세트의 서브세트의 크기를 더 기반으로 할 수 있다. 데이터세트의 크기는 데이터세트 내의 다수의 값을 포함할 수 있다. 서브세트는 특정 특징과 연관된 데이터세트의 값 세트를 포함할 수 있다. 데이터세트의 크기 또는 데이터세트의 서브세트의 크기가 예정된 임계값을 초과하는 경우 하나의 모델 유형에서 상이한 모델 유형으로 전환하는 것이 유리한 것이라는 점이 결정될 수 있다.

본 방법 단계는 강화 학습을 이용하여 수행될 수 있다. 본 방법 단계는 무모델 강화 학습(model-free reinforcement learning)(MFRL) 프레임워크의 적어도 일부로서 수행될 수 있다.

처리 데이터를 획득하는 단계, 성능 메트릭을 평가하는 단계 그리고 모델 구성을 선택하는 단계는, 액터-크리틱 알고리즘(actor-critic algorithm), 어드밴테이지 액터-크리틱 알고리즘(advantage actor-critic algorithm), 비동기적 어드밴테이지 액터-크리틱 알고리즘(asynchronous advantage actor-critic algorithm), 정규화된 어드밴테이지 함수를 갖는 Q-학습, 신뢰 영역 정책 최적화 알고리즘, 근위 정책 최적화 알고리즘, 트윈 딜레이드 심층 결정론적 정책 경사법 또는 소프트 액터-크리틱 알고리즘 중 하나 이상을 이용하여 수행될 수 있다.

공정 데이터를 획득하는 단계와 성능 메트릭을 평가하는 단계는 크리틱을 포함하는 하나 이상의 프로세서에 의해 수행될 수 있으며, 모델 구성을 선택하는 단계는 에이전트를 포함하는 하나 이상의 프로세서에 의해 수행될 수 있다.

공정 데이터를 획득하는 단계, 성능 메트릭을 평가하는 단계 그리고 모델 구성을 선택하는 단계는 모델 구성을 선택하기 위한 선택 접근법을 규정하는 정책 함수(J(θ))를 결정하는 것; 및/또는 정책 함수의 종료시까지 정책 함수에 따른다는 점을 가정하여 공정 메트릭 예측의 향상을 규정하는 가치 함수(V(θ))를 결정하는 것을 포함할 수 있다. 즉, 강화 학습 프레임워크는 정책 기반 프레임워크 및/또는 가치 기반 프레임워크를 포함할 수 있다.

선택 접근법은 모델 구성이 선택되는 방식을 통제하는 것으로 규정될 수 있다. 선택 접근법은 정책의 종료시까지의 총 보상을 기반으로 할 수 있는 알고리즘을 포함할 수 있다. 정책 기능을 최적화하기 위해 경사 상승이 사용될 수 있다.

본 방법은 예측된 공정 메트릭을 기반으로 공정에 대한 보정을 결정하는 것을 더 포함할 수 있다. 보정은 예측된 공정 메트릭 및/또는 공정의 특징과 연관된 값을 기반으로 결정될 수 있다. 보정은 공정의 성능 메트릭을 개선하기 위해 결정될 수 있다. 보정이 결정되는 이 방법에서, 본 방법은 공정에 대한 보정을 결정하기 위한 방법으로 지칭될 수 있다.

본 방법은 상기 보정을 공정에 적용하는 것을 더 포함할 수 있다. 보정은 선택적으로 적용될 수 있으며, 예를 들어 예측된 공정 메트릭이 임계값을 넘는 경우에만 보정이 적용될 수 있다. 조정이 적용되는 이 방법에서, 본 방법은 조정을 공정에 적용하기 위한 방법으로 지칭될 수 있다. 조정의 적용은 공정의 공정 메트릭을 향상시킬 수 있다.

공정은 반도체 제조 공정을 포함할 수 있다. 반도체 제조 공정은 반도체 제조 장치, 예를 들어 리소그래피 장치에서 수행될 수 있다. 반도체 제조 장치는 공정의 특징을 측정하기 위해 배열된 측정 장치를 포함할 수 있거나, 이 측정 장치와 통신할 수 있다.

보정은 반도체 제조 공정을 수행하도록 배치된 반도체 제조 장치의 광학적 및/또는 기계적 매개변수를 조정하기 위해 또는 반도체 제조 공정의 처리 단계를 변경하기 위해 결정될 수 있다. 예를 들어, 반도체 제조 공정의 특정 단계에서의 선량(dose)은 변경될 수 있다. 또 다른 예에서, 방사선의 빔은 광학적 및/또는 기계적 조정을 사용하여 상이한 위치로 조정될 수 있다.

공정의 특징과 연관된 값은 반도체 제조 공정의 적어도 일부분을 모니터링하도록 배열된 검사 장치에 의해 생성될 수 있다. 검사 장치는 계측 툴로 지칭될 수 있다. 검사 장치는 기판을 검사하도록 배열되어 후속 층들 사이의 오버레이 오차, 라인 두께 또는 임계 치수와 같은, 기판 및/또는 기판 상의 패터닝된 구조체의 피처를 측정할 수 있다.

본 발명의 제2 양태에 따르면, 복수의 모델 구성을 가지며 공정과 연관된 공정 메트릭을 예측하도록 구성된 모델 세트에 대해, 복수의 모델 구성의 각 모델 구성에 대한 성능 표시를 평가하기 위한 평가 모델을 트레이닝시키는 방법이 제공되며, 본 방법은: 모델 세트 중 적어도 하나에 의해 예측된 예측 공정 메트릭과 관련된 예측 데이터를 수신하는 것, 공정의 특징과 연관된 값을 수신하는 것, 및 수신된 값 및 수신된 예측 데이터를 기반으로 평가 모델을 트레이닝시키는 것을 포함한다.

평가 모델은 강화 학습 모델의 크리틱에 의하여 사용되는 정책 함수를 포함할 수 있다. 즉, 평가 모델은 크리틱을 포함하는 하나 이상의 프로세서에 의해 수행될 수 있다. 평가 모델을 트레이닝시키는 것은 수신된 값과 수신된 예측 데이터를 기반으로 정책 함수를 업데이트하는 것을 포함할 수 있다.

본 발명의 제3 양태에 따르면, 복수의 모델 구성을 가지며 공정과 연관된 공정 메트릭을 예측하도록 구성된 모델 세트에 대해, 복수의 모델 구성으로부터 모델 구성을 선택하기 위해 선택 모델을 트레이닝시키는 방법이 제공되며, 본 방법은 공정의 특징과 연관된 값을 수신하는 것, 특정 모델 구성을 이용하여 예측된 특정 예측 공정 메트릭의 성능을 나타내는 성능 표시를 수신하는 것, 및 수신된 값 및 수신된 성능 표시를 기반으로 선택 모델을 트레이닝시키는 것을 포함한다.

선택 모델은 강화 학습 모델의 에이전트에 의해 사용되는 정책 함수를 포함할 수 있다. 즉, 선택 모델은 에이전트를 포함하는 하나 이상의 프로세서에 의해 수행될 수 있다. 선택 모델을 트레이닝시키는 것은 수신된 값 및 수신된 성능 표를 기반으로 정책 함수를 업데이트하는 것을 포함할 수 있다. 예를 들어, 상이한 모델 구성을 사용하여 각각 예측된 다수의 특정 예측된 공정 메트릭의 성능을 나타내는, 하나보다 많은 성능 표시가 수신될 수 있다.

본 발명의 제4 양태에 따르면, 제2 또는 제3 양태에 따라 트레이닝된 기계 학습 모델이 제공된다. 기계 학습 모델은 컴퓨터 저장 매체에 저장될 수 있다.

본 발명의 제5 양태에 따르면, 공정 데이터를 입력하는 것을 기반으로 제조 공정의 공정 메트릭을 예측하도록 구성된 하나 이상의 모델을 획득하는 것; 및 새로운 공정 데이터를 하나 이상의 모델에 입력하는 것을 기반으로 하나 이상의 모델 및/또는 모델의 모델 구성을 평가하기 위해 강화 학습 프레임워크를 사용하는 것과, 새로운 공정 데이터를 입력하는 것을 기반으로 공정 메트릭을 예측하는데 있어서의 상기 하나 이상의 모델 및/또는 모델 구성의 성능 표시를 결정하는 것을 포함하는 방법이 제공된다.

제조 공정의 공정 메트릭을 예측하기 위한 각 모델은 모델 구성을 가질 수 있다. 성능 표시는 선택된 모델에 의해 수행된 예측의 성능 (예를 들어, 정확도)의 측정치를 나타낼 수 있다.

공정 메트릭은 제조 공정의 수율 또는 품질 매개변수와 연관될 수 있다.

모델 구성은 모델 유형, 모델 매개변수 및/또는 모델 초매개변수 중 하나 이상을 포함할 수 있다.

공정 데이터와 새로운 공정 데이터는 제조 공정의 특징을 포함할 수 있다. 공정 데이터는, 검증 세트, 트레이닝 세트 또는 테스트 세트와 같은 데이터세트를 포함할 수 있다. 공정 데이터는 제조 환경과 연관된 하나 이상의 특징 및/또는 제조 공정의 하나 이상의 특성과 연관된 값을 포함할 수 있다. 새로운 공정 데이터는 이전에 모델에 입력되지 않은 공정 데이터일 수 있다. 새로운 공정 데이터는, 예를 들어 계측 툴을 사용하여 제조 공정 동안 측정된 공정 데이터일 수 있다.

제조 공정은 반도체 웨이퍼를 패터닝하는 공정을 포함할 수 있다.

성능 표시는 예측된 공정 메트릭과 공정 메트릭의 달리 획득된 값을 비교하는 것을 기반으로 할 수 있다.

본 방법은 평가를 기반으로 모델 및/또는 모델 구성을 선택하는 것을 더 포함할 수 있다.

공정 메트릭은 패터닝 공정의 대상인 기판의 품질을 나타낼 수 있다.

공정 데이터는 제조 공정에 관여하는 복수의 기능 모듈에 연관된 핵심 성능 지표(KPI)를 포함할 수 있다.

하나 이상의 모델은 적어도 2개의 기계 학습 기반 모델을 포함할 수 있으며, 머신 러닝 기반 모델을 포함할 수 있으며, 각 모델은 상이한 아키텍처를 갖는 것이다.

하나 이상의 모델은 적어도 지도 학습을 기반으로 하는 제1 모델 및 비지도 학습을 기반으로 하는 제2 모델을 포함할 수 있다.

본 발명의 제6 양태에 따르면, 적절한 장치 상에서 실행될 때 제1, 제2, 제3 및/또는 제5 양태의 방법을 실행하도록 작동 가능한 명령어를 포함하는 컴퓨터 프로그램이 제공된다.

본 발명의 제7 양태에 따르면, 제6 양태의 컴퓨터 프로그램을 포함하는 컴퓨터 저장 매체가 제공된다.

본 발명의 제8 양태에 따르면, 제1, 제2, 제3 또는 제5 양태의 방법을 실행하도록 작동 가능한 명령어를 포함하는 저장 매체 및 처리 수단을 포함하는 반도체 제조 장치가 제공된다.

본 발명의 실시예가 첨부된 개략적인 도면을 참조하여 단지 예로서 설명될 것이며, 도면에서:
도 1은 복합적 환경에서 관찰되는 일반적인 드리프트 이벤트를 도시하고 있다.
도 2는 모델 선택 모델을 도시하고 있다.
도 3은 리소그래피 장치의 개략적인 개요를 도시하고 있다.
도 4는 공정과 연관된 공정 메트릭을 예측하기 위하여, 복수의 모델 구성으로부터 모델 구성을 선택하는 방법에서의 단계들의 흐름도를 도시하고 있다.

기계 학습 모델은 복합적인 환경에서 특성을 예측하기 위해 사용될 수 있다. 기계 학습 모델은 인공 신경망, 의사 결정 트리(decision tree), 서포트 벡터 머신(support vector machine) 및/또는 베이지안 네트워크(Bayesian network)와 같은 다양한 유형의 모델을 포함할 수 있다. 기계 학습 모델은 본 명세서에서 모델로 지칭될 수 있다.

각 모델은 모델 매개변수 세트를 갖고 있으며, 그 값은 트레이닝을 통해 유도된다. 기계 학습 모델은 지도 학습, 비지도 학습 또는 강화 학습과 같은 기술을 이용하여 트레이닝될 수 있다. 트레이닝에서, 환경과 연관된 트레이닝 데이터는 모델이 트레이닝되어 데이터 내의 패턴을 인식하고 모델 매개변수를 업데이트할 수 있도록 모델에 제공된다. 트레이닝 후, 모델은 환경과 연관된 수신된 데이터를 기반으로 환경에서의 특성을 예측하기 위해 사용될 수 있다.

각 모델은 또한 초매개변수 세트를 가지며, 초매개변수의 값 또는 유형은 전형적으로 트레이닝 전에 선택된다. 초매개변수는, 예를 들어 모델의 학습률, 결정 트리 모델(decision tree model)의 트리 깊이, 신경망의 계층 및/또는 뉴런 수, 강화 학습 모델(reinforcement learning model)의 탐색 대 활용을 포함할 수 있다.

모델을 사용하여 복합적인 환경 내의 특성을 예측할 때, 환경의 유형, 데이터의 양 및/또는 환경으로부터 수신된 데이터의 유형을 기반으로 모델의 유형 및 모델 초매개변수가 선택될 수 있다. 또한 모델은 그 환경에 대해 구체적으로 예측하기 위해 트레이닝되도록 모델은 환경으로부터의 트레이닝 데이터를 구비한다. 따라서 각 모델은 특정 환경에 맞게 조정된다.

모델은 다양한 환경 내의 특성 및/또는 이러한 환경 내에서의 공정을 예측하기 위해 사용될 수 있다. 이러한 환경의 예는 산업 처리 및/또는 제조 환경, 기상 시스템, 도로 또는 수로의 교통 시스템, 공공 장소에서의 군중, 컴퓨터 네트워크, 주식 시장과 같은 경제 시스템, 인체 또는 동물의 신체 (또는 그의 생체외 샘플)에서의 사용을 위한 의료 진단 시스템이다. 예를 들어, 모델은 산업 제조 또는 처리 환경에서의 산업 공정과 연관된 특성 (예를 들어, 수율, 품질, 처리량, 유지 관리 상태, 진단 상태)을 예측하기 위해 사용될 수 있다. 모델을 사용하여 지역 또는 글로벌 기상 시스템에서 기상 유형 또는 이벤트 (예를 들어, 허리케인, 폭염)의 가능성 및/또는 위치를 예측할 수 있다. 모델은 복합적인 환경에서의 움직임, 예를 들어 무리 속 동물의 움직임, 군중 속 사람의 움직임 또는 도로 위의 차량 움직임을 예측하기 위해 사용될 수 있다. 모델은 컴퓨터 네트워크에서의 유연성 및/또는 드롭아웃(droptout)을 예측하기 위해 사용될 수 있다. 모델은 의료 진단, 예를 들어 의료 기기로부터 수신된 데이터를 기반으로 의학적 질환의 가능성을 예측하는 데 사용될 수 있다. 환경에서의 일부 특성은 측정될 수 있는 특징, 예를 들어 온도, 농도 또는 속도와 연관되며, 간단히 특징으로 지칭될 수 있다. 환경에서의 일부 특성은 환경에서 발생하는 공정과 연관되며 (예를 들어, 공정의 수율, 성공적인 진단의 가능성), 따라서 공정 메트릭(process metric)으로 지칭될 수 있다.

위의 환경 및 기타 환경은 복합적이고 시간이 지남에 따라 동적으로 변화된다. 각 환경은 다수의 내부 및/또는 외부 자극의 영향을 받는다. 각 자극과 그것이 환경에 미치는 영향 사이의 관계는 전형적으로 잘 이해되지 않는다. 환경으로부터의 트레이닝 데이터를 고려해볼 때, 기계 학습 모델은 모델이 특정 자극 및/또는 환경에 대한 자극의 특정 효과를 결정할 수 있는지 여부에 관계없이 환경의 특성을 예측하도록 트레이닝될 수 있다.

많은 복합적인 환경은 드리프트를 경험하며, 여기서 특성의 평균값은 시간이 지남에 따라 체계적으로 변화한다. 특정 시간 또는 기간에서의 드리프트의 발생은 드리프트 이벤트(drift event)로 지칭될 수 있다. 도 1a 내지 도 1d는 복합적인 환경에서 관찰되는 공통적인 드리프트 이벤트를 도시하고 있다. 각 드리프트 이벤트는 시간에 따라 측정된, 환경 특성의 측정된 평균값을 사용하여 도시된다. 각 경우에, 측정값은 드리프트 이벤트에서 제1 평균값(10)에서 제2 평균값(12)으로 전이된다.

도 1a에 도시된, 갑작스러운 모집단 드리프트로 지칭되는 드리프트 이벤트는 측정값이 일반적으로 불연속적으로 제1 평균값(10)에서 제2 평균값(12)으로 전이될 때 발생한다. 측정값은 전이에 뒤이은 제2 평균값(12)에서 유지된다. 예를 들어, 환경에 대해 불연속적인 조정, 예를 들어, 제조 장치의 작동 매개변수의 변경, 기상 시스템에 영향을 미치는 화산 폭발 또는 미치는 태양 이벤트 등이 이루어질 때 갑작스러운 모집단 드리프가 발생할 수 있다.

도 1b에 도시된, 점진적인 모집단 드리프트로 지칭되는 제2 드리프트 이벤트는 측정값이 제1 평균값(10)에서 제2 평균값(12)으로 전이될 때 발생하며, 전이는 제1 평균값(10)에서 감소하는 기간들 사이에 제2 평균값(12)에서 더욱더 긴 기간을 포함한다. 이는 여러 번 발생할 수 있다. 제1 평균값(10)과 제2 평균값(12) 사이의 전이는 전반적으로 불연속적이다. 제1 평균값(10)이 제2 평균값(12)으로 전이될 때마다, 측정값이 제2 평균값(12)에서 유지되는 시간의 양이 증가한다. 도 1에 도시된 예에서, 측정된 값은 제1 기간(13), 제2 기간(14) 및 제3 기간(15) 동안 제2 평균값에서 유지되며, 여기서 제3 기간(15)은 제2 기간(14)보다 길며, 제2 기간(14)은 제3 기간(13)보다 길다. 실제 환경에서의 점진적인 모집단 드리프트의 예는, 예를 들어 약물 (환자는 이 약물에 대해 내성 또는 저항력을 성장시킴)의 투여량을 증가시키는 방식으로 환자를 치료하는 의학적 질환의 증상 및 기구 내의 파편의 축적으로 인하여, 시간이 지남에 따라 심각성을 증가시키는 간헐적 결함이다.

도 1c에 도시된, 증분 모집단 드리프트로 지칭되는 제3 드리프트 이벤트는, 측정값이 제1 평균값(10)에서 시작하고 예를 들어, 점진적인 증분 증가 또는 점진적인 증분 감소에 있어서 제2 평균값(12)으로 점진적으로 전이될 때 발생한다. 즉, 전이는 일반적으로 전이 기간(16)에 걸쳐 연속적이다. 증분 모집단 드리프트의 예는 온도를 점진적으로 증가시키고, 예를 들어 수율의 증분 증가를 야기하는 제조 장치이다. 추가 예는 시간이 지남에 따라 오염 물질의 축적에 의하여 야기되는 대기 효과일 수 있다.

도 1d에 도시된, 반복되는 모집단 개념으로 지칭되는 제4 드리프트 이벤트는 측정값이 제1 평균값(10)에서 시작하고 제2 평균값(12)으로 전이될 때 발생한다. 제1 평균값(10)과 제2 평균값(12) 사이의 전이는 일반적으로 불연속적이다. 측정값은 제1 평균값(10)으로 전이되기 전에 제4 기간(17) 동안 제2 평균값(12)에서 유지된다. 실제 환경에서의 반복되는 모집단 개념의 예는 산업 기계에서의 간헐적 결함의 발생 또는 발적(flare) (또는 "급성 악화(flare-up)")을 나타내는 의학적 질환의 증상이다.

트레이닝된 기계 학습 모델은 학습을 위해 환경으로부터의 이력 데이터를 효과적으로 이용한다. 예를 들어, 기계 학습 모델은 측정값이 제1 평균 값(10)에 있는 기간으로부터의 트레이닝 데이터를 사용할 수 있다. 드리프트 이벤트 후, 측정값은 제2 평균 값(12)에 있다. 이와 같이, 트레이닝된 모델은 드리프트 이벤트에 뒤이은 특성을 정확하게 덜 예측할 수 있다 (즉, 감소된 정확도로 특성을 예측할 수 있다).

위에서 설명된 바와 같이, 드리프트 이벤트는 환경에서의 특징과 연관된 값에 있어서의 드리프트와 연관될 수 있다. 이러한 드리프트 이벤트는 특징 드리프트(feature drift)로 지칭될 수 있다. 그러나 드리프트 이벤트는 다른 수량과 연관될 수 있다. 예를 들어, 드리프트 이벤트는 공정 메트릭의 드리프트, 예를 들어 수율 감소에 대응할 수 있다. 이러한 드리프트 이벤트는 공정 드리프트로 지칭될 수 있다. 또 다른 예에서, 드리프트 이벤트는 특성을 예측하기 위해 사용되는 모델과 연관된 성능 메트릭에 대응할 수 있다. 즉, 모델 예측의 성능은, 예를 들어, 표준 성능 측정 기술 (예를 들어, 수신자 조작 특성 아래 영역(AUC-ROC) 값, 또는 정밀도와 재현율)을 이용하여 결정될 수 있으며 결정된 성능은 위에서 설명한 것과 유사한 드리프트 이벤트에서 증가 또는 감소할 수 있다.

드리프트 이벤트에 뒤이은 환경에서의 특성을 예측하는 것의 정확도를 증가시키기 위하여, 모델을 업데이트하는 것이 유익할 수 있다. 예를 들어, 모델은 측정값이 제2 평균값(12)에 있는 기간으로부터의 트레이닝 데이터를 사용하여 재트레이닝될 수 있다. 부가적으로 또는 대안적으로, 모델 아키텍처 및/또는 초매개변수는 업데이트될 수 있다. 이러한 업데이트 공정은 모델 구성을 선택하는 것으로 지칭될 수 있으며, 여기서 모델 구성은 특정 모델 유형, 아키텍처, 매개변수 및 초매개변수를 포함한다.

일반적으로 모델 구성의 선택은 작업자가 수동으로 모델 구성을 선택하는 수동적 개입을 통해 수행된다. 수동적 개입은 "발견적(heuristic)" 접근법을 포함할 수 있으며, 여기서 모델 구성은 직감(intuition)을 기반으로 선택된다. 발견적 접근법은 전형적으로 정확도가 낮다. 핵심 성능 지표(KPI)는 발견적 접근법을 개선하기 위해, 예를 들어 환경 내의 공정이 원하는 성능 윈도우 (즉, "적절한" 것으로 규정된 성능) 내에 유지되도록 KPI를 모니터링함으로써 사용될 수 있다. KPI는 통계 분석을 활용하여 모델 구성을 선택할 수 있다. 그러나, (통계 분석을 사용하는 것을 포함하는) 수동 개입은 전형적으로 모델 구성과 예측 품질 간의 복합적인 관계를 이해할 수 없다. 예를 들어, 학습률을 변경하는 것이 어떻게 예측을 향상시킬 수 있는지 또는 향상시킬 수 없는지 및/또는 모델 매개변수를 업데이트하기 위해 재트레이닝시키는 것이 언제 유리할 수 있는지 이해될 수 없다. 부가적으로, 수동 개입은 실시간 업데이트를 위하여 필요한 속도로 모델을 업데이트하지 못할 수 있다. 부가적으로, 수동 개입 방법은 전형적으로 드리프트 이벤트에 구체적으로 응답할 수 없다.

본 명세서에서는 모델 구성을 선택하기 위한 개선된 방법 및 시스템이 설명된다. 본 명세서에서 설명된 기술은 환경에서의 특성의 예측이 개선되도록 모델 구성을 선택 또는 업데이트하는 개선된 방법을 제공한다. 본 기술은 모델의 반응형 실시간 업데이트를 제공하며, 따라서 환경 변화, 예를 들어 드리프트 이벤트로 인하여 야기되는 변화에 응답적인 예측을 제공한다. 본 명세서에서 설명된 방법은 완전히 자동화될 수 있으며, 수동 개입의 필요성을 줄이거나 제거할 수 있다.

도 2는 모델 구성을 선택하기 위해 사용될 수 있는 모델 선택 모델(200)을 도시하고 있다. 모델 선택 모델(200)은 강화 학습 모델을 포함하고 있다. 모델 선택 모델(200)은 위에서 논의된 예시적인 환경들 중 하나, 또는 또 다른 복합적인 환경을 포함하는 환경(20)과 함께 사용된다.

환경(20)은 초기에 시간 t에서 상태 s_t에 있다. 상태 s_t는 데이터세트(D) 및 모델 구성(M) 세트 모두를 포함한다. 데이터세트(D)는 환경의 특징 (예를 들어, 기상 시스템 내의 온도, 산업 처리 환경에서의 파워 등)과 연관된 하나 이상의 값을 포함한다. 특징은, 예를 들어 계측 장치에 의해 측정될 수 있다. 데이터세트(D) 내의 개별 데이터 항목은 특징으로서 또는 특징과 연관된 값으로서 지칭될 수 있으며 이는 특징이 데이터 항목의 형태로 수치상으로 나타내어진다는 것을 표시한다는 점이 이해되어야 한다.

데이터세트(D)로부터 드리프트 상태(F)가 결정될 수 있다. 드리프트 상태(F)는 드리프트 이벤트, 및 선택적으로 상기 드리프트 이벤트의 하나 이상의 특징 (예를 들어, 드리프트 이벤트의 유형, 드리프트의 크기 등)을 식별할 수 있다. 드리프트 상태는 시간이 지남에 따라 특징을 모니터링함으로써 그리고 시간이 지남에 따라 특징이 변화하는 방식을 식별함으로써 결정될 수 있다. 예를 들어, 특징과 연관된 값은 새로운 값으로 불연속적으로 변경될 수 있으며 새로운 값에서 유지될 수 있어 갑작스러운 모집단 드리프트를 나타낸다. 임의의 수의 특징이 모니터링되어 드리프트를 결정할 수 있다. 시간이 지남에 따라 특성이 변화하는 방식과 관련된 데이터는 시간적 변화 데이터로서 지칭될 수 있다. 이러한 시간적 변화 데이터 및/또는 드리프트 상태는 데이터세트(D)에 저장될 수 있다.

환경(20)은 또한 트레이닝된 기계 학습 모델 세트를 포함하며, 이 모델들은 환경에서의 특성을 예측하도록 트레이닝되었다. 예를 들어, 이 모델들은 데이터세트(D)의 이력 데이터에 대해 트레이닝을 받았을 수 있다. 각 기계 학습 모델은 모델 구성을 갖고 있다. 따라서 모델 구성(M) 세트는 세트 내의 각 모델의 구성이다. 모델 세트는 임의의 유형의 모델을 포함할 수 있으며, 예를 들어 이는 환경에서의 특성을 예측하도록 작동 가능한 신경망 및/또는 강화 학습 모델을 포함할 수 있다.

환경(20)에서의 모델 세트의 각 모델은 환경의 특성을 예측하도록 작동 가능하다. 주어진 시간에서, (연관된 모델 구성을 갖는) 모델이 선택되어 특성을 예측한다. 모델 선택 모델의 목적은 예측의 정확도가 개선되도록 각 주어진 시간에 대해 "최적의" 모델 구성을 선택하는 것이다.

환경은 시간 t에서 동작(a_t)을 통해 에이전트(22)에 의해 작용된다. 동작(a_t)은 에이전트(22)가 모델 구성을 선택하는 것을 포함한다. 즉, 동작(a_t)은 재트레이닝 동작 (모델의 모델 매개변수 업데이트) 및/또는 모델의 초매개변수를 변화 (예를 들어, 강화 학습 모델의 그리드니스(greediness)를 증가) 시키기 위한 및/또는 상이한 모델을 선택 (예를 들어, 예측을 위하여 강화 학습 모델을 사용하는 것에서 예측을 위하여 신경망을 사용하는 것으로의 전이)하기 위한 동작일 수 있다. 에이전트(22)는 환경에 작용함으로써 환경(20)이 그의 초기 상태(s_t) (여기서 제1 모델 구성이 선택된다)에서 새로운 상태(s_t+i)(여기서 제2 모델 구성이 선택된다)로 전이하게 한다. 동일한 모델 구성을 유지하는 것이 유익한 것으로 간주된다면 제2 모델 구성은 제1 모델 구성과 동등할 수 있다는 것이 완전성을 위하여 주목되어야 한다. 즉, 현재 사용 중인 모델 구성의 성능을 초과하면 다른 모델 구성이 선택된다.

초기 상태(s_t)에서 새로운 상태(s_t+i)로의 전이는 보상(r_t)을 반환한다. 보상(r_t)은 에이전트에 의하여 이루어진 동작에 뒤이은 성능의 척도이다. 예를 들어, 보상(r_t)은 선택된 모델 구성을 사용하여 이루어진 예측 (예를 들어, 예측된 특성)의 정확도를 포함할 수 있다. 정확도는 표준 성능 측정 기술, 예를 들어 수신자 조작 특성 아래 영역(AUC-ROC) 값 또는 정밀도와 재현율을 이용하여 결정될 수 있다.

에이전트(22)의 목표는 일정 기간(s₀, a₀, r₀, s₁, a₁, r₁, s₂, a₂, ...) 동안 상태, 동작 및 보상의 시퀀스로서 규정되는, 궤적에 대한 그의 동작의 총 보상을 최대화하는 것이다. 궤적에 대한 보상 시퀀스는 자체적으로 매개변수(θ)세트에 의해 통제되고 연관된 총 보상(J(θ))을 갖는 정책(π(θ))에 의해 통제된다. 에이전트(22)는 총 보상(J(θ))을 최적화하는 것을 목표로 한다. 일부 예시적인 구현 형태에서, 최적의 총 보상(J(θ))을 계산하기 위해, 예를 들어 경사 상승 (또는 하강)이 사용되어, 예를 들어 ∇_θJ(θ)를 계산할 수 있다. 유익하게 사용될 수 있는 다양한 유형의 강화 학습 기술이 있다. 단지 예로서, 액터-크리틱 알고리즘 (actor-critic algorithm), 어드밴테이지 액터-크리틱 알고리즘(advantage actor-critic algorithm), 비동기적 어드밴테이지 액터-크리틱 알고리즘(asynchronous advantage actor-critic algorithm), 정규화된 어드밴테이지 함수를 갖는 Q-학습(Q-learning with normalized advantage function), 신뢰 영역 정책 최적화 알고리즘(trust region policy optimization algorithm), 근위 정책 최적화 알고리즘(proximal policy optimization algorithm), 트윈 딜레이드 심층 결정론적 정책 경사법(twin delayed deep deterministic policy gradient) 또는 소프트 액터-크리틱 알고리즘(soft actor-critic algorithm)이 사용될 수 있다. 에이전트(22)는 초기 트레이닝 데이터세트를 사용하여 트레이닝될 수 있다. 에이전트(22)는 또한 데이터세트(D) 그리고 각 동작(a_t) 후에 받아들여진 보상(r_t)을 기반으로 연속적으로 학습할 수 있다.

에이전트(22)가 학습하는 것을 돕기 위해 (따라서 더 최적의 모델 구성을 선택하기 위해), 모델 선택 모델은 크리틱(24)을 구비하고 있다. 각 동작(a_t)이 에이전트(22)에 의해 수행된 후에 크리틱(24)은 환경(20)으로부터 보상(r_t)을 받는다. 크리틱(24)은 또한 환경(20)의 새로운 상태(s_t+1)에 관한 정보, 예를 들어 데이터세트(D) 및 모델 구성(M) 세트를 받는다. 크리틱(24)은 그 자체가 매개변수(ω) 세트에 의해 통제되고 연관된 총 보상(J(ω))을 갖는 정책(π(ω))에 의해 통제된다. 크리틱(24)의 목표는 총 보상(J(ω))을 최적화하고 환경(20)에 의해 반환된 보상을 기반으로 에이전트(22)에 스코어를 제공하는 것이다. 이와 같이, 크리틱(24)은 정보(c_t) (예를 들어, 성능 표시)를 에이전트(22)에 제공하여 에이전트(22)가 그의 정책(π(θ))을 추가로 최적화하는 것을 허용한다. 성능 표시는 에이전트의 동작의 성능의 측정치 (예를 들어, 정확도)를 나타낸다. 예를 들어, 성능 표시는 에이전트(22)에 의해 선택된 모델 구성을 사용하여 예측의 정확도를 나타낼 수 있다. 성능 표시는 예를 들어 어드밴테이지 함수(advantage function) 또는 시간적 차이를 사용하여 분석적으로 결정될 수 있다.

유리하게는, 이러한 모델 선택 모델은 환경에서의 특성의 예측을 향상시키는 모델 구성을 선택하는 수단을 제공한다. 모델 선택 모델을 사용함으로써, 수동 개입에 대한 필요성 없이 선택 (따라서 예측의 개선)이 수행될 수 있다. 모델 선택 모델을 사용함으로써, 선택은 실시간으로 영향을 받을 수 있으며 및/또는 드리프트 이벤트에 응답적일 수 있다.

이러한 모델 선택 모델의 사용은 리소그래피 장치를 포함하는 환경에서의 반도체 제조의 특정 공정의 예와 함께 아래에서 더 상세히 설명된다. 이것은 본질적으로 예시적인 것이며 본 명세서에서 설명된 방법 및 장치는 예를 들어 위에서 논의된 환경에서의 다른 적용을 위해 사용될 수 있다는 것이 이해되어야 한다.

리소그래피 장치는 원하는 패턴을 기판 상으로 적용시키도록 구성된 기계이다. 리소그래피 장치는, 예를 들어 집적 회로(IC)의 제조에 사용될 수 있다. 리소그래피 장치는, 예를 들어 패터닝 디바이스 (예를 들어 마스크)에 있는 패턴 (또한 "디자인 레이아웃" 또는 "디자인"으로 지칭됨)을 기판 (예를 들어, 웨이퍼) 상에 제공된 방사선-감응 재료 (레지스트)의 층으로 투영시킬 수 있다

패턴을 기판에 투영시키기 위하여, 리소그래피 장치는 전자기 방사선을 이용할 수 있다. 이 방사선의 파장은 기판 상에 형성될 수 있는 피처의 최소 크기를 결정한다. 현재 사용 중인 전형적인 파장은 365㎚ (i-라인), 248㎚, 193㎚ 그리고 13.5㎚이다. 4 내지 20㎚의 범위 내의, 예를 들어 6.7㎚ 또는 13.5㎚의 파장을 갖는 극자외(EUV) 방사선을 사용하는 리소그래피 장치는, 예를 들어 약 193㎚의 파장을 갖는 방사선을 사용하는 리소그래피 장치보다 더 작은 피처를 기판 상에 형성하기 위해 사용될 수 있다.

리소그래피 장치의 전통적인 분해능 한계보다 작은 치수를 갖는 피처를 처리하기 위하여 저(low)-k₁ 리소그래피가 사용될 수 있다. 이러한 공정에서, 분해능 공식은

으로서 표현될 수 있으며, 여기서 λ는 사용된 방사선의 파장이고, NA는 리소그래피 장치 내의 투영 광학계의 개구수이며, CD는 "임계 치수" (일반적으로 프린트된 가장 작은 피처 크기이지만, 이 경우 반분-피치(half-pitch))이고, k₁은 경험적 분해능 인자이다. 일반적으로, k₁이 작을수록 특정 전기적 기능과 성능을 달성하기 위하여 회로 설계자에 의하여 계획된 형상과 치수를 닮은 패턴을 기판 상에 재현하는 것이 더 어려워진다. 이 어려움을 극복하기 위하여, 정교한 미세-조정(fine-tuning) 단계가 리소그래피 투영 장치 및/또는 디자인 레이아웃에 적용될 수 있다. 이는, 예를 들어 개구수(NA)의 최적화, 맞춤화된 조명 스킴(scheme), 위상 시프트 패터닝 디바이스의 사용, 다자인 레이아웃에서의 광학 근접 보정(optical proximity correction)(OPC)과 같은 디자인 레이아웃의 다양한 최적화, 또는 일반적으로 "분해능 향상 기법(resolution enhancement techniques)(RET)"으로서 규정된 다른 방법을 포함하지만, 이에 제한되는 것은 아니다. 이 미세 조정 단계는 보정으로 지칭될 수 있다. 부가적으로, 리소그래피 장치의 안정성을 제어하기 위한 엄격한 제어 루프가 사용되어 저 k₁에서의 패턴의 재현을 개선할 수 있다.

위에서 설명된 리소그래피 패터닝의 어려움이 해결되지 않으면, 이는 패터닝 공정의 품질 저하로 이어질 수 있다. 패터닝 공정의 품질이 떨어지면, 이는 최종 패터닝된 기판의 품질 저하의 결과를 초래할 수 있다. 따라서 패터닝된 기판의 품질을 평가하는 것은 패터닝 공정 품질의 표시를 제공할 수 있다. 패터닝된 기판의 품질을 테스트하기 위하여, 패터닝된 기판이 기능하는지 여부가 테스트될 수 있다. 패터닝된 기판은 요소가 합격하는지, 즉 요소가 작동하는지 여부 또는 불합격했는지 (작동하지 않는지) 여부를 결정하기 위해 개별적으로 테스트될 수 있는 복수의 요소 (예를 들어, 다이)를 포함할 수 있다. 기판 상의 작동하는 요소의 비율은 기판의 수율(yield)로 지칭될 할 수 있다. 리소그래피 장치의 수율 및 대응하는 패터닝 공정을 개선하여 기판 상의 더 많은 작동하는 요소를 얻는 것이 바람직하다.

도 3 은 리소그래피 장치(LA)를 개략적으로 도시하고 있다. 리소그래피 장치(LA)는 방사선 빔(B) (예를 들어, UV 방사선, DUV 방사선 또는 EUV 방사선)을 조절하도록 구성된 조명 시스템 (또한 일루미네이터(illuminator)로 지칭됨) (IL), 패터닝 디바이스 (예를 들어, 마스크)(MA)를 지지하도록 구성되며 특정 매개변수에 따라서 패터닝 디바이스(MA)를 정확하게 위치시키도록 구성된 제1 포지셔너(PM)에 연결된 마스크 지지체 (예를 들어, 마스크 테이블)(MT), 기판 (예를 들어, 레지스트-코팅된 웨이퍼)(W)을 유지시키도록 구성되며 특정 매개변수에 따라서 기판 지지체를 정확하게 위치시키도록 구성된 제2 포지셔너(PW)에 연결된 기판 지지체 (예를 들어, 웨이퍼 테이블)(WT), 및 패터닝 디바이스(MA)에 의하여 방사선 빔(B)에 부여된 패턴을 기판(W)의 (예를 들어, 하나 이상의 다이를 포함하는) 타겟 부분(C) 상으로 투영시키도록 구성된 투영 시스템 (예를 들어, 굴절식 투영 렌즈 시스템)(PS)을 포함하고 있다.

작동 시에, 조명 시스템(IL)은 방사선 소스(SO)로부터 방사선 빔을, 예를 들어 빔 전달 시스템(BD)을 통해 받아들인다. 조명 시스템(IL)은 방사선을 지향시키고, 성형(shaping)하고 및/또는 제어하기 위하여, 굴절식, 반사식, 자기식, 전자기식, 정전식 및/또는 다른 유형의 광학 구성 요소 또는 이들의 임의의 조합과 같은 다양한 유형의 광학 구성 요소를 포함할 수 있다. 일루미네이터(IL)는 방사선 빔(B)이 패터닝 디바이스(MA)의 평면에서 그 횡단면에 원하는 공간 및 각도 세기 분포를 가지도록 조정하기 위하여 사용될 수도 있다.

본 명세서에서 사용되는 용어 "투영 시스템"(PS)은 이용되고 있는 노광 방사선에 대해 적합한 및/또는 침지 액체의 사용 또는 진공의 사용과 같은 다른 요인에 대해 적합한, 굴절식, 반사식, 반사 굴절식(catadioptric), 애너모픽(anamorphic), 자기식, 전자기식, 및/또는 정전식 광학 시스템, 및/또는 이들의 임의의 조합을 포함하는 다양한 유형의 투영 시스템을 포함하는 것으로 넓게 해석되어야 한다. 본 명세서에서의 용어 "투영 렌즈"의 임의의 사용은 더 일반적인 용어 "투영 시스템(PS)"과 같은 의미인 것으로 간주될 수 있다.

본 문헌에서, 용어 "방사선" 및 "빔"은 (예를 들어, 365, 248, 193, 157 또는 126㎚의 파장을 갖는) 자외 방사선 및 EUV (예를 들어, 약 5 내지 100㎚의 범위 내의 파장을 갖는, 극자외 방사선)를 포함하는 모든 유형의 전자기 방사선을 포함하도록 사용된다.

본 명세서에서 사용된 바와 같은 용어 "레티클", "마스크" 또는 "패터닝 디바이스"는 기판의 타겟 부분에 생성될 패턴에 대응하는, 입사 방사선 빔에 패터닝된 횡단면을 부여하기 위하여 사용될 수 있는 포괄적인 패터닝 디바이스를 지칭하는 것으로 넓게 해석될 수 있다. 용어 "광 밸브(light valve)"가 또한 본 명세서에서 사용될 수 있다. 전형적인 마스크 (투과식 또는 반사식, 바이너리(binary), 위상-시프트, 하이브리드(hybrid) 등) 외에, 다른 이러한 패터닝 디바이스의 예는 프로그램 가능한 미러 어레이 및 프로그램 가능한 LCD 어레이를 포함한다.

리소그래피 장치(LA)는, 투영 시스템(PS)과 기판(W) 사이의 공간을 채우기 위하여 기판의 적어도 일부분이 상대적으로 높은 굴절률을 가진 액체, 예를 들어 물로 덮일 수 있는 유형일 수 있으며- 이는 또한 침지 리소그래피로 지칭된다. 침지 기법에 대한 더 많은 정보가 미국 특허 제6,952,253호에 제공되며, 이는 원용되어 본 명세서에 포함된다.

리소그래피 장치(LA)는 또한 2개 이상의 기판 지지체(WT) (또한 "이중 스테이지"로 명명됨)를 갖는 유형일 수 있다. 이러한 "다중 스테이지" 기계에서, 기판 지지체(WT)들은 동시에 병렬로 사용될 수 있으며/또는 기판(W)의 후속 노광의 준비 단계는 기판 지지체(WT)들 중 하나에 위치된 기판(W)에 대해 수행되는 반면, 다른 기판 지지체(WT) 상의 또 다른 기판(W)은 다른 기판(W) 상의 패턴을 노광시키기 위해 사용되고 있다.

기판 지지체(WT)에 더하여, 리소그래피 장치(LA)는 측정 스테이지를 포함할 수 있다. 측정 스테이지는 센서 및/또는 세정 디바이스를 유지시키도록 배열된다. 센서는 투영 시스템(PS)의 특성 또는 방사선 빔(B)의 특성을 측정하도록 배열될 수 있다. 측정 스테이지는 다수의 센서를 유지시킬 수 있다. 세정 디바이스는 리소그래피 장치의 일부, 예를 들어 투영 시스템(PS)의 일부 또는 침지 액체를 제공하는 시스템의 일부를 세정하도록 배열될 수 있다. 측정 스테이지는 기판 지지체(WT)가 투영 시스템(PS)에서 떨어져 있을 때 투영 시스템(PS) 아래에서 이동할 수 있다.

작동 시, 방사선 빔(B)은 마스크 지지체(T) 상에서 유지되고 있는 패터닝 디바이스(MA), 예를 들어 마스크에 입사되고 패터닝 디바이스(MA) 상에 존재하는 패턴(디자인 레이아웃)에 의하여 패터닝된다. 마스크(MA)를 가로지른 방사선 빔(B)은 투영 시스템(PS)을 통과하며, 투영 시스템은 빔을 기판(W)의 타겟 부분(C) 상으로 집속시킨다. 예를 들어 상이한 타겟 부분(C)들을 집속되고 정렬된 위치에서 방사선 빔(B)의 경로 내에 위치시키기 위하여, 제2 포지셔너(PW)와 위치 측정 시스템(IP)의 도움으로 기판 지지체(WT)는 정확하게 이동될 수 있다. 유사하게, 제1 포지셔너(PM)와 (도 1에 명확하게 도시되지 않은) 가능하게는 또 다른 위치 센서는 방사선 빔(B)의 경로에 대해 패터닝 디바이스(MA)를 정확하게 위치시키기 위해 사용될 수 있다. 패터닝 디바이스(MA)와 기판(W)은 마스크 정렬 마크(M1, M2)와 기판 정렬 마크(P1, P2)를 사용하여 정렬될 수 있다. 도시된 바와 같은 기판 정렬 마크(P1, P2)들은 전용 타겟 부분을 점유하고 있지만, 이들은 타겟 부분들 사이의 공간에 위치될 수 있다. 기판 정렬 마크(P1, P2)들이 타겟 부분(C)들 사이에 위치될 때 이들은 스크라이브-레인 정렬 마크로 알려져 있다.

전형적으로, 리소그래피 장치(LA)에서의 패터닝 공정은 기판(W) 상의 구조체의 치수 및 배치의 높은 정확도를 요구하는 공정에서 가장 중요한 단계들 중 하나이다. 패터닝 공정 및/또는 기판(W) 및/또는 리소그래피 장치와 연관된 특성을 모니터링하는 것이 바람직하다. 이러한 특성은 피처(feature), 측정된 피처 또는 모니터링된 피처로 지칭될 수 있다.

리소그래피 장치(LA)는 또한 계측 툴로도 지칭될 수 있는 검사 장치(IA)를 포함하고 있다. 리소그래피 장치의 다른 예시적인 배열체에서, 검사 장치(IA)는 리소그래피 장치에 통합되지 않을 수 있으나 대신에 더 큰 리소그래피 시스템의 일부이거나 독립형 디바이스일 수 있다는 점이 주목되어야 한다. 리소그래피 장치(LA)에 통합된다면, 검사 장치(IA)는 도 3에 도시된 것과 다르게 위치될 수 있다.

검사 장치(IA)는 기판을 검사하도록 배열되어, 후속 층들 사이의 오버레이 오차, 라인 두께, 임계 치수(CD) 등과 같은, 기판(W) 및 기판 상의 패턴닝된 구조체의 피처를 측정한다. 오차가 검출되면, 보정, 예를 들어 후속 기판의 노광에 대한 보정 또는 기판(W)에 대해 수행될 다른 처리 단계에 대한 보정이 이루어질 수 있다. 검사 장치(IA)는 잠상 (노광 후의 레지스트 층의 이미지), 또는 반잠상 (노광-후 베이킹 단계(PEB) 후의 레지스트 층의 이미지), 또는 (레지스트의 노광된 또는 노광되지 않은 부분이 제거된) 현상된 레지스트 이미지, 또는 (에칭과 같은 패턴 전사 단계 후의) 심지어 에칭된 이미지의 피처를 측정할 수 있다. 검사 장치(IA)는 전형적으로 피처를 모니터링하고 모니터링된 피처와 연관된 값을 데이터세트에 저장할 것이다.

패터닝 공정의 특성, 예를 들어 패터닝 공정의 성능 또한 결정하는 것이 바람직할 수 있다. 이러한 특성은 공정 메트릭(process metric)으로서 지칭될 수 있다. 공정 메트릭은 직접 측정하기 어려울 수 있다. 대신, 예를 들어 기판 상에 존재하는 최종 패턴의 품질을 평가함으로써 공정 메트릭은 간접적으로 평가될 수 있다. 공정 메트릭은 공정 메트릭을 나타내는 특성, 예를 들어 수율(yield) (예를 들어, 적절하게 기능하는 기판의 요소의 비율)을 측정함으로써 평가될 수 있다. 각 다이가 기능 요소를 포함하는, 완벽하게 패터닝된 기판은 100%의 수율을 갖는다. 모든 다이들이 작동하지 않는 요소로 구성된 기판은 0%의 수율을 갖는다. 100% 또는 가능한 100%에 가까운 수율을 얻는 것이 고품질 리소그래피 패터닝의 목표이다. 수율은 검사 장치(IA) 또는 또 다른 관련 측정 장치로 측정될 수 있으며 처리 수단을 사용하여 평가될 수 있다.

리소그래피 장치는 프로세서(P) 또는 다른 처리 수단을 포함하고 있다. 프로세서(P)는 패터닝 공정의 특성, 예를 들어 패터닝 공정의 공정 메트릭을 예측하도록 작동 가능하다. 특히, 프로세서(P)는 모델 세트에 액세스할 수 있으며, 모델의 각각은 위에서 설명된 바와 같이 공정 메트릭을 예측하도록 구성되고 또한 각각은 모델 구성을 갖는다. 모델 세트 (및 그들의 대응하는 구성)는 컴퓨터 저장 수단에 저장된다. 각 모델은 데이터, 예를 들어 검사 장치(IA)에 의해 측정된 특징과 연관된 값을 구비하며, 이를 예측 공정에 대한 입력으로 이용한다. 즉, 모델은 검사 장치(IA)에 의해 측정된 특징을 사용하여 공정 메트릭을 예측할 수 있다. 데이터는 현재 데이터일 수 있거나 저장된 이력 데이터일 수 있다. 부가적인 데이터, 예를 들어 리소그래피 장치(LA)의 작동 매개변수가 예측 공정에 대한 입력으로서 제공될 수 있다. 이러한 모델의 세부 사항은 본 명세서에서 자세히 설명되지 않을 것이지만, 반도체 제조 공정에서 공정 메트릭을 예측하기 위한 모델의 예는 WO2018/202361, NL2024627 및 유럽 특허 출원 EP19186833.0에 설명된 모델의 더 많은 특성에 더 자세히 설명되어 있다.

유리하게는, 공정 메트릭을 예측하기 위해 모델을 사용함으로써, 보정이 소급적이라기보다는 (즉, 임계값을 넘은 수율에 대한 응답으로) 사전에 (즉, 수율이 임계값을 넘을 것으로 예상되기 전에) 계산되고 적용될 수 있다. 앞서 논의한 바와 같이, 반도체 제조 공정은 전형적으로 드리프트 이벤트(drift events)를 경험하는 복합적인 환경이다. 이와 같이, 모델 선택 모델 (예를 들어, 도 2를 참조하여 설명된 모델)은 모델 구성을 선택하기 위해 리소그래피 장치(LA)와 조합하여 사용되며, 그에 의하여 예측의 정확도를 향상시킨다.

도 4는 공정 메트릭의 예측이 개선될 수 있도록 모델 구성을 선택하기 위한 방법(400)의 흐름도를 도시하고 있다. 본 방법의 목적은 공정 메트릭을 예측하기 위한 모델 구성 세트로부터 특정 모델 구성을 선택하는 것이다. 유리하게는, 이 방법을 사용함으로써 공정 메트릭의 보다 정확한 예측을 제공하는 모델 구성이 선택될 수 있다. 제1 단계(402)에서, 공정 데이터가 획득된다. 공정 데이터는 리소그래피 장치(LA), 기판(W), 및/또는 패터닝의 특징과 연관된 하나 이상의 값 및 복수의 모델 구성과 연관된 하나 이상의 값을 포함한다. 공정 데이터는, 예를 들어 데이터의 트레이닝 세트, 검증 세트 및/또는 테스트 세트를 포함할 수 있다. 제2 단계(404)에서, 모델 구성(M) 세트의 각 모델 구성에 대해 성능 표시가 평가된다. 특히, 성능 표시는 예측 공정 (모델 구성은 이 예측 공정에 대해 트레이닝되었다)을 위한 각 모델 구성의 정확도를 나타낸다. 성능 표시는 공정 데이터를 기반으로 한다. 성능 표시는, 예를 들어 공정 데이터의 적어도 일부를 형성하는 테스트 세트를 기반으로 할 수 있다.

제3 단계(406)에서, 평가된 성능 표시를 기반으로 모델 구성이 선택된다. 선택된 모델 구성은 "최고" 성능 표시, 예를 들어 가장 높은 정확도를 갖는 것일 수 있다. 대안적으로, 평가된 성능 표시는 모델 구성을 선택하기 위해 성능 표시와 함께 이력 정보 및/또는 알고리즘을 사용하는 에이전트(agent)에 제공될 수 있다. 제4 단계(408)에서, 선택된 모델 구성을 갖는 모델 (즉, 선택된 모델)이 사용되어 공정 메트릭을 예측한다. 선택된 모델은 전형적으로 데이터 세트(D)의 적어도 일부분을 예측하기 위한 입력으로서 사용한다. 예측된 공정 메트릭은 선택된 모델의 출력이다. 제5 단계(410)에서, 예측된 공정 메트릭은 컴퓨터에 의해 출력된다.

트레이닝 세트, 검증 세트 및/또는 테스트 세트를 포함하는 공정 데이터의 사용에 대한 구체적인 참조가 본 명세서에서 이루어졌다. 용어 트레이닝 세트, 검증 세트 및 테스트 세트는 모델에 입력되는 데이터세트의 유형으로서, 본 기술 분야에서 사용되는 것으로 해석되어야 한다. 전형적으로, 트레이닝 세트는 모델 매개변수를 조정하기 위해 사용된다. 전형적으로, 검증 세트는 모델 초매개변수(hyperparameter)를 조정하기 위해 사용된다. 전형적으로, 테스트 세트는 모델의 성능의 측정을 제공하기 위해 사용된다. 그러나, 본 명세서 내의 방법이 모델 매개변수 및 모델 초매개변수를 조정하기 위한 그리고 상이한 모델 구성들의 성능을 평가하기 위한 수단을 제공한다는 점을 고려하면, 임의의 유형의 데이터세트가 공정 데이터로서 선택될 수 있다.

본 방법(400)은 강화 학습 기술, 예를 들어 도 2를 참조하여 설명된 모델 선택 모델(200)과 함께 사용될 수 있다. 이러한 예시적인 구현 형태에서, 크리틱(critic)(24)은 (단계 402에서) 공정 데이터를 획득한다. 공정 데이터는 시간(t+1)에서의 환경의 상태(s_t+1) (예를 들어, 모델 구성(M) 세트 및 기판/공정/장치의 하나 이상의 특징)와 연관된 값을 포함한다. 공정 데이터는 또한 에이전트(22)에 의해 이루어진 동작(a_t)(예를 들어, 선택된 모델의 모델 매개변수를 업데이트함)에 뒤이은 이전 시간(t)에서의 보상(reward)(r_t) (예를 들어, 예측 정확도의 표시)를 포함한다. 즉, 보상은 이전에 선택된 모델 구성을 이용한, 이전에 예측된 공정 메트릭의 정확도의 측정이다. 그 후 크리틱(24)은 획득된 공정 데이터를 기반으로 (단계 404에서) 성능 표시(c_t)를 평가하며 상기 성능 표시(c_t)를 에이전트(22)에 제공한다.

새로운 정보(즉, 성능 표시(c_t))를 고려해볼 때, 에이전트(22)는 (단계 406에서) 모델 구성을 선택한다. 선택된 모델 구성을 갖는 모델은 (단계 408에서) 공정 메트릭, 예를 들어 수율을 예측하기 위해 사용된다. (단계 410에서) 상기 공정 메트릭이 출력된다. 이 방법(400)을 기반으로, 에이전트(22)는 크리틱(24)으로부터 수신된 성능 표시를 기반으로 보다 최적의 모델 구성을 실시간으로 선택하는 것을 학습한다. 본 방법(400)은 반복적이며 또한 시간이 지남에 따라 반복될 수 있다. 본 방법(400)의 각 반복으로 (예를 들어, 시간(t, t+1, t+2...)에서), 에이전트(22)와 크리틱(24)은 평가된 보상 또는 성능 표시를 기반으로, 그리고 각 동작(a_t, a_t+i...)에 뒤이은 환경(20)의 업데이트된 환경(예를 들어, 상태(s_t, s_t+i　...))으로부터 수신된 부가적인 데이터로부터 학습할 수 있다. 부가적으로, 본 방법(400)의 각 반복으로, 부가적인 값 (예를 들어, 특성의 측정 및/또는 예측된 값)이 데이터세트(D)에 추가될 수 있으며, 그에 의하여 데이터세트(D)의 크기를 증가시킨다.

본 방법(400)을 수행하기 위해 강화 학습 기술을 사용할 때, 본 방법 단계는 무모델 강화 학습(model-free reinforcement learning)(MFRL) 프레임워크의 적어도 일부로서 수행될 수 있다. MFRL 프레임워크는 정책 기반 프레임워크를 사용할 수 있으며, 이 프레임워크는 정책 함수(policy function)(J(θ))를 이용하여 모델 구성을 선택하기 위한 선택 접근법을 규정한다. 선택 접근법은 모델 구성이 선택되는 방식을 통제한다. 선택 접근은 전형적으로 궤적에 대한 총 보상을 기반으로 할 수 있는 알고리즘이며, 여기서 상이한 선택 알고리즘은 상이한 알고리즘 및/또는 상이한 길이 궤적 및/또는 궤적의 상이한 지점에 대한 상이한 가중치를 사용한다. 가치 함수(V(θ)) 또한 사용될 수 있다. 현재 정책 함수(J(θ))가 궤적의 종료 (즉, 정책 함수의 끝)까지 따를 경우 가치 함수(V(θ))는 예측된 공정 메트릭의 향상을 규정한다. 크리틱에 의하여 결정된 성능 표시는 경사 상승 (즉, ∇_θJ(θ))을 사용하여 자동으로 유도된다. 본 방법(400)의 각 반복으로, 정책 함수(policy function)(P(s))가 업데이트되며, 그에 의하여 정확한 예측을 산출하는 모델 구성의 선택을 위해 이를 "최적화"시킨다.

크리틱(24)은 평가 툴로서 지칭될 수 있다. 크리틱(24)의 정책 함수는 평가 모델로서 지칭되며, 또한 성능 표시를 평가하도록 그리고 상기 성능 표시를 에이전트(22)에 전달하도록 구성된다. 크리틱(24)을 트레이닝시키는 것은 그의 정책 함수를 초기화하는 것 및/또는 업데이트하는 것을 포함할 수 있다. 크리틱(24)은 트레이닝 데이터, 예를 들어 데이터세트(D)로부터의 데이터 및/또는 또 다른 모델 선택 모델로부터의 이력 데이터 또는 모델 매개변수를 사용하여 초기에 트레이닝될 수 있다. 부가적으로 또는 대안적으로, 크리틱(24)은 공정 데이터, 선택적으로 데이터세트(D)로부터의 다른 값, 및 모델 구성과 연관된 값 (예를 들어, 보상)을 수신함으로써 그리고 이를 기반으로 그의 정책 함수를 업데이트함으로써 사용 중 트레이닝될 수 있다. 이 트레이닝은 본 방법(400)이 수행될 때마다 반복적으로 수행될 수 있다.

에이전트는 선택 툴로 지칭될 수 있다. 에이전트(22)의 정책 함수는 선택 모델(selection model)로 지칭되며, 또한 모델 구성을 선택하도록 구성된다. 에이전트(22)를 트레이닝시키는 것은 그의 정책 함수를 초기화시키는 것 및/또는 업데이트하는 것을 포함할 수 있다. 에이전트(22)는 트레이닝 데이터, 예를 들어 데이터세트(D)로부터의 데이터 및/또는 또 다른 모델 선택 모델로부터의 이력 데이터 또는 모델 매개변수를 사용하여 초기에 트레이닝될 수 있다. 부가적으로 또는 대안적으로, 에이전트(22)는 성능 표시, 선택적으로 데이터세트(D)로부터의 다른 값, 및 환경의 특징과 연관된 값을 수신함으로써 그리고 이를 기반으로 그의 정책 함수를 업데이트함으로써 사용 중 트레이닝될 수 있다. 이 트레이닝은 본 방법(400)이 수행될 때마다 반복적으로 수행될 수 있다.

본 방법(400)은 컴퓨터 처리 수단, 예를 들어 도 3의 프로세서(P)에 의하여 수행될 수 있다. 컴퓨터 처리 수단은 모델 세트가 저장된 메모리에 액세스할 수 있다. 모델 세트의 각 모델은 공정 메트릭(예를 들어, 수율)을 예측하도록 구성되며 그에 따라 트레이닝되었다. 각 모델은 모델 매개변수 (예를 들어, 트레이닝을 통하여 설정된 매개변수), 모델 초매개변수(예를 들어, 계층의 수, 그리디니스(greediness)) 및 선택적으로 모델 유형 (예를 들어, 신경망, SVM, 랜덤 포레스트(random forest))을 포함하는 모델 구성을 갖고 있다. 세트의 각 모델은 전형적으로 패터닝 공정, 기판(W), 및/또는 리소그래피 장치(LA)의 특징, 예를 들어 검사 장치(IA)에 의해 모니터링되는 특징과 연관된 값의 데이터세트(D)에 액세스할 수 있다.

특정 예에서 데이터세트(D)는 특히 리소그래피 장치(LA)의 드리프트 상태(drift status)와 관련된 데이터를 포함한다. 이러한 데이터는 드리프트 데이터(drift data)로서 지칭될 수 있다. 드리프트 상태를 포함하는 데이터 세트(D)를 사용하는 것은 드리프트 이벤트가 발생할 때 특히 유리하다. 드리프트 데이터는, 예를 들어, 기판과 연관된 특징을 모니터링함으로써 그리고 모니터링된 오버레이 측정의 변화를 기반으로 드리프트 이벤트를 결정함으로써 결정될 수 있다. 즉, 드리프트 데이터는, 시간이 지남에 따라 특징이 변경되는 방식과 연관될 수 있다. 예를 들어, 오버레이 측정은 시간이 지남에 따라 모니터링될 수 있으며, 또한 오버레이 측정이 일정 기간 동안 점진적으로 증가한다면, 증분 모집단(incremental population) 드리프트 이벤트는 식별될 수 있다.

리프트 데이터는 본 방법(400)의 단계 402에서 획득된 공정 데이터에 포함될 수 있다. 드리프트 이벤트의 경우, 크리틱(24)은 공정 데이터를 기반으로 하는 성능 표시의 그의 평가를 통하여, 이러한 드리프트 이벤트에 뒤이은 증가된 정확도로 예측할 수 있는 특정 모델 구성의 선택을 (에이전트(22)에 의하여) 권장할 수 있다. 특히, 크리틱(24)과 에이전트(22) 모두는 특정 모델 구성이 대응하는 특정 드리프트 이벤트에 뒤이어 더 정확한 예측을 산출할 수 있다는 것을 시간이 지남에 따라 학습할 수 있다.

또 다른 예에서, 공정 데이터는 데이터세트(D)가 포함하는 값들의 수를 나타내는 콘텐츠 가치(contents value)를 포함할 수 있다. 콘텐츠 가치는 전체 데이터 세트(D)의 값의 수를 나타낼 수 있거나, 특정 특성과 연관된 값, 예를 들어 오버레이 측정과 연관된 값의 수를 나타낼 수 있다. 콘텐츠 가치를 포함하는 이러한 공정 데이터는 특성과 연관된 콘텐츠 가치를 적어도 부분적으로 기반으로 모델 구성을 선택하기에 특히 유리할 수 있다. 특히, 일부 유형의 모델은 과적합(overfitting)되기 더 쉬우며, 따라서 더 많은 트레이닝 데이터가 사용 가능할 때 전형적으로 더 정확하다. 즉, 데이터세트(D)가 작을 때 제1 모델 유형(예를 들어, 서포트 벡터 머신)을 사용하는 것이 유리할 수 있지만, 데이터세트(D)의 크기가 커짐에 따라 (예를 들어, 본 방법(400)의 더 많은 반복이 수행됨에 따라) 제2 모델 유형 (예를 들어, 신경망)으로 전이시키는 것이 유익할 수 있다.

모델 구성을 선택하는 것은 여러 동작 중 하나를 포함할 수 있다. 제1 예에서, 시간 t에서 선택된 모델 (M_t로 표시)은 시간 t-1에서 이전에 선택된 모델 (M_t-1로 표시됨)과 동일한 모델 구성을 갖고 있다. 즉, 공정 메트릭의 가장 정확한 예측은 이전에 선택된 것과 동일한 모델(M_t-1)에 의해 이루어질 가능성이 있다는 점이 결정된다. 이 제1 예는 시간 t-1과 시간 t 사이에 드리프트 이벤트가 발생하지 않는 안정적인 시스템에서 더 가능성이 높다.

제2 예에서, 시간 t에서 선택된 모델(M_t)은 이전에 선택된 모델(M_t-1)과 비교하여 상이한 모델 구성을 갖는다. 제2 예에서, 모델 구성을 선택하는 것은 상이한 모델 유형을 가진 모델 구성을 선택하는 것을 포함한다. 예를 들어, 이전에 선택된 모델(M_t-1)이 서포트 벡터 머신이었다면, 모델 구성을 선택하는 것은 신경망 아키텍처를 갖는 새로운 모델(M_t)을 선택하는 것을 포함할 수 있다. 제2 예는 위에서 설명된 바와 같은 콘텐츠 가치를 포함하는 공정 데이터를 이용하는 시스템에서 특히 유익할 가능성이 있다.

제3 예에서, 시간 t에서 선택된 모델(M_t)은 이전에 선택된 모델(M_t-1)과 비교하여 상이한 모델 구성을 갖는다. 제3 예에서 모델 구성을 선택하는 것은 선택된 모델의 초매개변수를 변경하는 것을 포함한다. 즉, 새로운 모델(M_t)은 전반적으로 이전에 선택된 모델(M_t-1)과 동일할 수 있지만, 하나 이상의 초매개변수는 변경될 수 있다. 예를 들어, 강화 학습 유형의 모델을 사용할 때 시간이 지남에 따라 모델의 그리드니스(reediness)를 줄이는 것이 유익할 수 있다.

제4 예에서, 시간(t)에서의 선택된 모델(M_t)은 이전에 선택된 모델(M_t-1)과 비교하여 상이한 모델 구성을 갖고 있다. 제4 예에서, 모델 구성을 선택하는 것은 하나 이상의 모델 매개변수를 변경하는 것을 포함한다. 즉, 선택한 모델은 재트레이닝되어 그의 모델 매개변수를 업데이트한다. 선택된 모델이 드리프트 이벤트에 뒤이은 환경 상태와 연관된 트레이닝 데이터를 이용하여 재트레이닝될 수 있음에 따라 제4 예는 드리프트 이벤트 후에 특히 유리하다. 이와 같이 드리프트 이벤트에 뒤이어 모델을 재트레이닝시킴으로써 공정 메트릭은 드리프트 이벤트에 뒤이어 증가된 정확도로 결정될 수 있다.

본 방법(400)은 예측된 공정 메트릭을 출력으로서 제공한다. 본 방법(400)의 예시적인 구현 형태에서, 출력 공정 메트릭은 리소그래피 장치(LA) 및/또는 패터닝 공정에 대한 보정을 결정하기 위해 사용된다. 보정은 또한 조정으로 지칭될 수 있다. 보정은 리소그래피 장치(LA)의 성능 및/또는 패터닝 공정을 개선하기 위하여 계산된다. 보정의 예는 장치의 광학 구성 요소에 대한 조정, 리소그래피 장치에 제공되는 선량(dose)의 조정, 적용될 패턴의 변경이다.

그후 이러한 보정이 장치에 적용될 수 있으며, 이는 장치의 성능을 향상시킬 수 있다. 이와 같이, 공정 메트릭이 개선될 수 있으며, 예를 들어 보정은 개선된 수율로 이어질 수 있다. 이러한 경우에, 리소그래피 장치(LA)는 보정을 결정하도록 작동 가능한 프로세서(P) 및 상기 보정을 적용하기 위한 수단 모두를 포함한다. 예를 들어 예측된 공정 메트릭이 임계값을 넘는다면, 보정을 선택적으로 적용하는 것이 선택될 수 있다. 예를 들어, 예측 수율이 80% 미만으로 떨어지는 경우에만 보정을 적용하는 것이 유익하다. 대안적으로, 주기적으로 보정을 적용하는 것이 유익할 수 있다.

또 다른 예시적인 구현 형태에서, 예측된 공정 메트릭은 공정을 나타내는 데이터를 생성하기 위해 사용된다. 예를 들어, 공정 메트릭은 공정과 연관된 영역에 대한 맵을 생성하기 위해 사용될 수 있다. 일련의 예측된 공정 메트릭이 반도체 웨이퍼 상의 주어진 위치에서 패터닝 공정의 실패 확률에 대해 생성될 수 있다. 일련의 예측된 공정 메트릭을 고려해볼 때, 전체 웨이퍼에 걸쳐 실패 확률을 보여주는 맵이 생성될 수 있다. 대안적인 맵, 예를 들어 패터닝 공정을 뒤따르는 다수의 층에 대한 예측된 오버레이를 보여주는 오버레이 맵이 생성될 수 있다.

또 다른 예시적인 구현 형태에서, 예측된 공정 메트릭은 입력으로서 모델에 다시 제공되어, 예를 들어 모델을 트레이닝시키고 그에 의하여 그의 예측을 개선한다.

본 발명의 추가 실시예는 아래의 번호가 부여된 조항의 목록에 개시되어 있다:

1. 공정과 연관된 공정 메트릭을 예측하기 위한 모델 구성을 복수의 모델 구성으로부터 선택하는 컴퓨터 구현 방법에 있어서, 본 방법은:

복수의 모델 구성과 연관된 값 및 공정의 특징과 연관된 값을 포함하는 공정 데이터를 획득하는 것;

공정 데이터를 기반으로 복수의 모델 구성의 각 모델 구성에 대한 성능 표시를 평가하는 것;

평가된 성능 표시를 기반으로 모델 구성을 선택하는 것;

선택된 모델 구성을 갖는 모델을 이용하여 공정 메트릭을 예측하는 것;

예측된 공정 메트릭을 컴퓨터에 의하여 출력하는 것을 포함한다.

2. 조항 1의 방법에서, 공정의 특징과 연관된 값은 시간이 지남에 따라 특징이 변경되는 방식과 연관된 데이터를 포함한다.

3. 조항 1 또는 2의 방법에서, 각 모델 구성은 모델 유형, 모델 매개변수 및/또는 모델 초매개변수 중 하나 이상을 포함한다.

4. 조항 3의 방법에서, 모델 유형은 서포트 벡터 머신, 신경망, 또는 랜덤 포레스트(random forest)를 포함한다.

5. 조항 3 또는 4의 방법에서, 모델 구성을 선택하는 것은 모델 매개변수를 업데이트하기 위해 모델을 재트레이닝시키는 것을 포함한다.

6. 조항 1 내지 5 중 어느 한 조항의 방법에서, 모델 구성을 선택하는 것은 공정의 특징과 연관된 값을 포함하는 데이터세트를 더 기반으로 한다.

7. 조항 6의 방법에서, 모델 구성을 선택하는 것은 데이터세트의 크기 또는 데이터세트의 서브세트의 크기를 더 기반으로 한다.

8. 조항 1 내지 7 중 어느 한 조항의 방법에서, 방법 단계는 강화 학습에 의하여 수행된다.

9. 조항 8의 방법에서, 처리 데이터를 획득하는 단계, 성능 메트릭을 평가하는 단계 그리고 모델 구성을 선택하는 단계는; 액터-크리틱 알고리즘 (actor-critic algorithm), 어드밴테이지 액터-크리틱 알고리즘(advantage actor-critic algorithm), 비동기적 어드밴테이지 액터-크리틱 알고리즘(asynchronous advantage actor-critic algorithm), 정규화된 어드밴테이지 함수를 갖는 Q-학습(Q-learning with normalized advantage function), 신뢰 영역 정책 최적화 알고리즘(trust region policy optimization algorithm), 근위 정책 최적화 알고리즘(proximal policy optimization algorithm), 트윈 딜레이드 심층 결정론적 정책 경사법(twin delayed deep deterministic policy gradient) 또는 소프트 액터-크리틱 알고리즘(soft actor-critic algorithm) 중 하나 이상을 이용하여 수행된다.

10. 조항 8 또는 9의 방법에서, 공정 데이터를 획득하는 단계와 성능 메트릭을 평가하는 단계는 크리틱을 포함하는 하나 이상의 프로세서에 의해 수행되며, 모델 구성을 선택하는 단계는 에이전트를 포함하는 하나 이상의 프로세서에 의해 수행된다.

11. 조항 8 내지 10 중 어느 한 조항의 방법에서, 공정 데이터를 획득하는 단계, 성능 메트릭을 평가하는 단계 그리고 모델 구성을 선택하는 단계는;

모델 구성을 선택하기 위한 선택 접근법을 규정하는 정책 함수(J(θ))를 결정하는 것; 및/또는

정책 함수의 종료시까지 정책 함수에 따른다는 점을 가정하여 공정 메트릭 예측의 향상을 규정하는 가치 함수(V(θ))를 결정하는 것을 포함한다.

12. 조항 1 내지 11 중 어느 한 조항의 방법은 예측된 공정 메트릭을 기반으로 공정에 대한 보정을 결정하는 것을 더 포함한다.

13. 조항 12의 방법은 상기 보정을 공정에 적용하는 것을 더 포함한다.

14. 조항 1 내지 13 중 어느 한 조항의 방법에서, 공정은 반도체 제조 공정을 포함한다.

15. 조항 12 또는 13에 종속될 때 조항 14의 방법에서, 보정은 반도체 제조 공정을 수행하도록 배열된 반도체 제조 장치의 광학적 및/또는 기계적 매개변수를 조정하기 위해 또는 반도체 제조 공정의 처리 단계를 변경하기 위해 결정된다.

16. 조항 14 또는 15의 방법에서, 공정의 특징과 연관된 값은 반도체 제조 공정의 적어도 일부분을 모니터링하도록 배열된 검사 장치에 의해 생성된다.

17. 복수의 모델 구성을 가지며 공정과 연관된 공정 메트릭을 예측하도록 구성된 모델 세트에 대해, 복수의 모델 구성의 각 모델 구성에 대한 성능 표시를 평가하기 위한 평가 모델을 트레이닝시키는 방법은:

모델 세트 중 적어도 하나에 의해 예측된 예측 공정 메트릭과 관련된 예측 데이터를 수신하는 것;

공정의 특징과 연관된 값을 수신하는 것;

수신된 값 및 수신된 예측 데이터를 기반으로 평가 모델을 트레이닝시키는 것을 포함한다.

18. 복수의 모델 구성을 가지며 공정과 연관된 공정 메트릭을 예측하도록 구성된 모델 세트에 대해, 복수의 모델 구성으로부터 모델 구성을 선택하기 위해 선택 모델을 트레이닝시키는 방법은:

공정의 특징과 연관된 값을 수신하는 것;

특정 모델 구성을 이용하여 예측된 특정 예측 공정 메트릭의 성능을 나타내는 성능 표시를 수신하는 것;

수신된 값 및 수신된 성능 표시를 기반으로 선택 모델을 트레이닝시키는 것을 포함한다.

19. 조항 17 또는 18에 따라 트레이닝된 기계 학습 모델이 개시된다.

20. 본 발명의 방법은:

공정 데이터를 입력하는 것을 기반으로 제조 공정의 공정 메트릭을 예측하도록 구성된 하나 이상의 모델을 획득하는 것; 및

새로운 공정 데이터를 하나 이상의 모델에 입력하는 것을 기반으로 하나 이상의 모델 및/또는 하나 이상의 모델의 모델 구성을 평가하기 위해 강화 학습 프레임워크를 사용하는 것과, 새로운 공정 데이터를 입력하는 것을 기반으로 공정 메트릭을 예측하는데 있어서의 하나 이상의 모델 및/또는 모델 구성의 성능 표시를 결정하는 것을 포함한다.

21. 조항 20의 방법에서, 공정 메트릭은 제조 공정의 수율 또는 품질 매개변수와 연관된다.

22. 조항 20 또는 21의 방법에서, 구성은 모델 유형, 모델 매개변수 및/또는 모델 초매개변수 중 하나 이상을 포함한다.

23. 조항 20 내지 22 중 어느 한 조항의 방법에서, 공정 데이터와 새로운 공정 데이터는 제조 공정의 특징을 포함한다.

24. 조항 20 내지 23 중 어느 한 조항의 방법에서, 제조 공정은 반도체 웨이퍼를 패터닝하는 공정을 포함한다.

25. 조항 20 내지 24 중 어느 한 조항의 방법에서, 공정 메트릭을 예측하는데 있어서의 성능은 예측된 특성과 공정 메트릭의 달리 획득된 값을 비교하는 것을 기반으로 한다.

26. 조항 20 내지 25 중 어느 한 조항의 방법은 평가를 기반으로 모델 및/또는 모델 구성을 선택하는 단계를 더 포함한다.

27. 조항 26의 방법에서, 공정 메트릭은 패터닝 공정의 대상인 기판의 품질을 나타낸다.

28. 조항 20 내지 27 중 어느 한 조항의 방법에서, 공정 데이터는 제조 공정에 관여하는 복수의 기능 모듈에 연관된 핵심 성능 지표(KPI)를 포함한다.

29. 조항 20 내지 28 중 어느 한 조항의 방법에서, 하나 이상의 모델은 적어도 2개의 기계 학습 기반 모델을 포함하며, 각 모델은 상이한 아키텍처를 갖는 것이다.

30. 조항 29의 방법에서, 하나 이상의 모델은 적어도 지도 학습을 기반으로 하는 제1 모델 및 비지도 학습을 기반으로 하는 제2 모델을 포함한다.

31. 컴퓨터 프로그램은 적절한 장치에서 실행될 때 조항 1 내지 18 또는 20 내지 30 중 어느 하나 조항의 방법을 실행하도록 작동 가능한 명령어를 포함한다.

32. 컴퓨터 저장 매체는 조항 31의 컴퓨터 프로그램을 포함한다.

33. 반도체 제조 장치는 처리 수단 및 조항 1 내지 18 또는 20 내지 30 중 어느 한 조항의 방법을 실행하기 위하여 작동 가능한 명령어를 포함하는 저장 매체를 포함한다.

본 명세서에서 IC의 제조에서의 리소그래피 장치의 사용에 대하여 특정 참조가 이루어질 수 있지만, 본 명세서에서 설명되는 리소그래피 장치는 다른 적용을 가질 수 있다는 것이 이해되어야 한다. 가능한 다른 적용은 집적 광학 시스템, 자기 도메인 메모리용 유도 및 검출 패턴, 평판 디스플레이, 액정 디스플레이(LCD), 박막 자기 헤드 등의 제조를 포함한다.

리소그래피 장치와 관련하여 본 발명의 실시예에 대해 본 명세서에서 특정 참조가 이루어질 수 있지만, 본 발명의 실시예는 다른 장치에서 이용될 수 있다. 본 발명의 실시예는 마스크 검사 장치, 계측 장치, 또는 웨이퍼 (또는 다른 기판) 또는 마스크 (또는 다른 패터닝 디바이스)와 같은 대상물을 측정 또는 처리하는 임의의 장치의 일부를 형성할 수 있다. 이 장치는 일반적으로 리소그래피 툴로 지칭될 수 있다. 이러한 리소그래피 툴은 진공 조건 또는 대기 (비진공) 조건을 이용할 수 있다. 부가적으로, 본 명세서에서 설명된 방법은 비-리소그래피 장치에서 사용될 수 있다. 예를 들어, 보다 정확한 공정 메트릭을 결정하기 위해 본 방법이 사용될 수 있는 광범위한 환경이 본 명세서에서 설명되었다.

본 명세서에서 설명된 방법은 공정 메트릭으로서 수율을 예측하는 것에 대해 구체적으로 참조하였다. 그러나 본 방법은 임의의 다른 공정 메트릭의 예측을 위하여 사용될 수 있다. 반도체 제조 환경에서, 이러한 공정 메트릭은 품질, 패터닝 실패 확률, 부분 고장 확률, 진단 상태를 포함할 수 있다. 다른 환경에서, 다른 공정 메트릭, 예를 들어 공정의 실패 확률, 예를 들어 생체 외 진단 툴(ex-vivo diagnostic tool)의 오진단의 추정이 예측될 수 있다.

본 명세서에서 설명된 방법은 복수의 모델 구성 중에서, 공정과 연관된 공정 메트릭을 예측하기 위한 모델 구성을 선택하는 방법을 참조한다. 그러나 일부 예시적인 구현 형태에서, 하나보다 많은 모델 구성을 선택하는 것이 유리할 수 있다. 예를 들어, 제1 모델 구성을 이용하여 제1 공정 메트릭을 예측하고 제2 모델 구성을 이용하여 제2 공정 메트릭을 예측하는 것이 유리할 수 있다. 제1 및 제2 공정 메트릭은 동일한 메트릭 (예를 들어, 수율)을 포함할 수 있거나 상이한 메트릭들 (예를 들어, 수율 및 부분 고장의 확률)을 포함할 수 있다.

본 명세서에서 설명된 방법은 컴퓨터 프로그램의 명령어로서 구현될 수 있다. 컴퓨터 프로그램은 장치, 예를 들어 검사 장치(IA), 검사 장치, 또는 리소그래피 장치(LA)에서 실행될 수 있다. 이러한 컴퓨터 프로그램은 컴퓨터 저장 매체에 저장될 수 있다.

광학 리소그래피와 관련하여 본 발명의 실시예의 사용에 대해 위에서 구체적인 참조가 이루어질 수 있지만, 문맥이 허용하는 경우, 본 발명은 광학 리소그래피에 제한되지 않으며 다른 적용, 예를 들어 임프린트 리소그래피, 에칭, 현상 (예를 들어, 포토레지스트와 같은 레지스트의 현상) 및 화학적 기계적 연마에서 사용될 수 있다는 점이 인식될 것이다.

본 발명의 특정 실시예가 위에서 설명되었지만, 본 발명은 설명된 것과 다르게 실시될 수 있다는 점이 인식될 것이다. 위의 설명은 제한이 아닌, 예시적인 것으로 의도된다. 따라서, 하기에 제시된 청구범위의 범위를 벗어나지 않고서도 설명된 바와 같은 본 발명에 대하여 변형이 이루어질 수도 있다는 점이 본 기술 분야의 숙련된 자에게 명백할 것이다.

Claims (14)

1. 공정 데이터를 입력하는 것을 기반으로 제조 공정의 공정 메트릭을 예측하도록 구성된 하나 이상의 모델을 획득하는 것; 및
   새로운 공정 데이터를 상기 하나 이상의 모델에 입력하는 것을 기반으로 상기 하나 이상의 모델 및/또는 상기 하나 이상의 모델의 모델 구성을 평가하기 위해 강화 학습 프레임워크를 사용하는 것과, 상기 새로운 공정 데이터를 입력하는 것을 기반으로 상기 공정 메트릭을 예측하는데 있어서의 상기 하나 이상의 모델 및/또는 모델 구성의 성능 표시를 결정하는 것을 포함하는 방법.
2. 제1항에 있어서, 상기 공정 메트릭은 상기 제조 공정의 수율 또는 품질 매개변수와 연관된 방법.
3. 제1항 또는 제2항에 있어서, 상기 구성은 모델 유형, 모델 매개변수 및/또는 모델 초매개변수(hyperparameter) 중 하나 이상을 포함하는 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 공정 데이터 및 새로운 공정 데이터는 상기 제조 공정의 특징(feature)을 포함하는 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 제조 공정은 반도체 웨이퍼를 패터닝하는 공정인 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 공정 메트릭을 예측하는데 있어서의 상기 성능은 상기 예측된 공정 메트릭과 상기 공정 메트릭의 달리 획득된 값을 비교하는 것을 기반으로 하는 방법.
7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 평가를 기반으로 모델 및/또는 모델 구성을 선택하는 단계를 더 포함하는 방법.
8. 제7항에 있어서, 상기 공정 메트릭은 상기 패터닝하는 공정의 대상인 기판의 품질을 나타내는 방법.
9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 공정 데이터는 상기 제조 공정에 관여하는 복수의 기능 모듈에 연관된 핵심 성능 지표(KPI)를 포함하는 방법.
10. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 하나 이상의 모델은 적어도 2개의 기계 학습 기반 모델을 포함하며, 각 모델은 상이한 아키텍처를 갖는 것인 방법.
11. 제10항에 있어서, 상기 하나 이상의 모델은 적어도 지도 학습을 기반으로 하는 제1 모델 및 비지도 학습을 기반으로 하는 제2 모델을 포함하는 방법.
12. 컴퓨터 프로그램에 있어서,
    적절한 장치에서 실행될 때, 제1항 내지 제11항 중 어느 한 항의 방법을 실행하도록 작동 가능한 명령어를 포함하는 컴퓨터 프로그램.
13. 컴퓨터 저장 매체에 있어서,
    제12항의 컴퓨터 프로그램을 포함하는 컴퓨터 저장 매체.
14. 반도체 제조 장치에 있어서,
    처리 수단 및 제1항 내지 제11항 중 어느 한 항의 방법을 수행하도록 작동 가능한 명령어를 포함하는 저장 매체를 포함하는 반도체 제조 장치.

Images