KR102554791B1 - 데이터 세트로부터의 피쳐의 추출 - Google Patents

Abstract

데이터 세트로부터 피쳐를 추출하는 방법은, 데이터 세트 내에 포함된 잔차 패턴의 시각화(238)에 기반하여 상기 데이터 세트로부터 피쳐(244)를 반복적으로 추출하는 단계를 포함하고, 상기 피쳐는 이전의 반복에서 추출된 피쳐와 별개이며, 상기 잔차 패턴의 시각화는 상기 이전 반복에서 추출된 피쳐를 사용한다. 이전의 반복에서 추출된 피쳐를 사용하여 데이터 세트를 시각화(234)하는 것은, 타겟 데이터에 관련되는 속성 데이터의 잔차 패턴을 보여주는 것을 포함할 수 있다. 이전의 반복에서 추출된 피쳐를 사용하여 데이터 세트를 시각화(234)하는 것은, 이전의 반복에서 추출된 피쳐에 기반하여 데이터 세트에 클러스터 제약을 추가하는 것을 수반할 수 있다. 추가적으로 또는 대안적으로, 이전의 반복에서 추출된 피쳐를 사용하여 데이터 세트를 시각화(234)하는 것은, 이전의 반복에서 추출된 피쳐에 대하여 조건화된 조건부 확률을 규정하는 것을 수반할 수 있다.

Description

데이터 세트로부터의 피쳐의 추출

관련 출원에 대한 상호 참조

본 출원은 2019 년 3 월 6 일에 출원되고 그 전체 내용이 원용되어 본원에 통합되는 EP 출원 번호 19160933.8의 우선권을 주장한다.

본 발명은, 예를 들어 리소그래피 기법에 의한 디바이스의 데이터 세트에서 사용될 수 있는, 데이터 세트로부터 피쳐를 추출하는 방법에 관한 것이다. 또한, 본 발명은 연관된 컴퓨터 프로그램 및 컴퓨터 프로그램 제품, 및 리소그래피 장치 및 리소그래피 셀을 포함하는 장치에 관한 것이다.

리소그래피 장치는 기판 상에, 통상적으로는 기판의 타겟 영역 상에 원하는 패턴을 부여하는 장치이다. 리소그래피 장치는 예컨대 집적회로 IC의 제조 시에 사용될 수 있다. 그 경우, 마스크 또는 레티클(reticle)이라고도 불리는 패터닝 장치가 집적회로의 개별 층 상에 형성될 회로 패턴을 생성하기 위해 사용될 수 있다. 이러한 패턴은 기판(예를 들어, 실리콘 웨이퍼) 상의 타겟부(예를 들어, 다이의 일부, 하나 또는 몇몇 다이들을 포함) 상으로 전사될 수 있다. 패턴의 전사는 통상적으로 기판 상에 제공된 방사선-감응재(레지스트)층 상으로의 이미징(imaging)을 통해 수행된다. 일반적으로, 단일 기판은 연속적으로 패터닝되는 인접한 타겟부들의 네트워크를 포함할 것이다. 이러한 타겟부는 일반적으로 "필드"라고 불린다.

현재, 리소그래피 처리 중에는 많은 콘텍스트 데이터가 생성된다. 이러한 콘텍스트 데이터는 측정 및 머신/프로세스 설정 및 센서 판독치와 연관된 변수들의 값의 큰 세트이다. 리소그래피 프로세스의 품질은 성능 파라미터의 값들의 세트로 이루어진 소위 성능 데이터로 표현된다. 성능 파라미터는 CD(임계 치수) 제어, 오버레이 제어(디바이스 내의 두 층들의 정렬의 정확도) 또는 내재된 파라미터(예를 들어 초점 및 선량)에 관련될 수 있다. 성능 데이터는 리소그래피 프로세스를 제어할 수 있게 하기 때문에 매우 큰 관심 대상이다. 예를 들어, 오버레이 성능의 지식은 정정 동작(예를 들어 머신의 설정을 변경함으로써)을 수행하기 위해서 사용될 것이다. 동시에, 성능 데이터의 지식은 범위-밖 상황을 트리거링하기 위해서(예를 들어, 프로세스 제어 및 범위-밖 상황의 원인을 찾기 위하여) 유용하다.

리소그래피 장치(예컨대 스캐너) 및 처리 툴의 콘텍스트 파라미터는 제품 기판에 대한 패터닝 성능에 비선형적인 방식으로 영향을 준다. 리소그래피 단계가 복잡하기 때문에, 스캐너 성능에 대한 이러한 파라미터의 영향을 정확하게 예측하기 위해서 모델링하려면 내재된 물리적 프로세스에 대한 양호한 이해가 필요하다. 콘텍스트 파라미터는 하드웨어 설정 및 센서 측정을 포함할 수 있다. 콘텍스트 파라미터는 많은 횟수의 노광 동안에 용이하게 액세스가능하고 이용가능하다. 결과적으로, 고차원 데이터 세트에 대한 액세스가 제공되어, 결과적으로 곤란한 예측 문제가 초래된다(예컨대, 층-층 오버레이 예측 또는 이미지를 통한 결함의 분류). 이러한 데이터를 처리하면서 오랜 시간이 도메인 전문가인 사람에 의해 소요된다. 예를 들어, 이러한 처리는 진단, 수동 피쳐 엔지니어링, 안정한 신호의 발견 등을 위해서 관련된 피쳐를 선택하는 것을 포함한다.

본 명세서에서, 콘텍스트 데이터 세트 내의 원시 입력 파라미터 및 신호를 속성이라고 부른다(예를 들어, 적용된 자동적 프로세스 제어 루프 정정 또는 웨이퍼 스테이지 공기 온도). 이들은 스캐너 내의 센서로부터 직접적으로 얻어지는 파라미터일 수 있다. 속성들은 피쳐로서 선택될 수 있다. 구성 및/또는 엔지니어링되며 속성을 변환하는 파라미터 및 신호도 피쳐라고 불린다(예를 들어, 머신 지문). 머신 러닝의 당업자는 대응하는 엔티티를 가리키기 위해서 속성 및 피쳐라는 용어를 사용할 수 있다. 따라서, 피쳐는 피쳐 선택 프로세스에 의해서 속성으로부터 선택될 수 있다. 또한, 피쳐는 피쳐 추출 프로세스에 의하여 속성들의 변환 또는 조합으로부터 구성될 수도 있다.

예측 모델을 규정하기 이전에 고차원의 데이터 세트를 처리하기 위한 다양한 방법들이 존재한다(본 명세서에서는 학습 머신(learning machine)이라고도 불림). 이러한 접근법들은 다음을 포함한다:

1. 접근법은 데이터 처리를 모델링 프로세스의 일부로서 포함한다. 일부 학습 머신에서, 피쳐 추출 및 피쳐 선택은 모델링 프로세스의 일부이다. 예를 들어, 인공 신경망(ANN; Artificial Neural Network;)의 경우, 피쳐 추출/구성은 ANN을 위한 모델링 프로세스 내의 한 단계이다. ANN 내의 "숨은 계층(hidden layer)"은 출력 값(예를 들어, 감정)의 예측에 대해 관련되는 입력 데이터(예를 들어, 사람의 얼굴의 이미지의 픽셀)의 다양한 표현(즉, 피쳐)을 학습한다.

2. 접근법은 모델링하기 이전에 데이터 처리를 포함한다. 대부분의 학습 머신(예를 들어, 의사결정 트리, 선형 회귀 등)의 경우, 피쳐 선택 및 피쳐 추출은 전-처리 단계이다. 이러한 전-처리는 다음 기법들 중 하나의 또는 그 이상을 사용하여 수행될 수 있다:

2(a) 표준화 및 정규화: 대부분의 속성은 상이한 스케일이며, 표준화 및 정규화가 속성을 서로 비교할 수 있게 하는 것을 돕는다.

2(b) 신호 향상 잡음제거 또는 평활화, 및 필터의 적용은, 입력 속성을 개선시키는 것을 돕는다.

2(c) 선형 또는 비선형 공간 임베딩 방법. 이러한 방법들은 고차원의 데이터를 더 낮은(더 잘 해석될 수 있는) 차원에서 분석할 수 있게 한다. 이들은 데이터의 시각화를 가능하게 하기도 한다. 적절한 방법들은 주성분 분석(PCAP; Principal Component Analysis;), t-분산 확률적 이웃 임베딩(t-SNE; t-distributed stochastic neighbor embedding), 균일 매니폴드 근사화 및 투영(UMAP; Uniform Manifold Approximation and Projection) 등이다.

2(d) 비선형 확장(expansion)은 속성들을 승산하는 피쳐를 생성함으로써 데이터의 차원을 증가시키는데, 이것은 학습 머신을 돕게 된다.

전술된 방법은 피쳐 선택 및 추출을 위해 입수가능한 많은 양의 문헌에 대응한다.

증분 학습(incremental learning)에 대한 총괄적인 설명은 국제 특허 출원 공개 번호 제 WO2018133999에 의해 개시되는데, 이것은 본 명세서에서 원용에 의해 통합된다.

종래의 접근법들의 문제점은 다음과 같다:

데이터 탐색이 매우 고되고 시간이 많이 걸리는 작업일 수 있다: 인간의 눈은 고차원의 데이터 세트로부터 직접적으로 정보를 취출할 수 없다. 도메인 전문가는 태스크를 예측하는 것에 관련되는 어떤 패턴/지문이 그 안에 존재하는지를 파악하기 위해서, 데이터를 분석하면서 많은 시간을 소모한다.

리던던트 피쳐 및 스퓨리어스 상관: 리던던트 피쳐 및 스퓨리어스 상관을 보여주는 피쳐들은 예측 모델 내에 남아 있고, 그들의 예측 정확도를 감소시킨다.

"블랙-박스" 형태의 학습 머신: 많은 학습 머신은 블랙 박스이고, 도메인 전문가들은 어떤 모델이 왜 동작하거나 왜 동작하지 않는지를 이해하는 것이 어렵다. 인공 신경망은 매우 강력한 학습 머신이다; 그러나, 이들은 해석이 쉽지 않고, 이들이 추출하는 피쳐는 도메인 전문가에 의해 쉽게 이해될 수 없다.

데이터 시각화: 흔히, 차원 감소 방법 및 데이터 시각화 방법은 전문가에게 미지의 정보를 제공하지 못한다. 시각화는 도메인 전문가에 의해 이미 잘 알려져 있는 패턴을 보여주는 경향이 있다.

차원성(dimensionality) 및 관련된 피쳐를 누락하는 것의 폐해: 반도체 제조 시에, 데이터 세트는 보통 성능 파라미터의 라벨링된 데이터 포인트가 거의 없는 고차원의 데이터 세트이다(예를 들어, 고가의 측정치들). 대부분의 학습 머신은 진실되게 관련된 피쳐를 고립시킬 수 없기 때문에 양호한 예측을 수행할 수 없다. 흔히, 관련된 피쳐 중 일부는 그들의 관련성을 적합하게 평가할 충분한 데이터가 없기 때문에 쉽게 버려질 것이다.

도메인 전문가로부터의 지식을 예측 모델에서 사용하기 위한 피쳐 추출 및 선택에 포함시키기 위한 구조화된 방법은 존재하지 않는다. 이러한 지식은 도메인에 특이적이고, 문제 설정에 의존한다.

발명자들은 데이터 탐색(즉, 피쳐 선택 및 추출)을 위해서 사람이 보조하는(human-aided) 대화형 기법을 가지기 위한 방식을 고안했다. 도메인 전문가가 추출된 피쳐를 쉽게 해석할 수 있고 이해할 수 있으면 바람직하다. 본 발명은 피쳐 선택 및 추출, 데이터 클러스터링 및 매핑 및 그래프 구조 학습에 특화되어 맞춤된 확장 개념을 제안한다. 전술된 연관 문제 중 하나 이상을 회피 또는 적어도 완화하면서 사용자가 쉽게 해석가능한 예측 모델을 얻을 수 있게 하는, 피쳐 선택 및 추출을 위한 사람이 보조하는 프레임워크를 가지는 것이 바람직하다.

제 1 양태에서 본 발명은 반도체 제조 프로세스와 연관된 데이터 세트로부터 피쳐를 추출하는 방법으로서, 상기 데이터 세트 내에 포함된 잔차 패턴의 시각화에 기반하여 상기 데이터 세트로부터 피쳐를 반복적으로 추출하는 단계를 포함하고, 상기 피쳐는 이전의 반복에서 추출된 이전 피쳐와 별개이며, 상기 잔차 패턴의 시각화는 상기 이전 피쳐를 사용하는, 피쳐 추출 방법을 제공한다.

이러한 방법은 시각화를 제공할 때 상기 피쳐를 사용하는 것을 배제하도록, 이전 반복에서 추출된 피쳐를 사용하여 피쳐 선택을 수행하는 것을 더 포함할 수 있다.

제 2 양태에서 본 발명은 산업적 처리 방법으로서, 제 1 양태의 데이터 세트로부터 피쳐를 추출하는 방법을 포함하고, 추출된 피쳐를 사용하여 산업적 프로세스를 제어하는 단계를 더 포함하는, 산업적 처리 방법을 제공한다.

제 3 양태에서 본 발명은 컴퓨터 프로그램으로서, 적합한 컴퓨터 장치에서 실행될 때, 상기 컴퓨터 장치가 제 1 양태의 방법을 수행하게 하는 컴퓨터 판독가능 명령을 포함하는, 컴퓨터 프로그램을 제공한다.

제 4 양태에서 본 발명은 제 3 양태의 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품을 제공한다.

제 5 양태에서 본 발명은 제 1 양태의 방법의 단계들을 수행하도록 특정적으로 적응된 장치를 제공한다. 이러한 장치는 리소그래피 생산 프로세스를 수행하도록 동작가능한 리소그래피 장치로서 특히 구성될 수 있다. 이러한 장치는 리소그래피 생산 프로세스를 수행하도록 동작가능한 리소그래피 셀로서 특히 구성될 수 있다.

이제, 본 발명의 실시예들이 첨부된 도면을 참조하여 오직 예시에 의하여 설명될 것이다:
도 1은 본 발명에 따른 방법이 사용될 수 있는 리소그래피 셀 또는 클러스터를 도시한다.
도 2는 본 발명의 일 실시형태에 따라서 데이터 세트로부터 피쳐를 선택하고 추출하기 위한 방법의 흐름도이다.
도 3은 본 명세서에서 설명된 방법들을 구현하기에 유용한 컴퓨터 시스템 하드웨어를 도시한다.

본 발명의 실시예들을 상세하게 설명하기 이전에, 본 발명의 실시예들이 구현될 수 있는 예시적인 환경을 제시하는 것이 유익하다.

도 1은 본 발명에 따른 검사 장치가 사용될 수 있는 리소그래피 셀 또는 클러스터를 도시한다.

도 1에 도시된 것처럼, 리소그래피 장치(LA)는 리소셀 또는 클러스터라고도 지칭되는 리소그래피 셀(LC)의 일부를 형성하고, 이는 또한 기판 상에서 노광 전 그리고 노광 후 프로세스를 수행하기 위한 장치를 포함한다. 통상적으로, 이러한 장치는 레지스트층을 침착시키기 위한 스핀 코터(spin coater; SC), 노광된 레지스트를 현상하기 위한 현상기(DE), 냉각 플레이트(chill plate; CH), 및 베이크 플레이트(bake plate; BK)를 포함한다. 기판 핸들러 또는 로봇(RO)이 입력/출력 포트(I/O1, I/O2)로부터 기판을 픽업하여, 이들을 상이한 공정 장치 간에 이동시키며, 그 후 리소그래피 장치의 로딩 베이(loading bay; LB)에 전달한다. 통칭하여 트랙으로도 지칭되는 이들 장치는 감독 제어 시스템(supervisory control system; SCS)에 의해 제어되는 트랙 제어 유닛(TCU)의 제어 하에 있게 되며, 감독 제어 시스템은 또한 리소그래피 제어 유닛(LACU)을 통해 리소그래피 장치를 제어한다. 그러므로, 처리량 및 처리 효율을 최대화하기 위해 상이한 장치가 작동될 수 있다.

리소그래피 장치에 의해 노광되는 기판이 정확하고 일정하게 노광되도록 하기 위해서는, 노광된 기판을 검사하여 후속 층들 사이의 오버레이 에러, 라인 두께, 임계 치수(CD) 등과 같은 특성을 측정하는 것이 바람직할 수 있다. 이에 따라서, 리소셀(LC)이 그 안에 위치되는 제조 설비는, 리소셀 내에서 처리된 기판(W) 중 일부 또는 전부를 수용하는 계측 시스템(MET)을 더 포함한다. 계측 결과는 감독 제어 시스템(SCS)으로 직접적으로 또는 간접적으로 제공된다. 오차가 검출되는 경우, 특히 동일 배치(batch)의 다른 기판이 여전히 노광되기에 충분한 정도로 검사가 곧바로 신속하게 행해질 수 있으면, 후속 기판의 노광에 대한 조정이 이루어질 수 있다. 또한, 이미 노광된 기판들은 스트리핑되고 재작업(rework) 되며 - 수율을 개선하기 위하여 - 또는 폐기되어, 이를 통하여 오류가 있는 것으로 알려진 기판에 다른 처리를 수행하는 것을 회피할 수도 있다. 기판의 일부 타겟부에만 오류가 있는 경우, 양호한 것으로 간주되는 타겟부에만 추가의 노광이 수행될 수 있다.

계측 시스템(MET) 내에서, 기판의 특성, 및 구체적으로 상이한 기판의 특성 또는 동일 기판의 상이한 층의 특성이 층에 따라 어떻게 변화하는지를 결정하기 위해 검사 장치가 사용된다. 검사 장치는 리소그래피 장치(LA) 또는 리소셀(LC)에 통합될 수도 있고, 또는 독립형 장치일 수도 있다. 가장 신속한 측정을 할 수 있기 위해서는, 검사 장치가 노광 직후에 노광된 레지스트 층에서 특성을 측정하는 것이 바람직하다. 그러나, 레지스트 내의 잠상(latent image)이 매우 낮은 콘트라스트를 가지며 - 이 경우 방사선에 노광된 레지스트의 부분과 방사선에 노광되지 않은 부분 간에 단지 매우 작은 굴절률차가 있음 - 모든 검사 장치가 잠상의 유용한 측정을 행하기에 충분한 감도를 갖는 것은 아니다. 따라서, 통상적으로 노광된 기판에 대해 수행되는 첫 번째 단계이고, 레지스트의 노광된 부분과 노광되지 않은 부분 간의 콘트라스트를 증가시키는 단계인, 노광 후 베이크 단계(post-exposure bake step, PEB) 후에 측정이 이루어질 수 있다. 이 스테이지에서, 레지스트 내의 이미지는 반잠상(semi-latent)으로 지칭될 수 있다. 또한, 에칭과 같은 패턴 전사 단계 후에, 현상된 레지스트 이미지의 측정을 행하는 것도 가능하며, 그 시점에서 레지스트의 노광된 부분 또는 노광되지 않은 부분 중의 하나가 제거된다. 후자의 가능성은 오류가 있는 기판의 재작업에 대한 가능성은 제한하지만, 여전히 유용한 정보를 제공할 수 있다.

리소그래피 장치(예를 들어 스캐너) 노광의 콘텍스트 파라미터, 예컨대 노광 에너지 및 이미지 크기는 선형 및 비선형 방법으로 스캐너 성능(및 따라서 제품-내(on-product) 성능, 즉 오버레이 또는 임계 치수와 같은 제품 웨이퍼 상에서의 패터닝 성능)에 영향을 줄 수 있다.

피쳐 선택 및 피쳐 추출을 위한 다양한 방법이 존재한다. 위에서 언급된 바와 같이, 이들 중 일부는 모델링 자체의 일부이고(전술된 ANN의 설명을 참조한다), 다른 일부는 전처리 단계의 일부이다. 이들 대부분은 도메인 전문가로부터의 입력을 더 이상 요구하지 않는다; 분석은 순수한 데이터-주도(data-driven) 방식으로 이루어진다. 일부 다른 경우에, 수동 피쳐 엔지니어링(도메인 전문가로부터의 엔지니어링)이 사용되지만, 이것은 시간이 많이 걸리고 어려운 작업이다. 본 명세서에서 설명되는 실시형태에서 대화형 기법은 데이터-주도 방법을 인간 도메인 전문가로부터의 입력과 결합시킨다. 이러한 상호작용 때문에, 이러한 방법의 출력은 사람이 이해할 수 있고 쉽게 해석될 수 있어서 산업적인 제어를 개선하기 위한 오버레이 예측 또는 주원인 분석과 같은 예측 태스크를 위한 다른 학습 머신과 함께 추후에 사용하기 위한 전-처리된 데이터 세트이다.

도 2는 본 발명의 일 실시형태에 따라서 데이터 세트로부터 피쳐를 선택하고 추출하기 위한 방법의 흐름도이다.

이러한 방법은 원시 데이터(206)로부터 속성 및 타겟 데이터를 획득(204) 함으로써 시작된다(202). 따라서, 획득된 데이터 세트는 속성 데이터 및 타겟 데이터를 포함한다. 이러한 예에서 속성 데이터는 산업적 리소그래피 프로세스에 관련되는 콘텍스트 데이터를 포함하고, 타겟 데이터는 산업적 리소그래피 프로세스에 관련되는 타겟 성능 데이터를 포함한다. 클린업(clean-up)을 위한 시각화(208)가 수행된다. 시각화(210)가 디스플레이에 제공된다. 도메인 전문가는 디스플레이를 관찰하고 피드백을 입력한다(212). 피드백은 속성 관련성 및 스퓨리어스 상관(216)을 포함한다. 이들이 관련성이 없는 피쳐를 제거(214)하기 위하여 사용된다. 그러면 깨끗한 관련 데이터 세트(218)가 생성된다. 데이터 세트의 추가적인 클린-업은 시각화 단계(208)로 되돌아감으로써 수행된다. 클린업이 완료되면, 시각화가 추가적인 피쳐 선택 및 피쳐 추출을 위하여 정제된다(222). 정제(222)는 데이터의 구조체(220)의 도메인 전문가 입력(212)을 포함할 수 있다.

따라서, 단계 208 내지 214는, 클린업 시각화(clean-up visualization; 210)를 제공하도록 데이터 세트를 시각화하고(208), 클린업 시각화(210)에 기반하여 데이터 세트로부터 피쳐를 제거(214)함으로써 데이터 세트(206)를 수정하는 것을 보여준다. 피쳐를 제거(214)하는 것은, 이러한 예에서는 관련성 피쳐 및 스퓨리어스 상관(216)인 사용자 입력을 클린업 시각화(210)를 시청하는 것에 기반하여 수신하는 것(212)을 포함한다. 클린업 시각화에 기반하여 피쳐를 제거(214)하는 것은, 데이터 세트의 그래프 표현 상에서 노드 및 에지를 업데이트하는 것을 포함할 수 있다.

피쳐 선택(230)은 시각화(224)를 디스플레이로 출력한다. 시각화를 시청하면, 도메인 전문가는 피쳐(232)의 관련성을 피쳐 선택 단계(230)에 입력한다(226). 피쳐 선택 단계(230)는 순위가 매겨진(228) 관련된 피쳐를 출력한다. 피쳐 선택은 이전의 반복에서 추출된 피쳐를 사용하여(단계(242) 및 화살표(242 내지 230)로 표시된 바와 같음), 시각화(238)를 제공하는 데에 있어서 소정 피쳐의 사용을 배제한다.

타겟에 관련된 피쳐들의 잔차 패턴의 시각화(234)가 수행된다. 관련된 잔차 패터닝이 없다는 것이 결정되면(236), 피쳐 추출은 끝나고(250) 전-처리된 데이터가 출력된다(248). 관련된 잔차 패터닝(236)이 존재하면, 해당 시각화(238)가 디스플레이로 출력된다. 도메인 전문가는 새로운 피쳐(244)의 추출을 위한 입력(246)인 새로운 피쳐를 엔지니어링한다(240). 이러한 추출된 피쳐들(244)이 전-처리된 데이터(248)로 출력된다. 추출된 피쳐(244)는 또한, 피쳐 선택(224 내지 232) 및 피쳐 추출(234 내지 246)의 다음 반복으로 피드포워드된다(242).

따라서, 단계들(234 내지 246) 및 242, 230, 및 234 사이의 화살표들이 데이터 세트 내에 포함된 잔차 패턴의 시각화(238)에 기반하여 상기 데이터 세트로부터 피쳐(244)를 반복적으로 추출하는 것을 보여주고, 피쳐는 이전의 반복에서 추출된 피쳐와 별개이며, 잔차 패턴의 시각화(238)는 이전 반복(244, 242)에서 추출된 피쳐를 사용한다. 이전의 반복에서 추출된 피쳐를 사용하여 데이터 세트를 시각화(234)하는 것은, 타겟 데이터에 관련되는 속성 데이터의 잔차 패턴을 보여주는 것을 포함할 수 있다. 이전의 반복에서 추출된 피쳐를 사용하여 데이터 세트를 시각화(234)하는 것은, 이전의 반복에서 추출된 피쳐에 기반하여 데이터 세트에 클러스터 제약을 추가하는 것을 수반할 수 있다. 추가적으로 또는 대안적으로, 이전의 반복에서 추출된 피쳐를 사용하여 데이터 세트를 시각화(234)하는 것은, 이전의 반복에서 추출된 피쳐에 대하여 조건화된(conditioned) 조건부 확률을 규정하는 것을 수반할 수 있다.

피쳐를 추출하는 것은, 디스플레이 상에 개별 시각화(238)가 제공되는 사용자로부터 사용자 입력(240)을 수신하는 것을 포함한다. 반복하는 것은, 관련되는 것으로 밝혀진 잔차 패턴이 없을 때까지(236) 되풀이된다. 관련되는 잔차 패턴이 존재하는지 여부를 결정하는 것은, 속성 데이터 내의 패턴이 타겟 데이터에 상관되는지를 결정하기 위한 통계적 테스트를 사용하여 수행될 수 있다.

전-처리 데이터(248) 내의 추출된 피쳐는, 이러한 예에서는 리소그래피 프로세스인 산업적 프로세스를 제어하기 위하여 사용될 수 있다.

다음으로, 이러한 방법의 구현형태를 더 상세하게 설명한다.

단계 및 데이터(204-220)는 관련성이 없는 속성 및 스퓨리어스 상관을 지우는 것에 관련되는 피쳐 선택 페이즈이다. 도메인 전문가와의 상호작용의 이러한 제 1 페이즈는 관련성이 없는 속성, 리던던트 속성 및 스퓨리어스 상관을 나타내는 속성을 제거하기 위해서 수행된다. 예를 들어, 리소그래피 애플리케이션에서: 도메인 전문가는(1) 속성 "그리드 크기"가 주입 층의 오버레이를 예측하는 것과 관련되지 않는다는 것, 또는(2) 각각의 층이 상이한 레티클로써 노광되고, 따라서 층 콘텍스트 데이터에 대응하는 속성이 레티클들의 콘텍스트 데이터에 대응하는 속성과 중복된다는 것을 알고 있다. 그러면, 이러한 속성은 버려질 수 있다(214). 저차원의 데이터 세트(약 100 개의 속성)의 경우, 이것은 수동으로 수행될 수 있다. 더 큰 데이터 세트의 경우에는 이것이 불가능하고, 따라서 실시형태는 도메인 전문가로부터 효율적이고 정확한 방법으로 지식을 유도하는 알고리즘을 사용한다. 이러한 페이즈에 대두되는 여러 가능성들이 존재한다.

첫째로, 지식 유도 스킴은 확률적 방법과 함께 사용될 수 있다. 도메인 전문가는 피쳐의 관련성에 대한 피드백을 반복적인 방식으로 제공하고, 확률적 예측 모델은 이러한 피드백에 기반하여 적응된다. 지식 유도 방법은 주지된 다른 피쳐 선택 방법(예를 들어, 랜덤 포레스트(random forest) 또는 비변량(univariate) 방법)과 함께 통합될 수 있다.

둘째로, 사용자가 자신의 지식에 기반하여 그래프 내에서 노드 및 에지를 업데이트할 수 있는, 데이터의 그래프 표현이 사용될 수 있다.

예를 들어 다음과 같은 여러 접근법들이 이러한 피쳐 선택 페이즈를 위하여 사용될 수 있다:

- 피쳐들의 관련성에 대한 인간 입력이 있는 베이지안(Bayesian) 회귀 모델. 이러한 접근법에서, 인간 전문가는 각각의 피쳐 하나씩의 관련성에 대한 피드백을 제공한다. 이것은 수 백 개의 차원의 데이터 세트에 대해서는 유용할 수 있지만, 수 천 개의 차원을 가지는 데이터 세트로 양호하게 스케일링되지 않는다. 이것이 본 명세서에서 원용에 의해 통합되는 M. Larranaga, D. Gkorou, T. Guzella, A. Ypma, F. Hasibi, R. J. van Wijk, Towards interactive feature selection with human-in-the-loop, IAL workshop, pp. 85-88에 개시되어 있다.

- 유사도-기반 측정 (예를 들어, 상호 정보-기반 측정)을 사용하여, 본 명세서에서 원용에 의해 통합되는 Davide Albanese, Samantha Riccadonna, Claudio Donati, Pietro Franceschi; A practical tool for Maximal Information Coefficient analysis, GigaScience, giy032에 개시된 바와 같은, 큰 데이터 세트에서의 복잡한 연관성을 특징화하는 것. 이러한 기법들을 사용하여 그래프 구조를 이룰 피쳐 및 연관 피쳐들의 순위를 결정할 수 있다. 그래프는 커뮤니티 검출(서로 관련되는 그룹 피쳐)을 수행하거나, 인과 관계를 규정하는 것에 도움이 될 수 있다. 인간 도메인 전문가는 추후에 그래프의 구조에 대한 정보를 제공하거나(예를 들어, 구조가 아티팩트에 대응하거나 물리적 의미를 진실로 가진다면), 또는 새로운 노드 및 아크 등을 추가할 수 있다. 도메인 전문가의 지식을 이전의 그래프상 구조로써 인코딩하고, 앞선 흐름을 사용하여 반복적으로 향상시킬 수 있다. 이러한 추가적인 정제는, 타당한 초기 구조체에 적용될 때에만 실현가능한, 전송 엔트로피와 같은 기법(계산량이 많음)을 사용하여 수행될 수 있다.

피쳐 선택 페이즈는 깨끗한 관련 데이터 세트(218)를 출력한다.

단계 및 데이터(230 내지 250)는 반복적 피쳐 선택 및 추출 페이즈이다.

이러한 페이즈는 데이터를 예시하기 위하여 차원 감소 방법을 사용한다(도메인 전문가에 의해서 관련성이 있는 것으로 평가된 피쳐를 이전 피쳐 선택 페이즈에서의 데이터-주도 피쳐 선택 방법과 함께 사용함). 여기에서, 두 개의 중요한 양태들이 고려되어야 한다:

(1) 종래의 도메인 전문가/사용자 지식: 시각화는 도메인 전문가/사용자의 종래의 지식을 고려한다. 예를 들어: 머신 지문이 오버레이의 예측에 대해 관련성이 있다는 것을 아는 도메인 전문가는 이러한 특정 "패턴"을 시각화하는 것을 원치 않는다. 실시형태들은, 사용자가 어떤 것을 이미 알고 있는지에 의존하여 데이터의 상이한 양태를 시각화하면서, 각각의 사용자에게 적응될 방법을 제공한다. 여기에서, 사용자 지식을 인코딩하기 위해서 상이한 접근법이 사용될 수 있다. 첫 번째 예로서 본 명세서에서 원용에 의해 통합되는 M. J. Wilber, I. S. Kwak, D. Kriegman, S. Belongie. Learning Concept Embeddings with Combined Human-Machine Expertise (2015) Proceedings of the IEEE International Conference on Computer Vision 981-989에서 개시되는 바와 같은 SNaCK 임베딩이 사용될 수 있다. 두 번째 예로서 본 명세서에서 원용에 의해 통합되는 K. Puolamaki, E. Oikarinen, B. Kang, J. Lijffijt, T. De Bie. Interactive Visual Data Exploration with Subjective Feedback: An Information-Theoretic Approach (2017)에서 개시되는 바와 같은, 주관적 관심 데이터 탐색(Subjectively Interesting Data Exploration)이 사용될 수 있다.

(2) 타겟에 대한 상관: 시각화(238)는 타겟 값에 대해 관련성이 있는 패턴을 보여준다. 데이터의 구조를 예시하는 많은 비지도 차원 감소 방법(선형: 주성분 분석, 독립적 컴포넌트 분석 등; 비선형: t-분산형 확률적 이웃 임베딩(t-distributed stochastic neighbor embedding; t-SNE), 다차원 스케일링 등)이 존재한다. 그러나, 우리는 태스크를 예측하는 것과 관련되는 "패턴" 또는 구조체를 표시하는 것에만 관심이 있다. 적절한 방법은 본 명세서에서 원용에 의해 통합되는 J. Peltonen and K. Georgatzis, Efficient Optimization for Data Visualization as an Information Retrieval Task, MLSP 2012, the 2012 IEEE International Workshop on Machine Learning for Signal Processing에서 개시된 이웃 취출 시각화기(Neighbor Retrieval Visualizer; NeRV)에서 개발된 것과 같은 지도형 차원 감소 방법(supervised dimensionality reduction method)이다. 지도형 차원 감소를 위한 다른 적절한 방법은 본 명세서에서 원용에 의해 통합되는 L. McInnes, J. Healy and J. Melville, UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction, https://arxiv.org/abs/1802.03426에서 개시된다.

데이터 시각화(234, 238)를 위하여, Puolamaki 등의 기술에서 취해진 것과 유사한 접근법이 사용될 수 있다. 이러한 접근법은 종래의 분포를 도메인 전문가가 이미 해당 데이터에 대해서 가지고 있는 지식에 기반하여 규정하는 것이다. 예를 들어, 동일한 스캐너 내에서 노광된 웨이퍼는 다른 스캐너 내에서 노광된 웨이퍼보다 서로 더 유사할 것이다. 이러한 종래의 지식이, 시각화가 스캐너와 다른 그 외의 관련 구조체(주지의 정보를 구성함)를 보여주도록 인코딩될 수 있다. 지식이 시각화로부터 획득되면, 전문가는 이러한 지식을 시스템에 통신(246)하고, 종래의 분포가 이러한 새로운 정보(242, 234)에 기반하여 업데이트된다. 그러면, 그 외의 이전에 숨은 구조체를 제공하는 새로운 시각화(238)가 표시된다. Puolamaki 등에서 개시된 접근법은 비지도식이지만, 본 명세서에서 설명되는 실시형태에서 사용되기 위해서 이것은 지도식 차원 감소 접근법에 적응된다.

단계 및 데이터(240 내지 246)는 피쳐 추출을 기술한다. 피쳐를 어떻게 엔지니어링할지는 현재의 태스크 및 데이터를 탐색하는 도메인 전문가에 의존할 것이다.

피쳐 추출 중에, 정보는 시각화(238)로부터 추출된다. 전술된 차원 감소 방법(지도식이고 사용자 의존적임)은 다음 목적을 위해서 사용된다: (1) 새로운 피쳐를 엔지니어링하는 것(240) 및(2) 피쳐의 관련성/영향을 인증하는 것. 이제 이것이 어떻게 수행되는지를 예를 들어 설명한다. 도메인 전문가는 시각화(238)로부터, 머신/척 지문이 y의 확대를 예측하는 것에 대하여 관련된다는 것을 관찰한다. 이러한 정보(244)가 결정되면, 이것은 이러한 종래의 지식을 차원 감소 방법(234)에 추가(242) 함으로써 다음 반복의 시각화(238) 내에 인코딩될 수 있다. 따라서, 추출된 피쳐는 다음 반복으로 피드포워드되는(242) 도메인 전문가의 종래의 지식(244)을 나타낸다. 이것이 클러스터 제약을 데이터에 추가하거나 취출된 정보에 대해서 조건화된 조건부 확률을 규정함으로써 다음 시각화로 인코딩된다(234). 따라서, 다음 시각화(238)는 데이터 내의 새로운 미지의 구조를 보여주도록 적응될 것이다. 이러한 프로세스는 시각화가 관련된 패터닝을 더 이상 보여주지 않을 때까지 계속된다(236). 시각화가 관련된 패터닝을 보여주는지 여부를 의사결정하기 위하여, 속성 데이터 내의 패턴이 타겟에 상관되는지를 결정하기 위한 통계적 테스트와 같은 객관적 기준이 사용될 수 있다.

실시형태들은 도메인 전문가가 고차원의 데이터 세트로부터 정보를 신속하고 효율적으로 분석 및 추출할 수 있게 한다. 실시형태들은 해석할 수 있고 이해할 수 있는 예측 모델을 제공하는, 구조화된 사람이 보조하는 상호작용을 제공한다.

실시형태들은 주관적으로 관심이 있는 데이터 표현 및 시각화를 제공한다. 종래에는, 주성분 분석(PCA)과 같은 많은 차원 감소 및 피쳐 추출 방법들이 사용된다. 그러나, 이들은 태스크를 예측하기 위하여 가장 관련된 데이터의 양태들을 반드시 나타내는 것은 아닌 비지도식 방법이다. 실시형태들은 태스크를 예측하기 위하여 관련되는 데이터의 관심 패턴을 시각화한다.

실시형태들은 데이터의 시각화를 도메인 전문가가 이미 알고 있는 것에 대하여 적응시킨다. 그러므로, 상이한 도메인 전문가들에게는 상이한 표현이 표시될 수 있다.

종래의 데이터 탐색은 고되고 시간이 많이 걸리는 작업이다. 지도식 표현 방법에 기인하여, 실시형태들은 데이터 내의 가장 관련된 구조체를 시각화한다. 또한, 각각의 전문가의 지식에 대해 적응되는 능력에 기인하여, 시각화는 미지의 구조체를 전문가에게 보여준다. 그러면 관점 정보가 표현될 것이기 때문에 분석을 위해 요구되는 시간이 최적화된다.

실시형태들에서, 피쳐 선택은 도메인 전문가와의 협업으로 이루어지고, 그러므로 리던던트 피쳐 및 스퓨리어스 상관이 탐색 프로세스의 초기에 쉽게 검출되고 제거될 것이다.

"블랙-박스(black-box)"형 학습 머신을 가지는 실시형태의 애플리케이션을 위하여, 추출된 피쳐들은 인간 전문가가 시각화로부터 취출하는 정보에 기반하고 있다. 그러면, 전문가는 발견한 것 및 물리적 시스템에 대한 그들의 지식에 기반하여 새로운 피쳐를 구성한다. 이러한 인간-머신 상호작용은, 흔히 인간 전문가에 의해 쉽게 설명될 수 없고, 따라서 일반화가능한 피쳐로서의 신뢰도가 떨어지는 피쳐를 추출하는 "블랙-박스" 학습 머신(예를 들어, ANN 또는 t-SNE와 같은 차원 감소 방법)과 달리, 해석가능한 피쳐가 구성될 수 있게 한다.

실시형태들의 시각화 방법은 사용자 및 예측될 타겟의 종래의 지식을 고려한다. 그러므로, 시각화는 각각의 사용자에 대하여 그리고 각각의 예측 태스크에 대하여 적응된다.

실시형태들은 차원의 폐해 및 관련된 피쳐의 누락의 상황도 돕는다. 피쳐 선택 페이즈에서, 가장 관련성이 없는 피쳐가 전문가에 의해 점찍어지고 제거된다. 그러므로, 데이터의 차원은 크게 감소되어야 하고, 따라서 출력된 전-처리된 데이터는 차원의 폐해, 또는 충분한 라벨링 데이터를 가지지 않는 일을 겪지 않는다.

종래의 접근법에서는, 도메인 전문가의 지식을 캡쳐하는 구조화된 방법이 존재하지 않는다. 각각의 예측 문제 및 각각의 데이터 세트는 자기 자신의 어려움을 가지고 있다. 모든 문제에 대한 공통 지식 베이스를 가지는 것은 어렵다. 실시형태들은, 각각의 데이터 세트 및 각각의 도메인 전문가에 상이하게 적응하는 대화형 스킴을 제공하고(임의의 이전의 가정이 없이), 데이터 내에 숨어 있는 패턴 및 지식의 대부분 또는 전부를 조금씩 그리고 반복적으로 파악하기 위한 반복적 프로세스를 제공한다.

실시형태들은 데이터 내에 무엇이 존재하는지를 이해하기 위한 매우 신속하고 구조화된 스킴을 제공한다. 그러면 사람이 이해할 수 있는 피쳐를 가지는 처리된 데이터 세트를 획득하는 것을 돕게 된다.

실시형태들은, 리소그래피 애플리케이션에서의 오버레이/초점 예측을 개선하고, 주원인 분석 및 진단을 개선하며, 능동 학습 및 이상치 검출을 수행하기 위하여 학습 머신과 결합될 수 있다.

본 발명의 실시형태는 전술된 바와 같은, 예측된 데이터를 생성하는 방법의 방법들을 기술하는 머신-판독가능 명령의 하나 이상의 시퀀스를 포함하는 컴퓨터 프로그램을 사용하여 구현될 수 있다. 이러한 컴퓨터 프로그램은 예를 들어 도 1의 제어 유닛 LACU 또는 일부 다른 제어기 내에서 실행될 수 있다. 그 안에 저장된 이러한 컴퓨터 프로그램을 포함하는 데이터 저장 매체(예를 들어, 반도체 메모리, 자기적 또는 광학적 디스크)가 역시 제공될 수 있다.

이러한 제어 유닛(LACU)은 도 3에 도시된 바와 같은 컴퓨터 어셈블리를 포함할 수 있다. 컴퓨터 어셈블리는 본 발명에 따른 어셈블리의 실시형태들에서는 제어 유닛의 형태인 전용 컴퓨터이건, 대안적으로는 리소그래피 투영 장치를 제어하는 중앙 컴퓨터일 수 있다. 컴퓨터 어셈블리는 컴퓨터-실행가능 코드를 포함하는 컴퓨터 프로그램 제품을 로딩하도록 구현될 수 있다. 그러면, 컴퓨터 프로그램 제품이 다운로드되면, 레벨 및 정렬 센서(AS, LS)의 실시예를 가진 리소그래피 장치의 전술된 바와 같은 용도를 컴퓨터 어셈블리가 제어하게 할 수 있다.

프로세서(827)에 연결된 메모리(829)는 하드 디스크(861), 판독 전용 메모리(ROM)(862), 전기적 소거가능 프로그래밍가능 판독 전용 메모리(EEPROM)(863) 및 랜덤 액세스 메모리(RAM)(864)와 같은 여러 메모리 컴포넌트를 포함할 수 있다. 앞서 언급된 메모리 컴포넌트 모두가 있어야 하는 것은 아니다. 더욱이, 앞서 언급된 메모리 컴포넌트가 프로세서(827)에 또는 서로에 대해 반드시 물리적으로 인접해야 하는 것이 아니다. 이들은 떨어진 거리에 위치될 수 있다.

프로세서(827)는 일부 종류의 사용자 인터페이스, 예를 들어 키보드(865) 또는 마우스(866)에도 연결될 수 있다. 당업자에게 알려진 터치 스크린, 트랙 볼, 발화 컨버터 또는 다른 인터페이스도 역시 사용될 수 있다.

프로세서(827)는, 예를 들어 컴퓨터 실행가능한 코드의 형태인 데이터를 고상 드라이브(868) 또는 CDROM(869)과 같은 데이터 캐리어로부터 판독하고, 어떤 상황에서는 여기에 데이터를 저장하도록 구성되는 읽기 유닛(867)에 연결될 수 있다. 또한, 당업자에게 공지된 DVD 또는 다른 데이터 캐리어도 사용될 수 있다.

프로세서(827)는 종이에 출력 데이터를 인쇄하기 위한 프린터(870) 및 디스플레이(871), 예를 들어 모니터 또는 LCD(액정 디스플레이), 및 당업자에게 알려진 임의의 다른 타입의 디스플레이에도 연결될 수 있다.

프로세서(827)는 통신 네트워크(872), 예를 들어 공중 전화 교환망 네트워크(public switched telephone network; PSTN), 근거리 네트워크(LAN), 광역 네트워크(WAN) 등에 입력/출력(I/O)을 담당하는 송신기/수신기(873)를 이용하여 연결될 수도 있다. 프로세서(827)는 통신 네트워크(872)를 통해서 다른 통신 시스템과 통신하도록 구현될 수 있다. 본 발명의 일 실시형태에서, 외부 컴퓨터(미도시), 예를 들어 운영자의 개인용 컴퓨터는 통신 네트워크(872)를 통해서 프로세서(827)에 로그인할 수 있다.

프로세서(827)는 독립형 시스템으로서 또는 병렬적으로 동작하는 여러 처리 유닛으로서 구현될 수 있는데, 각각의 처리 유닛은 더 큰 프로그램의 서브-태스크를 실행하도록 배치된다. 또한, 처리 유닛은 여러 하부 처리 유닛들을 가지는 하나 이상의 메인 처리 유닛으로 분할될 수 있다. 프로세서(827)의 일부 처리 유닛은 다른 처리 유닛과 떨어진 거리에 위치되고 통신 네트워크(872)를 통해서 통신할 수도 있다. 모듈들 사이의 통신은 유선 또는 무선으로 이루어질 수 있다.

컴퓨터 시스템은 본 명세서에서 논의된 기능들을 수행하도록 구현된 아날로그 및/또는 디지털 및/또는 소프트웨어 기술을 가진 임의의 신호 처리 시스템일 수 있다.

특정 실시예에 대한 전술한 설명은 본 발명의 전반적인 특성을 완전하게 보여주어, 당해 기술 분야에 익숙한 사람이 갖고 있는 지식을 적용함으로써 본 발명의 전반적인 개념으로부터 벗어나지 않고서도 불필요한 실험 없이 이러한 구체적인 실시예에 대한 다양한 응용을 용이하게 수정 및/또는 적응시킬 수 있을 것이다. 따라서, 이러한 수정 및 적응은 본 명세서에 제공된 교시 및 지침을 기반으로 하는 개시 실시예의 등가물의 범위 내에 있도록 의도된다. 본 명세서에서 구문 또는 어휘는 예에 의한 설명의 목적을 위한 것이고 한정하기 위한 것이 아니며, 따라서 본 명세서의 용어 또는 구문은 교시 및 지도를 고려하여 당업자에 의하여 해석되어야 한다는 것이 이해되어야 한다.

본 발명의 다른 실시예들은 아래의 번호가 매겨진 절들의 목록에서 개시된다:

1. 데이터 세트로부터 피쳐를 추출하는 방법으로서,

상기 데이터 세트 내에 포함된 잔차 패턴의 시각화에 기반하여 상기 데이터 세트로부터 피쳐를 반복적으로 추출하는 단계를 포함하고,

상기 피쳐는 이전의 반복에서 추출된 피쳐와 별개이고,

상기 잔차 패턴의 시각화는 상기 이전 반복에서 추출된 피쳐를 사용하는, 피쳐 추출 방법.

2. 제 1 절에 있어서,

상기 피쳐를 추출하는 단계는,

각각의 시각화가 제공된 사용자로부터 사용자 입력을 수신하는 것을 포함하는, 피쳐 추출 방법.

3. 제 1 절 또는 제 2 절에 있어서,

상기 방법은,

클린업 시각화(clean-up visualization)를 제공하도록 상기 데이터 세트를 시각화하는 것; 및

상기 클린업 시각화에 기반하여 상기 데이터 세트로부터 피쳐를 제거하는 것에 의하여 상기 데이터 세트를 수정하는 단계를 더 포함하는, 피쳐 추출 방법.

4. 제 3 절에 있어서,

상기 피쳐를 제거하는 것은,

상기 클린업 시각화를 시청하는 것에 기반하여 사용자 입력을 수신하는 것을 포함하는, 피쳐 추출 방법.

5. 제 4 절에 있어서,

상기 클린업 시각화에 기반하여 피쳐를 제거하는 것은,

상기 데이터 세트의 그래프 표현 상에서 노드 및 에지를 업데이트하는 것을 포함하는, 피쳐 추출 방법.

6. 제 1 절 내지 제 5 절 중 어느 한 절에 있어서,

상기 방법은,

시각화를 제공할 때 상기 피쳐를 사용하는 것을 배제하도록, 이전 반복에서 추출된 피쳐를 사용하여 피쳐 선택을 수행하는 것을 더 포함하는, 피쳐 추출 방법.

7. 제 1 절 내지 제 6 절 중 어느 한 절에 있어서,

반복하는 것은, 관련되는 것으로 밝혀진 잔차 패턴이 없을 때까지 되풀이되는, 피쳐 추출 방법.

8. 제 7 절에 있어서,

상기 데이터 세트는 속성 데이터 및 타겟 데이터를 포함하는, 피쳐 추출 방법.

9. 제 8 절에 있어서,

상기 방법은,

상기 속성 데이터 내의 패턴이 타겟 데이터에 상관되는지를 결정하도록, 관련된 잔차 패턴이 존재하는지 여부를 통계적 테스트를 사용하여 결정하는 단계를 포함하는, 피쳐 추출 방법.

10. 제 8 절 또는 제 9 절에 있어서,

상기 이전 반복에서 추출된 피쳐를 사용하는 데이터 세트의 시각화는,

상기 타겟 데이터와 관련되는 속성 데이터의 잔차 패턴을 보여주는 것을 포함하는, 피쳐 추출 방법.

11. 제 8 절 내지 제 10 절 중 어느 한 절에 있어서,

상기 속성 데이터는 산업적 프로세스에 관련되는 콘텍스트 데이터를 포함하고,

상기 타겟 데이터는 상기 산업적 프로세스에 관련되는 성능 데이터를 포함하는, 피쳐 추출 방법.

12. 제 1 절 내지 제 11 절 중 어느 한 절에 있어서,

이전의 반복에서 추출된 피쳐를 사용하여 데이터 세트를 시각화하는 것은, 이전의 반복에서 추출된 피쳐에 기반하여 데이터 세트에 클러스터 제약을 추가하는 것을 포함하는, 피쳐 추출 방법.

13. 제 1 절 내지 제 12 절 중 어느 한 절에 있어서,

이전의 반복에서 추출된 피쳐를 사용하여 데이터 세트를 시각화하는 것은,

이전의 반복에서 추출된 피쳐에 대하여 조건화된(conditioned) 조건부 확률을 규정하는 것을 포함하는, 피쳐 추출 방법.

14. 산업적 처리 방법으로서,

제 1 절 내지 제 13 절 중 어느 한 절의 데이터 세트로부터 피쳐를 추출하는 방법을 포함하고,

추출된 피쳐를 사용하여 산업적 프로세스를 제어하는 단계를 더 포함하는, 산업적 처리 방법.

15. 컴퓨터 프로그램으로서,

적합한 컴퓨터 장치에서 실행될 때, 상기 컴퓨터 장치가 제 1 절 내지 제 14 절 중 어느 한 절의 방법을 수행하게 하는 컴퓨터 판독가능 명령을 포함하는, 컴퓨터 프로그램.

16. 제 15 절의 컴퓨터 프로그램을 포함하는 컴퓨터 프로그램 제품.

17. 장치로서,

제 1 절 내지 제 14 절 중 어느 한 절의 방법의 단계를 수행하도록 특히 적응되는, 장치.

18. 제 17 절에 있어서,

리소그래피 생산 프로세스를 수행하도록 동작가능한 리소그래피 장치로서 특히 구성되는, 장치.

19. 제 17 절에 있어서,

리소그래피 생산 프로세스를 수행하도록 동작가능한 리소그래피 셀로서 특히 구성되는, 장치.

본 발명의 근본 요지 및 범위는 전술한 예시적인 실시예의 어떠한 것에 의해서도 한정되어서는 안되며, 후속하는 특허청구범위 및 그 균등물에 따라서만 정해져야 한다.

Claims (20)

1. 반도체 제조 프로세스와 연관된 데이터 세트로부터 피쳐를 추출하는 방법으로서,
   상기 데이터 세트 내에 포함된 잔차 패턴의 시각화에 기반하여 상기 데이터 세트로부터 피쳐를 반복적으로 추출하는 단계를 포함하고,
   상기 피쳐는 이전의 반복에서 추출된 이전 피쳐와 별개이고,
   상기 잔차 패턴의 시각화는 상기 이전 피쳐를 사용하는, 피쳐 추출 방법.
2. 제 1 항에 있어서,
   상기 피쳐를 추출하는 단계는,
   각각의 시각화가 제공된 사용자로부터 사용자 입력을 수신하는 것을 포함하는, 피쳐 추출 방법.
3. 제 1 항 또는 제 2 항에 있어서,
   상기 방법은,
   클린업 시각화(clean-up visualization)를 제공하도록 상기 데이터 세트를 시각화하는 것; 및
   상기 클린업 시각화에 기반하여 상기 데이터 세트로부터 피쳐를 제거하는 것
   에 의하여 상기 데이터 세트를 수정하는 단계를 더 포함하는, 피쳐 추출 방법.
4. 제 3 항에 있어서,
   상기 피쳐를 제거하는 것은,
   상기 클린업 시각화를 시청하는 것에 기반하여 사용자 입력을 수신하는 것을 포함하는, 피쳐 추출 방법.
5. 제 4 항에 있어서,
   상기 클린업 시각화에 기반하여 피쳐를 제거하는 것은,
   상기 데이터 세트의 그래프 표현 상에서 노드 및 에지를 업데이트하는 것을 포함하는, 피쳐 추출 방법.
6. 제 1 항 또는 제 2 항에 있어서,
   상기 방법은,
   시각화를 제공할 때 상기 피쳐를 사용하는 것을 배제하도록, 상기 이전 피쳐를 사용하여 피쳐 선택을 수행하는 것을 더 포함하는, 피쳐 추출 방법.
7. 제 1 항 또는 제 2 항에 있어서,
   반복하는 것은, 관련되는 것으로 밝혀진 잔차 패턴이 없을 때까지 되풀이되는, 피쳐 추출 방법.
8. 제 7 항에 있어서,
   상기 데이터 세트는 속성 데이터 및 타겟 데이터를 포함하는, 피쳐 추출 방법.
9. 제 8 항에 있어서,
   상기 방법은,
   상기 속성 데이터 내의 패턴이 타겟 데이터에 상관되는지를 결정하도록, 관련된 잔차 패턴이 존재하는지 여부를 통계적 테스트를 사용하여 결정하는 단계를 포함하는, 피쳐 추출 방법.
10. 제 8 항에 있어서,
    상기 이전 피쳐를 사용하여 데이터 세트를 시각화하는 것은,
    상기 타겟 데이터와 관련되는 속성 데이터의 잔차 패턴을 보여주는 것을 포함하는, 피쳐 추출 방법.
11. 제 8 항에 있어서,
    상기 속성 데이터는 상기 반도체 제조 프로세스에 관련되는 콘텍스트 데이터를 포함하고,
    상기 타겟 데이터는 상기 반도체 제조 프로세스에 관련되는 성능 데이터를 포함하는, 피쳐 추출 방법.
12. 제 1 항 또는 제 2 항에 있어서,
    상기 이전 피쳐를 사용하여 데이터 세트를 시각화하는 것은,
    상기 이전 피쳐에 기반하여, 클러스터 제약을 상기 데이터 세트에 추가하는 것을 포함하는, 피쳐 추출 방법.
13. 제 1 항 또는 제 2 항에 있어서,
    상기 이전 피쳐를 사용하여 데이터 세트를 시각화하는 것은,
    상기 이전 피쳐에 대하여 조건화된(conditioned) 조건부 확률을 규정하는 것을 포함하는, 피쳐 추출 방법.
14. 반도체 제조 방법으로서,
    제 1 항 또는 제 2 항의 데이터 세트로부터 피쳐를 추출하는 방법을 포함하고,
    추출된 피쳐를 사용하여 상기 반도체 제조 프로세스를 제어하는 단계를 더 포함하는, 반도체 제조 방법.
15. 컴퓨터-판독가능한 기록 매체에 저장된 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은,
    적합한 컴퓨터 장치에서 실행될 때, 상기 컴퓨터 장치가 데이터 세트 내에 포함된 잔차 패턴의 시각화에 기반하여 상기 데이터 세트로부터 피쳐를 반복적으로 추출하게 하는 컴퓨터 판독가능 명령을 포함하고,
    상기 피쳐는 이전의 반복에서 추출된 이전 피쳐와 별개이며,
    상기 잔차 패턴의 시각화는 상기 이전 피쳐를 사용하는, 컴퓨터 프로그램.
16. 제 15 항에 있어서,
    피쳐를 반복적으로 추출하도록 구성되는 명령은,
    각각의 시각화가 제공된 사용자로부터 사용자 입력을 수신하도록 구성되는 명령을 포함하는, 컴퓨터 프로그램.
17. 제 15 항에 있어서,
    상기 컴퓨터 프로그램은,
    클린업 시각화(clean-up visualization)를 제공하도록 상기 데이터 세트를 시각화하는 것; 및
    상기 클린업 시각화에 기반하여 상기 데이터 세트로부터 피쳐를 제거하는 것
    에 의하여 상기 데이터 세트를 수정하도록 구성되는 명령을 더 포함하는, 컴퓨터 프로그램.
18. 제 15 항에 있어서,
    상기 컴퓨터 프로그램은,
    시각화를 제공할 때 상기 피쳐를 사용하는 것을 배제하도록, 상기 이전 피쳐를 사용하여 피쳐 선택을 수행하도록 구성되는 명령을 더 포함하는, 컴퓨터 프로그램.
19. 제 15 항에 있어서,
    상기 피쳐를 반복적으로 추출하도록 구성되는 명령은, 관련되는 것으로 밝혀진 잔차 패턴이 없을 때까지 실행되는, 컴퓨터 프로그램.
20. 제 15항에 있어서,
    상기 이전 피쳐를 사용하여 데이터를 시각화하도록 구성되는 명령은,
    1) 상기 이전 피쳐에 기반하여 상기 데이터 세트에 클러스터 제약을 추가하고, 및/또는
    2) 상기 이전 피쳐에 대하여 조건화된 조건부 확률을 규정하도록 구성되는 명령을 포함하는, 컴퓨터 프로그램.

Images