KR20200112586A

KR20200112586A - Ion depth profile controlling method, ion implant method and semiconductor device manufacturing method based on the controlling method, and ion implant system adapting the controlling method

Info

Publication number: KR20200112586A
Application number: KR1020190075785A
Authority: KR
Inventors: 정성락; 강승모
Original assignee: 삼성전자주식회사
Priority date: 2019-03-20
Filing date: 2019-06-25
Publication date: 2020-10-05

Abstract

A technical idea of the present invention provides a control method of an ion depth profile so that an ion depth profile becomes a box profile through one process, an ion implant method and semiconductor device manufacturing method based on the same, and an ion implant system employing the control method. The control method comprises the steps of: performing reinforcement learning to receive the similarity between an ion depth profile, which is the ion concentration according to a depth of a wafer in an ion implant process, and a box profile, which is a target profile, as a reward; acquiring at least one process condition of the ion implant process as a result of the reinforcement learning; and generating a process recipe for the at least one process condition.

Description

Ion depth profile controlling method, ion implant method and semiconductor device manufacturing method based on the control method, and ion implant system employing the control method (Ion depth profile controlling method, ion implant method and semiconductor device manufacturing method based on the controlling method, and ion implant system adapting the controlling method}

본 발명의 기술적 사상은 웨이퍼에 이온을 주입하는 이온 임플란트 방법에 관한 것으로, 특히 이온 깊이 프로파일 제어방법 및 그 제어방법에 기반으로 한 이온 임플란트 방법에 관한 것이다.The technical idea of the present invention relates to an ion implant method for implanting ions into a wafer, and more particularly, to a method for controlling an ion depth profile and an ion implant method based on the method.

웨이퍼에 이온을 주입하는 이온 임플란트(ion implant) 공정을 간단히 설명하면 다음과 같다. 이온 소스 가스를 이온화시킨 후, 요구되는 이온을 선택하여 가속함으로써, 이온 빔(ion beam)을 형성한다. 이러한 이온 빔을 원하는 양만큼 웨이퍼의 표면으로 주입시켜 웨이퍼 내의 결정 격자 내에 매립시킨다. 웨이퍼 내에 매립된 이온들을 통해 웨이퍼는 적절한 수준의 도전성을 가질 수 있다. 한편, 이온의 에너지에 따라, 웨이퍼 내에 이온이 주입되는 깊이가 달라질 수 있다. 이온의 에너지는 이온 빔 장치와 웨이퍼 사이에 인가되는 전위차에 의해 결정될 수 있다.A brief description of an ion implant process for implanting ions into a wafer is as follows. After ionizing the ion source gas, an ion beam is formed by selecting and accelerating the required ions. Such an ion beam is implanted into the surface of the wafer in a desired amount and embedded in the crystal lattice in the wafer. The ions embedded within the wafer can allow the wafer to have an appropriate level of conductivity. Meanwhile, depending on the energy of the ions, the depth at which ions are implanted into the wafer may vary. The energy of the ions can be determined by the potential difference applied between the ion beam device and the wafer.

본 발명의 기술적 사상이 해결하고자 하는 과제는, 한 번의 공정을 통해 이온 깊이 프로파일이 박스 프로파일이 되도록 하는 이온 깊이 프로파일 제어방법, 그 제어방법에 기반으로 한 이온 임플란트 방법과 반도체 소자 제조방법, 및 그 제어방법을 채용한 이온 임플란트 시스템을 제공하는 데에 있다.The problem to be solved by the technical idea of the present invention is an ion depth profile control method in which the ion depth profile becomes a box profile through a single process, an ion implant method and a semiconductor device manufacturing method based on the control method, and the same It is to provide an ion implant system employing a control method.

상기 과제를 해결하기 위하여, 본 발명의 기술적 사상은 이온 임플란트(ion implant) 공정에서의 웨이퍼의 깊이에 따른 이온 농도인 이온 깊이 프로파일(ion depth profile)과 타겟 프로파일인 박스 프로파일(box profile)과의 유사도를 보상(reward)으로 받는 강화 학습(reinforcement learning)을 수행하는 단계; 상기 강화 학습의 결과로서 상기 이온 임플란트 공정의 적어도 하나의 공정 조건을 획득하는 단계; 및 상기 적어도 하나의 공정 조건에 대한 공정 레시피를 생성하는 단계;를 포함하는 이온 깊이 프로파일 제어방법을 제공한다.In order to solve the above problems, the technical idea of the present invention is a relationship between an ion depth profile, which is an ion concentration according to the depth of a wafer, and a box profile, which is a target profile, in an ion implant process. Performing reinforcement learning receiving similarity as a reward; Acquiring at least one process condition of the ion implant process as a result of the reinforcement learning; And generating a process recipe for the at least one process condition.

또한, 본 발명의 기술적 사상은, 상기 과제를 해결하기 위하여, 이온 임플란트 공정에서의 웨이퍼의 깊이에 따른 이온 농도인 이온 깊이 프로파일과 타겟 프로파일인 박스 프로파일과의 유사도를 보상으로 받는 강화 학습을 수행하는 단계; 상기 강화 학습의 결과로서 상기 이온 임플란트 공정의 적어도 하나의 공정 조건을 획득하는 단계; 상기 적어도 하나의 공정 조건에 대한 공정 레시피를 생성하는 단계; 및 상기 공정 레시피를 적용하여 웨이퍼에 이온 임플란트를 수행하는 단계;를 포함하는 이온 임플란트 방법을 제공한다.In addition, the technical idea of the present invention is to perform reinforcement learning that compensates for the similarity between the ion depth profile, which is the ion concentration according to the depth of the wafer, and the box profile, which is the target profile, in order to solve the above problem. step; Acquiring at least one process condition of the ion implant process as a result of the reinforcement learning; Generating a process recipe for the at least one process condition; And performing an ion implantation on the wafer by applying the process recipe.

더 나아가, 본 발명의 기술적 사상은, 상기 과제를 해결하기 위하여, 이온 임플란트 공정에서의 웨이퍼의 깊이에 따른 이온 농도인 이온 깊이 프로파일과 타겟 프로파일인 박스 프로파일과의 유사도를 보상으로 받는 강화 학습을 수행하는 단계; 상기 강화 학습의 결과로서 상기 이온 임플란트 공정의 적어도 하나의 공정 조건을 획득하는 단계; 상기 적어도 하나의 공정 조건에 대한 공정 레시피를 생성하는 단계; 상기 공정 레시피를 적용하여 웨이퍼에 이온 임플란트를 수행하는 단계; 및 상기 웨이퍼에 대한 후속 반도체 공정을 수행하는 단계;를 포함하는 반도체 소자 제조방법을 제공한다.Furthermore, the technical idea of the present invention is to perform reinforcement learning that compensates for the similarity between the ion depth profile, which is the ion concentration according to the depth of the wafer, and the box profile, which is the target profile, in order to solve the above problem. Step to do; Acquiring at least one process condition of the ion implant process as a result of the reinforcement learning; Generating a process recipe for the at least one process condition; Performing ion implantation on the wafer by applying the process recipe; And it provides a semiconductor device manufacturing method comprising; and performing a subsequent semiconductor process on the wafer.

한편, 본 발명의 기술적 사상은, 상기 과제를 해결하기 위하여, 강화 학습을 수행하는 시뮬레이션 장치; 및 이온 소스, 이온 발생기, 질량 분석기, 가속기, 및 스테이지를 구비한 이온 임플란트 장치;를 포함하고, 상기 강화 학습에서 획득한 이온 에너지 프로파일을 기초하여, 상기 이온 임플란트 장치에서 실시간으로 이온 에너지를 변경하면서 이온 임플란트를 수행하는, 이온 임플란트 시스템을 제공한다.On the other hand, the technical idea of the present invention, in order to solve the above problem, a simulation device for performing reinforcement learning; And an ion implant device including an ion source, an ion generator, a mass spectrometer, an accelerator, and a stage, and, based on the ion energy profile obtained in the reinforcement learning, while changing the ion energy in real time in the ion implant device. It provides an ionic implant system for performing ionic implants.

본 발명의 기술적 사상에 의한 이온 깊이 프로파일 제어방법은, 강화 학습을 통해 이온 임플란트 공정에서의 적어도 하나의 공정 조건을 획득하고, 해당 공정 조건에 대한 공정 레시피를 생성할 수 있다. 여기서, 강화 학습을 통해 획득한 적어도 하나의 공정 조건은, 이온 임플란트 공정에서 박스 프로파일 형태의 이온 깊이 프로파일이 구현되도록 하는 공정 조건으로서, 예컨대, 시간 따른 이온 에너지일 수 있다. 그에 따라, 본 발명의 기술적 사상에 의한 이온 임플란트 방법과 반도체 소자 제조방법은, 상기 제어방법을 기반으로 이온 임플란트 공정을 수행함으로써, 이온 임플란트 공정에서 박스 프로파일 형태의 이온 깊이 프로파일을 구현할 수 있다.The ion depth profile control method according to the technical idea of the present invention may acquire at least one process condition in an ion implant process through reinforcement learning, and generate a process recipe for the process condition. Here, the at least one process condition acquired through reinforcement learning is a process condition for implementing an ion depth profile in the form of a box profile in an ion implant process, and may be, for example, ion energy over time. Accordingly, the ion implantation method and the semiconductor device manufacturing method according to the technical idea of the present invention can implement an ion depth profile in the form of a box profile in the ion implantation process by performing an ion implantation process based on the control method.

또한, 본 발명의 기술적 사상에 의한 이온 임플란트 방법과 반도체 소자 제조방법은, 상기 제어방법을 기반으로 이온 임플란트 공정을 진행함으로써, 이온 임플란트 공정을 한 번만 수행할 수 있고, 따라서, 이온 임플란트 공정의 시간을 대폭 감소시킬 수 있다.In addition, the ion implantation method and the semiconductor device manufacturing method according to the technical idea of the present invention can perform the ion implantation process only once by performing the ion implantation process based on the control method, and thus, the time of the ion implantation process. Can be significantly reduced.

도 1은 본 발명의 일 실시예에 따른 이온 깊이 프로파일 제어방법에 대한 흐름도이다.
도 2a 및 도 2b는 이온 깊이 프로파일에 대한 그래프들이다.
도 3은 본 발명의 일 실시예에 따른 이온 임플란트 시스템에 대한 블록 구조도이다.
도 4는 도 3의 이온 임플란트 시스템에서, 이온 임플란트 장치를 개략적으로 보여주는 장치 구성도이다.
도 5a는 도 1의 이온 깊이 프로파일 제어방법에 이용하는 강화 학습에 대한 개념도이고, 도 5b는 도 5a의 강화 학습을 통해 획득한 이온 에너지 프로파일에 대한 그래프이다.
도 6은 도 5a의 강화 학습에서 이용하는 DNN 알고리즘에 대한 개념도이다.
도 7a는 이온 임플란트 공정에서의 이온 입사 각도에 대한 개념도이고, 도 7b는 도 5a의 강화 학습을 통해 획득한 이온 입사 각도 프로파일에 대한 그래프이다.
도 8a는 이온 임플란트 공정에서의 이온의 도우즈의 조절에 대한 개념도이고, 도 8b는 도 5a의 강화 학습을 통해 획득한 이온 도우즈 프로파일에 대한 그래프이다.
도 9a는 이온 임플란트 공정에서의 웨이퍼의 수직 이동 속도에 대한 개념도이고, 도 9b는 도 5a의 강화 학습을 통해 획득한 웨이퍼의 수직 이동 속도 프로파일에 대한 그래프이다.
도 10a는 본 발명의 일 실시예에 따른 이온 임플란트 방법에 대한 흐름도이다.
도 10b는 도 10a의 이온 임플란트를 수행하는 단계를 좀더 상세하게 보여주는 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 반도체 소자 제조 방법에 대한 흐름도이다.1 is a flowchart of a method for controlling an ion depth profile according to an embodiment of the present invention.
2A and 2B are graphs for an ion depth profile.
3 is a block diagram of an ion implant system according to an embodiment of the present invention.
4 is an apparatus configuration diagram schematically showing an ion implant device in the ion implant system of FIG. 3.
FIG. 5A is a conceptual diagram of reinforcement learning used in the method of controlling an ion depth profile of FIG. 1, and FIG. 5B is a graph of an ion energy profile obtained through the reinforcement learning of FIG. 5A.
6 is a conceptual diagram of a DNN algorithm used in reinforcement learning of FIG. 5A.
7A is a conceptual diagram of an ion incident angle in an ion implant process, and FIG. 7B is a graph of an ion incident angle profile obtained through reinforcement learning of FIG. 5A.
FIG. 8A is a conceptual diagram for controlling the dose of ions in an ion implant process, and FIG. 8B is a graph for an ion dose profile obtained through reinforcement learning of FIG. 5A.
9A is a conceptual diagram of a vertical movement speed of a wafer in an ion implant process, and FIG. 9B is a graph of a vertical movement speed profile of a wafer obtained through the reinforcement learning of FIG. 5A.
10A is a flowchart of an ion implantation method according to an embodiment of the present invention.
FIG. 10B is a detailed flowchart illustrating a step of performing the ion implant of FIG. 10A.
11 is a flowchart illustrating a method of manufacturing a semiconductor device according to an embodiment of the present invention.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고, 이들에 대한 중복된 설명은 생략한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. The same reference numerals are used for the same components in the drawings, and duplicate descriptions thereof are omitted.

도 1은 본 발명의 일 실시예에 따른 이온 깊이 프로파일 제어방법에 대한 흐름도이고, 도 2a 및 도 2b는 이온 깊이 프로파일에 대한 그래프들이다. 도 2a 및 도 2b에서 x축은 웨이퍼의 깊이를 나타내고 단위는 임의 단위이며, y축은 이온 농도를 나타내고, 단위는 역시 임의 단위일 수 있다. 한편, 웨이퍼의 깊이는 웨이퍼 표면으로부터의 깊이일 수도 있고, 웨이퍼의 특정 위치로부터의 깊이일 수도 있다.1 is a flowchart illustrating a method for controlling an ion depth profile according to an embodiment of the present invention, and FIGS. 2A and 2B are graphs for an ion depth profile. 2A and 2B, the x-axis represents the depth of the wafer and the unit is an arbitrary unit, the y-axis represents the ion concentration, and the unit may also be an arbitrary unit. On the other hand, the depth of the wafer may be the depth from the wafer surface or may be the depth from a specific position of the wafer.

도 1 내지 도 2b를 참조하면, 본 실시예의 이온 깊이 프로파일 제어 방법은, 먼저, 이온 깊이 프로파일(ion depth profile)과 박스 프로파일(box profile)과의 유사도를 보상(reward)으로 받는 강화 학습(reinforcement learning)을 수행한다(S110). 여기서, 이온 깊이 프로파일은 이온 임플란트(ion implant) 공정에서의 웨이퍼의 깊이에 따른 이온 농도를 나타내는 프로파일을 의미할 수 있다. 또한, 박스 프로파일은 이온 깊이 프로파일이 도달하여야 하는 타겟 프로파일을 의미할 수 있다. 따라서, 이온 깊이 프로파일과 박스 프로파일과의 유사도가 높을수록 좋으며, 설정된 기준의 유사도가 산출될 때까지 강화 학습이 수행될 수 있다.1 to 2B, the method for controlling an ion depth profile of the present embodiment includes, first, reinforcement learning that receives a similarity between an ion depth profile and a box profile as a reward. learning) is performed (S110). Here, the ion depth profile may mean a profile representing an ion concentration according to the depth of a wafer in an ion implant process. Also, the box profile may mean a target profile to which the ion depth profile should reach. Accordingly, the higher the similarity between the ion depth profile and the box profile is, the better, and reinforcement learning may be performed until the similarity of the set reference is calculated.

이온 임플란트 공정에서, 이온 에너지에 따라 이온이 웨이퍼에 주입되는 깊이가 달라질 수 있다. 예컨대, 이온 에너지가 크면 웨이퍼에 깊게 이온이 주입되고, 이온 에너지가 작으면 웨이퍼에 얇게 이온이 주입될 수 있다. 또한, 고정된 하나의 이온 에너지를 가지고 이온이 웨이퍼에 주입되는 경우, 웨이퍼의 깊이에 따른 이온 농도는 일반적으로 가우시안 분포로 나타날 수 있다. 도 2a를 가지고 설명하면, 고정된 하나의 이온 에너지를 가지고 이온 임플란트를 수행하게 되면, 웨이퍼의 제1 깊이(D1)에 대부분의 이온들이 집중될 수 있다. 따라서, 이온 농도는 제1 깊이(D1)에서 가장 높게 나오고, 제1 깊이(D1)에서 양쪽으로 멀어질수록 급격하게 낮아지는 가우시안 분포를 가질 수 있다.In the ion implant process, the depth at which ions are implanted into the wafer may vary according to the ion energy. For example, if the ion energy is high, ions may be deeply implanted into the wafer, and if the ion energy is low, ions may be thinly implanted into the wafer. In addition, when ions are implanted into the wafer with a fixed ion energy, the ion concentration according to the depth of the wafer may generally appear as a Gaussian distribution. Referring to FIG. 2A, when ion implantation is performed with a fixed ion energy, most of the ions may be concentrated at the first depth D1 of the wafer. Accordingly, the ion concentration may have a Gaussian distribution that is highest at the first depth D1 and rapidly decreases as the distance increases to both sides from the first depth D1.

한편, 이온 임플란트 공정에서, 이온의 농도가 웨이퍼의 요구되는 깊이 영역 전체에 걸쳐 균일하게 분포하는 것이, 후속 반도체 공정을 통해 생산되는 반도체 소자들에서 균일한 성능을 달성하는데 유리할 수 있다. 예컨대, 도 2b에 도시된 바와 같이, 깊이에 따른 이온 농도에 대한 프로파일, 즉 이온 깊이 프로파일은 직사각형 형태의 박스(box) 프로파일로 나타나는 것이 좋다. Meanwhile, in the ion implant process, uniform distribution of the concentration of ions over the entire required depth region of the wafer may be advantageous in achieving uniform performance in semiconductor devices produced through a subsequent semiconductor process. For example, as shown in FIG. 2B, the profile for the ion concentration according to the depth, that is, the ion depth profile is preferably represented as a rectangular box profile.

본 실시예의 이온 깊이 프로파일 제어방법은, 강화 학습을 통해 이온 임플란트 공정에서 요구되는 적어도 하나의 공정 조건, 예컨대 시간에 따른 이온 에너지를 획득할 수 있다. 또한, 획득한 적어도 하나의 공정 조건에 기초하여, 이온 임플란트 공정이 수행되게 함으로써, 박스 프로파일 형태의 이온 깊이 프로파일이 구현되도록 할 수 있다.The ion depth profile control method of the present embodiment may acquire at least one process condition required in an ion implant process, for example, ion energy over time through reinforcement learning. In addition, by performing the ion implant process based on the acquired at least one process condition, an ion depth profile in the form of a box profile may be implemented.

한편, 강화 학습은 머신 러닝(machine learning)의 3개의 분야 중 하나이다. 예컨대, 머신 러닝은 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 및 강화 학습으로 분류될 수 있다. 강화 학습은 어떤 환경(environment) 안에서 정의된 에이전트(agent)가 현재의 상태를 인식하여 선택 가능한 행동 중 보상을 최대화하는 행동, 또는 행동순서를 선택하는 학습 방법이다. 예컨대, 본 실시예의 이온 깊이 프로파일 제어 방법과 관련하여, 에이전트에서 이온 임플란트 공정에서의 현재 상태를 입력하고 학습을 통해 산출된 공정 조건, 예컨대, 시간에 따른 이온의 에너지를 행동으로 취하게 되면, 환경에서 다음 상태와 보상을 에이전트로 돌려주며, 여기서 보상이 이온 깊이 프로파일과 박스 프로파일과의 유사도일 수 있다.On the other hand, reinforcement learning is one of the three fields of machine learning. For example, machine learning can be classified into supervised learning, unsupervised learning, and reinforcement learning. Reinforcement learning is a learning method in which an agent defined in a certain environment recognizes the current state and selects an action or sequence of actions that maximizes reward among selectable actions. For example, in relation to the method of controlling the ion depth profile of the present embodiment, when the agent inputs the current state in the ion implant process and takes the process condition calculated through learning, for example, the energy of ions over time, the environment Returns the next state and compensation to the agent, where the compensation may be the degree of similarity between the ion depth profile and the box profile.

본 실시예의 이온 깊이 프로파일 제어 방법에서, 강화 학습은 해당 알고리즘이나 프로그램이 동작할 수 있는 시뮬레이션 장치(도 2의 110 참조)에서 수행될 수 있다. 예컨대, 시뮬레이션 장치는, 강화 학습 관련한 알고리즘이나 프로그램을 실행시킬 수 있는 데스크 탑, 워크스테이션, 슈퍼컴퓨터 등과 같은 컴퓨터일 수 있다. 한편, 강화 학습 관련한 알고리즘이나 프로그램은, 예컨대, DNN(Deep Learning Network) 알고리즘 또는 DQN(Deep Q-Network) 알고리즘을 포함할 수 있다. 여기서, DQN은 엄밀히 말하면, 강화학습 알고리즘, 예컨대, Q-Networks 알고리즘에 DNN 알고리즘을 결합한 알고리즘을 의미하나, 이하에서, 강화 학습 관련한 알고리즘을 DQN 알고리즘으로 통칭하여 사용한다. 물론, 강화 학습 관련한 알고리즘이 DQN 알고리즘에 한정되는 것은 아니다. 강화 학습 및 DQN과 관련해서는 도 5a 내지 도 6의 설명 부분에서 좀더 상세히 설명한다.In the method for controlling the ion depth profile of the present embodiment, the reinforcement learning may be performed in a simulation apparatus (see 110 of FIG. 2) in which a corresponding algorithm or program can operate. For example, the simulation device may be a computer such as a desktop, a workstation, or a supercomputer capable of executing an algorithm or program related to reinforcement learning. Meanwhile, an algorithm or program related to reinforcement learning may include, for example, a Deep Learning Network (DNN) algorithm or a Deep Q-Network (DQN) algorithm. Strictly speaking, DQN refers to a reinforcement learning algorithm, for example, an algorithm that combines a DNN algorithm with a Q-Networks algorithm, but hereinafter, an algorithm related to reinforcement learning is collectively referred to as a DQN algorithm. Of course, the algorithm related to reinforcement learning is not limited to the DQN algorithm. Reinforcement learning and DQN will be described in more detail in the description of FIGS. 5A to 6.

다음, 강화 학습의 결과로서 이온 임플란트 공정에서의 적어도 하나의 공정 조건을 획득한다(S130). 강화 학습을 통해 획득한 적어도 하나의 공정 조건에 기초하여 이온 임플란트 공정을 수행함으로써, 박스 프로파일 형태의 이온 깊이 프로파일을 구현할 수 있다. Next, as a result of reinforcement learning, at least one process condition in the ion implant process is acquired (S130). By performing the ion implant process based on at least one process condition acquired through reinforcement learning, an ion depth profile in the form of a box profile may be implemented.

적어도 하나의 공정 조건은, 앞서 강화 학습에서 에이전트의 행동인 시간에 따른 이온 에너지일 수 있다. 물론, 적어도 하나의 공정 조건이 시간에 따른 이온 에너지에 한정되는 것은 아니다. 예컨대, 적어도 하나의 공정 조건은, 이온 임플란트 공정에서, 박스 프로파일 형태의 이온 깊이 프로파일을 구현하는데 영향을 줄 수 있는 다른 공정 조건들을 포함할 수도 있다. 구체적인 예로, 도 7a 내지 도 9b의 설명 부분에서 설명하는 바와 같이, 적어도 하나의 공정 조건은, 시간에 따른 이온의 입사 각도, 시간에 따른 이온의 도우즈, 및 시간에 따른 웨이퍼의 수직 이동 속도를 포함할 수 있다.At least one process condition may be ion energy over time, which is an agent's action in reinforcement learning. Of course, at least one process condition is not limited to ion energy over time. For example, the at least one process condition may include other process conditions that may affect the implementation of an ion depth profile in the form of a box profile in an ion implant process. As a specific example, as described in the description of FIGS. 7A to 9B, the at least one process condition is the incidence angle of ions over time, the dose of ions over time, and the vertical movement speed of the wafer over time. Can include.

한편, 적어도 하나의 공정 조건을 획득하는 단계(S130)에서, 적어도 하나의 공정 조건은 프로파일 형태로 생성될 수 있다. 예컨대, 적어도 하나의 공정 조건이 시간에 따른 이온 에너지인 경우, 적어도 하나의 공정 조건을 획득하는 단계(S130)에서, 시간에 따른 이온 에너지의 크기를 나타내는 이온 에너지 프로파일이 생성될 수 있다. 또한, 적어도 하나의 공정 조건이 시간에 따른 이온의 입사 각도, 시간에 따른 이온의 도우즈, 시간에 따른 웨이퍼의 수직 이동 속도 등인 경우, 적어도 하나의 공정 조건을 획득하는 단계(S130)에서, 각각의 공정 조건에 대응하여 이온 입사 각도 프로파일, 이온 도우즈 프로 파일, 수직 이동 속도 프로파일 등이 생성될 수 있다.Meanwhile, in the step of acquiring at least one process condition (S130), at least one process condition may be generated in the form of a profile. For example, when at least one process condition is ion energy over time, in the step S130 of acquiring at least one process condition, an ion energy profile indicating the magnitude of the ion energy over time may be generated. In addition, in the case where the at least one process condition is the incident angle of ions over time, the dose of ions over time, the vertical movement speed of the wafer over time, etc., in the step of acquiring at least one process condition (S130), each An ion incidence angle profile, an ion dose profile, a vertical movement velocity profile, and the like may be generated according to the process conditions of.

적어도 하나의 공정 조건 획득 후에, 해당 공정 조건에 대한 공정 레시피(recipe)를 생성한다(S150). 여기서, 공정 조건은 이온 임플란트 공정을 수행을 위한 좀더 상위 개념의 조건이고, 공정 레시피는 해당 공정 조건을 수행하기 위한 구체적인 데이터들 또는 물리량들에 해당할 수 있다. 구체적으로 예를 들면, 적어도 하나의 공정 조건이 시간에 따른 이온 에너지라고 할 때, 공정 레시피는 이온 임플란트 공정에서 해당 이온 에너지를 생성하기 위한 구체적인 데이터들 또는 물리량들에 해당할 수 있다. 예컨대, 공정 레시피는, 해당 이온 에너지를 생성하기 위해 필요한, 소스 가스의 농도, 전류 크기나 전압 크기, 시간 간격 등의 구체적인 정량 데이터 내지 물리량들에 해당할 수 있다.After obtaining at least one process condition, a process recipe for the process condition is generated (S150). Here, the process condition is a condition of a higher concept for performing the ion implant process, and the process recipe may correspond to specific data or physical quantities for performing the corresponding process condition. Specifically, for example, when at least one process condition is ion energy over time, the process recipe may correspond to specific data or physical quantities for generating corresponding ion energy in an ion implant process. For example, the process recipe may correspond to specific quantitative data or physical quantities, such as a concentration of a source gas, a current magnitude, a voltage magnitude, a time interval, etc. required to generate the corresponding ion energy.

이와 같이 공정 조건에 대한 공정 레시피가 생성되면, 이후 공정 레시피를 적용하여 실제로 이온 임플란트 공정을 수행할 수 있다.When the process recipe for the process conditions is generated as described above, the ion implant process can be actually performed by applying the process recipe afterwards.

본 실시예의 이온 깊이 프로파일 제어 방법은, 강화 학습을 통해 이온 임플란트 공정에서의 적어도 하나의 공정 조건을 획득하고, 해당 공정 조건에 대한 공정 레시피를 생성할 수 있다. 여기서, 강화 학습을 통해 획득한 적어도 하나의 공정 조건은 이온 임플란트 공정에서 이온 깊이 프로파일이 박스 프로파일과 실질적으로 일치되도록 하는 공정 조건으로서, 예컨대, 시간 따른 이온 에너지일 수 있다. 그에 따라, 본 실시예의 이온 깊이 프로파일 제어 방법은, 상기 공정 레시피가 이온 임플란트 공정에 적용되도록 함으로써, 이온 임플란트 공정에서 박스 프로파일 형태의 이온 깊이 프로파일이 구현되도록 할 수 있다.The method of controlling an ion depth profile according to the present embodiment may acquire at least one process condition in an ion implant process through reinforcement learning, and generate a process recipe for the process condition. Here, the at least one process condition acquired through reinforcement learning is a process condition for substantially matching the ion depth profile with the box profile in the ion implant process, and may be, for example, ion energy over time. Accordingly, in the method of controlling the ion depth profile of the present embodiment, the process recipe may be applied to the ion implant process, so that the ion depth profile in the form of a box profile may be implemented in the ion implant process.

또한, 본 실시예의 이온 깊이 프로파일 제어 방법은, 강화 학습을 통해 획득한 공정 조건 및 그에 따른 공정 레시피에 기초하여 이온 임플란트 공정이 진행되게 함으로써, 이온 임플란트 공정이 한 번만 수행되도록 할 수 있고, 따라서, 이온 임플란트 공정의 시간을 대폭 감소시킬 수 있다.In addition, the ion depth profile control method of this embodiment allows the ion implant process to proceed based on the process conditions obtained through reinforcement learning and the process recipe according thereto, so that the ion implant process can be performed only once, and thus, The time of the ion implant process can be significantly reduced.

참고로, 이온 임플란트 공정에서 이온 깊이 프로파일이 박스 프로파일이 되도록 하기 위하여, 이온의 에너지를 달리하면서 여러 번의 이온 임플란트 공정을 수행하는 방법을 고려할 수 있다. 예컨대, E1의 이온 에너지를 가지고 이온 임플란트를 수행하는 경우, 제1 깊이(D1)에서 이온 농도가 최대가 되는 가우시안 분포가 나타난다고 하면, E1-α의 이온 에너지와 E1+α의 이온 에너지를 가지고 각각 이온 임플란트를 수행하게 되면, 각각 제1 깊이(D1)보다 얕은 깊이와 제1 깊이(D1)보다 깊은 깊이에서 이온 농도가 최대가 되는 가우시안 분포가 나타날 수 있다. 따라서, E1, E1-α, 및 E1+α의 3가지 이온 에너지를 가지고 3번의 이온 임플란트 공정을 수행하게 되면, 이온 깊이 프로파일이 박스 프로파일의 형태에 어느 정도 접근할 수 있다. 또한, 더 많은 종류의 이온 에너지 및 그에 대응하는 횟수로 이온 임플란트 공정을 진행하게 되면, 이온 깊이 프로파일이 박스 프로파일의 형태에 보다 근접할 수 있다.For reference, in order for the ion depth profile to become a box profile in the ion implant process, a method of performing the ion implant process several times while varying the energy of the ion may be considered. For example, when performing an ion implantation with the ion energy of E1, suppose that a Gaussian distribution with the maximum ion concentration at the first depth (D1) appears, the ion energy of E1-α and the ion energy of E1+α When each of the ion implants is performed, a Gaussian distribution in which the ion concentration is maximized may appear at a depth shallower than the first depth D1 and a depth deeper than the first depth D1, respectively. Therefore, when the ion implant process is performed three times with three ion energies of E1, E1-α, and E1+α, the ion depth profile can approach the shape of the box profile to some extent. In addition, when the ion implant process is performed with more kinds of ion energy and the number of times corresponding thereto, the ion depth profile may be closer to the shape of the box profile.

다만, 이러한 방법은 다음과 같은 문제점이 발생할 수 있다. 먼저, 여러 가지 종류의 이온 에너지를 이용한다고 하더라도 이온 깊이 프로파일이 박스 프로파일과 정확히 일치하기 어렵다. 또한, 여러 번의 이온 임플란트 공정을 수행하여야 하므로 공정 시간이 매우 오래 걸릴 수 있다. 더욱이, 이온 임플란트 공정은 웨이퍼의 요구되는 영역 내에 설정된 이온 농도가 유지되어야 하나, 박스 프로파일에 맞추려고 여러 번의 이온 임플란트 공정을 수행하는 경우, 이온 농도 자체를 맞추기가 어려울 수 있다.However, this method may cause the following problems. First, even if various kinds of ion energies are used, it is difficult for the ion depth profile to exactly match the box profile. In addition, since the ion implant process must be performed several times, the process time may take a very long time. Moreover, in the ion implantation process, the ion concentration set in the desired region of the wafer must be maintained, but when performing the ion implantation process several times to match the box profile, it may be difficult to match the ion concentration itself.

그러나 본 실시예의 이온 깊이 프로파일 제어 방법은, 이온 깊이 프로파일이 박스 프로파일과 실질적으로 일치되도록 하는 공정 조건을 강화 학습을 통해 획득하고, 해당 공정 공정에 대한 공정 레시피를 생성하여, 상기 공정 레시피가 이온 임플란트 공정에 적용되도록 함으로써, 전술한 문제점들을 모두 해결할 수 있다. 즉, 본 실시예의 이온 깊이 프로파일 제어 방법의 경우, 이온 임플란트 공정에서 한 번의 이온 임플란트 공정을 통해 박스 프로파일 형태의 이온 깊이 프로파일이 구현되도록 할 수 있고, 그에 따라, 이온 임플란트 공정의 시간을 대폭 감소시킬 수 있다. 또한, 영역 내에 요구되는 이온 농도가 유지되도록 공정 조건이 획득되므로, 이온 농도를 맞추기 위해 별도의 추가적인 과정이 필요하지 않을 수 있다.However, in the method of controlling the ion depth profile of the present embodiment, the process conditions for substantially matching the ion depth profile with the box profile are acquired through reinforcement learning, and a process recipe for the process process is generated, so that the process recipe is an ion implant. By being applied to the process, all of the above-described problems can be solved. That is, in the case of the ion depth profile control method of the present embodiment, the ion depth profile in the form of a box profile can be implemented through one ion implant process in the ion implant process, and accordingly, the time of the ion implant process can be significantly reduced. I can. In addition, since the process conditions are obtained so that the required ion concentration in the region is maintained, a separate additional process may not be required to adjust the ion concentration.

도 3은 본 발명의 일 실시예에 따른 이온 임플란트 시스템에 대한 블록 구조도이고, 도 4는 도 3의 이온 임플란트 시스템에서, 이온 임플란트 장치를 개략적으로 보여주는 장치 구성도이다.FIG. 3 is a block diagram of an ion implant system according to an embodiment of the present invention, and FIG. 4 is a schematic diagram of an ion implant device in the ion implant system of FIG. 3.

도 3 및 도 4를 참조하면, 본 실시예에 따른 이온 임플란트 시스템(1000)은 강화 학습 시뮬레이션 장치부(100), 저장부(200), 및 이온 임플란트 장치부(300)를 포함할 수 있다.3 and 4, the ion implant system 1000 according to the present exemplary embodiment may include a reinforcement learning simulation device 100, a storage 200, and an ion implant device 300.

강화 학습 시뮬레이션 장치부(100)는 강화 학습 시뮬레이션 장치(110)와 제1 유저 인터페이스(130, User Interface: UI)를 포함할 수 있다. 강화 학습 시뮬레이션 장치(110)는 강화 학습을 위한 학습 알고리즘이 실행될 수 있는 데스크 탑, 워크스테이션, 슈퍼컴퓨터 등과 같은 컴퓨터일 수 있다. 예컨대, 학습 알고리즘은 전술한 바와 같이 DQN 알고리즘일 수 있다. 물론, 학습 알고리즘이 DQN 알고리즘에 한정되는 것은 아니다.The reinforcement learning simulation device 100 may include a reinforcement learning simulation device 110 and a first user interface 130 (User Interface: UI). The reinforcement learning simulation device 110 may be a computer such as a desktop, a workstation, or a supercomputer on which a learning algorithm for reinforcement learning can be executed. For example, the learning algorithm may be a DQN algorithm as described above. Of course, the learning algorithm is not limited to the DQN algorithm.

제1 UI(130)는 강화 학습 시뮬레이션 장치(110)에 연결될 수 있다. 제1 UI(130)를 통해 강화 학습에 이용되는 할인 인자(discount factor), 학습률(learning rate), 에포크(epoch) 등의 변수가 수동 또는 자동으로 설정될 수 있다. 할인 인자, 학습률, 에포크 등에 대해서는 도 5a 내지 도 6의 설명 부분에서 좀더 상세히 설명한다. 또한, 제1 UI(130)를 통해, 강화 학습에서의 학습 진행 상태가 디버깅(debugging) 될 수 있다. 예컨대, 제1 UI(130)를 통해 학습 진행 상태를 디버깅함으로써, 사용자가 학습의 진행 상태를 컴퓨터 모니터 등을 통해 실시간으로 확인할 수 있다.The first UI 130 may be connected to the reinforcement learning simulation device 110. Variables such as a discount factor, a learning rate, and an epoch used for reinforcement learning may be manually or automatically set through the first UI 130. Discount factors, learning rates, epochs, etc. will be described in more detail in the description of FIGS. 5A to 6. In addition, through the first UI 130, a learning progress state in reinforcement learning may be debugged. For example, by debugging the learning progress state through the first UI 130, the user can check the learning progress in real time through a computer monitor or the like.

저장부(200)는 강화 학습 시뮬레이션 장치(110)에서 강화 학습을 통해 획득한 이온 임플란트 공정에서의 적어도 하나의 공정 조건에 대한 데이터를 저장할 수 있다. 예컨대, 적어도 하나의 공정 조건은 시간에 따른 이온 에너지에 대한 데이터, 또는 시간에 따른 이온 에너지의 크기를 나타내는 이온 에너지 프로파일에 대한 데이터일 수 있다.The storage unit 200 may store data on at least one process condition in an ion implant process acquired through reinforcement learning by the reinforcement learning simulation apparatus 110. For example, the at least one process condition may be data on ion energy over time, or data on an ion energy profile indicating a magnitude of ion energy over time.

한편, 저장부(200)는 적어도 하나의 공정 조건에 대한 데이터에 한하지 않고, 강화 학습 시뮬레이션 장치(110)에서 필요한 데이터들이나 이온 임플란트 장치(310)에서 필요한 데이터들을 저장할 수 있다. 또한, 저장부(200)는 강화 학습 시뮬레이션 장치(110)로부터 출력된 중간 결과물에 대한 데이터를 저장할 수도 있다. 실시예에 따라, 저장부(200)는 강화 학습 시뮬레이션 장치(110) 또는 이온 임플란트 장치(310) 내에 배치될 수도 있다.Meanwhile, the storage unit 200 is not limited to data on at least one process condition, and may store data required by the reinforcement learning simulation apparatus 110 or data required by the ion implant apparatus 310. In addition, the storage unit 200 may store data on an intermediate result output from the reinforcement learning simulation apparatus 110. Depending on the embodiment, the storage unit 200 may be disposed in the reinforcement learning simulation device 110 or the ion implant device 310.

이온 임플란트 장치부(300)는 이온 임플란트 장치(310)와 제2 UI(330)을 포함할 수 있다. 이온 임플란트 장치(310)는 도 4에 도시된 바와 같이, 이온 소스(311), 이온 발생기(313a), 질량 분석기(315), 가속기(317), 및 스테이지(319)를 포함할 수 있다.The ion implant device 300 may include an ion implant device 310 and a second UI 330. The ion implant device 310 may include an ion source 311, an ion generator 313a, a mass analyzer 315, an accelerator 317, and a stage 319, as shown in FIG. 4.

이온 소스(311)는 이온화를 위한 소스 가스를 공급할 수 있다. 소스 가스는 주입하고자 하는 이온들, 예컨대, 붕소(B), 인(P), 비소(As), 안티몬(Sb) 등의 이온의 종류에 따라 다양하게 선택될 수 있다. 구체적인 예로, N형 도펀트로서 인(P) 이온을 위한 소스 가스로 PH₃가스가 사용되고, P형 도펀트로서 붕소(B) 이온을 위한 소스 가스로 BF₃ 가스가 사용될 수 있다.The ion source 311 may supply a source gas for ionization. The source gas may be variously selected according to the type of ions to be implanted, such as boron (B), phosphorus (P), arsenic (As), and antimony (Sb). As a specific example, PH ₃ gas may be used as a source gas for phosphorus (P) ions as an N-type dopant, and BF ₃ gas may be used as a source gas for boron (B) ions as a P-type dopant.

이온 발생기(313a)는 소스 가스로부터 이온을 발생시킬 수 있다. 즉, 이온 발생기(313a)에서 열 전자를 방출하고, 소스 가스가 열전자와 부딪쳐서 이온이 발생할 수 있다. 예컨대, 이온 발생기(313a)는 필라멘트로 구현될 수 있다. 열 전자가 많을수록 이온이 많이 발생하며, 전류원(313b)을 통해 필라멘트에 전류를 많이 흘려줌으로써, 열 전자의 수를 증가시킬 수 있다. 다시 말해서, 전류원(313b)을 통해 전류량을 조절함으로써, 이온의 양을 조절할 수 있다. 참고로, 웨이퍼로 주입되는 이온의 양을 도우즈(doze)라고 한다. 실시예에 따라, 이온 소스(311), 이온 발생기(313a), 및 전류원(313b)을 함께 이온 소스로 부를 수도 있다. 한편, 이온 발생기(313a)를 통해 발생한 이온들은 제1 슬릿(Sl1)을 통과하여 질량 분석기(315)로 입사될 수 있다.The ion generator 313a may generate ions from the source gas. That is, the ion generator 313a emits hot electrons, and the source gas collides with the hot electrons to generate ions. For example, the ion generator 313a may be implemented as a filament. The greater the number of hot electrons, the more ions are generated, and by passing more current to the filament through the current source 313b, the number of hot electrons can be increased. In other words, by controlling the amount of current through the current source 313b, the amount of ions can be adjusted. For reference, the amount of ions implanted into the wafer is referred to as a dose. Depending on the embodiment, the ion source 311, the ion generator 313a, and the current source 313b may be referred to as an ion source together. Meanwhile, ions generated through the ion generator 313a may pass through the first slit Sl1 and enter the mass analyzer 315.

질량 분석기(315)는 자기장 세기를 조절하여 이온 발생기(313a)로부터의 이온들 중 주입용 이온을 선택할 수 있다. 질량 분석기(315)는 분류기라고도 하는데, 질량 분석기(315)가 없으면 소스 가스에서 생긴 모든 이온들과 그 이외의 원하지 않는 종류의 이온까지 웨이퍼로 주입될 수 있다. 따라서, 이온 주입에 필요한 이온만을 추출하기 위하여 질량 분석기(315)가 배치될 수 있다. 좀더 구체적으로 설명하면, 질량 분석기(315)는 전자기장을 통과하는 이온의 경로를 분석하여 질량을 측정하는 장치로서, 전하를 띤 이온이 전기장이나 자기장을 통과할 때 전자기력을 받아 경로가 휘어지며, 또한, 동일한 전하를 가진 이온은 질량이 클수록 경로가 적게 휘는 점을 이용한다. 따라서, 질량 분석기(315)의 자기장을 조절하여 필요한 이온만을 추출할 수 있다. 예컨대, 도 4를 통해 알 수 있듯이, 필요한 이온만이 제2 슬릿(Sl2)을 통과하고, 그 이외의 이온들은 제2 슬릿(Sl2)에 의해 차단될 수 있다. The mass spectrometer 315 may select ions for implantation among ions from the ion generator 313a by adjusting the magnetic field strength. The mass spectrometer 315 is also referred to as a classifier. Without the mass spectrometer 315, all ions generated from the source gas and ions of other unwanted types may be implanted into the wafer. Accordingly, the mass spectrometer 315 may be arranged to extract only ions required for ion implantation. More specifically, the mass spectrometer 315 is a device that measures mass by analyzing a path of ions passing through an electromagnetic field, and when charged ions pass through an electric or magnetic field, the path is bent by receiving electromagnetic force. , The larger the mass of the ions with the same charge, the less the path is bent. Therefore, only necessary ions can be extracted by adjusting the magnetic field of the mass spectrometer 315. For example, as can be seen through FIG. 4, only necessary ions pass through the second slit Sl2, and ions other than that may be blocked by the second slit Sl2.

가속기(137)는 주입용 이온을 가속하여 요구되는 이온 에너지를 갖는 이온 빔을 만들 수 있다. 대전 입자는 전위차를 있는 곳에 두면 가속되게 된다. 예컨대, 전위차가 V인 두 점을 이온이 지나가게 함으로써, 얻어지는 이온의 최종 에너지(E)는 E = qV로 나타날 수 있다. 구체적인 예로, P+ 이온이 150kV의 전위차를 지나면서 가속되면 150keV 에너지를 가질 수 있다. 이온 에너지에 따라, 이온이 웨이퍼(500) 내에 입사되는 깊이가 달라짐은 전술한 바와 같다. 가속기(137)는 이온이 지나가는 두 위치 사이에 전위차를 만드는 장치이므로, 도 4에서, 가속기(137)를 간단히 전압원들로 표시하고 있다. The accelerator 137 may generate an ion beam having a required ion energy by accelerating the ions for implantation. Charged particles are accelerated by placing them where there is a potential difference. For example, by allowing ions to pass through two points having a potential difference of V, the resulting ions' final energy (E) can be expressed as E = qV. As a specific example, when P+ ions are accelerated while passing through a potential difference of 150 kV, they may have 150 keV energy. As described above, the depth at which ions are incident into the wafer 500 varies according to the ion energy. Since the accelerator 137 is a device that creates a potential difference between two positions through which ions pass, the accelerator 137 is simply indicated as voltage sources in FIG. 4.

스테이지(319)에는 이온 주입의 대상이 되는 웨이퍼(500)가 배치될 수 있다. 도 4에 도시된 바와 같이, 스테이지(319)의 상면은 이온 빔에 대하여 수직이 되도록 배치되고, 그에 따라, 스테이지(319)의 상면 상에 배치된 웨이퍼(500)의 상면도 이온 빔에 대하여 수직이 될 수 있다. 한편, 실시예에 따라, 스테이지(319)는 상면이 이온 빔에 대하여 소정 경사각을 갖도록 배치될 수 있고, 그에 따라, 이온 빔은 웨이퍼(500) 상면 상에 경사 입사될 수 있다.A wafer 500 to be subjected to ion implantation may be disposed on the stage 319. 4, the top surface of the stage 319 is arranged to be perpendicular to the ion beam, and accordingly, the top surface of the wafer 500 disposed on the top surface of the stage 319 is also perpendicular to the ion beam. Can be Meanwhile, according to an exemplary embodiment, the stage 319 may be disposed so that the upper surface has a predetermined inclination angle with respect to the ion beam, and accordingly, the ion beam may be obliquely incident on the upper surface of the wafer 500.

일반적으로, 이온 임플란트 공정에서, 스테이지(319)는 양쪽 화살표(da)로 표시된 바와 같이 수직 방향으로 이동할 수 있다. 그러한 스테이지(319)의 수직 방향의 이동을 통해, 이온 주입이 웨이퍼(500) 전체에 대하여 수행될 수 있다. 또한, 이온 임플란트 공정에서, 웨이퍼(500)는 스테이지(319)를 통해 수직 방향으로 왕복 이동하게 되는데, 이온 임플란트 공정의 종류에 따라 왕복 횟수가 달라질 수 있다.In general, in the ion implant process, the stage 319 may move in a vertical direction as indicated by both arrows da. Through such movement of the stage 319 in the vertical direction, ion implantation may be performed on the entire wafer 500. In addition, in the ion implant process, the wafer 500 reciprocates in a vertical direction through the stage 319, and the number of reciprocations may vary depending on the type of the ion implant process.

한편, 도시하지는 않았지만, 이온 임플란트 장치(310)는 스캐너, 도우즈 컨트롤러, 패러데이 컵 등을 더 포함할 수 있다. 스캐너는 가속기(317) 후단으로 배치되고, 이온 빔을 정렬하여 라인 형태의 이온 빔으로 만들어, 웨이퍼(500)로 균일하게 주입되도록 할 수 있다. 도우즈 컨트롤러는 패러데이 컵을 이용하여 측정된 이온 빔에 대한 데이터에 기초하여 웨이퍼(500)로 주입되는 이온의 총량을 제어할 수 있다.Meanwhile, although not shown, the ion implant device 310 may further include a scanner, a dose controller, and a Faraday cup. The scanner is disposed at the rear end of the accelerator 317 and aligns the ion beams to form a line-shaped ion beam, so that it is uniformly implanted into the wafer 500. The dose controller may control the total amount of ions implanted into the wafer 500 based on data on the ion beam measured using the Faraday cup.

제2 UI(330)는 이온 임플란트 장치(310)에 연결될 수 있다. 제2 UI(330)를 통해 전술한 적어도 하나의 공정 조건을 이온 임플란트 장치(310)에 실시간으로 설정할 수 있다. 예컨대, 제2 UI(330)를 통해 시간에 따른 이온 에너지를 이온 임플란트 장치(310)에 수동 또는 자동으로 설정할 수 있다. 한편, 이온 임플란트 장치(310)에 적어도 하나의 공정 조건을 설정한다는 것은 적어도 하나의 공정 조건에 대한 공정 레시피들을 적용한다는 것을 의미할 수 있다. 예컨대, 이온 임플란트 장치(310)에서 시간에 따른 이온 에너지를 설정하는 것은, 시간에 따른 이온 에너지 또는 이온 에너지 프로파일에 대응하는 이온 에너지가 생성되도록, 소스 가스의 농도, 전류 크기나 전압 크기, 시간 간격 등의 구체적인 정량 데이터 내지 물리량들을 적용하는 것에 해당할 수 있다.The second UI 330 may be connected to the ion implant device 310. At least one process condition described above may be set in the ion implant device 310 in real time through the second UI 330. For example, ion energy over time may be manually or automatically set in the ion implant device 310 through the second UI 330. Meanwhile, setting at least one process condition to the ion implant device 310 may mean applying process recipes for at least one process condition. For example, setting the ion energy over time in the ion implant device 310 includes the concentration of the source gas, the magnitude of the current or the magnitude of the voltage, and the time interval so that ion energy over time or ion energy corresponding to the ion energy profile is generated. It may correspond to applying specific quantitative data or physical quantities such as.

도 5a는 도 1의 이온 깊이 프로파일 제어방법에 이용하는 강화 학습에 대한 개념도이고, 도 5b는 도 5a의 강화 학습을 통해 획득한 이온 에너지 프로파일에 대한 그래프이다.FIG. 5A is a conceptual diagram of reinforcement learning used in the method of controlling an ion depth profile of FIG. 1, and FIG. 5B is a graph of an ion energy profile obtained through the reinforcement learning of FIG. 5A.

도 5a 및 도 5b를 참조하면, 강화 학습에서는 데이터가 주어지는 것이 아니라 에이전트(112, Agent)와 환경(114, Environment)이 주어지며, 데이터는 에이전트(112)가 주어진 환경(114)에서 어떤 행동(Action)을 하면서 직접 수집하게 된다. 즉, 강화 학습에서, 에이전트(112)는 현재 상태(s)에서 어떤 행동을 취하고, 환경(114)은 행동에 따른 다음 상태(s')와 보상(r)을 에이전트(112)에게 돌려주는 식으로 동작한다. 5A and 5B, in reinforcement learning, data is not given, but an agent 112 and an environment 114 are given, and the data is a certain behavior in the environment 114 given by the agent 112 ( It is collected directly while doing (Action). That is, in reinforcement learning, the agent 112 takes a certain action in the current state (s), and the environment 114 returns the next state (s') and the reward (r) according to the action to the agent 112 It works as

강화 학습의 기본 구성 요소들을 나타내면 다음 식(1)과 같이 정리할 수 있고, 이런 형태의 모델링을 MDP(Markov Decision Process)라고 한다.The basic components of reinforcement learning can be summarized as shown in the following equation (1), and this type of modeling is called MDP (Markov Decision Process).

[S, A, R(s, s'), P(s,s'), γ] ...................식(1)[S, A, R(s, s'), P(s,s'), γ] ......... Equation (1)

여기서, S는 상태들의 집합을 의미하고, A는 행동들의 집합을 의미하며, R은 보상들의 집합을 의미하며, R(s, s')는 행동(a)에 의해서 현재 상태(s)에서 다음 상태(s')로 넘어갈 때 얻는 보상을 의미하며, P(s, s')는 현재 상태(s)에서 다음 상태(s')로 넘어갈 전이 확률(Transition Probability)을 의미하며, γ는 현재 보상과 미래 보상의 중요도를 결정하는 할인 인자(discount factor)를 의미할 수 있다.Here, S denotes a set of states, A denotes a set of actions, R denotes a set of rewards, and R(s, s') is the next in the current state (s) by an action (a). It means the reward obtained when transitioning to the state (s'), P(s, s') means the transition probability to move from the current state (s) to the next state (s'), and γ is the current reward It may mean a discount factor that determines the importance of future compensation.

강화 학습은 보상이 최대화되는 전략을 찾는 것을 목표로 한다. 좀 더 엄밀한 용어로 강화 학습에서는 현재 상태에서 어떻게 행동할 것인지를 결정하는 전략을 정책(Policy) Π로 표현하고, 최적의 정책 Π^*를 찾는 것을 학습의 목표로 한다. 최적의 정책 Π^*를 찾기 위하여 강화 학습은 상태 가치 함수(State-Value Function)와 행동 가치 함수(Action-Value Function)라는 개념을 사용한다.Reinforcement learning aims to find strategies in which rewards are maximized. In more precise terms, in reinforcement learning, the strategy that determines how to behave in the current state is expressed as a policy Π, and the goal of learning is to find the optimal policy Π ^* . To find the optimal policy Π ^* , reinforcement learning uses the concepts of state-value functions and action-value functions.

상태 가치 함수는 현재 상태의 좋음과 나쁨을 나타내는데, 현재 상태의 가치는 미래의 보상들의 총합의 평균으로 표현되며, 0부터 1 사이로 부여되는 할인 인자에 따라 미래의 보상의 중요도가 달라진다. 한편, 행동 가치 함수는 현재 행동의 좋음과 나쁨을 나타내는데, 어떤 상태에서 정책 Π를 따를 때 기대되는 어떤 행동을 취할 때의 가치는 미래의 보상들의 총합의 평균으로 표현되고, 역시 할인 인자에 따라 미래의 보상의 중요도가 달라질 수 있다. 결국, 행동 가치 함수는 현재 상태에서 한 행동의 가치를 정량적으로 나타낸다.The state value function represents the good and the bad of the present state. The value of the present state is expressed as the average of the sum of future rewards, and the importance of future rewards varies according to a discount factor given between 0 and 1. On the other hand, the action value function represents the good and the bad of the current behavior.The value of taking a certain action expected when following the policy Π in a certain state is expressed as the average of the sum of future rewards, and the future according to the discount factor. The importance of compensation of the company may vary. After all, the action value function quantitatively represents the value of an action done in the current state.

전술한 바와 같이, 강화 학습은 상태 가치 함수와 행동 가치 함수를 통해 최적의 정책 Π^*를 찾는 것이다. 상태 가치 함수를 이용하여 하는 방법은, 환경(114)에 대한 모델 정보, 즉, 전이 확률에 대한 정보와 이에 대한 보상을 알아야 한다. 그에 반해, 행동 가치 함수를 이용하는 방법은 환경(114)에 대한 모델 정보가 없더라도 에이전트(112)가 주어진 환경(114)에서 행동을 취하고 얻은 실제 얻은 경험이나 데이터를 통해 최적의 정책 Π^*를 찾는 과정을 진행할 수 있다. 이하, 행동 가치 함수를 이용하는 방법만을 강화 학습으로 간주하고 그에 대해 설명한다.As described above, reinforcement learning is to find the optimal policy Π ^* through the state value function and the action value function. In a method using the state value function, model information about the environment 114, that is, information about a transition probability, and a compensation for it, should be known. On the other hand, the method of using the action value function is a process in which the agent 112 takes an action in the given environment 114 and finds the optimal policy Π ^* through actual acquired experience or data even if there is no model information about the environment 114 You can proceed. Hereinafter, only the method of using the action value function is regarded as reinforcement learning and will be described.

강화 학습에서 적절한 행동 가치 함수를 알아내기 위한 구체적인 알고리즘으로 SARSA, Q-Learning, Policy Gradient 등이 있다. 그 중에서 가장 대표적인 알고리즘이 Q-Learning이다. Q-Learning에서, Q(s, a)는 현재 상태(s)에서 취한 행동(a)에 대한 행동 가치 함수값을 나타낸다. Q-Learning은 Q(s, a)를 임의의 값으로 초기화한 후, 학습이 진행됨에 따라, Q(s, a)을 반복해서 업데이트 하면서 최적의 행동 가치 함수값인 Q*(s, a)을 찾아간다. 예컨대, Q(s, a)는 Q(s, a) = r' + γmax_a'Q(s', a')의 수식으로 표현될 수 있고, 여기서, r'는 현재 상태(s)에서 다음 상태(s')로 넘어갈 때 얻는 보상을 의미하고, γ은 할인 인자이며, max_a'Q(s', a')는 다음 상태(s')에서 얻을 수 있는 행동 가치 함수값들 중 최대값을 의미할 수 있다. 위의 수식을 반복하면 Q(s, a)는 Q*(s, a)에 수렴한다.Specific algorithms for finding an appropriate action value function in reinforcement learning include SARSA, Q-Learning, and Policy Gradient. Among them, the most representative algorithm is Q-Learning. In Q-Learning, Q(s, a) represents the action value function value for the action (a) taken in the current state (s). Q-Learning initializes Q(s, a) to an arbitrary value, and then as learning progresses, it repeatedly updates Q(s, a), and the optimal action value function value, Q*(s, a) Go to For example, Q (s, a) is Q (s, a) = r '+ γmax a' Q may be expressed by a formula of (s', a '), where, r' is the next current state (s) state (s') means for obtaining compensation when passed by and, γ is the discount _{factor, max a 'Q (s'} , a') is a maximum value of the next state (s') action value function values that can be obtained from Can mean If the above equation is repeated, Q(s, a) converges to Q*(s, a).

일반적인 Q-Learning 방법은 상태와 행동에 대한 Q-Table을 만들고 이 테이블을 지속적으로 업데이트 하는 방법을 사용한다. 그러나 일반적인 Q-Learning 방법은 가능한 상태가 증가할수록 무한에 가까운 경우의 수를 업데이트 해야 하므로 복잡한 문제를 해결하기에 적합하지 않을 수 있다.A common Q-Learning method uses a method of creating a Q-Table of states and actions and continuously updating this table. However, the general Q-Learning method may not be suitable for solving complex problems because the number of cases close to infinite must be updated as the possible state increases.

따라서, 이러한 단점을 해결하기 위해 Q-Table을 업데이트 하지 않고 현재 상태를 입력값으로 받고, 현재 상태에서 취할 수 있는 행동들 각각에 대한 행동 가치 함수값, 즉 Q(s, a)을 예측하는 인공신경망(ANN: Artificial Neural Network)을 만들어서 사용하는 Q-Networks 기법이 제안되고 있다. Q-Networks에 의한 학습에서, 타겟 데이터는 Q-Learning 알고리즘으로 구한 최적의 행동 가치 함수값 Q*(s, a)로 지정하고, 상태를 입력받아 신경망이 예측한 Q(s, a)와 타겟 데이터, 즉 Q*(s, a)와의 평균제곱오차(MSE)로 손실 함수를 정의해서 최적화를 수행한다. Therefore, in order to solve these shortcomings, an artificial method that receives the current state as an input value without updating the Q-Table and predicts the action value function value, that is, Q(s, a) for each of the actions that can be taken in the current state. A Q-Networks technique that creates and uses an artificial neural network (ANN) has been proposed. In learning by Q-Networks, the target data is designated as the optimal action value function value Q*(s, a) obtained by the Q-Learning algorithm, and the Q(s, a) predicted by the neural network and the target Optimization is performed by defining a loss function as the mean square error (MSE) with the data, that is, Q*(s, a).

한편, DQN(Deep-Q-Networks) 역시 강화 학습을 위한 인공신경망 구조로써, 전술한 Q-Networks와 딥러닝(Deep Learning)을 결합한 기법이다. DQN은 Q-Networks에서 다음 2가지를 개선할 수 있다. 첫 번째 기존의 Q-Networks은 얕은 층의 ANN 구조를 사용하지만 DQN은 깊은 층의 DNN 구조를 사용한다. 두 번째, 인간의 해마(Hipocampus)에서 영감을 받아 리플레이 메모리(Replay Memory)라는 기법을 사용하고 이를 통해 효율적인 강화 학습이 가능하다. DQN 특히 DNN의 동작 방법에 대해서는 이하 도 6에서 좀더 상세히 설명한다.On the other hand, DQN (Deep-Q-Networks) is also an artificial neural network structure for reinforcement learning, which is a technique that combines the aforementioned Q-Networks and Deep Learning. DQN can improve Q-Networks in two ways: First, existing Q-Networks use a shallow layer ANN structure, while DQN uses a deep layer DNN structure. Second, using a technique called Replay Memory, inspired by the human hippocampus (Hipocampus), efficient reinforcement learning is possible. The operation method of the DQN, especially the DNN, will be described in more detail below with reference to FIG. 6.

도 1의 이온 깊이 프로파일 제어방법과 관련하여, 강화 학습을 이용하는 방법을 설명하면, 먼저, 에이전트(112)는 DQN을 통해 현재 상태(s)에 대응하는 행동(a)을 찾는다. 에이전트(112)는 상태들을 입력값으로 하여 DQN 알고리즘을 통해 최적 행동 가치 함수값 Q*(s, a)에 해당하는 행동(a)을 찾을 수 있다. 여기서 상태는 설비에 대한 데이터와 결과 데이터를 포함할 수 있다. 예컨대, 설비에 대한 데이터는, 이온 임플란트 장치의 온도, 사용 시간일 수 있다. 결과 데이터는 이온 깊이 프로파일과 누적 이온 깊이 프로파일일 수 있다. 물론, 설비에 대한 데이터와 결과 데이터가 전술한 항목들에 한정되는 것은 아니다. 한편, 행동은 이온 깊이 프로파일이 박스 프로파일에 실질적으로 일치하도록 하는 공정 조건일 수 있다. 예컨대, 공정 조건은, 시간에 따른 이온 에너지, 시간에 따른 이온의 입사 각도, 시간에 따른 이온의 도우즈, 시간에 따른 웨이퍼의 수직 이동 속도 등일 수 있다. 물론, 공정 조건이 상기 항목들에 한정되는 것은 아니다.Referring to the method of controlling the ion depth profile of FIG. 1, a method using reinforcement learning will be described. First, the agent 112 finds an action (a) corresponding to the current state (s) through DQN. The agent 112 may find an action (a) corresponding to the optimal action value function value Q*(s, a) through the DQN algorithm using states as input values. Here, the status may include data on the facility and result data. For example, the data on the facility may be the temperature and the use time of the ion implant device. The resulting data may be an ion depth profile and an accumulated ion depth profile. Of course, equipment data and result data are not limited to the above items. Meanwhile, the behavior may be a process condition such that the ion depth profile substantially matches the box profile. For example, the process conditions may include ion energy over time, an incident angle of ions over time, a dose of ions over time, and a vertical movement speed of the wafer over time. Of course, the process conditions are not limited to the above items.

에이전트(112)에 의해 행동이 환경(114)으로 입력되면, 환경(114)에서는 시뮬레이션이나 기존 데이터를 이용하여 다음 상태와 보상을 에이전트(112)로 돌려주게 된다. 다시 말해서, 입력된 행동에 대해 시뮬레이션을 통해 다음 상태와 보상을 계산하거나, 또는 기존 데이터들에서 입력된 행동과 관련한 다음 상태와 보상을 찾을 수 있다. When an action is input to the environment 114 by the agent 112, the environment 114 returns the next state and reward to the agent 112 using simulation or existing data. In other words, it is possible to calculate the next state and reward through simulation for the input action, or find the next state and reward related to the input action from existing data.

본 실시예의 이온 깊이 프로파일 제어방법과 관련하여 좀더 구체적으로 설명하면, 행동으로 시간에 따른 이온 에너지가 입력된 경우, 시뮬레이션을 통해 그에 대응하는 다음 상태를 계산한다. 다음 상태는, 예컨대, 입력된 시간에 따른 이온 에너지로 이온 임플란트 공정을 수행할 때 도출되는, 설비에 대한 데이터와 이온 깊이 프로파일과 누적 이온 깊이 프로파일일 수 있다. 한편, 입력된 시간에 따른 이온 에너지로 이온 임플란트 공정을 수행할 때의 다음 상태에 대한 데이터가 이미 기존 데이터에 포함되어 있을 수도 있다. 그런 경우에는 다음 상태는 시뮬레이션이 아니라 기존 데이터들에서 추출할 수 있다.In more detail with respect to the ion depth profile control method of the present embodiment, when ion energy over time is input as an action, the next state corresponding thereto is calculated through simulation. The next state may be, for example, data on equipment, an ion depth profile, and a cumulative ion depth profile, which are derived when an ion implant process is performed with an input time-dependent ion energy. On the other hand, data on the next state when the ion implant process is performed using the input energy according to time may already be included in the existing data. In that case, the next state can be extracted from existing data rather than simulation.

한편, 보상은 다음 상태로서 계산된 이온 깊이 프로파일이 박스 프로파일과 얼마나 유사한지, 즉 이온 깊이 프로파일과 타겟 프로파일인 박스 프로파일과의 유사도일 수 있다. 보상 역시 시뮬레이션을 통해 계산하거나 기존 데이터를 활용하여 추출할 수 있다.Meanwhile, the compensation may be how similar the ion depth profile calculated as the next state is to the box profile, that is, the degree of similarity between the ion depth profile and the box profile, which is a target profile. Compensation can also be calculated through simulation or extracted using existing data.

강화 학습은 보상이 설정된 기준 이상이 될 때까지 수행될 수 있다. 예컨대, 이온 깊이 프로파일과 타겟 프로파일인 박스 프로파일과의 유사도가 설정된 기준 이상이 될 때까지 수행될 수 있다. 또한, 강화 학습이 완료되면, 그때의 에이전트(112)의 행동이 결과값으로 추출될 수 있다. 예컨대, 본 실시예의 이온 깊이 프로파일 제어방법에서, 시간에 따른 이온 에너지가 에이전트(112)의 행동일 수 있고, 따라서, 강화 학습이 완료될 때의 시간에 따른 이온 에너지가 강화 학습의 결과값으로 추출될 수 있다. 도 5b에서, 강화 학습의 결과값으로서, 에이전트(112)의 행동, 즉, 시간에 따른 이온 에너지를 그래프로 나타내고 있다. 즉, 도 5b의 그래프는 시간에 따라 이온 에너지의 크기를 표시한 이온 에너지 프로파일의 그래프이다.Reinforcement learning may be performed until the reward is more than a set criterion. For example, it may be performed until the degree of similarity between the ion depth profile and the box profile, which is the target profile, is greater than or equal to a set reference. In addition, when reinforcement learning is completed, the behavior of the agent 112 at that time may be extracted as a result value. For example, in the ion depth profile control method of the present embodiment, the ion energy over time may be the action of the agent 112, and thus, the ion energy over time when reinforcement learning is completed is extracted as a result of reinforcement learning. Can be. In FIG. 5B, as a result of reinforcement learning, the behavior of the agent 112, that is, ion energy over time is shown in a graph. That is, the graph of FIG. 5B is a graph of an ion energy profile indicating the magnitude of ion energy over time.

도 6은 도 5a의 강화 학습에서 이용하는 DNN 알고리즘에 대한 개념도이다.6 is a conceptual diagram of a DNN algorithm used in reinforcement learning of FIG. 5A.

도 6을 참조하면, DNN은 입력층(input layer)과 출력층(output layer) 사이에 적어도 하나의 은닉층(hidden layer)을 포함할 수 있다. DNN은 일반적인 인공신경망(Artificial Neural Network: ANN)과 마찬가지로 복잡한 비선형 관계들(non-linear relationships)을 모델링 할 수 있다. DNN은 비슷하게 수행된 인공 신경망에 비해 더 적은 수의 유닛들(units or nodes)만으로 복잡한 데이터를 모델링 할 수 있다.Referring to FIG. 6, the DNN may include at least one hidden layer between an input layer and an output layer. DNN is capable of modeling complex non-linear relationships just like a general artificial neural network (ANN). DNN can model complex data with fewer units or nodes than similarly performed artificial neural networks.

신경망이 동작하는 방법에는 대표적으로 FFN(Feed-Forward Network), 역전파(Backpropagation), 및 RNN(Recurrent Neural Network) 3가지가 있다. FFN은 정보들이 입력층에서 은닉층으로, 은닉층에서 출력층으로 한 방향으로 흐르는 신경망으로, 오차에 대한 가중치의 조절이 불가능하다. 역전파의 경우, 결과의 오차(실제값과 결과값의 차이)를 줄이기 위해 각 노드에서 다음 노드로 넘어갈 때의 가중치를 조절할 수 있고, 또한, 가중치를 조절하기 위해 다시 뒤로 되돌아갈 수 있다. RNN은 컨텍스트 유닛(context unit)이라는 부분을 통해, 은닉층 노드들과의 교류를 통하여 출력층 노드들을 만들 수 있다.There are three representative methods of operating a neural network: a feed-forward network (FFN), a backpropagation, and a recurrent neural network (RNN). FFN is a neural network in which information flows in one direction from the input layer to the hidden layer and from the hidden layer to the output layer, and it is impossible to adjust the weights for errors. In the case of backpropagation, in order to reduce the error of the result (the difference between the actual value and the result value), the weight when moving from each node to the next node can be adjusted, and also, it is possible to go back to adjust the weight. The RNN can create output layer nodes through exchanges with hidden layer nodes through a part called a context unit.

DNN은 연속형, 범주형 변수에 상관없이 모두 분석 가능하고, 입력 변수들 간의 비선형 조합이 가능하다. 또한, DNN은 특징 추출(feature extraction)이 자동으로 수행되므로 변수 선택의 번거로움을 줄여준다. 더 나아가, DNN은 데이터의 양이 많아질수록 성능이 계속 좋아진다. 한편, DNN은 신경망이 복잡할 경우 동작하는데 시간이 오래 걸리므로, GPU가 장착된 컴퓨터 및 고사양의 컴퓨터가 필요하다. 또한, 분석시 변수들을 일정한 순서나 방식으로 넣지 않으므로 결과가 일정하지 않고, 가중치의 의미를 해석하기 어려워 결과 해석도 어렵다.DNN can be analyzed regardless of continuous or categorical variables, and nonlinear combinations between input variables are possible. In addition, DNN reduces the hassle of selecting variables because feature extraction is automatically performed. Furthermore, the DNN's performance continues to improve as the amount of data increases. On the other hand, since DNN takes a long time to operate when the neural network is complex, a computer equipped with a GPU and a high-end computer are required. In addition, since variables are not put in a certain order or manner during analysis, the results are not constant, and it is difficult to interpret the meaning of the weights, making it difficult to interpret the results.

DNN은 가중치 조절을 어떻게 하느냐에 따라 신경망 모델의 정확도가 달라진다. 전술한 바와 같이, 역전파는 레이블 된 학습 데이터를 가지고 여러 개의 은닉층을 가지는 피드포워드(feed-forward) 신경망을 학습시킬 때 사용되는 대표적인 지도학습 알고리즘이다. 즉, 쉽게 말하면, 역전파는 forward phase + backward phase이며, 입력층에서 은닉층, 출력층까지 순서대로 갔다가, 다시 출력층에서 은닉층, 입력층으로 돌아가면서 가중치를 수정하고 위 과정을 계속 반복하며 가장 좋은 결과를 뽑아내는 방법이다. 여기서, forward phase란 입력층에서 출력층으로 순서대로 활성화하면서 각 뉴런의 가중치와 활성 함수를 적용하는 방법이고, backward phase란 forward phase에서 생성된 결과 신호를 추레인(train) 데이터의 실제 목표 값과 비교하고, 망의 출력 신호와 실제 값의 차이가 나면 경사 하강법(gradient descent)을 이용하여 뉴런 간의 가중치를 변경하는 방법이다.The accuracy of the neural network model varies depending on how the DNN adjusts the weight. As described above, backpropagation is a representative supervised learning algorithm used when training a feed-forward neural network having multiple hidden layers with labeled training data. In other words, to put it simply, backpropagation is forward phase + backward phase, and it goes from the input layer to the hidden layer and the output layer in order, then goes back from the output layer to the hidden layer and the input layer, correcting the weights, and repeating the above process continuously and picking the best result. This is how you pay. Here, the forward phase is a method of applying the weight and activation function of each neuron while activating in order from the input layer to the output layer, and the backward phase is a comparison of the result signal generated in the forward phase with the actual target value of the train data. And, if there is a difference between the output signal of the network and the actual value, the weight between neurons is changed using gradient descent.

여기서, 경사 하강법이란 최대로 오차를 줄이는 방향으로 가중치를 변경하는 방법으로, 경사 하강법을 통해 가중치를 조절함으로써 오차가 최소화될 수 있다. 한편, 경사 하강법에서 학습률(learning rate)이라는 개념이 사용되는데, 학습률을 너무 높게 주면 건너뛰는 폭이 커진다. 즉, 최적점(convergence)에 도달하기도 전에 높은 학습률 때문에 최적점을 무시하고 다시 오차가 높아질 수 있다. 실제로 학습률과 에포크(epoch)에 따른 손실을 추정해 보면, 높은 학습률을 가질수록 손실이 많아지는 것을 알 수 있다. 즉, 높은 학습률로 인해 최적의 값을 지나쳐 버리고, 계속 엉뚱한 값들만 탐색할 수 있다. 한편, 에포크는 DNN을 모델링 할 때, 순환 과정을 몇 번 수행할지 정해주는 인자이다. 다른 말로는 순환주기라고 하며, 에포크에 너무 큰 값을 주면 수행 시간이 너무 오래 걸리게 된다.Here, the gradient descent method is a method of changing the weight in a direction that maximizes the error, and the error can be minimized by adjusting the weight through the gradient descent method. On the other hand, in gradient descent, the concept of learning rate is used. If the learning rate is given too high, the width of the skip increases. That is, even before reaching the convergence point, because of the high learning rate, the optimum point may be ignored and the error may increase again. In fact, when estimating the learning rate and loss according to the epoch, it can be seen that the higher the learning rate, the greater the loss. In other words, due to the high learning rate, the optimum value is passed, and only wrong values can be searched. On the other hand, epoch is a factor that determines how many times to perform the cyclic process when modeling a DNN. In other words, it is called a cycle cycle, and if you give an epoch too large a value, the execution time will take too long.

은닉층의 활성화 함수는 네트워크에 비선형성을 적용하는데 필요하다. 네트워크 내의 각각의 뉴런(노드)에 활성화 함수가 적용되고, 결과는 네트워크 내의 다음 뉴런으로 전달된다. 대부분의 비선형 함수들이 사용될 수 있는데, 주로 시그모이드 함수가 많이 사용되고, 최근에 ReLU(Retified Linear Unit) 함수가 많이 쓰인다.The hidden layer's activation function is necessary to apply nonlinearity to the network. An activation function is applied to each neuron (node) in the network, and the result is passed on to the next neuron in the network. Most of the nonlinear functions can be used, mainly sigmoid functions, and recently ReLU (Retified Linear Unit) functions.

DNN 알고리즘의 전체 학습 과정은, 네트워크 초기화, 피드포워드, 오차 평가, 전파, 및 조정의 과정으로 설명할 수 있다. 여기서 네트워크 초기화는 네트워크 가중치의 초기값을 설정하는 것으로 일반적으로 무작위로 초기화한다. 피드포워드는 네트워크를 통해 입력층부터, 은익층, 출력층까지 활성화 함수와 가중치 적용을 거쳐 정보를 전달하는 것으로, 활성화 함수로는 시그모이드 함수, 또는 ReLU 함수가 적용될 수 있다. 오차 평가는 네트워크에서 계산된 예측 결과를 실제 결과와 비교하는 것으로, 둘 사이의 오차가 미리 정해진 기준보다 작으면 알고리즘은 종료된다. 전파는 출력 계층의 오차를 가중치 조정에 다시 사용하는 것으로, 알고리즘은 오차를 네트워크에서 반대 방향으로 전파시키고, 가중치 변경과 관련해서 오차 값 변화의 경사를 계산할 수 있다. 조정은 오차를 줄이는 방향으로 경사의 변화를 사용해서 가중치를 조정하는 것으로, 각 뉴런의 가중치와 편향은 활성화 함수의 도함수, 신경망의 결과와 실제 결과와의 차이, 그리고 뉴런 결과 등의 요인에 의해 조정될 수 있다.The entire learning process of the DNN algorithm can be explained as the process of network initialization, feed forward, error evaluation, propagation, and adjustment. Here, the network initialization is to set the initial value of the network weight, and is generally initialized at random. Feed-forward transfers information from the input layer, the secret layer, and the output layer through a network through an activation function and weight application, and a sigmoid function or a ReLU function may be applied as the activation function. Error evaluation is comparing the predicted result calculated by the network with the actual result, and if the error between the two is less than a predetermined criterion, the algorithm is terminated. Propagation is the re-use of the error of the output layer for weight adjustment. The algorithm propagates the error in the opposite direction in the network, and can calculate the slope of the change in the error value in relation to the weight change. Adjustment is to adjust the weight using the change in slope in the direction to reduce the error.The weight and bias of each neuron will be adjusted by factors such as the derivative of the activation function, the difference between the result of the neural network and the actual result, and the result of the neuron. I can.

본 실시예의 이온 깊이 프로파일 제어방법과 관련하여, 제1 UI(도 3의 130 참조)를 통해, DNN 알고리즘에서의 학습률과 에포크 등이 수동 또는 자동으로 설정될 수 있다. 전술한 바와 학습률과 에크포 등의 설정에 따라, 학습 수행 시간이 달라질 수 있다. 예컨대, 학습 수행 시간을 줄이기 위해서 학습률을 높게 설정하고 에포크를 작게 설정하는 경우, 강화 학습의 결과값이 정확하지 않거나, 결과값이 아예 나오지 않을 수 있다. 반대로 학습률을 낮게 설정하고 에포크를 크게 설정하는 경우, 결과가 나오는 데까지 시간이 너무 오래 걸릴 수 있다. 따라서, 제1 UI(130)를 통해 학습률과 에포크를 적절히 조절함으로써, 결과값의 정확도와 수행 시간을 적절히 조화시킬 수 있다. 덧붙여, 제1 UI(130)를 통해, 강화 학습에서 행동 가치 함수값(Q)에 이용되는 할인 인자가 설정될 수도 있다.Regarding the method of controlling the ion depth profile of the present embodiment, the learning rate and the epoch in the DNN algorithm may be manually or automatically set through the first UI (see 130 in FIG. 3). As described above, the learning execution time may vary according to the setting of the learning rate and the ekpo. For example, if the learning rate is set high and the epoch is set to be small in order to reduce the learning execution time, the result value of reinforcement learning may not be accurate or the result value may not appear at all. Conversely, if you set a low learning rate and set a large epoch, it may take too long for the results to come out. Therefore, by appropriately adjusting the learning rate and the epoch through the first UI 130, the accuracy of the result value and the execution time can be properly balanced. In addition, a discount factor used for the action value function value Q in reinforcement learning may be set through the first UI 130.

도 7a는 이온 임플란트 공정에서의 이온 입사 각도에 대한 개념도이고, 도 7b는 도 5a의 강화 학습을 통해 획득한 이온 입사 각도 프로파일에 대한 그래프이다. 도 1 내지 도 6의 설명 부분에서 이미 설명한 내용은 간단히 설명하거나 생략한다.7A is a conceptual diagram of an ion incident angle in an ion implant process, and FIG. 7B is a graph of an ion incident angle profile obtained through reinforcement learning of FIG. 5A. Contents already described in the description of FIGS. 1 to 6 will be briefly described or omitted.

도 7a 및 도 7b를 참조하면, 이온 임플란트 공정에서, 웨이퍼(500)로 입사되는 이온(I)의 입사 각도(θ)에 따라, 웨이퍼(500) 내부로 주입되는 이온(I)의 깊이가 달라질 수 있다. 이는 웨이퍼(500)를 이루는 원자들의 격자 구조에 기인할 수 있다. 여기서, 입사 각도(θ)는 이온(I)이 진행하는 방향과 웨이퍼(500)의 상면과의 각도로 정의될 수 있다. 따라서, 이온 임플란트 공정에서, 이온(I)의 입사 각도(θ)가 이온 깊이 프로파일에 영향을 미칠 수 있다.7A and 7B, in the ion implant process, the depth of the ions I implanted into the wafer 500 varies according to the incident angle θ of the ions I incident on the wafer 500. I can. This may be due to a lattice structure of atoms forming the wafer 500. Here, the incident angle θ may be defined as an angle between the direction in which the ions I travel and the upper surface of the wafer 500. Thus, in the ion implant process, the incident angle θ of the ions I may affect the ion depth profile.

본 실시예의 이온 깊이 프로파일 제어방법은, 시간에 따른 이온(I)의 입사 각도(θ)를 강화 학습을 통해 획득할 수 있다. 다시 말해서, 앞서 시간에 따른 이온 에너지를 강화 학습을 통해 획득한 방법과 실질적으로 동일한 방법을 통해, 이온 임플란트 공정에서의 공정 조건으로서, 시간에 따른 이온(I)의 입사 각도(θ)를 획득할 수 있다. In the method of controlling the ion depth profile of the present embodiment, the incident angle θ of the ions I over time may be obtained through reinforcement learning. In other words, through substantially the same method as the method obtained through reinforcement learning of the ion energy over time, as a process condition in the ion implant process, the incident angle (θ) of the ions (I) over time can be obtained. I can.

예컨대, 강화 학습에서, 에이전트(112)는 시간에 따른 이온(I)의 입사 각도(θ)를 DQN 알고리즘을 통해 산출하여 행동으로써, 환경(114)으로 입력하고, 환경(114)에서는 이온 깊이 프로파일과 박스 프로파일과의 유사도를 보상으로써 에이전트(112)로 돌려줄 수 있다. 강화 학습에서, 유사도가 설정된 기준 이상이 되면, 시간에 따른 이온(I)의 입사 각도(θ)가 강화 학습의 결과값으로 획득될 수 있다.For example, in reinforcement learning, the agent 112 calculates the angle of incidence (θ) of the ion (I) over time through the DQN algorithm and inputs it into the environment 114 as an action. In the environment 114, the ion depth profile By compensating the similarity between the and the box profile, it can be returned to the agent 112. In reinforcement learning, when the similarity is greater than or equal to a set reference, the incident angle θ of the ions I over time may be obtained as a result of the reinforcement learning.

한편, 시간에 따른 이온(I)의 입사 각도(θ)는 도 7b에 도시된 바와 같이, 이온 입사 각도 프로파일의 그래프로 나타낼 수 있다. 도 7b의 이온 입사 각도 프로파일의 그래프는 시간에 따라 이온의 입사 각도를 표시한다.Meanwhile, the incident angle θ of the ions I over time may be expressed as a graph of the ion incident angle profile as shown in FIG. 7B. The graph of the ion incidence angle profile of FIG. 7B represents the incidence angle of ions over time.

도 8a는 이온 임플란트 공정에서의 이온의 도우즈의 조절에 대한 개념도이고, 도 8b는 도 5a의 강화 학습을 통해 획득한 이온 도우즈 프로파일에 대한 그래프이다. 도 1 내지 도 6의 설명 부분에서 이미 설명한 내용은 간단히 설명하거나 생략한다.FIG. 8A is a conceptual diagram for controlling the dose of ions in an ion implant process, and FIG. 8B is a graph for an ion dose profile obtained through reinforcement learning of FIG. 5A. Contents already described in the description of FIGS. 1 to 6 will be briefly described or omitted.

도 8a 및 도 8b를 참조하면, 이온 임플란트 공정에서, 웨이퍼로 주입되는 이온(I)의 양에 따라, 웨이퍼 내부로 주입되는 이온(I)의 깊이가 달라질 수 있다. 이는 이온(I)의 양에 따라, 서로 간에 미치는 척력 및 웨이퍼 내에서 산란 등이 증가할 수 있기 때문이다. 전술한 바와 같이, 주입되는 이온(I)의 양은 이온의 도우즈, 또는 이온 빔의 커런트 등으로 언급될 수 있다. 또한, 이온의 도우즈는 이온 발생기(313a)로 흐르는 전류를 전류원(313b)을 통해 조절함으로써, 조절할 수 있다. 따라서, 이온 임플란트 공정에서, 이온(I)의 도우즈가 이온 깊이 프로파일에 영향을 미칠 수 있다.8A and 8B, in the ion implant process, the depth of the ions I implanted into the wafer may vary depending on the amount of ions I implanted into the wafer. This is because, depending on the amount of the ions I, repulsive forces exerted on each other and scattering within the wafer may increase. As described above, the amount of ions I implanted may be referred to as the dose of the ions, or the current of the ion beam. In addition, the dose of ions can be adjusted by adjusting the current flowing to the ion generator 313a through the current source 313b. Thus, in the ion implant process, the dose of ions I can affect the ion depth profile.

본 실시예의 이온 깊이 프로파일 제어방법은, 시간에 따른 이온(I)의 도우즈를 강화 학습을 통해 획득할 수 있다. 다시 말해서, 앞서 시간에 따른 이온 에너지를 강화 학습을 통해 획득한 방법과 실질적으로 동일한 방법을 통해, 이온 임플란트 공정에서의 공정 조건으로서, 시간에 따른 이온(I)의 도우즈를 획득할 수 있다. 예컨대, 강화 학습에서, 에이전트(112)는 시간에 따른 이온(I)의 도우즈를 DQN 알고리즘을 통해 산출하여 행동으로써, 환경(114)으로 입력하고, 환경(114)에서는 이온 깊이 프로파일과 박스 프로파일과의 유사도를 보상으로써 에이전트(112)로 돌려줄 수 있다. 강화 학습에서, 유사도가 설정된 기준 이상이 되면, 시간에 따른 이온(I)의 도우즈가 강화 학습의 결과값으로 획득될 수 있다.In the method for controlling the ion depth profile according to the present exemplary embodiment, the dose of the ions I over time may be obtained through reinforcement learning. In other words, as a process condition in the ion implant process, the dose of the ions (I) over time can be obtained through substantially the same method as the method obtained through reinforcement learning of the ion energy over time. For example, in reinforcement learning, the agent 112 calculates the dose of the ion (I) over time through the DQN algorithm and inputs it into the environment 114 as an action, and in the environment 114, the ion depth profile and the box profile It can be returned to the agent 112 by compensating for the degree of similarity with. In reinforcement learning, when the similarity is greater than or equal to a set reference, a dose of ions I over time may be obtained as a result of reinforcement learning.

한편, 시간에 따른 이온(I)의 도우즈는 도 8b에 도시된 바와 같이, 이온 도우즈 프로파일의 그래프로 나타낼 수 있다. 도 8b의 이온 도우즈 프로파일의 그래프는 시간에 따라 이온의 도우즈를 표시한다.Meanwhile, the dose of the ion (I) over time may be represented as a graph of the ion dose profile as shown in FIG. 8B. The graph of the ion dose profile of FIG. 8B represents the dose of ions over time.

도 9a는 이온 임플란트 공정에서의 웨이퍼의 수직 이동 속도에 대한 개념도이고, 도 9b는 도 5a의 강화 학습을 통해 획득한 웨이퍼의 수직 이동 속도 프로파일에 대한 그래프이다. 도 1 내지 도 6의 설명 부분에서 이미 설명한 내용은 간단히 설명하거나 생략한다.9A is a conceptual diagram of a vertical movement speed of a wafer in an ion implant process, and FIG. 9B is a graph of a vertical movement speed profile of a wafer obtained through the reinforcement learning of FIG. 5A. Contents already described in the description of FIGS. 1 to 6 will be briefly described or omitted.

도 9a 및 도 9b를 참조하면, 이온 임플란트 공정에서, 웨이퍼(500)가 수직 방향으로 이동하는 속도(Vl)에 따라, 웨이퍼(500) 내부로 주입되는 이온(I)의 깊이가 달라질 수 있다. 이는 웨이퍼(500)의 수직 이동 속도(Vl)에 따라 위상 차의 영향을 받는 부분의 변동성이 커지기 때문이다. 전술한 바와 같이, 웨이퍼(500)는 스테이지(317)에 의해 수직방향으로 이동하므로, 웨이퍼(500)의 수직 이동 속도(Vl)는 스테이지(317)에 의해 조절될 수 있다. 따라서, 이온 임플란트 공정에서, 시간에 따른 웨이퍼(500)의 수직 이동 속도(Vl)가 이온 깊이 프로파일에 영향을 미칠 수 있다.9A and 9B, in the ion implant process, the depth of the ions I implanted into the wafer 500 may vary depending on the speed Vl at which the wafer 500 moves in the vertical direction. This is because the variability of the portion affected by the phase difference increases according to the vertical movement speed Vl of the wafer 500. As described above, since the wafer 500 moves in the vertical direction by the stage 317, the vertical movement speed Vl of the wafer 500 can be adjusted by the stage 317. Accordingly, in the ion implant process, the vertical movement speed Vl of the wafer 500 over time may affect the ion depth profile.

본 실시예의 이온 깊이 프로파일 제어방법은, 시간에 따른 웨이퍼(500)의 수직 이동 속도(Vl)를 강화 학습을 통해 획득할 수 있다. 다시 말해서, 앞서 시간에 따른 이온 에너지를 강화 학습을 통해 획득한 방법과 실질적으로 동일한 방법을 통해, 이온 임플란트 공정에서의 공정 조건으로서, 시간에 따른 웨이퍼(500)의 수직 이동 속도(Vl)를 획득할 수 있다. 예컨대, 강화 학습에서, 에이전트(112)는 시간에 따른 웨이퍼(500)의 수직 이동 속도(Vl)를 DQN 알고리즘을 통해 산출하여 행동으로써, 환경(114)으로 입력하고, 환경(114)에서는 이온 깊이 프로파일과 박스 프로파일과의 유사도를 보상으로써 에이전트(112)로 돌려줄 수 있다. 강화 학습에서, 유사도가 설정된 기준 이상이 되면, 시간에 따른 웨이퍼(500)의 수직 이동 속도(Vl)가 강화 학습의 결과값으로 획득될 수 있다.In the method of controlling the ion depth profile of the present embodiment, the vertical movement speed Vl of the wafer 500 over time may be obtained through reinforcement learning. In other words, the vertical movement speed (Vl) of the wafer 500 over time is obtained as a process condition in the ion implant process through substantially the same method as previously obtained through reinforcement learning of ion energy over time. can do. For example, in reinforcement learning, the agent 112 calculates the vertical movement speed (Vl) of the wafer 500 over time through the DQN algorithm and inputs it into the environment 114 as an action, and the ion depth in the environment 114 The similarity between the profile and the box profile may be compensated and returned to the agent 112. In reinforcement learning, when the degree of similarity is greater than or equal to a set reference, the vertical movement speed Vl of the wafer 500 over time may be obtained as a result of the reinforcement learning.

한편, 시간에 따른 웨이퍼(500)의 수직 이동 속도(Vl)는 도 9b에 도시된 바와 같이, 수직 이동 속도 프로파일의 그래프로 나타낼 수 있다. 도 9b의 수직 이동 속도 프로파일의 그래프는 시간에 따라 웨이퍼의 수직 이동 속도를 표시한다.Meanwhile, the vertical movement speed Vl of the wafer 500 over time may be represented as a graph of the vertical movement speed profile as shown in FIG. 9B. The graph of the vertical movement speed profile of FIG. 9B represents the vertical movement speed of the wafer over time.

도 10a는 본 발명의 일 실시예에 따른 이온 임플란트 방법에 대한 흐름도이다. 도 1 내지 도 9b의 설명 부분에서 이미 설명한 내용은 간단히 설명하거나 생략한다.10A is a flowchart of an ion implantation method according to an embodiment of the present invention. Contents already described in the description of FIGS. 1 to 9B will be briefly described or omitted.

도 10a를 참조하면, 먼저, 도 1의 이온 깊이 프로파일 제어방법에서 설명한 바와 같이, 강화 학습을 수행하는 단계(S110), 적어도 하나의 공정 조건을 획득하는 단계(S130), 및 공정 레시피를 생성하는 단계(S150)를 순차적으로 수행한다. 앞서, 도 1의 설명 부분에서, 강화 학습을 통해 시간에 따른 이온 에너지를 적어도 하나의 공정 조건으로서 획득하는 내용을 위주로 설명하였지만, 그에 한하지 않고, 앞서 도 7a 내지 도 9b의 설명 부분에서 설명한, 시간에 따른 이온(I)의 입사 각도, 시간에 따른 이온(I)의 도우즈, 웨이퍼(500)의 수직 이동 속도 등도 강화 학습을 통해 적어도 하나의 공정 조건으로서 획득될 수 있음은 물론이다.Referring to FIG. 10A, first, as described in the method for controlling an ion depth profile of FIG. 1, performing reinforcement learning (S110), acquiring at least one process condition (S130), and generating a process recipe Step S150 is sequentially performed. Previously, in the description of FIG. 1, the content of acquiring ion energy over time as at least one process condition through reinforcement learning was mainly described, but the description is not limited thereto, and described in the description of FIGS. 7A to 9B, It goes without saying that the incident angle of the ions I over time, the dose of the ions I over time, and the vertical movement speed of the wafer 500 can be obtained as at least one process condition through reinforcement learning.

공정 레시피 생성 후, 공정 레시피를 적용하여 웨이퍼에 대한 이온 임플란트를 수행한다(S170). 이온 임플란트를 수행하는 단계(170)는 이하 도 10b의 설명 부분에서 설명한 바와 같이 여러 단계를 거쳐서 수행될 수 있다. 다만, 실시예에 따라, 소자 웨이퍼에 대해 바로 이온 임플란트를 수행할 수도 있다. 이온 임플란트를 수행하는 단계(170)에서, 웨이퍼는 테스트 웨이퍼와 소자 웨이퍼를 포함하는 개념일 수 있다. 테스트 웨이퍼는 강화 학습을 통해 얻은 공정 조건 및 그에 따른 공정 레시피가, 박스 프로파일 형태의 이온 깊이 프로파일을 구현하기에 적절한지를 테스트하기 위한 웨이퍼일 수 있다. 따라서, 테스트 웨이퍼에서는 반도체 소자가 제조되지 않을 수 있다. 한편, 소자 웨이퍼는 반도체 소자가 제조되는 웨이퍼로서, 이온 임플란트 공정 이후에 다양한 반도체 공정이 수행될 수 있다.After the process recipe is generated, the process recipe is applied to perform ion implantation on the wafer (S170). The step 170 of performing the ion implant may be performed through several steps as described in the description of FIG. 10B below. However, depending on the embodiment, ion implantation may be performed directly on the device wafer. In the step 170 of performing the ion implantation, the wafer may be a concept including a test wafer and a device wafer. The test wafer may be a wafer for testing whether a process condition obtained through reinforcement learning and a process recipe corresponding thereto are suitable to implement an ion depth profile in the form of a box profile. Therefore, the semiconductor device may not be manufactured on the test wafer. Meanwhile, the device wafer is a wafer on which a semiconductor device is manufactured, and various semiconductor processes may be performed after the ion implant process.

도 10b는 도 10a의 이온 임플란트를 수행하는 단계를 좀더 상세하게 보여주는 흐름도이다. 도 10a를 함께 참조하여 설명하고, 도 10에서 이미 설명한 내용은 간단히 설명하거나 생략한다.FIG. 10B is a detailed flowchart illustrating a step of performing the ion implant of FIG. 10A. It will be described with reference to FIG. 10A, and the contents already described in FIG. 10 will be briefly described or omitted.

도 10b를 참조하면, 이온 임플란트를 수행하는 단계(170)는, 공정 레시피를 생성하는 단계(S150)에서 생성한 공정 레시피를 적용하여 테스트 웨이퍼에 대한 이온 임플란트를 수행한다(S172). 전술한 바와 같이, 테스트 웨이퍼는 강화 학습을 통해 얻은 공정 조건 및 그에 따른 공정 레시피가 적절한지를 테스트하기 위한 웨이퍼일 수 있다. Referring to FIG. 10B, in step 170 of performing an ion implant, ion implantation on a test wafer is performed by applying the process recipe generated in step S150 of generating a process recipe (S172). As described above, the test wafer may be a wafer for testing whether a process condition obtained through reinforcement learning and a process recipe accordingly are appropriate.

다음, 테스트 웨이퍼의 이온 깊이 프로파일을 측정한다(S174). 이후, 타겟 프로파일인 박스 프로파일과 측정을 통해 얻은 이온 깊이 프로파일을 비교하여, 유사도가 설정된 값 이상인지 판단한다(S176). Next, the ion depth profile of the test wafer is measured (S174). Thereafter, by comparing the target profile, the box profile, and the ion depth profile obtained through the measurement, it is determined whether the similarity is greater than or equal to a set value (S176).

유사도가 설정된 값 이상인 경우(Yes), 소자 웨이퍼에 이온 임플란트를 수행한다(S178). 전술한 바와 같이, 소자 웨이퍼는 실제 반도체 소자가 제조되는 웨이퍼일 수 있다. If the similarity is greater than or equal to the set value (Yes), ion implantation is performed on the device wafer (S178). As described above, the device wafer may be a wafer on which an actual semiconductor device is manufactured.

만약, 유사도가 설정된 값 미만인 경우(No), 강화 학습을 수행하는 단계(S110)로 돌아간다. 한편, 새로운 공정 조건 및 그에 따른 공정 레시피를 구하기 위하여, 강화 학습에서 이용하는 변수들이 변경될 수 있다. 예컨대, 강화 학습에서 할인 인자, 학습률, 에포크 등의 변수들이 변경될 수 있다. 그러나 변경되는 변수들이 전술한 항목들에 한정되는 것은 아니다.If the similarity is less than the set value (No), the process returns to step S110 of performing reinforcement learning. Meanwhile, variables used in reinforcement learning may be changed in order to obtain a new process condition and a process recipe according thereto. For example, in reinforcement learning, variables such as a discount factor, a learning rate, and an epoch may be changed. However, the changed variables are not limited to the above items.

도 11은 본 발명의 일 실시예에 따른 반도체 소자 제조 방법에 대한 흐름도이다. 도 1 내지 도 10b의 설명 부분에서 이미 설명한 내용은 간단히 설명하거나 생략한다. 11 is a flowchart illustrating a method of manufacturing a semiconductor device according to an embodiment of the present invention. Contents already described in the description of FIGS. 1 to 10B will be briefly described or omitted.

도 11을 참조하면, 먼저, 도 10a의 이온 임플란트 방법에서 설명한 바와 같이, 강화 학습을 수행하는 단계(S110), 적어도 하나의 공정 조건을 획득하는 단계(S130), 공정 레시피를 생성하는 단계(S150), 및 웨이퍼에 이온 임플란트를 수행하는 단계(S170)를 순차적으로 수행한다. 한편, 웨이퍼에 이온 임플란트를 수행하는 단계(S170)에는 도 10b의 설명 부분에서 설명한 바와 같이, 여러 단계의 과정이 포함될 수 있다. 다만, 본 실시예의 반도체 소자 제조 방법에서, 웨이퍼에 이온 임플란트를 수행하는 단계(S170)의 웨이퍼는 실제 반도체 소자가 제조되는 소자 웨이퍼를 의미할 수 있다.Referring to FIG. 11, first, as described in the ion implantation method of FIG. 10A, performing reinforcement learning (S110), obtaining at least one process condition (S130), and generating a process recipe (S150). ), and performing an ion implantation on the wafer (S170) are sequentially performed. Meanwhile, the step of performing an ion implantation on the wafer (S170) may include a process of several steps, as described in the description of FIG. 10B. However, in the method of manufacturing a semiconductor device according to the present embodiment, the wafer in step S170 of performing ion implantation on the wafer may mean a device wafer on which the semiconductor device is actually manufactured.

웨이퍼에 이온 임플란트 수행 후에, 웨이퍼에 대한 후속 반도체 공정을 수행한다(S190), 웨이퍼에 대한 후속 반도체 공정을 통해, 웨이퍼로부터 다수의 반도체 소자를 제조할 수 있다. 웨이퍼에 대한 후속 반도체 공정은 다양한 공정들을 포함할 수 있다. 예컨대, 웨이퍼에 대한 후속 반도체 공정은 증착 공정, 식각 공정, 이온 공정, 세정 공정 등을 포함할 수 있다. 또한, 웨이퍼에 대한 후속 반도체 공정은 웨이퍼 레벨의 반도체 소자의 테스트 공정을 포함할 수 있다. 더 나아가, 웨이퍼에 대한 후속 반도체 공정은 웨이퍼로부터 반도체 칩들로 개별화하는 공정, 반도체 칩들을 패키징하는 공정을 포함할 수 있다.After the ion implantation is performed on the wafer, a subsequent semiconductor process is performed on the wafer (S190), and a plurality of semiconductor devices can be manufactured from the wafer through the subsequent semiconductor process on the wafer. Subsequent semiconductor processing to the wafer may include various processes. For example, a subsequent semiconductor process for the wafer may include a deposition process, an etching process, an ion process, a cleaning process, and the like. Further, a subsequent semiconductor process to the wafer may include a test process of semiconductor devices at the wafer level. Furthermore, a subsequent semiconductor process for the wafer may include a process of individualizing the wafer into semiconductor chips, and a process of packaging the semiconductor chips.

좀더 구체적으로 설명하면, 전술한 증착 공정, 식각 공정, 이온 공정, 세정 공정 등의 반도체 공정을 통해 웨이퍼 내에 반도체 칩들이 완성되면, 웨이퍼를 각각의 반도체 칩들로 개별화할 수 있다. 각각의 반도체 칩들로의 개별화는 블레이드나 레이저에 의한 소잉 공정을 통해 이루어질 수 있다. 이후, 반도체 칩들에 대하여 패키징 공정을 수행할 수 있다. 패키징 공정은 반도체 칩들을 PCB 상에 실장하고 밀봉재로 밀봉하는 공정을 의미할 수 있다. 한편, 패키징 공정은 PCB 상에 다수의 반도체를 다층으로 적층하여 스택 패키지를 형성하거나, 또는 스택 패키지 상에 스택 패키지를 적층하여 POP(Package On Package) 구조를 형성하는 것을 포함할 수 있다. 반도체 칩의 패키징 공정을 통해 반도체 소자 또는 반도체 패키지가 완성될 수 있다. 한편, 패키징 공정 후에 반도체 패키지에 대하여 테스트 공정이 수행될 수 있다.In more detail, when semiconductor chips are completed in a wafer through semiconductor processes such as the above-described deposition process, etching process, ion process, and cleaning process, the wafer can be individualized into individual semiconductor chips. Individualization into individual semiconductor chips can be achieved through a sawing process using a blade or a laser. Thereafter, a packaging process may be performed on the semiconductor chips. The packaging process may refer to a process of mounting semiconductor chips on a PCB and sealing them with a sealing material. Meanwhile, the packaging process may include forming a stack package by stacking a plurality of semiconductors in multiple layers on a PCB, or forming a POP (Package On Package) structure by stacking a stack package on the stack package. A semiconductor device or a semiconductor package may be completed through a semiconductor chip packaging process. Meanwhile, a test process may be performed on the semiconductor package after the packaging process.

지금까지, 본 발명을 도면에 도시된 실시예를 참고로 설명하였으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.Until now, the present invention has been described with reference to the embodiments shown in the drawings, but this is only exemplary, and those of ordinary skill in the art will understand that various modifications and other equivalent embodiments are possible therefrom. will be. Therefore, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.

100: 강화 학습 시뮬레이션 장치부, 110: 강화 학습 시뮬레이션 장치, 112: 에이전트, 114: 환경, 130: 제1 UI, 200: 저장부, 300: 이온 임플란트 장치부, 310: 이온 임플란트 장치, 311: 이온 소스, 313a: 이온 발생기, 313b: 전류원, 315: 질량 분석기, 317: 가속기, 319: 스테이지, 330: 제2 UI, 500: 웨이퍼, 1000: 이온 임플란트 시스템100: reinforcement learning simulation unit, 110: reinforcement learning simulation unit, 112: agent, 114: environment, 130: first UI, 200: storage unit, 300: ion implant unit, 310: ion implant unit, 311: ion Source, 313a: ion generator, 313b: current source, 315: mass spectrometer, 317: accelerator, 319: stage, 330: second UI, 500: wafer, 1000: ion implant system

Claims

Reinforcement learning that receives the similarity between the ion depth profile, which is the ion concentration according to the depth of the wafer, and the box profile, which is the target profile, as a reward in the ion implant process. ) Performing;
Acquiring at least one process condition of the ion implant process as a result of the reinforcement learning; And
Ion depth profile control method comprising a; generating a process recipe for the at least one process condition.

The method of claim 1,
The at least one process condition is the ion depth profile control method, characterized in that the ion energy over time in the ion implant process.

The method of claim 1,
In the reinforcement learning, an agent and an environment are given,
When the agent takes the action A in the current state, it operates in such a way that the next state according to the action A in the environment and the reward are returned to the agent,
And the agent generates the behavior A through a learning algorithm based on the information on the state.

Performing reinforcement learning in which a similarity between an ion depth profile, which is an ion concentration according to a depth of a wafer, and a box profile, which is a target profile, is compensated for in the ion implant process;
Acquiring at least one process condition of the ion implant process as a result of the reinforcement learning;
Generating a process recipe for the at least one process condition; And
Ion implant method comprising; applying the process recipe to perform an ion implant on the wafer.

The method of claim 4,
The at least one process condition is ion energy over time in the ion implant process,
In the step of acquiring the at least one process condition, an ion energy profile representing a magnitude of ion energy over time is generated.

The method of claim 5,
The performing of the ion implantation is an ion implantation method, characterized in that it is performed on the wafer through a single process based on the ion energy profile.

The method of claim 5,
In the step of generating the process recipe, generating physical quantities for implementing the ion energy profile,
In the step of performing the ion implant, based on the ion energy profile, ion implantation is performed while changing the ion energy in real time using the process recipe.

The method of claim 4,
The at least one process condition is an angle of incidence of ions into the wafer over time in the ion implant process,
In the step of obtaining the at least one process condition, an ion incidence angle profile representing an incidence angle of ions over time is generated,
In the performing of the ion implantation, the ion implantation method is performed while changing an angle of the wafer in real time based on the ion incidence angle profile.

The method of claim 4,
In the reinforcement learning, an agent and an environment are given,
When the agent takes the action A in the current state, it operates in such a way that the next state according to the action A in the environment and the reward are returned to the agent,
The agent generates the action A through a learning algorithm based on the information on the state,
The at least one process condition is ion implantation method, characterized in that the ion energy over time in the ion implant process.

The method of claim 4,
The step of performing the ion implantation,
Performing ion implantation on a test wafer using the process recipe;
Measuring an ion depth profile of the test wafer;
Determining a similarity between the ion depth profile of the test wafer and the box profile; And
And performing ion implantation on the device wafer when the similarity is greater than or equal to the set value.

The method of claim 4,
Ion implant method, characterized in that at least one of performing the reinforcement learning, acquiring the at least one process condition, and performing the ion implant is automatically or manually controlled through a user interface (UI). .

Performing reinforcement learning in which a similarity between an ion depth profile, which is an ion concentration according to a depth of a wafer, and a box profile, which is a target profile, is compensated for in the ion implant process;
Acquiring at least one process condition of the ion implant process as a result of the reinforcement learning;
Generating a process recipe for the at least one process condition;
Performing ion implantation on the wafer by applying the process recipe; And
A method of manufacturing a semiconductor device comprising: performing a subsequent semiconductor process on the wafer.

The method of claim 12,
In the reinforcement learning, an agent and an environment are given,
When the agent takes the action A in the current state, it operates in such a way that the next state according to the action A in the environment and the reward are returned to the agent,
The agent generates the action A through a learning algorithm based on the information on the state,
The at least one process condition is a method of manufacturing a semiconductor device, characterized in that ion energy over time in the ion implant process.

The method of claim 13,
In the step of obtaining the at least one process condition, an ion energy profile indicating the magnitude of the ion energy over time is obtained,
The step of performing the ion implantation is performed on the wafer through a single process based on the ion energy profile.

The method of claim 13,
In the step of obtaining the at least one process condition, an ion energy profile indicating the magnitude of the ion energy over time is obtained,
In the step of generating the process recipe, generating physical quantities for implementing the ion energy profile,
In the step of performing the ion implant, the ion implant is performed while changing the ion energy in real time using the process recipe based on the ion energy profile.

The method of claim 13,
The learning algorithm includes a DNN algorithm,
A method for manufacturing a semiconductor device, characterized in that a learning rate is set through a user interface (UI), a learning progress state is debugged, and ion energy according to the time is set.

A simulation device that performs reinforcement learning; And
Including; an ion implant device having an ion source, an ion generator, a mass analyzer, an accelerator, and a stage,
Based on the ion energy profile obtained in the reinforcement learning, the ion implant system performs ion implantation while changing the ion energy in real time in the ion implant device.

The method of claim 17,
In the reinforcement learning, an agent and an environment are given,
When the agent takes action A in the current state, it operates in such a way that it returns the next state and reward according to the action A in the environment to the agent,
The agent generates the action A through a learning algorithm based on the information on the state,
The ion energy profile corresponds to the behavior of the agent,
The compensation of the reinforcement learning is ion implantation equipment, characterized in that it corresponds to a similarity between the ion depth profile and the box profile in the ion implant process.

The method of claim 18,
The learning algorithm includes a DNN algorithm,
The simulation device includes a first user interface (UI),
The learning rate is set through the first UI, and the progress of the learning is debugged.

The method of claim 17,
The ion implant device includes a second UI,
The ion implant system, characterized in that the ion energy is changed in real time by adjusting the accelerator through the second UI.