KR20190067439A - Control value setting apparatus and method of semiconductor vision inspection system based on deep learning - Google Patents

Control value setting apparatus and method of semiconductor vision inspection system based on deep learning Download PDF

Info

Publication number
KR20190067439A
KR20190067439A KR1020170167373A KR20170167373A KR20190067439A KR 20190067439 A KR20190067439 A KR 20190067439A KR 1020170167373 A KR1020170167373 A KR 1020170167373A KR 20170167373 A KR20170167373 A KR 20170167373A KR 20190067439 A KR20190067439 A KR 20190067439A
Authority
KR
South Korea
Prior art keywords
control
variable
control variables
image
variables
Prior art date
Application number
KR1020170167373A
Other languages
Korean (ko)
Inventor
오천인
한경수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170167373A priority Critical patent/KR20190067439A/en
Publication of KR20190067439A publication Critical patent/KR20190067439A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

The present invention relates to a deep learning-based control variable setting device in a semiconductor vision inspection system, which is capable of automatically setting an optimal control value, and a method thereof. According to the present invention, the method comprises the steps of: receiving information about a plurality of control variables controlling operation of an image acquisition device; using the number of control variables included in the received information about the control variables and the number of variable values of the control variables to form a control variable set; receiving images acquired by the image acquisition device reflecting the variable values of the control variables corresponding to each element of the formed control variable set with respect to one or more vision inspection samples; and using a previously trained deep learning-based neural network to determine a final image among the received images, and acquiring final variable values of the control variable for acquiring the determined final image. Each element of the formed control variable set includes all of the control variables and two arbitrary elements different from each other of the formed control variable set are corresponded to have different variable values among one or more identical control variables.

Description

딥러닝 기반의 반도체 비전 검사 시스템에서의 제어 변수 설정 장치 및 방법{CONTROL VALUE SETTING APPARATUS AND METHOD OF SEMICONDUCTOR VISION INSPECTION SYSTEM BASED ON DEEP LEARNING}TECHNICAL FIELD [0001] The present invention relates to a control variable setting apparatus and a method for setting a control variable in a semiconductor vision inspection system based on deep running,

본 개시는 딥러닝 기반의 반도체 비전 검사 시스템에서의 제어 변수 설정 장치의 동작방법에 관한 것으로, 보다 구체적으로는 영상 획득 장치의 동작을 제어하는 복수의 제어 변수들의 변수 값들을 반영시켜 획득된 이미지들에 대해 딥러닝 기반의 신경망을 적용하여 최종 변수 값들을 결정하는 제어 변수 설정 방법에 관한 것이다.The present invention relates to a method of operating a control variable setting apparatus in a semiconductor vision inspection system based on deep running, and more particularly, Based neural network to determine the final variable values.

반도체 제조 및 검사 장비에는 웨이퍼, 칩 등의 자재 이미지로부터 모양, 위치, 방향, 오류 등과 같은 정보를 추출하기 위한 비전 검사 시스템을 포함한다. 일반적으로 비전 검사 시스템은 이미지를 획득하기 위해 카메라와 조명을 포함하고 있으며, 엑스레이(x-ray)나 전자빔과 같은 장치를 포함할 수 있다. 비전 검사 시스템에 포함된 카메라는 다양한 형태를 가질 수 있으며, 도 1은 일 실시예에 따른 일반적인 비전 검사 시스템에서의 라인 스캔 카메라 설정 방법을 나타내는 도면이다.Semiconductor manufacturing and inspection equipment includes a vision inspection system for extracting information such as shape, position, direction, and errors from a material image of a wafer, a chip, and the like. In general, a vision inspection system includes a camera and an illumination to acquire an image, and may include an apparatus such as an x-ray or an electron beam. The camera included in the vision inspection system may have various forms. FIG. 1 illustrates a method of setting a line scan camera in a general vision inspection system according to an exemplary embodiment.

한편, 비전 검사 시스템은 일반적으로 참조 이미지로 저장된 템플릿을 기반으로 입력 이미지와 비교하여 이미지의 정보를 추출하거나 오류를 검출하는데, 도 2는 일 실시예에 따른 일반적인 템플릿 기반의 비전 검사 시스템에서 사용되는 샘플을 나타내는 도면으로서, 템플릿 영상을 회전(rotate), 블러링(blurred), 스케일링(scaling) 등을 시킨 영상들이 비전 검사 시스템에 사용됨을 알 수 있다. 기존의 영상 처리에 기반한 비전 검사 시스템은 정확성의 한계가 있으며, 특히 템플릿 참조 이미지 기반의 비전 검사 시스템은 사용자에 의해 등록된 템플릿에만 의존하기 때문에, 반도체 검사 장비의 특성에 따라 발생할 수 있는 이미지의 변화에 강인한 특징 정보의 추출 및 오류 검사를 수행하기 위해서는 모든 경우에 대한 템플릿을 추가로 등록할 필요가 있다. 도 3은 일 실시예에 따른 딥러닝 기반의 비전 검사 시스템을 나타내는 도면으로서, 비전 검사 시스템의 기존의 문제들을 극복하기 위해 최근 딥러닝(deep learning)에 기반한 비전 검사 시스템이 등장하였으며, 딥러닝 알고리즘의 비약적인 발전으로 인하여 딥러닝 기반의 비전 검사 시스템은 사람의 육안을 뛰어넘는 인식 및 검출 기능을 수행할 수 있게 되었다.Meanwhile, the vision inspection system extracts information of an image or detects an error by comparing the input image with a template based on a template stored as a reference image. FIG. 2 is a block diagram of a vision- As a drawing showing a sample, it can be seen that images obtained by rotating, blurring, and scaling a template image are used in a vision inspection system. The vision inspection system based on the existing image processing has a limitation in accuracy, and in particular, since the vision inspection system based on the template reference image depends only on the template registered by the user, the image change It is necessary to additionally register a template for all cases in order to perform extraction of feature information and error checking. FIG. 3 is a diagram illustrating a deep-learning-based vision inspection system according to an exemplary embodiment. In order to overcome the existing problems of the vision inspection system, a vision inspection system based on deep learning recently has appeared, The deep-learning-based vision inspection system can perform recognition and detection functions beyond the human eye.

한편, 비전 검사 시스템의 성능을 높이기 위해서 카메라 등의 영상 획득 장치의 물리적 위치뿐만 아니라 초점거리, 조리개, 렌즈 배율, 조도 등의 제어 요소들에 대한 초기값 설정이 중요하다. 일부 제어 요소들에 대해서는 오토 포커싱, 오토 캘리브레이션과 같은 자동으로 설정값을 결정하는 방법들이 제시되고 있지만, 실제 공정 라인에 비전 검사 시스템을 설치하는 경우 일반적으로 작업자가 육안으로 확인하거나 장비를 시험 가동하여 얻은 결과 등 수작업에 기반한 미세조정이 요구되는 실정이다. 또한, 반도체 검사 장비의 수가 수십, 수백 대에 이르는 경우 장비마다 일일이 이러한 조정 작업이 수행되어야 하고, 자재의 변경, 반도체 검사 장비의 진동으로 인한 영상 획득 장치의 물리적 위치의 변화 또는 영상 획득 장치의 노후화에 따른 획득 이미지 상태의 변화로 인하여 반복적인 조정 작업이 수행되어야 하기 때문에 많은 인력과 시간이 소요되는 문제가 있다.In order to improve the performance of the vision inspection system, it is important to set initial values for control parameters such as focal length, aperture, lens magnification, and illumination as well as the physical location of the image acquisition device such as a camera. For some control elements, methods for automatically setting values such as autofocusing and auto-calibration are suggested. However, when a vision inspection system is installed in an actual process line, an operator generally checks with the naked eye or operates the equipment It is necessary to perform fine adjustment based on the result obtained. In addition, if the number of semiconductor inspection equipments reaches several tens or several hundreds, such adjustment should be performed for each equipment, and a change of material, a change of the physical position of the image acquiring device due to the vibration of the semiconductor inspecting equipment, There is a problem that a lot of manpower and time are required because it is necessary to perform an iterative adjustment operation due to the change of the acquired image state.

본 개시의 기술적 과제는 영상 획득 장치로부터 획득된 복수의 이미지들에 대해 딥러닝 기반의 신경망을 적용하여 제어 변수 값을 결정하는 제어 변수 설정 장치 및 그 동작방법을 제공하는 것이다.According to an aspect of the present invention, there is provided a control variable setting apparatus for applying a deep learning-based neural network to a plurality of images obtained from an image acquiring apparatus and determining a control variable value, and an operation method thereof.

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical objects to be achieved by the present disclosure are not limited to the above-mentioned technical subjects, and other technical subjects which are not mentioned are to be clearly understood from the following description to those skilled in the art It will be possible.

러닝 기반의 반도체 비전 검사 시스템에서의 제어 변수 설정 장치의 동작방법에 있어서, 영상 획득 장치의 동작을 제어하는 복수의 제어 변수들에 대한 정보를 수신하는 단계; 상기 수신된 복수의 제어 변수들에 대한 정보에 포함된 상기 복수의 제어 변수들의 개수 및 상기 복수의 제어 변수들 각각의 변수 값의 개수를 이용하여 제어 변수 집합을 구성하는 단계; 적어도 하나 이상의 비전 검사 샘플에 대해, 상기 구성된 제어 변수 집합의 구성 원소 각각에 대응되는 상기 복수의 제어 변수들의 변수 값들이 각각 반영된 상기 영상 획득 장치에 의해 획득된 이미지들을 수신하는 단계; 및 이미 학습된 딥러닝 기반의 신경망을 이용하여 상기 수신된 이미지들 중 최종 이미지를 결정하고, 상기 결정된 최종 이미지를 획득하기 위한 상기 복수의 제어 변수들 각각의 최종 변수 값들을 획득하는 단계를 포함하고, 상기 구성된 제어 변수 집합의 구성 원소 각각은 상기 복수의 제어 변수들을 모두 포함하고, 상기 구성된 제어 변수 집합의 서로 다른 임의의 2개의 구성 원소들은 적어도 하나 이상 동일한 제어 변수들간에 다른 변수 값들을 가지도록 대응시킨 것을 특징으로 하는, 제어 변수 설정 장치의 동작방법이 제공될 수 있다.A method of operating a control variable setting apparatus in a running-based semiconductor vision inspection system, the method comprising: receiving information on a plurality of control variables for controlling an operation of an image obtaining apparatus; Configuring a set of control variables using the number of the plurality of control variables included in the received information on the plurality of control variables and the number of the variable values of each of the plurality of control variables; Receiving, for at least one vision inspection sample, images obtained by the image acquisition apparatus, in which variable values of the plurality of control variables corresponding to each of the constituent elements of the configured control variable set are reflected; And determining a final image of the received images using the already learned deep learning based neural network and obtaining final variable values of each of the plurality of control variables for obtaining the determined final image , Each of the constituent elements of the configured control variable set includes all of the plurality of control variables, and the two arbitrary two constituent elements of the configured set of control variables have different variable values among at least one identical control variable The method of operating the control variable setting apparatus according to the present invention can be provided.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.The features briefly summarized above for this disclosure are only exemplary aspects of the detailed description of the disclosure which follow, and are not intended to limit the scope of the disclosure.

본 개시에 따르면, 영상 획득 장치로부터 획득된 복수의 이미지들에 대해 딥러닝 기반의 신경망을 적용하여 제어 변수 값을 결정하는 제어 변수 설정 장치 및 방법이 제공될 수 있다.According to the present disclosure, a control variable setting apparatus and method for determining a control variable value by applying a deep learning-based neural network to a plurality of images obtained from an image acquiring apparatus can be provided.

또한, 본 개시에 따르면, 딥러닝 기반의 비전 검사 시스템에서 영상 획득 장치로부터 얻은 이미지를 육안으로 확인하지 않고도 최적의 제어 값을 자동으로 설정할 수 있는 제어 변수 설정 장치 및 방법이 제공될 수 있다.Also, according to the present disclosure, a control variable setting apparatus and method capable of automatically setting an optimum control value without visually confirming an image obtained from an image acquiring apparatus in a deep running-based vision inspection system can be provided.

또한, 본 개시에 따르면, 반도체 검사 장비의 진동이나 장비 노후화로 인해 영상 측정 장치의 설정이 변경되어야 하는 경우, 손쉽게 최적의 설정 값으로 조정할 수 있기 때문에 유지보수 비용 측면에서 이점이 있다.In addition, according to the present disclosure, when the setting of the image measuring apparatus needs to be changed due to the vibration of the semiconductor inspection equipment or the deterioration of the equipment, it can be easily adjusted to the optimum setting value, which is advantageous in terms of maintenance cost.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable from the present disclosure are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the description below will be.

도 1은 일 실시예에 따른 일반적인 비전 검사 시스템에서의 라인 스캔 카메라 설정 방법을 나타내는 도면이다.
도 2는 일 실시예에 따른 일반적인 템플릿 기반의 비전 검사 시스템에서 사용되는 샘플을 나타내는 도면이다.
도 3은 일 실시예에 따른 딥러닝 기반의 비전 검사 시스템을 나타내는 도면이다.
도 4는 일 실시예에 따른 비전 검사 시스템을 포함하는 일반적인 반도체 검사 장비를 나타내는 도면이다.
도 5 및 6은 일 실시예에 따른 제어 변수 설정 장치의 구성을 나타내는 블록도이다.
도 7은 일 실시예에 따른 복수의 비전 검사 샘플들에 대해 제어 변수 집합을 구성하는 과정을 나타내는 도면이다.
도 8은 일 실시예에 따른 제어 변수 설정 장치의 동작방법을 나타내는 흐름도이다.
도 9 및 10은 다른 실시예에 따른 제어 변수 설정 장치의 동작방법을 나타내는 흐름도이다.1 is a view illustrating a method of setting a line scan camera in a general vision inspection system according to an exemplary embodiment.
FIG. 2 is a diagram illustrating a sample used in a general template-based vision inspection system according to an embodiment.
3 is a diagram illustrating a deep running based vision inspection system in accordance with one embodiment.
FIG. 4 is a diagram illustrating a conventional semiconductor inspection apparatus including a vision inspection system according to an embodiment.
5 and 6 are block diagrams showing a configuration of a control parameter setting apparatus according to an embodiment.
7 is a diagram illustrating a process of configuring a control variable set for a plurality of vision inspection samples according to an exemplary embodiment.
8 is a flowchart illustrating an operation method of a control parameter setting apparatus according to an embodiment.
9 and 10 are flowcharts showing an operation method of a control parameter setting apparatus according to another embodiment.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. Hereinafter, embodiments of the present disclosure will be described in detail with reference to the accompanying drawings, which will be easily understood by those skilled in the art. However, the present disclosure may be embodied in many different forms and is not limited to the embodiments described herein.

본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.In the following description of the embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present disclosure rather unclear. Parts not related to the description of the present disclosure in the drawings are omitted, and like parts are denoted by similar reference numerals.

본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In the present disclosure, when an element is referred to as being "connected", "coupled", or "connected" to another element, it is understood that not only a direct connection relationship but also an indirect connection relationship May also be included. Also, when an element is referred to as " comprising "or" having "another element, it is meant to include not only excluding another element but also another element .

본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다. In the present disclosure, the terms first, second, etc. are used only for the purpose of distinguishing one element from another, and do not limit the order or importance of elements, etc. unless specifically stated otherwise. Thus, within the scope of this disclosure, a first component in one embodiment may be referred to as a second component in another embodiment, and similarly a second component in one embodiment may be referred to as a first component .

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다. In the present disclosure, the components that are distinguished from each other are intended to clearly illustrate each feature and do not necessarily mean that components are separate. That is, a plurality of components may be integrated into one hardware or software unit, or a single component may be distributed into a plurality of hardware or software units. Thus, unless otherwise noted, such integrated or distributed embodiments are also included within the scope of this disclosure.

본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다. In the present disclosure, the components described in the various embodiments are not necessarily essential components, and some may be optional components. Thus, embodiments consisting of a subset of the components described in one embodiment are also included within the scope of the present disclosure. Also, embodiments that include other elements in addition to the elements described in the various embodiments are also included in the scope of the present disclosure.

이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.Hereinafter, embodiments of the present disclosure will be described with reference to the accompanying drawings.

도 4는 일 실시예에 따른 비전 검사 시스템을 포함하는 일반적인 반도체 검사 장비를 나타내는 도면이다.FIG. 4 is a diagram illustrating a conventional semiconductor inspection apparatus including a vision inspection system according to an embodiment.

도 4를 참조하면, 반도체 검사 장비1(410)은 크게 비전 시스템(420) 및 반도체 장비 제어 모듈(430)을 포함할 수 있으며, 수십 수백 대의 반도체 검사 장비들이 함께 설치될 수 있다. 비전 시스템(420)은 카메라 조명과 같은 영상 획득 장치와 반도체 자재의 정보를 분석하고 오류를 검출하는 비전 검사 모듈로 구성될 수 있으며, 반도체 장비 제어 모듈(430)은 반도체 검사 장비가 수행해야 할 기능을 제어하기 위한 모듈이다. 한편, 비전 시스템과 직접 연결되어 있지 않은 반도체 검사 장비 내의 물리적 기능 모듈들은 포함되어 있지 않을 수 있다.Referring to FIG. 4, the semiconductor inspection equipment 1 410 may include a vision system 420 and a semiconductor equipment control module 430, and several hundreds of semiconductor inspection equipment may be installed together. The vision system 420 may include an image acquisition device such as camera illumination and a vision inspection module for analyzing information of a semiconductor material and detecting an error. The semiconductor equipment control module 430 may include a function . ≪ / RTI > On the other hand, physical function modules in semiconductor inspection equipment not directly connected to the vision system may not be included.

도 5 및 6은 일 실시예에 따른 제어 변수 설정 장치의 구성을 나타내는 블록도이다.5 and 6 are block diagrams showing a configuration of a control parameter setting apparatus according to an embodiment.

본 개시의 딥러닝 기반의 반도체 비전 검사 시스템에서의 제어 변수 설정 장치는 반도체 공정에 사용되는 장비가 해당 기능을 수행하는 과정에서, 비전 시스템에 탑재되어 있는 반도체 자재의 정보 및 오류 여부를 판단하기 위한 카메라와 조명과 같은 영상 획득 장치에서의 노출, 조리개, 초점거리, 조도 등의 제어 값을 자동으로 설정하기 위한 구조 및 일련의 과정을 포함할 수 있다. 또한, 본 개시의 제어 변수 설정 장치는 세부적으로 발명의 목적을 달성하기 위한 다양한 조건 및 상황 별 이미지 처리 과정도 포함할 수 있다. 또한, 도 4의 반도체 검사 장비1(410)에서 결정된 결과 값들은 반도체 검사 장비1(410)과 함께 설치된 나머지 반도체 검사 장비 2 내지 N에도 적용될 수 있다.The apparatus for setting a control variable in a semiconductor vision inspection system based on deep running of the present disclosure is a device for determining the information of a semiconductor material mounted on a vision system and an error And a structure and a series of processes for automatically setting control values such as exposure, aperture, focal length, and illumination in an image acquisition device such as a camera and illumination. In addition, the control parameter setting apparatus of the present disclosure may also include various conditional and contextual image processing steps for achieving the object of the invention in detail. 4 may be applied to the remaining semiconductor inspection equipments 2 to N installed together with the semiconductor inspection equipment 1 (410).

일 실시예에 따른 제어 변수 설정 장치(500)는 영상 획득 장치의 동작을 제어하는 복수의 제어 변수들에 대한 정보를 수신하고, 수신된 복수의 제어 변수들에 대한 정보에 포함된 복수의 제어 변수들의 개수 및 복수의 제어 변수들 각각의 변수 값의 개수를 이용하여 제어 변수 집합을 구성하고, 적어도 하나 이상의 비전 검사 샘플에 대해, 제어 변수 집합의 구성 원소 각각에 대응되는 복수의 제어 변수들의 변수 값들이 각각 반영된 영상 획득 장치에 의해 획득된 이미지들을 수신하고, 이미 학습된 딥러닝 기반의 신경망을 이용하여 수신된 이미지들 중 최종 이미지를 결정하고, 최종 이미지를 획득하기 위한 복수의 제어 변수들 각각의 최종 변수 값들을 획득할 수 있다.The control parameter setting apparatus 500 according to an embodiment receives information on a plurality of control variables that control the operation of the image capturing apparatus, and receives a plurality of control variables included in information on the received plurality of control variables For each of at least one vision inspection sample, a variable value of a plurality of control variables corresponding to each of the constituent elements of the control variable set Based neural network to determine a final image of the received images and to obtain a final image of each of a plurality of control variables for obtaining a final image The final variable values can be obtained.

일 실시예에 따른 제어 변수는 카메라와 조명 등의 노출, 조리개, 초점거리, 조도, 렌즈 배율 등을 의미할 수 있으나, 이에 제한되지 않으며, 영상 획득 장치에서 설정이 필요한 정보들을 포함할 수 있다. 또한 일 실시예에 따른 최종 이미지는 영상 획득 장치로부터 획득된 이미지들 중 사용자가 요구하는 조건(예를 들어, 획득된 이미지의 화질)을 가장 충족하는 이미지일 수 있다.The control variable according to an exemplary embodiment may include exposure, diaphragm, focal length, illuminance, lens magnification, etc. of a camera and illumination, but is not limited thereto, and may include information necessary to be set in the image acquisition device. In addition, the final image according to an embodiment may be an image that best satisfies a condition (for example, an image quality of an acquired image) required by a user among images obtained from the image acquiring apparatus.

도 5를 참조하면, 일 실시예에 따른 제어 변수 설정 장치(500)는 통신부(510), 제어부(520) 및 저장부(530)를 포함할 수 있다. 다만, 이는 본 실시예를 설명하기 위해 필요한 일부 구성요소만을 도시한 것일 뿐, 제어 변수 설정 장치(500)에 포함된 구성요소가 전술한 예에 한정되는 것은 아니다.5, the control parameter setting apparatus 500 according to an embodiment may include a communication unit 510, a control unit 520, and a storage unit 530. It should be noted, however, that this shows only some of the components necessary for explaining the present embodiment, and the components included in the control parameter setting apparatus 500 are not limited to the above-described examples.

예를 들어, 도 6을 참조하면, 제어 변수 설정 장치(600)는 영상 획득 장치 인터페이스부(610), 영상처리부(620), 신경망 학습부(630), 딥러닝 오류 검사부(640), 장비 제어 인터페이스부(650) 및 데이터 저장부(660)를 더 포함할 수 있다. 도 6의 제어 변수 설정 장치(600)는 도 5의 제어 변수 설정 장치(500)에 대응될 수 있다.6, the control parameter setting device 600 includes an image acquisition device interface unit 610, an image processing unit 620, a neural network learning unit 630, a deep running error checking unit 640, And may further include an interface unit 650 and a data storage unit 660. The control parameter setting apparatus 600 of FIG. 6 may correspond to the control parameter setting apparatus 500 of FIG.

도 5를 참조하면, 통신부(510)는 제어 변수 설정 장치(500)와 외부 장치(예를 들어, 영상 획득 장치) 또는 제어 변수 설정 장치(500)와 서버 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있으며, 또한 통신부(510)는 제어부(520)의 제어에 의해 제어 장치의 제어 신호를 송수신할 수 있다. 도 5의 통신부(510)는 도 6의 영상 획득 장치 인터페이스부(610) 및 장비 제어 인터페이스부(650)를 더 포함할 수 있으나, 이는 본 실시예를 설명하기 위해 필요한 일부 구성요소만을 도시한 것일 뿐, 통신부(510)에 포함된 구성요소가 전술한 예에 한정되는 것은 아니다.5, the communication unit 510 includes one or more components for enabling communication between the control variable setting apparatus 500 and an external apparatus (for example, an image capturing apparatus) or a control variable setting apparatus 500 and a server And the communication unit 510 can transmit and receive a control signal of the control device under the control of the control unit 520. [ The communication unit 510 of FIG. 5 may further include an image acquisition device interface unit 610 and an equipment control interface unit 650 of FIG. 6, but it should be understood that only some of the components necessary for explaining the present embodiment However, the components included in the communication unit 510 are not limited to the above-described examples.

일 실시예에 따른 통신부(510)는 영상 획득 장치의 동작을 제어하는 복수의 제어 변수들에 대한 정보를 수신할 수 있다. 또한 일 실시예에 따른 통신부(510)는 제어 변수들의 변수 값들이 반영된 영상 획득 장치에 의해 획득된 비전 검사 샘플에 대한 이미지들을 수신할 수 있다.The communication unit 510 according to an exemplary embodiment may receive information on a plurality of control variables that control the operation of the image capturing apparatus. In addition, the communication unit 510 according to one embodiment may receive images of the vision inspection sample obtained by the image acquisition apparatus in which the variable values of the control variables are reflected.

제어부(520)는 제어 변수 설정 장치(500)의 전반적인 동작 제어 변수 설정 장치(500)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(520)는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 저장부(530)에 저장된 다양한 데이터들을 이용하고 또한 다양한 애플리케이션을 실행할 수 있다. 도 5의 제어부(520)는 도 6의 영상처리부(620), 신경망 학습부(630) 및 딥러닝 오류 검사부(640)를 더 포함할 수 있으나, 이는 본 실시예를 설명하기 위해 필요한 일부 구성요소만을 도시한 것일 뿐, 제어부(520)에 포함된 구성요소가 전술한 예에 한정되는 것은 아니다.The control unit 520 controls the signal flow between the internal components of the overall operation control parameter setting apparatus 500 of the control parameter setting apparatus 500 and performs the function of processing the data. The control unit 520 may use various data stored in the storage unit 530 and may execute various applications when the user has an input or predefined conditions. 6 may further include the image processing unit 620, the neural network learning unit 630 and the deep learning error checking unit 640 of FIG. 6, And the components included in the control unit 520 are not limited to the above-described examples.

일 실시예에 따른 제어부(520)는 통신부(510)에 의해 수신된 복수의 제어 변수들에 대한 정보에 포함된 복수의 제어 변수들의 개수 및 복수의 제어 변수들 각각의 변수 값의 개수를 이용하여 제어 변수 집합을 구성하고, 적어도 하나 이상의 비전 검사 샘플에 대해, 제어 변수 집합의 구성 원소 각각에 대응되는 복수의 제어 변수들의 변수 값들이 각각 반영된 영상 획득 장치에 의해 획득된 이미지들을 수신하는 통신부(510)를 제어하고, 이미 학습된 딥러닝 기반의 신경망을 이용하여 수신된 이미지들 중 최종 이미지를 결정하고, 최종 이미지를 획득하기 위한 복수의 제어 변수들 각각의 최종 변수 값들을 획득할 수 있다.The control unit 520 according to an exemplary embodiment uses the number of control variables included in the information on the plurality of control variables received by the communication unit 510 and the number of the variable values of the plurality of control variables (510) for receiving the images obtained by the image acquiring device, in which the variable values of the plurality of control variables corresponding to each of the constituent elements of the control variable set are respectively reflected for at least one vision inspection sample ), Determine the final image of the received images using the already learned deep-run based neural network, and obtain the final variable values of each of the plurality of control variables for obtaining the final image.

저장부(530)는 제어부(520)의 제어에 의해 제어 변수 설정 장치(500)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 애플리케이션을 저장할 수 있다. 도 5의 저장부(530)는 도 6의 데이터 저장부(660)를 더 포함할 수 있으나, 이는 본 실시예를 설명하기 위해 필요한 일부 구성요소만을 도시한 것일 뿐, 저장부(530)에 포함된 구성요소가 전술한 예에 한정되는 것은 아니다The storage unit 530 may store various data, programs, or applications for driving and controlling the control variable setting apparatus 500 under the control of the control unit 520. [ The storage unit 530 of FIG. 5 may further include the data storage unit 660 of FIG. 6, but only some of the components necessary for explaining the present embodiment are included in the storage unit 530 The constituent elements are not limited to the above-described examples

일 실시예에 따른 저장부(530)는 신경망 학습에 사용되는 학습 이미지, 제어 변수들의 변수 값들이 반영된 영상 획득 장치에 의해 획득된 이미지, 제어 변수들 각각의 변수 값들 및 딥러닝 오류 검사 결과 등을 저장할 수 있다.The storage unit 530 according to an exemplary embodiment may include a learning image used for neural network learning, an image obtained by the image acquisition device that reflects the variable values of the control variables, variable values of each of the control variables, Can be stored.

후술하는 바와 같이 도 6을 참조하여 딥러닝 기반의 반도체 비전 검사 시스템에서의 제어 변수 설정 장치의 동작을 살펴보도록 하겠다.6, the operation of the control variable setting apparatus in the deep vision-based semiconductor vision inspection system will be described.

일 실시예에 따른 검사 자재(670)는 예를 들어 획득 이미지로부터 특정 정보를 추출하는 것이 목적인 경우 해당 특정 정보를 포함해야 하고, 획득 이미지로부터 오류를 검출하는 것이 목적인 경우 오류가 없는 정상 샘플들로 구성될 수 있다.The inspection material 670 according to one embodiment should include the specific information, for example, when it is desired to extract specific information from the acquired image, and to include error-free normal samples for the purpose of detecting errors from the acquired image Lt; / RTI >

도 6을 참조하면, 일 실시예에 따른 제어 변수 설정 장치(600)는 영상 획득 장치 인터페이스부(I/F)(610)를 통해 카메라, 조명 등의 초점거리, 조리개, 렌즈 배율, 조도 등과 같은 제어 변수들을 제어할 수 있다. 또한, 제어 변수 설정 장치(600)는 제어 변수들의 변수 값들을 변경하면서 획득된 이미지들에 대해 노이즈 제거, 크기 조정, 자르기 등과 같은 영상 처리를 수행한 후(예를 들어, 영상처리부(620)에서) 수행 결과를 딥러닝 오류 검사부(640)로 입력할 수 있다. 일 실시예에 따른 영상처리부(620)는 딥러닝 신경망이 검사 자재의 이미지들을 획득할 때 발생할 수 있는 회전, 블록 또는 밝기 왜곡 등에 대응할 수 있도록 증강 이미지를 생성하여 학습 시 입력으로 반영되도록 할 수 있다. 본 개시의 딥러닝 기반의 비전 검사 시스템에 비하여 기존의 템플릿 기반의 비전 검사 시스템의 경우에는 회전, 블러 또는 밝기 왜곡 등에 대응하는 템플릿들을 자재 이미지로써 별도 확보해야 하는 문제가 있을 수 있겠다.6, the control parameter setting apparatus 600 includes an image capturing apparatus interface unit (I / F) 610 for controlling the focal distance, aperture, lens magnification, Control variables can be controlled. In addition, the control parameter setting apparatus 600 performs image processing such as noise removal, scaling, cropping, and the like on the obtained images while changing the variable values of the control variables (for example, in the image processing unit 620 ) Execution result to the deep learning error checking unit 640. [ The image processing unit 620 according to an exemplary embodiment may generate an enhancement image so that it can correspond to rotation, block or brightness distortion that may occur when the deep learning neural network acquires images of the inspection material, . In contrast to the deep running-based vision inspection system of the present disclosure, in the case of the conventional template-based vision inspection system, there may be a problem that separate templates corresponding to rotation, blur, or brightness distortion are secured as a material image.

일 실시예에 따른 딥러닝 오류 검사부(640)는 제어 변수들의 변수 값들에 따른 성능을 비교하여 최적의 값을 산출하고 이 값들이 영상 획득 장치의 제어 변수들의 최종 변수 값으로 반영될 수 있도록 영상 획득 장치 인터페이스부(610)로 피드백할 수 있다. 일 실시예에 따른 제어 변수 설정 장치(600)가 반도체 검사 장비 내에서 기능을 수행할 때에는 장비 제어 인터페이스부(650)를 통해 결과가 전달될 수 있으며, 그림 4의 반도체 장비 제어 모듈(430)이 실제 반도체 검사 장비의 자재 처리와 관련된 물리적 기능들을 수행할 수 있다. 데이터 저장부(660)는 신경망 학습에 사용되는 학습 이미지, 제어 변수들의 변수 값들이 반영된 영상 획득 장치에 의해 획득된 이미지, 제어 변수들 각각의 변수 값들 및 딥러닝 오류 검사 결과 등을 저장할 수 있다.The deep running error checker 640 according to an exemplary embodiment compares performance values according to the variable values of the control variables to calculate an optimal value, And can feed back to the device interface unit 610. When the control parameter setting apparatus 600 according to an embodiment performs a function in the semiconductor inspection equipment, the result can be transferred through the equipment control interface unit 650, and the semiconductor equipment control module 430 in FIG. Physical functions related to material handling of the actual semiconductor inspection equipment can be performed. The data storage unit 660 may store a learning image used for neural network learning, an image obtained by an image capturing apparatus that reflects variable values of control variables, variable values of each control variable, and a deep running error check result.

한편 딥러닝 오류 검사부(640)에서 사용되는 신경망 값들은 신경망 학습부(630)로부터 획득될 수 있다. 신경망 학습부(630)는 실시간 촬영 이미지가 아닌 기존에 학습을 위해 저장하고 있던 이미지들을 기반으로 학습을 수행하여 딥러닝 신경망 값들을 미리 결정할 수 있다. 일 실시예에 따를 때, 결정된 딥러닝 신경망 값들은 함께 연결되는 다른 반도체 검사 장비에도 이용될 수 있다.On the other hand, the neural network values used in the deep learning error checking unit 640 can be obtained from the neural network learning unit 630. The neural network learning unit 630 can learn the deep learning neural network values by performing learning based on the images that were previously stored for learning rather than a real time shot image. According to one embodiment, the determined deep learning neural network values may be used in other semiconductor inspection equipment connected together.

도 7은 일 실시예에 따른 복수의 비전 검사 샘플들에 대해 제어 변수 집합을 구성하는 과정을 나타내는 도면이다.7 is a diagram illustrating a process of configuring a control variable set for a plurality of vision inspection samples according to an exemplary embodiment.

일 실시예에 따를 때, 제어 변수 집합의 구성 원소 각각은 복수의 제어 변수들을 모두 포함하고, 제어 변수 집합의 서로 다른 임의의 2개의 구성 원소들은 적어도 하나 이상 동일한 제어 변수들간에 다른 변수 값들을 가지도록 대응시킬 수 있다.According to one embodiment, each of the constituent elements of the set of control variables includes all of the plurality of control variables, and the two arbitrary constituent elements of the set of control variables have different variable values between at least one identical control variable .

예를 들어, 도 7을 참조하면, 확보된 검사 자재 개수는 9개이고, 초점거리, 조리개 및 조명 조도의 세 종류의 제어 변수들을 가지고, 초점거리는 4단계의 값, 조리개는 3단계의 값, 조명 조도는 4단계의 값을 각각 가진다고 하면, 제어 변수 집합은 총 48개의 구성 원소들을 가질 수 있으며, 또한 구성 원소들 각각은 a1b1c1 터 a4b3c4까지 총 48개의 라벨들 각각에 대응되도록 표현될 수 있다. 즉, 제어 변수의 개수를 P개, 제어 변수 별 가질 수 있는 값의 개수(또는 제어 변수 별 가질 수 있는 단계의 개수)를 L개라고 하면, 제어 변수 집합은 수학식 1에서 나타내는 것과 같이 총 C개의 구성 원소들을 가질 수 있다. 결국, 제어 변수 집합의 구성 원소들 각각은 제어 변수들의 서로 다른 변수 값들을 나타낼 수 있다. 한편 필요한 최소 제어 변수들은 검사 성능 측정 비교 단위에 따라 달라질 수 있다.For example, referring to FIG. 7, the number of inspecting materials secured is nine, and three kinds of control parameters such as a focal length, an iris, and an illuminance are illuminated. A focal length has a value of four levels, a diaphragm has three levels, If the illuminance has four values, the control variable set can have a total of 48 constituent elements, and each constituent element has a total of 48 labels from a 1 b 1 c 1 to a 4 b 3 c 4 Can be represented to correspond to each. That is, let P be the number of control variables, and L be the number of values (or the number of steps each control variable can have) per control variable, then the control variable set is expressed by a total of C Can have two constituent elements. As a result, each of the constituent elements of the control variable set can represent different variable values of the control variables. On the other hand, the minimum control variables required may vary depending on the inspection performance measurement comparison unit.

Figure pat00001
Figure pat00001

일 실시예에 따를 때, 제어 변수 설정 장치는 하나의 검사 자재에 대해 제어 변수 집합의 구성 원소들 각각에 대응되는 제어 변수들의 변수 값들이 반영된 영상 획득 장치로부터 이미지들을 획득할 수 있다. 즉, 제어 변수 설정 장치는 하나의 검자 자재에 대해 영상 획득 장치의 설정 가능한 값들 전체를 대상으로 이미지들을 획득한 후. 다음 검사 자재에 대해 같은 과정을 반복할 수 있다. 이러한 경우, 제어 변수 설정 장치는 A1' ~ A1 48'을 저장한 후 A2' ~ A2 48'을 저장할 수 있다.According to one embodiment, the control variable setting device can obtain images from an image acquisition device that reflects the variable values of the control variables corresponding to each of the constituent elements of the control variable set for one inspection material. That is, the control variable setting device acquires images for all of the settable values of the image acquisition device for one inspection material. The same procedure can be repeated for the next inspection material. In this case, the control variable setting device may store A 2 'to A 2 48 ' after storing A 1 'to A 1 48 '.

또한 일 실시예에 따를 때, 제어 변수 설정 장치는 제어 변수 집합의 하나의 구성 원소에 대응하는 제어 변수들의 변수 값들이 반영된 영상 획득 장치에 대해 검사 자재 모두를 한꺼번에 통과시키면서 이미지들을 획득할 수 있다. 즉, 제어 변수 설정 장치는 제어 변수 집합의 하나의 구성 원소에 대응하는 제어 변수들의 변수 값들이 반영된 영상 획득 장치에 대해 검사 자재 모두의 이미지들을 획득한 후, 다음 구성 원소에 대응하는 제어 변수들의 변수 값들이 반영된 영상 획득 장치에 대해 같은 과정을 반복할 수 있다. 이러한 경우 제어 변수 설정 장치는 A1' ~ A9'을 구성 원소 a1b1c1에 저장하고 다음 구성 원소 a1b1c2에 A1" ~ A9"을 저장할 수 있다. 하나의 검사 자재를 대상으로 여러 제어 변수 값들을 바꾸면서 이미지들을 획득하는 경우, 검사 자재의 물리적 이동을 한번만 하면 되기 때문에 간편하고 검사 자재 이동으로 인한 위치 변경 등과 같은 다른 변수들을 제외한 비교가 가능하다는 장점이 있지만 실제 환경이 반영되지 않는다는 단점이 있을 수 있다. 반면에, 전체 검사 자재를 하나의 제어 변수 값이 반영된 영상 획득 장치에 통과시켜서 이미지들을 획득하고 다시 전체 검사 자재를 다음 제어 변수 값이 반영된 영상 획득 장치에 통과시켜서 이미지들을 획득하는 경우, 실제 환경이 반영될 수 있다는 장점이 있지만, 검사 자재의 물리적 이동이 제어 변수들의 설정 가능한 조합 수만큼 이뤄져야 하는 불편함, 검사 자재의 물리적 이동에 따른 검사 자재의 위치 변경이 발생할 수 있는 단점이 있을 수 있다. 따라서, 반도체 검사 장비를 설치하는 환경 및 상황에 따라 적합한 방식을 선택 적용하면 된다.According to one embodiment, the control parameter setting device can acquire images while simultaneously passing all of the inspection materials to the image acquiring device that reflects the variable values of the control parameters corresponding to one constituent element of the control parameter set. That is, the control variable setting device obtains images of all of the inspection materials for the image acquisition device in which the variable values of the control parameters corresponding to one constituent element of the control variable set are reflected, The same procedure can be repeated for the image acquisition device in which the values are reflected. In this case, the control variable setting device can store A 1 'to A 9 ' in the constituent elements a 1 b 1 c 1 and store A 1 "to A 9 " in the following constituent elements a 1 b 1 c 2 . In the case of acquiring images while changing various control variable values for one inspection material, it is advantageous that comparison can be performed except for other variables such as the position change due to the inspection material movement because the inspection material needs to be moved only once. However, there may be a drawback that the actual environment is not reflected. On the other hand, when images are acquired by passing the entire inspection material through an image acquisition device reflecting a single control variable value and then passing the entire inspection material to an image acquisition device reflecting the next control parameter value, However, there is a disadvantage that the physical movement of the inspection material must be made by the settable number of combinations of the control parameters, and the position of the inspection material due to the physical movement of the inspection material may occur. Therefore, a suitable method may be applied depending on the environment and the circumstances in which the semiconductor inspection equipment is installed.

도 8은 일 실시예에 따른 제어 변수 설정 장치의 동작방법을 나타내는 흐름도이다.8 is a flowchart illustrating an operation method of a control parameter setting apparatus according to an embodiment.

S800 단계에서 제어 변수 설정 장치는 영상 획득 장치의 동작을 제어하는 복수의 제어 변수들에 대한 정보를 수신할 수 있다.In step S800, the control variable setting device may receive information on a plurality of control variables that control the operation of the image acquisition device.

일 실시예에 따른 제어 변수는 카메라와 조명 등의 노출, 조리개, 초점거리, 조도, 렌즈 배율 등을 의미할 수 있으나, 이에 제한되지 않으며, 영상 획득 장치에서 설정이 필요한 정보들을 포함할 수 있다.The control variable according to an exemplary embodiment may include exposure, diaphragm, focal length, illuminance, lens magnification, etc. of a camera and illumination, but is not limited thereto, and may include information necessary to be set in the image acquisition device.

S810 단계에서 제어 변수 설정 장치는 S800 단계에서 수신된 복수의 제어 변수들에 대한 정보에 포함된 상기 복수의 제어 변수들의 개수 및 상기 복수의 제어 변수들 각각의 변수 값의 개수를 이용하여 제어 변수 집합을 구성할 수 있다.In step S810, the control variable setting apparatus calculates the control variable set using the number of the plurality of control variables included in the information on the plurality of control variables received in step S800 and the number of the variable values of each of the plurality of control variables . ≪ / RTI >

일 실시예에 따른 제어 변수 집합의 구성원소 각각은 복수의 제어 변수들을 모두 포함하고, 구성된 제어 변수 집합의 서로 다른 임의의 2개의 구성 원소들은 적어도 하나 이상 동일한 제어 변수들간에 다른 변수 값들을 가지도록 대응시킬 수 있다. 예를 들어, 제어 변수의 개수를 P개, 제어 변수 별 가질 수 있는 값의 개수(또는 제어 변수 별 가질 수 있는 단계의 개수)를 L개라고 하면, 제어 변수 집합은 수학식 1에서 나타내는 것과 같이 총 C개의 구성 원소들을 가질 수 있다.Each of the constituent elements of the set of control variables according to an exemplary embodiment includes all of the plurality of control variables, and the two arbitrary constituent elements of the constructed set of control variables may have different variable values among at least one identical control variable . For example, let P be the number of control variables, and let L be the number of values (or the number of steps each control variable can have) per control variable. It can have a total of C constituent elements.

S820 단계에서 제어 변수 설정 장치는 적어도 하나 이상의 비전 검사 샘플에 대해, S810 단계에서 구성된 제어 변수 집합의 구성 원소 각각에 대응되는 복수의 제어 변수들의 변수 값들이 각각 반영된 영상 획득 장치에 의해 획득된 이미지들을 수신할 수 있다.In step S820, the control variable setting device sets, for at least one or more vision inspection samples, images obtained by the image acquisition device in which the variable values of the plurality of control variables corresponding to each of the constituent elements of the control variable set constructed in step S810 are reflected .

일 실시예에 따를 때, 제어 변수 설정 장치는 하나의 검사 자재에 대해 제어 변수 집합의 구성 원소들 각각에 대응되는 제어 변수들의 변수 값들이 반영된 영상 획득 장치로부터 이미지들을 획득할 수 있다. 또한 일 실시예에 따를 때, 제어 변수 설정 장치는 제어 변수 집합의 하나의 구성 원소에 대응하는 제어 변수들의 변수 값들이 반영된 영상 획득 장치에 대해 검사 자재 모두를 한꺼번에 통과시키면서 이미지들을 획득할 수 있다.According to one embodiment, the control variable setting device can obtain images from an image acquisition device that reflects the variable values of the control variables corresponding to each of the constituent elements of the control variable set for one inspection material. According to one embodiment, the control parameter setting device can acquire images while simultaneously passing all of the inspection materials to the image acquiring device that reflects the variable values of the control parameters corresponding to one constituent element of the control parameter set.

S830 단계에서 제어 변수 설정 장치는 이미 학습된 딥러닝 기반의 신경망을 이용하여 S820 단계에서 수신된 이미지들 중 최종 이미지를 결정하고, 결정된 최종 이미지를 획득하기 위한 복수의 제어 변수들 각각의 최종 변수 값들을 획득할 수 있다.In step S830, the control variable setting apparatus determines the final image among the images received in step S820 using the already learned deep learning based neural network, and calculates a final variable value of each of a plurality of control variables for obtaining the determined final image .

일 실시예에 따를 때, 최종 이미지는 영상 획득 장치로부터 획득된 이미지들 중 사용자가 요구하는 조건(예를 들어, 획득된 이미지의 화질)을 가장 충족하는 이미지일 수 있다. According to one embodiment, the final image may be an image that most satisfies the conditions (e.g., the image quality of the acquired image) required by the user among the images obtained from the image acquisition device.

도 9 및 10은 다른 실시예에 따른 제어 변수 설정 장치의 동작방법을 나타내는 흐름도이다.9 and 10 are flowcharts showing an operation method of a control parameter setting apparatus according to another embodiment.

도 9를 참조하면, 하나의 검사 자재에 대해 영상 획득 장치의 설정 가능한 값들 전체를 대상으로 이미지들을 획득한 후. 다음 검사 자재에 대해 같은 과정을 반복하는 실시예를 나타낸다. 딥러닝 신경망 학습 및 정상 자재 확보 절차는 사전 조건이므로 도 9에 포함되어 있지 않다. 도 9를 참조하면, 영상 획득 장치의 어떤 제어 요소(또는 제어 변수)가 반영될 지 결정되고 결정된 제어 요소들의 값, 조정 단계 등이 선택되면 제어 변수 설정 장치는 제어 변수들의 개수 및 제어 변수들의 변수 값들을 조합하여 제어 변수 집합을 구성할 수 있다. 즉, 제어 변수 설정 장치는 조합 가능한 경우의 수만큼의 이미지 저장 공간을 생성하고 라벨링 작업을 수행할 수 있다. 이미지 저장 공간은 제어 변수 집합에 대응되고, 라벨링 작업을 통해 제어 변수 집합의 구성 원소들이 생성될 수 있다. 검사 자재가 검사 자재에 대한 영상을 획득할 수 있는 위치로 이동되면 제어 요소 라벨 목록 순으로 영상 획득 장치의 변수들의 변수 값을 변경하면서 목록에 잔여 제어 요소가 존재하지 않을 때까지 이미지를 획득하고 라벨링된 공간에 이를 저장할 수 있다. 그리고, 다음 검사 자재가 검사 자재에 대한 영상을 획득할 수 있는 위치로 이동되면 목록을 초기화한 후 동일한 작업이 반복될 수 있다. 모든 검사 자재에 대한 이미지 획득이 완료되면 동일한 라벨을 가지는 이미지들을 딥러닝 오류 검사의 입력으로 이용하여 그 성능을 측정하고 라벨별 성능을 비교할 수 있다. 그리고, 제어 변수 설정 장치는 가장 높은 성능을 나타내는 라벨에 해당하는 제어 요소 값들을 이용하여 영상 획득 장치의 변수 값을 최종적으로 결정할 수 있다. 일 실시예에 따를 때, 가장 높은 성능을 나타내는 라벨이 복수일 경우, 랜덤 또는 사용자 입력 등의 규칙에 의해 하나의 제어 요소 변수 값이 선택될 수 있다.Referring to FIG. 9, after acquiring images for all the settable values of the image acquisition device for one inspection material. And the same procedure is repeated for the next inspection material. Deep learning Neural network learning and normal material acquisition procedures are not included in FIG. 9 because they are prerequisites. 9, when it is determined which control element (or control variable) of the image capturing apparatus is to be reflected and the values of the control elements, the adjustment step, and the like are selected, the control variable setting apparatus sets the number of control variables A set of control variables can be constructed by combining values. That is, the control variable setting device can generate as many image storage spaces as possible in combination, and perform the labeling operation. The image storage space corresponds to a control variable set, and the constituent elements of the control variable set can be generated through a labeling operation. When the inspection material is moved to a position where the image of the inspection material can be obtained, the variable values of the parameters of the image acquisition device are changed in the order of the control element label list, and the image is acquired until there is no remaining control element in the list, It can be stored in the space where it is stored. When the next inspection material is moved to a position where the image of the inspection material can be acquired, the same operation can be repeated after initializing the list. Once images are acquired for all inspection materials, images with the same label can be used as input to the deep running error test to measure the performance and compare the performance of each label. Then, the control parameter setting apparatus can finally determine the variable value of the image capturing apparatus using the control element values corresponding to the label showing the highest performance. According to one embodiment, when there are a plurality of labels showing the highest performance, one control element variable value may be selected by a rule such as random or user input.

도 10을 참조하면, 제어 변수 집합의 하나의 구성 원소에 대응하는 제어 변수들의 변수 값들이 반영된 영상 획득 장치에 대해 검사 자재 모두의 이미지들을 획득한 후, 다음 구성 원소에 대응하는 제어 변수들의 변수 값들이 반영된 영상 획득 장치에 대해 같은 과정을 반복하는 실시예를 나타낸다. 딥러닝 신경망 학습 및 정상 자재 확보 절차는 사전 조건이므로 도 10에 포함되어 있지 않다. 제어 요소 라벨 목록에서 하나의 제어 변수들의 변수 값이 설정되면 모든 검사 자재를 영상 획득할 수 있는 위치로 이동시키면서 촬영하고 제어 변수들의 변수 값이 변경되면 다시 모든 검사 자재를 영상 획득할 수 있는 위치로 이동시키면서 동일한 작업이 반복될 수 있다. 이 경우, 모든 검사 자재에 대해 제어 요소의 설정 가능한 모든 조합의 수만큼 반복 촬영해야 할 것이다.Referring to FIG. 10, after acquiring images of all the inspection materials for the image acquisition device in which the variable values of the control variables corresponding to one constituent element of the control variable set are reflected, the variable values of the control variables corresponding to the next constituent element The same process is repeated with respect to the image acquisition device in which the images are reflected. Deep learning Neural network learning and normal material acquisition procedures are not included in FIG. 10 because they are prerequisites. When a variable value of one control variable is set in the control element label list, all the inspection materials are moved to a position where the image can be acquired, and when the variable value of the control variables is changed, the position where all the inspection materials can be acquired again The same operation can be repeated while moving. In this case, it is necessary to repeatedly shoot the number of all possible combinations of control elements for all inspection materials.

이상 도 1 내지 도 10을 참고하여, 본 개시의 일 실시 예에 따른 딥러닝 기반의 반도체 비전 검사 시스템에서의 제어 변수 설정 장치의 동작방법에 대해 설명하였다.The operation of the control variable setting device in the semiconductor vision inspection system based on the depth learning has been described with reference to FIGS. 1 to 10.

본 개시에 따르면, 영상 획득 장치로부터 획득된 복수의 이미지들에 대해 딥러닝 기반의 신경망을 적용하여 제어 변수 값을 결정하는 제어 변수 설정 장치 및 방법이 제공될 수 있다.According to the present disclosure, a control variable setting apparatus and method for determining a control variable value by applying a deep learning-based neural network to a plurality of images obtained from an image acquiring apparatus can be provided.

또한, 본 개시에 따르면, 딥러닝 기반의 비전 검사 시스템에서 영상 획득 장치로부터 얻은 이미지를 육안으로 확인하지 않고도 최적의 제어 값을 자동으로 설정할 수 있는 제어 변수 설정 장치 및 방법이 제공될 수 있다.Also, according to the present disclosure, a control variable setting apparatus and method capable of automatically setting an optimum control value without visually confirming an image obtained from an image acquiring apparatus in a deep running-based vision inspection system can be provided.

또한, 본 개시에 따르면, 반도체 검사 장비의 진동이나 장비 노후화로 인해 영상 측정 장치의 설정이 변경되어야 하는 경우, 손쉽게 최적의 설정 값으로 조정할 수 있기 때문에 유지보수 비용 측면에서 이점이 있다.In addition, according to the present disclosure, when the setting of the image measuring apparatus needs to be changed due to the vibration of the semiconductor inspection equipment or the deterioration of the equipment, it can be easily adjusted to the optimum setting value, which is advantageous in terms of maintenance cost.

한편, 본 개시의 일 양상에 따르면 제어 변수 설정 장치의 동작방법을 수행하기 위해 실행가능한 명령들(executable instructions)을 가지는 소프트웨어 또는 컴퓨터-판독가능한 매체(computer-readable medium)가 제공될 수 있다. 상기 실행가능한 명령들은, 영상 획득 장치의 동작을 제어하는 복수의 제어 변수들에 대한 정보를 수신하는 단계, 상기 수신된 복수의 제어 변수들에 대한 정보에 포함된 상기 복수의 제어 변수들의 개수 및 상기 복수의 제어 변수들 각각의 변수 값의 개수를 이용하여 제어 변수 집합을 구성하는 단계, 적어도 하나 이상의 비전 검사 샘플에 대해, 상기 구성된 제어 변수 집합의 구성 원소 각각에 대응되는 상기 복수의 제어 변수들의 변수 값들이 각각 반영된 상기 영상 획득 장치에 의해 획득된 이미지들을 수신하는 단계 및 이미 학습된 딥러닝 기반의 신경망을 이용하여 상기 수신된 이미지들 중 최종 이미지를 결정하고, 상기 결정된 최종 이미지를 획득하기 위한 상기 복수의 제어 변수들 각각의 최종 변수 값들을 획득하는 단계를 포함하고, 상기 구성된 제어 변수 집합의 구성 원소 각각은 상기 복수의 제어 변수들을 모두 포함하고, 상기 구성된 제어 변수 집합의 서로 다른 임의의 2개의 구성 원소들은 적어도 하나 이상 동일한 제어 변수들간에 다른 변수 값들을 가지도록 대응시킨 것을 특징으로 할 수 있다.On the other hand, according to one aspect of the present disclosure, software or a computer-readable medium having executable instructions for performing the method of operation of the control variable setting device may be provided. The executable instructions comprising the steps of: receiving information about a plurality of control variables that control operation of the image acquisition device; determining a number of the plurality of control variables included in the information on the received plurality of control variables; Comprising the steps of: constructing a set of control variables using the number of variable values of each of a plurality of control variables; determining, for at least one or more vision inspection samples, a variable of the plurality of control variables corresponding to each of the constituent elements of the configured control variable set Determining a final image of the received images using the already learned deep learning based neural network, and obtaining the determined final image, Obtaining the final variable values of each of the plurality of control variables, Wherein each of the constituent elements of the set of controlled variable sets includes all of the plurality of control variables and the two arbitrary two constituent elements of the set of configured control variables correspond to at least one of the same control variables to have different variable values . ≪ / RTI >

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.Although the exemplary methods of this disclosure are represented by a series of acts for clarity of explanation, they are not intended to limit the order in which the steps are performed, and if necessary, each step may be performed simultaneously or in a different order. In order to implement the method according to the present disclosure, the illustrative steps may additionally include other steps, include the remaining steps except for some steps, or may include additional steps other than some steps.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.The various embodiments of the disclosure are not intended to be all-inclusive and are intended to be illustrative of the typical aspects of the disclosure, and the features described in the various embodiments may be applied independently or in a combination of two or more.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다. In addition, various embodiments of the present disclosure may be implemented by hardware, firmware, software, or a combination thereof. In the case of hardware implementation, one or more application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays A general processor, a controller, a microcontroller, a microprocessor, and the like.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.The scope of the present disclosure is to be accorded the broadest interpretation as understanding of the principles of the invention, as well as software or machine-executable instructions (e.g., operating system, applications, firmware, Instructions, and the like are stored and are non-transitory computer-readable medium executable on the device or computer.

600 : 제어 변수 설정 장치
610 : 영상 획득 장치 인터페이스부
620 : 영상처리부
630 : 신경망 학습부
640 : 딥러닝 오류 검사부
650 : 장비 제어 인터페이스부
660 : 데이터 저장부600: Control variable setting device
610: Image acquisition device interface unit
620:
630: Neural network learning unit
640: Deep Running Error Checker
650: Equipment control interface part
660: Data storage unit

Claims (1)

딥러닝 기반의 반도체 비전 검사 시스템에서의 제어 변수 설정 장치의 동작방법에 있어서,
영상 획득 장치의 동작을 제어하는 복수의 제어 변수들에 대한 정보를 수신하는 단계;
상기 수신된 복수의 제어 변수들에 대한 정보에 포함된 상기 복수의 제어 변수들의 개수 및 상기 복수의 제어 변수들 각각의 변수 값의 개수를 이용하여 제어 변수 집합을 구성하는 단계;
적어도 하나 이상의 비전 검사 샘플에 대해, 상기 구성된 제어 변수 집합의 구성 원소 각각에 대응되는 상기 복수의 제어 변수들의 변수 값들이 각각 반영된 상기 영상 획득 장치에 의해 획득된 이미지들을 수신하는 단계; 및
이미 학습된 딥러닝 기반의 신경망을 이용하여 상기 수신된 이미지들 중 최종 이미지를 결정하고, 상기 결정된 최종 이미지를 획득하기 위한 상기 복수의 제어 변수들 각각의 최종 변수 값들을 획득하는 단계를 포함하고,
상기 구성된 제어 변수 집합의 구성 원소 각각은 상기 복수의 제어 변수들을 모두 포함하고, 상기 구성된 제어 변수 집합의 서로 다른 임의의 2개의 구성 원소들은 적어도 하나 이상 동일한 제어 변수들간에 다른 변수 값들을 가지도록 대응시킨 것을 특징으로 하는, 제어 변수 설정 장치의 동작방법.A method of operating a control variable setting apparatus in a deep vision based semiconductor vision inspection system,
Receiving information on a plurality of control variables that control the operation of the image acquisition device;
Configuring a set of control variables using the number of the plurality of control variables included in the received information on the plurality of control variables and the number of the variable values of each of the plurality of control variables;
Receiving, for at least one vision inspection sample, images obtained by the image acquisition apparatus, in which variable values of the plurality of control variables corresponding to each of the constituent elements of the configured control variable set are reflected; And
Determining a final image of the received images using a previously learned deep learning based neural network and obtaining final variable values of each of the plurality of control variables for obtaining the determined final image,
Wherein each of the constituent elements of the configured control variable set includes all of the plurality of control variables and the two arbitrary two constituent elements of the configured set of control variables correspond to each other so that at least one of the constituent elements has the same variable values Wherein the control parameter setting device is operable to set the control parameter setting device.
KR1020170167373A 2017-12-07 2017-12-07 Control value setting apparatus and method of semiconductor vision inspection system based on deep learning KR20190067439A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170167373A KR20190067439A (en) 2017-12-07 2017-12-07 Control value setting apparatus and method of semiconductor vision inspection system based on deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170167373A KR20190067439A (en) 2017-12-07 2017-12-07 Control value setting apparatus and method of semiconductor vision inspection system based on deep learning

Publications (1)

Publication Number Publication Date
KR20190067439A true KR20190067439A (en) 2019-06-17

Family

ID=67064525

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170167373A KR20190067439A (en) 2017-12-07 2017-12-07 Control value setting apparatus and method of semiconductor vision inspection system based on deep learning

Country Status (1)

Country Link
KR (1) KR20190067439A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112098092A (en) * 2020-09-11 2020-12-18 北京航空航天大学 Rolling bearing vibration measurement method combining deep learning and machine vision
KR20220027674A (en) 2020-08-27 2022-03-08 단국대학교 산학협력단 Apparatus and Method for Classifying States of Semiconductor Device based on Deep Learning
KR20220042916A (en) 2020-09-28 2022-04-05 (주)미래융합정보기술 Vision inspection system by using remote learning of product defects image
KR102527061B1 (en) 2021-11-15 2023-04-28 (주)미래융합정보기술 Manufacturing intelligence service system connected to MES in smart factory

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220027674A (en) 2020-08-27 2022-03-08 단국대학교 산학협력단 Apparatus and Method for Classifying States of Semiconductor Device based on Deep Learning
CN112098092A (en) * 2020-09-11 2020-12-18 北京航空航天大学 Rolling bearing vibration measurement method combining deep learning and machine vision
KR20220042916A (en) 2020-09-28 2022-04-05 (주)미래융합정보기술 Vision inspection system by using remote learning of product defects image
KR102527061B1 (en) 2021-11-15 2023-04-28 (주)미래융합정보기술 Manufacturing intelligence service system connected to MES in smart factory

Similar Documents

Publication Publication Date Title
US11854173B2 (en) System and method for finding lines in an image with a vision system
KR20190067439A (en) Control value setting apparatus and method of semiconductor vision inspection system based on deep learning
EP3291004A1 (en) Ranging method, automatic focusing method and device
KR102649038B1 (en) System and method for finding lines in an image with a vision system
US9674433B1 (en) Image center calibration for a quadric panoramic optical device
US20190320166A1 (en) Calibration system and method
US20230177680A1 (en) Assay reading method
CN107667310B (en) Fluorescence imaging system
CN108055532A (en) Automate the method and apparatus of matching test card
US20140320638A1 (en) Electronic device and method for detecting surface flaw of sample
CN109862346B (en) Focusing test method and device
US10067029B2 (en) Systems and methods for estimating modulation transfer function in an optical system
WO2017164239A1 (en) Object counting device, object counting method, and computer readable recording medium
WO2023034441A1 (en) Imaging test strips
CN111050088B (en) Mechanism to calibrate imaging brightness of camera for detecting die defects
KR102257998B1 (en) Apparatus and method for cell counting
CN107687815B (en) Method and system for measuring thickness of light-transmitting film and terminal equipment
GB2601978A (en) Assay reading method
CN110132976B (en) Detection method and detection device
CN117834997A (en) Black screen abnormality detection method and device, computer equipment and storage medium
CN113837079B (en) Automatic focusing method, device, computer equipment and storage medium of microscope
US20220413476A1 (en) Offline Troubleshooting and Development for Automated Visual Inspection Stations
US10520393B2 (en) System and method for verifying a diopter setting and range of an optical system eyepiece
WO2020225377A1 (en) Improved digital microscope
CN117714677A (en) OIS anti-shake performance test method and device based on curve fitting