KR20230061891A

KR20230061891A - System For AI-based Anomaly detection for minor failure in high resolution target image and Method Thereof

Info

Publication number: KR20230061891A
Application number: KR1020210146619A
Authority: KR
Inventors: 이승국; 박정환; 진홍석; 진성일
Original assignee: 주식회사 리얼타임테크
Priority date: 2021-10-29
Filing date: 2021-10-29
Publication date: 2023-05-09

Abstract

본 발명은 인공지능 기반 고해상도 제품 이미지 상에서의 미세 이상치 탐지시스템 및 방법에 관한 것으로서, 입력된 제품 이미지 내에서 설정된 크기의 타일 이미지를 일정 간격 슬라이딩 이동시키면서 전후 이미지가 일정부분 중복 영역을 갖도록 다수개의 타일 이미지를 생성하는 단계, 기 수행된 제1 학습 결과에 기초하여 개별 타일 이미지에 대한 결함 여부에 따라 0 ~ 1의 값을 출력하고, 개별 타일 이미지에 대한 출력값들을 원래 타일 이미지의 위치/순서에 따라 병합하여 병합 결과 행렬을 생성하는 단계, 기 수행된 제2 학습 결과에 기초하여 상기 병합 결과 행렬에 대하여 0 ~ 1의 값을 출력하는 단계 및 상기 출력값에 클램프 함수를 적용하여 입력된 제품 이미지에 대한 최종 분류를 수행하는 단계를 포함하여 이루어진다.
상기와 같은 본 발명에 의하면, 미세 공정에 대한 불량품 분류에 활용이 가능하며, 비교적 넓은 범위의 지역을 촬영하는 위성 영상에서의 비행 유무 판별, 사람의 유무 판별 등의 상황에서도 본 발명 기술이 활용될 수 있다. The present invention relates to a system and method for detecting a minute anomaly on a high-resolution product image based on artificial intelligence, wherein tile images of a set size are slid and moved at regular intervals in an input product image, and a plurality of tiles are provided so that the front and back images have a certain overlapping area. Generating an image, outputting a value of 0 to 1 according to whether or not individual tile images are defective based on a result of the previously performed first learning, output values for individual tile images according to the position/sequence of the original tile image Generating a merge result matrix by merging, outputting a value of 0 to 1 for the merge result matrix based on a pre-performed second learning result, and applying a clamp function to the output value for the input product image. and performing a final classification.
According to the present invention as described above, it can be used to classify defective products for micro-processes, and the technology of the present invention can be used even in situations such as determining whether there is a flight or whether there is a person in a satellite image photographing a relatively wide area. can

Description

System For AI-based Anomaly detection for minor failure in high resolution target image and Method Thereof}

본 발명은 인공지능 기반 고해상도 제품 이미지 상에서 이상치 탐지 방법에 관한 것으로서, 보다 상세하게는 고 해상도 이미지 입력 시 미세 특징들을 찾아내어 해당 이미지가 어떤 분류에 속하는지 판별할 수 있고, 자동화 공정에서 고 해상도의 제품 이미지에 존재하는 미세 결함을 분석 및 분류할 수 있도록 하는 검사 방법에 관한 것이다.The present invention relates to an artificial intelligence-based method for detecting outliers in a high-resolution product image, and more particularly, detects fine features when inputting a high-resolution image to determine which category the image belongs to, and in an automated process to detect high-resolution It relates to an inspection method capable of analyzing and classifying micro-defects present in product images.

인공지능 기술의 발전에 따라 인공지능은 자연어 처리, 음성 인식, 데이터 마이닝, 비전 기술, 지능형 로봇 등 매우 다양한 분야에서 사용되고 있다.With the development of artificial intelligence technology, artificial intelligence is used in very diverse fields such as natural language processing, voice recognition, data mining, vision technology, and intelligent robots.

이 중 비전 기술은 종래 캐드 도면 기반의 룰 베이스 검사 기술의 한계를 보완하기 위한 목적으로 사용되는 인공지능 비전 검사기술과 영상 내에서 특정 객체를 탐지하기 위한 객체 탐지 기술 등의 목적으로 점차 보편화되고 있다. Among them, vision technology is gradually becoming common for purposes such as artificial intelligence vision inspection technology used for the purpose of supplementing the limitations of conventional CAD drawing-based rule-based inspection technology and object detection technology for detecting specific objects in images. .

일반적으로 인공지능 기술을 이용한 이미지 처리는 비교적 작은 해상도(288 × 288, 512 × 512, 1024 × 1024)를 대상으로 구현된다.In general, image processing using artificial intelligence technology is implemented for relatively small resolutions (288 × 288, 512 × 512, 1024 × 1024).

그러나, 최근 반도체 등의 산업 분야에서는 부품의 초미세화가 진행되고 있고, 그에 따라 검사 이미지도 위에서 언급한 해상도보다 훨씬 높은 고 해상도의 영상이 사용되고 있기 때문에, 기존 인공지능 기술을 이용한 이미지 처리기법으로는 고 해상도의 이미지 내의 작은 특징을 찾아내기에는 여러 문제가 있다.However, in recent years, ultra-miniaturization of parts has been progressing in industries such as semiconductors, and as a result, high-resolution images that are much higher than the resolution mentioned above are used for inspection images. There are several problems with finding small features in high-resolution images.

예를 들어 입력 이미지가 일반적인 크기에 비해 큰 8192 × 8192 크기의 이미지이고, 이미지를 분류하기 위한 대상 특징의 크기가 40 × 40일 경우에. 이미지 내 대상 크기가 차지하는 비율은 0.003% 이하로 매우 작다.For example, if the input image is an 8192 × 8192 size image, which is larger than the normal size, and the size of the target feature for classifying the image is 40 × 40. The percentage occupied by the object size in the image is very small, less than 0.003%.

이때, 기존 인공지능 방법론을 이용하기 위해 입력 이미지를 1024 × 1024로 줄이게 되면 인식 대상의 크기가 5 × 5 픽셀 미만으로 줄어들어 인식이 매우 힘들다.At this time, if the input image is reduced to 1024 × 1024 to use the existing artificial intelligence methodology, the size of the recognition target is reduced to less than 5 × 5 pixels, making recognition very difficult.

종래의 가장 큰 문제점은 AI 신경망의 입력 데이터 크기에 맞춰서 입력 이미지의 크기를 강제로 줄이는 것에 의해 발생한다. 특히 반도체 공정과 같은 미세 공정에서는 결함의 크기가 매우 작기 때문에 불량 판별을 위해서는 고해상도 촬영이 반드시 필요하다. 이때, 종래 AI 기술 이용을 위해서 이미지 크기를 줄이게 되면 각 원본 픽셀이 가지고 있는 정보를 잃게 되는 문제가 있다.The biggest problem in the prior art is caused by forcibly reducing the size of the input image to match the size of the input data of the AI neural network. In particular, since the size of a defect is very small in a micro-process such as a semiconductor process, high-resolution imaging is absolutely necessary to determine defects. At this time, when the image size is reduced for the use of conventional AI technology, there is a problem in that information of each original pixel is lost.

즉, 단순히 리사이징을 통해 입력 이미지의 크기를 줄이는 방식은 픽셀 정보의 손실을 일으킬 수 있다. 실제 상황에서는 전체 이미지에 대해 결함이 차지하는 비율이 굉장히 작기 때문에 이러한 정보의 손실이 치명적으로 작용할 수 있다.That is, a method of simply reducing the size of an input image through resizing may cause loss of pixel information. In a real situation, the loss of this information can be fatal because the proportion of defects to the entire image is very small.

한국공개특허 제2021-0086303호(딥러닝 기반 패턴 검사 장치 및 그 장치를 이용한 검사 방법)Korean Patent Publication No. 2021-0086303 (deep learning-based pattern inspection device and inspection method using the device)

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 주어진 고해상도 제품 이미지를 작은 크기의 이미지들로 슬라이드-타일링하고, 각각의 타일 이미지를 이미지 분류 모델에 입력하여 분류를 수행한다. 이렇게 얻은 정보를 다시 취합하고 최종 불량 여부를 판독하는 모델에 입력하여 대상 이미지에 대한 최종 불량 여부를 판독할 수 있도록 하는 것을 목표로 한다. The present invention has been made to solve the above problems, and slide-tiles a given high-resolution product image into small-sized images, and inputs each tile image into an image classification model to perform classification. The goal is to read the final defect of the target image by recollecting the information obtained in this way and inputting it to a model that reads the final defect.

상기 목적을 달성하기 위한 본 발명에 따르면, 입력된 제품 이미지 내에서 설정된 크기의 타일 이미지를 일정 간격 슬라이딩 이동시키면서 전후 이미지가 일정부분 중복 영역을 갖도록 다수개의 타일 이미지를 생성하는 타일 이미지 생성부와, 기 수행된 학습 결과에 기초하여 개별 타일 이미지에 대한 결함 여부에 따라 0 ~ 1의 값을 출력하고, 개별 타일 이미지에 대한 출력값들을 원래 타일 이미지의 위치/순서에 따라 병합하여 병합 결과 행렬을 생성하는 제1 스테이지 모델과, 기 수행된 학습 결과에 기초하여 상기 제1 스테이지 모델로부터 입력되는 병합 결과 행렬에 대하여 0 ~ 1의 값을 출력하는 제2 스테이지 모델을 포함하고, 상기 제2 스테이지 모델의 출력값에 클램프 함수를 적용하여 입력된 제품 이미지에 대한 최종 분류가 수행되는 것을 특징으로 하는 인공지능 기반 고해상도 제품 이미지 상에서의 미세 이상치 탐지 시스템이 제공된다.According to the present invention for achieving the above object, a tile image generator for generating a plurality of tile images so that the front and back images have a partially overlapping area while sliding and moving tile images of a set size within an input product image at regular intervals; Based on the previously performed learning result, a value of 0 to 1 is output according to whether individual tile images are defective, and output values for individual tile images are merged according to the position/order of the original tile image to generate a merge result matrix. A first stage model and a second stage model that outputs a value of 0 to 1 for a merge result matrix input from the first stage model based on a previously performed learning result, and an output value of the second stage model Provided is a micro outlier detection system on an artificial intelligence-based high-resolution product image, characterized in that final classification is performed on the input product image by applying a clamp function to.

여기서, 타일 이미지 간의 일정 간격은 타일 이미지 폭의 1/3 ~ 2/3로 설정할 수 있고, 전체 이미지의 너비를 W, 높이를 H, 타일링 이미지의 너비를 w', 높이를 h'로 설정하고, 타일 이미지 간의 상기 일정 간격이 타일 이미지 폭의 1/2인 경우, 병합 행렬의 크기는 (2H/h') × (2W/w')인 것이 바람직하다.Here, the regular interval between tile images can be set to 1/3 to 2/3 of the width of the tile image, set the width of the entire image to W, the height to H, the width of the tiling image to w', and the height to h' , When the regular interval between tile images is 1/2 of the tile image width, the size of the merge matrix is preferably (2H/h') × (2W/w').

본 발명의 바람직한 다른 일 실시예에 따르면, 입력된 제품 이미지 내에서 설정된 크기의 타일 이미지를 일정 간격 슬라이딩 이동시키면서 전후 이미지가 일정부분 중복 영역을 갖도록 다수개의 타일 이미지를 생성하는 단계, 기 수행된 제1 학습 결과에 기초하여 개별 타일 이미지에 대한 결함 여부에 따라 0 ~ 1의 값을 출력하고, 개별 타일 이미지에 대한 출력값들을 원래 타일 이미지의 위치/순서를 이용하여 병합하여 병합 결과 행렬을 생성하는 단계, 기 수행된 제2 학습 결과에 기초하여 상기 병합 결과 행렬에 대하여 0 ~ 1의 값을 출력하는 단계 및 상기 출력값에 클램프 함수를 적용하여 입력된 제품 이미지에 대한 최종 분류를 수행하는 단계를 포함하는 것을 특징으로 하는 인공지능 기반 고해상도 제품 이미지 상에서의 미세 이상치 탐지방법이 제공된다.According to another preferred embodiment of the present invention, generating a plurality of tile images so that the front and back images have a partially overlapping area while sliding tile images having a set size within the input product image at regular intervals; 1 Outputting a value of 0 to 1 according to whether individual tile images are defective based on the learning result, and generating a merge result matrix by merging the output values of the individual tile images using the position/order of the original tile image. , Outputting a value of 0 to 1 for the merge result matrix based on the previously performed second learning result, and applying a clamp function to the output value to perform final classification on the input product image. A method for detecting fine anomalies on an artificial intelligence-based high-resolution product image is provided.

여기서, 상기 제1 학습 결과는 개별 타일 이미지에 결함이 포함되어 있는지 여부에 따라 0 또는 1의 값으로 레이블링된 타일 이미지들에 대한 학습 결과이고, 상기 제2 학습 결과는 상기 제품 이미지에 결함이 포함되어 있는지 여부에 따라 0 또는 1의 값으로 레이블링된 병합 결과 행렬에 대한 학습 결과일 수 있다.Here, the first learning result is a learning result for tile images labeled with a value of 0 or 1 depending on whether an individual tile image includes a defect, and the second learning result includes a defect in the product image. It may be a learning result for a merge result matrix labeled with a value of 0 or 1 depending on whether or not

상기와 같은 본 발명에 의하면, 미세 공정에 대한 불량품 분류에 활용이 가능하며, 예시적으로 광소자 어레이 도파관 그레이팅(Light-element Arrayed Waveguide Grating) 제품에 대한 불량품 탐지에 본 발명을 활용할 수 있다.According to the present invention as described above, it can be used to classify defective products for microprocesses, and exemplarily, the present invention can be used to detect defective products for light-element array waveguide grating products.

또한 비교적 넓은 범위의 지역을 촬영하는 위성 영상에서의 비행 유무 판별, 사람의 유무 판별 등의 상황에서도 본 발명 기술이 활용될 수 있다. In addition, the technology of the present invention can be utilized in situations such as determining whether there is a flight or whether there is a person in a satellite image photographing a relatively wide area.

전체 이미지에 비해 굉장히 작은 대상 객체를 판별해내는 작업은 사람에게 굉장히 소모적인 행동이며 오차가 발생할 확률 역시 높다. 본 발명에서 제시하는 기술을 활용함으로써 불량 판별에 투입되는 인력 자원과 시간을 절약할 수 있을 것이다The task of discriminating a target object that is very small compared to the entire image is a very wasteful action for humans, and the probability of error is also high. By utilizing the technology proposed in the present invention, it will be possible to save manpower resources and time invested in defect detection.

도 1은 본 발명에 따른 미세 이상치 탐지 시스템을 도시한 것이다.
도 2는 고 해상도 제품 이미지에서 슬라이드 타일링을 통해 타일 이미지를 생성하는 개념을 설명한 것이다.
도 3은 슬라이드 타일링 과정을 통해 생성되는 타일 이미지의 개수를 설명하는 도면이다.
도 4는 생성된 타일 이미지에 제1 스테이지 모델을 적용하여 병합 결과 행렬을 생성하는 과정을 도시한 것이다.
도 5는 제2 스테이지 모델의 인공지능 신경망 생성 과정을 도시한 것이다.
도 6은 제2 스테이지 모델과 클램프 함수를 통해 최종 분류 결과를 도출하는 과정을 설명하는 것이다. 1 shows a micro-outlier detection system according to the present invention.
2 illustrates a concept of generating a tile image through slide tiling from a high-resolution product image.
3 is a diagram illustrating the number of tile images generated through a slide tiling process.
4 illustrates a process of generating a merge result matrix by applying a first stage model to a generated tile image.
5 illustrates a process of generating an artificial intelligence neural network of a second stage model.
6 illustrates a process of deriving a final classification result through a second stage model and a clamp function.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 도면들 중 동일한 구성요소들은 가능한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한 발명의 요지를 불필요하게 흐릴 수 있는 공지기능 및 구성에 대한 상세한 설명은 생략한다.Hereinafter, the present invention will be described in more detail with reference to the drawings. It should be noted that like elements in the drawings are indicated by like reference numerals wherever possible. In addition, detailed descriptions of well-known functions and configurations that may unnecessarily obscure the subject matter of the invention will be omitted.

도 1은 본 발명에 따른 미세 이상치 탐지 시스템을 도시한 것이다.1 shows a micro-outlier detection system according to the present invention.

도 1을 참조하면, 본 발명에 따른 미세 이상치 탐지 시스템은 타일 이미지 생성부(10), 제1 스테이지 모델(20), 제2 스테이지 모델(30) 및 클램핑부(40)를 포함하여 구성된다.Referring to FIG. 1 , the minute anomaly detection system according to the present invention includes a tile image generator 10 , a first stage model 20 , a second stage model 30 and a clamping unit 40 .

타일 이미지 생성부(10)는 1개의 고 해상도 제품 이미지에 대하여 슬라이드 타일링을 적용하여 다수개의 타일 이미지를 생성한다. 이를 도 1과 도 2를 통해 설명하면 다음과 같다. The tile image generator 10 generates a plurality of tile images by applying slide tiling to one high-resolution product image. This will be explained through FIGS. 1 and 2 as follows.

도 2는 고 해상도 제품 이미지에서 슬라이드-타일링을 통해 타일 이미지를 생성하는 개념을 설명한 것으로서, 슬라이드-타일링은 전체 제품 이미지 내에서 설정된 크기의 직사각형 형태의 작은 타일 이미지를 일정 간격 슬라이딩 이동시키면서 전후 이미지가 일정 부분 중복 영역을 갖도록 다수개의 타일 이미지를 생성하는 과정을 의미한다. 2 illustrates the concept of generating a tile image from a high-resolution product image through slide-tiling. Slide-tiling slides and moves small rectangular tile images of a set size at regular intervals within the entire product image, so that the front and back images are displayed. This refers to a process of generating a plurality of tile images to have a partially overlapping area.

도 2의 (a)를 참조하면, 전체 이미지의 너비를 W, 높이를 H, 타일링 이미지의 너비를 w', 높이를 h'라고 할 때, 첫 번째 타일 이미지의 네 꼭지점의 좌표는 아래와 같다.Referring to (a) of FIG. 2 , when the width of the entire image is W, the height is H, the width of the tiling image is w', and the height is h', the coordinates of the four vertices of the first tile image are as follows.

- 첫번째 타일 이미지의 네 꼭지점=(0,0), (w',0), (0,h'), (w',h')- Four vertices of the first tile image = (0,0), (w',0), (0,h'), (w',h')

이후, 다음 타일 이미지는 열(W) 방향으로 w'/n만큼 이동한다. 여기서, n은 타일 이미지를 얼마나 촘촘하게 추출할 것인가에 대한 변수로서 원하는 처리 속도와 검출 정확도에 따라 적절한 값이 선택될 수 있다. 도 1의 (b)에서는 n=2인 경우를 예시하고 있다. 이 경우 2번째 타일 이미지의 네 꼭지점의 좌표는 아래와 같다.Then, the next tile image moves by w'/n in the column (W) direction. Here, n is a variable for how densely the tile image is to be extracted, and an appropriate value may be selected according to a desired processing speed and detection accuracy. In (b) of FIG. 1, the case where n=2 is illustrated. In this case, the coordinates of the four vertices of the second tile image are as follows.

두번째 타일 이미지 꼭지점=(w'/2,0),(w'/2+w',0),(w'/2,h'),(w'/2+w',h')Second tile image vertices=(w'/2,0),(w'/2+w',0),(w'/2,h'),(w'/2+w',h')

이러한 방식으로 열(W) 방향으로 이미지에 대한 슬라이드-타일링을 진행하면 한 열마다 추출되는 타일 이미지의 개수는

로 정의되며, 이것이 도 3(a)에 도시되어 있다. In this way, if slide-tiling is performed on images in the column (W) direction, the number of tile images extracted per column is

, which is shown in Fig. 3(a).

위와 같은 과정을 행(H) 방향으로 동일하게 진행하며. 이때 한 행마다 추출되는 타일 이미지의 개수는 2H/h'로 정의되며 이것이 도 3(b)에 도시되어 있다.Proceed in the same way as above in the row (H) direction. At this time, the number of tile images extracted per row is defined as 2H/h', which is shown in FIG. 3(b).

따라서, 전체 이미지 한 장당 얻을 수 있는 타일 이미지의 개수는 아래와 같으며, 이것이 도 3(c)에 도시되어 있다.Accordingly, the number of tile images that can be obtained per entire image is as follows, which is shown in FIG. 3(c).

- 전체 이미지 내 타일 이미지 개수= (2W/w') × (2H/h')- The number of tile images in the entire image = (2W/w') × (2H/h')

제1 스테이지 모델(20)은 슬라이드-타일링된 타일 이미지들을 분류(예 결함여부 등)하는 역할을 한다. 일반적인 이미지 분류 인공지능 신경망(예 EfficientNet, MobileNet)이 이용될 수 있다.The first stage model 20 serves to classify slide-tiled tile images (for example, defects or not). A general image classification artificial intelligence neural network (eg EfficientNet, MobileNet) can be used.

인공지능 신경망을 통해 이미지를 분류하기 위해서는 먼저 학습 과정이 필요하다. 이를 위해 제품 이미지들을 대상으로 슬라이드-타일링 방법을 이용해 타일 이미지들을 생성하고, 각 타일 이미지들을 2가지로 레이블링하여 타일 이미지에 대한 결함 검출 방법을 학습시킨다. 이때, 결함이 없는 타일 이미지는 0, 결함을 포함한 타일 이미지는 1로 레이블링 될 수 있다.In order to classify images through artificial intelligence neural networks, a learning process is required first. To this end, tile images are created using the slide-tiling method targeting product images, and each tile image is labeled in two ways to learn a defect detection method for the tile image. In this case, a tile image without a defect may be labeled as 0, and a tile image including a defect may be labeled as 1.

제1 스테이지 모델(20)의 인공지능 신경망의 입력은 3×h'×w' 크기의 타일 이미지이며, 출력 값은 0 ~ 1 사이의 값이 되도록 학습 시에 다음과 같은 비선형 함수를 이용하도록 한다. The input of the artificial intelligence neural network of the first stage model 20 is a tile image with a size of 3 × h' × w', and the following nonlinear function is used during learning so that the output value is a value between 0 and 1 .

학습이 완료된 후, 제1 스테이지 모델(20)에 3×h'×w' 크기의 타일 이미지가 입력되면 제1 스테이지 모델(20)은 각 타일 이미지에 대하여 해당 타일 이미지가 0 또는 1 중 어느 쪽에 가까운지를 분류하여 0 ~ 1 사이의 값을 출력하게 된다.After learning is completed, when a tile image having a size of 3×h'×w' is input to the first stage model 20, the first stage model 20 determines whether the tile image is 0 or 1 for each tile image. It classifies whether it is close and outputs a value between 0 and 1.

도 4는 생성된 타일 이미지에 제1 스테이지 모델을 적용하여 병합 결과 행렬을 생성하는 과정을 도시한 것이다. 도 4에 도시된 바와 같이, 제1 스테이지 모델(20)의 출력값은 각각 0~1 사이의 값을 가지게 된다. 이 값은 각 이미지가 0 또는 1중 어느 쪽에 가까운지를 의미한다. 제1 스테이지 모델(20)은 개별 타일 이미지에 대한 출력값들을 원래 타일 이미지의 위치/순서에 따라 병합하여 병합 결과 행렬을 생성한다.4 illustrates a process of generating a merge result matrix by applying a first stage model to a generated tile image. As shown in FIG. 4 , each output value of the first stage model 20 has a value between 0 and 1. This value indicates whether each image is closer to 0 or 1. The first stage model 20 generates a merge result matrix by merging the output values of individual tile images according to the position/order of the original tile images.

병합 결과 행렬의 크기는 타일 개수와 동일하므로 아래와 같이 정의된다.Since the size of the merge result matrix is equal to the number of tiles, it is defined as follows.

병합 결과 행렬 크기=(2H/h') × (2W/w')Merge result matrix size = (2H/h') × (2W/w')

제2 스테이지 모델(30)은 제1 스테이지 모델(20)에서 생성된 병합 결과 행렬을 이용하여 최종 분류 결과를 결정하는 역할을 한다. 제2 스테이지 모델(30)은 Convolution2D(합성 곱) 레이어와 Fully-Connected 레이어를 조합한 인공지능 신경망을 이용하는데, 이 과정이 도 5에 도시되어 있다. 도 5에 도시된 인공지능 신경망은 공지의 기술이므로 세부 설명은 생략하기로 한다. The second stage model 30 serves to determine a final classification result using the merge result matrix generated by the first stage model 20 . The second stage model 30 uses an artificial intelligence neural network combining a Convolution2D (convolutional product) layer and a Fully-Connected layer, and this process is shown in FIG. 5 . Since the artificial intelligence neural network shown in FIG. 5 is a well-known technology, a detailed description thereof will be omitted.

제2 스테이지 모델(30) 또한 제1 스테이지 모델(20)과 마찬가지로 학습 과정이 필요하며, 레이블링 및 학습 과정은 다음과 같다.The second stage model 30 also requires a learning process like the first stage model 20, and the labeling and learning process are as follows.

(1) 제품 이미지들을 정상제품(0)과 결함 제품(1)으로 레이블링한다.(1) Label product images as normal product (0) and defective product (1).

(2) 이 후, 레이블링된 제품 이미지들을 슬라이드-타일링 방법을 이용해 타일 이미지들을 생성한다.(2) After that, tile images are created using the slide-tiling method for the labeled product images.

(3) 각 타일 이미지들을 학습된 제1 스테이지 모델에 입력한다.(3) Each tile image is input to the learned first stage model.

(4) 타일 이미지들에 대한 제1 스테이지 모델의 수행 결과가 하나로 병합되어 병합 결과 행렬이 생성된다.(4) Results of performing the first stage model on the tile images are merged into one, and a merge result matrix is generated.

(5) 제2 스테이지 모델이 병합된 병합 결과 행렬을 입력받아 (1) 단계에서 레이블링 된 0 ~ 1 값을 출력하도록 학습한다.(5) The second stage model receives the merged result matrix and learns to output 0 to 1 values labeled in step (1).

즉, 정상 제품에 대하여 제1 스테이지 모델에서 생성되는 병합 결과 행렬에 대해서는 정상 제품으로서 0의 값이 레이블링되고, 결함 제품에 대하여 제1 스테이지 모델에서 생성되는 병합 결과 행렬에 대해서는 결합 제품으로서 1의 값이 레이블링되도록 지도학습을 수행한다.That is, a value of 0 is labeled as a normal product for a merged result matrix generated from the first stage model for a normal product, and a value of 1 is labeled as a combined product for a merged result matrix generated from the first stage model for a defective product. Perform supervised learning so that it is labeled.

이후, 제2 스테이지 모델은 특정 고 해상도 제품 이미지에 대하여 제1 스테이지 모델에서 생성한 병합 결과 행렬이 입력되면 학습된 결과에 기초하여 해당 병합 결과 행렬에 대하여 0 ~ 1 값을 출력하게 된다.Thereafter, the second stage model outputs a value of 0 to 1 for the corresponding merge result matrix based on the learned result when the merge result matrix generated by the first stage model for the specific high-resolution product image is input.

클램핑부(40)는 0~1 사이의 값으로 출력되는 제2 스테이지 모델의 출력값에 대하여 Clamp 함수를 적용하여 0.5 이상은 1(예 불량 제품) 나머지는 0(예 정상 제품)으로 변환하여 최종적으로 분류를 수행한다.The clamping unit 40 applies the Clamp function to the output value of the second stage model, which is output as a value between 0 and 1, converts 0.5 or more to 1 (eg defective product) and the rest to 0 (eg normal product), and finally do the classification.

도 6은 제2 스테이지 모델(30)과 클램프부(40)를 통해 최종 분류 결과를 도출하는 과정을 설명하는 것이다. 6 illustrates a process of deriving a final classification result through the second stage model 30 and the clamp unit 40 .

도 6에 도시된 것과 같이, 제2 스테이지 모델(30)은 예시된 것과 같은 형태의 병합 결과 행렬이 입력되면, 학습 결과에 기초하여 0~1 사이의 1개의 출력값을 출력한다. 도 6에는 출력값으로 0.8이 출력된 경우가 예시되어 있다. 이 값에 클램프 함수를 적용하면 0.8은 0.5보다 큰 값이므로 최종 분류 결과는 1이 되어 해당 제품 이미지는 결함을 포함하는 불량 제품인 것으로 분류된다.As shown in FIG. 6 , the second stage model 30 outputs one output value between 0 and 1 based on a learning result when a merge result matrix of the form as illustrated is input. 6 illustrates a case in which 0.8 is output as an output value. If the clamp function is applied to this value, since 0.8 is a value greater than 0.5, the final classification result is 1, and the corresponding product image is classified as a defective product containing defects.

비록 본 발명이 상기 바람직한 실시 예들과 관련하여 설명되었지만, 발명의 요지와 범위로부터 벗어남이 없이 다양한 수정이나 변형을 하는 것이 가능하다. 따라서, 첨부된 특허 청구범위는 본 발명의 요지에 속하는 이러한 수정이나 변형을 포함할 것이다.Although the present invention has been described with respect to the above preferred embodiments, various modifications and variations are possible without departing from the spirit and scope of the invention. Accordingly, the appended claims will cover such modifications and variations as fall within the subject matter of this invention.

10 : 타일 이미지 생성부 20 : 제1 스테이지 모델
30 : 제2 스테이지 모델 40 : 클램프 함수10: tile image generator 20: first stage model
30: second stage model 40: clamp function

Claims

a tile image generation unit which generates a plurality of tile images so that the front and back images have a predetermined overlapping area while sliding and moving tile images having a set size within the input product image at regular intervals;
Based on the previously performed learning result, a value of 0 to 1 is output according to whether individual tile images are defective, and output values for individual tile images are merged according to the position/order of the original tile image to generate a merge result matrix. a first stage model;
A second stage model outputting a value of 0 to 1 for a merge result matrix input from the first stage model based on a previously performed learning result;
An artificial intelligence-based fine anomaly detection system on a high-resolution product image, characterized in that the final classification of the input product image is performed by applying a clamp function to the output value of the second stage model.

According to claim 1,
The artificial intelligence-based fine anomaly detection system on high-resolution product images, characterized in that the regular interval is 1/3 to 2/3 of the width of the tile image.

According to claim 2,
When the width of the entire image is set to W, the height is H, the width of the tiling image is set to w', and the height is set to h', and the regular interval between tile images is set to 1/2 of the image tile width, the size of the merge matrix is (2H/h') × (2W/w') A system for detecting fine anomalies on high-resolution product images based on artificial intelligence.

Generating a plurality of tile images so that the front and back images have partially overlapping regions while sliding tile images having a set size within the input product image at regular intervals;
Based on the previously performed first learning result, a value of 0 to 1 is output according to whether individual tile images are defective, and the output values of individual tile images are merged according to the position/order of the original tile images to obtain a merge result matrix. generating;
outputting a value of 0 to 1 for the merge result matrix based on a previously performed second learning result; and
A method for detecting fine anomalies on an artificial intelligence-based high-resolution product image, comprising the step of performing final classification on the input product image by applying a clamp function to the output value.

According to claim 4,
Wherein the first learning result is a learning result for tile images labeled with a value of 0 or 1 depending on whether individual tile images contain defects. .

According to claim 4,
Wherein the second learning result is a learning result for a merge result matrix labeled with a value of 0 or 1 depending on whether or not the product image contains defects. .