KR20230058743A - Masking-based deep learning image classification system and method therefor - Google Patents
Masking-based deep learning image classification system and method therefor Download PDFInfo
- Publication number
- KR20230058743A KR20230058743A KR1020210142307A KR20210142307A KR20230058743A KR 20230058743 A KR20230058743 A KR 20230058743A KR 1020210142307 A KR1020210142307 A KR 1020210142307A KR 20210142307 A KR20210142307 A KR 20210142307A KR 20230058743 A KR20230058743 A KR 20230058743A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- product
- deep learning
- masking
- masked
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 122
- 230000000873 masking effect Effects 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000000605 extraction Methods 0.000 claims abstract description 43
- 230000008569 process Effects 0.000 claims abstract description 27
- 238000004519 manufacturing process Methods 0.000 claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 238000004891 communication Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 239000000284 extract Substances 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000009434 installation Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 12
- 238000009423 ventilation Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Abstract
마스킹 기반 딥러닝 이미지 분류 시스템 및 그 방법이 개시된다.
본 발명의 실시예에 따른, 마스킹 기반 딥러닝 이미지 분류 시스템은, 제조라인에 설치되어 촬영영역의 배경과 분류 대상체를 촬영하는 카메라로부터 원본이미지를 수신하는 통신부; 상기 원본 이미지를 전처리하여 마스킹된 제품 이미지를 추출하는 마스킹 이미지 추출부; 마스킹된 제품 이미지와 그 레이블을 입력 데이터로 활용한 딥러닝 학습을 수행하여 뉴럴 네트워크의 특징값이 정의된 네트워크모델을 생성하는 딥러닝 학습부; 상기 네트워크모델을 저장하는 데이터베이스부; 및 상기 제조라인의 공정 중 상기 마스킹 이미지 추출부로부터 전처리된 상기 마스킹된 제품 이미지를 수신하면 미리 학습된 상기 네트워크모델을 활용한 딥러닝 추론을 실시하여 상기 대상체의 이미지를 분류하는 제어부를 포함한다.A masking-based deep learning image classification system and method are disclosed.
According to an embodiment of the present invention, a masking-based deep learning image classification system includes: a communication unit installed in a manufacturing line to receive an original image from a camera that captures a background of a shooting area and a classification object; a masking image extraction unit pre-processing the original image to extract a masked product image; a deep learning learning unit that performs deep learning learning using the masked product image and its label as input data to generate a network model in which feature values of the neural network are defined; a database unit for storing the network model; and a control unit configured to classify the image of the object by performing deep learning inference using the network model learned in advance upon receiving the pre-processed masked product image from the masking image extraction unit during the manufacturing line process.
Description
본 발명은 마스킹 기반 딥러닝 이미지 분류 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 공장의 제조 라인에 적용되는 마스킹 기반 딥러닝 이미지 분류 시스템 및 그 방법에 관한 것이다.The present invention relates to a masking-based deep learning image classification system and method, and more particularly, to a masking-based deep learning image classification system and method applied to a manufacturing line of a factory.
일반적으로 인공지능은 사람이 할 수 있는 일을 기계가 대신 작업할 수 있도록 외부에서 주어진 데이터를 통해 스스로 학습하는 머신러닝(Machine Learning) 기술을 기반으로 하며, 이러한 머신러닝 기술 중 제조업 분야에서 각광받고 있는 것이 딥러닝 기술이다.In general, artificial intelligence is based on machine learning technology that learns on its own through data given from outside so that machines can do what humans can do instead. What we have is deep learning technology.
딥러닝 기술은 다양한 산업분야에서의 공장 자동화와 스마트 펙토리(Smart Factory)의 구현을 위해 활용되고 있으며, 반도체와 자동차 메이커를 비롯한 선도적인 제조업체들은 공정별 복잡한 자동화 난제를 해결하기 위해서 딥러닝 기술의 도입을 확대하고 있는 추세이다. Deep learning technology is being used to realize factory automation and smart factories in various industries, and leading manufacturers, including semiconductor and automobile makers, are introducing deep learning technology to solve complex automation challenges for each process. is expanding.
한편, 딥러닝 기반 이미지 분류 기술은 육안 검사의 정교함과 유연성에 컴퓨터 시스템의 신뢰성, 일관성, 속도를 결합하여 기존 머신러닝 기술로 유지관리가 불가능하거나 까다로운 비전을 인식할 수 있고, 제품의 뒤집힘, 빛 반사 및 흠집과 같은 복잡한 성형 표면 검사와 불량 검출에 탁월한 성능을 발휘하는 장점이 있다.On the other hand, deep learning-based image classification technology combines the sophistication and flexibility of visual inspection with the reliability, consistency, and speed of a computer system to recognize visions that cannot be maintained or are difficult to maintain with conventional machine learning technology, It has the advantage of exhibiting excellent performance in complex molding surface inspection and defect detection such as reflections and scratches.
도 1은 종래의 딥러닝 기반 이미지 분류 방법을 나타낸다. 1 shows a conventional deep learning-based image classification method.
도 1을 참조하면, 종래의 딥러닝 기반 이미지 분류 기술은 다수의 데이터를 기반으로 심층 뉴럴네트워크(Deep Neural Network, DNN)를 학습시키며, 반복학습을 통하여 네트워크모델을 산출한다. 그리고, 상기 네트워크모델로 구성된 심층 뉴럴네트워크를 이용하여 추론을 하면 육안검사에 가까운 신뢰도를 가지는 이미지 분류 성능을 확보할 수 있다. 이때, 심층 뉴럴네트워크를 학습시키기 위해서는 카메라로 획득한 원본이미지와 레이블을 포함하는 상기 다수의 데이터가 필요하다.Referring to FIG. 1, the conventional deep learning-based image classification technology trains a deep neural network (DNN) based on a plurality of data and calculates a network model through repeated learning. In addition, if reasoning is performed using a deep neural network composed of the network model, image classification performance having reliability close to that of visual inspection can be secured. At this time, in order to train the deep neural network, the plurality of data including the original image acquired by the camera and the label are required.
한편, 도 2는 카메라 설치 장소 이동에 따라 원본 이미지의 배경이 변경된 상태를 나타낸다.Meanwhile, FIG. 2 shows a state in which the background of the original image is changed according to the movement of the camera installation location.
도 2를 참조하면, 제조 라인에 설치된 장소에서 카메라는 제품 이송장치(1)와 환기용 덕트(2)가 수직으로 교차하는 배경A 이미지를 촬영한다. 그리고, 공정 진행 시 상기 배경A 이미지 내에서 제품 이송장치(1)를 따라 이동하는 파지장치(3)가 제품(4)을 파지하여 로딩하는 상태를 촬영할 수 있다. Referring to FIG. 2 , at a location installed on a manufacturing line, the camera captures a background A image in which the product conveying device 1 and the
이 때, 종래의 딥러닝 기반 이미지 분류 기술에서 학습을 위한 입력 데이터로 사용하는 이미지는 별도의 전처리를 하지 않은 카메라 원본 이미지를 사용한다. 통상 공장의 제조 라인에 있어서 분류 대상체의 위치와 배경은 거의 변하지 않으므로, 소수의 입력 데이터로도 우수한 성능의 딥러닝 기반 이미지 분류 성능을 획득할 수 있다.At this time, the image used as input data for learning in the conventional deep learning-based image classification technology uses a camera original image without separate preprocessing. Since the position and background of a classification object hardly change in a manufacturing line of a typical factory, excellent deep learning-based image classification performance can be obtained even with a small amount of input data.
하지만, 카메라 설치 장소의 이동으로 인해 배경A가 배경B로 변경되거나, 분류 대상체 외의 다른 물체가 배경 내에 위치할 경우 기존에 학습한 네트워크모델을 사용하면 이미지 분류에 오류가 발생할 수 있다. 여기서, 배경B의 경우 설명의 편이상 환기용 덕트(2)가 제품 이송장치(1)와 평행하게 변경된 것으로 간단히 도시하였으나 실질 적으로 원본 이미지 상에는 제조 라인내 다양한 각종 설비, 부품, 제품 및 작업자 등이 촬영되고 카메라의 설치 각도가 변경될 수도 있다. However, if the background A is changed to the background B due to the movement of the camera installation location, or if an object other than the object to be classified is located in the background, an error may occur in image classification using the previously learned network model. Here, in the case of background B, it is simply shown that the
그러므로, 이미지 분류의 정확도 향상 위해서는 변경된 설치 장소에 대한 대량의 샘플 데이터 재수집과 그 딥러닝 재학습이 필요하다. Therefore, in order to improve the accuracy of image classification, re-collection of a large amount of sample data for the changed installation location and deep learning re-learning are required.
그러나, 제조업에서의 제품 생산주기 한정되어 있고 자동차 산업의 경우 주기적 모델 교체가 이루어지기 때문에 짧은 개발기간 동안 딥러닝 이미지 분석기술에 필요한 데이터를 충분히 확보하기 어려우며, 이로 인한 이미지 분류 성능이 저하되는 문제점이 있다.However, since the product production cycle in the manufacturing industry is limited and model replacement is performed periodically in the case of the automobile industry, it is difficult to secure sufficient data for deep learning image analysis technology during a short development period, resulting in degradation of image classification performance. there is.
이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.Matters described in this background art section are prepared to enhance understanding of the background of the invention, and may include matters that are not prior art already known to those skilled in the art to which this technique belongs.
본 발명의 실시예는 딥러닝 학습시 마스킹된 제품 이미지 세트를 사용하여 네트워크모델을 생성하고 이를 활용한 딥러닝 추론 시 마스킹된 제품 이미지를 사용하여 대상체를 분류하는 마스킹 기반 딥러닝 이미지 분류 시스템 및 그 방법을 제공하고자 한다.An embodiment of the present invention is a masking-based deep learning image classification system that generates a network model using a set of masked product images during deep learning and classifies an object using the masked product image during deep learning inference using the same, and a masking-based deep learning image classification system using the same We want to provide a way.
본 발명의 일 측면에 따르면, 마스킹 기반 딥러닝 이미지 분류 시스템은, 제조라인에 설치되어 촬영영역의 배경과 분류 대상체를 촬영하는 카메라로부터 원본이미지를 수신하는 통신부; 상기 원본 이미지를 전처리하여 마스킹된 제품 이미지를 추출하는 마스킹 이미지 추출부; 마스킹된 제품 이미지와 그 레이블을 입력 데이터로 활용한 딥러닝 학습을 수행하여 뉴럴 네트워크의 특징값이 정의된 네트워크모델을 생성하는 딥러닝 학습부; 상기 네트워크모델을 저장하는 데이터베이스부; 및 상기 제조라인의 공정 중 상기 마스킹 이미지 추출부로부터 전처리된 상기 마스킹된 제품 이미지를 수신하면 미리 학습된 상기 네트워크모델을 활용한 딥러닝 추론을 실시하여 배경에 상관 없이 동일한 대상체의 이미지를 분류하는 제어부;를 포함한다.According to one aspect of the present invention, a masking-based deep learning image classification system includes a communication unit installed in a manufacturing line and receiving an original image from a camera that captures a background of a shooting area and a classification object; a masking image extraction unit pre-processing the original image to extract a masked product image; a deep learning learning unit that performs deep learning learning using the masked product image and its label as input data to generate a network model in which feature values of the neural network are defined; a database unit for storing the network model; and a control unit configured to perform deep learning inference using the network model learned in advance to classify images of the same object regardless of the background upon receiving the preprocessed masked product image from the masking image extraction unit during the manufacturing line process. includes;
또한, 상기 마스킹 이미지 추출부는 상기 대상체인 제품이 로딩된 상태를 촬영한 상기원본 이미지에 제품 마스크 이미지를 적용하여 마스킹된 제품 이미지를 추출하고, 상기 마스킹된 제품 이미지에 대응되는 레이블(label)을 생성할 수 있다.In addition, the masking image extraction unit extracts a masked product image by applying a product mask image to the original image in which the target product is photographed in a loaded state, and generates a label corresponding to the masked product image can do.
또한, 상기 마스킹 이미지 추출부는 상기 마스킹된 제품 이미지와 이에 대응되는 레이블을 세트로 구성하여 상기 딥러닝 학습부로 전달할 수 있다.In addition, the masking image extraction unit may configure the masked product image and a label corresponding thereto as a set and transmit it to the deep learning learning unit.
또한, 상기 마스킹 이미지 추출부는 상기 원본이미지의 배경 이미지에 제품이 로딩된 이미지의 각 픽셀값을 빼기 연산한 후 절대값을 취한 픽셀차이 절대값 이미지를 생성하고, 상기 픽셀차이 절대값 이미지에 대하여 이진화 연산을 수행하여 상기 제품 마스크 이미지를 생성할 수 있다.In addition, the masking image extractor subtracts each pixel value of the image loaded with the product from the background image of the original image, generates a pixel difference absolute value image by taking an absolute value, and binarizes the pixel difference absolute value image An operation may be performed to generate the product mask image.
또한, 상기 마스킹 이미지 추출부는 상기 제품 마스크 이미지를 생성 시 상기 원본 이미지의 배경 이미지에 해당하는 좌표의 픽셀값(Pb(x, y))에서 제품이 로딩된 이미지에 해당하는 좌표의 픽셀값(Pp(x, y))을 차감 후 픽셀차이 절대값(Pa(x, y))을 산출하고, 상기 픽셀차이 절대값(Pa(x, y))이 "0"보다 큰지 비교하여 상기 제품 마스크 이미지에 해당하는 좌표의 픽셀값(Pm(x, y))으로 판정할 수 있다.In addition, when the masking image extraction unit generates the product mask image, the pixel value of the coordinate corresponding to the image in which the product is loaded in the pixel value (P b (x, y)) of the coordinate corresponding to the background image of the original image ( After subtracting P p (x, y)), the pixel difference absolute value (P a (x, y)) is calculated, and the pixel difference absolute value (P a (x, y)) is greater than “0” by comparing It can be determined by the pixel value (P m (x, y)) of the coordinates corresponding to the product mask image.
또한, 상기 마스킹 이미지 추출부는 상기 절대값(Pa(x, y))이 "0"보다 크면 상기 제품 마스크 이미지에 해당하는 좌표의 픽셀값(Pm(x, y))으로 판정하고 상기 "0"보다 크지 않으면 상기 제품 마스크 이미지에 해당하지 않는 것으로 판정할 수 있다.In addition, if the absolute value (P a (x, y)) is greater than "0", the masking image extraction unit determines the pixel value (P m (x, y)) of the coordinates corresponding to the product mask image, and the " If it is not greater than 0", it may be determined that it does not correspond to the product mask image.
또한, 상기 마스킹 이미지 추출부는 상기 제품 마스크 이미지에 해당하는 좌표의 픽셀값(Pm(x, y))이 "0"과 같은지 여부에 따라 마스킹된 제품 이미지를 정의할 수 있다.In addition, the masking image extraction unit may define a masked product image according to whether a pixel value (P m (x, y)) of coordinates corresponding to the product mask image is equal to “0”.
또한, 상기 마스킹 이미지 추출부는 상기 마스킹된 제품 이미지를 추출 시 상기 제품 마스크 이미지에 해당하는 좌표의 픽셀값(Pm(x, y))이 "0"과 같으면 마스킹된 제품 이미지 내의 픽셀값으로 판정하되, 상기 "0"과 같지 않으면 상기 마스킹된 제품 이미지에 해당하지 않고 배경에 제품이 로딩된 이미지에 해당하는 좌표의 픽셀값(Pp(x, y))으로 판정할 수 있다.In addition, when the masking image extraction unit extracts the masked product image, if the pixel value (P m (x, y)) of the coordinates corresponding to the product mask image is equal to "0", it is determined as a pixel value in the masked product image However, if it is not equal to “0”, it may be determined as a pixel value (P p (x, y)) of a coordinate corresponding to an image in which a product is loaded in the background, not corresponding to the masked product image.
또한, 상기 제어부는 상기 마스킹된 제품 이미지에 대하여 DNN(Deep Neural Network) 혹은 CNN(Convolutional Neural Network) 알고리즘 기반의 이미지 분류 작업을 통한 추론과정을 거쳐 제품 이미지를 분류할 수 있다.In addition, the control unit may classify the product image through an inference process through an image classification operation based on a Deep Neural Network (DNN) or Convolutional Neural Network (CNN) algorithm with respect to the masked product image.
또한, 상기 제어부는 상기 마스킹된 제품 이미지에 대응하는 레이블을 출력하여 상기 대상체의 이미지를 분류할 수 있다.Also, the controller may classify the image of the object by outputting a label corresponding to the masked product image.
또한, 상기 제어부는 상기 레이블을 통해 상기 대상체의 제품이나 상기 제품의 종류, 사양, 특성 및 적용공정에서의 상태정보 중 적어도 하나를 인식할 수 있다.In addition, the control unit may recognize at least one of the product of the target object, the type, specification, and characteristics of the product, and state information in an application process through the label.
또한, 상기 제어부는 하나의 마스킹된 제품 이미지를 기준으로 다양한 각도로 회전시켜 다양하게 변화된 각도의 마스킹된 제품 이미지를 추가로 생성하여 확장하고, 확장된 데이터들을 마스킹된 제품 이미지 세트로 입력하여 상기 딥러닝 학습된 네트워크모델을 생성할 수 있다.In addition, the control unit rotates one masked product image at various angles to additionally generate and expand masked product images of variously changed angles, and inputs the expanded data into a set of masked product images to obtain the deep A trained network model can be created.
또한, 상기 제어부는 상기 딥러닝 추론 과정에서 미리 학습된 동일 네트워크모델이 없으면, 상기 딥러닝 학습부를 통해 배경에 상관 없이 하나의 마스킹된 제품 이미지를 이용한 딥러닝 학습을 통해 신규 네트워크모델을 생성할 수 있다.In addition, if there is no same network model pre-learned in the deep learning inference process, the control unit can create a new network model through deep learning learning using one masked product image regardless of the background through the deep learning learning unit. there is.
한편, 본 발명의 일 측면에 따른, 제조라인에 설치된 카메라를 이용하여 제품의 이미지를 분류하는 시스템의 마스킹 기반 딥러닝 이미지 분류 방법은, a) 촬영영역의 배경과 분류 대상체를 촬영하는 카메라로부터 수신된 원본이미지를 전처리하여 마스킹된 제품 이미지를 추출하는 단계; b) 상기 마스킹된 제품 이미지와 그 레이블을 입력 데이터로 활용한 딥러닝 학습을 수행하여 뉴럴 네트워크의 특징값이 정의된 네트워크모델을 생성하여 데이터베이스에 저장하는 단계; c) 상기 제조라인의 공정 중 상기 마스킹 이미지 추출부로부터 전처리된 상기 마스킹된 제품 이미지를 수신하는 단계; 및 d) 상기 마스킹된 제품 이미지를 입력 데이터로 미리 학습된 상기 네트워크모델을 활용한 딥러닝 추론을 실시하여 배경에 상관 없이 동일한 제품의 이미지를 분류하는 단계;를 포함한다.On the other hand, according to one aspect of the present invention, a masking-based deep learning image classification method of a system for classifying product images using a camera installed on a manufacturing line is: Extracting a masked product image by pre-processing the original image; b) performing deep learning learning using the masked product image and its label as input data to generate a network model in which feature values of a neural network are defined and store it in a database; c) receiving the pre-processed masked product image from the masking image extraction unit during the manufacturing line process; and d) classifying images of the same product regardless of the background by performing deep learning inference using the previously learned network model using the masked product image as input data.
또한, 상기 a) 단계는, a-1) 상기 배경에서 제품이 로딩된 상태를 촬영한 상기 원본이미지에 제품 마스크 이미지를 적용하여 마스킹된 제품 이미지를 추출하는 단계; a-2) 상기 마스킹된 제품 이미지에 대응되는 레이블(label)을 생성하는 단계; 및 a-3) 상기 딥러닝 학습을 위해 상기 마스킹된 제품 이미지와 이에 대응되는 레이블을 세트로 구성하는 단계;를 포함할 수 있다.In addition, the step a) may include: a-1) extracting a masked product image by applying a product mask image to the original image in which the product is loaded in the background; a-2) generating a label corresponding to the masked product image; and a-3) configuring the masked product image and a label corresponding thereto as a set for the deep learning learning.
또한, 상기 a-1) 단계는, 배경 이미지에서 상기 제품이 로딩된 이미지의 각 픽셀값을 빼기 연산한 후 절대값을 취한 이미지 픽셀차이 절대값 이미지를 생성하는 단계; 상기 픽셀차이 절대값 이미지에 대하여 이진화 연산을 수행하여 상기 제품 마스크 이미지를 생성하는 단계;를 더 포함할 수 있다.In addition, the step a-1) may include subtracting each pixel value of the image loaded with the product from the background image, and then generating an image pixel difference absolute value image by taking an absolute value; The method may further include generating the product mask image by performing a binarization operation on the pixel difference absolute value image.
또한, 상기 픽셀차이 절대값 이미지를 생성하는 단계는, 상기 원본 이미지의 배경 이미지에 해당하는 x, y 좌표의 픽셀값(Pb(x, y))에서 제품이 로딩된 이미지에 해당하는 x, y 좌표의 픽셀값(Pp(x, y))을 차감 후 픽셀차이 절대값(Pa(x, y))을 산출하는 단계를 포함할 수 있다.In addition, in the step of generating the pixel difference absolute value image, x corresponding to the image into which the product is loaded in pixel values (P b (x, y)) of x and y coordinates corresponding to the background image of the original image, Calculating an absolute value of the pixel difference (P a (x, y)) after subtracting the pixel value (P p (x, y)) of the y coordinate may be included.
또한, 상기 제품 마스크 이미지를 생성하는 단계는, 상기 픽셀차이 절대값(Pa(x, y))이 "0"보다 큰지 비교하여 상기 제품 마스크 이미지에 해당하는 x, y 좌표의 픽셀값(Pm(x, y))으로 판정하는 단계를 포함할 수 있다.In addition, the step of generating the product mask image compares whether the pixel difference absolute value (P a (x, y)) is greater than "0", and the pixel value (P) of the x and y coordinates corresponding to the product mask image m (x, y)).
또한, 상기 a) 단계는, 상기 마스킹된 제품 이미지를 추출 시 상기 제품 마스크 이미지에 해당하는 x, y 좌표의 픽셀값(Pm(x, y))이 "0"과 같으면 마스킹된 제품 이미지 내의 픽셀값으로 판정하되, 상기 "0"과 같지 않으면 상기 마스킹된 제품 이미지에 해당하지 않고 배경에 제품이 로딩된 이미지에 해당하는 좌표의 픽셀값(Pp(x, y))으로 판정하는 단계를 포함할 수 있다.In addition, in the step a), when the masked product image is extracted, if the pixel value (P m (x, y)) of the x and y coordinates corresponding to the product mask image is equal to "0", in the masked product image Determined as a pixel value, but if it is not equal to “0”, determining the pixel value (P p (x, y)) of the coordinates corresponding to the image in which the product is loaded in the background without corresponding to the masked product image can include
또한, 상기 d) 단계는, 상기 딥러닝 추론 과정에서 미리 학습된 동일 네트워크모델이 없으면, 상기 딥러닝 학습부를 통해 배경에 상관 없이 하나의 마스킹된 제품 이미지를 이용한 딥러닝 학습을 통해 신규 네트워크모델을 생성하는 단계를 더 포함할 수 있다.In addition, in the step d), if there is no same network model previously learned in the deep learning inference process, a new network model is created through deep learning learning using one masked product image regardless of the background through the deep learning learning unit A generating step may be further included.
본 발명의 실시예에 따르면, 딥러닝 학습시 마스킹된 제품 이미지 세트를 사용하여 네트워크모델을 생성하고 이를 활용한 딥러닝 추론 시 마스킹된 제품 이미지를 사용하여 대상체를 분류함으로써 카메라 설치장소 변경 혹은 배경에 상관없이 이미지 분류 성능과 정확도를 향상시킬 수 있는 효과가 있다.According to an embodiment of the present invention, a network model is created using a set of masked product images during deep learning learning, and a network model is classified using the masked product image during deep learning inference using the same, thereby changing the camera installation location or the background. Regardless, it has the effect of improving image classification performance and accuracy.
또한, 하나의 마스킹된 제품 이미지를 기준으로 다양한 각도로 변화된 마스킹된 제품 이미지 세트를 생성함으로써 제조업의 짧은 개발기간 동안 딥러닝 이미지 분석기술에 필요한 충분한 샘플 데이터를 확보할 수 있는 효과가 있다.In addition, by generating a set of masked product images changed at various angles based on one masked product image, there is an effect of securing sufficient sample data required for deep learning image analysis technology during a short development period in manufacturing.
도 1은 종래의 딥러닝 기반 이미지 분류 방법을 나타낸다.
도 2는 카메라 설치 장소 이동에 따라 원본 이미지의 배경이 변경된 상태를 나타낸다.
도 3은 본 발명의 실시예에 따른 마스킹 기반 딥러닝 이미지 분류 시스템의 구성을 개략적으로 나타낸 블록도이다.
도 4는 본 발명의 실시예에 따른 마스킹 기반 딥러닝 학습 및 딥러닝 추론 방법을 각각 나타낸 흐름도이다.
도 5는 본 발명의 실시예에 따른 배경A, 배경B, 배경C에서 각각 촬영된 원본 이미지에서 마스킹된 제품 이미지를 추출하는 과정을 나타낸다.
도 6은 본 발명의 실시예에 따른 제품 마스크 이미지를 생성하는 방법을 나타낸 흐름도이다.
도 7는 본 발명의 실시예에 따른 제품 마스크 이미지를 생성하는 흐름을 그림으로 나타낸다.
도 8은 본 발명의 실시예에 따른 픽셀차이 절대값 이미지를 생성하는 방법을 나타낸 흐름도이다.
도 9는 본 발명의 실시예에 따른 마스킹된 제품 이미지를 생성하는 방법을 나타낸 흐름도이다.1 shows a conventional deep learning-based image classification method.
2 shows a state in which the background of the original image is changed according to the movement of the camera installation location.
3 is a block diagram schematically showing the configuration of a masking-based deep learning image classification system according to an embodiment of the present invention.
4 is a flowchart showing masking-based deep learning learning and deep learning inference methods, respectively, according to an embodiment of the present invention.
5 illustrates a process of extracting masked product images from original images captured in background A, background B, and background C, respectively, according to an embodiment of the present invention.
6 is a flowchart illustrating a method of generating a product mask image according to an embodiment of the present invention.
7 graphically illustrates a flow of generating a product mask image according to an embodiment of the present invention.
8 is a flowchart illustrating a method of generating a pixel difference absolute value image according to an embodiment of the present invention.
9 is a flowchart illustrating a method of generating a masked product image according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those skilled in the art can easily carry out the present invention. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when a certain component is said to "include", it means that it may further include other components without excluding other components unless otherwise stated. In addition, terms such as “… unit”, “… unit”, and “module” described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software or a combination of hardware and software. there is.
명세서 전체에서, 제1, 제2, A, B, (a), (b) 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다.Throughout the specification, terms such as first, second, A, B, (a), (b), etc. may be used to describe various components, but the components should not be limited by the terms. These terms are only used to distinguish the component from other components, and the nature, order, or order of the corresponding component is not limited by the term.
명세서 전체에서, 어떤 구성요소가 다른 구성요소에 '연결된다'거나 '접속된다'고 언급되는 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결된다'거나 '직접 접속된다'고 언급되는 때에는, 중간에 다른 구성요소가 존재하지 아니하는 것으로 이해되어야 할 것이다.Throughout the specification, when a component is referred to as being 'connected' or 'connected' to another component, it may be directly connected or connected to the other component, but there may be other components in the middle. It should be understood that it may be On the other hand, when a component is referred to as 'directly connected' or 'directly connected' to another component, it should be understood that no other component exists in the middle.
명세서 전체에서, 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Throughout the specification, terms used are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise.
명세서 전체에서, '포함한다', '가진다' 등과 관련된 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Throughout the specification, terms related to 'comprise', 'have', etc. are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features. It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded.
본 명세서에서 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 포함한다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 의미와 일치하는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined herein, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as consistent with the meaning in the context of the related art, and are not interpreted in an ideal or overly formal sense unless explicitly defined herein.
이제 본 발명의 실시예에 따른 마스킹 기반 딥러닝 이미지 분류 시스템 및 그 방법에 대하여 도면을 참조로 하여 상세하게 설명한다.Now, a masking-based deep learning image classification system and method according to an embodiment of the present invention will be described in detail with reference to the drawings.
도 3은 본 발명의 실시예에 따른 마스킹 기반 딥러닝 이미지 분류 시스템의 구성을 개략적으로 나타낸 블록도이다.3 is a block diagram schematically showing the configuration of a masking-based deep learning image classification system according to an embodiment of the present invention.
도 4는 본 발명의 실시예에 따른 마스킹 기반 딥러닝 학습 및 딥러닝 추론 방법을 각각 나타낸 흐름도이다.4 is a flowchart showing masking-based deep learning learning and deep learning inference methods, respectively, according to an embodiment of the present invention.
도 3을 참조하면, 본 발명의 실시예에 따른 마스킹 기반 딥러닝 이미지 분류 시스템(100)은 통신부(110), 마스킹 이미지 추출부(120), 딥러닝 학습부(130), 데이터베이스부(140) 및 제어부(150)를 포함한다.Referring to FIG. 3 , the masking-based deep learning
카메라(10)는 제조 라인에 설치되어 촬영영역의 배경과 분류 대상체를 촬영한다. 여기서, 상기 분류 대상체는 제품, 부품, 설비, 도구 및 이들을 시각적으로 구분가능한 일부분일 수 있으며, 이하, 설명의 이해와 편의를 위해 분류 대상체를 "제품"으로 가정하여 설명하도록 한다.The
먼저, 도 4(A)를 참조하여, 본 발명의 실시예에 따른 마스킹 기반 딥러닝 이미지 분류 시스템(100)의 마스킹 기반 딥러닝 학습 방법에 대하여 설명한다.First, with reference to FIG. 4(A), a masking-based deep learning learning method of the masking-based deep learning
통신부(110)는 유선 혹은 무선 통신으로 카메라(10)로부터 상기 원본이미지를 수신하여 마스킹 이미지 추출부(120)로 전달한다(S110).The
마스킹 이미지 추출부(120)는 상기 배경에서 제품이 로딩된 상태를 촬영한 상기원본 이미지에 제품 마스크 이미지를 적용하여 마스킹된 제품 이미지를 추출하고(S120), 상기 마스킹된 제품 이미지에 대응되는 레이블(label)을 생성한다(S130). 상기 레이블은 상기 마스킹된 제품 이미지를 딥러닝 학습시키기 위하여 규정된 데이터로서 예컨대, 제품의 분류정보, 종류, 사양, 특성 및 적용공정의 상태정보 등을 포함할 수 있다. The masking image extraction unit 120 extracts a masked product image by applying a product mask image to the original image in which the product is loaded in the background (S120), and a label corresponding to the masked product image ( label) is generated (S130). The label is data defined for deep learning of the masked product image, and may include, for example, product classification information, type, specification, characteristics, and state information of an application process.
이러한, 마스킹 이미지 추출부(120)는 생성된 마스킹된 제품 이미지와 이에 대응되는 레이블을 세트로 구성하여 딥러닝 학습부(130)로 전달할 수 있다.The masking image extraction unit 120 may configure the generated masked product image and a label corresponding thereto as a set and transmit the set to the deep
딥러닝 학습부(130)는 마스킹된 제품 이미지 세트와 레이블 세트가 수신되면, 순차적으로 입력되는 마스킹된 제품 이미지와 해당 레이블을 이용한 딥러닝 학습을 수행하여(S140), 뉴럴 네트워크의 특징값을 정의하는 네트워크모델을 생성한다(S150). When the masked product image set and label set are received, the deep
마스킹 이미지 추출부(120)는 상기 딥러닝 학습의 결과물로 생성된 네트워크모델을 데이터베이스부(140)에 저장하여 추후 딥러닝 추론 시 이미지 분류를 위한 기준 데이터로 활용하도록 한다. 여기서, 상기 이미지 분류는 특정 대상체(제품)나 그 대상체(제품)의 상태를 인식하거나 이미지 상에 존재하는 임의 객체을 식별하는 기능을 포함한다.The masking image extraction unit 120 stores the network model generated as a result of the deep learning learning in the database unit 140 to be used as reference data for image classification during deep learning inference later. Here, the image classification includes a function of recognizing a specific object (product) or a state of the object (product) or identifying an arbitrary object existing on an image.
데이터베이스부(140)는 딥러닝 이미지 분류 시스템(100)의 운용을 위한 각종 프로그램 및 데이터를 저장하고, 그 운용에 따라 생성되는 데이터를 저장한다.The database unit 140 stores various programs and data for operation of the deep learning
예컨대, 데이터베이스부(140)는 마스킹 이미지 추출부(120) 및 딥러닝 학습부(130)의 실행을 위한 프로그램과 데이터를 저장하고, 그에 따른 딥러닝 학습에 따라 생성된 상기 네트워크모델을 저장한다.For example, the database unit 140 stores programs and data for execution of the masking image extraction unit 120 and the deep
이와 같이 마스킹 기반 딥러닝 학습을 통해 네트워크모델을 생성하는 과정은 제조 라인에 신규 설비/공정 도입 시의 사전작업으로 후술되는 카메라를 활용한 딥러닝 이미지 분류 작업을 위해 선행될 수 있다. In this way, the process of generating a network model through masking-based deep learning learning can be preceded by a deep learning image classification task using a camera, which will be described later, as a preliminary work when introducing a new facility/process to a manufacturing line.
제어부(150)는 본 발명의 실시예에 따른 마스킹 기반 딥러닝 이미지 분류를 위하여 딥러닝 이미지 분류 시스템(100)에 구성된 상기 각부의 전반적인 동작을 제어하는 중앙 처리 장치이다. The
한편, 도 4(B)를 참조하여, 본 발명의 실시예에 따른 마스킹 기반 딥러닝 이미지 분류 시스템(100)의 마스킹 기반 딥러닝 학습 방법에 대하여 설명한다.Meanwhile, referring to FIG. 4(B), a masking-based deep learning learning method of the masking-based deep learning
마스킹 기반 딥러닝 학습 방법을 설명함에 있어서, 공정 작업 시 제조 라인에 설치된 카메라(10)를 통해 촬영된 원본이미지를 수집하고, 마스킹 이미지 추출부(120)를 이용한 전처리 작업을 통해 마스킹된 제품 이미지를 추출하는 과정은 위의 설명과 유사하다.In the description of the masking-based deep learning learning method, the original image taken through the
제어부(150)는 마스킹 이미지 추출부(120)로부터 마스킹된 제품 이미지가 입력되면(S210), 미리 학습된 네트워크모델을 활용한 딥러닝 추론을 실시하여(S220), 상기 마스킹된 제품 이미지에 대응하는 레이블을 출력함으로써 배경에 상관 없이 동일한 대상체(제품)의 이미지를 분류한다(S230). 이 때, 제어부(150)는 마스킹된 제품 이미지에 대하여 DNN(Deep Neural Network) 혹은 CNN(Convolutional Neural Network) 알고리즘 기반의 이미지(영상) 분류작업을 통한 추론과정을 거쳐 제품 이미지를 분류할 수 있다.When the masked product image is input from the masking image extractor 120 (S210), the
제어부(150)는 제조라인에 적용된 공정에 따라 상기 제품 분류에 기초한 제품의 로딩 여부 및 정위치 여부 등을 모니터링할 수 있으며, 그 이상 상태를 검출하여 운영자 단말기(20)로 알람 할 수 있다.The
이러한, 제어부(150)는 설정된 프로그램에 의하여 동작하는 하나 이상의 프로세서로 구현될 수 있으며, 상기 설정된 프로그램은 본 발명의 실시예에 따른 마스킹 기반 딥러닝 이미지 분류 방법 전반의 각 단계를 수행하도록 프로그래밍 된 것일 수 있다. The
따라서, 제어부(150)는 마스킹 기반 딥러닝 이미지 분류 동작을 제어하기 위하여 데이터베이스부(140)에 저장된 프로그램의 실행으로 마스킹 이미지 추출부(120) 및 딥러닝 학습부(130)를 제어 할 수 있는 바, 본 발명의 실시예의 설명에서 실질적인 각 부의 상위 제어 주체가 될 수 있다.Therefore, the
이하, 아래의 도면을 통해 본 발명의 실시예에 따른 마스킹된 제품 이미지 추출 방법을 구체적으로 설명하되, 설명의 이해를 돕기 위해 도 2의 카메라 설치 장소 이동에 따라 원본 이미지의 배경이 변경된 상태를 가정하여 설명하도록 한다. Hereinafter, a method of extracting a masked product image according to an embodiment of the present invention will be described in detail with reference to the following drawings, but assume that the background of the original image is changed according to the movement of the camera installation location in FIG. 2 to help the understanding of the explanation to explain.
도 5는 본 발명의 실시예에 따른 배경A, 배경B, 배경C에서 각각 촬영된 원본 이미지에서 마스킹된 제품 이미지를 추출하는 과정을 나타낸다.5 illustrates a process of extracting masked product images from original images captured in background A, background B, and background C, respectively, according to an embodiment of the present invention.
먼저, 도 5(A)를 참조하면, 카메라(10)의 설치장소에서 세로방향의 제품 이송장치(1)와 가로방향의 환기용 덕트(2)가 수직으로 교차하는 배경A 이미지가 촬영된 상태를 보여준다.First, referring to FIG. 5 (A), a background A image in which the product transport device 1 in the vertical direction and the
제어부(150)는 마스킹 이미지 추출부(120)를 통해 배경A에 제품(4)이 로딩된 원본 이미지상에 제품 마스크 이미지(5)를 적용하여 마스킹된 제품 이미지(이하, "제1 마스킹된 제품 이미지"라 칭함)(6a)를 추출한다. The
이 때, 제어부(150)는 배경A의 원본 이미지에서 제품(4)과 파지장치(3)를 제외한 나머지 배경A 이미지를 제거하여 제1 마스킹된 제품 이미지를 추출할 수 있다.At this time, the
또한, 도 5(B)를 참조하면, 카메라(10)의 설치장소에서 세로방향의 제품 이송장치(1)와 평행하게 세로방향의 환기용 덕트(2)가 있는 배경A 이미지가 촬영된 상태를 보여준다.In addition, referring to FIG. 5 (B), the background A image of the
위의 배경A의 사례와 마찬가지로 제어부(150)는 마스킹 이미지 추출부(120)를 통해 배경B에 제품(4)이 로딩된 원본 이미지에 제품 마스크 이미지(5)를 적용하여 마스킹된 제품 이미지(이하, "제2 마스킹된 제품 이미지"라 칭함)(6b)를 추출할 수 있다. As in the case of the background A above, the
이 때, 제어부(150)는 배경B의 원본 이미지에서 제품(4)과 파지장치(3)를 제외한 나머지 배경B 이미지를 제거하여 제2 마스킹된 제품 이미지(6b)를 추출할 수 있다.At this time, the
또한, 도 5(C)를 참조하면, 카메라(10)의 설치장소에서 가로방향의 제품 이송장치(1)와 세로방향의 환기용 덕트(2)가 수직으로 교차하는 배경A 이미지가 촬영된 상태를 보여준다.In addition, referring to FIG. 5 (C), a background A image in which the product transport device 1 in the horizontal direction and the
위의 배경A,배경B와 달리 원본 이미지에서 제품(4)과 파지장치(3)가 90도 회전된 형상을 보여주며, 이는 카메라(10)촬영각도나 설치장소의 변경에 따라 다양한 각도로 촬영될 수 있음을 시사한다.Unlike the above background A and background B, the product (4) and the gripping device (3) in the original image show a shape rotated by 90 degrees, which is photographed at various angles depending on the camera (10) shooting angle or change in installation location. suggest that it can be
이때도, 위의 배경A 및 배경B의 사례와 마찬가지로 제어부(150)는 마스킹 이미지 추출부(120)를 통해 배경C에 제품(4)이 로딩된 원본 이미지에 제품 마스크 이미지(5)를 적용하여 마스킹된 제품 이미지(이하, "제3 마스킹된 제품 이미지"라 칭함)(6c)를 추출할 수 있다.At this time, as in the case of background A and background B above, the
이 때, 제어부(150)는 배경C의 원본 이미지에서 제품(4)과 파지장치(3)를 제외한 나머지 배경B 이미지를 제거하여 제3 마스킹된 제품 이미지(6c)를 추출할 수 있다.At this time, the
앞서, 도 2를 통해 설명한 것과같이, 종래에는 카메라 설치 장소의 이동으로 인해 배경A가 배경B로 변경되거나, 분류 대상체 외의 다른 물체가 배경 내에 위치할 경우 이미지 분류의 정확도 향상 위해서는 변경된 설치 장소에 대한 대량의 샘플 데이터 재수집과 그 딥러닝 재학습이 필요하였다. 반면에 주기적 모델 교체와 설비의 변경 및 짧은 개발기간 동안 딥러닝 이미지 분석기술에 필요한 데이터를 충분히 확보하기 어려운 문제가 존재하였다.As described above with reference to FIG. 2, conventionally, when the background A is changed to the background B due to the movement of the camera installation location, or an object other than the classification target is located in the background, in order to improve the accuracy of image classification, a change is required for the installation location. A large amount of sample data was recollected and deep learning retraining was required. On the other hand, there were problems in obtaining sufficient data required for deep learning image analysis technology during periodic model replacement, equipment change, and short development period.
이에, 본 발명의 실시예에 따르면, 도 5와 같이 배경A에서 추출된 제1 마스킹된 제품 이미지(6a)와 배경B에서 추출된 제2 마스킹된 제품 이미지(6b)는 실질적으로 동일하다. 또한, 제3 마스킹된 제품 이미지(6c)는 각도만 다를 뿐 그 형상이 실질적으로 동일하다 할 수 있다.Accordingly, according to an embodiment of the present invention, the first masked product image 6a extracted from the background A and the second
그러므로, 제어부(150)는 제1 내지 제3 마스킹된 제품 이미지(6a, 6b, 6c) 중 어느 하나의 마스킹된 제품 이미지를 추출하고 이를 사용하여 배경과 무관하게 기존에 딥러닝 학습부(130)를 통해 학습된 동일 네트워크모델을 활용하여 딥러닝 추론 기반 이미지 분류를 수행할 수 있으며, 이를 통해 그 정확성을 담보할 수 있다. Therefore, the
이를 위해, 제어부(150)는 사전에 하나의 마스킹된 제품 이미지를 추출하고 이를 입력 데이터로 활용한 마스킹 기반 딥러닝 학습을 통해 네트워크모델을 생성하는 작업을 선행한다(도 4(A) 참조).To this end, the
이때, 제어부(150)는 하나의 마스킹된 제품 이미지(예; 6a)를 기준으로 다양한 각도로 회전시켜 다양하게 변화된 각도의 마스킹된 제품 이미지(예; 6c) 데이터를 추가로 생성하여 확장할 수 있으며, 확장된 데이터들을 마스킹된 제품 이미지 세트로 입력하여 딥러닝 학습된 네트워크모델을 생성할 수 있다.At this time, the
또한, 제어부(150)는 도 4(B)의 딥러닝 추론 과정에서 상기 미리 학습된 동일 네트워크모델이 없으면, 딥러닝 학습부(130)를 통해 배경에 상관 없이 하나의 마스킹된 제품 이미지를 이용한 딥러닝 학습을 통해 신규 네트워크모델을 생성할 수 있다.In addition, the
즉, 신규 제품의 도입 및 설비 구성을 위해 사전에 딥러닝 학습 과정을 거쳐 네트워크모델을 구축하고, 이를 기반으로 딥러닝 추론 과정을 수행하되, 간헐적으로 추가/변경되는 환경에 대응하여 딥러닝 추론 과정에서도 신속하게 신규 네트워크모델을 업데이트함으로써 추론에 적용 수 있는 이점이 있다.In other words, for the introduction of new products and equipment configuration, a network model is built through a deep learning learning process in advance, and based on this, a deep learning inference process is performed, but a deep learning inference process is performed in response to an environment that is added/changed intermittently. There is an advantage in that it can be applied to inference by quickly updating a new network model.
한편, 도 6은 본 발명의 실시예에 따른 제품 마스크 이미지를 생성하는 방법을 나타낸 흐름도이다.Meanwhile, FIG. 6 is a flowchart illustrating a method of generating a product mask image according to an embodiment of the present invention.
도 7는 본 발명의 실시예에 따른 제품 마스크 이미지를 생성하는 흐름을 그림으로 나타낸다.7 graphically illustrates a flow of generating a product mask image according to an embodiment of the present invention.
도 6 및 도 7을 참조하면, 마스킹 이미지 추출부(120)는 배경A 이미지에서 배경A에 제품(4)이 로딩된 이미지의 각 픽셀값을 빼기 연산한 후 절대값을 취한 이미지(이하, "픽셀차이 절대값 이미지"라 명명함)를 생성한다(S310). 여기서, 상기 제품(4)이 로딩된 이미지는 제품의 이미지 영역에 해당하는 x, y 좌표의 픽셀값과 상기 제품(4)을 파지하여 로딩 하는 파지장치의 이미지 영역에 해당하는 x, y 좌표의 픽셀값을 포함한다.6 and 7, the masking image extraction unit 120 subtracts each pixel value of the image in which the
마스킹 이미지 추출부(120)는 픽셀차이 절대값 이미지에 대하여 이진화 연산을 수행하여(S320), 최종적으로 제품 마스크 이미지를 생성한다(S330). The masking image extraction unit 120 performs a binarization operation on the pixel difference absolute value image (S320), and finally generates a product mask image (S330).
한편, 도 8은 본 발명의 실시예에 따른 픽셀차이 절대값 이미지를 생성하는 방법을 나타낸 흐름도이다.Meanwhile, FIG. 8 is a flowchart illustrating a method of generating a pixel difference absolute value image according to an embodiment of the present invention.
도 8을 참조하면, 본 발명의 실시예에 따른 마스킹 이미지 추출부(120)가 픽셀차이 절대값 이미지를 생성하는 상기 S310 단계의 상세한 흐름을 보여준다.Referring to FIG. 8 , a detailed flow of the step S310 in which the masking image extractor 120 according to an embodiment of the present invention generates a pixel difference absolute value image is shown.
마스킹 이미지 추출부(120)는 아래의 수학식 1을 통해 원본 이미지의 전체 픽셀에서 배경 이미지와 제품이 로딩된 이미지의 픽셀차이에 따른 절대값 이미지를 계산한다(S311).The masking image extraction unit 120 calculates an absolute value image according to a pixel difference between the background image and the image loaded with the product in all pixels of the original image through Equation 1 below (S311).
여기서, 마스킹 이미지 추출부(120)는 원본 이미지의 배경 이미지에 해당하는 x, y 좌표의 픽셀값(Pb(x, y))에서 제품이 로딩된 이미지에 해당하는 x, y 좌표의 픽셀값(Pp(x, y))을 차감 후 픽셀차이 절대값(Pa(x, y))을 산출할 수 있다.Here, the masking image extraction unit 120 is a pixel value of x, y coordinates corresponding to the image loaded with the product in the pixel value (P b (x, y)) of x, y coordinates corresponding to the background image of the original image After subtracting (P p (x, y)), the pixel difference absolute value (P a (x, y)) can be calculated.
마스킹 이미지 추출부(120)는 상기 픽셀차이 절대값(Pa(x, y))이 "0"보다 큰지 여부를 비교한다(S312).The masking image extraction unit 120 compares whether or not the pixel difference absolute value P a (x, y) is greater than “0” (S312).
이때, 마스킹 이미지 추출부(120)는 상기 비교 결과 절대값(Pa(x, y))이 "0"보다 크면(S112; 예), 제품 마스크 이미지에 해당하는 x, y 좌표의 픽셀값(Pm(x, y))으로 판정한다(S313). At this time, the masking image extraction unit 120, if the absolute value (P a (x, y)) as a result of the comparison is greater than “0” (S112; Yes), the pixel values of the x and y coordinates corresponding to the product mask image ( P m (x, y)) is determined (S313).
반면, 마스킹 이미지 추출부(120)는 상기 비교 결과 절대값(Pa(x, y))이 "0"보다 크지 않으면(S112; 아니오), 제품 마스크 이미지에 해당하지 않는 것으로 판정한다(S314).On the other hand, if the absolute value (P a (x, y)) as a result of the comparison is not greater than “0” (S112; No), the masking image extraction unit 120 determines that it does not correspond to the product mask image (S314). .
한편, 도 9는 본 발명의 실시예에 따른 마스킹된 제품 이미지를 생성하는 방법을 나타낸 흐름도이다.Meanwhile, FIG. 9 is a flowchart illustrating a method of generating a masked product image according to an embodiment of the present invention.
도 9를 참조하면, 본 발명의 실시예에 따른 마스킹 이미지 추출부(120)는 제품 마스크 이미지에 해당하는 x, y 좌표의 픽셀값(Pm(x, y))이 "0"과 같은지 여부에 따라 마스킹된 제품 이미지를 정의하는 절차를 수행한다(S410).Referring to FIG. 9 , the masking image extraction unit 120 according to an embodiment of the present invention determines whether a pixel value (P m (x, y)) of x and y coordinates corresponding to a product mask image is equal to “0”. A procedure for defining a masked product image is performed according to (S410).
이 때, 마스킹 이미지 추출부(120)는 상기 제품 마스크 이미지에 해당하는 x, y 좌표의 픽셀값(Pm(x, y))이 "0"과 같으면(S410; 예), 마스킹된 제품 이미지 내의 x, y 좌표의 픽셀값(Pmp(x, y))로 판정한다(S420).At this time, the masking image extraction unit 120, if the pixel value (P m (x, y)) of the x, y coordinates corresponding to the product mask image is equal to "0"(S410; Yes), the masked product image It is determined as the pixel value (P mp (x, y)) of the x, y coordinates in (S420).
반면, 마스킹 이미지 추출부(120)는 상기 비교 결과 제품 마스크 이미지에 해당하는 x, y 좌표의 픽셀값(Pm(x, y))이 "0"과 같지 않으면(S410; 아니오), 마스킹된 제품 이미지에 해당하지 않고 배경에 제품이 로딩된 이미지에 해당하는 x, y 좌표의 픽셀값(Pp(x, y))으로 판정한다(S430).On the other hand, the masking image extraction unit 120, as a result of the comparison, if the pixel values (P m (x, y)) of the x and y coordinates corresponding to the product mask image are not equal to "0"(S410; No), the masked It is determined as a pixel value (P p (x, y)) of x and y coordinates corresponding to an image in which the product is loaded in the background that does not correspond to the product image (S430).
이와 같이, 본 발명의 실시예에 따르면, 딥러닝 학습시 마스킹된 제품 이미지 세트를 사용하여 네트워크모델을 생성하고 이를 활용한 딥러닝 추론 시 마스킹된 제품 이미지를 사용하여 대상체를 분류함으로써 카메라 설치장소 변경 혹은 배경에 상관없이 이미지 분류 성능과 정확도를 향상시킬 수 있다.As such, according to an embodiment of the present invention, a network model is generated using a set of masked product images during deep learning learning, and a camera installation location is changed by using the masked product image to classify an object during deep learning inference using the network model. Alternatively, image classification performance and accuracy can be improved regardless of the background.
또한, 하나의 마스킹된 제품 이미지를 기준으로 다양한 각도로 변화된 마스킹된 제품 이미지 세트를 생성함으로써 제조업의 짧은 개발기간 동안 딥러닝 이미지 분석기술에 필요한 충분한 샘플 데이터를 확보할 수 있는 효과가 있다.In addition, by generating a set of masked product images changed at various angles based on one masked product image, there is an effect of securing sufficient sample data required for deep learning image analysis technology during a short development period in manufacturing.
본 발명의 실시예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.Embodiments of the present invention are not implemented only through the devices and/or methods described above, but may be implemented through a program for realizing functions corresponding to the configuration of the embodiments of the present invention, a recording medium on which the program is recorded, and the like. Also, this implementation can be easily implemented by an expert in the art to which the present invention belongs based on the description of the above-described embodiment.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements made by those skilled in the art using the basic concept of the present invention defined in the following claims are also included in the scope of the present invention. that fall within the scope of the right.
10: 카메라
20: 운영자 단말기
100: 딥러닝 이미지 분류 시스템
110: 통신부
120: 마스킹 이미지 추출부
130: 딥러닝 학습부
140: 데이터베이스부
150: 제어부10: camera
20: operator terminal
100: deep learning image classification system
110: communication department
120: masking image extraction unit
130: deep learning learning unit
140: database unit
150: control unit
Claims (20)
상기 원본 이미지를 전처리하여 마스킹된 제품 이미지를 추출하는 마스킹 이미지 추출부;
마스킹된 제품 이미지와 그 레이블을 입력 데이터로 활용한 딥러닝 학습을 수행하여 뉴럴 네트워크의 특징값이 정의된 네트워크모델을 생성하는 딥러닝 학습부;
상기 네트워크모델을 저장하는 데이터베이스부; 및
상기 제조라인의 공정 중 상기 마스킹 이미지 추출부로부터 전처리된 상기 마스킹된 제품 이미지를 수신하면 미리 학습된 상기 네트워크모델을 활용한 딥러닝 추론을 실시하여 배경에 상관 없이 동일한 대상체의 이미지를 분류하는 제어부;
를 포함하는 마스킹 기반 딥러닝 이미지 분류 시스템.a communication unit for receiving an original image from a camera installed in a manufacturing line and photographing a background of a photographing area and a subject to be classified;
a masking image extraction unit pre-processing the original image to extract a masked product image;
a deep learning learning unit that performs deep learning learning using the masked product image and its label as input data to generate a network model in which feature values of the neural network are defined;
a database unit for storing the network model; and
a control unit configured to perform deep learning inference using the previously learned network model to classify an image of the same object regardless of a background when receiving the pre-processed masked product image from the masking image extraction unit during a process of the manufacturing line;
A masking-based deep learning image classification system that includes.
상기 마스킹 이미지 추출부는
상기 분류 대상체인 제품이 로딩된 상태를 촬영한 상기원본 이미지에 제품 마스크 이미지를 적용하여 마스킹된 제품 이미지를 추출하고, 상기 마스킹된 제품 이미지에 대응되는 레이블(label)을 생성하는 마스킹 기반 딥러닝 이미지 분류 시스템.According to claim 1,
The masking image extraction unit
A masking-based deep learning image that extracts a masked product image by applying a product mask image to the original image in which the product, which is the classification target, is photographed in a loaded state, and creates a label corresponding to the masked product image classification system.
상기 마스킹 이미지 추출부는
상기 마스킹된 제품 이미지와 이에 대응되는 레이블을 세트로 구성하여 상기 딥러닝 학습부로 전달하는 마스킹 기반 딥러닝 이미지 분류 시스템.According to claim 2,
The masking image extraction unit
A masking-based deep learning image classification system that configures the masked product image and the corresponding label as a set and delivers it to the deep learning learning unit.
상기 마스킹 이미지 추출부는
상기 원본이미지의 배경 이미지에 제품이 로딩된 이미지의 각 픽셀값을 빼기 연산한 후 절대값을 취한 픽셀차이 절대값 이미지를 생성하고, 상기 픽셀차이 절대값 이미지에 대하여 이진화 연산을 수행하여 상기 제품 마스크 이미지를 생성하는 마스킹 기반 딥러닝 이미지 분류 시스템.According to any one of claims 1 to 3,
The masking image extraction unit
After subtracting each pixel value of the image loaded with the product from the background image of the original image, a pixel difference absolute value image is generated by taking an absolute value, and a binarization operation is performed on the pixel difference absolute value image to obtain the product mask. A masking-based deep learning image classification system that generates images.
상기 마스킹 이미지 추출부는
상기 제품 마스크 이미지를 생성 시 상기 원본 이미지의 배경 이미지에 해당하는 좌표의 픽셀값(Pb(x, y))에서 제품이 로딩된 이미지에 해당하는 좌표의 픽셀값(Pp(x, y))을 차감 후 픽셀차이 절대값(Pa(x, y))을 산출하고, 상기 픽셀차이 절대값(Pa(x, y))이 "0"보다 큰지 비교하여 상기 제품 마스크 이미지에 해당하는 좌표의 픽셀값(Pm(x, y))으로 판정하는 마스킹 기반 딥러닝 이미지 분류 시스템.According to claim 4,
The masking image extraction unit
When generating the product mask image, the pixel value (P p (x, y) of the coordinate corresponding to the image loaded with the product in the pixel value (P b (x, y)) of the coordinate corresponding to the background image of the original image) ) After subtracting the pixel difference absolute value (Pa (x, y)) is calculated, and the pixel difference absolute value (P a (x, y)) is greater than “0” to compare the coordinates corresponding to the product mask image A masking-based deep learning image classification system that determines with a pixel value (P m (x, y)) of
상기 마스킹 이미지 추출부는
상기 절대값(Pa(x, y))이 "0"보다 크면 상기 제품 마스크 이미지에 해당하는 좌표의 픽셀값(Pm(x, y))으로 판정하고 상기 "0"보다 크지 않으면 상기 제품 마스크 이미지에 해당하지 않는 것으로 판정하는 마스킹 기반 딥러닝 이미지 분류 시스템.According to claim 5,
The masking image extraction unit
If the absolute value (Pa (x, y)) is greater than “0”, it is determined as the pixel value (P m (x, y)) of the coordinates corresponding to the product mask image, and if it is greater than “0”, the product mask A masking-based deep learning image classification system that determines that an image does not correspond.
상기 마스킹 이미지 추출부는
상기 제품 마스크 이미지에 해당하는 좌표의 픽셀값(Pm(x, y))이 "0"과 같은지 여부에 따라 마스킹된 제품 이미지를 정의하는 마스킹 기반 딥러닝 이미지 분류 시스템.According to claim 5,
The masking image extraction unit
A masking-based deep learning image classification system that defines a masked product image according to whether the pixel value (P m (x, y)) of the coordinate corresponding to the product mask image is equal to "0".
상기 마스킹 이미지 추출부는
상기 마스킹된 제품 이미지를 추출 시 상기 제품 마스크 이미지에 해당하는 좌표의 픽셀값(Pm(x, y))이 "0"과 같으면 마스킹된 제품 이미지 내의 픽셀값으로 판정하되, 상기 "0"과 같지 않으면 상기 마스킹된 제품 이미지에 해당하지 않고 배경에 제품이 로딩된 이미지에 해당하는 좌표의 픽셀값(Pp(x, y))으로 판정하는 마스킹 기반 딥러닝 이미지 분류 시스템.According to claim 7,
The masking image extraction unit
When the masked product image is extracted, if the pixel value (P m (x, y)) of the coordinate corresponding to the product mask image is equal to "0", it is determined as a pixel value in the masked product image, and the "0" and If not equal, masking-based deep learning image classification system that does not correspond to the masked product image and determines the pixel value (P p (x, y)) of the coordinates corresponding to the image in which the product is loaded in the background.
상기 제어부는
상기 마스킹된 제품 이미지에 대하여 DNN(Deep Neural Network) 혹은 CNN(Convolutional Neural Network) 알고리즘 기반의 이미지 분류 작업을 통한 추론과정을 거쳐 제품 이미지를 분류하는 마스킹 기반 딥러닝 이미지 분류 시스템.According to claim 1,
The control unit
A masking-based deep learning image classification system for classifying product images through an inference process through image classification based on a Deep Neural Network (DNN) or Convolutional Neural Network (CNN) algorithm for the masked product image.
상기 제어부는
상기 마스킹된 제품 이미지에 대응하는 레이블을 출력하여 상기 대상체의 이미지를 분류하는 마스킹 기반 딥러닝 이미지 분류 시스템.According to claim 1,
The control unit
A masking-based deep learning image classification system for classifying the image of the object by outputting a label corresponding to the masked product image.
상기 제어부는
상기 레이블을 통해 상기 대상체의 제품이나 상기 제품의 종류, 사양, 특성 및 적용공정에서의 상태정보 중 적어도 하나를 인식하는 마스킹 기반 딥러닝 이미지 분류 시스템.According to claim 10,
The control unit
A masking-based deep learning image classification system for recognizing at least one of the product of the target object or the type, specification, characteristic, and state information in an application process of the product through the label.
상기 제어부는
하나의 마스킹된 제품 이미지를 기준으로 다양한 각도로 회전시켜 다양하게 변화된 각도의 마스킹된 제품 이미지를 추가로 생성하여 확장하고, 확장된 데이터들을 마스킹된 제품 이미지 세트로 입력하여 상기 딥러닝 학습된 네트워크모델을 생성하는 마스킹 기반 딥러닝 이미지 분류 시스템.According to claim 1,
The control unit
The deep learning trained network model A masking-based deep learning image classification system that generates
상기 제어부는
상기 딥러닝 추론 과정에서 미리 학습된 동일 네트워크모델이 없으면, 상기 딥러닝 학습부를 통해 배경에 상관 없이 하나의 마스킹된 제품 이미지를 이용한 딥러닝 학습을 통해 신규 네트워크모델을 생성하는 마스킹 기반 딥러닝 이미지 분류 시스템.According to claim 12,
The control unit
If there is no same network model pre-trained in the deep learning inference process, masking-based deep learning image classification that creates a new network model through deep learning learning using one masked product image regardless of the background through the deep learning learning unit system.
a) 촬영영역의 배경과 분류 대상체를 촬영하는 카메라로부터 수신된 원본이미지를 전처리하여 마스킹된 제품 이미지를 추출하는 단계;
b) 상기 마스킹된 제품 이미지와 그 레이블을 입력 데이터로 활용한 딥러닝 학습을 수행하여 뉴럴 네트워크의 특징값이 정의된 네트워크모델을 생성하여 데이터베이스에 저장하는 단계;
c) 상기 제조라인의 공정 중 상기 마스킹 이미지 추출부로부터 전처리된 상기 마스킹된 제품 이미지를 수신하는 단계; 및
d) 상기 마스킹된 제품 이미지를 입력 데이터로 미리 학습된 상기 네트워크모델을 활용한 딥러닝 추론을 실시하여 배경에 산관 없이 동일한 제품의 이미지를 분류하는 단계;
를 포함하는 마스킹 기반 딥러닝 이미지 분류 방법.In the masking-based deep learning image classification method of a system for classifying product images using a camera installed on a manufacturing line,
a) extracting a masked product image by pre-processing an original image received from a camera photographing a background of a photographing area and a classification object;
b) performing deep learning learning using the masked product image and its label as input data to generate a network model in which feature values of a neural network are defined and store it in a database;
c) receiving the pre-processed masked product image from the masking image extraction unit during the manufacturing line process; and
d) classifying images of the same product regardless of the background by performing deep learning inference using the masked product image as input data and using the network model learned in advance;
Masking-based deep learning image classification method comprising a.
상기 a) 단계는,
a-1) 상기 배경에서 제품이 로딩된 상태를 촬영한 상기 원본이미지에 제품 마스크 이미지를 적용하여 마스킹된 제품 이미지를 추출하는 단계;
a-2) 상기 마스킹된 제품 이미지에 대응되는 레이블(label)을 생성하는 단계; 및
a-3) 상기 딥러닝 학습을 위해 상기 마스킹된 제품 이미지와 이에 대응되는 레이블을 세트로 구성하는 단계;
를 포함하는 마스킹 기반 딥러닝 이미지 분류 방법.According to claim 14,
In step a),
a-1) extracting a masked product image by applying a product mask image to the original image in which the product is loaded in the background;
a-2) generating a label corresponding to the masked product image; and
a-3) configuring the masked product image and its corresponding label into a set for the deep learning learning;
Masking-based deep learning image classification method comprising a.
상기 a-1) 단계는,
배경 이미지에서 상기 제품이 로딩된 이미지의 각 픽셀값을 빼기 연산한 후 절대값을 취한 이미지 픽셀차이 절대값 이미지를 생성하는 단계;
상기 픽셀차이 절대값 이미지에 대하여 이진화 연산을 수행하여 상기 제품 마스크 이미지를 생성하는 단계;
를 더 포함하는 마스킹 기반 딥러닝 이미지 분류 방법.According to claim 15,
In step a-1),
Subtracting each pixel value of the image loaded with the product from the background image and then generating an image pixel difference absolute value image by taking the absolute value;
generating the product mask image by performing a binarization operation on the pixel difference absolute value image;
A masking-based deep learning image classification method further comprising a.
상기 픽셀차이 절대값 이미지를 생성하는 단계는,
상기 원본 이미지의 배경 이미지에 해당하는 좌표의 픽셀값(Pb(x, y))에서 제품이 로딩된 이미지에 해당하는 좌표의 픽셀값(Pp(x, y))을 차감 후 픽셀차이 절대값(Pa(x, y))을 산출하는 단계를 포함하는 마스킹 기반 딥러닝 이미지 분류 방법.According to claim 16,
The step of generating the pixel difference absolute value image,
Absolute pixel difference after subtracting the pixel value (P p (x, y)) of the coordinates corresponding to the image loaded with the product from the pixel value (P b (x, y)) of the coordinates corresponding to the background image of the original image A masking-based deep learning image classification method comprising calculating a value (P a (x, y)).
상기 제품 마스크 이미지를 생성하는 단계는,
상기 픽셀차이 절대값(Pa(x, y))이 "0"보다 큰지 비교하여 상기 제품 마스크 이미지에 해당하는 좌표의 픽셀값(Pm(x, y))으로 판정하는 단계를 포함하는 마스킹 기반 딥러닝 이미지 분류 방법.According to claim 17,
The step of generating the product mask image,
Comparing whether the pixel difference absolute value (P a (x, y)) is greater than “0” and determining the pixel value (P m (x, y)) of the coordinates corresponding to the product mask image Masking comprising the step of determining based deep learning image classification method.
상기 a) 단계는,
상기 마스킹된 제품 이미지를 추출 시 상기 제품 마스크 이미지에 해당하는 좌표의 픽셀값(Pm(x, y))이 "0"과 같으면 마스킹된 제품 이미지 내의 픽셀값으로 판정하되, 상기 "0"과 같지 않으면 상기 마스킹된 제품 이미지에 해당하지 않고 배경에 제품이 로딩된 이미지에 해당하는 좌표의 픽셀값(Pp(x, y))으로 판정하는 단계를 포함하는 마스킹 기반 딥러닝 이미지 분류 방법.According to any one of claims 14 to 18,
In step a),
When the masked product image is extracted, if the pixel value (P m (x, y)) of the coordinate corresponding to the product mask image is equal to "0", it is determined as a pixel value in the masked product image, and the "0" and If not equal, determining the pixel value (P p (x, y)) of the coordinates corresponding to the image in which the product is loaded in the background without corresponding to the masked product image. Method for classifying deep learning images.
상기 d) 단계는,
상기 딥러닝 추론 과정에서 미리 학습된 동일 네트워크모델이 없으면,
상기 딥러닝 학습부를 통해 배경에 상관 없이 하나의 마스킹된 제품 이미지를 이용한 딥러닝 학습을 통해 신규 네트워크모델을 생성하는 단계를 더 포함하는 마스킹 기반 딥러닝 이미지 분류 방법.
According to claim 14,
In step d),
If there is no same network model pre-learned in the deep learning inference process,
Masking-based deep learning image classification method further comprising generating a new network model through deep learning learning using one masked product image regardless of the background through the deep learning learning unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210142307A KR102623979B1 (en) | 2021-10-25 | 2021-10-25 | Masking-based deep learning image classification system and method therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210142307A KR102623979B1 (en) | 2021-10-25 | 2021-10-25 | Masking-based deep learning image classification system and method therefor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230058743A true KR20230058743A (en) | 2023-05-03 |
| KR102623979B1 KR102623979B1 (en) | 2024-01-11 |
Family
ID=86380964
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210142307A KR102623979B1 (en) | 2021-10-25 | 2021-10-25 | Masking-based deep learning image classification system and method therefor |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102623979B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07336694A (en) * | 1994-06-08 | 1995-12-22 | Matsushita Electric Ind Co Ltd | Mobile object detection method using background difference method |
| KR102202788B1 (en) * | 2020-05-04 | 2021-01-14 | 주식회사 아우라제이 | Artificial intelligence device and method for discriminating counterfeits |
| KR20210038211A (en) * | 2019-09-30 | 2021-04-07 | 오상욱 | Method of inspection using image masking operation |
-
2021
- 2021-10-25 KR KR1020210142307A patent/KR102623979B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07336694A (en) * | 1994-06-08 | 1995-12-22 | Matsushita Electric Ind Co Ltd | Mobile object detection method using background difference method |
| KR20210038211A (en) * | 2019-09-30 | 2021-04-07 | 오상욱 | Method of inspection using image masking operation |
| KR102202788B1 (en) * | 2020-05-04 | 2021-01-14 | 주식회사 아우라제이 | Artificial intelligence device and method for discriminating counterfeits |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102623979B1 (en) | 2024-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107194559B (en) | Workflow identification method based on three-dimensional convolutional neural network | |
| CN110852983A (en) | Method for detecting defects in semiconductor device | |
| Volkau et al. | Detection defect in printed circuit boards using unsupervised feature extraction upon transfer learning | |
| CN108090434B (en) | Rapid ore identification method | |
| KR102649930B1 (en) | Systems and methods for finding and classifying patterns in images with a vision system | |
| US20230201973A1 (en) | System and method for automatic detection of welding tasks | |
| JP2018506046A (en) | Method for detecting defects on the tire surface | |
| CN111095139B (en) | Method and system for detecting abnormal state of machine | |
| Variz et al. | Machine learning applied to an intelligent and adaptive robotic inspection station | |
| US20230053085A1 (en) | Part inspection system having generative training model | |
| Mazzetto et al. | Automatic classification of multiple objects in automotive assembly line | |
| WO2022229976A1 (en) | Anomaly detection using a convolutional neural network and feature based memories | |
| Thoduka et al. | Using visual anomaly detection for task execution monitoring | |
| CN112534472B (en) | Image determination device, image determination method, and recording medium for program thereof | |
| WO2022029771A1 (en) | Adaptive system and method for inspection of imaged items | |
| US20220284699A1 (en) | System and method of object detection using ai deep learning models | |
| Mumbelli et al. | An application of Generative Adversarial Networks to improve automatic inspection in automotive manufacturing | |
| CN112088387B (en) | System and method for detecting defects in an imaged article | |
| KR20230058743A (en) | Masking-based deep learning image classification system and method therefor | |
| Metzner et al. | Automated optical inspection of soldering connections in power electronics production using convolutional neural networks | |
| KR20200123324A (en) | A method for pig segmentation using connected component analysis and yolo algorithm | |
| US20220198802A1 (en) | Computer-implemental process monitoring method, device, system and recording medium | |
| Cateni et al. | Fuzzy inference systems applied to image classification in the industrial field | |
| García et al. | A configuration approach for convolutional neural networks used for defect detection on surfaces | |
| Wang et al. | HFR-video-based machinery surveillance for high-speed periodic operations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |