KR102431822B1 - Multi-faceted conveyor system and deep learning-based defect detection method using the same - Google Patents

Multi-faceted conveyor system and deep learning-based defect detection method using the same Download PDF

Info

Publication number
KR102431822B1
KR102431822B1 KR1020200119051A KR20200119051A KR102431822B1 KR 102431822 B1 KR102431822 B1 KR 102431822B1 KR 1020200119051 A KR1020200119051 A KR 1020200119051A KR 20200119051 A KR20200119051 A KR 20200119051A KR 102431822 B1 KR102431822 B1 KR 102431822B1
Authority
KR
South Korea
Prior art keywords
deep learning
defect
collected data
learning model
module
Prior art date
Application number
KR1020200119051A
Other languages
Korean (ko)
Other versions
KR20220036622A (en
Inventor
이상형
조남준
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020200119051A priority Critical patent/KR102431822B1/en
Publication of KR20220036622A publication Critical patent/KR20220036622A/en
Application granted granted Critical
Publication of KR102431822B1 publication Critical patent/KR102431822B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/36—Sorting apparatus characterised by the means used for distribution
    • B07C5/361—Processing or control devices therefor, e.g. escort memory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G37/00—Combinations of mechanical conveyors of the same kind, or of different kinds, of interest apart from their application in particular machines or use in particular manufacturing processes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00—Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/08—Control devices operated by article or material being fed, conveyed or discharged
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
    • B65G2201/02—Articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2207/00—Indexing codes relating to constructional details, configuration and additional features of a handling device, e.g. Conveyors
    • B65G2207/14—Combination of conveyors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 챔버(110)의 내측으로 위치되며, 단차 통과 시에 다면체인 이송물(P)의 일측면이 다른면으로 변경되도록 서로 단차가 형성되는 다수의 컨베이어 벨트(120)를 포함하는 이송 챔버 모듈(100); 및 상기 챔버(110)의 내측으로 상기 다수의 컨베이어 벨트(120)마다 일측으로 위치되는 촬영 모듈(200); 를 포함하고, 상기 다수의 컨베이어 벨트(120)는 이송물(P)이 유입되며, 경사지도록 형성되는 제1 컨베이어 벨트(121);이송물(P)이 유출되는 제3 컨베이어 벨트(123); 및 상기 제1 컨베이어 벨트(121)와 상기 제3 컨베이어 벨트(123)의 사이에 다수로 위치되어 이송물(P)을 이송하고, 경사지도록 형성되는 제2 컨베이어 벨트(122); 를 포함하고, 이송물(P)의 불량을 판단하는 제어 모듈(300); 및 상기 챔버(110)는 공간부(111)를 포함하고, 제어 모듈(300)이 이송물(P)을 불량으로 판단하면 상기 공간부(111)로 이송물(P)을 이동시키는 불량 제거 에어 모듈(400); 를 포함하는, 시스템에 관한 것이다.The present invention is a transfer chamber including a plurality of conveyor belts 120 that are located inside the chamber 110 and are formed with a step difference from each other so that one side of the polyhedron to be transported P is changed to the other side when the step passes. module 100; and a photographing module 200 positioned to one side for each of the plurality of conveyor belts 120 inside the chamber 110; Including, wherein the plurality of conveyor belts 120 are transported (P) is introduced, the first conveyor belt 121 is formed to be inclined; and a plurality of second conveyor belts 122 positioned between the first conveyor belt 121 and the third conveyor belt 123 to transport the transported material P and inclinedly formed; Including, the control module 300 for determining the defect of the conveyed material (P); and the chamber 110 includes a space part 111 , and when the control module 300 determines that the transported object P is defective, defective removal air for moving the transported object P to the space part 111 . module 400; It relates to a system comprising:

Description

다면 관측 컨베이어 시스템과 이를 이용한 딥러닝 기반 불량 검출 방법{Multi-faceted conveyor system and deep learning-based defect detection method using the same}Multi-faceted conveyor system and deep learning-based defect detection method using the same}

본 발명은 다면 관측 컨베이어 시스템과 이를 이용한 딥러닝 기반 불량 검출 방법에 관한 것이다.The present invention relates to a multi-faceted observation conveyor system and a deep learning-based defect detection method using the same.

컨베이어 시스템에서 촬상장치를 이용하여 제품을 촬영하고, 불량 여부를 판단하는 것에 대하여 개발되어 왔고, 종래의 불량을 검출하는 컨베이어 시스템은 하나의 컨베이어 상부 또는 하부에 카메라를 설치하여 1면의 불량을 검출하거나 좌/우에 카메라를 추가 설치하여 3면의 불량을 검출하는 시스템이었다.Conveyor systems have been developed for photographing products using an imaging device and judging whether they are defective, and the conventional conveyor system for detecting defects detects defects on one side by installing a camera on the upper or lower part of a conveyor. It was a system that detects defects on three sides by installing additional cameras on the left and right sides.

따라서, 종래에는 불량 검출을 위해 일정 간격으로 분리되어 있는 이송물들을 대상으로 하였고, 불량 검출 대상이 되는 이송물들이 서로 붙어 있는 경우는 고려하지는 않았다.Therefore, in the prior art, for defect detection, the transferred objects separated at regular intervals were targeted, and the case where the transfer objects, which were the object of defect detection, were attached to each other were not considered.

예를 들어, 일본공개특허문헌 제2020-11182호는 상품 검사 장치, 상품 검사 방법 및 상품 검사 프로그램에 관한 것으로, 컨베이어에 의해 이송되는 다수의 상품를 촬영하는 카메라와 화상 데이터에 대하여 미리 정해진 선별 기준에 기반하여 불량여부를 판단하는 판정부를 포함하나, 상품의 다수의 면의 불량을 판단하기는 어려우며 상품이 일정 간격 분리되어 있어 이송물들이 서로 붙어 있는 경우는 고려하지 않았다.For example, Japanese Patent Laid-Open Publication No. 2020-11182 relates to a product inspection apparatus, a product inspection method, and a product inspection program, and relates to a camera for photographing a plurality of products transported by a conveyor and image data based on a predetermined selection criterion. It includes a judging unit that judges whether or not the product is defective based on it, but it is difficult to judge the defects of multiple sides of the product, and the case where the conveyed materials are attached to each other because the product is separated by a certain interval is not considered.

또한, 종래에는 컨베이어 벨트를 통해 이송 중인 이송물의 불량 검출 시 비전(카메라)로 검출 시 조명에 영향을 많이 받는 구조로 되어 있는데, 이 경우 외부 요소(먼지, 이물질, 벌레 등)가 조명에 영향을 미치는 바, 불량이 발생할 가능성 있었다.In addition, in the prior art, when detecting a defect in a transported object being transported through a conveyor belt, it has a structure that is greatly affected by lighting when detected by a vision (camera). As a result, there was a possibility that a defect could occur.

예를 들어, 일본공개특허문헌 제2019-184380호는 촬상 장치 및 촬상 장치를 이용한 검사 시스템에 관한 것으로, 복수의 컨베이어 벨트를 포함하고 다수의 카메라가 하나의 이송물의 다면을 촬영하여 불량을 판단할 수 있으나, 조명에 영향을 고려하지 않아 불량이 발생할 가능성이 있으며, 다수의 카메라가 하나의 이송물의 다면을 촬영하여 불량을 판단하는 것으로 상품이 일정 간격 분리되어 있어 이송물들이 서로 붙어 있는 경우는 고려하지 않았다.For example, Japanese Unexamined Patent Publication No. 2019-184380 relates to an imaging device and an inspection system using the imaging device, and includes a plurality of conveyor belts and a plurality of cameras to photograph multiple surfaces of a single transported object to determine defects. However, there is a possibility that defects may occur because the effect of lighting is not taken into account. Multiple cameras take multiple sides of one transported object to judge the defects. Consider the case that the transported objects are attached to each other because the goods are separated by a certain interval. Did not do it.

(특허문헌 1) 일본공개특허문헌 제2020-11182호(Patent Document 1) Japanese Patent Application Laid-Open No. 2020-11182

(특허문헌 2) 일본공개특허문헌 제2019-184380호(Patent Document 2) Japanese Laid-Open Patent Document No. 2019-184380

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것이다. The present invention has been devised to solve the above problems.

구체적으로, 본 발명은 챔버 형태의 컨베이어 시스템으로 서로 밀착되어 나올 수도 있는 대상 이송물의 다면을 관측하여 불량을 검출하고 제거하기 위함이다.Specifically, the present invention is to detect and remove defects by observing multiple surfaces of a target transported object that may come out in close contact with each other in a chamber-type conveyor system.

또한, 카메라에 의해 이송물을 촬영할 때, 외부 조명의 영향을 받지 않고 광의 세기를 일정하게 유지하기 위함이다.In addition, when photographing a transported object by a camera, it is to keep the intensity of light constant without being affected by external lighting.

또한, 딥러닝 모델로 불량 데이터를 학습하여 불량의 종류, 불량 위치 검출 이 가능하고 이를 현장에 설치하여 지속적인 학습할 수 있다.In addition, by learning bad data with a deep learning model, it is possible to detect the type of defect and the location of the defect, and it can be installed in the field for continuous learning.

또한, 딥러닝 모델로 학습하되, 작업자의 판단을 포함하여 새로운 불량의 종류를 추가로 학습하기 위함이다.In addition, it is to learn with the deep learning model, but to additionally learn new types of defects including the judgment of the operator.

상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예는, 챔버(110)의 내측으로 위치되며, 단차 통과 시에 다면체인 이송물(P)의 일측면이 다른면으로 변경되도록 서로 단차가 형성되는 다수의 컨베이어 벨트(120)를 포함하는 이송 챔버 모듈(100); 및 상기 챔버(110)의 내측으로 상기 다수의 컨베이어 벨트(120)마다 일측으로 위치되는 촬영 모듈(200); 를 포함하고, 상기 다수의 컨베이어 벨트(120)는 이송물(P)이 유입되며, 경사지도록 형성되는 제1 컨베이어 벨트(121);이송물(P)이 유출되는 제3 컨베이어 벨트(123); 및 상기 제1 컨베이어 벨트(121)와 상기 제3 컨베이어 벨트(123)의 사이에 다수로 위치되어 이송물(P)을 이송하고, 경사지도록 형성되는 제2 컨베이어 벨트(122); 를 포함하고, 이송물(P)의 불량을 판단하는 제어 모듈(300); 및 상기 챔버(110)는 공간부(111)를 포함하고, 제어 모듈(300)이 이송물(P)을 불량으로 판단하면 상기 공간부(111)로 이송물(P)을 이동시키는 불량 제거 에어 모듈(400); 를 포함하는 시스템을 제공한다.An embodiment of the present invention for solving the above problems is located inside the chamber 110, and a step is formed so that one side of the polyhedron to be transported P is changed to the other side when the step passes. a transfer chamber module 100 comprising a plurality of conveyor belts 120 being; and a photographing module 200 positioned to one side for each of the plurality of conveyor belts 120 inside the chamber 110; Including, wherein the plurality of conveyor belts 120 are transported (P) is introduced, the first conveyor belt 121 is formed to be inclined; and a plurality of second conveyor belts 122 positioned between the first conveyor belt 121 and the third conveyor belt 123 to transport the transported material P and inclinedly formed; Including, the control module 300 for determining the defect of the conveyed material (P); and the chamber 110 includes a space part 111 , and when the control module 300 determines that the transported object P is defective, defective removal air for moving the transported object P to the space part 111 . module 400; It provides a system comprising

일 실시예는, 상기 제어 모듈(300)은, 초기 학습 데이터를 딥러닝 학습하여 미리 생성되는 딥러닝 모델(310); 상기 촬영 모듈(200)에서 촬영된 수집 데이터를 불량인지 판단하는 불량 판단부(320); 및 상기 촬영 모듈(200)에서 촬영된 수집 데이터가 상기 불량 판단부(320)에서 불량으로 판단되면, 상기 수집 데이터와 상기 초기 학습 데이터를 비교하여 유사도를 기준으로 상기 딥러닝 모델(310)을 더 학습시키는 학습부(330); 를 포함할 수 있다.In one embodiment, the control module 300 includes a deep learning model 310 generated in advance by deep learning learning initial training data; a failure determination unit 320 for determining whether the collected data photographed by the photographing module 200 is defective; And when the collected data photographed by the photographing module 200 is determined to be defective by the failure determination unit 320, the deep learning model 310 is further compared with the collected data and the initial learning data based on the degree of similarity. a learning unit 330 for learning; may include.

일 실시예는, 상기 유사도는 상기 수집 데이터를 데이터 임베딩한 벡터값과 상기 초기 학습 데이터를 데이터 임베딩한 벡터값의 차이이고, 상기 학습부(330)는 상기 유사도가 기설정된 값 미만이면 상기 수집 데이터로 상기 딥러닝 모델을 더 학습시킬 수 있다.In an embodiment, the similarity is a difference between a vector value obtained by embedding the collected data and a vector value obtained by embedding the initial training data, and the learning unit 330 is configured to determine if the similarity is less than a preset value. to further train the deep learning model.

일 실시예는, 상기 불량 판단부(320)는 상기 수집 데이터에서 불량이 미검출되면, 상기 불량이 미검출된 수집 데이터를 삭제할 수 있다.In an embodiment, when a defect is not detected in the collection data, the failure determination unit 320 may delete the collected data in which the failure is not detected.

일 실시예는, 상기 학습부(330)는 상기 유사도가 기설정된 값 이상이면 상기 수집 데이터를 삭제할 수 있다.In an embodiment, the learning unit 330 may delete the collected data when the similarity is greater than or equal to a preset value.

일 실시예는, 상기 딥러닝 모델(310)로부터 이송물(P)이 불량으로 판단되면, 상기 불량 제거 에어 모듈(400)에서 에어를 분사하도록 제어하는 제어부(340); 를 더 포함할 수 있다.In one embodiment, when the transfer object (P) is determined to be defective from the deep learning model 310, the control unit 340 for controlling the air to be sprayed from the defect removal air module 400; may further include.

일 실시예는, 상기 촬영 모듈(200)은 각각 다수의 카메라(210)와 상기 카메라(210)의 일측으로 위치되는 다수의 LED(220)를 포함하고, 상기 LED(220)의 일측으로 위치되는 분진 제거 에어부(230); 및 상기 챔버(110)의 외측으로 위치되어 내부와 연통되는 도어(500); 를 더 포함할 수 있다.In one embodiment, the photographing module 200 includes a plurality of cameras 210 and a plurality of LEDs 220 positioned on one side of the camera 210, respectively, and is positioned on one side of the LED 220 Dust removal air unit 230; and a door 500 positioned outside the chamber 110 and communicating with the inside; may further include.

일 실시예는, 시스템을 제어하는 방법으로서, (a) 상기 제어 모듈(300)은 상기 초기 학습 데이터를 딥러닝 학습하여 상기 딥러닝 모델(310)을 생성하는 단계;(b) 상기 제어 모듈(300)은 상기 촬영 모듈(200)에서 촬영된 수집 데이터를 수집하는 단계; 및 (c) 상기 불량 판단부(320)는 상기 수집 데이터에서 불량이 검출되는지 판단하고, 상기 제어 모듈(300)은 상기 수집 데이터와 상기 초기 학습 데이터와 비교하여 유사도를 기준으로 상기 딥러닝 모델(310)을 더 학습시키는 단계; 및 (d) 상기 딥러닝 모델(310)은 상기 (b) 단계 및 (c)단계를 반복하여 더 학습되고, 이송물(P)의 불량여부를 판단하는 단계; 를 포함하는 방법을 제공한다.One embodiment is a method of controlling a system, (a) the control module 300 deep learning the initial training data to generate the deep learning model 310; (b) the control module ( 300) collecting the collected data captured by the photographing module 200; and (c) the failure determining unit 320 determines whether a failure is detected in the collected data, and the control module 300 compares the collected data with the initial training data to compare the deep learning model ( 310) further learning; And (d) the deep learning model 310 is further learned by repeating the steps (b) and (c), and determining whether the transfer object (P) is defective; provides a method comprising

일 실시예는, 상기 (c)단계는, (c1) 상기 불량 판단부(320)가 상기 수집 데이터를 불량으로 판단하면, 상기 제어 모듈(300)은 상기 수집 데이터를 데이터 임베딩한 벡터값과 상기 초기 학습 데이터를 데이터 임베딩한 벡터값의 차이인 유사도를 판단하는 단계;(c2) 상기 제어 모듈(300)은 상기 판단된 유사도가 기설정된 값 이상이면, 상기 수집데이터를 삭제하는 단계; 및 (c3) 상기 제어 모듈(300)은 상기 판단된 유사도가 기설정된 값 미만이면, 상기 수집 데이터로 상기 딥러닝 모델을 더 학습시키는 단계; 를 포함할 수 있다.In one embodiment, in the step (c), (c1) when the failure determining unit 320 determines that the collected data is defective, the control module 300 performs the data embedding of the collected data with the vector value and the Determining the similarity that is the difference between the vector values of the data embedding the initial learning data; (c2) if the determined similarity is greater than or equal to a preset value, deleting the collected data; And (c3) the control module 300, if the determined similarity is less than a preset value, further training the deep learning model with the collected data; may include.

일 실시예는, 상기 (d)단계는, (d1) 상기 딥러닝 모델(310)은 상기 (b) 단계 및 (c)단계를 반복하여 학습 데이터를 학습하는 단계; 및 (d2) 상기 제어부(340)는 이송물(P)이 불량이면 상기 불량 제거 에어 모듈(400)에서 에어를 분사하도록 제어하는 단계; 를 포함할 수 있다.In one embodiment, the step (d) includes: (d1) learning the training data by repeating the steps (b) and (c) in the deep learning model 310; and (d2) controlling, by the control unit 340, to spray air from the defect removal air module 400 if the conveyed material P is defective; may include.

본 발명에 따라, 다음과 같은 효과가 달성된다. According to the present invention, the following effects are achieved.

본 발명은 단차가 있는 다수의 컨베이어 벨트를 통해 이송물을 이송하면서 이송물을 촬영하는 바 다면 관측 가능하며, 불량이 있는 이송물의 경우에는 불량 제거 에어 모듈을 통해 신속하게 제거할 수 있다.According to the present invention, it is possible to observe the sea by photographing the conveyed material while conveying the conveyed material through a plurality of conveyor belts having a step difference, and in the case of the conveyed material having a defect, it can be quickly removed through the defect removal air module.

또한, 챔버 형태로 이송물을 이송하고, 챔버의 내측으로 설치되는 카메라의 주변으로 LED를 설치하는 바 시간과 날씨 등 주변 환경에 따른 조명 변화에 영향을 받지 않고, 분진 제거 모듈을 통해 카메라 렌즈를 청결하게 유지할 수 있어 촬영된 데이터에 이물질을 배제할 수 있어, 불량 검출의 정확도를 증대시키고 판단 시간을 단축시킬 수 있는 효과가 발휘된다.In addition, the transported material is transported in the form of a chamber, and LEDs are installed around the camera installed inside the chamber. Since it can be kept clean, foreign substances can be excluded from the photographed data, thereby increasing the accuracy of defect detection and shortening the judgment time.

또한, 딥러닝 모델로 학습하되, 작업자의 판단을 포함하여 기존에 학습되지않은 새로운 불량의 종류를 추가로 학습하여 불량 검출의 정확도를 증대시킬 수 있는 효과가 발휘된다.In addition, although learning with a deep learning model, it is possible to increase the accuracy of defect detection by additionally learning new types of defects that have not been previously learned, including the judgment of the operator.

또한, 챔버 제작 시 소량의 데이터로 딥러닝 기반 불량 검출 학습을 진행하고, 현장 설치 후 지속적으로 딥러닝 기반 불량 검출을 위한 학습 데이터를 수집할 수 있어, 불량 검출의 정확도를 증대시킬 수 있고, 딥러닝 모델로 불량을 학습하여 불량의 종류, 불량이 발생한 위치까지 검출 가능한 효과가 발휘된다.In addition, deep learning-based defect detection learning is carried out with a small amount of data when manufacturing the chamber, and learning data for deep learning-based defect detection can be continuously collected after field installation, so that the accuracy of defect detection can be increased. By learning the defect with the learning model, the effect of detecting the type of defect and the location where the defect occurred is exhibited.

도 1은 본 발명에 따른 시스템을 설명하기 위한 도면이다.
도 2은 본 발명에 따른 불량 제거 에어 모듈을 설명하기 위한 도면이다.
도 3은 본 발명에 따라 딥러닝 모델이 더 학습되는 과정을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 시스템을 제어하는 것을 설명하기 위한 모식도이다.1 is a view for explaining a system according to the present invention.
2 is a view for explaining a defect removal air module according to the present invention.
3 is a diagram for explaining a process in which a deep learning model is further learned according to the present invention.
4 is a schematic diagram for explaining controlling the system according to the present invention.

몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다.In some cases, well-known structures and devices may be omitted or shown in block diagram form focusing on core functions of each structure and device in order to avoid obscuring the concept of the present invention.

또한, 본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In addition, in describing the embodiments of the present invention, if it is determined that a detailed description of a well-known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the content throughout this specification.

도 1 및 도 2를 참조하여, 본 발명에 따른 시스템을 설명한다.1 and 2, a system according to the present invention will be described.

본 발명에 따른 시스템은 이송 챔버 모듈(100), 촬영 모듈(200), 제어 모듈(300), 불량 제거 에어 모듈(400), 도어(500)를 포함한다.The system according to the present invention includes a transfer chamber module 100 , a photographing module 200 , a control module 300 , a defect removal air module 400 , and a door 500 .

이송 챔버 모듈(100)은 본 발명에 따른 이송물(P)이 이송되는 공간을 포함한다.The transfer chamber module 100 includes a space in which the transfer material P according to the present invention is transferred.

이송 챔버 모듈(100)은 챔버(110), 컨베이어 벨트(120), 이탈 방지 레일(130), 지지부(140)를 포함한다.The transfer chamber module 100 includes a chamber 110 , a conveyor belt 120 , a departure prevention rail 130 , and a support unit 140 .

챔버(110)는 내측으로 후술하는 다수의 컨베이어 벨트(120)가 위치된다.A plurality of conveyor belts 120 to be described later are located inside the chamber 110 .

챔버(110)는 지면으로부터 이격되어 지지될 수 있으며, 후술하는 지지부(140)에 의해 지지될 수 있다.The chamber 110 may be supported by being spaced apart from the ground, and may be supported by a support unit 140 to be described later.

챔버(110)의 일측으로부터 이송물(P)이 유입되어, 타측으로 이송물(P)이 유출되어 이송된다.The conveyed material P is introduced from one side of the chamber 110, and the conveyed material P is discharged and conveyed to the other side.

챔버(110)의 상측으로는 챔버(110)의 내측으로 이송되는 이송물(P)을 촬영하기 위한 촬영 모듈(200)이 설치될 수 있다.A photographing module 200 for photographing the transported material P transferred to the inside of the chamber 110 may be installed above the chamber 110 .

챔버(110)의 내측으로는 불량 제거 에어 모듈(400)이 설치 될 수 있다.A defect removal air module 400 may be installed inside the chamber 110 .

이 때, 챔버(110)의 내측에서 이송되는 이송물(P)은 촬영 모듈(200)로 촬영되고 제어 모듈(300)로부터 불량여부가 판단되어, 불량인 경우, 불량 제거 에어 모듈(400)에 의해 외부로 이송될 수 있다. 자세한 설명은 후술한다. At this time, the conveyed material P transferred from the inside of the chamber 110 is photographed by the photographing module 200 and it is determined whether or not defective from the control module 300. can be transported to the outside. A detailed description will be given later.

챔버(110)의 일면에는 공간부(111)가 형성될 수 있다.A space 111 may be formed on one surface of the chamber 110 .

공간부(111)는 후술하는 불량 제거 에어 모듈(400)에서 에어가 분사되면 이송물(P)이 외부로 이동될 수 있도록 챔버(110)의 일면에 형성된다.The space part 111 is formed on one surface of the chamber 110 so that when air is injected from the defect removal air module 400 to be described later, the transported material P can be moved to the outside.

이 때, 공간부(111)는 후술하는 제3 컨베이어 벨트(123)의 측면으로 외부와 연통되도록 형성될 수 있으나 이에 제한되는 것은 아니고, 불량 제거 에어 모듈(400)로부터 이송물(P)이 이동될 수 있도록 형성되면 족하다.At this time, the space portion 111 may be formed to communicate with the outside through the side surface of the third conveyor belt 123 to be described later, but is not limited thereto, and the conveyed material P is moved from the defect removal air module 400 . It is sufficient if it is formed so that it can be

이 때, 챔버(110)에의 내측으로 이송물(P)이 이송되는 바, 외부 요소에 의한 불량 발생을 방지할 수 있다.At this time, since the transferred material P is transferred to the inside of the chamber 110 , it is possible to prevent the occurrence of defects due to external elements.

컨베이어 벨트(120)는 챔버(110)의 내측으로 설치하여, 이송물(P)을 이송한다.The conveyor belt 120 is installed inside the chamber 110 to transport the conveyed material P.

컨베이어 벨트(120)는 다수의 라인으로 형성되어, 다수의 이송물(P)을 이송할 수 있다.Conveyor belt 120 is formed in a plurality of lines, it is possible to transport a plurality of transport (P).

컨베이어 벨트(120)는 챔버(1110) 내에 다수 개로 위치될 수 있다. A plurality of conveyor belts 120 may be positioned in the chamber 1110 .

컨베이어 벨트(120)는 제1 컨베이어 벨트(121), 제2 컨베이어 벨트(122) 및 제3 컨베이어 벨트(123)를 포함한다.The conveyor belt 120 includes a first conveyor belt 121 , a second conveyor belt 122 , and a third conveyor belt 123 .

제1 컨베이어 벨트(121)는 이송물(P)이 유입되며, 경사지도록 형성된다.The first conveyor belt 121 receives the transported material P and is formed to be inclined.

제1 컨베이어 벨트(121)에는 타이밍 나사 드라이브가 위치될 수 있고, 유입되는 이송물(P)을 각각의 라인으로 분리할 수 있다.A timing screw drive may be positioned on the first conveyor belt 121 , and the incoming conveyed material P may be separated into respective lines.

제2 컨베이어 벨트(122)는 제1 컨베이어 벨트(121)와 제3 컨베이어 벨트(123)의 사이에 다수로 위치되어 이송물(P)을 이송하고, 경사지도록 형성된다.A plurality of second conveyor belts 122 are positioned between the first conveyor belt 121 and the third conveyor belt 123 to transport the transported material P, and are formed to be inclined.

이 때, 제2 컨베이어 벨트(122)는 다수로 위치되며, 전술한 이송물(P)의 면의 개수에 따라 위치되는 개수가 달라질 수도 있다. At this time, the second conveyor belt 122 is located in plurality, and the number of positions may vary depending on the number of surfaces of the above-described conveying material P.

제3 컨베이어 벨트(123)는 이송물(P)이 유출되며, 지면과 수평인 방향으로 형성될 수 있다.The third conveyor belt 123 may be formed in a direction in which the transported material P flows out and is horizontal to the ground.

또한, 컨베이어 벨트(120)는 다면체인 이송물(P)의 일측면이 다른면으로 변경되도록 서로 단차가 형성되도록 위치될 수 있다.In addition, the conveyor belt 120 may be positioned so that a step is formed with each other so that one side of the polyhedron to be transported P is changed to the other side.

컨베이어 벨트(120)는 서로 단차가 형성되도록 위치되는 바, 이송물(P)이 뒤집히면서 이송되어 이송물(P)의 다면을 검사할 수 있다. 즉, 이송물(P)은 다수의 컨베이어 벨트를 따라 이동하면서 단차로 인해 다면이 순차로 상측으로 위치될 수 있는 바, 다면이 촬영 모듈(200)에 의해 촬영될 수 있다. 이에 따라, 촬영 모듈(200)은 이송물(P)의 다면을 모두 검사할 수 있어, 불량여부를 정확하게 판단할 수 있다.Conveyor belt 120 is positioned so that a step is formed from each other, so that the transported object P is transferred while being turned over, so that multiple surfaces of the transported object P can be inspected. That is, the transported object P may be sequentially positioned upward due to a step while moving along a plurality of conveyor belts, and the multiple surfaces may be photographed by the photographing module 200 . Accordingly, the imaging module 200 can inspect all of the multiple surfaces of the transported object P, so that it is possible to accurately determine whether there is a defect.

컨베이어 벨트(120)의 경사와 컨베이어 벨트(120) 간의 단차는 이송물(P)의 종류, 크기, 면의 개수에 따라 조정될 수 있다.The inclination of the conveyor belt 120 and the level difference between the conveyor belt 120 may be adjusted according to the type, size, and number of surfaces of the conveyed object P.

또한, 컨베이어 벨트(120) 간의 단차와 경사는, 제1 컨베이어 벨트(121)와 제2 컨베이어 벨트(122)에서 이송물(P)이 뒤집어지는지 컨베이어 벨트(120)를 동작하여 단차를 결정될 수 있다. 즉, 제1 컨베이어 벨트(121)와 제2 컨베이어 벨트(122)의 경사와 단차를 조정하면서 이송물(P)이 뒤집어지면, 나머지 제2 컨베이어 벨트(122)와 제3 컨베이어 벨트(123)의 경사와 단차를 이와 동일하게 결정할 수 있다.In addition, the level difference and the inclination between the conveyor belts 120 may be determined by operating the conveyor belt 120 whether the conveyed object P is turned over in the first conveyor belt 121 and the second conveyor belt 122 . . That is, when the conveyed object P is turned over while adjusting the inclination and step difference of the first conveyor belt 121 and the second conveyor belt 122 , the remaining second conveyor belt 122 and the third conveyor belt 123 are The slope and the step difference can be determined in the same way.

이 때, 다수의 컨베이어 벨트(120)는 후술하는 이탈 방지 레일(130)에 의해 결합되는 바, 이송물(P)이 뒤집힐 때에도 컨베이어 벨트(120)의 외측으로 이탈을 방지할 수 있다.At this time, since the plurality of conveyor belts 120 are coupled by a departure prevention rail 130 to be described later, it is possible to prevent separation of the conveyor belt 120 outside even when the transported object P is turned over.

이 때, 다면은 6면을 의미할 수도 있으나 이에 제한되는 것은 아니고, 이송물(P)에 형성되는 면의 개수에 따라 달라질 수 있다.At this time, the multi-face may mean six surfaces, but is not limited thereto, and may vary depending on the number of surfaces formed on the conveying material P.

또한, 컨베이어 벨트(120)에는 타이밍 나사 드라이브를 위치시킬 수 있다.Also, a timing screw drive may be positioned on the conveyor belt 120 .

타이밍 나사 드라이브는 컨베이어 벨트(120)의 상측으로 형성되어 이송물(P) 사이의 간격을 벌려줄 수 있다.The timing screw drive may be formed on the upper side of the conveyor belt 120 to widen the gap between the objects P to be transported.

타이밍 나사 드라이브를 통해 이송물(P)이 서로 붙어 있어 불량 검출 및 불량 제거가 어려운 것을 방지할 수 있다.Through the timing screw drive, it is possible to prevent the difficulties in detecting and removing defects because the objects P are attached to each other.

이탈 방지 레일(130)은 다수의 컨베이어 벨트(120)의 사이에 위치된다. The departure prevention rail 130 is positioned between the plurality of conveyor belts 120 .

이탈 방지 레일(130)은 다수의 컨베이어 벨트(120)의 사이에 위치되어, 이송물(P)이 뒤집힐 때 이송물(P)이 외측으로 이탈되는 것을 방지할 수 있다.The departure prevention rail 130 is positioned between the plurality of conveyor belts 120 to prevent the transported object P from being separated to the outside when the transported object P is turned over.

이탈 방지 레일(130)은 컨베이어 벨트(120)로부터 외측으로 형성되어, 이송물(P)을 위치시킬 수 있는 크기로 형성될 수 있으나 이에 제한되는 것은 아니다.The departure prevention rail 130 is formed outside from the conveyor belt 120 and may be formed in a size capable of locating the transported material P, but is not limited thereto.

이 때, 이탈 방지 레일(130)은 다수의 컨베이어 벨트(120)의 사이로, 챔버(110)와 컨베이어 벨트(120)사이로 위치될 수 있으나 이에 제한되는 것은 아니다.At this time, the departure prevention rail 130 may be located between the plurality of conveyor belts 120 and between the chamber 110 and the conveyor belt 120 , but is not limited thereto.

이 때, 이탈 방지 레일(130)의 형상 및 위치는 도시된 바에 제한되는 것은 아니다. At this time, the shape and position of the departure prevention rail 130 is not limited to the illustrated bar.

지지부(140)는 챔버(110)의 하측으로 위치되어, 챔버(110)를 지지할 수 있다.The support unit 140 may be positioned below the chamber 110 to support the chamber 110 .

이 때, 지지부(140)의 형상과 위치는 도시된 바에 제한되는 것은 아니다.At this time, the shape and position of the support unit 140 is not limited to the illustrated bar.

촬영 모듈(200)은 챔버(110)의 일측으로 위치되어 챔버(110)의 내측을 이동하는 이송물(P)을 촬영한다.The photographing module 200 is positioned on one side of the chamber 110 to photograph the transported object P moving inside the chamber 110 .

이 때, 촬영 모듈(200)은 챔버(110)의 상측, 좌측, 우측으로 위치될 수 있으나, 이송물(P)을 촬영할 수 있는 위치이면 이에 제한되는 것은 아니다.At this time, the photographing module 200 may be located on the upper side, the left side, and the right side of the chamber 110 , but it is not limited thereto as long as it is a position capable of photographing the transported object (P).

촬영 모듈(200)은 다수의 컨베이어 벨트(120)마다 일측으로 위치된다. 즉, 촬영 모듈(200)은 한 개의 컨베이어 벨트(120) 마다 위치되어, 해당 컨베이어 벨트(120)를 따라 이동하는 이송물(P)의 각기 다른 면을 각각 촬영할 수 있다.The photographing module 200 is positioned on one side for each of the plurality of conveyor belts 120 . That is, the photographing module 200 may be positioned for each one conveyor belt 120 to photograph different surfaces of the transported object P moving along the corresponding conveyor belt 120 .

촬영 모듈(200)은 후술하는 제어 모듈(300)로 촬영된 수집데이터를 전송한다. 이에 대하여는 후술한다.The photographing module 200 transmits the photographed collected data to the control module 300 which will be described later. This will be described later.

촬영 모듈(200)은 카메라(210)를 포함할 수 있고, LED(220)를 포함한다.The photographing module 200 may include a camera 210 and includes an LED 220 .

LED(220)는 카메라(210)의 주변에 위치되어, 카메라(210)의 주변의 조명의 영향을 배제할 수 있으며, 카메라(210)가 촬영할 때의 발생되는 광의 영향을 배제할 수 있고, 이송물(P)에 일정한 광의 세기를 유지할 수 있다.LED 220 is located in the periphery of the camera 210, it is possible to exclude the influence of the illumination of the periphery of the camera 210, it is possible to exclude the effect of the light generated when the camera 210 is taken, and transfer It is possible to maintain a constant light intensity in the water (P).

이 때, LED(220)는 카메라(210)의 둘레에 위치될 수 있으나, 이에 제한되는 것은 아니다.At this time, the LED 220 may be positioned around the camera 210, but is not limited thereto.

촬영 모듈(200)은 카메라(210)의 일측으로 위치되는 분진 제거 에어부(230)를 더 포함할 수 있고, 카메라(210)에 부착된 분진을 제거하여 수집 데이터의 선명도를 유지할 수 있다.The photographing module 200 may further include a dust removal air unit 230 positioned on one side of the camera 210 , and may remove dust attached to the camera 210 to maintain the clarity of the collected data.

분진 제거 에어부(230)는 카메라(210)에 부착된 분진을 제거하도록, 각각의 카메라(210) 마다 각각 위치될 수 있다.The dust removal air unit 230 may be positioned for each camera 210 to remove dust attached to the camera 210 .

제어 모듈(300)은 이송물(P)의 불량을 판단한다.The control module 300 determines the defect of the transported object (P).

제어 모듈(300)은 딥러닝 모델(310), 불량 판단부(320), 학습부(330), 제어부(340)를 포함한다.The control module 300 includes a deep learning model 310 , a failure determination unit 320 , a learning unit 330 , and a control unit 340 .

딥러닝 모델(310)은 초기 학습 데이터를 딥러닝 학습하여 미리 생성된다. 초기 학습 데이터는 작업자에 의해 불량인지 여부가 포함된 데이터로서 초기의 딥러닝 모델을 생성하기 위해 학습되는 데이터이다.The deep learning model 310 is generated in advance by deep learning the initial training data. Initial training data is data that includes whether or not it is bad by an operator, and is data that is learned to create an initial deep learning model.

불량 판단부(320)는 수집 데이터에 불량이 포함되는지 여부를 판단한다. 수집 데이터는 초기 학습 데이터에 의해 초기의 딥러닝 모델이 생성된 이후 추가로 학습하기 위해 사용되는 학습 데이터이다. 수집 데이터에서 불량이 포함되는지 여부의 판단은 작업자에 의해 이루어진다. 즉, 작업자가 특정 데이터에 불량이 포함되었다고 판단하면 불량 판단부(320)에는 해당 데이터에 불량이 있음이 입력된다. 또한, 작업자가 특정 데이터에 포함되는 불량의 종류를 판단하고, 불량 판단부(320)에 해당 데이터에 포함되는 불량의 종류를 입력할 수 있다. 작업자에 의해 수집 데이터에 불량이 없다고 판단되면 해당 수집 데이터는 삭제된다. 불량 판단부(320)는 불량이 포함된 것으로 판단된 수집 데이터를 저장하고 학습부(330)로 전송한다.The failure determination unit 320 determines whether a failure is included in the collected data. The collected data is training data used for further learning after the initial deep learning model is created by the initial training data. Determination of whether a defect is included in the collected data is made by the operator. That is, when the operator determines that the specific data includes a defect, the defect determination unit 320 is inputted as having a defect in the corresponding data. In addition, the operator may determine the type of the defect included in the specific data, and input the type of the defect included in the corresponding data to the failure determining unit 320 . If the operator determines that there is no defect in the collected data, the collected data is deleted. The failure determination unit 320 stores the collected data determined that the failure is included and transmits it to the learning unit 330 .

즉, 불량 판단부(320)에서는 작업자에 의해 불량인지 여부가 판단된 결과가 입력되는 것이나, 이에 제한되는 것은 아니다.That is, in the failure determination unit 320 , the result of determining whether the product is defective by the operator is input, but the present invention is not limited thereto.

학습부(330)는 초기의 딥러닝 모델을 전송된 수집 데이터를 이용하여 더 학습시켜 딥러닝 모델(310)을 강화한다.The learning unit 330 reinforces the deep learning model 310 by further learning the initial deep learning model using the transmitted collected data.

구체적으로, 학습부(330)는 불량 판단부(320)에서 불량으로 판단되어 입력된 수집 데이터를 초기 학습 데이터와 비교하여 유사도를 기준으로 딥러닝 모델(310)을 더 학습시키는데, 이는 후술한다.Specifically, the learning unit 330 further learns the deep learning model 310 based on the similarity by comparing the input collected data determined as defective by the failure determining unit 320 with the initial training data, which will be described later.

이제, 카메라(210)에 의해 촬영된 실제 데이터가 강화된 딥러닝 모델(310)에 인가되어 이송물(P)의 불량여부가 판단되면, 제어부(340)는 불량 제거 에어 모듈(400)을 제어하여 불량인 이송물(P)을 제거한다. Now, when the actual data photographed by the camera 210 is applied to the enhanced deep learning model 310 to determine whether the conveyed object P is defective, the control unit 340 controls the defective removal air module 400 . to remove the defective conveyed material (P).

이 때, 딥러닝 모델(310)은 계속하여 학습되어 강화되는 바, 이송물(P)의 불량 판단의 정확도가 계속하여 증가될 수 있다.At this time, since the deep learning model 310 is continuously learned and strengthened, the accuracy of determining the failure of the transported object P can be continuously increased.

불량 제거 에어 모듈(400)은 불량인 이송물(P)을 제거하기 위한 모듈이다.The defective removal air module 400 is a module for removing the defective conveyed material (P).

불량 제거 에어 모듈(400)은 챔버(110)의 내측으로 위치되되 제3 컨베이어 벨트(123)의 측면으로 위치된다.The defect removal air module 400 is located inside the chamber 110 and is located on the side of the third conveyor belt 123 .

불량 제거 에어 모듈(400)은 불량인 이송물(P)에 에어를 분사하여, 챔버(110)에 형성되는 공간부(111)를 통해 이송물(P)을 외측으로 이송한다. The defect removal air module 400 injects air to the defective conveyed material P, and transfers the conveyed material P to the outside through the space 111 formed in the chamber 110 .

불량 제거 에어 모듈(400)은 제어부(340)의 제어에 따라 동작되며 이송물(P)이 정상인 경우에는 에어를 분사하지 않는다.The defect removal air module 400 operates under the control of the controller 340 and does not spray air when the transported object P is normal.

도어(500)는 챔버(110)의 외측으로 위치되어 내부와 연통된다.The door 500 is positioned outside the chamber 110 to communicate with the inside.

도어(500)는 챔버(110)의 내측으로 위치되는 부품을 교체하기 용이하도록 형성된다.The door 500 is formed to facilitate replacement of parts positioned inside the chamber 110 .

이 때, 도어(500)은 도시된 위치, 형상 및 개수에 제한되는 것은 아니다.At this time, the door 500 is not limited to the illustrated position, shape, and number.

도 3을 참조하여, 본 발명에 따라 딥러닝 모델이 학습되어 강화되는 과정을 설명한다.A process in which a deep learning model is trained and strengthened according to the present invention will be described with reference to FIG. 3 .

제어 모듈(300)은 초기 학습 데이터로 딥러닝 모델, 즉, 초기의 딥러닝 모델을 생성한 상태이다.The control module 300 is in a state in which a deep learning model, that is, an initial deep learning model, is generated with initial learning data.

삭제delete

초기 학습 데이터는 해당 이송물(P)에서 발생되는 불량여부 및 불량의 종류가 라벨링된 초기이미지 파일일 수 있으나 이에 제한되는 것은 아니다.The initial learning data may be an initial image file in which the type of defect and whether or not the defect is generated in the transfer object P may be an initial image file, but is not limited thereto.

이송물(P)이 챔버(110)의 내측으로 투입되고, 제1 컨베이어 벨트(121)에서 분리되어 이송을 시작하여 컨베이어 벨트(120)를 따라 이송되면, 다수의 카메라(210)는 이송물(P)의 다면을 촬영한다.When the transported object (P) is input into the chamber 110, is separated from the first conveyor belt 121 and starts transporting and transported along the conveyor belt 120, a plurality of cameras 210 are transported ( P) is photographed.

제어 모듈(300)은 카메라(210)에서 촬영된 수집 데이터를 수집한다.The control module 300 collects collected data captured by the camera 210 .

불량 판단부(320)는 작업자에 의해 수집 데이터에서 불량이 검출되는지 입력받는다. 불량 판단부(320)는 수집 데이터에서 불량이 검출되지 않는 것으로 작업자에 의해 확인되면, 불량 판단부(320)는 해당 수집 데이터를 삭제할 수 있다.The failure determining unit 320 receives an input from the operator whether a failure is detected in the collected data. When the failure determination unit 320 determines that a defect is not detected in the collected data by the operator, the failure determination unit 320 may delete the corresponding collection data.

불량 판단부(320)는 수집 데이터에서 불량이 검출된 것으로 작업자에 의해 확인이되면, 해당 수집 데이터를 저장하고, 학습부(330)로 전송한다.When it is confirmed by the operator that a defect is detected in the collected data, the failure determining unit 320 stores the collected data and transmits the collected data to the learning unit 330 .

학습부(330)은 수집 데이터와 초기 학습 데이터를 데이터 임베딩한 벡터값의 차이인 유사도를 판단한다.The learning unit 330 determines the similarity, which is a difference between the collected data and the vector value obtained by embedding the initial learning data.

제어 모듈(300)은 판단된 유사도가 기설정된 값 이상이면, 해당 수집 데이터를 삭제한다.If the determined similarity is greater than or equal to a preset value, the control module 300 deletes the corresponding collected data.

제어 모듈(300)은 판단된 유사도가 기설정된 값 이하이면, 해당 수집 데이터로 딥러닝 모델(310)을 학습시킨다.If the determined similarity is less than or equal to a preset value, the control module 300 trains the deep learning model 310 with the corresponding collected data.

딥러닝 모델(310)은 상기 과정을 반복하여 더 학습하여 강화된다.The deep learning model 310 is strengthened by further learning by repeating the above process.

학습된 딥러닝 모델(310)에서는 이송물(P)의 불량여부와 불량의 종류를 판단할 수 있으며, 불량이 검출된 위치도 판단할 수 있다. 딥러닝 모델(310)에 이송물(P)의 이미지를 입력하면, 해당 이송물(P)의 불량 여부, 불량의 종류, 불량이 검출된 위치 중 어느 하나 이상이 출력될 수 있다. 딥러닝 모델(310)에서 출력되는 데이터는 이미지 파일에 라벨링된 값의 종류에 따라 달라질 수 있으며, 본 발명에서는 이송물(P)의 불량 여부, 불량의 종류 및 불량이 검출된 위치 중 어느 하나 이상이 출력되도록 학습됨을 의미한다.In the learned deep learning model 310, it is possible to determine whether or not the transfer object P is defective and the type of defect, and it is also possible to determine the location where the defect is detected. When an image of the transported object P is input to the deep learning model 310, any one or more of whether the transported object P is defective, the type of the defect, and the position where the defect is detected may be output. Data output from the deep learning model 310 may vary depending on the type of value labeled in the image file, and in the present invention, any one or more of whether the transported object P is defective, the type of defect, and the location where the defect is detected This means that it is learned to output.

도 4를 참조하면, 제어부(340)는 딥러닝 모델(310)에서 이송물(P)이 불량으로 판단되면, 불량 제거 에어 모듈(400)에서 에어를 분사하도록 제어한다.Referring to FIG. 4 , the control unit 340 controls to spray air from the defect removal air module 400 when it is determined that the transported object P is defective in the deep learning model 310 .

이 때, 에어를 통하여 불량인 이송물(P)을 챔버(110)의 외측으로 신속하게 이동시킬 수 있는 바, 불량인 이송물(P)에 뒤따라오는 다른 이송물(P)의 이송에 영향을 끼치지 않는다.At this time, it is possible to quickly move the defective conveyed material P to the outside of the chamber 110 through the air, thereby affecting the transfer of other conveyed objects P following the defective conveyed material P. does not harm

제어부(340)는 다수의 카메라(210)에서 촬영된 다수의 이미지로 이송물(P)의 불량을 판단하는 것이고, 각각의 다수의 이미지는 어떤 카메라(210)로부터 촬영된 것인지 구별될 수 있다. 이에 따라, 딥러닝 모델(310)로 이송물(P)의 불량을 학습할 때 불량이 발생한 위치까지 검출이 가능하다.The control unit 340 is to determine the defect of the transported object (P) with a plurality of images taken by a plurality of cameras 210, each of the plurality of images can be distinguished from which camera 210 was taken. Accordingly, when learning the defect of the transported object P with the deep learning model 310, it is possible to detect even the position where the defect occurred.

이상, 본 명세서에는 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 도면에 도시한 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당업자라면 본 발명의 실시예로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 보호범위는 특허청구범위에 의해서 정해져야 할 것이다.In the above, the present specification has been described with reference to the embodiments shown in the drawings so that those skilled in the art can easily understand and reproduce the present invention, but these are merely exemplary, and those skilled in the art may make various modifications and equivalents from the embodiments of the present invention. It will be appreciated that embodiments are possible. Therefore, the protection scope of the present invention should be defined by the claims.

100: 이송 챔버 모듈
110: 챔버
111: 공간부
120: 컨베이어 벨트
121: 제1 컨베이어 벨트
122: 제2 컨베이어 벨트
123: 제3 컨베이어 벨트
130: 이탈 방지 레일
140: 지지부
200: 촬영 모듈
210: 카메라
220: LED
230: 분진 제거 에어부
300: 제어 모듈
310: 딥러닝 모델
320: 불량 판단부
330: 학습부
340: 제어부
400: 불량 제거 에어 모듈
500: 도어
P: 이송물100: transfer chamber module
110: chamber
111: space part
120: conveyor belt
121: first conveyor belt
122: second conveyor belt
123: third conveyor belt
130: escape prevention rail
140: support
200: shooting module
210: camera
220: LED
230: dust removal air unit
300: control module
310: deep learning model
320: bad judgment unit
330: study unit
340: control unit
400: defective removal air module
500: door
P: transport

Claims (10)

챔버(110)의 내측으로 위치되며, 단차 통과 시에 다면체인 이송물(P)의 일측면이 다른면으로 변경되도록 서로 단차가 형성되는 다수의 컨베이어 벨트(120)를 포함하는 이송 챔버 모듈(100); 및
상기 챔버(110)의 내측으로 상기 다수의 컨베이어 벨트(120)마다 일측으로 위치되는 촬영 모듈(200); 를 포함하고,
상기 다수의 컨베이어 벨트(120)는
이송물(P)이 유입되며, 경사지도록 형성되는 제1 컨베이어 벨트(121);
이송물(P)이 유출되는 제3 컨베이어 벨트(123); 및
상기 제1 컨베이어 벨트(121)와 상기 제3 컨베이어 벨트(123)의 사이에 다수로 위치되어 이송물(P)을 이송하고, 경사지도록 형성되는 제2 컨베이어 벨트(122); 를 포함하고,
이송물(P)의 불량을 판단하는 제어 모듈(300); 및
상기 챔버(110)는 공간부(111)를 포함하고, 제어 모듈(300)이 이송물(P)을 불량으로 판단하면 상기 공간부(111)로 이송물(P)을 이동시키는 불량 제거 에어 모듈(400); 를 포함하고,
상기 제어 모듈(300)은,
초기 학습 데이터를 딥러닝 학습하여 미리 생성되는 초기의 딥러닝 모델;
상기 촬영 모듈(200)에서 촬영된 수집 데이터에 불량이 포함되는지 여부가
인가되는 불량 판단부(320); 및
상기 불량 판단부(320)에 의해 상기 촬영 모듈(200)에서 촬영된 수집 데이터에 불량이 포함된 것으로 확인된 경우, 상기 수집 데이터와 상기 초기 학습 데이터를 비교한 유사도를 기준으로 상기 초기의 딥러닝 모델을 더 학습시킬지 여부를 판단하고, 학습시키는 것으로 판단된 경우 학습을 수행하여 딥러닝 모델(310)이 강화되는 학습부(330); 를 포함하고,
상기 불량 판단부(320)는 상기 촬영 모듈(200)에서 촬영된 수집 데이터에 불량이 포함되지 않는 것으로 확인된 경우, 해당 수집 데이터를 삭제하고,
상기 제어 모듈(300)은 상기 강화된 딥러닝 모델(310)을 이용함으로써 이송물(P)의 불량을 판단하는,
시스템.
The transfer chamber module 100 is located inside the chamber 110, and includes a plurality of conveyor belts 120 having a step difference with each other so that one side of the polyhedron to be transported P is changed to the other side when the step passes. ); and
a photographing module 200 positioned to one side for each of the plurality of conveyor belts 120 inside the chamber 110; including,
The plurality of conveyor belts 120 are
The conveyed material (P) is introduced, the first conveyor belt 121 is formed to be inclined;
a third conveyor belt 123 to which the conveyed material P is discharged; and
a plurality of second conveyor belts 122 positioned between the first conveyor belt 121 and the third conveyor belt 123 to transport the transported material P, and inclinedly formed; including,
Control module 300 for determining the defect of the transported object (P); and
The chamber 110 includes a space portion 111 , and when the control module 300 determines that the transfer object P is defective, a defect removal air module that moves the transfer object P to the space portion 111 . (400); including,
The control module 300,
an initial deep learning model that is generated in advance by deep learning the initial training data;
Whether a defect is included in the collected data photographed by the photographing module 200 is determined.
a failure determination unit 320 to be applied; and
When it is confirmed by the failure determination unit 320 that the collected data captured by the photographing module 200 includes a defect, the initial deep learning based on the similarity comparing the collected data and the initial learning data a learning unit 330 that determines whether to further train the model, and when it is determined that learning is performed, the deep learning model 310 is strengthened by performing learning; including,
The defect determination unit 320 deletes the collected data when it is confirmed that the collected data captured by the photographing module 200 does not contain a defect,
The control module 300 determines the defect of the transported object (P) by using the enhanced deep learning model 310,
system.
 삭제delete 제1항에 있어서,
상기 유사도는 상기 수집 데이터를 데이터 임베딩한 벡터값과 상기 초기 학습 데이터를 데이터 임베딩한 벡터값의 차이이고,
상기 학습부(330)는 상기 유사도가 기설정된 값 미만이면 상기 수집 데이터로 상기 딥러닝 모델을 더 학습시키는,
시스템.
According to claim 1,
The degree of similarity is a difference between a vector value obtained by embedding the collected data and a vector value obtained by embedding the initial learning data,
The learning unit 330 further trains the deep learning model with the collected data if the similarity is less than a preset value,
system.
 삭제delete 제3항에 있어서,
상기 학습부(330)는 상기 유사도가 기설정된 값 이상이면 상기 수집 데이터를 삭제하는,
시스템.
4. The method of claim 3,
The learning unit 330 deletes the collected data when the similarity is greater than or equal to a preset value,
system.
 제1항에 있어서,
상기 딥러닝 모델(310)로부터 이송물(P)이 불량으로 판단되면, 상기 불량 제거 에어 모듈(400)에서 에어를 분사하도록 제어하는 제어부(340); 를 더 포함하는,
시스템.
According to claim 1,
a control unit 340 for controlling to spray air from the defect removal air module 400 when it is determined that the conveyed material P is defective from the deep learning model 310; further comprising,
system.
 제1항에 있어서,
상기 촬영 모듈(200)은 각각 다수의 카메라(210)와 상기 카메라(210)의 일측으로 위치되는 다수의 LED(220)를 포함하고,
상기 LED(220)의 일측으로 위치되는 분진 제거 에어부(230); 및
상기 챔버(110)의 외측으로 위치되어 내부와 연통되는 도어(500); 를 더 포함하는,
시스템.
According to claim 1,
The photographing module 200 includes a plurality of cameras 210 and a plurality of LEDs 220 positioned at one side of the camera 210, respectively,
a dust removal air unit 230 positioned on one side of the LED 220; and
a door 500 positioned outside the chamber 110 and communicating with the inside; further comprising,
system.
 제6항에 따른 시스템을 제어하는 방법으로서,
(a) 상기 제어 모듈(300)은 상기 초기 학습 데이터를 딥러닝 학습하여 상기 초기의 딥러닝 모델을 생성하는 단계;
(b) 상기 제어 모듈(300)은 상기 촬영 모듈(200)에서 촬영된 수집 데이터를 수집하는 단계;
(c) 상기 불량 판단부(320)에 상기 촬영 모듈(200)에서 촬영된 수집 데이터에 불량이 포함되는지 여부가 인가되는 단계;
(d) 상기 불량 판단부(320)는 상기 촬영 모듈(200)에서 촬영된 수집 데이터에 불량이 포함되지 않는 것으로 확인된 경우, 해당 수집 데이터를 삭제하는 단계;
(e) 상기 학습부(330)는 상기 불량 판단부(320)에 의해 상기 촬영 모듈(200)에서 촬영된 수집 데이터에 불량이 포함된 것으로 확인된 경우, 상기 수집 데이터와 상기 초기 학습 데이터를 비교한 유사도를 기준으로 상기 초기의 딥러닝 모델을 더 학습시킬지 여부를 판단하고, 학습시키는 것으로 판단된 경우 상기 초기의 딥러닝 모델을 더 학습을 수행하고, 상기 더 학습된 초기의 딥러닝 모델은 딥러닝 모델(310)인, 단계; 및
(f) 상기 제어 모듈(300)은 상기 (b) 단계 내지 (e)단계를 반복하여 상기 딥러닝 모델(310)을 더 학습하여 상기 딥러닝 모델(310)이 강화되고, 상기 제어 모듈(300)은 상기 강화된 딥러닝 모델(310)을 이용함으로써 이송물(P)의 불량여부를 판단하는 단계; 를 포함하는,
방법.
A method of controlling a system according to claim 6, comprising:
(a) the control module 300 deep learning the initial training data to generate the initial deep learning model;
(b) collecting, by the control module 300, the collected data photographed by the photographing module 200;
(c) applying to the failure determination unit 320 whether or not a failure is included in the collected data photographed by the photographing module 200;
(d) deleting, by the defect determination unit 320 , when it is confirmed that the collected data captured by the photographing module 200 does not include a defect;
(e) the learning unit 330 compares the collected data with the initial learning data when it is confirmed by the failure determining unit 320 that the collected data captured by the photographing module 200 includes a defect It is determined whether to further train the initial deep learning model based on a degree of similarity, and when it is determined to be trained, the initial deep learning model is further trained, and the further learned initial deep learning model is deep learning model 310 ; and
(f) the control module 300 repeats steps (b) to (e) to further learn the deep learning model 310 so that the deep learning model 310 is strengthened, and the control module 300 ) is the step of determining whether or not the transfer material (P) is defective by using the enhanced deep learning model (310); containing,
Way.
 제8항에 있어서,
상기 (e)단계는,
(e1) 상기 불량 판단부(320)에 의해 상기 수집 데이터에 불량이 포함된 것으로 확인된 경우, 상기 학습부(330)는 상기 수집 데이터를 데이터 임베딩한 벡터값과 상기 초기 학습 데이터를 데이터 임베딩한 벡터값의 차이인 유사도를 판단하는 단계;
(e2) 상기 학습부(330)는 상기 판단된 유사도가 기설정된 값 이상이면, 상기 수집데이터를 삭제하는 단계; 및
(e3) 상기 학습부(330)는 상기 판단된 유사도가 기설정된 값 미만이면, 상기 수집 데이터로 상기 초기의 딥러닝 모델을 더 학습시키는 단계; 를 포함하는,
방법.
9. The method of claim 8,
Step (e) is,
(e1) When it is confirmed by the failure determination unit 320 that the collected data contains a defect, the learning unit 330 performs data embedding of the vector value obtained by embedding the collected data and the initial learning data. determining a similarity that is a difference between vector values;
(e2) deleting, by the learning unit 330, the collected data when the determined similarity is greater than or equal to a preset value; and
(e3) if the determined similarity is less than a preset value, the learning unit 330 further learning the initial deep learning model with the collected data; containing,
Way.
 제8항에 있어서,
상기 (f)단계는,
(f1) 상기 제어 모듈(300)은 상기 (b) 단계 내지 (e)단계를 반복하여, 상기 딥러닝 모델(310)을 더 학습하고, 상기 딥러닝 모델(310)이 강화되는 단계; 및
(f2) 상기 제어 모듈(300)는 이송물(P)이 불량이면 상기 불량 제거 에어 모듈(400)에서 에어를 분사하도록 제어하는 단계; 를 포함하는
방법.
9. The method of claim 8,
The step (f) is,
(f1) the control module 300 repeats steps (b) to (e), further learning the deep learning model 310, and strengthening the deep learning model 310; and
(f2) controlling the control module 300 to spray air from the defect removal air module 400 if the conveyed material P is defective; containing
Way.
KR1020200119051A 2020-09-16 2020-09-16 Multi-faceted conveyor system and deep learning-based defect detection method using the same KR102431822B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200119051A KR102431822B1 (en) 2020-09-16 2020-09-16 Multi-faceted conveyor system and deep learning-based defect detection method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200119051A KR102431822B1 (en) 2020-09-16 2020-09-16 Multi-faceted conveyor system and deep learning-based defect detection method using the same

Publications (2)

Publication Number Publication Date
KR20220036622A KR20220036622A (en) 2022-03-23
KR102431822B1 true KR102431822B1 (en) 2022-08-12

Family

ID=80963614

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200119051A KR102431822B1 (en) 2020-09-16 2020-09-16 Multi-faceted conveyor system and deep learning-based defect detection method using the same

Country Status (1)

Country Link
KR (1) KR102431822B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001327929A (en) * 1999-11-22 2001-11-27 Lintec Corp Device for inspecting work
JP2004319547A (en) * 2003-04-11 2004-11-11 Shin Etsu Handotai Co Ltd Equipment and method for automatically carrying and draining of article, and equipment and method for automatically cleaning article

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101995396B1 (en) * 2017-09-29 2019-09-30 주식회사 엘지씨엔에스 Method and system for detecting defect in produnt

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001327929A (en) * 1999-11-22 2001-11-27 Lintec Corp Device for inspecting work
JP2004319547A (en) * 2003-04-11 2004-11-11 Shin Etsu Handotai Co Ltd Equipment and method for automatically carrying and draining of article, and equipment and method for automatically cleaning article

Also Published As

Publication number Publication date
KR20220036622A (en) 2022-03-23

Similar Documents

Publication Publication Date Title
RU2710146C1 (en) Device for obtaining and analyzing characteristic data for food industry products, an apparatus comprising such a device and a method for processing food industry products
US5392359A (en) Apparatus for inspecting appearance of cylindrical objects
JP6357617B2 (en) Defect inspection equipment
JP5607734B2 (en) Apparatus and method for inspecting defects in discrete low-rigidity transparent or translucent bodies
US6859270B2 (en) Method and device for inspecting transparent containers
US20050139792A1 (en) Real-time web inspection method and apparatus using combined reflected and transmitted light images
KR102580389B1 (en) Apparatus and method for inspecting a glass sheet
JP2019184380A (en) Imaging device and inspection system using imaging device
CN115335855A (en) Bean curd product inspection device, bean curd product manufacturing system, bean curd product inspection method, and program
KR102431822B1 (en) Multi-faceted conveyor system and deep learning-based defect detection method using the same
JP2007003243A (en) Visual examination device of long article
KR20180048064A (en) System for evaluating, removing, transferring and recycling material which is not dried completely
JP6044396B2 (en) Foreign object detection device and parts feeder
JP6007639B2 (en) Wrinkle detection method and wrinkle detection device
JP6774641B2 (en) Coating device and coating method
JP3974015B2 (en) Item inspection system
CN110178020A (en) Improved glass checks system
JP4015436B2 (en) Gold plating defect inspection system
KR101543896B1 (en) Apparatus and method of detecting scap defect
KR102442972B1 (en) A system to detect foreign matter by image processing
JP7248316B2 (en) TOFU INSPECTION DEVICE, TOFU MANUFACTURING SYSTEM, TOFU INSPECTION METHOD, AND PROGRAM
JP2019124518A (en) Tablet inspection method and tablet inspection device
CN109632810A (en) Display panel crack detecting method and system
JP7267665B2 (en) WORK INSPECTION DEVICE AND WORK INSPECTION METHOD
CN110945347B (en) Damage inspection method for optical display panel

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant