KR20230067729A - Edge computing system for determining defect of goods based on image and center cloud server thereof - Google Patents
Edge computing system for determining defect of goods based on image and center cloud server thereof Download PDFInfo
- Publication number
- KR20230067729A KR20230067729A KR1020210152098A KR20210152098A KR20230067729A KR 20230067729 A KR20230067729 A KR 20230067729A KR 1020210152098 A KR1020210152098 A KR 1020210152098A KR 20210152098 A KR20210152098 A KR 20210152098A KR 20230067729 A KR20230067729 A KR 20230067729A
- Authority
- KR
- South Korea
- Prior art keywords
- edge
- product defect
- cloud server
- prediction model
- defect prediction
- Prior art date
Links
- 230000007547 defect Effects 0.000 title claims abstract description 92
- 238000002372 labelling Methods 0.000 claims abstract description 45
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 80
- 230000008569 process Effects 0.000 claims description 69
- 230000002950 deficient Effects 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims 2
- 238000004422 calculation algorithm Methods 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 12
- 238000013473 artificial intelligence Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000011017 operating method Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 이미지 기반으로 물품의 불량 여부를 신속하고 정확하게 결정하는 엣지 컴퓨팅 시스템, 그의 중앙 클라우드 서버 및 엣지 서버에 관한 것이다.The present invention relates to an edge computing system that quickly and accurately determines whether an item is defective based on an image, a central cloud server thereof, and an edge server.
엣지 컴퓨팅(Edge Computing) 기술은 실시간 어플리케이션을 지원하여 산업 및 생활 말단에서 데이터를 수집, 처리, 분석하여 대기 시간 및 대역폭 문제를 효율적으로 줄일 수 있으며 빠른 응답 속도를 기대할 수 있는 기술로, IoT(Internet of Things)의 도입 증가, 중앙 클라우드의 트래픽 집중 현상, 기하급수적으로 증가하는 데이터량 및 네트워크 트래픽 증가 등의 상황을 해결할 수 있는 기술로 평가받고 있다.Edge computing technology is a technology that can efficiently reduce latency and bandwidth problems by collecting, processing, and analyzing data at the end of industry and life by supporting real-time applications, and can expect fast response speed. It is evaluated as a technology that can solve situations such as the increase in the introduction of Internet of Things (IoT), traffic concentration in the central cloud, and the exponentially increasing amount of data and network traffic.
엣지 컴퓨팅에 인공지능 모델을 탑재하여 운영하면 보안 카메라, 자율 주행차, 드론, 스마트 팩토리, 스마트 팜 등의 다양한 영역에서 데이터를 처리할 때 통신비와 대역폭 비용을 절감시키고 빠른 응답 속도로 반응할 수 있으며, 말단에서 데이터를 저장하고 처리할 수 있기 때문에 보안성도 유지될 수 있다.By installing and operating an artificial intelligence model in edge computing, you can reduce communication and bandwidth costs and respond with fast response speed when processing data in various areas such as security cameras, self-driving cars, drones, smart factories, and smart farms. , security can be maintained because data can be stored and processed at the end.
특히, 엣지 컴퓨팅은 스마트 팩토리 환경에서 물품을 촬영하여 물품 이미지를 저장하고 저장된 이미지를 인공 지능 모델에 입력하기 위해서 가공하며, 가공된 물품 이미지를 입력받아 물품의 양품과 불량품을 구분하는 인공 지능 모델이 사용될 수 있다.In particular, edge computing takes pictures of products in a smart factory environment, stores product images, processes the stored images to input them to an artificial intelligence model, and receives processed product images to create artificial intelligence models that distinguish good products from defective products. can be used
다만, 이미지 기반의 인공 지능 모델을 위해서는 인공지능 모델 학습이 필요한데, 모델 학습이 지도 학습(Supervised Learning) 기반으로 수행되는 경우, 이미지에 정답을 라벨링하는데 많은 인력과 비용이 필연적으로 소요되고 있으며, 최근에는 데이터 라벨링을 'AI 눈알 붙이기' 라는 수식어가 붙을 정도여서, 많은 시간과 노력이 필요하다.However, artificial intelligence model learning is required for image-based artificial intelligence models. When model learning is performed based on supervised learning, a lot of manpower and cost are inevitably required to label the correct answer to the image. Data labeling is to the extent that the modifier 'sticking AI eyes' is attached, so it requires a lot of time and effort.
이에, 엣지 컴퓨팅 환경에서 물품의 불량 여부를 정확하고 신속하게 결정하기 위한 방법이 필요하다.Accordingly, there is a need for a method for accurately and quickly determining whether or not an item is defective in an edge computing environment.
한편, 상기와 같은 정보는 본 발명의 이해를 돕기 위한 백그라운드(background) 정보로서만 제시될 뿐이다. 상기 내용 중 어느 것이라도 본 발명에 관한 종래 기술로서 적용 가능할지 여부에 관해, 어떤 결정도 이루어지지 않았고, 또한 어떤 주장도 이루어지지 않는다.On the other hand, the above information is presented only as background information to help the understanding of the present invention. No determination has been made, nor is any assertion made, as to whether any of the foregoing is applicable as prior art with respect to the present invention.
상술한 바와 같은 문제점을 해결하기 위한 본 발명의 일 과제는 중앙 집중식 방식을 탈피하여 시스템의 필요 작업을 분산하여 수행하는 엣지 시스템을 제공하는 데에 있다.One object of the present invention to solve the above problems is to provide an edge system that performs necessary tasks of the system in a distributed manner by breaking away from the centralized method.
본 발명의 또 다른 과제는, 이미지 기반으로 물품의 불량 여부를 결정하는 엣지 컴퓨팅 시스템을 제공하는 데에 있다.Another object of the present invention is to provide an edge computing system that determines whether a product is defective based on an image.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the description below.
상술한 과제를 해결하기 위한 본 발명의 일 실시 예에 따른 이미지 기반으로 물품의 불량 여부를 결정하는 엣지 컴퓨팅 시스템의 중앙 클라우드 서버는 복수의 엣지 서버와 통신하는 통신부; 물품 이미지가 입력되면 물품의 불량 여부를 예측하는 물품 불량 예측 모델 및 상기 물품 불량 예측 모델의 예측 신뢰도를 추정하는 능동형 추정 모델을 저장하는 메모리; 및 상기 복수의 엣지 서버의 운영을 모니터링하고, 상기 추정된 예측 신뢰도에 기초하여, 상기 물품 불량 예측 모델의 라벨링에 대한 채택 여부를 결정하는 컨트롤러를 포함할 수 있다.A central cloud server of an edge computing system for determining whether an item is defective based on an image according to an embodiment of the present invention for solving the above problems includes a communication unit communicating with a plurality of edge servers; a memory for storing a product defect prediction model predicting whether a product is defective when an product image is input and an active estimation model estimating prediction reliability of the product defect prediction model; and a controller that monitors the operation of the plurality of edge servers and determines whether to adopt the product defect prediction model for labeling based on the estimated prediction reliability.
상기 컨트롤러는 상기 복수의 엣지 서버 각각에 적어도 하나의 작업 프로세스를 할당할 수 있다.The controller may allocate at least one work process to each of the plurality of edge servers.
상기 작업 프로세스는 스마트 팩토리 내의 물품을 촬영하고 촬영된 물품 이미지를 저장 및 전송하는 제1 작업 프로세스, 전송된 물품 이미지에서 상기 물품 불량 예측 모델에 입력될 이미지로 전처리하는 제2 작업 프로세스, 상기 물품 불량 예측 모델에 대응하는 엣지 물품 불량 예측 모델을 실행하는 제3 작업 프로세스 및 상기 능동형 추정 모델에 대응하는 엣지 능동형 추정 모델을 실행하는 제4 작업 프로세스를 포함할 수 있다.The work process includes a first work process of photographing an article in the smart factory, storing and transmitting the photographed article image, a second work process of preprocessing the transmitted article image into an image to be input to the product defect prediction model, and the product defect. A third working process for executing an edge article defect prediction model corresponding to the predictive model and a fourth working process for executing an edge active estimation model corresponding to the active estimation model.
상기 컨트롤러는 상기 복수의 엣지 서버 각각에 적어도 하나의 작업 프로세스를 할당하는 경우, 상기 작업 프로세스를 수행하기 위한 정보를 해당 엣지 서버에 제공하도록 구성될 수 있다.When at least one work process is assigned to each of the plurality of edge servers, the controller may be configured to provide information for performing the work process to the corresponding edge server.
상기 중앙 클라우드 서버는 디스플레이를 더 포함할 수 있으며, 상기 컨트롤러는 상기 능동형 추정 모델을 이용하여, 상기 물품 불량 예측 모델의 물품 불량 여부 정보를 클러스터링하여 상기 디스플레이에 출력하도록 구성될 수 있다.The central cloud server may further include a display, and the controller may be configured to cluster product defect information of the product defect prediction model using the active estimation model and output the clustered product defect information to the display.
상기 컨트롤러는 상기 디스플레이에 출력하기 위한 데이터가 표현되는 차원이 4차원 이상인 경우, 상기 데이터를 2차원 또는 3차원으로 변환하여 상기 디스플레이에 출력하도록 구성될 수 있다.The controller may be configured to convert the data to 2D or 3D and output the data to the display when the dimension in which the data to be output to the display is expressed is 4-dimensional or higher.
상기 컨트롤러는 상기 능동형 추정 모델을 이용하여, 상기 능동형 추정 모델의 예측 신뢰도가 소정 기준치 이상인 경우, 상기 물품 불량 예측 모델의 라벨링 정보를 채택할 수 있다.The controller may adopt labeling information of the product defect prediction model using the active estimation model, when the prediction reliability of the active estimation model is equal to or greater than a predetermined reference value.
상기 컨트롤러는 상기 능동형 추정 모델을 이용하여, 상기 능동형 추정 모델의 예측 신뢰도가 소정 기준치 미만인 경우, 상기 물품 불량 예측 모델의 라벨링 정보를 채택하지 않도록 구성될 수 있다.The controller may be configured not to adopt labeling information of the product defect prediction model when the prediction reliability of the active estimation model is less than a predetermined reference value using the active estimation model.
상기 컨트롤러는 상기 물품 불량 예측 모델의 라벨링 정보를 채택하지 않는 경우, 물품에 대한 라벨링 정보 입력을 대기하도록 구성될 수 있다.The controller may be configured to wait for input of labeling information for the product when the labeling information of the product defect prediction model is not adopted.
여기서, 상기 물품 불량 예측 모델의 신경망 파라미터 중 일부가 상기 능동형 추정 모델에 전이되어 적용될 수 있다.Here, some of the neural network parameters of the product defect prediction model may be transferred and applied to the active estimation model.
상기 컨트롤러는 소정의 엣지 서버에서 작업 프로세스를 수행할 때 작업 진행 효율이 소정 수준 이하인 경우, 해당 작업 프로세스를 직접 또는 다른 엣지 서버가 수행하도록 스케줄링하도록 구성될 수 있다.The controller may be configured to schedule the work process to be performed directly or by other edge servers when the work progress efficiency is below a predetermined level when a work process is performed in a predetermined edge server.
상기 컨트롤러는 상기 복수의 엣지 서버 중 적어도 일부의 엣지 물품 불량 예측 모델을 상기 물품 불량 예측 모델에 반영하고 엣지 능동형 추정 모델을 상기 능동형 추정 모델에 반영하도록 구성될 수 있다.The controller may be configured to reflect edge product defect prediction models of at least some of the plurality of edge servers to the product defect prediction model and to reflect an edge active estimation model to the active estimation model.
본 발명의 일 실시 예에 따른 물품의 불량 여부를 결정하기 위한 엣지 컴퓨팅 시스템은 중앙 클라우드 서버; 복수의 엣지 서버를 포함할 수 있다.An edge computing system for determining whether an item is defective according to an embodiment of the present invention includes a central cloud server; It can include multiple edge servers.
상기 중앙 클라우드 서버는 복수의 엣지 서버와 통신하고, 물품 이미지가 입력되면 물품의 불량 여부를 예측하는 물품 불량 예측 모델 및 상기 물품 불량 예측 모델의 예측 신뢰도를 추정하는 능동형 추정 모델을 저장하고, 상기 복수의 엣지 서버의 운영을 모니터링하고, 상기 추정된 예측 신뢰도에 기초하여, 상기 물품 불량 예측 모델의 라벨링에 대한 채택 여부를 결정할 수 있다.The central cloud server communicates with a plurality of edge servers and stores an item defect prediction model for predicting whether an item is defective when an item image is input and an active estimation model for estimating the prediction reliability of the item defect prediction model, and the plurality of edge servers. The operation of the edge server may be monitored, and based on the estimated prediction reliability, whether to adopt the product defect prediction model for labeling may be determined.
상기 복수의 엣지 서버는 상기 중앙 클라우드 서버가 할당하는 작업 프로세스를 각각 수행하도록 구성될 수 있다.The plurality of edge servers may be configured to each perform work processes allocated by the central cloud server.
여기서, 복수의 엣지 서버 각각은 스마트 팩토리 내의 물품을 촬영하고 촬영된 물품 이미지를 저장 및 전송하는 제1 작업 프로세스, 전송된 물품 이미지에서 상기 물품 불량 예측 모델에 입력될 이미지로 전처리하는 제2 작업 프로세스, 상기 물품 불량 예측 모델에 대응하는 엣지 물품 불량 예측 모델을 수행하는 제3 작업 프로세스, 및 상기 능동형 추정 모델에 대응하는 엣지 능동형 추정 모델을 수행하는 제4 작업 프로세스 중 적어도 하나를 수행할 수 있다.Here, each of the plurality of edge servers has a first work process of photographing an article in the smart factory, storing and transmitting the photographed article image, and a second work process of pre-processing the transmitted article image into an image to be input to the product defect prediction model. , at least one of a third task process of performing an edge product defect prediction model corresponding to the product defect prediction model, and a fourth task process of performing an edge active estimation model corresponding to the active estimation model.
상기 중앙 클라우드 서버는 복수의 엣지 서버 각각에 적어도 하나의 작업 프로세스를 할당하는 경우, 상기 작업 프로세스를 수행하기 위한 정보를 해당 엣지 서버에 제공하도록 구성될 수 있다.When at least one work process is assigned to each of a plurality of edge servers, the central cloud server may be configured to provide information for performing the work process to the corresponding edge server.
상기 중앙 클라우드 서버는 상기 능동형 추정 모델을 이용하여, 상기 물품 불량 예측 모델의 물품 불량 여부 정보를 클러스터링하여 디스플레이할 수 있다.The central cloud server may cluster and display product defect information of the product defect prediction model using the active estimation model.
상기 중앙 클라우드 서버는 디스플레이 대상 데이터가 표현되는 차원이 4차원 이상인 경우, 상기 데이터를 2차원 또는 3차원으로 변환하여 디스플레이할 수 있다. The central cloud server may convert the data to 2D or 3D and display the data when the dimension in which the data to be displayed is expressed is 4D or higher.
상기 중앙 클라우드 서버는 상기 능동형 추정 모델의 예측 신뢰도가 소정 기준치 이상인 경우, 상기 물품 불량 예측 모델의 라벨링 정보를 채택하고, 상기 능동형 추정 모델의 예측 신뢰도가 소정 기준치 미만인 경우, 상기 물품 불량 예측 모델의 라벨링 정보를 채택하지 않도록 구성될 수 있다.The central cloud server adopts labeling information of the product defect prediction model when the prediction reliability of the active estimation model is equal to or greater than a predetermined reference value, and labels the product defect prediction model when the prediction reliability of the active estimation model is less than a predetermined reference value. It can be configured not to adopt information.
상기 중앙 클라우드 서버는 상기 물품 불량 예측 모델의 라벨링 정보를 채택하지 않는 경우, 물품에 대한 라벨링 정보 입력을 대기하도록 구성될 수 있다.The central cloud server may be configured to wait for input of labeling information for an article when labeling information of the product defect prediction model is not adopted.
여기서, 상기 물품 불량 예측 모델의 신경망 파라미터 중 일부가 상기 능동형 추정 모델에 전이되어 적용될 수 있다.Here, some of the neural network parameters of the product defect prediction model may be transferred and applied to the active estimation model.
상기 중앙 클라우드 서버는 소정의 엣지 서버에서 작업 프로세스를 수행할 때 작업 진행 효율이 소정 수준 이하인 경우, 해당 작업 프로세스를 직접 또는 다른 엣지 서버가 수행하도록 스케줄링하도록 구성될 수 있다.The central cloud server may be configured to schedule the work process to be performed directly or by other edge servers when the work progress efficiency is below a predetermined level when a work process is performed on a predetermined edge server.
상기 중앙 클라우드 서버는 상기 복수의 엣지 서버 중 적어도 일부의 엣지 물품 불량 예측 모델을 상기 물품 불량 예측 모델에 반영하고 엣지 능동형 추정 모델을 상기 능동형 추정 모델에 반영하도록 구성될 수 있다.The central cloud server may be configured to reflect edge product defect prediction models of at least some of the plurality of edge servers to the product defect prediction model and to reflect an edge active estimation model to the active estimation model.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 장치, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.In addition to this, another method for implementing the present invention, another device, another system, and a computer readable recording medium recording a computer program for executing the method may be further provided.
상기와 같은 본 발명의 다양한 실시 예가 제공됨으로써, 이미지 기반으로 물품의 불량 여부를 결정하기 위한 인공 지능 모델의 라벨링 작업량이 줄어들게 되어 장치 효율이 제고될 수 있으며, 시스템 구성 및 운영 시 비용 절감이 기대될 수 있다.By providing various embodiments of the present invention as described above, the amount of labeling work of an artificial intelligence model for determining whether a product is defective based on an image is reduced, thereby improving device efficiency, and cost reduction in system configuration and operation is expected. can
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.
도 1은 본 발명의 일 실시 예에 따른 이미지 기반으로 물품의 불량 여부를 결정하는 엣지 컴퓨팅 시스템을 개략적으로 설명하기 위한 도면,
도 2는 본 발명의 일 실시 예에 따른 중앙 클라우드 서버의 구성 및 복수의 엣지 서버의 수행 작업 프로세스를 설명하기 위한 도면,
도 3은 본 발명의 일 실시 예에 따른 이미지 기반으로 물품의 불량 여부를 결정하는 엣지 컴퓨팅 시스템의 동작 방법을 설명하기 위한 도면,
도 4(a) 및 도 4(b)는 본 발명의 일 실시 예에 따른 능동형 추정 모델을 이용하여 데이터를 클러스터링하는 예시적인 결과를 나타내며, 그리고,
도 5는 본 발명의 일 실시 예에 따른 라벨링 신뢰도가 낮을 경우, 라벨을 입력받는 경우를 나타낸다.1 is a diagram schematically illustrating an edge computing system for determining whether a product is defective based on an image according to an embodiment of the present invention;
2 is a diagram for explaining a configuration of a central cloud server and a work process performed by a plurality of edge servers according to an embodiment of the present invention;
3 is a diagram for explaining an operating method of an edge computing system for determining whether an item is defective based on an image according to an embodiment of the present invention;
4(a) and 4(b) show exemplary results of clustering data using an active estimation model according to an embodiment of the present invention, and
5 illustrates a case of receiving a label when the labeling reliability is low according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시 예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention, and methods for achieving them, will become clear with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms, only the present embodiments make the disclosure of the present invention complete, and those skilled in the art to which the present invention belongs It is provided to fully inform the scope of the present invention, the present invention is defined only by the scope of the claims.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.Terms used in this specification are for describing embodiments and are not intended to limit the present invention. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase. As used herein, "comprises" and/or "comprising" does not exclude the presence or addition of one or more other elements other than the recited elements. Like reference numerals throughout the specification refer to like elements, and “and/or” includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various components, these components are not limited by these terms, of course. These terms are only used to distinguish one component from another. Accordingly, it goes without saying that the first element mentioned below may also be the second element within the technical spirit of the present invention.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings commonly understood by those skilled in the art to which the present invention belongs. In addition, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless explicitly specifically defined.
도 1은 본 발명의 일 실시 예에 따른 이미지 기반으로 물품의 불량 여부를 결정하는 엣지 컴퓨팅 시스템(1000)을 개략적으로 설명하기 위한 도면이다.1 is a diagram schematically illustrating an
엣지 컴퓨팅 시스템(1000)은 분산 네트워크 시스템의 일종이며, 신경망 알고리즘을 이용하여 물품의 불량 여부를 결정할 수 있으며, 라벨링 절감 기법이 적용된 지도 학습 기반의 학습 모델을 포함할 수 있다.The
엣지 컴퓨팅 시스템(1000)의 중앙 클라우드 서버(100)는 컨트롤 시스템이며, 클라우드 시스템으로 구현될 수 있다. 선택적 실시 예로, 중앙 클라우드 서버(100)는 서버, PC, 랩탑, 태블릿 PC 등으로 구현될 수 있다.The
중앙 클라우드 서버(100)는 복수의 엣지 서버(200)의 운영을 관리하며, 동작을 모니터링할 수 있으며, 복수의 엣지 서버(200A~200Z)(200)의 연산 부하를 관리할 수 있다. 또한, 중앙 클라우드 서버(100)는 작업 프로세스를 복수의 엣지 서버(200A~200Z)(200)에 할당할 수 있으며, 작업 프로세스를 스케쥴링할 수 있다. The
여기서, 중앙 클라우드 서버(100)는 직접 수행 가능한 작업일지라도, 복수의 엣지 서버(200A~200Z)(200) 중 일부에 작업 수행을 요청할 수 있다. 가령, 중앙 클라우드 서버(100)는 신경망 연산을 특정 엣지 서버(가령, 200A)에 요청할 수 있다.Here, the
복수의 엣지 서버(200A~200Z)(200)는 엣지 컴퓨팅을 위한 서버, 워크 스테이션 등으로 구현될 수 있다. 선택적 실시 예로, 복수의 엣지 서버(200A~200Z)(200)는 클라우드, PC, 랩탑, 태블릿 PC 등으로 구현될 수 있다.The plurality of
복수의 엣지 서버(200A~200Z)(200)는 저장 모듈 및 프로세서를 자체적으로 구비할 수 있으며, 엣지 컴퓨팅 시스템(1000)의 공동 목표를 위해서 중앙 클라우드 서버(100)와 협력하여 구동될 수 있다. 복수의 엣지 서버(200A~200Z)(200)는 필요에 따라 네트워크 통신에 문제가 없는 범위 내에서 서로 통신할 수 있으며, 서로 연결되어 운영될 수 있으며, 서비스 요청에 따라 공동으로 작업할 수 있다.The plurality of
도 2는 본 발명의 일 실시 예에 따른 중앙 클라우드 서버(100)의 구성 및 복수의 엣지 서버(200A~200D)의 수행 작업 프로세스를 설명하기 위한 도면이다.2 is a diagram for explaining a configuration of the
먼저, 복수의 엣지 서버(200A~200D) 중 제1 엣지 서버(200A)는 촬영 작업 프로세스(P1)를 수행할 수 있다. 촬영 작업 프로세스(P1)는 스마트 팩토리 내의 컨베이어 벨트나 물품의 공정 과정에서, 하나 이상의 카메라를 이용하여 물품 이미지를 촬영하는 프로세스일 수 있다. 다만, 적용 장소가 스마트 팩토리에 한정되는 것은 아니다.First, a
제2 엣지 서버(200B)는 전처리 작업 프로세스(P2)를 수행할 수 있다. 전처리 작업 프로세스(P2)는 후술할 신경망 모델에 입력될 물품 이미지가 되도록 리사이징, 크롭핑, 정규화, 그레이스케일용, 확대/축소 등의 프로세스를 포함할 수 있으나, 실시 예가 이에 한정되는 것은 아니다.The
제2 엣지 서버(200B)는 제1 엣지 서버(200A)로부터 다이렉트로 물품 이미지를 수신할 수 있다. 선택적 실시 예로, 제2 엣지 서버(200B)는 중앙 클라우드 서버(100)로부터 물품 이미지를 수신할 수 있다.The
제3 엣지 서버(200C)는 물품 이미지를 입력받아 물품 불량을 예측하는 작업 프로세스(P3)를 수행할 수 있으며, 이때, 중앙 클라우드 서버(100)로부터 필요 정보(모델 구성 정보, 라벨링 정보, 손실함수 정보 등)를 수신하여, 모델을 학습시킬 수 있으며 모델을 적용할 수 있다. 제3 엣지 서버(200C)에 의해 학습된 모델은 중앙 클라우드 서버(100)에 제공될 수 있다.The
제4 엣지 서버(200D)는 능동형 추정 작업 프로세스(P4)를 수행할 수 있다. 능동형 추정 작업 프로세스(P4)는 물품 불량 예측 모델의 예측 신뢰도를 추정할 수 있으며, 라벨링이 필요한 데이터를 클러스터링하여 사용자에게 제공할 수도 있다. 제4 엣지 서버(200D)에 의해 학습된 모델은 중앙 클라우드 서버(100)에 제공될 수 있다.The fourth edge server 200D may perform the active estimation task process P4. The active estimation work process P4 may estimate the prediction reliability of the product defect prediction model, and may cluster data requiring labeling and provide the data to the user. A model learned by the fourth edge server 200D may be provided to the
선택적 또는 부가적 실시 예로, 중앙 클라우드 서버(100)는 상술한 엣지 서버(200A~200D)가 수행하는 작업을 자체적으로 수행할 수도 있다.As an optional or additional embodiment, the
중앙 클라우드 서버(100)는 입력부(110), 통신부(120), 디스플레이(130), 메모리(140) 및 컨트롤러(190)를 포함할 수 있다. 실시 예에 따라, 중앙 클라우드 서버(100)는 상술한 구성을 일부만 포함하거나 다른 구성들을 더 포함할 수 있다.The
입력부(110)는 다양한 입력 수단을 포함하며, 신경망 모델의 라벨링 정보를 사용자 또는 로봇으로부터 입력받을 수 있다.The
통신부(120)는 복수의 엣지 서버(200A~200D)와 통신하기 위한 수단으며, 유무선 통신 모듈, 이동 통신 모듈 및 근거리 통신 모듈 등을 포함할 수 있으나, 실시 예가 이에 한정되는 것은 아니다.The
디스플레이(130)는 다양한 정보를 시각화하기 위한 구성이며, LCD, LED, OLED 등으로 구현될 수 있으나, 실시 예가 이에 한정되는 것은 아니다. 디스플레이(130)는 컨트롤러(190)의 제어에 따라 다양한 정보를 시각적으로 출력할 수 있다.The
메모리(140)는 다양한 형태의 저장소를 통칭하는 모듈이며, 메모리(140)는 인공 지능, 머신 러닝, 인공 신경망을 이용하여 연산을 수행하는데 필요한 정보를 저장할 수 있다. 메모리(140)는 다양한 학습 모델을 저장할 수 있는데, 상기 학습 모델들은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다. The
상기 학습 모델들은 레이블(Label) 정보에 기초하여, 학습이 수행될 수 있으며, 학습 정확도를 높이기 위해, 역전파(Backpropagation) 알고리즘, 크로스 엔트로피 알고리즘 등이 적용될 수 있다. 본 명세서에서, 메모리(140)는 물품 이미지를 입력받아 불량 여부를 예측하는 물품 불량 예측 모델(PM) 및 물품 불량 예측 모델(PM)의 예측 신뢰도에 기초하여, 물품 불량 예측 모델(PM)의 라벨링에 대한 채택 여부를 결정하는데 필요한 능동형 추정 모델(EM)을 포함할 수 있다.The learning models may be trained based on label information, and a backpropagation algorithm, a cross entropy algorithm, or the like may be applied to increase learning accuracy. In the present specification, the
여기서, 능동형 추정 모델(EM)은 라벨링은 존재하나 학습되지 않은 데이터를 입력받아 물품 불량 예측 모델(PM)의 예측값 및 정답값을 비교하여, 정답 데이터 세트를 구축하여 학습할 수 있다.Here, the active estimation model (EM) may receive labeling but unlearned data, compare the predicted value of the product defect prediction model (PM) with the correct answer value, and build a correct answer data set for learning.
또한, 능동형 추정 모델(EM)은 소프트맥스(Softmax) 함수나 신뢰도를 판단할 수 있는 함수(가령, 평균 맵, 분산 맵 등을 이용하는 함수)를 이용하여 정답 라벨로 예측할 확률과 비정답 라벨로 예측할 확률을 산출할 수 있으며, 정답 라벨로 예측할 확률이 높은 경우 물품 불량 예측 모델(PM)이 예측한 값으로 라벨링 작업을 수행하고, 비정답 라벨로 예측할 확률이 높은 경우, 사용자 또는 인공지능 기반 로봇이 직접 라벨링하도록 구현될 수 있다.In addition, the active estimation model (EM) uses a Softmax function or a function capable of determining reliability (eg, a function using a mean map, a variance map, etc.) to predict the probability of predicting a correct label and the predictive value of an incorrect label. The probability can be calculated, and if the probability of predicting with the correct label is high, the item defect prediction model (PM) performs the labeling task with the predicted value, and if the probability of predicting with the incorrect label is high, the user or AI-based robot It can be implemented to directly label.
여기서, 상기 소프트맥스 함수나 신뢰도를 판단할 수 있는 함수는 Fully Connected 네트워크의 말단에 배치될 수 있으나, 실시 예가 이에 한정되는 것은 아니다.Here, the softmax function or the function capable of determining reliability may be disposed at the end of the fully connected network, but the embodiment is not limited thereto.
컨트롤러(190)는 복수의 엣지 서버(200A~200D)의 운영을 모니터링하고, 능동형 추정 모델(EM)의 추정된 예측 신뢰도에 기초하여, 물품 불량 예측 모델(PM)의 라벨링에 대한 채택 여부를 결정할 수 있다.The
상술한 바와 같이, 컨트롤러(190)는 다양한 작업 프로세스를 복수의 엣지 서버(200A~200D)에 할당할 수 있으며, 해당 작업 프로세스를 모니터링하며, 작업 프로세스를 수행하기 어렵다고 판단되는 경우(가령, 네트워크 트래픽이 소정 수치 이상이거나 엣지 서버의 프로세서의 가동률이 소정 수치 이상인 경우), 해당 작업 프로세스를 다른 엣지 서버가 수행하도록 요청하거나 해당 작업 프로세스를 자체적으로 수행할 수 있다. As described above, the
컨트롤러(190)는 하나 이상의 프로세서를 포함할 수 있으며, 단수로 표현하더라도 복수로 간주될 수 있다. 컨트롤러(190)는 중앙 클라우드 서버(100)의 구성들을 컨트롤하는 모듈이며, 컨트롤러(190)는 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 컨트롤러(190)는 인공 지능 연산을 수행하기 위한 러닝 프로세서를 별도로 구비하거나, 자체적으로 러닝 프로세서를 구비할 수 있다.The
구체적으로, 컨트롤러(190)는 복수의 엣지 서버(200A~200D) 각각에 적어도 하나의 작업 프로세스를 할당할 수 있다. 해당 작업 프로세스는 스마트 팩토리 내의 물품을 촬영하고 촬영된 물품 이미지를 저장 및 전송하는 제1 작업 프로세스, 전송된 물품 이미지에서 물품 불량 예측 모델(PM)에 입력될 이미지로 전처리하는 제2 작업 프로세스, 물품 불량 예측 모델(PM)에 대응하는 엣지 물품 불량 예측 모델을 실행하는 제3 작업 프로세스 및 능동형 추정 모델(EM)에 대응하는 엣지 능동형 추정 모델을 실행하는 제4 작업 프로세스를 포함할 수 있으나, 실시 예는 상술한 작업 프로세스에 한정되는 것은 아니다.Specifically, the
컨트롤러(190)는 복수의 엣지 서버(200A~200D) 각각에 적어도 하나의 작업 프로세스를 할당하는 경우, 작업 프로세스를 수행하기 위한 정보를 해당 엣지 서버에 통신부(120)를 통해 제공할 수 있다. When assigning at least one work process to each of the plurality of
컨트롤러(190)는 능동형 추정 모델(EM)을 이용하여, 물품 불량 예측 모델(PM)의 물품 불량 여부 정보를 클러스터링하여 디스플레이(130)에 출력할 수 있다.The
이때, 컨트롤러(190)는 디스플레이(130)에 출력하기 위한 데이터가 표현되는 차원이 4차원 이상인 경우, 데이터를 2차원 또는 3차원으로 변환하여 디스플레이(130)에 출력할 수 있다. 4차원 이상인 경우, 시각적으로 표현되기 어려운 바, 이를 2차원 또는 3차원으로 변경할 수 있다. 여기서, 차원은 다양한 특성 파라미터에 달라질 수 있으며, 고차원의 자료를 2차원 또는 3차원으로 변환하여 디스플레이(130)에 표현될 수 있다.In this case, if the dimension in which the data to be output to the
컨트롤러(190)는 능동형 추정 모델(EM)을 이용하여, 능동형 추정 모델(EM)의 예측 신뢰도가 소정 기준치 이상인 경우, 물품 불량 예측 모델(PM)의 라벨링 정보를 채택할 수 있다.The
컨트롤러(190)는 능동형 추정 모델(EM)의 예측 신뢰도가 소정 기준치 미만인 경우, 물품 불량 예측 모델(PM)의 라벨링 정보를 채택하지 않을 수 있다.The
컨트롤러(190)는 물품 불량 예측 모델의 라벨링 정보를 채택하지 않는 경우, 물품에 대한 라벨링 정보 입력을 대기할 수 있다. 이런 경우, 사용자에 의해 라벨링 정보가 입력되거나, 자동으로 라벨링하는 기 학습된 모델을 이용하여, 라벨링 정보가 입려될 수 있다.When the labeling information of the product defect prediction model is not adopted, the
여기서, 물품 불량 예측 모델(PM)의 신경망 파라미터 중 일부가 능동형 추정 모델(EM)에 전이되어 적용될 수 있다. 전이 대상 신경망 파라미터는 모델의 말단 부분을 제외한 네트워크에 대응할 수 있다. 가령, CNN(Convolution Neural Network)이 적용되는 경우, 컨볼루션 연산, 맥스 풀링 연산 등에 사용된 신경망 파라미터일 수 있으나, 실시 예가 이에 한정되는 것은 아니다.Here, some of the neural network parameters of the product defect prediction model (PM) may be transferred and applied to the active estimation model (EM). The transition target neural network parameters may correspond to networks other than the distal part of the model. For example, when a Convolution Neural Network (CNN) is applied, it may be a neural network parameter used for convolution operation, max pooling operation, etc., but the embodiment is not limited thereto.
컨트롤러(190)는 소정의 엣지 서버에서 작업 프로세스를 수행할 때 작업 진행 효율이 소정 수준 이하인 경우, 해당 작업 프로세스를 직접 또는 다른 엣지 서버가 수행하도록 스케줄링할 수 있다.The
컨트롤러(190)는 복수의 엣지 서버(200A~200D) 중 적어도 일부의 엣지 물품 불량 예측 모델을 물품 불량 예측 모델(PM)에 반영하고 엣지 능동형 추정 모델을 능동형 추정 모델(EM)에 반영하도록 구성될 수 있다. 또한, 컨트롤러(190)는 물품 불량 예측 모델(PM) 또는 능동형 추정 모델(EM)을 엣지 서버에 반영할 수도 있다.The
도 3은 본 발명의 일 실시 예에 따른 이미지 기반으로 물품의 불량 여부를 결정하는 엣지 컴퓨팅 시스템의 동작 방법을 설명하기 위한 도면이다.3 is a diagram for explaining an operating method of an edge computing system for determining whether an item is defective based on an image according to an embodiment of the present invention.
먼저, 물품 불량 예측 모델(PM)은 물품 이미지(GI)를 입력받아, 해당 물품이 양품인지 불량품인지 예측(310)할 수 있다. First, the product defect prediction model (PM) receives the product image (GI) and predicts whether the corresponding product is good or defective (310).
능동형 추정 모델(EM)은 적어도 하나의 물품 이미지 및 불량 여부 예측 정보를 세트로 하는 라벨링 정보(LI)를 입력받아, 물품 불량 예측 모델(PM)의 추정된 예측 신뢰도(320)를 출력할 수 있다.The active estimation model (EM) may receive at least one product image and labeling information (LI) including defect prediction information as a set, and output the estimated
여기서, 추정된 예측 신뢰도(320)는 물품 불량 예측 모델(PM)의 예측 정확도를 나타내는 수치로, 물품 불량 예측 모델(PM)이 신뢰할 수 있는 모델인지 결정할 수 있다.Here, the estimated
능동형 추정 모델(EM)은 물품 불량 예측 모델(PM)의 연산 파라미터를 대부분 동결(Freezing)하여 사용할 수 있으며(330), 말단의 네트워크만 변경하여 구성될 수 있으나, 실시 예가 이에 한정되는 것은 아니다.The active estimation model (EM) may be used by freezing most of the operation parameters of the product defect prediction model (PM) (330), and may be configured by changing only the terminal network, but the embodiment is not limited thereto.
능동형 추정 모델(EM)은 물품 불량 예측 모델(PM)의 재학습 시에 알고리즘의 파라미터 및 관련 정보를 제공할 수 있다.The active estimation model (EM) may provide parameters and related information of the algorithm when retraining the product defect prediction model (PM).
컨트롤러(190)는 물품 불량 예측 모델의 추정된 예측 신뢰도(320)가 신뢰할만하면, 라벨링 정보로 사용(340)하고, 신뢰할만하지 않은 경우, 라벨링 정보 입력을 대기하도록 구성될 수 있다.The
도 4(a) 및 도 4(b)는 본 발명의 일 실시 예에 따른 능동형 추정 모델을 이용하여 데이터의 클러스터링을 나타낸다.4(a) and 4(b) show clustering of data using an active estimation model according to an embodiment of the present invention.
능동형 추정 모델(EM)의 성능이 낮은 경우(도 4(a)), 물품의 양품/불량품의 구분이 명확하지 않으며, 성능이 높은 경우(도 4(b)), 물품의 양품/불량품의 구분이 명확할 수 있다.When the performance of the active estimation model (EM) is low (Fig. 4(a)), the distinction between good/defective products is not clear, and when the performance is high (Fig. 4(b)), good/defective goods are classified. this may be clear.
능동형 추정 모델(EM)의 성능이 낮은 경우에는, 물품 불량 예측 모델(PM)이 재학습될 수 있으며, 재학습시 능동형 추정 모델(EM)의 연산 정보, 파라미터값 등이 물품 불량 예측 모델(PM)에 제공될 수 있다.When the performance of the active estimation model (EM) is low, the product defect prediction model (PM) may be re-trained, and during re-learning, the operation information and parameter values of the active estimation model (EM) are changed to the product defect prediction model (PM). ) can be provided.
도 5는 본 발명의 일 실시 예에 따른 라벨링 신뢰도가 낮을 경우, 라벨을 입력받는 경우를 나타낸다.5 illustrates a case of receiving a label when labeling reliability is low according to an embodiment of the present invention.
도 5를 참고하면, 중앙 클라우드 서버(100)는 입력부(110) 또는 통신부(120)를 통해 사용자의 라벨링 정보를 입력받아(510), 라벨링 정보로 사용할 수 있다.Referring to FIG. 5 , the
또한, 중앙 클라우드 서버(100)는 라벨링 정보를 생성하는 기 학습된 모델을 이용하여 물품 이미지 및 정답 정보를 페어로 구성한 적어도 하나의 세트하여 라벨을 생성할 수 있다.In addition, the
중앙 클라우드 서버(100)는 사용자가 직접 라벨링을 입력하는 경우, 해당 라벨링을 JSON, CSV 등의 파일 형식으로 저장할 수 있다.When a user directly inputs labeling, the
이상에서 전술한 본 발명의 일 실시 예에 따른 작동 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다. 여기서, 컴퓨터는 앞에서 설명한 중앙 클라우드 서버(100)일 수 있다.The operating method according to an embodiment of the present invention described above may be implemented as a program (or application) to be executed in combination with a computer, which is hardware, and stored in a medium. Here, the computer may be the
상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, Python, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.The above-described program is C, C++, Python, JAVA, C, C++, Python, JAVA, which can be read by a processor (CPU) of the computer through a device interface of the computer so that the computer reads the program and executes the methods implemented as a program. It may include a code coded in a computer language such as machine language. These codes may include functional codes related to functions defining necessary functions for executing the methods, and include control codes related to execution procedures necessary for the processor of the computer to execute the functions according to a predetermined procedure. can do. In addition, these codes may further include memory reference related codes for which location (address address) of the computer's internal or external memory should be referenced for additional information or media required for the computer's processor to execute the functions. there is. In addition, when the processor of the computer needs to communicate with any other remote computer or server in order to execute the functions, the code uses the computer's communication module to determine how to communicate with any other remote computer or server. It may further include communication-related codes for whether to communicate, what kind of information or media to transmit/receive during communication, and the like.
본 발명의 실시 예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.Steps of a method or algorithm described in relation to an embodiment of the present invention may be directly implemented as hardware, implemented as a software module executed by hardware, or implemented by a combination thereof. A software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any form of computer readable recording medium well known in the art to which the present invention pertains.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시 예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.Although the embodiments of the present invention have been described with reference to the accompanying drawings, those skilled in the art to which the present invention pertains can be implemented in other specific forms without changing the technical spirit or essential features of the present invention. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.
1000 : 엣지 시스템,
100 : 중앙 클라우드 서버, 200 : 엣지 서버1000: edge system,
100: central cloud server, 200: edge server
Claims (20)
복수의 엣지 서버와 통신하는 통신부;
물품 이미지가 입력되면 물품의 불량 여부를 예측하는 물품 불량 예측 모델 및 상기 물품 불량 예측 모델의 예측 신뢰도를 추정하는 능동형 추정 모델을 저장하는 메모리; 및
상기 복수의 엣지 서버의 운영을 모니터링하고, 상기 추정된 예측 신뢰도에 기초하여, 상기 물품 불량 예측 모델의 라벨링에 대한 채택 여부를 결정하는 컨트롤러를 포함하는, 중앙 클라우드 서버.As a central cloud server of an edge computing system that determines whether an item is defective based on an image,
A communication unit communicating with a plurality of edge servers;
a memory for storing a product defect prediction model predicting whether a product is defective when an product image is input and an active estimation model estimating prediction reliability of the product defect prediction model; and
And a controller for monitoring the operation of the plurality of edge servers and determining whether to adopt the labeling of the product defect prediction model based on the estimated prediction reliability.
상기 컨트롤러는 상기 복수의 엣지 서버 각각에 적어도 하나의 작업 프로세스를 할당하며,
상기 작업 프로세스는,
스마트 팩토리 내의 물품을 촬영하고 촬영된 물품 이미지를 저장 및 전송하는 제1 작업 프로세스, 전송된 물품 이미지에서 상기 물품 불량 예측 모델에 입력될 이미지로 전처리하는 제2 작업 프로세스, 상기 물품 불량 예측 모델에 대응하는 엣지 물품 불량 예측 모델을 실행하는 제3 작업 프로세스 및 상기 능동형 추정 모델에 대응하는 엣지 능동형 추정 모델을 실행하는 제4 작업 프로세스를 포함하는, 중앙 클라우드 서버.According to claim 1,
The controller assigns at least one work process to each of the plurality of edge servers;
The work process is
A first work process of photographing an item in the smart factory, storing and transmitting the photographed item image, a second work process of preprocessing the transmitted item image into an image to be input to the product defect prediction model, and corresponding to the product defect prediction model A central cloud server comprising: a third work process for executing an edge product defect prediction model for performing an edge product defect prediction model and a fourth work process for executing an edge active estimation model corresponding to the active estimation model.
상기 컨트롤러는,
상기 복수의 엣지 서버 각각에 적어도 하나의 작업 프로세스를 할당하는 경우, 상기 작업 프로세스를 수행하기 위한 정보를 해당 엣지 서버에 제공하도록 구성되는, 중앙 클라우드 서버.According to claim 2,
The controller,
When at least one work process is allocated to each of the plurality of edge servers, the central cloud server configured to provide information for performing the work process to the corresponding edge server.
디스플레이를 더 포함하며,
상기 컨트롤러는 상기 능동형 추정 모델을 이용하여,
상기 물품 불량 예측 모델의 물품 불량 여부 정보를 클러스터링하여 상기 디스플레이에 출력하도록 구성되는, 중앙 클라우드 서버.According to claim 3,
further comprising a display;
The controller uses the active estimation model,
A central cloud server configured to cluster product defect information of the product defect prediction model and output the clustered product to the display.
상기 컨트롤러는,
상기 디스플레이에 출력하기 위한 데이터가 표현되는 차원이 4차원 이상인 경우, 상기 데이터를 2차원 또는 3차원으로 변환하여 상기 디스플레이에 출력하도록 구성되는, 중앙 클라우드 서버.According to claim 4,
The controller,
The central cloud server configured to convert the data to 2-dimensional or 3-dimensional data and output the data to the display when the dimension in which the data to be output to the display is expressed is 4-dimensional or higher.
상기 컨트롤러는 상기 능동형 추정 모델을 이용하여,
상기 능동형 추정 모델의 예측 신뢰도가 소정 기준치 이상인 경우, 상기 물품 불량 예측 모델의 라벨링 정보를 채택하고,
상기 능동형 추정 모델의 예측 신뢰도가 소정 기준치 미만인 경우, 상기 물품 불량 예측 모델의 라벨링 정보를 채택하지 않도록 구성되는, 중앙 클라우드 서버.According to claim 5,
The controller uses the active estimation model,
When the prediction reliability of the active estimation model is greater than or equal to a predetermined reference value, labeling information of the product defect prediction model is adopted;
Wherein the central cloud server is configured not to adopt the labeling information of the product defect prediction model when the prediction reliability of the active estimation model is less than a predetermined reference value.
상기 컨트롤러는,
상기 물품 불량 예측 모델의 라벨링 정보를 채택하지 않는 경우, 물품에 대한 라벨링 정보 입력을 대기하도록 구성되는, 중앙 클라우드 서버.According to claim 6,
The controller,
The central cloud server configured to wait for input of labeling information for an article when labeling information of the product defect prediction model is not adopted.
상기 물품 불량 예측 모델의 신경망 파라미터 중 일부가 상기 능동형 추정 모델에 전이되어 적용되는, 중앙 클라우드 서버.According to claim 7,
A central cloud server in which some of the neural network parameters of the product defect prediction model are transferred and applied to the active estimation model.
상기 컨트롤러는,
소정의 엣지 서버에서 작업 프로세스를 수행할 때 작업 진행 효율이 소정 수준 이하인 경우, 해당 작업 프로세스를 직접 또는 다른 엣지 서버가 수행하도록 스케줄링하도록 구성되는, 중앙 클라우드 서버.According to claim 8,
The controller,
A central cloud server configured to schedule the work process to be performed directly or by another edge server when the work progress efficiency is below a predetermined level when the work process is performed on a predetermined edge server.
상기 컨트롤러는,
상기 복수의 엣지 서버 중 적어도 일부의 엣지 물품 불량 예측 모델을 상기 물품 불량 예측 모델에 반영하고 엣지 능동형 추정 모델을 상기 능동형 추정 모델에 반영하도록 구성되는, 중앙 클라우드 서버.According to claim 9,
The controller,
A central cloud server configured to reflect edge product defect prediction models of at least some of the plurality of edge servers to the product defect prediction model and to reflect an edge active estimation model to the active estimation model.
중앙 클라우드 서버;
복수의 엣지 서버를 포함하며,
상기 중앙 클라우드 서버는,
복수의 엣지 서버와 통신하고, 물품 이미지가 입력되면 물품의 불량 여부를 예측하는 물품 불량 예측 모델 및 상기 물품 불량 예측 모델의 예측 신뢰도를 추정하는 능동형 추정 모델을 저장하고,
상기 복수의 엣지 서버의 운영을 모니터링하고, 상기 추정된 예측 신뢰도에 기초하여, 상기 물품 불량 예측 모델의 라벨링에 대한 채택 여부를 결정하며,
상기 복수의 엣지 서버는,
상기 중앙 클라우드 서버가 할당하는 작업 프로세스를 각각 수행하도록 구성되는, 엣지 컴퓨팅 시스템.As an edge computing system for determining whether an item is defective,
central cloud server;
Includes multiple edge servers,
The central cloud server,
Communicate with a plurality of edge servers and store an item defect prediction model that predicts whether an item is defective when an item image is input and an active estimation model that estimates the prediction reliability of the product defect prediction model,
Monitoring the operation of the plurality of edge servers, and based on the estimated prediction reliability, determining whether to adopt the labeling of the product defect prediction model;
The plurality of edge servers,
An edge computing system configured to perform each of the work processes assigned by the central cloud server.
복수의 엣지 서버 각각은,
스마트 팩토리 내의 물품을 촬영하고 촬영된 물품 이미지를 저장 및 전송하는 제1 작업 프로세스, 전송된 물품 이미지에서 상기 물품 불량 예측 모델에 입력될 이미지로 전처리하는 제2 작업 프로세스, 상기 물품 불량 예측 모델에 대응하는 엣지 물품 불량 예측 모델을 수행하는 제3 작업 프로세스, 및 상기 능동형 추정 모델에 대응하는 엣지 능동형 추정 모델을 수행하는 제4 작업 프로세스 중 적어도 하나를 수행하는, 엣지 컴퓨팅 시스템.According to claim 11,
Each of the plurality of edge servers,
A first work process of photographing an item in the smart factory, storing and transmitting the photographed item image, a second work process of preprocessing the transmitted item image into an image to be input to the product defect prediction model, and corresponding to the product defect prediction model An edge computing system that performs at least one of a third work process for performing an edge article defect prediction model for performing an edge product defect prediction model, and a fourth work process for performing an edge active estimation model corresponding to the active estimation model.
상기 중앙 클라우드 서버는,
복수의 엣지 서버 각각에 적어도 하나의 작업 프로세스를 할당하는 경우, 상기 작업 프로세스를 수행하기 위한 정보를 해당 엣지 서버에 제공하도록 구성되는, 엣지 컴퓨팅 시스템.According to claim 12,
The central cloud server,
When at least one work process is assigned to each of a plurality of edge servers, the edge computing system configured to provide information for performing the work process to the corresponding edge server.
상기 중앙 클라우드 서버는,
상기 능동형 추정 모델을 이용하여, 상기 물품 불량 예측 모델의 물품 불량 여부 정보를 클러스터링하여 디스플레이하는, 엣지 컴퓨팅 시스템.According to claim 13,
The central cloud server,
An edge computing system for clustering and displaying product defect information of the product defect prediction model using the active estimation model.
상기 중앙 클라우드 서버는,
디스플레이 대상 데이터가 표현되는 차원이 4차원 이상인 경우, 상기 데이터를 2차원 또는 3차원으로 변환하여 디스플레이하는, 엣지 컴퓨팅 시스템.According to claim 14,
The central cloud server,
An edge computing system that converts the data to 2D or 3D and displays the data when the dimension in which the display target data is expressed is 4D or higher.
상기 중앙 클라우드 서버는,
상기 능동형 추정 모델의 예측 신뢰도가 소정 기준치 이상인 경우, 상기 물품 불량 예측 모델의 라벨링 정보를 채택하고, 상기 능동형 추정 모델의 예측 신뢰도가 소정 기준치 미만인 경우, 상기 물품 불량 예측 모델의 라벨링 정보를 채택하지 않도록 구성되는, 엣지 컴퓨팅 시스템.According to claim 15,
The central cloud server,
When the prediction reliability of the active estimation model is greater than or equal to a predetermined reference value, labeling information of the product defect prediction model is adopted, and when the prediction reliability of the active estimation model is less than a predetermined reference value, labeling information of the product defect prediction model is not adopted. Configured, edge computing system.
상기 중앙 클라우드 서버는,
상기 물품 불량 예측 모델의 라벨링 정보를 채택하지 않는 경우, 물품에 대한 라벨링 정보 입력을 대기하도록 구성되는, 엣지 컴퓨팅 시스템.According to claim 16,
The central cloud server,
Edge computing system configured to wait for input of labeling information for an article when labeling information of the article defect prediction model is not adopted.
상기 물품 불량 예측 모델의 신경망 파라미터 중 일부가 상기 능동형 추정 모델에 전이되어 적용되는, 엣지 컴퓨팅 시스템.According to claim 17,
Edge computing system wherein some of the neural network parameters of the product defect prediction model are transferred and applied to the active estimation model.
상기 중앙 클라우드 서버는,
소정의 엣지 서버에서 작업 프로세스를 수행할 때 작업 진행 효율이 소정 수준 이하인 경우, 해당 작업 프로세스를 직접 또는 다른 엣지 서버가 수행하도록 스케줄링하도록 구성되는, 엣지 컴퓨팅 시스템.According to claim 18,
The central cloud server,
An edge computing system configured to schedule the work process to be performed directly or by another edge server when the work progress efficiency is below a predetermined level when the work process is performed on a predetermined edge server.
상기 중앙 클라우드 서버는,
상기 복수의 엣지 서버 중 적어도 일부의 엣지 물품 불량 예측 모델을 상기 물품 불량 예측 모델에 반영하고 엣지 능동형 추정 모델을 상기 능동형 추정 모델에 반영하도록 구성되는, 엣지 컴퓨팅 시스템.According to claim 19,
The central cloud server,
The edge computing system configured to reflect the edge product defect prediction model of at least some of the plurality of edge servers to the product defect prediction model and to reflect the edge active estimation model to the active estimation model.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210152098A KR20230067729A (en) | 2021-11-08 | 2021-11-08 | Edge computing system for determining defect of goods based on image and center cloud server thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210152098A KR20230067729A (en) | 2021-11-08 | 2021-11-08 | Edge computing system for determining defect of goods based on image and center cloud server thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20230067729A true KR20230067729A (en) | 2023-05-17 |
Family
ID=86547317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210152098A KR20230067729A (en) | 2021-11-08 | 2021-11-08 | Edge computing system for determining defect of goods based on image and center cloud server thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20230067729A (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210048058A (en) | 2019-10-23 | 2021-05-03 | 삼성에스디에스 주식회사 | Apparatus and method for training deep neural network |
-
2021
- 2021-11-08 KR KR1020210152098A patent/KR20230067729A/en not_active Application Discontinuation
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210048058A (en) | 2019-10-23 | 2021-05-03 | 삼성에스디에스 주식회사 | Apparatus and method for training deep neural network |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220146993A1 (en) | Machine learning method and machine learning device for learning fault conditions, and fault prediction device and fault prediction system including the machine learning device | |
CN102449567B (en) | Cloud computing as a basis for equipment health monitoring service | |
JP2022524244A (en) | Predictive classification of future behavior | |
CN111125864A (en) | Asset performance manager associated with the availability and use of used available materials | |
EP4174590A2 (en) | Combined learned and dynamic control method | |
JP7442550B2 (en) | Inference calculation device, model training device, and inference calculation system | |
CN117389742B (en) | Edge computing method, device and storage medium for machine vision | |
CN115769235A (en) | Method and system for providing an alert related to the accuracy of a training function | |
EP3843338A1 (en) | Monitoring and analyzing communications across multiple control layers of an operational technology environment | |
Liu et al. | Prophet: Realizing a predictable real-time perception pipeline for autonomous vehicles | |
US20220393992A1 (en) | Computing resources schedule recommendation | |
KR20230067729A (en) | Edge computing system for determining defect of goods based on image and center cloud server thereof | |
CN116627770B (en) | Network card temperature prediction method and device, computer equipment and storage medium | |
da Silva et al. | Online machine learning for auto-scaling in the edge computing | |
Chen | Industry 4.0 for semiconductor manufacturing | |
CN117314389A (en) | Municipal administration management and maintenance system based on internet of things | |
Efeoğlu et al. | Machine learning for predictive maintenance: support vector machines and different kernel functions | |
US20230297453A1 (en) | Automatic error prediction in data centers | |
CN110751055A (en) | Intelligent manufacturing system | |
CN114819367A (en) | Public service platform based on industrial internet | |
US10573147B1 (en) | Technologies for managing safety at industrial sites | |
Alghawli | Computer Vision Technology for Fault Detection Systems Using Image Processing. | |
CN117076134B (en) | Unmanned aerial vehicle state data processing method and system based on artificial intelligence | |
Behura et al. | Integration of cloud, iot, and ai for smart services | |
US20230409876A1 (en) | Automatic error prediction for processing nodes of data centers using neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal |