KR20230067729A - Edge computing system for determining defect of goods based on image and center cloud server thereof - Google Patents

Edge computing system for determining defect of goods based on image and center cloud server thereof Download PDF

Info

Publication number
KR20230067729A
KR20230067729A KR1020210152098A KR20210152098A KR20230067729A KR 20230067729 A KR20230067729 A KR 20230067729A KR 1020210152098 A KR1020210152098 A KR 1020210152098A KR 20210152098 A KR20210152098 A KR 20210152098A KR 20230067729 A KR20230067729 A KR 20230067729A
Authority
KR
South Korea
Prior art keywords
edge
product defect
cloud server
prediction model
defect prediction
Prior art date
Application number
KR1020210152098A
Other languages
Korean (ko)
Inventor
김진술
오승민
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020210152098A priority Critical patent/KR20230067729A/en
Publication of KR20230067729A publication Critical patent/KR20230067729A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

An edge computing system for determining whether the defect of goods based on an image is disclosed. The system may include multiple edge servers and a central cloud server that manages them. Accordingly, the defect of goods can be accurately and quickly performed, and the labeling task of a neural network algorithm for determining the defect of goods can be easily performed.

Description

이미지 기반으로 물품의 불량 여부를 결정하는 엣지 컴퓨팅 시스템 및 그의 중앙 클라우드 서버{EDGE COMPUTING SYSTEM FOR DETERMINING DEFECT OF GOODS BASED ON IMAGE AND CENTER CLOUD SERVER THEREOF}Edge computing system and its central cloud server for determining whether an item is defective based on image

본 발명은 이미지 기반으로 물품의 불량 여부를 신속하고 정확하게 결정하는 엣지 컴퓨팅 시스템, 그의 중앙 클라우드 서버 및 엣지 서버에 관한 것이다.The present invention relates to an edge computing system that quickly and accurately determines whether an item is defective based on an image, a central cloud server thereof, and an edge server.

엣지 컴퓨팅(Edge Computing) 기술은 실시간 어플리케이션을 지원하여 산업 및 생활 말단에서 데이터를 수집, 처리, 분석하여 대기 시간 및 대역폭 문제를 효율적으로 줄일 수 있으며 빠른 응답 속도를 기대할 수 있는 기술로, IoT(Internet of Things)의 도입 증가, 중앙 클라우드의 트래픽 집중 현상, 기하급수적으로 증가하는 데이터량 및 네트워크 트래픽 증가 등의 상황을 해결할 수 있는 기술로 평가받고 있다.Edge computing technology is a technology that can efficiently reduce latency and bandwidth problems by collecting, processing, and analyzing data at the end of industry and life by supporting real-time applications, and can expect fast response speed. It is evaluated as a technology that can solve situations such as the increase in the introduction of Internet of Things (IoT), traffic concentration in the central cloud, and the exponentially increasing amount of data and network traffic.

엣지 컴퓨팅에 인공지능 모델을 탑재하여 운영하면 보안 카메라, 자율 주행차, 드론, 스마트 팩토리, 스마트 팜 등의 다양한 영역에서 데이터를 처리할 때 통신비와 대역폭 비용을 절감시키고 빠른 응답 속도로 반응할 수 있으며, 말단에서 데이터를 저장하고 처리할 수 있기 때문에 보안성도 유지될 수 있다.By installing and operating an artificial intelligence model in edge computing, you can reduce communication and bandwidth costs and respond with fast response speed when processing data in various areas such as security cameras, self-driving cars, drones, smart factories, and smart farms. , security can be maintained because data can be stored and processed at the end.

특히, 엣지 컴퓨팅은 스마트 팩토리 환경에서 물품을 촬영하여 물품 이미지를 저장하고 저장된 이미지를 인공 지능 모델에 입력하기 위해서 가공하며, 가공된 물품 이미지를 입력받아 물품의 양품과 불량품을 구분하는 인공 지능 모델이 사용될 수 있다.In particular, edge computing takes pictures of products in a smart factory environment, stores product images, processes the stored images to input them to an artificial intelligence model, and receives processed product images to create artificial intelligence models that distinguish good products from defective products. can be used

다만, 이미지 기반의 인공 지능 모델을 위해서는 인공지능 모델 학습이 필요한데, 모델 학습이 지도 학습(Supervised Learning) 기반으로 수행되는 경우, 이미지에 정답을 라벨링하는데 많은 인력과 비용이 필연적으로 소요되고 있으며, 최근에는 데이터 라벨링을 'AI 눈알 붙이기' 라는 수식어가 붙을 정도여서, 많은 시간과 노력이 필요하다.However, artificial intelligence model learning is required for image-based artificial intelligence models. When model learning is performed based on supervised learning, a lot of manpower and cost are inevitably required to label the correct answer to the image. Data labeling is to the extent that the modifier 'sticking AI eyes' is attached, so it requires a lot of time and effort.

이에, 엣지 컴퓨팅 환경에서 물품의 불량 여부를 정확하고 신속하게 결정하기 위한 방법이 필요하다.Accordingly, there is a need for a method for accurately and quickly determining whether or not an item is defective in an edge computing environment.

한편, 상기와 같은 정보는 본 발명의 이해를 돕기 위한 백그라운드(background) 정보로서만 제시될 뿐이다. 상기 내용 중 어느 것이라도 본 발명에 관한 종래 기술로서 적용 가능할지 여부에 관해, 어떤 결정도 이루어지지 않았고, 또한 어떤 주장도 이루어지지 않는다.On the other hand, the above information is presented only as background information to help the understanding of the present invention. No determination has been made, nor is any assertion made, as to whether any of the foregoing is applicable as prior art with respect to the present invention.

대한민국 공개특허공보 제10-2021-0048058호(공개일 : 2021.5.3)Republic of Korea Patent Publication No. 10-2021-0048058 (published date: 2021.5.3)

상술한 바와 같은 문제점을 해결하기 위한 본 발명의 일 과제는 중앙 집중식 방식을 탈피하여 시스템의 필요 작업을 분산하여 수행하는 엣지 시스템을 제공하는 데에 있다.One object of the present invention to solve the above problems is to provide an edge system that performs necessary tasks of the system in a distributed manner by breaking away from the centralized method.

본 발명의 또 다른 과제는, 이미지 기반으로 물품의 불량 여부를 결정하는 엣지 컴퓨팅 시스템을 제공하는 데에 있다.Another object of the present invention is to provide an edge computing system that determines whether a product is defective based on an image.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the description below.

상술한 과제를 해결하기 위한 본 발명의 일 실시 예에 따른 이미지 기반으로 물품의 불량 여부를 결정하는 엣지 컴퓨팅 시스템의 중앙 클라우드 서버는 복수의 엣지 서버와 통신하는 통신부; 물품 이미지가 입력되면 물품의 불량 여부를 예측하는 물품 불량 예측 모델 및 상기 물품 불량 예측 모델의 예측 신뢰도를 추정하는 능동형 추정 모델을 저장하는 메모리; 및 상기 복수의 엣지 서버의 운영을 모니터링하고, 상기 추정된 예측 신뢰도에 기초하여, 상기 물품 불량 예측 모델의 라벨링에 대한 채택 여부를 결정하는 컨트롤러를 포함할 수 있다.A central cloud server of an edge computing system for determining whether an item is defective based on an image according to an embodiment of the present invention for solving the above problems includes a communication unit communicating with a plurality of edge servers; a memory for storing a product defect prediction model predicting whether a product is defective when an product image is input and an active estimation model estimating prediction reliability of the product defect prediction model; and a controller that monitors the operation of the plurality of edge servers and determines whether to adopt the product defect prediction model for labeling based on the estimated prediction reliability.

상기 컨트롤러는 상기 복수의 엣지 서버 각각에 적어도 하나의 작업 프로세스를 할당할 수 있다.The controller may allocate at least one work process to each of the plurality of edge servers.

상기 작업 프로세스는 스마트 팩토리 내의 물품을 촬영하고 촬영된 물품 이미지를 저장 및 전송하는 제1 작업 프로세스, 전송된 물품 이미지에서 상기 물품 불량 예측 모델에 입력될 이미지로 전처리하는 제2 작업 프로세스, 상기 물품 불량 예측 모델에 대응하는 엣지 물품 불량 예측 모델을 실행하는 제3 작업 프로세스 및 상기 능동형 추정 모델에 대응하는 엣지 능동형 추정 모델을 실행하는 제4 작업 프로세스를 포함할 수 있다.The work process includes a first work process of photographing an article in the smart factory, storing and transmitting the photographed article image, a second work process of preprocessing the transmitted article image into an image to be input to the product defect prediction model, and the product defect. A third working process for executing an edge article defect prediction model corresponding to the predictive model and a fourth working process for executing an edge active estimation model corresponding to the active estimation model.

상기 컨트롤러는 상기 복수의 엣지 서버 각각에 적어도 하나의 작업 프로세스를 할당하는 경우, 상기 작업 프로세스를 수행하기 위한 정보를 해당 엣지 서버에 제공하도록 구성될 수 있다.When at least one work process is assigned to each of the plurality of edge servers, the controller may be configured to provide information for performing the work process to the corresponding edge server.

상기 중앙 클라우드 서버는 디스플레이를 더 포함할 수 있으며, 상기 컨트롤러는 상기 능동형 추정 모델을 이용하여, 상기 물품 불량 예측 모델의 물품 불량 여부 정보를 클러스터링하여 상기 디스플레이에 출력하도록 구성될 수 있다.The central cloud server may further include a display, and the controller may be configured to cluster product defect information of the product defect prediction model using the active estimation model and output the clustered product defect information to the display.

상기 컨트롤러는 상기 디스플레이에 출력하기 위한 데이터가 표현되는 차원이 4차원 이상인 경우, 상기 데이터를 2차원 또는 3차원으로 변환하여 상기 디스플레이에 출력하도록 구성될 수 있다.The controller may be configured to convert the data to 2D or 3D and output the data to the display when the dimension in which the data to be output to the display is expressed is 4-dimensional or higher.

상기 컨트롤러는 상기 능동형 추정 모델을 이용하여, 상기 능동형 추정 모델의 예측 신뢰도가 소정 기준치 이상인 경우, 상기 물품 불량 예측 모델의 라벨링 정보를 채택할 수 있다.The controller may adopt labeling information of the product defect prediction model using the active estimation model, when the prediction reliability of the active estimation model is equal to or greater than a predetermined reference value.

상기 컨트롤러는 상기 능동형 추정 모델을 이용하여, 상기 능동형 추정 모델의 예측 신뢰도가 소정 기준치 미만인 경우, 상기 물품 불량 예측 모델의 라벨링 정보를 채택하지 않도록 구성될 수 있다.The controller may be configured not to adopt labeling information of the product defect prediction model when the prediction reliability of the active estimation model is less than a predetermined reference value using the active estimation model.

상기 컨트롤러는 상기 물품 불량 예측 모델의 라벨링 정보를 채택하지 않는 경우, 물품에 대한 라벨링 정보 입력을 대기하도록 구성될 수 있다.The controller may be configured to wait for input of labeling information for the product when the labeling information of the product defect prediction model is not adopted.

여기서, 상기 물품 불량 예측 모델의 신경망 파라미터 중 일부가 상기 능동형 추정 모델에 전이되어 적용될 수 있다.Here, some of the neural network parameters of the product defect prediction model may be transferred and applied to the active estimation model.

상기 컨트롤러는 소정의 엣지 서버에서 작업 프로세스를 수행할 때 작업 진행 효율이 소정 수준 이하인 경우, 해당 작업 프로세스를 직접 또는 다른 엣지 서버가 수행하도록 스케줄링하도록 구성될 수 있다.The controller may be configured to schedule the work process to be performed directly or by other edge servers when the work progress efficiency is below a predetermined level when a work process is performed in a predetermined edge server.

상기 컨트롤러는 상기 복수의 엣지 서버 중 적어도 일부의 엣지 물품 불량 예측 모델을 상기 물품 불량 예측 모델에 반영하고 엣지 능동형 추정 모델을 상기 능동형 추정 모델에 반영하도록 구성될 수 있다.The controller may be configured to reflect edge product defect prediction models of at least some of the plurality of edge servers to the product defect prediction model and to reflect an edge active estimation model to the active estimation model.

본 발명의 일 실시 예에 따른 물품의 불량 여부를 결정하기 위한 엣지 컴퓨팅 시스템은 중앙 클라우드 서버; 복수의 엣지 서버를 포함할 수 있다.An edge computing system for determining whether an item is defective according to an embodiment of the present invention includes a central cloud server; It can include multiple edge servers.

상기 중앙 클라우드 서버는 복수의 엣지 서버와 통신하고, 물품 이미지가 입력되면 물품의 불량 여부를 예측하는 물품 불량 예측 모델 및 상기 물품 불량 예측 모델의 예측 신뢰도를 추정하는 능동형 추정 모델을 저장하고, 상기 복수의 엣지 서버의 운영을 모니터링하고, 상기 추정된 예측 신뢰도에 기초하여, 상기 물품 불량 예측 모델의 라벨링에 대한 채택 여부를 결정할 수 있다.The central cloud server communicates with a plurality of edge servers and stores an item defect prediction model for predicting whether an item is defective when an item image is input and an active estimation model for estimating the prediction reliability of the item defect prediction model, and the plurality of edge servers. The operation of the edge server may be monitored, and based on the estimated prediction reliability, whether to adopt the product defect prediction model for labeling may be determined.

상기 복수의 엣지 서버는 상기 중앙 클라우드 서버가 할당하는 작업 프로세스를 각각 수행하도록 구성될 수 있다.The plurality of edge servers may be configured to each perform work processes allocated by the central cloud server.

여기서, 복수의 엣지 서버 각각은 스마트 팩토리 내의 물품을 촬영하고 촬영된 물품 이미지를 저장 및 전송하는 제1 작업 프로세스, 전송된 물품 이미지에서 상기 물품 불량 예측 모델에 입력될 이미지로 전처리하는 제2 작업 프로세스, 상기 물품 불량 예측 모델에 대응하는 엣지 물품 불량 예측 모델을 수행하는 제3 작업 프로세스, 및 상기 능동형 추정 모델에 대응하는 엣지 능동형 추정 모델을 수행하는 제4 작업 프로세스 중 적어도 하나를 수행할 수 있다.Here, each of the plurality of edge servers has a first work process of photographing an article in the smart factory, storing and transmitting the photographed article image, and a second work process of pre-processing the transmitted article image into an image to be input to the product defect prediction model. , at least one of a third task process of performing an edge product defect prediction model corresponding to the product defect prediction model, and a fourth task process of performing an edge active estimation model corresponding to the active estimation model.

상기 중앙 클라우드 서버는 복수의 엣지 서버 각각에 적어도 하나의 작업 프로세스를 할당하는 경우, 상기 작업 프로세스를 수행하기 위한 정보를 해당 엣지 서버에 제공하도록 구성될 수 있다.When at least one work process is assigned to each of a plurality of edge servers, the central cloud server may be configured to provide information for performing the work process to the corresponding edge server.

상기 중앙 클라우드 서버는 상기 능동형 추정 모델을 이용하여, 상기 물품 불량 예측 모델의 물품 불량 여부 정보를 클러스터링하여 디스플레이할 수 있다.The central cloud server may cluster and display product defect information of the product defect prediction model using the active estimation model.

상기 중앙 클라우드 서버는 디스플레이 대상 데이터가 표현되는 차원이 4차원 이상인 경우, 상기 데이터를 2차원 또는 3차원으로 변환하여 디스플레이할 수 있다. The central cloud server may convert the data to 2D or 3D and display the data when the dimension in which the data to be displayed is expressed is 4D or higher.

상기 중앙 클라우드 서버는 상기 능동형 추정 모델의 예측 신뢰도가 소정 기준치 이상인 경우, 상기 물품 불량 예측 모델의 라벨링 정보를 채택하고, 상기 능동형 추정 모델의 예측 신뢰도가 소정 기준치 미만인 경우, 상기 물품 불량 예측 모델의 라벨링 정보를 채택하지 않도록 구성될 수 있다.The central cloud server adopts labeling information of the product defect prediction model when the prediction reliability of the active estimation model is equal to or greater than a predetermined reference value, and labels the product defect prediction model when the prediction reliability of the active estimation model is less than a predetermined reference value. It can be configured not to adopt information.

상기 중앙 클라우드 서버는 상기 물품 불량 예측 모델의 라벨링 정보를 채택하지 않는 경우, 물품에 대한 라벨링 정보 입력을 대기하도록 구성될 수 있다.The central cloud server may be configured to wait for input of labeling information for an article when labeling information of the product defect prediction model is not adopted.

여기서, 상기 물품 불량 예측 모델의 신경망 파라미터 중 일부가 상기 능동형 추정 모델에 전이되어 적용될 수 있다.Here, some of the neural network parameters of the product defect prediction model may be transferred and applied to the active estimation model.

상기 중앙 클라우드 서버는 소정의 엣지 서버에서 작업 프로세스를 수행할 때 작업 진행 효율이 소정 수준 이하인 경우, 해당 작업 프로세스를 직접 또는 다른 엣지 서버가 수행하도록 스케줄링하도록 구성될 수 있다.The central cloud server may be configured to schedule the work process to be performed directly or by other edge servers when the work progress efficiency is below a predetermined level when a work process is performed on a predetermined edge server.

상기 중앙 클라우드 서버는 상기 복수의 엣지 서버 중 적어도 일부의 엣지 물품 불량 예측 모델을 상기 물품 불량 예측 모델에 반영하고 엣지 능동형 추정 모델을 상기 능동형 추정 모델에 반영하도록 구성될 수 있다.The central cloud server may be configured to reflect edge product defect prediction models of at least some of the plurality of edge servers to the product defect prediction model and to reflect an edge active estimation model to the active estimation model.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 장치, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.In addition to this, another method for implementing the present invention, another device, another system, and a computer readable recording medium recording a computer program for executing the method may be further provided.

상기와 같은 본 발명의 다양한 실시 예가 제공됨으로써, 이미지 기반으로 물품의 불량 여부를 결정하기 위한 인공 지능 모델의 라벨링 작업량이 줄어들게 되어 장치 효율이 제고될 수 있으며, 시스템 구성 및 운영 시 비용 절감이 기대될 수 있다.By providing various embodiments of the present invention as described above, the amount of labeling work of an artificial intelligence model for determining whether a product is defective based on an image is reduced, thereby improving device efficiency, and cost reduction in system configuration and operation is expected. can

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description below.

도 1은 본 발명의 일 실시 예에 따른 이미지 기반으로 물품의 불량 여부를 결정하는 엣지 컴퓨팅 시스템을 개략적으로 설명하기 위한 도면,
도 2는 본 발명의 일 실시 예에 따른 중앙 클라우드 서버의 구성 및 복수의 엣지 서버의 수행 작업 프로세스를 설명하기 위한 도면,
도 3은 본 발명의 일 실시 예에 따른 이미지 기반으로 물품의 불량 여부를 결정하는 엣지 컴퓨팅 시스템의 동작 방법을 설명하기 위한 도면,
도 4(a) 및 도 4(b)는 본 발명의 일 실시 예에 따른 능동형 추정 모델을 이용하여 데이터를 클러스터링하는 예시적인 결과를 나타내며, 그리고,
도 5는 본 발명의 일 실시 예에 따른 라벨링 신뢰도가 낮을 경우, 라벨을 입력받는 경우를 나타낸다.
1 is a diagram schematically illustrating an edge computing system for determining whether a product is defective based on an image according to an embodiment of the present invention;
2 is a diagram for explaining a configuration of a central cloud server and a work process performed by a plurality of edge servers according to an embodiment of the present invention;
3 is a diagram for explaining an operating method of an edge computing system for determining whether an item is defective based on an image according to an embodiment of the present invention;
4(a) and 4(b) show exemplary results of clustering data using an active estimation model according to an embodiment of the present invention, and
5 illustrates a case of receiving a label when the labeling reliability is low according to an embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시 예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention, and methods for achieving them, will become clear with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and may be implemented in various different forms, only the present embodiments make the disclosure of the present invention complete, and those skilled in the art to which the present invention belongs It is provided to fully inform the scope of the present invention, the present invention is defined only by the scope of the claims.

본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.Terms used in this specification are for describing embodiments and are not intended to limit the present invention. In this specification, singular forms also include plural forms unless specifically stated otherwise in a phrase. As used herein, "comprises" and/or "comprising" does not exclude the presence or addition of one or more other elements other than the recited elements. Like reference numerals throughout the specification refer to like elements, and “and/or” includes each and every combination of one or more of the recited elements. Although "first", "second", etc. are used to describe various components, these components are not limited by these terms, of course. These terms are only used to distinguish one component from another. Accordingly, it goes without saying that the first element mentioned below may also be the second element within the technical spirit of the present invention.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with meanings commonly understood by those skilled in the art to which the present invention belongs. In addition, terms defined in commonly used dictionaries are not interpreted ideally or excessively unless explicitly specifically defined.

도 1은 본 발명의 일 실시 예에 따른 이미지 기반으로 물품의 불량 여부를 결정하는 엣지 컴퓨팅 시스템(1000)을 개략적으로 설명하기 위한 도면이다.1 is a diagram schematically illustrating an edge computing system 1000 that determines whether or not an item is defective based on an image according to an embodiment of the present invention.

엣지 컴퓨팅 시스템(1000)은 분산 네트워크 시스템의 일종이며, 신경망 알고리즘을 이용하여 물품의 불량 여부를 결정할 수 있으며, 라벨링 절감 기법이 적용된 지도 학습 기반의 학습 모델을 포함할 수 있다.The edge computing system 1000 is a kind of distributed network system, can determine whether an item is defective by using a neural network algorithm, and can include a supervised learning-based learning model to which a labeling reduction technique is applied.

엣지 컴퓨팅 시스템(1000)의 중앙 클라우드 서버(100)는 컨트롤 시스템이며, 클라우드 시스템으로 구현될 수 있다. 선택적 실시 예로, 중앙 클라우드 서버(100)는 서버, PC, 랩탑, 태블릿 PC 등으로 구현될 수 있다.The central cloud server 100 of the edge computing system 1000 is a control system and may be implemented as a cloud system. As an optional embodiment, the central cloud server 100 may be implemented as a server, PC, laptop, tablet PC, or the like.

중앙 클라우드 서버(100)는 복수의 엣지 서버(200)의 운영을 관리하며, 동작을 모니터링할 수 있으며, 복수의 엣지 서버(200A~200Z)(200)의 연산 부하를 관리할 수 있다. 또한, 중앙 클라우드 서버(100)는 작업 프로세스를 복수의 엣지 서버(200A~200Z)(200)에 할당할 수 있으며, 작업 프로세스를 스케쥴링할 수 있다. The central cloud server 100 can manage the operation of the plurality of edge servers 200, monitor operations, and manage the computational load of the plurality of edge servers 200A to 200Z (200). In addition, the central cloud server 100 may allocate a work process to the plurality of edge servers 200A to 200Z 200 and may schedule the work process.

여기서, 중앙 클라우드 서버(100)는 직접 수행 가능한 작업일지라도, 복수의 엣지 서버(200A~200Z)(200) 중 일부에 작업 수행을 요청할 수 있다. 가령, 중앙 클라우드 서버(100)는 신경망 연산을 특정 엣지 서버(가령, 200A)에 요청할 수 있다.Here, the central cloud server 100 may request execution of a task to some of the plurality of edge servers 200A to 200Z 200 even if the task can be performed directly. For example, the central cloud server 100 may request a neural network operation to a specific edge server (eg, 200A).

복수의 엣지 서버(200A~200Z)(200)는 엣지 컴퓨팅을 위한 서버, 워크 스테이션 등으로 구현될 수 있다. 선택적 실시 예로, 복수의 엣지 서버(200A~200Z)(200)는 클라우드, PC, 랩탑, 태블릿 PC 등으로 구현될 수 있다.The plurality of edge servers 200A to 200Z 200 may be implemented as servers or workstations for edge computing. As an optional embodiment, the plurality of edge servers 200A to 200Z 200 may be implemented as a cloud, PC, laptop, tablet PC, or the like.

복수의 엣지 서버(200A~200Z)(200)는 저장 모듈 및 프로세서를 자체적으로 구비할 수 있으며, 엣지 컴퓨팅 시스템(1000)의 공동 목표를 위해서 중앙 클라우드 서버(100)와 협력하여 구동될 수 있다. 복수의 엣지 서버(200A~200Z)(200)는 필요에 따라 네트워크 통신에 문제가 없는 범위 내에서 서로 통신할 수 있으며, 서로 연결되어 운영될 수 있으며, 서비스 요청에 따라 공동으로 작업할 수 있다.The plurality of edge servers 200A to 200Z 200 may have storage modules and processors themselves, and may be driven in cooperation with the central cloud server 100 for a common goal of the edge computing system 1000. The plurality of edge servers 200A to 200Z 200 may communicate with each other within a range without problems in network communication as needed, may operate in connection with each other, and may work jointly according to a service request.

도 2는 본 발명의 일 실시 예에 따른 중앙 클라우드 서버(100)의 구성 및 복수의 엣지 서버(200A~200D)의 수행 작업 프로세스를 설명하기 위한 도면이다.2 is a diagram for explaining a configuration of the central cloud server 100 and a work process performed by a plurality of edge servers 200A to 200D according to an embodiment of the present invention.

먼저, 복수의 엣지 서버(200A~200D) 중 제1 엣지 서버(200A)는 촬영 작업 프로세스(P1)를 수행할 수 있다. 촬영 작업 프로세스(P1)는 스마트 팩토리 내의 컨베이어 벨트나 물품의 공정 과정에서, 하나 이상의 카메라를 이용하여 물품 이미지를 촬영하는 프로세스일 수 있다. 다만, 적용 장소가 스마트 팩토리에 한정되는 것은 아니다.First, a first edge server 200A among a plurality of edge servers 200A to 200D may perform a photographing work process P1. The photographing work process P1 may be a process of photographing an article image using one or more cameras during a conveyor belt or article process in a smart factory. However, the application place is not limited to the smart factory.

제2 엣지 서버(200B)는 전처리 작업 프로세스(P2)를 수행할 수 있다. 전처리 작업 프로세스(P2)는 후술할 신경망 모델에 입력될 물품 이미지가 되도록 리사이징, 크롭핑, 정규화, 그레이스케일용, 확대/축소 등의 프로세스를 포함할 수 있으나, 실시 예가 이에 한정되는 것은 아니다.The second edge server 200B may perform the preprocessing work process P2. The preprocessing work process P2 may include processes such as resizing, cropping, normalization, gray scale, and enlargement/reduction to become an item image to be input to a neural network model to be described later, but the embodiment is not limited thereto.

제2 엣지 서버(200B)는 제1 엣지 서버(200A)로부터 다이렉트로 물품 이미지를 수신할 수 있다. 선택적 실시 예로, 제2 엣지 서버(200B)는 중앙 클라우드 서버(100)로부터 물품 이미지를 수신할 수 있다.The second edge server 200B may directly receive an article image from the first edge server 200A. As an optional embodiment, the second edge server 200B may receive an article image from the central cloud server 100 .

제3 엣지 서버(200C)는 물품 이미지를 입력받아 물품 불량을 예측하는 작업 프로세스(P3)를 수행할 수 있으며, 이때, 중앙 클라우드 서버(100)로부터 필요 정보(모델 구성 정보, 라벨링 정보, 손실함수 정보 등)를 수신하여, 모델을 학습시킬 수 있으며 모델을 적용할 수 있다. 제3 엣지 서버(200C)에 의해 학습된 모델은 중앙 클라우드 서버(100)에 제공될 수 있다.The third edge server 200C may perform a work process (P3) of predicting product defects by receiving product images, and at this time, necessary information (model configuration information, labeling information, loss function) from the central cloud server 100 information), the model can be trained, and the model can be applied. A model learned by the third edge server 200C may be provided to the central cloud server 100 .

제4 엣지 서버(200D)는 능동형 추정 작업 프로세스(P4)를 수행할 수 있다. 능동형 추정 작업 프로세스(P4)는 물품 불량 예측 모델의 예측 신뢰도를 추정할 수 있으며, 라벨링이 필요한 데이터를 클러스터링하여 사용자에게 제공할 수도 있다. 제4 엣지 서버(200D)에 의해 학습된 모델은 중앙 클라우드 서버(100)에 제공될 수 있다.The fourth edge server 200D may perform the active estimation task process P4. The active estimation work process P4 may estimate the prediction reliability of the product defect prediction model, and may cluster data requiring labeling and provide the data to the user. A model learned by the fourth edge server 200D may be provided to the central cloud server 100 .

선택적 또는 부가적 실시 예로, 중앙 클라우드 서버(100)는 상술한 엣지 서버(200A~200D)가 수행하는 작업을 자체적으로 수행할 수도 있다.As an optional or additional embodiment, the central cloud server 100 may itself perform the work performed by the above-described edge servers 200A to 200D.

중앙 클라우드 서버(100)는 입력부(110), 통신부(120), 디스플레이(130), 메모리(140) 및 컨트롤러(190)를 포함할 수 있다. 실시 예에 따라, 중앙 클라우드 서버(100)는 상술한 구성을 일부만 포함하거나 다른 구성들을 더 포함할 수 있다.The central cloud server 100 may include an input unit 110 , a communication unit 120 , a display 130 , a memory 140 and a controller 190 . According to embodiments, the central cloud server 100 may include only some of the above-described components or may further include other components.

입력부(110)는 다양한 입력 수단을 포함하며, 신경망 모델의 라벨링 정보를 사용자 또는 로봇으로부터 입력받을 수 있다.The input unit 110 includes various input means and may receive labeling information of a neural network model from a user or a robot.

통신부(120)는 복수의 엣지 서버(200A~200D)와 통신하기 위한 수단으며, 유무선 통신 모듈, 이동 통신 모듈 및 근거리 통신 모듈 등을 포함할 수 있으나, 실시 예가 이에 한정되는 것은 아니다.The communication unit 120 is a means for communicating with a plurality of edge servers 200A to 200D, and may include a wired/wireless communication module, a mobile communication module, and a short-distance communication module, but the embodiment is not limited thereto.

디스플레이(130)는 다양한 정보를 시각화하기 위한 구성이며, LCD, LED, OLED 등으로 구현될 수 있으나, 실시 예가 이에 한정되는 것은 아니다. 디스플레이(130)는 컨트롤러(190)의 제어에 따라 다양한 정보를 시각적으로 출력할 수 있다.The display 130 is a component for visualizing various information, and may be implemented as an LCD, LED, OLED, etc., but the embodiment is not limited thereto. The display 130 can visually output various information according to the control of the controller 190 .

메모리(140)는 다양한 형태의 저장소를 통칭하는 모듈이며, 메모리(140)는 인공 지능, 머신 러닝, 인공 신경망을 이용하여 연산을 수행하는데 필요한 정보를 저장할 수 있다. 메모리(140)는 다양한 학습 모델을 저장할 수 있는데, 상기 학습 모델들은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다. The memory 140 is a module that collectively refers to various types of storage, and the memory 140 may store information required to perform calculations using artificial intelligence, machine learning, and artificial neural networks. The memory 140 may store various learning models. The learning models may be used to infer result values for new input data other than learning data, and the inferred values may be used as a basis for decision to perform a certain operation. can be used

상기 학습 모델들은 레이블(Label) 정보에 기초하여, 학습이 수행될 수 있으며, 학습 정확도를 높이기 위해, 역전파(Backpropagation) 알고리즘, 크로스 엔트로피 알고리즘 등이 적용될 수 있다. 본 명세서에서, 메모리(140)는 물품 이미지를 입력받아 불량 여부를 예측하는 물품 불량 예측 모델(PM) 및 물품 불량 예측 모델(PM)의 예측 신뢰도에 기초하여, 물품 불량 예측 모델(PM)의 라벨링에 대한 채택 여부를 결정하는데 필요한 능동형 추정 모델(EM)을 포함할 수 있다.The learning models may be trained based on label information, and a backpropagation algorithm, a cross entropy algorithm, or the like may be applied to increase learning accuracy. In the present specification, the memory 140 receives a product image and predicts whether or not the product is defective, and labels the product defect prediction model (PM) based on the predictive reliability of the product defect prediction model (PM). It may include an active estimation model (EM) necessary to determine whether to adopt for.

여기서, 능동형 추정 모델(EM)은 라벨링은 존재하나 학습되지 않은 데이터를 입력받아 물품 불량 예측 모델(PM)의 예측값 및 정답값을 비교하여, 정답 데이터 세트를 구축하여 학습할 수 있다.Here, the active estimation model (EM) may receive labeling but unlearned data, compare the predicted value of the product defect prediction model (PM) with the correct answer value, and build a correct answer data set for learning.

또한, 능동형 추정 모델(EM)은 소프트맥스(Softmax) 함수나 신뢰도를 판단할 수 있는 함수(가령, 평균 맵, 분산 맵 등을 이용하는 함수)를 이용하여 정답 라벨로 예측할 확률과 비정답 라벨로 예측할 확률을 산출할 수 있으며, 정답 라벨로 예측할 확률이 높은 경우 물품 불량 예측 모델(PM)이 예측한 값으로 라벨링 작업을 수행하고, 비정답 라벨로 예측할 확률이 높은 경우, 사용자 또는 인공지능 기반 로봇이 직접 라벨링하도록 구현될 수 있다.In addition, the active estimation model (EM) uses a Softmax function or a function capable of determining reliability (eg, a function using a mean map, a variance map, etc.) to predict the probability of predicting a correct label and the predictive value of an incorrect label. The probability can be calculated, and if the probability of predicting with the correct label is high, the item defect prediction model (PM) performs the labeling task with the predicted value, and if the probability of predicting with the incorrect label is high, the user or AI-based robot It can be implemented to directly label.

여기서, 상기 소프트맥스 함수나 신뢰도를 판단할 수 있는 함수는 Fully Connected 네트워크의 말단에 배치될 수 있으나, 실시 예가 이에 한정되는 것은 아니다.Here, the softmax function or the function capable of determining reliability may be disposed at the end of the fully connected network, but the embodiment is not limited thereto.

컨트롤러(190)는 복수의 엣지 서버(200A~200D)의 운영을 모니터링하고, 능동형 추정 모델(EM)의 추정된 예측 신뢰도에 기초하여, 물품 불량 예측 모델(PM)의 라벨링에 대한 채택 여부를 결정할 수 있다.The controller 190 monitors the operation of the plurality of edge servers 200A to 200D, and determines whether or not to adopt the product defect prediction model (PM) for labeling based on the estimated prediction reliability of the active estimation model (EM). can

상술한 바와 같이, 컨트롤러(190)는 다양한 작업 프로세스를 복수의 엣지 서버(200A~200D)에 할당할 수 있으며, 해당 작업 프로세스를 모니터링하며, 작업 프로세스를 수행하기 어렵다고 판단되는 경우(가령, 네트워크 트래픽이 소정 수치 이상이거나 엣지 서버의 프로세서의 가동률이 소정 수치 이상인 경우), 해당 작업 프로세스를 다른 엣지 서버가 수행하도록 요청하거나 해당 작업 프로세스를 자체적으로 수행할 수 있다. As described above, the controller 190 may allocate various work processes to the plurality of edge servers 200A to 200D, monitor the work process, and when it is determined that it is difficult to perform the work process (eg, network traffic If this value exceeds the predetermined value or the operation rate of the processor of the edge server exceeds the predetermined value), the corresponding work process may be requested to be performed by another edge server or the corresponding work process may be performed by itself.

컨트롤러(190)는 하나 이상의 프로세서를 포함할 수 있으며, 단수로 표현하더라도 복수로 간주될 수 있다. 컨트롤러(190)는 중앙 클라우드 서버(100)의 구성들을 컨트롤하는 모듈이며, 컨트롤러(190)는 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 컨트롤러(190)는 인공 지능 연산을 수행하기 위한 러닝 프로세서를 별도로 구비하거나, 자체적으로 러닝 프로세서를 구비할 수 있다.The controller 190 may include one or more processors, and even when expressed in the singular number, it may be regarded as plural. The controller 190 is a module that controls components of the central cloud server 100, and the controller 190 is embedded in hardware, having a physically structured circuit to perform functions expressed by codes or commands included in a program. may mean a data processing device. As an example of such a data processing device built into hardware, a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, an application-specific integrated (ASIC) circuit), field programmable gate array (FPGA), etc., but the scope of the present invention is not limited thereto. The controller 190 may include a separate running processor for performing artificial intelligence calculations or may include a running processor itself.

구체적으로, 컨트롤러(190)는 복수의 엣지 서버(200A~200D) 각각에 적어도 하나의 작업 프로세스를 할당할 수 있다. 해당 작업 프로세스는 스마트 팩토리 내의 물품을 촬영하고 촬영된 물품 이미지를 저장 및 전송하는 제1 작업 프로세스, 전송된 물품 이미지에서 물품 불량 예측 모델(PM)에 입력될 이미지로 전처리하는 제2 작업 프로세스, 물품 불량 예측 모델(PM)에 대응하는 엣지 물품 불량 예측 모델을 실행하는 제3 작업 프로세스 및 능동형 추정 모델(EM)에 대응하는 엣지 능동형 추정 모델을 실행하는 제4 작업 프로세스를 포함할 수 있으나, 실시 예는 상술한 작업 프로세스에 한정되는 것은 아니다.Specifically, the controller 190 may allocate at least one work process to each of the plurality of edge servers 200A to 200D. The work process includes a first work process of photographing an item in the smart factory, storing and transmitting the photographed item image, a second work process of preprocessing the transmitted item image into an image to be input to the product defect prediction model (PM), and the product It may include a third work process for executing the edge product defect prediction model corresponding to the defect prediction model (PM) and a fourth work process for executing the edge active estimation model corresponding to the active estimation model (EM). is not limited to the above-described work process.

컨트롤러(190)는 복수의 엣지 서버(200A~200D) 각각에 적어도 하나의 작업 프로세스를 할당하는 경우, 작업 프로세스를 수행하기 위한 정보를 해당 엣지 서버에 통신부(120)를 통해 제공할 수 있다. When assigning at least one work process to each of the plurality of edge servers 200A to 200D, the controller 190 may provide information for performing the work process to the corresponding edge server through the communication unit 120 .

컨트롤러(190)는 능동형 추정 모델(EM)을 이용하여, 물품 불량 예측 모델(PM)의 물품 불량 여부 정보를 클러스터링하여 디스플레이(130)에 출력할 수 있다.The controller 190 may cluster product defect information of the product defect prediction model (PM) using the active estimation model (EM) and output the clustered product to the display 130 .

이때, 컨트롤러(190)는 디스플레이(130)에 출력하기 위한 데이터가 표현되는 차원이 4차원 이상인 경우, 데이터를 2차원 또는 3차원으로 변환하여 디스플레이(130)에 출력할 수 있다. 4차원 이상인 경우, 시각적으로 표현되기 어려운 바, 이를 2차원 또는 3차원으로 변경할 수 있다. 여기서, 차원은 다양한 특성 파라미터에 달라질 수 있으며, 고차원의 자료를 2차원 또는 3차원으로 변환하여 디스플레이(130)에 표현될 수 있다.In this case, if the dimension in which the data to be output to the display 130 is expressed is 4-dimensional or higher, the controller 190 may convert the data into 2-dimensional or 3-dimensional data and output the data to the display 130 . If it is 4-dimensional or more, it is difficult to visually express it, so it can be changed to 2-dimensional or 3-dimensional. Here, the dimension may vary according to various characteristic parameters, and high-dimensional data may be converted into 2-dimensional or 3-dimensional data and displayed on the display 130 .

컨트롤러(190)는 능동형 추정 모델(EM)을 이용하여, 능동형 추정 모델(EM)의 예측 신뢰도가 소정 기준치 이상인 경우, 물품 불량 예측 모델(PM)의 라벨링 정보를 채택할 수 있다.The controller 190 may adopt the labeling information of the product defect prediction model (PM) when the prediction reliability of the active estimation model (EM) is greater than or equal to a predetermined reference value by using the active estimation model (EM).

컨트롤러(190)는 능동형 추정 모델(EM)의 예측 신뢰도가 소정 기준치 미만인 경우, 물품 불량 예측 모델(PM)의 라벨링 정보를 채택하지 않을 수 있다.The controller 190 may not adopt the labeling information of the product defect prediction model (PM) when the prediction reliability of the active estimation model (EM) is less than a predetermined reference value.

컨트롤러(190)는 물품 불량 예측 모델의 라벨링 정보를 채택하지 않는 경우, 물품에 대한 라벨링 정보 입력을 대기할 수 있다. 이런 경우, 사용자에 의해 라벨링 정보가 입력되거나, 자동으로 라벨링하는 기 학습된 모델을 이용하여, 라벨링 정보가 입려될 수 있다.When the labeling information of the product defect prediction model is not adopted, the controller 190 may wait for input of labeling information for the product. In this case, labeling information may be input by a user, or may be input using a pre-learned model for automatic labeling.

여기서, 물품 불량 예측 모델(PM)의 신경망 파라미터 중 일부가 능동형 추정 모델(EM)에 전이되어 적용될 수 있다. 전이 대상 신경망 파라미터는 모델의 말단 부분을 제외한 네트워크에 대응할 수 있다. 가령, CNN(Convolution Neural Network)이 적용되는 경우, 컨볼루션 연산, 맥스 풀링 연산 등에 사용된 신경망 파라미터일 수 있으나, 실시 예가 이에 한정되는 것은 아니다.Here, some of the neural network parameters of the product defect prediction model (PM) may be transferred and applied to the active estimation model (EM). The transition target neural network parameters may correspond to networks other than the distal part of the model. For example, when a Convolution Neural Network (CNN) is applied, it may be a neural network parameter used for convolution operation, max pooling operation, etc., but the embodiment is not limited thereto.

컨트롤러(190)는 소정의 엣지 서버에서 작업 프로세스를 수행할 때 작업 진행 효율이 소정 수준 이하인 경우, 해당 작업 프로세스를 직접 또는 다른 엣지 서버가 수행하도록 스케줄링할 수 있다.The controller 190 may schedule the work process to be performed directly or by another edge server when the work progress efficiency is below a certain level when a work process is performed on a predetermined edge server.

컨트롤러(190)는 복수의 엣지 서버(200A~200D) 중 적어도 일부의 엣지 물품 불량 예측 모델을 물품 불량 예측 모델(PM)에 반영하고 엣지 능동형 추정 모델을 능동형 추정 모델(EM)에 반영하도록 구성될 수 있다. 또한, 컨트롤러(190)는 물품 불량 예측 모델(PM) 또는 능동형 추정 모델(EM)을 엣지 서버에 반영할 수도 있다.The controller 190 may be configured to reflect the edge product defect prediction model of at least some of the plurality of edge servers 200A to 200D to the product defect prediction model (PM) and to reflect the edge active estimation model to the active estimation model (EM). can In addition, the controller 190 may reflect a product defect prediction model (PM) or an active estimation model (EM) to the edge server.

도 3은 본 발명의 일 실시 예에 따른 이미지 기반으로 물품의 불량 여부를 결정하는 엣지 컴퓨팅 시스템의 동작 방법을 설명하기 위한 도면이다.3 is a diagram for explaining an operating method of an edge computing system for determining whether an item is defective based on an image according to an embodiment of the present invention.

먼저, 물품 불량 예측 모델(PM)은 물품 이미지(GI)를 입력받아, 해당 물품이 양품인지 불량품인지 예측(310)할 수 있다. First, the product defect prediction model (PM) receives the product image (GI) and predicts whether the corresponding product is good or defective (310).

능동형 추정 모델(EM)은 적어도 하나의 물품 이미지 및 불량 여부 예측 정보를 세트로 하는 라벨링 정보(LI)를 입력받아, 물품 불량 예측 모델(PM)의 추정된 예측 신뢰도(320)를 출력할 수 있다.The active estimation model (EM) may receive at least one product image and labeling information (LI) including defect prediction information as a set, and output the estimated prediction reliability 320 of the product defect prediction model (PM). .

여기서, 추정된 예측 신뢰도(320)는 물품 불량 예측 모델(PM)의 예측 정확도를 나타내는 수치로, 물품 불량 예측 모델(PM)이 신뢰할 수 있는 모델인지 결정할 수 있다.Here, the estimated prediction reliability 320 is a numerical value representing the prediction accuracy of the product defect prediction model (PM), and it can be determined whether the product defect prediction model (PM) is a reliable model.

능동형 추정 모델(EM)은 물품 불량 예측 모델(PM)의 연산 파라미터를 대부분 동결(Freezing)하여 사용할 수 있으며(330), 말단의 네트워크만 변경하여 구성될 수 있으나, 실시 예가 이에 한정되는 것은 아니다.The active estimation model (EM) may be used by freezing most of the operation parameters of the product defect prediction model (PM) (330), and may be configured by changing only the terminal network, but the embodiment is not limited thereto.

능동형 추정 모델(EM)은 물품 불량 예측 모델(PM)의 재학습 시에 알고리즘의 파라미터 및 관련 정보를 제공할 수 있다.The active estimation model (EM) may provide parameters and related information of the algorithm when retraining the product defect prediction model (PM).

컨트롤러(190)는 물품 불량 예측 모델의 추정된 예측 신뢰도(320)가 신뢰할만하면, 라벨링 정보로 사용(340)하고, 신뢰할만하지 않은 경우, 라벨링 정보 입력을 대기하도록 구성될 수 있다.The controller 190 may be configured to use 340 as labeling information if the estimated reliability 320 of the product defect prediction model is reliable, and to wait for labeling information input if not reliable.

도 4(a) 및 도 4(b)는 본 발명의 일 실시 예에 따른 능동형 추정 모델을 이용하여 데이터의 클러스터링을 나타낸다.4(a) and 4(b) show clustering of data using an active estimation model according to an embodiment of the present invention.

능동형 추정 모델(EM)의 성능이 낮은 경우(도 4(a)), 물품의 양품/불량품의 구분이 명확하지 않으며, 성능이 높은 경우(도 4(b)), 물품의 양품/불량품의 구분이 명확할 수 있다.When the performance of the active estimation model (EM) is low (Fig. 4(a)), the distinction between good/defective products is not clear, and when the performance is high (Fig. 4(b)), good/defective goods are classified. this may be clear.

능동형 추정 모델(EM)의 성능이 낮은 경우에는, 물품 불량 예측 모델(PM)이 재학습될 수 있으며, 재학습시 능동형 추정 모델(EM)의 연산 정보, 파라미터값 등이 물품 불량 예측 모델(PM)에 제공될 수 있다.When the performance of the active estimation model (EM) is low, the product defect prediction model (PM) may be re-trained, and during re-learning, the operation information and parameter values of the active estimation model (EM) are changed to the product defect prediction model (PM). ) can be provided.

도 5는 본 발명의 일 실시 예에 따른 라벨링 신뢰도가 낮을 경우, 라벨을 입력받는 경우를 나타낸다.5 illustrates a case of receiving a label when labeling reliability is low according to an embodiment of the present invention.

도 5를 참고하면, 중앙 클라우드 서버(100)는 입력부(110) 또는 통신부(120)를 통해 사용자의 라벨링 정보를 입력받아(510), 라벨링 정보로 사용할 수 있다.Referring to FIG. 5 , the central cloud server 100 may receive user labeling information through the input unit 110 or the communication unit 120 (510) and use it as labeling information.

또한, 중앙 클라우드 서버(100)는 라벨링 정보를 생성하는 기 학습된 모델을 이용하여 물품 이미지 및 정답 정보를 페어로 구성한 적어도 하나의 세트하여 라벨을 생성할 수 있다.In addition, the central cloud server 100 may create a label by setting at least one product image and correct answer information configured as a pair using a pre-learned model for generating labeling information.

중앙 클라우드 서버(100)는 사용자가 직접 라벨링을 입력하는 경우, 해당 라벨링을 JSON, CSV 등의 파일 형식으로 저장할 수 있다.When a user directly inputs labeling, the central cloud server 100 may store the corresponding labeling in a file format such as JSON or CSV.

이상에서 전술한 본 발명의 일 실시 예에 따른 작동 방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다. 여기서, 컴퓨터는 앞에서 설명한 중앙 클라우드 서버(100)일 수 있다.The operating method according to an embodiment of the present invention described above may be implemented as a program (or application) to be executed in combination with a computer, which is hardware, and stored in a medium. Here, the computer may be the central cloud server 100 described above.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, Python, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.The above-described program is C, C++, Python, JAVA, C, C++, Python, JAVA, which can be read by a processor (CPU) of the computer through a device interface of the computer so that the computer reads the program and executes the methods implemented as a program. It may include a code coded in a computer language such as machine language. These codes may include functional codes related to functions defining necessary functions for executing the methods, and include control codes related to execution procedures necessary for the processor of the computer to execute the functions according to a predetermined procedure. can do. In addition, these codes may further include memory reference related codes for which location (address address) of the computer's internal or external memory should be referenced for additional information or media required for the computer's processor to execute the functions. there is. In addition, when the processor of the computer needs to communicate with any other remote computer or server in order to execute the functions, the code uses the computer's communication module to determine how to communicate with any other remote computer or server. It may further include communication-related codes for whether to communicate, what kind of information or media to transmit/receive during communication, and the like.

본 발명의 실시 예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.Steps of a method or algorithm described in relation to an embodiment of the present invention may be directly implemented as hardware, implemented as a software module executed by hardware, or implemented by a combination thereof. A software module may include random access memory (RAM), read only memory (ROM), erasable programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, hard disk, removable disk, CD-ROM, or It may reside in any form of computer readable recording medium well known in the art to which the present invention pertains.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시 예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.Although the embodiments of the present invention have been described with reference to the accompanying drawings, those skilled in the art to which the present invention pertains can be implemented in other specific forms without changing the technical spirit or essential features of the present invention. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.

1000 : 엣지 시스템,
100 : 중앙 클라우드 서버, 200 : 엣지 서버
1000: edge system,
100: central cloud server, 200: edge server

Claims (20)

이미지 기반으로 물품의 불량 여부를 결정하는 엣지 컴퓨팅 시스템의 중앙 클라우드 서버로서,
복수의 엣지 서버와 통신하는 통신부;
물품 이미지가 입력되면 물품의 불량 여부를 예측하는 물품 불량 예측 모델 및 상기 물품 불량 예측 모델의 예측 신뢰도를 추정하는 능동형 추정 모델을 저장하는 메모리; 및
상기 복수의 엣지 서버의 운영을 모니터링하고, 상기 추정된 예측 신뢰도에 기초하여, 상기 물품 불량 예측 모델의 라벨링에 대한 채택 여부를 결정하는 컨트롤러를 포함하는, 중앙 클라우드 서버.
As a central cloud server of an edge computing system that determines whether an item is defective based on an image,
A communication unit communicating with a plurality of edge servers;
a memory for storing a product defect prediction model predicting whether a product is defective when an product image is input and an active estimation model estimating prediction reliability of the product defect prediction model; and
And a controller for monitoring the operation of the plurality of edge servers and determining whether to adopt the labeling of the product defect prediction model based on the estimated prediction reliability.
제1항에 있어서,
상기 컨트롤러는 상기 복수의 엣지 서버 각각에 적어도 하나의 작업 프로세스를 할당하며,
상기 작업 프로세스는,
스마트 팩토리 내의 물품을 촬영하고 촬영된 물품 이미지를 저장 및 전송하는 제1 작업 프로세스, 전송된 물품 이미지에서 상기 물품 불량 예측 모델에 입력될 이미지로 전처리하는 제2 작업 프로세스, 상기 물품 불량 예측 모델에 대응하는 엣지 물품 불량 예측 모델을 실행하는 제3 작업 프로세스 및 상기 능동형 추정 모델에 대응하는 엣지 능동형 추정 모델을 실행하는 제4 작업 프로세스를 포함하는, 중앙 클라우드 서버.
According to claim 1,
The controller assigns at least one work process to each of the plurality of edge servers;
The work process is
A first work process of photographing an item in the smart factory, storing and transmitting the photographed item image, a second work process of preprocessing the transmitted item image into an image to be input to the product defect prediction model, and corresponding to the product defect prediction model A central cloud server comprising: a third work process for executing an edge product defect prediction model for performing an edge product defect prediction model and a fourth work process for executing an edge active estimation model corresponding to the active estimation model.
제2항에 있어서,
상기 컨트롤러는,
상기 복수의 엣지 서버 각각에 적어도 하나의 작업 프로세스를 할당하는 경우, 상기 작업 프로세스를 수행하기 위한 정보를 해당 엣지 서버에 제공하도록 구성되는, 중앙 클라우드 서버.
According to claim 2,
The controller,
When at least one work process is allocated to each of the plurality of edge servers, the central cloud server configured to provide information for performing the work process to the corresponding edge server.
제3항에 있어서,
디스플레이를 더 포함하며,
상기 컨트롤러는 상기 능동형 추정 모델을 이용하여,
상기 물품 불량 예측 모델의 물품 불량 여부 정보를 클러스터링하여 상기 디스플레이에 출력하도록 구성되는, 중앙 클라우드 서버.
According to claim 3,
further comprising a display;
The controller uses the active estimation model,
A central cloud server configured to cluster product defect information of the product defect prediction model and output the clustered product to the display.
제4항에 있어서,
상기 컨트롤러는,
상기 디스플레이에 출력하기 위한 데이터가 표현되는 차원이 4차원 이상인 경우, 상기 데이터를 2차원 또는 3차원으로 변환하여 상기 디스플레이에 출력하도록 구성되는, 중앙 클라우드 서버.
According to claim 4,
The controller,
The central cloud server configured to convert the data to 2-dimensional or 3-dimensional data and output the data to the display when the dimension in which the data to be output to the display is expressed is 4-dimensional or higher.
제5항에 있어서,
상기 컨트롤러는 상기 능동형 추정 모델을 이용하여,
상기 능동형 추정 모델의 예측 신뢰도가 소정 기준치 이상인 경우, 상기 물품 불량 예측 모델의 라벨링 정보를 채택하고,
상기 능동형 추정 모델의 예측 신뢰도가 소정 기준치 미만인 경우, 상기 물품 불량 예측 모델의 라벨링 정보를 채택하지 않도록 구성되는, 중앙 클라우드 서버.
According to claim 5,
The controller uses the active estimation model,
When the prediction reliability of the active estimation model is greater than or equal to a predetermined reference value, labeling information of the product defect prediction model is adopted;
Wherein the central cloud server is configured not to adopt the labeling information of the product defect prediction model when the prediction reliability of the active estimation model is less than a predetermined reference value.
제6항에 있어서,
상기 컨트롤러는,
상기 물품 불량 예측 모델의 라벨링 정보를 채택하지 않는 경우, 물품에 대한 라벨링 정보 입력을 대기하도록 구성되는, 중앙 클라우드 서버.
According to claim 6,
The controller,
The central cloud server configured to wait for input of labeling information for an article when labeling information of the product defect prediction model is not adopted.
제7항에 있어서,
상기 물품 불량 예측 모델의 신경망 파라미터 중 일부가 상기 능동형 추정 모델에 전이되어 적용되는, 중앙 클라우드 서버.
According to claim 7,
A central cloud server in which some of the neural network parameters of the product defect prediction model are transferred and applied to the active estimation model.
제8항에 있어서,
상기 컨트롤러는,
소정의 엣지 서버에서 작업 프로세스를 수행할 때 작업 진행 효율이 소정 수준 이하인 경우, 해당 작업 프로세스를 직접 또는 다른 엣지 서버가 수행하도록 스케줄링하도록 구성되는, 중앙 클라우드 서버.
According to claim 8,
The controller,
A central cloud server configured to schedule the work process to be performed directly or by another edge server when the work progress efficiency is below a predetermined level when the work process is performed on a predetermined edge server.
제9항에 있어서,
상기 컨트롤러는,
상기 복수의 엣지 서버 중 적어도 일부의 엣지 물품 불량 예측 모델을 상기 물품 불량 예측 모델에 반영하고 엣지 능동형 추정 모델을 상기 능동형 추정 모델에 반영하도록 구성되는, 중앙 클라우드 서버.
According to claim 9,
The controller,
A central cloud server configured to reflect edge product defect prediction models of at least some of the plurality of edge servers to the product defect prediction model and to reflect an edge active estimation model to the active estimation model.
물품의 불량 여부를 결정하기 위한 엣지 컴퓨팅 시스템으로서,
중앙 클라우드 서버;
복수의 엣지 서버를 포함하며,
상기 중앙 클라우드 서버는,
복수의 엣지 서버와 통신하고, 물품 이미지가 입력되면 물품의 불량 여부를 예측하는 물품 불량 예측 모델 및 상기 물품 불량 예측 모델의 예측 신뢰도를 추정하는 능동형 추정 모델을 저장하고,
상기 복수의 엣지 서버의 운영을 모니터링하고, 상기 추정된 예측 신뢰도에 기초하여, 상기 물품 불량 예측 모델의 라벨링에 대한 채택 여부를 결정하며,
상기 복수의 엣지 서버는,
상기 중앙 클라우드 서버가 할당하는 작업 프로세스를 각각 수행하도록 구성되는, 엣지 컴퓨팅 시스템.
As an edge computing system for determining whether an item is defective,
central cloud server;
Includes multiple edge servers,
The central cloud server,
Communicate with a plurality of edge servers and store an item defect prediction model that predicts whether an item is defective when an item image is input and an active estimation model that estimates the prediction reliability of the product defect prediction model,
Monitoring the operation of the plurality of edge servers, and based on the estimated prediction reliability, determining whether to adopt the labeling of the product defect prediction model;
The plurality of edge servers,
An edge computing system configured to perform each of the work processes assigned by the central cloud server.
제11항에 있어서,
복수의 엣지 서버 각각은,
스마트 팩토리 내의 물품을 촬영하고 촬영된 물품 이미지를 저장 및 전송하는 제1 작업 프로세스, 전송된 물품 이미지에서 상기 물품 불량 예측 모델에 입력될 이미지로 전처리하는 제2 작업 프로세스, 상기 물품 불량 예측 모델에 대응하는 엣지 물품 불량 예측 모델을 수행하는 제3 작업 프로세스, 및 상기 능동형 추정 모델에 대응하는 엣지 능동형 추정 모델을 수행하는 제4 작업 프로세스 중 적어도 하나를 수행하는, 엣지 컴퓨팅 시스템.
According to claim 11,
Each of the plurality of edge servers,
A first work process of photographing an item in the smart factory, storing and transmitting the photographed item image, a second work process of preprocessing the transmitted item image into an image to be input to the product defect prediction model, and corresponding to the product defect prediction model An edge computing system that performs at least one of a third work process for performing an edge article defect prediction model for performing an edge product defect prediction model, and a fourth work process for performing an edge active estimation model corresponding to the active estimation model.
제12항에 있어서,
상기 중앙 클라우드 서버는,
복수의 엣지 서버 각각에 적어도 하나의 작업 프로세스를 할당하는 경우, 상기 작업 프로세스를 수행하기 위한 정보를 해당 엣지 서버에 제공하도록 구성되는, 엣지 컴퓨팅 시스템.
According to claim 12,
The central cloud server,
When at least one work process is assigned to each of a plurality of edge servers, the edge computing system configured to provide information for performing the work process to the corresponding edge server.
제13항에 있어서,
상기 중앙 클라우드 서버는,
상기 능동형 추정 모델을 이용하여, 상기 물품 불량 예측 모델의 물품 불량 여부 정보를 클러스터링하여 디스플레이하는, 엣지 컴퓨팅 시스템.
According to claim 13,
The central cloud server,
An edge computing system for clustering and displaying product defect information of the product defect prediction model using the active estimation model.
제14항에 있어서,
상기 중앙 클라우드 서버는,
디스플레이 대상 데이터가 표현되는 차원이 4차원 이상인 경우, 상기 데이터를 2차원 또는 3차원으로 변환하여 디스플레이하는, 엣지 컴퓨팅 시스템.
According to claim 14,
The central cloud server,
An edge computing system that converts the data to 2D or 3D and displays the data when the dimension in which the display target data is expressed is 4D or higher.
제15항에 있어서,
상기 중앙 클라우드 서버는,
상기 능동형 추정 모델의 예측 신뢰도가 소정 기준치 이상인 경우, 상기 물품 불량 예측 모델의 라벨링 정보를 채택하고, 상기 능동형 추정 모델의 예측 신뢰도가 소정 기준치 미만인 경우, 상기 물품 불량 예측 모델의 라벨링 정보를 채택하지 않도록 구성되는, 엣지 컴퓨팅 시스템.
According to claim 15,
The central cloud server,
When the prediction reliability of the active estimation model is greater than or equal to a predetermined reference value, labeling information of the product defect prediction model is adopted, and when the prediction reliability of the active estimation model is less than a predetermined reference value, labeling information of the product defect prediction model is not adopted. Configured, edge computing system.
제16항에 있어서,
상기 중앙 클라우드 서버는,
상기 물품 불량 예측 모델의 라벨링 정보를 채택하지 않는 경우, 물품에 대한 라벨링 정보 입력을 대기하도록 구성되는, 엣지 컴퓨팅 시스템.
According to claim 16,
The central cloud server,
Edge computing system configured to wait for input of labeling information for an article when labeling information of the article defect prediction model is not adopted.
제17항에 있어서,
상기 물품 불량 예측 모델의 신경망 파라미터 중 일부가 상기 능동형 추정 모델에 전이되어 적용되는, 엣지 컴퓨팅 시스템.
According to claim 17,
Edge computing system wherein some of the neural network parameters of the product defect prediction model are transferred and applied to the active estimation model.
제18항에 있어서,
상기 중앙 클라우드 서버는,
소정의 엣지 서버에서 작업 프로세스를 수행할 때 작업 진행 효율이 소정 수준 이하인 경우, 해당 작업 프로세스를 직접 또는 다른 엣지 서버가 수행하도록 스케줄링하도록 구성되는, 엣지 컴퓨팅 시스템.
According to claim 18,
The central cloud server,
An edge computing system configured to schedule the work process to be performed directly or by another edge server when the work progress efficiency is below a predetermined level when the work process is performed on a predetermined edge server.
제19항에 있어서,
상기 중앙 클라우드 서버는,
상기 복수의 엣지 서버 중 적어도 일부의 엣지 물품 불량 예측 모델을 상기 물품 불량 예측 모델에 반영하고 엣지 능동형 추정 모델을 상기 능동형 추정 모델에 반영하도록 구성되는, 엣지 컴퓨팅 시스템.
According to claim 19,
The central cloud server,
The edge computing system configured to reflect the edge product defect prediction model of at least some of the plurality of edge servers to the product defect prediction model and to reflect the edge active estimation model to the active estimation model.
KR1020210152098A 2021-11-08 2021-11-08 Edge computing system for determining defect of goods based on image and center cloud server thereof KR20230067729A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210152098A KR20230067729A (en) 2021-11-08 2021-11-08 Edge computing system for determining defect of goods based on image and center cloud server thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210152098A KR20230067729A (en) 2021-11-08 2021-11-08 Edge computing system for determining defect of goods based on image and center cloud server thereof

Publications (1)

Publication Number Publication Date
KR20230067729A true KR20230067729A (en) 2023-05-17

Family

ID=86547317

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210152098A KR20230067729A (en) 2021-11-08 2021-11-08 Edge computing system for determining defect of goods based on image and center cloud server thereof

Country Status (1)

Country Link
KR (1) KR20230067729A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210048058A (en) 2019-10-23 2021-05-03 삼성에스디에스 주식회사 Apparatus and method for training deep neural network

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210048058A (en) 2019-10-23 2021-05-03 삼성에스디에스 주식회사 Apparatus and method for training deep neural network

Similar Documents

Publication Publication Date Title
US20220146993A1 (en) Machine learning method and machine learning device for learning fault conditions, and fault prediction device and fault prediction system including the machine learning device
CN102449567B (en) Cloud computing as a basis for equipment health monitoring service
JP2022524244A (en) Predictive classification of future behavior
CN111125864A (en) Asset performance manager associated with the availability and use of used available materials
EP4174590A2 (en) Combined learned and dynamic control method
JP7442550B2 (en) Inference calculation device, model training device, and inference calculation system
CN117389742B (en) Edge computing method, device and storage medium for machine vision
CN115769235A (en) Method and system for providing an alert related to the accuracy of a training function
EP3843338A1 (en) Monitoring and analyzing communications across multiple control layers of an operational technology environment
Liu et al. Prophet: Realizing a predictable real-time perception pipeline for autonomous vehicles
US20220393992A1 (en) Computing resources schedule recommendation
KR20230067729A (en) Edge computing system for determining defect of goods based on image and center cloud server thereof
CN116627770B (en) Network card temperature prediction method and device, computer equipment and storage medium
da Silva et al. Online machine learning for auto-scaling in the edge computing
Chen Industry 4.0 for semiconductor manufacturing
CN117314389A (en) Municipal administration management and maintenance system based on internet of things
Efeoğlu et al. Machine learning for predictive maintenance: support vector machines and different kernel functions
US20230297453A1 (en) Automatic error prediction in data centers
CN110751055A (en) Intelligent manufacturing system
CN114819367A (en) Public service platform based on industrial internet
US10573147B1 (en) Technologies for managing safety at industrial sites
Alghawli Computer Vision Technology for Fault Detection Systems Using Image Processing.
CN117076134B (en) Unmanned aerial vehicle state data processing method and system based on artificial intelligence
Behura et al. Integration of cloud, iot, and ai for smart services
US20230409876A1 (en) Automatic error prediction for processing nodes of data centers using neural networks

Legal Events

Date Code Title Description
E902 Notification of reason for refusal