KR20230072441A - Method, apparatus and system for detecting anomaly in logistics robot - Google Patents
Method, apparatus and system for detecting anomaly in logistics robot Download PDFInfo
- Publication number
- KR20230072441A KR20230072441A KR1020220153396A KR20220153396A KR20230072441A KR 20230072441 A KR20230072441 A KR 20230072441A KR 1020220153396 A KR1020220153396 A KR 1020220153396A KR 20220153396 A KR20220153396 A KR 20220153396A KR 20230072441 A KR20230072441 A KR 20230072441A
- Authority
- KR
- South Korea
- Prior art keywords
- logistics
- robot
- logistics robot
- sensing data
- state
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
- H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
- H01L21/67005—Apparatus not specifically provided for elsewhere
- H01L21/67242—Apparatus for monitoring, sorting or marking
- H01L21/67288—Monitoring of warpage, curvature, damage, defects or the like
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
- B65G1/02—Storage devices
- B65G1/04—Storage devices mechanical
- B65G1/0457—Storage devices mechanical with suspended load carriers
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
- G05B19/4189—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by the transport system
- G05B19/41895—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by the transport system using automatic guided vehicles [AGV]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
- H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
- H01L21/677—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for conveying, e.g. between different workstations
- H01L21/67703—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for conveying, e.g. between different workstations between different workstations
- H01L21/67706—Mechanical details, e.g. roller, belt
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
- H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
- H01L21/677—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for conveying, e.g. between different workstations
- H01L21/67703—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for conveying, e.g. between different workstations between different workstations
- H01L21/6773—Conveying cassettes, containers or carriers
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
- H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
- H01L21/677—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for conveying, e.g. between different workstations
- H01L21/67703—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for conveying, e.g. between different workstations between different workstations
- H01L21/67733—Overhead conveying
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
- B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
- B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
- B65G2201/02—Articles
- B65G2201/0297—Wafer cassette
Abstract
본 발명은 물류 로봇 이상 감지 방법, 장치 및 시스템에 관한 것으로, 보다 구체적으로는 물류 자동화 시스템에서 물품 등의 이송에 사용되는 물류 로봇에서의 이상 여부를 효과적으로 감지할 수 있는 물류 로봇 이상 감지 방법, 장치 및 시스템에 관한 것이다.
본 발명에서는, 물류 자동화 시스템에서 구동되는 하나 이상의 물류 로봇에 대한 상태를 감지하는 방법에 있어서, 물류 로봇 상태 감지 시스템이, 각 물류 로봇에 대하여 하나 이상의 센싱 데이터를 수집하는 단계; 상기 하나 이상의 센싱 데이터를 미리 학습된 오토 인코더(autoencoder) 신경망으로 입력하여 상기 각 물류 로봇에 대응하는 복원 손실(reconstruction loss)을 산출하는 단계; 및 상기 복원 손실(reconstruction loss)을 기초로 산출되는 이상 스코어(anomaly score)를 이용하여 각 물류 로봇에 대한 상태를 판별하는 단계;를 포함하는 것을 특징으로 하는 물류 로봇 상태 감지 방법을 개시한다.The present invention relates to a method, apparatus, and system for detecting an abnormality in a logistics robot, and more particularly, a method and apparatus for detecting anomaly in a logistics robot capable of effectively detecting abnormalities in a logistics robot used for transporting goods in a logistics automation system. and systems.
In the present invention, in the method for detecting a state of one or more logistics robots driven in a logistics automation system, the logistics robot state detection system comprises: collecting one or more sensing data for each logistics robot; Calculating a reconstruction loss corresponding to each of the logistics robots by inputting the one or more sensing data into a pre-learned autoencoder neural network; Discloses a logistics robot state detection method comprising the; and determining the state of each logistics robot using an anomaly score calculated based on the reconstruction loss.
Description
본 발명은 물류 로봇 이상 감지 방법, 장치 및 시스템에 관한 것으로, 보다 구체적으로는 물류 자동화 시스템에서 물품 등의 이송에 사용되는 물류 로봇에서의 이상 여부를 효과적으로 감지할 수 있는 물류 로봇 이상 감지 방법, 장치 및 시스템에 관한 것이다.The present invention relates to a method, apparatus, and system for detecting an abnormality in a logistics robot, and more particularly, a method and apparatus for detecting anomaly in a logistics robot capable of effectively detecting abnormalities in a logistics robot used for transporting goods in a logistics automation system. and system.
최근 공장 자동화의 확산, 전자 상거래의 성장 등으로 작업자의 개입을 최소화하면서 효율적으로 물품 등의 수송을 처리하는 물류 자동화 시스템이 폭넓게 활용되고 있다.Recently, with the spread of factory automation and the growth of e-commerce, a logistics automation system that efficiently handles the transportation of goods while minimizing operator intervention is widely used.
보다 구체적인 예를 들어, 반도체 공장 등에서 천장 대차 장치(Overhead Hoist Transport, OHT) 등을 이용하여 웨이퍼 등을 운반하거나, 물류 창고나 공장 등에서 무인운반차량(Automated Guided Vehicle, AGV) 또는 자율 이동 로봇(Autonomous Mobile Robot) 등을 이용하여 제품이나 부품 등의 운반하여, 물류를 자동화하고 작업 효율을 개선하여 비용을 절감하려는 시도가 다양하게 이루어지고 있다.For a more specific example, wafers are transported using an overhead hoist transport (OHT), etc. in a semiconductor factory, etc., or an automated guided vehicle (AGV) or autonomous mobile robot (Autonomous Guided Vehicle) in a warehouse or factory Various attempts have been made to reduce costs by transporting products or parts using a mobile robot, automating logistics, and improving work efficiency.
이와 관련하여, 도 1에서는 반도체 공정 등에서 폭넓게 사용되고 있는 OHT(10)를 예시하고 있다. In this regard, FIG. 1 illustrates the OHT 10 widely used in semiconductor processes and the like.
보다 구체적인 예를 들어, 대규모 반도체 공정에서는 수십 km에 달하는 선로에서 구동되는 수백 내지 수천대의 OHT(10)를 이용하여 반도체 제작용 웨이퍼가 적재되는 FOUP(Front Opening Unified Pod) 등을 이송하게 된다.For a more specific example, in a large-scale semiconductor process, a Front Opening Unified Pod (FOUP), etc., on which wafers for semiconductor manufacturing are loaded, is transported using hundreds to thousands of
그런데, 상기 OHT(10)는 정해진 선로를 따라 일방향으로 이동하게 되므로, 도 2에서 볼 수 있는 바와 같이, 소수의 OHT(10)에 이상(anomaly)이 발생하더라도 전체 자동 자재 처리 시스템(AMHS, Automated Material Handling System)의 효율을 크게 저해하는 문제가 발생할 수 있다.However, since the OHT 10 moves in one direction along a predetermined line, as can be seen in FIG. 2, even if an anomaly occurs in a small number of
이에 따라, 종래에는 상기 OHT(10) 등의 장비에 대한 유지 보수를 위하여 실제 오류 발생시 대응하는 오류-대응(Run-to-failure) 방식(도 3의 (A))과 장비의 운용에 따른 마일리지를 기반으로 관리하는 예방 보전(preventive maintenance) 방식(도 3의 (B)) 등이 사용되었다.Accordingly, in the related art, for maintenance of equipment such as the
그런데, 상기 오류-대응(Run-to-failure) 방식의 경우 관리 비용은 최소화할 수 있으나, 오류 발생시 비용은 크게 증가하는 문제가 있었고, 또한 상기 예방 보전(preventive maintenance) 방식은 반대로 오류 발생시 비용은 최소화할 수 있으나 관리 비용이 크게 증가하게 되므로, 전체 유지 보수 비용을 최적화하면서 효율적으로 관리하기에는 어려움이 따랐다.However, in the case of the run-to-failure method, the management cost can be minimized, but there is a problem in that the cost greatly increases when an error occurs, and the preventive maintenance method, on the contrary, costs when an error occurs Although it can be minimized, since the management cost greatly increases, it is difficult to efficiently manage while optimizing the overall maintenance cost.
나아가, 상기 OHT(10) 등의 장비들은 구동 이력 및 환경 등에 따라 장비 상태가 크게 달라질 수 있으므로, 상기 장비에 오류가 발생하여 알람 메시지가 제공되기 이전에 상기 장비의 상태를 수치화하고 이를 이용하여 각 장비에 대한 유지 보수를 수행하는 것이 바람직하겠으나, 아직 이를 위한 구체적인 방안이 제시되지 못하고 있다.Furthermore, since the state of equipment such as the OHT 10 may vary greatly depending on the driving history and environment, the state of the equipment is digitized before an error occurs and an alarm message is provided, and each It is desirable to perform maintenance on the equipment, but a specific plan for this has not yet been proposed.
본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위해 창안된 것으로, 물류 자동화 시스템에서 OHT 등 물류 로봇의 상태를 수치화하여 각 물류 로봇에 대한 유지 보수를 수행할 수 있으며, 나아가 이를 기반으로 전체 물류 로봇에 대한 유지 보수 비용을 최적화하면서 효율적으로 관리할 수 있도록 하는 물류 로봇 이상 감지 방법, 장치 및 시스템을 제공하는 것을 목적으로 한다.The present invention was invented to solve the problems of the prior art as described above, and can perform maintenance for each logistics robot by digitizing the status of logistics robots such as OHT in a logistics automation system, and further based on this, the entire logistics robot An object of the present invention is to provide a method, device, and system for detecting abnormalities in a logistics robot that enable efficient management while optimizing maintenance costs for the robot.
또한, 본 발명에서는 OHT 등 물류 로봇의 이상 상태 여부를 보다 명확히 판별할 수 있으며, 나아가 물류 로봇의 이상 상태에 대한 원인도 추정하는 것이 가능한 물류 로봇 이상 감지 방법, 장치 및 시스템을 제공하는 것을 목적으로 한다.In addition, in the present invention, it is possible to more clearly determine whether an abnormal state of a logistics robot such as OHT is present, and furthermore, it is possible to estimate the cause of an abnormal state of a logistics robot, for the purpose of providing a method, apparatus, and system for detecting an abnormality in a logistics robot. do.
그 외 본 발명의 세부적인 목적은 아래에 기재되는 구체적인 내용을 통하여 이 기술 분야의 전문가나 연구자에게 자명하게 파악되고 이해될 수 있을 것이다.Other detailed objects of the present invention will be clearly identified and understood by experts or researchers in the art through the specific details described below.
상기 과제를 해결하기 위한 본 발명의 한 측면에 따른 물류 로봇 상태 감지 방법은, 물류 자동화 시스템에서 구동되는 하나 이상의 물류 로봇에 대한 상태를 감지하는 방법에 있어서, 물류 로봇 상태 감지 시스템이, 각 물류 로봇에 대하여 하나 이상의 센싱 데이터를 수집하는 단계; 상기 하나 이상의 센싱 데이터를 미리 학습된 오토 인코더(autoencoder) 신경망으로 입력하여 상기 각 물류 로봇에 대응하는 복원 손실(reconstruction loss)을 산출하는 단계; 및 상기 복원 손실(reconstruction loss)을 기초로 산출되는 이상 스코어(anomaly score)를 이용하여 각 물류 로봇에 대한 상태를 판별하는 단계;를 포함하는 것을 특징으로 한다.A logistics robot state detection method according to an aspect of the present invention for solving the above problems is a method for detecting states of one or more logistics robots driven in a logistics automation system, wherein the logistics robot state detection system includes each logistics robot. Collecting one or more sensing data for; Calculating a reconstruction loss corresponding to each of the logistics robots by inputting the one or more sensing data into a pre-learned autoencoder neural network; and determining a state of each logistics robot using an anomaly score calculated based on the reconstruction loss.
여기서, 상기 오토 인코더 신경망은 물류 로봇에 대한 정상 데이터를 이용하여 미리 학습된 신경망일 수 있다.Here, the auto-encoder neural network may be a neural network pre-learned using normal data for a logistics robot.
이때, 상기 오토 인코더 신경망은 정상 데이터에 시간 윈도우를 적용하여 학습된 콘볼루션 오토 인코더(convolutional autoencoder) 신경망일 수 있다.In this case, the autoencoder neural network may be a convolutional autoencoder neural network learned by applying a time window to normal data.
또한, 상기 센싱 데이터에는, 상기 물류 로봇에 구비되는 가속도 센서의 센싱 데이터와 상기 물류 로봇의 구동을 위한 구동 장치의 속도 및 토크에 대한 센싱 데이터 중 하나 이상이 포함될 수 있다.In addition, the sensing data may include at least one of sensing data of an acceleration sensor provided in the logistics robot and sensing data about speed and torque of a driving device for driving the logistics robot.
또한, 상기 판별하는 단계에서는, 상기 물류 로봇에서의 이상 스코어와 정상 물류 로봇에서의 이상 스코어의 비율을 기초로 상기 물류 로봇에 대한 상태를 판별할 수 있다.In addition, in the determining step, the state of the logistics robot may be determined based on a ratio of an abnormal score in the logistics robot and an abnormal score in the normal logistics robot.
또한, 상기 물류 로봇은 OHT(Overhead Hoist Transport)이고, 상기 산출하는 단계에서는, 상기 오토 인코더(autoencoder) 신경망에서 상기 OHT에 구비되는 가속도 센서의 센싱 데이터와 상기 OHT의 구동을 위한 모터의 속도 및 토크에 대한 센싱 데이터를 모두 입력받아 상기 OHT에 대한 복원 손실을 산출할 수 있다.In addition, the logistics robot is an overhead hoist transport (OHT), and in the calculating step, the sensing data of the acceleration sensor provided in the OHT and the speed and torque of the motor for driving the OHT in the autoencoder neural network A restoration loss for the OHT may be calculated by receiving all sensing data for .
이때, 상기 판별하는 단계에서는, 상기 각 센싱 데이터에 의한 이상 스코어를 비교하여 상기 물류 로봇의 이상 상태에 대한 원인을 추정할 수 있다.At this time, in the determining step, the cause of the abnormal state of the logistics robot may be estimated by comparing abnormal scores based on each of the sensing data.
또한, 본 발명의 다른 측면에 따른 컴퓨터 프로그램은, 컴퓨터에서 상기 기재된 각 단계를 실행시키기 위한 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램인 것을 특징으로 한다.In addition, the computer program according to another aspect of the present invention is characterized in that it is a computer program stored in a computer readable medium for executing each step described above in a computer.
또한, 본 발명의 다른 측면에 따른 물류 로봇 상태 감지 시스템은, 물류 자동화 시스템에서 구동되는 하나 이상의 물류 로봇에 대한 상태를 감지하는 시스템에 있어서, 각 물류 로봇에 대하여 하나 이상의 센싱 데이터를 수집하는 센싱 데이터 수집부; 상기 하나 이상의 센싱 데이터를 미리 학습된 오토 인코더(autoencoder) 신경망으로 입력하여 상기 각 물류 로봇에 대응하는 복원 손실(reconstruction loss)을 산출하는 복원 손실 산출부; 및 상기 복원 손실(reconstruction loss)을 기초로 산출되는 이상 스코어(anomaly score)를 이용하여 각 물류 로봇에 대한 상태를 판별하는 물류 로봇 상태 판별부;를 포함하는 것을 특징으로 한다.In addition, the logistics robot state detection system according to another aspect of the present invention, in the system for detecting the state of one or more logistics robots driven in the logistics automation system, sensing data for collecting one or more sensing data for each logistics robot collection department; a reconstruction loss calculation unit inputting the one or more sensing data into a pre-learned autoencoder neural network to calculate a reconstruction loss corresponding to each of the logistics robots; and a logistics robot state determination unit configured to determine a state of each logistics robot using an anomaly score calculated based on the reconstruction loss.
여기서, 상기 오토 인코더 신경망은 물류 로봇에 대한 정상 데이터를 이용하여 미리 학습된 신경망일 수 있다.Here, the auto-encoder neural network may be a neural network pre-learned using normal data for a logistics robot.
이때, 상기 오토 인코더 신경망은 정상 데이터에 시간 윈도우를 적용하여 학습된 콘볼루션 오토 인코더(convolutional autoencoder) 신경망일 수 있다.In this case, the autoencoder neural network may be a convolutional autoencoder neural network learned by applying a time window to normal data.
또한, 상기 센싱 데이터에는, 상기 물류 로봇에 구비되는 가속도 센서의 센싱 데이터와 상기 물류 로봇의 구동을 위한 구동 장치의 속도 및 토크에 대한 센싱 데이터 중 하나 이상이 포함될 수 있다.In addition, the sensing data may include at least one of sensing data of an acceleration sensor provided in the logistics robot and sensing data about speed and torque of a driving device for driving the logistics robot.
또한, 상기 물류 로봇 상태 판별부에서는, 상기 물류 로봇에서의 이상 스코어와 정상 물류 로봇에서의 이상 스코어의 비율을 기초로 상기 물류 로봇에 대한 상태를 판별할 수 있다.In addition, the distribution robot state determining unit may determine the state of the distribution robot based on a ratio of an abnormal score in the distribution robot and an abnormal score in the normal distribution robot.
또한, 상기 물류 로봇은 OHT(Overhead Hoist Transport)이고, 상기 복원 손실 산출부에서는, 상기 오토 인코더(autoencoder) 신경망에서 상기 OHT에 구비되는 가속도 센서의 센싱 데이터와 상기 OHT의 구동을 위한 모터의 속도 및 토크에 대한 센싱 데이터를 모두 입력받아 상기 OHT에 대한 복원 손실을 산출할 수 있다.In addition, the logistics robot is an overhead hoist transport (OHT), and in the restoration loss calculation unit, the sensing data of the acceleration sensor provided in the OHT in the autoencoder neural network and the speed of a motor for driving the OHT and A restoration loss for the OHT may be calculated by receiving all torque sensing data.
이때, 상기 물류 로봇 상태 판별부에서는, 상기 각 센싱 데이터에 의한 이상 스코어를 비교하여 상기 물류 로봇의 이상 상태에 대한 원인을 추정할 수 있다.At this time, the logistics robot state determination unit may estimate the cause of the abnormal state of the logistics robot by comparing abnormal scores based on each of the sensing data.
이에 따라, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 물류 자동화 시스템에서 OHT 등 물류 로봇의 상태를 수치화하여 각 물류 로봇에 대한 유지 보수를 수행할 수 있으며, 나아가 이를 기반으로 전체 물류 로봇에 대한 유지 보수 비용을 최적화하면서 효율적으로 관리할 수 있게 된다.Accordingly, in the logistics robot state detection method, apparatus, and system according to an embodiment of the present invention, maintenance of each logistics robot can be performed by digitizing the state of the logistics robot, such as OHT, in the logistics automation system, and furthermore, it can be performed. Based on this, it is possible to efficiently manage while optimizing maintenance costs for the entire logistics robot.
또한, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, OHT 등 물류 로봇의 이상 상태 여부를 보다 명확히 판별할 수 있으며, 나아가 물류 로봇의 이상 상태에 대한 원인도 추정할 수 있다.In addition, in the method, apparatus, and system for detecting a logistics robot state according to an embodiment of the present invention, it is possible to more clearly determine whether or not a logistics robot such as OHT is in an abnormal state, and furthermore, the cause of the abnormal state of the logistics robot can be estimated. there is.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과는 본 명세서에 기재된 내용으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects obtainable in the present invention are not limited to the effects mentioned above, and other effects not mentioned can be clearly understood by those skilled in the art from the contents described in this specification. There will be.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 통상의 천장 대차 장치(OHT)를 예시하는 도면이다.
도2 내지 도 3는 통상의 물류 자동화 시스템을 예시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 물류 자동화 시스템의 구성도를 예시하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법의 순서도를 예시하는 도면이다.
도 6내지 도 10은 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법을 설명하는 도면이다.
도 11 내지 도 24는 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법의 구체적인 실시예를 설명하는 도면이다.
도 25는 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 시스템의 구성도를 예시하는 도면이다.The accompanying drawings, which are included as part of the detailed description to aid understanding of the present invention, provide examples of the present invention and explain the technical idea of the present invention together with the detailed description.
1 is a diagram illustrating a conventional overhead cart (OHT).
2 to 3 are diagrams illustrating a typical logistics automation system.
4 is a diagram illustrating a configuration diagram of a logistics automation system according to an embodiment of the present invention.
5 is a diagram illustrating a flowchart of a logistics robot state detection method according to an embodiment of the present invention.
6 to 10 are diagrams for explaining a logistics robot state detection method according to an embodiment of the present invention.
11 to 24 are diagrams for explaining specific embodiments of a logistics robot state detection method according to an embodiment of the present invention.
25 is a diagram illustrating a configuration diagram of a distribution robot state detection system according to an embodiment of the present invention.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.The present invention can apply various transformations and can have various embodiments. Hereinafter, specific embodiments will be described in detail based on the accompanying drawings.
이하의 실시예는 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.The following examples are provided to facilitate a comprehensive understanding of the methods, apparatus and/or systems described herein. However, this is only an example and the present invention is not limited thereto.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다. In describing the embodiments of the present invention, if it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to the intention or custom of a user or operator. Therefore, the definition should be made based on the contents throughout this specification. Terms used in the detailed description are only for describing the embodiments of the present invention, and should not be limiting. Unless expressly used otherwise, singular forms of expression include plural forms. In this description, expressions such as "comprising" or "comprising" are intended to indicate any characteristic, number, step, operation, element, portion or combination thereof, one or more other than those described. It should not be construed to exclude the existence or possibility of any other feature, number, step, operation, element, part or combination thereof.
또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.In addition, terms such as first and second may be used to describe various components, but the components are not limited by the terms, and the terms are used for the purpose of distinguishing one component from another. used only as
이하, 본 발명의 일 실시예에 따른 물류 로봇 이상 감지 방법, 장치 및 시스템에 대한 예시적인 실시 형태들을 첨부된 도면을 참조하여 차례로 설명한다.Hereinafter, exemplary embodiments of a logistics robot abnormal detection method, apparatus, and system according to an embodiment of the present invention will be sequentially described with reference to the accompanying drawings.
먼저, 도 4에서는 본 발명의 일 실시예에 따른 물류 자동화 시스템(100)의 구성도를 예시하고 있다.First, FIG. 4 illustrates a configuration diagram of a
도 4에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 물류 자동화 시스템(100)은 복수의 OHT(10) 등 물류 로봇(110, 110a, ?, 110n)과 서버 등으로 구성되어 상기 물류 로봇(110)에 대한 이상 상태를 감지하는 물류 로봇 상태 감지 시스템(120) 및 상기 물류 로봇(110)과 상기 물류 로봇 상태 감지 시스템(120)을 연결하는 통신 네트워크(130)를 포함하여 구성될 수 있다.As can be seen in Figure 4, the
이때, 상기 물류 로봇에는 반도체 공장 등에서 사용되는 천장 대차 장치(Overhead Hoist Transport, OHT), 물류 창고 등에서 미리 지정된 경로를 따라 이동하면서 작업을 수행하는 무인운반차량(Automated Guided Vehicle, AGV)이나 자율 이동 로봇(Autonomous Mobile Robot, AMR) 등이 포함될 수 있으나, 본 발명이 이에 한정되지는 않으며 이외에도 물류 작업을 수행하기 위하여 이동하면서 물류 이송을 처리하는 다양한 장치들이 포함될 수 있다.At this time, the logistics robot includes an overhead hoist transport (OHT) used in a semiconductor factory, etc., an automated guided vehicle (AGV) or an autonomous mobile robot that performs work while moving along a predetermined path in a logistics warehouse. (Autonomous Mobile Robot, AMR), etc. may be included, but the present invention is not limited thereto, and various devices for handling logistics transport while moving to perform logistics work may be included.
나아가, 아래에서는 주로 OHT(10)를 들어 설명하고 있으나, 이는 하나의 예시일 뿐 본 발명이 이에 한정되지 않으며, 이외에도 적용되는 어플리케이션에 따라 다양한 장치들에 대해서도 본 발명이 적용될 수 있다.Furthermore, although the
또한, 상기 물류 로봇 상태 감지 시스템(120)은 하나 이상의 서버 등을 이용하여 구성될 수 있으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 작동 환경에 따라서는 상기 물류 로봇 상태 감지 시스템(120)이 별도의 장치로 구현되지 않고 하나 또는 둘 이상의 물류 로봇(110)과 결합되어 일체형으로 구성되는 것도 가능하다.In addition, the logistics robot
나아가, 상기 물류 로봇(110)과 상기 물류 로봇 상태 감지 시스템(120)을 연결하는 통신 네트워크(130)로서는 유선 네트워크와 무선 네트워크를 포함할 수 있으며, 구체적으로, 근거리 통신망 (LAN: Local Area Network), 도시권 통신망 (MAN: Metropolitan Area Network), 광역 통신망 (WAN: Wide Area Network) 등의 다양한 통신망을 포함할 수 있다. 또한, 상기 통신 네트워크(130)는 공지의 월드 와이드 웹(WWW: World Wide Web)을 포함할 수도 있다. 그러나, 본 발명에 따른 통신 네트워크(130)는 상기 열거된 네트워크에 국한되지 않고, 공지의 무선 데이터 네트워크나 공지의 유무선 네트워크를 포함할 수도 있다.Furthermore, the
또한, 도 5에서는 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법에 대한 순서도가 예시되어 있다. In addition, in FIG. 5, a flow chart for a logistics robot state detection method according to an embodiment of the present invention is illustrated.
도 5에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법은, 물류 자동화 시스템(100)에서 구동되는 하나 이상의 물류 로봇(110)에 대한 상태를 감지하는 방법에 있어서, 물류 로봇 상태 감지 시스템(120)이, 각 물류 로봇(110)에 대하여 하나 이상의 센싱 데이터를 수집하는 단계(S110), 상기 하나 이상의 센싱 데이터를 미리 학습된 오토 인코더(autoencoder) 신경망으로 입력하여 상기 각 물류 로봇(110)에 대응하는 복원 손실(reconstruction loss)을 산출하는 단계(S120) 및 상기 복원 손실(reconstruction loss)을 기초로 산출되는 이상 스코어(anomaly score)를 이용하여 각 물류 로봇에 대한 상태를 판별하는 단계 (S130)를 포함하는 것을 특징으로 한다.As can be seen in Figure 5, the logistics robot state detection method according to an embodiment of the present invention is a method for detecting the state of one or more logistics robots 110 driven in the
여기서, 상기 오토 인코더 신경망은 물류 로봇(110)에 대한 정상 데이터를 이용하여 미리 학습된 신경망일 수 있다.Here, the auto-encoder neural network may be a neural network pre-learned using normal data for the logistics robot 110.
이때, 상기 오토 인코더 신경망은 정상 데이터에 시간 윈도우를 적용하여 학습된 콘볼루션 오토 인코더(convolutional autoencoder) 신경망일 수 있다.In this case, the autoencoder neural network may be a convolutional autoencoder neural network learned by applying a time window to normal data.
또한, 상기 센싱 데이터에는, 상기 물류 로봇(110)에 구비되는 가속도 센서의 센싱 데이터와 상기 물류 로봇(110)의 구동을 위한 구동 장치의 속도 및 토크에 대한 센싱 데이터 중 하나 이상이 포함될 수 있다.In addition, the sensing data may include one or more of sensing data of an acceleration sensor provided in the logistics robot 110 and sensing data about speed and torque of a driving device for driving the logistics robot 110.
또한, 상기 판별하는 단계(S130)에서는, 상기 물류 로봇(110)에서의 이상 스코어와 정상 물류 로봇에서의 이상 스코어의 비율을 기초로 상기 물류 로봇(110)에 대한 상태를 판별할 수 있다.In addition, in the determining step (S130), the state of the distribution robot 110 may be determined based on the ratio of the abnormal score in the distribution robot 110 and the abnormal score in the normal distribution robot.
또한, 상기 물류 로봇(110)은 OHT(Overhead Hoist Transport)(10)이고, 상기 산출하는 단계(S120)에서는, 상기 오토 인코더(autoencoder) 신경망에서 상기 OHT(10)에 구비되는 가속도 센서의 센싱 데이터와 상기 OHT(10)의 구동을 위한 모터의 속도 및 토크에 대한 센싱 데이터를 모두 입력받아 상기 OHT(10)에 대한 복원 손실을 산출할 수 있다.In addition, the logistics robot 110 is an overhead hoist transport (OHT) 10, and in the calculating step (S120), the sensing data of the acceleration sensor provided in the
이때, 통상의 OHT(10)에는 고온, 고전압 등 특정한 오류 정도를 검출할 수 있는 기초적인 센서만 구비되므로, 본 발명에서는 상기 OHT(10)에 IoT 보드 등을 장착하여 가속도 센서의 센싱 데이터와 상기 OHT(10)의 구동을 위한 모터의 속도 및 토크에 대한 센싱 데이터를 생성하여 상기 OHT(10)의 상태를 판별하기 위하여 사용할 수 있다.At this time, since the
이때, 상기 판별하는 단계(130)에서는, 상기 각 센싱 데이터에 의한 이상 스코어를 비교하여 상기 물류 로봇(110)의 이상 상태에 대한 원인을 추정할 수 있다.At this time, in the determining
이에 따라, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 물류 자동화 시스템(100)에서 OHT(10) 등 물류 로봇(110)의 상태를 수치화하여 각 물류 로봇(110)에 대한 유지 보수를 수행할 수 있으며, 나아가 이를 기반으로 전체 물류 로봇(110)에 대한 유지 보수 비용을 최적화하면서 효율적으로 관리할 수 있게 된다.Accordingly, in the logistics robot state detection method, apparatus, and system according to an embodiment of the present invention, the
또한, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, OHT(10) 등 물류 로봇(110)의 이상 상태 여부를 보다 명확히 판별할 수 있으며, 나아가 물류 로봇(110)의 이상 상태에 대한 원인도 추정할 수 있게 된다.In addition, in the logistics robot state detection method, apparatus, and system according to an embodiment of the present invention, it is possible to more clearly determine whether or not the logistics robot 110 such as the
이하, 각 도면을 참조하면서 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템을 각 구성 요소 별로 나누어 보다 자세하게 살핀다.Hereinafter, the distribution robot state detection method, apparatus, and system according to an embodiment of the present invention will be divided into each component and examined in more detail with reference to each drawing.
먼저, 도 6에서는 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서의 물류 로봇(110)의 상태를 분류하여 도시하고 있다.First, in FIG. 6, the state of the logistics robot 110 in the logistics robot state detection method, apparatus, and system according to an embodiment of the present invention is classified and illustrated.
도 6에서 볼 수 있는 바와 같이. 상기 물류 로봇(110)의 상태에 따라 정상(normal) 상태와 오류(failure) 상태로 분류할 수 있으며, 이때 상기 오류 상태는 다시 마이너(minor) 오류 상태와 위험(Hazardous) 오류 상태로 분류할 수 있다.As can be seen in Figure 6. Depending on the state of the logistics robot 110, it can be classified into a normal state and a failure state, and at this time, the error state can be further classified into a minor error state and a hazardous error state. there is.
보다 구체적으로, 도 6에서 볼 수 있는 바와 같이, 상기 물류 로봇(110)이 정상 상태인 경우 정상 데이터를 생성하게 되며, 이때 상기 정상 데이터는 중앙에 밀집하여 위치할 수 있으나, 상기 정상 데이터도 작업 이벤트 등에 따라 다양한 양상을 띄게 되므로 단일 모드(unimodal)의 형태를 가지지 않을 수 있다.More specifically, as can be seen in FIG. 6, when the logistics robot 110 is in a normal state, normal data is generated. At this time, the normal data may be located densely in the center, but the normal data also works. Since it has various aspects according to events, etc., it may not have a unimodal form.
반면, 상기 물류 로봇(110)의 오류도 그 종류와 정도가 다양하게 나타날 수 있으며, 보다 구체적으로 상기 물류 로봇(110)이 정상 상태와 비교할 때 다소 상태 저하(degradation)가 있더라도 운용에는 문제가 없는 마이너 오류 상태에서는 마이너 오류 데이터를 생성하게 되고, 상기 물류 로봇(110)에 심각한 결함이 존재하여 계속 운용할 경우 사고 또는 파손 등을 초래할 수 있는 위험 오류 상태에서는 위험 오류 데이터를 생성하게 된다.On the other hand, errors of the logistics robot 110 may also appear in various types and degrees, and more specifically, when the logistics robot 110 is in a normal state, even if there is a slight degradation, there is no problem in operation. Minor error data is generated in a minor error state, and dangerous error data is generated in a dangerous error state in which a serious defect exists in the logistics robot 110 and may cause an accident or damage if it continues to operate.
특히, 상기 물류 로봇(110)의 제조사 등에서 오류 알람으로 설정하는 오류들은 기정의 오류(predefined error)로 표시할 수 있으며, 이때 상기 기정의 오류에 해당하는 오류 데이터들은 전체 오류 데이터 중 매우 일부에만 대응하게 되고, 이중 일부는 마이너 오류에 해당하고 일부는 위험 오류에 해당할 수 있으나, 상기 기정의 오류 만으로는 물류 로봇(110)의 다양한 오류를 나타내거나 대응하기 어렵다는 것을 알 수 있다.In particular, errors set as error alarms by the manufacturer of the logistics robot 110 may be displayed as predefined errors, and at this time, error data corresponding to the predefined errors corresponds to only a very small part of the entire error data. Some of them correspond to minor errors and some of them may correspond to critical errors, but it can be seen that it is difficult to indicate or respond to various errors of the logistics robot 110 only with the default errors.
이에 대하여, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 상기 물류 로봇(110)에서 측정되는 센싱 데이터를 이용하여 상기 물류 로봇(110)의 상태에 대한 이상 스코어(anomaly score)를 산출하고, 이를 바탕으로 상기 물류 로봇(110)에 대한 상태를 판별하여 유지 보수 작업을 수행할 수 있게 된다.In contrast, in the logistics robot state detection method, apparatus, and system according to an embodiment of the present invention, an anomaly score (anomaly) for the state of the logistics robot 110 using sensing data measured by the logistics robot 110 score), and based on this, it is possible to perform maintenance work by determining the state of the logistics robot 110.
이에 따라, 도 7의 (a)에서 볼 수 있는 바와 같이, 종래에는 상기 물류 로봇(110)의 실제 상태와 무관하게 미리 정해진 기간 등 유지 보수 기준을 일괄적으로 적용하게 되어 상태가 좋은 물류 로봇(110)에 대하여 불필요하게 유지 보수 작업을 수행하면서도 오히려 상태가 나쁜 물류 로봇(110)에 대해서는 유지 보수 작업을 적시에 수행하지 못하는 문제가 발생할 수 있었다. Accordingly, as can be seen in (a) of FIG. 7, in the prior art, maintenance criteria such as a predetermined period are collectively applied regardless of the actual state of the logistics robot 110, and the logistics robot in good condition ( 110), a problem may occur in which the maintenance work is not performed in a timely manner for the logistics robot 110 in a bad state while performing the maintenance work unnecessarily.
이에 대하여, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 도 7의 (b)에서 볼 수 있는 바와 같이, 상기 물류 로봇(110)에서 측정되는 센싱 데이터를 이용하여 상기 물류 로봇(110)의 상태에 대한 이상 스코어(anomaly score)를 산출하고, 이를 바탕으로 상기 물류 로봇(110)에 대한 상태를 판별함으로써, 보다 효율적으로 상태가 나쁜 물류 로봇(110)을 정확하게 선별하여 유지 보수 작업을 수행할 수 있게 된다.In contrast, in the logistics robot state detection method, apparatus, and system according to an embodiment of the present invention, as shown in (b) of FIG. 7, the sensing data measured by the logistics robot 110 is used to detect the By calculating an anomaly score for the state of the logistics robot 110 and determining the state of the logistics robot 110 based on this, more efficiently and accurately selecting the logistics robot 110 in a bad state maintenance work can be performed.
이때, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 정상 상태의 물류 로봇(110)에 대한 정상 데이터를 이용하여 미리 학습된 오토 인코더(autoencoder) 신경망을 이용하여 각 물류 로봇(110)에 대한 이상 스코어(anomaly score)를 산출할 수 있다.At this time, in the logistics robot state detection method, apparatus, and system according to an embodiment of the present invention, each logistics robot 110 in a normal state is used by using an autoencoder neural network pre-learned using normal data. An anomaly score for the robot 110 may be calculated.
여기서, 상기 오토 인코더(autoencoder) 신경망의 학습을 위하여 사용될 수 있는 정상 데이터는, 상기 물류 로봇(110)의 제조사 등에서 제공하는 대한 매뉴얼 등에 따르는 유지 보수 점검 기준에 부합하는 물류 로봇(110)의 데이터인지 여부, 상기 데이터의 수집 과정에서 물류 로봇(110)에 오류가 발생하지 않았는지 여부 등을 고려할 수 있으며, 나아가 동일할 물류 로봇(110)이라 할지라도 사용되는 환경에 따라 동작 파라미터 세팅 값이 달라질 수 있고, 부적절한 값으로 세팅된 경우 무리한 동작으로 인한 노후화 또는 불량이 발생할 수 있으므로, 상기 물류 로봇(110)의 구동 시에 적절한 파라미터 값이 세팅되었는지 여부도 고려할 수 있다.Here, whether the normal data that can be used for learning of the autoencoder neural network is the data of the logistics robot 110 that meets the maintenance inspection criteria according to the manual provided by the manufacturer of the logistics robot 110. It is possible to consider whether or not an error has occurred in the logistics robot 110 during the data collection process, and furthermore, even if the same logistics robot 110 is used, the operation parameter setting value may vary depending on the environment in which it is used. And, since aging or defects may occur due to unreasonable operation when set to an inappropriate value, it may also be considered whether an appropriate parameter value is set when the logistics robot 110 is driven.
이에 따라, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 도 8에서 볼 수 있는 바와 같이, 상기 오토 인코더(autoencoder) 신경망의 학습 단계에서 사용되지 않은 오류 상태(예를 들어, 도 8의 "Target failure")에 대해서도 감지할 수 있게 된다.Accordingly, in the logistics robot state detection method, apparatus, and system according to an embodiment of the present invention, as shown in FIG. 8, an error state not used in the learning step of the autoencoder neural network (eg, For example, “Target failure” in FIG. 8) can also be detected.
보다 구체적으로, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 도 9에서 볼 수 있는 바와 같이, 상기 물류 로봇(110)의 센싱 데이터를 미리 학습된 오토 인코더(autoencoder) 신경망에 입력하고, 이를 상기 오토 인코더(autoencoder) 신경망의 출력값과 비교하여 복원 손실(reconstruction loss)을 산출할 수 있다.More specifically, in the logistics robot state detection method, apparatus, and system according to an embodiment of the present invention, as shown in FIG. 9, the sensing data of the logistics robot 110 is pre-learned by an autoencoder It is input to the neural network, and a reconstruction loss may be calculated by comparing it with an output value of the autoencoder neural network.
여기서, 상기 오토 인코더 신경망은 정상 데이터에 시간 윈도우(time window)를 적용하여 학습된 콘볼루션 오토 인코더(convolutional autoencoder) 신경망일 수 있다.Here, the autoencoder neural network may be a convolutional autoencoder neural network learned by applying a time window to normal data.
이때, 상기 오토 인코더(autoencoder) 신경망은 정상 데이터를 사용하여 학습되었으므로, 상기 오토 인코더(autoencoder) 신경망의 복원 손실(reconstruction loss)은, 도 10에서 볼 수 있는 바와 같이, 상기 물류 로봇(110)의 센싱 데이터에 대한 이상 스코어(anomaly score)로 사용될 수 있다. 그러나, 본 발명이 반드시 이에 한정되는 것은 아니며, 상기 복원 손실(reconstruction loss)에 소정의 연산을 수행하여 상기 물류 로봇(110)의 센싱 데이터에 대한 이상 스코어(anomaly score)를 산출하는 것도 가능하다.At this time, since the autoencoder neural network was learned using normal data, the reconstruction loss of the autoencoder neural network is, as can be seen in FIG. 10, the distribution robot 110 It can be used as an anomaly score for sensing data. However, the present invention is not necessarily limited thereto, and it is also possible to calculate an anomaly score for the sensing data of the logistics robot 110 by performing a predetermined operation on the reconstruction loss.
이때, 상기 오토 인코더(autoencoder) 신경망에 입력되는 입력 값에는 상기 물류 로봇(110)에 구비되는 가속도 센서의 센싱 데이터와 상기 물류 로봇(110)의 구동을 위한 구동 장치의 속도 및 토크에 대한 센싱 데이터 중 하나 이상이 포함될 수 있다.At this time, the input values input to the autoencoder neural network include the sensing data of the acceleration sensor provided in the logistics robot 110 and the sensing data of the speed and torque of the driving device for driving the logistics robot 110. One or more of them may be included.
보다 구체적으로, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서, 상기 물류 로봇(110)은 OHT(10)일 수 있고, 이때 상기 오토 인코더(autoencoder) 신경망에서는 상기 OHT(10)에 구비되는 가속도 센서의 센싱 데이터와 상기 OHT(10)의 구동을 위한 모터의 속도 및 토크에 대한 센싱 데이터를 입력값으로 하여 이를 모두 고려하여 상기 OHT(10)에 대한 복원 손실을 산출함으로써, 보다 높은 정확도로 상기 OHT(10)에 대한 오류 여부 및 상태를 감지할 수 있게 된다.More specifically, in the logistics robot state detection method, apparatus and system according to an embodiment of the present invention, the logistics robot 110 may be an
보다 구체적인 예를 들어, 상기 OHT(10)에 대한 센싱 데이터로서, 상기 OHT(10)의 가속도 센서에서 측정되는 x 방향 가속도, y 방향 가속도, z 방향 가속도, AD(Analog-Digital) 센서에서 측정되는 전방 휠 모터의 속도 및 토크, 후방 휠 모터의 속도 및 토크, 호이스트(hoist) 모터의 속도 및 토크, 슬라이드(slide) 모터의 속도 및 토크, 자이로스코프에서 측정되는 요(Yaw), 피치(Pitch), 롤(Role)이 포함될 수 있으며, 이때 상기 피치(Pitch)와 롤(Role)은 OHT(10)가 트랙에 고정되어 주행하는 특성에 따라 변화가 거의 없으므로 제외할 수 있다.For a more specific example, as the sensing data for the
또한, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 성능 평가 지표로서 AUROC(Area Under Receiver Operating Characteristic Curve)를 사용할 수 있다.In addition, in the logistics robot state detection method, apparatus, and system according to an embodiment of the present invention, AUROC (Area Under Receiver Operating Characteristic Curve) may be used as a performance evaluation index.
보다 구체적으로, 도 11에서 볼 수 있는 바와 같이, 상기 AUROC는 분류 테스트에서의 기준치(threshold)에 따른 TPR(True Positive Rate)와 FPR(False Positive Rate)의 트레이드-오프(trade-off) 관계를 그래프로 표현할 것으로, 두 데이터 군집을 얼마나 잘 식별할 수 있는지 보여주며, AUROC 값이 1에 가까울수록 우수한 분류기(classifier)라고 볼 수 있다.More specifically, as shown in FIG. 11, the AUROC is a trade-off relationship between a true positive rate (TPR) and a false positive rate (FPR) according to a threshold in a classification test. As a graph, it shows how well it can discriminate between two data clusters, and the closer the AUROC value is to 1, the better the classifier.
이에 대하여, 도 12에서는 물류 로봇(110)의 다양한 오류 상태를 예시하고 있다.In contrast, FIG. 12 illustrates various error states of the logistics robot 110 .
보다 구체적으로, 도 12에서는 i) 비정상 속도 주행(Abnormal Speed Driving) 상태, ii) 호이스트 서보 모터 과적 에러(Hoist servo motor overload error) 상태 및 iii) 사소 오류(Subtle anomaly) 상태를 들고 있으며, 이하 각 오류 상태에 대하여 본 발명을 적용하는 경우에 대하여 자세하게 살핀다.More specifically, in FIG. 12, i) abnormal speed driving state, ii) hoist servo motor overload error state, and iii) minor error state, each A case of applying the present invention to an error state will be examined in detail.
먼저, i) 비정상 속도 주행(Abnormal Speed Driving) 상태에 대하여 검토한다.First, i) the Abnormal Speed Driving state is reviewed.
여기서, 비정상 속도 주행(Abnormal Speed Driving)은 실제 현장에서 흔하게 발생할 수 있는 상태이며, 보다 구체적으로 OHT(10)는 트랙에 부착된 바코드를 스캔하여 위치를 인식하고 각 위치마다 설정된 목표 속도 값에 맞추어 주행하게 된다. 그런데, 상기 OHT(10)는 종종 바코드 스캔에 실패할 수 있으며, 이러한 경우 OHT(10)는 제한 속도 값을 넘어 비정상 속도로 주행할 수 있다.Here, Abnormal Speed Driving is a condition that can commonly occur in real sites, and more specifically, the OHT (10) scans the barcode attached to the track to recognize the location and adjusts to the target speed value set for each location. will drive However, the
본 발명에서는 상기 비정상 속도 주행(Abnormal Speed Driving) 상태에 대한 오류 데이터 수집을 위하여 설정된 목표 속도 값을 수정하고, 상기 OHT(10)에 대한 파라미터 중 속도, 가속도와 관련된 값들을 최대치로 세팅하여 비정상 속도로 고속 주행함을 확인할 수 있었다.In the present invention, the target speed value set for collecting error data for the Abnormal Speed Driving state is corrected, and values related to speed and acceleration among the parameters for the OHT (10) are set to maximum values to achieve abnormal speed. It was confirmed that it was running at high speed.
이에 대하여, 정상 속도 주행 상태와 비정상 속도 주행 상태에 대하여 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템을 적용하는 경우, 도 13의 (a)에서 볼 수 있는 바와 같이, 두가지 상태에 대한 데이터 셋을 정확히 구분할 수 있는지를 보여주는 AUROC 값이 0.97로 산출되어, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서, 상기 비정상 속도 주행 상태를 정확하게 판별하고 있음을 알 수 있다.In contrast, when the logistics robot state detection method, apparatus, and system according to an embodiment of the present invention are applied to the normal speed driving state and the abnormal speed driving state, as can be seen in (a) of FIG. 13, two The AUROC value showing whether the data set for the state can be accurately distinguished is calculated as 0.97, indicating that the abnormal speed driving state is accurately determined in the logistics robot state detection method, apparatus, and system according to an embodiment of the present invention Able to know.
또한, 도 13의 (b)에서 볼 수 있는 바와 같이, 상기 정상 속도 주행 상태에서의 복원 손실(reconstruction loss) 분포는 낮은 값에 밀집되어 있는 반면, 비정상 속도 주행 상태에서의 복원 손실(reconstruction loss) 분포는 넓은 값에 걸쳐 분포함을 확인할 수 있다.In addition, as can be seen in (b) of FIG. 13, the reconstruction loss distribution in the normal speed driving state is concentrated at low values, whereas the reconstruction loss in the abnormal speed driving state It can be seen that the distribution is distributed over a wide range of values.
이때, OHT(10)의 고속 주행의 경우, 트랙의 세그먼트(segment)에서 최대 속도를 변경시킬 뿐만 아니라, OHT(10)의 속도/가감속 파라미터를 변경시켜 비정상 속도 주행을 유발하였는데, 이에 대하여 각 OHT(10)에서는 항상 세팅된 최대 속도와 가속도로 주행하는 것이 아니라 OHT(10)가 세그먼트(segment)의 길이를 고려하여 속도, 가속도를 조절하여 주행하게 되므로, 실제로 어느 시점에 정상 데이터와 차이가 나타나는지 명확히 파악하기 어려운 제약이 따를 수 있으므로, 이에 대하여 일정 시간 구간 내에서 최대 복원 손실(reconstruction loss) 값을 비교하여 정상 속도 주행 데이터와 비정상 속도 주행 데이터를 구분할 수 있었다.At this time, in the case of high-speed driving of the
이와 관련하여, 도 14에서는 정상 속도 주행 상태에 대한 이상 스코어(도 14의 (a))와 비정상 속도 주행 상태에 대한 이상 스코어(도 14의 (b))를 예시하고 있다. 도 14의 (b)에서 볼 수 있는 바와 같이, 비정상 속도 주행 상태에서는 특히 속도 관련 데이터의 복원 결과가 매우 부정확하게 이루어짐을 확인할 수 있다.In this regard, FIG. 14 illustrates an abnormal score for a normal speed driving state (FIG. 14(a)) and an abnormal score for an abnormal speed driving state (FIG. 14(b)). As can be seen in (b) of FIG. 14 , it can be seen that in an abnormal speed driving state, the restoration result of the speed-related data is particularly inaccurate.
또한, 도 15에서는 정상 속도 주행 상태 및 비정상 속도 주행 상태에 대한 속도 데이터의 비교(도 15의 (a))와 이상 스코어의 비교(도 15의 (b))를 예시하고 있다.15 illustrates a comparison of speed data (FIG. 15(a)) and abnormal score (FIG. 15(b)) for a normal speed driving state and an abnormal speed driving state.
도 15의 (a)에서 볼 수 있는 바와 같이, 정상 속도 주행 상태에서는 빠르게 제한 속도까지 가속한 후 등속으로 주행하며 여러 단계를 거쳐 감속하며, 반면 비정상 속도 주행 상태에서는 급격한 가속 및 감속이 나타가게 된다.As can be seen in (a) of FIG. 15, in the normal speed driving state, it accelerates quickly to the limit speed and then travels at a constant speed and decelerates through several steps, whereas in the abnormal speed driving state, rapid acceleration and deceleration appear. .
특히, 도 15의 (b)에서 볼 수 있는 바와 같이, 정상 속도 주행 상태 및 비정상 속도 주행 상태에 대한 이상 스코어(anomaly score)를 비교해 보면, 비정상 속도 주행 상태의 이상 스코어가 정상 속도 주행 상태의 이상 스코어보다 100배 이상 큰 값을 가지게 되어, 정상 속도 주행 상태 및 비정상 속도 주행 상태를 용이하게 판별할 수 있음을 알 수 있다.In particular, as can be seen in (b) of FIG. 15 , when comparing the anomaly scores for the normal speed driving state and the abnormal speed driving state, the anomaly score of the abnormal speed driving state is the abnormal score of the normal speed driving state. It can be seen that it has a value more than 100 times greater than the score, and thus it is possible to easily discriminate between a normal speed driving state and an abnormal speed driving state.
이어서, ii) 호이스트 서보 모터 과적 에러(Hoist servo motor overload error) 상태에 대하여 검토한다.Subsequently, ii) a hoist servo motor overload error condition is reviewed.
여기서, 상기 호이스트 서보 모터 과적 에러(Hoist servo motor overload error)도 실제 현장에서 종종 발생할 수 있는 오류라고 할 수 있으며, 본 발명에서는 상기 호이스트 서보 모터 과적 에러(Hoist servo motor overload error) 상태에 대한 오류 데이터 수집을 위하여 모터의 토크, 스피드, 지속 시간의 조건을 충족시켜야 하므로 FOUP을 정상보다 무겁게 하고 호이스트의 속력을 낮게 설정하여, 상기 호이스트 서보 모터 과적 에러(Hoist servo motor overload error) 상태를 구현하였다.Here, the hoist servo motor overload error can also be said to be an error that often occurs in the actual field, and in the present invention, the error data for the hoist servo motor overload error state Since the conditions of torque, speed, and duration of the motor must be satisfied for collection, the hoist servo motor overload error state was implemented by making the FOUP heavier than normal and setting the speed of the hoist low.
이에 대하여, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 도 16에서 볼 수 있는 바와 같이, 현재 OHT(10)의 복원 손실(reconstruction loss)과 정상 데이터의 복원 손실(reconstruction loss)을 비교할 수 있도록 디스플레이하고, 현재 OHT(10)의 복원 손실(reconstruction loss)이 어느 정도 수준인지 확인할 수 있도록 히스토그램 및 각 센싱 데이터 값들을 표시할 수 있다.In contrast, in the logistics robot state detection method, apparatus, and system according to an embodiment of the present invention, as can be seen in FIG. 16, the reconstruction loss of the
이때, OHT(10)의 호이스트가 FOUP를 들어올리면 바로 복원 손실(reconstruction loss)이 급증하여 정상 데이터의 범주를 크게 벗어나게 되며, 이후 어느 정도 시간이 흐르면 실제로 OHT(10)에 대한 오류 알람이 발생하게 됨을 확인할 수 있었다.At this time, when the hoist of the OHT (10) lifts the FOUP, the restoration loss (reconstruction loss) increases rapidly and greatly deviate from the normal data range. was able to confirm that
보다 구체적으로, 도 17에서는 동일한 OHT(10)에서의 정상 동작 상태와 호이스트 서보 모터 과적 에러(Hoist servo motor overload error) 상태에 대한 이상 스코어(anomaly score)를 비교하여 도시하고 있다.More specifically, FIG. 17 shows a comparison of anomaly scores for a normal operating state and a hoist servo motor overload error state in the
도 17에서 볼 수 있는 바와 같이, 정상 동작 상태에서의 이상 스코어(anomaly score)는 낮을 값이 머무르는 반면, 호이스트 서보 모터 과적 에러(Hoist servo motor overload error) 상태에서의 이상 스코어(anomaly score)는 FOUP를 들어올리자 마자 급격하게 증가하며, 상기 이상 스코어(anomaly score)가 급증하는 시점은 실제로 OHT(10)에 대한 오류 알람이 발생하는 시점보다 평균적으로 약 7.53초 빨라 보다 신속하고 정확하게 호이스트 서보 모터 과적 에러(Hoist servo motor overload error) 상태를 감지할 수 있음을 확인할 수 있었다.As can be seen in FIG. 17, the anomaly score in the normal operating state remains low, while the anomaly score in the hoist servo motor overload error state is FOUP As soon as it is lifted, it rapidly increases, and the point at which the anomaly score rapidly increases is about 7.53 seconds on average faster than the point at which an error alarm for OHT (10) actually occurs. (Hoist servo motor overload error) status could be detected.
다음으로는, iii) 사소 오류(Subtle anomaly) 상태에 대하여 검토한다.Next, iii) the state of a minor anomaly is reviewed.
여기서, 상기 사소 오류(Subtle anomaly) 상태란 정상 상태에서 크게 벗어나지 않는 애매한 오류 상태를 의미한다.Here, the minor anomaly state means an ambiguous error state that does not greatly deviate from the normal state.
이에 대하여, 상기 사소 오류(Subtle anomaly) 상태로서 오류의 정도를 조절하기 용이한 트랙(track)의 오류 상태를 예로 들어 살핀다. In this regard, as the minor error state, an error state of a track for which the degree of error can be easily adjusted is taken as an example.
보다 구체적으로, 도 18에서 볼 수 있는 바와 같이, 상기 트랙의 오류로서는 트랙의 분리(Track isolation), 뒤틀림(distortion), 장애물(obstacle) 등을 들 수 있다.More specifically, as can be seen in FIG. 18 , errors in the track include track isolation, distortion, obstacles, and the like.
이러한 트랙 오류도 실제 현장에서 자주 발생하는 오류 중 하나이며, 통상의 OHT(10)에는 진동 센서 등이 구비되지 않기 때문에 작업자가 육안으로 검사하거나 검사 전용 장비를 이용하여 트랙 오류를 확인하고 있으나, 반도체 공정 등에서 사용되는 트랙의 길이는 수십 km에 이를 수 있어, 상기 트랙 오류를 검사하는 작업은 많은 시간과 인력이 소요될 수 있었다.This track error is also one of the errors that frequently occur in the actual field, and since the
이에 대하여, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 도 19에서 볼 수 있는 바와 같이, 현재 OHT(10)의 복원 손실(reconstruction loss)과 정상 데이터의 복원 손실(reconstruction loss)을 비교할 수 있도록 디스플레이하고, 또한 현재 OHT(10)의 복원 손실(reconstruction loss)이 어느 정도 수준인지 확인할 수 있도록 히스토그램 및 각 센싱 데이터 값들을 표시할 수 있다.In contrast, in the logistics robot state detection method, apparatus, and system according to an embodiment of the present invention, as can be seen in FIG. 19, the reconstruction loss of the
이때, OHT(10)가 정상 구간을 주행하다가 장애물 등 트랙에 오류가 있는 구간을 주행하게 되면, 현재 OHT(10)의 복원 손실(reconstruction loss)이 정상 데이터의 경우와 비교할 때 큰 복원 손실(reconstruction loss)을 보이는 것을 확인할 수 있었다.At this time, when the OHT (10) travels in a section with an error in the track, such as an obstacle, while driving in a normal section, the reconstruction loss of the current OHT (10) is large compared to the case of normal data. loss) was observed.
그런데, 상기 트랙에서 장애물 등의 크기는 통상 1mm 이하의 아주 작기 때문에, 도 20에서 볼 수 있는 바와 같이, OHT(10)가 트랙에서 장애물 등이 존재하는 오류가 있는 구간을 주행하더라도 곡선 구간 등에서 발생하는 진동과 비슷한 수준에 불과하여 장애물의 존재 여부 등 트랙에 오류가 존재하는지 여부를 정확히 판별하기가 어려운 제약이 따른다.However, since the size of obstacles on the track is usually very small, such as 1 mm or less, as can be seen in FIG. It is only at a level similar to that of vibration, which makes it difficult to accurately determine whether or not there is an error on the track, such as the presence of an obstacle.
이에 대하여, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 상기 물류 로봇(110)에서의 이상 스코어(anomaly score)와 정상 물류 로봇에서의 이상 스코어(anomaly score)의 비율을 기초로 상기 물류 로봇에 대한 상태를 판별함으로써, 보다 정확하게 상기 물류 로봇(110)의 상태를 판단할 수 있게 된다.In contrast, in the logistics robot state detection method, apparatus, and system according to an embodiment of the present invention, the ratio of the anomaly score in the logistics robot 110 and the anomaly score in the normal logistics robot By determining the state of the logistics robot based on , it is possible to more accurately determine the state of the logistics robot 110 .
보다 구체적으로, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 아래 [수학식 1]과 같이 상기 물류 로봇(110)에서의 이상 스코어(anomaly score)와 정상 물류 로봇에서의 이상 스코어(anomaly score)의 비율을 이상 척도(anomaly scale)로 산출할 수 있다.More specifically, in the logistics robot state detection method, apparatus, and system according to an embodiment of the present invention, the anomaly score in the logistics robot 110 and the normal logistics robot as shown in [Equation 1] below The ratio of anomaly scores of can be calculated as an anomaly scale.
[수학식 1][Equation 1]
이에 따라, 도 21의 (a)에서 볼 수 있는 바와 같이, 이상 스코어(anomaly score)에서는 트랙의 곡선 구간 등에서의 진동과 장애물 등 트랙에 오류가 존재하는 구간에서의 진동을 명확하기 구분하기 어려운데 반하여, 도 21의 (b)에서 볼 수 있는 바와 같이, 상기 이상 척도(anomaly scale)의 경우 상기 트랙의 곡선 구간 등에서의 진동과 장애물 등 트랙에 오류가 존재하는 구간에서의 진동을 용이하게 식별 가능하다는 것을 확인할 수 있다.Accordingly, as can be seen in (a) of FIG. 21, in the anomaly score, it is difficult to clearly distinguish between vibration in a curved section of the track and vibration in a section where there is an error in the track, such as an obstacle. , As can be seen in (b) of FIG. 21, in the case of the anomaly scale, vibration in a curved section of the track and vibration in an error section such as an obstacle can be easily identified. can confirm that
보다 구체적인 예를 들어, 도 21의 (b)에서 상기 이상 척도(anomaly scale)를 살펴보면 5개의 장애물에 의하여 5개의 첨두치(peak)가 발생하는 것을 명확히 식별할 수 있다.For a more specific example, looking at the anomaly scale in (b) of FIG. 21, it can be clearly identified that 5 peaks are generated by 5 obstacles.
이때, 상기 물류 로봇(110)에서의 이상 스코어(anomaly score)와 정상 물류 로봇에서의 이상 스코어(anomaly score)의 비율로부터 상기 이상 척도(anomaly scale)를 산출하는 경우, 상기 이상 스코어(anomaly score)와 정상 물류 로봇에서의 이상 스코어(anomaly score)를 정확하게 매칭시키면서 이상 척도(anomaly scale)를 산출하여야 하며, 부정확한 매칭이 발생할 경우 다수의 잘못된 오류 인식 결과를 초래할 수 있다.At this time, when the anomaly scale is calculated from the ratio of the anomaly score in the distribution robot 110 and the anomaly score in the normal distribution robot, the anomaly score An anomaly scale must be calculated while accurately matching the anomaly score in the normal distribution robot with the anomaly score, and when inaccurate matching occurs, a number of erroneous recognition results may result.
나아가, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 상기 각 센싱 데이터에 의한 이상 스코어를 비교하여 상기 물류 로봇(110)의 이상 상태에 대한 원인을 추정하는 것도 가능하다.Furthermore, in the logistics robot state detection method, apparatus, and system according to an embodiment of the present invention, it is also possible to estimate the cause of the abnormal state of the logistics robot 110 by comparing abnormal scores based on each of the sensing data. .
보다 구체적으로, 본 발명에서 사용하는 오토인코더(autoencoder) 알고리즘은 비지도 학습 기법에 기반하므로 정상 데이터에서 벗어난 정도를 알려줄 수는 있으나, 어떤 원인에 기인한 것인지에 대하여 파악하기는 어렵다는 제약에 따른다.More specifically, the autoencoder algorithm used in the present invention is based on an unsupervised learning technique, so it can inform the degree of deviation from normal data, but it is difficult to determine what cause it is due to.
이에 대하여, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 상기 이상 스코어(anomaly score)를 각 센싱 데이터 별로 구분하여 비교하면 상기 물류 로봇(110)의 이상 상태에 대한 원인을 추정할 수 있다.In contrast, in the logistics robot state detection method, apparatus, and system according to an embodiment of the present invention, when the anomaly score is classified and compared for each sensing data, the cause of the abnormal state of the logistics robot 110 can be estimated.
보다 구체적인 예를 들어, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 도 22의 (a)에서 볼 수 있는 바와 같이, x 방향 가속도, y 방향 가속도, z 방향 가속도 등 진동(vibration) 관련 데이터를 제1 유형으로 분류하고, 요(Yaw) 등 회전(rotation) 관련 데이터를 제2 유형으로 분류하며, 전방 휠 모터의 속도 및 토크, 후방 휠 모터의 속도 및 토크 등 주행용 전후방 모터(Driving motor) 관련 데이터를 제3 유형으로 분류하고, 호이스트 모터의 속도 및 토크 등 호이스트(hoist) 관련 데이터를 제4 유형으로 분류하며, 슬라이드 모터의 속도 및 토크 등 슬라이드(slide) 관련 데이터를 제5 유형으로 분류하여, 각 유형에 대한 이상 스코어(anomaly score)를 산출하여 비교할 수 있다.For a more specific example, in the logistics robot state detection method, apparatus, and system according to an embodiment of the present invention, as can be seen in (a) of FIG. 22, x-direction acceleration, y-direction acceleration, z-direction acceleration, etc. Vibration-related data is classified as the first type, rotation-related data such as yaw is classified as the second type, and the speed and torque of the front wheel motors and the speed and torque of the rear wheel motors are classified as driving. The driving motor related data is classified as the 3rd type, the hoist related data such as the speed and torque of the hoist motor is classified as the 4th type, and the slide related data such as the speed and torque of the slide motor is classified as the third type. Data can be classified into a fifth type, and an anomaly score for each type can be calculated and compared.
이에 따라, 도 22의 (b)에서 볼 수 있는 바와 같이, 고속 주행 등 i) 비정상 속도 주행(Abnormal Speed Driving) 상태의 물류 로봇(110)에 대한 각 유형별 이상 스코어(anomaly score)를 살펴보면 제3 유형의 주행용 전후방 모터(Driving motor) 관련 데이터에 의한 이상 스코어(anomaly score)가 크게 증가하여 주행용 전후방 모터에 의하여 오류가 발생하였음을 추정할 수 있다.Accordingly, as shown in (b) of FIG. 22, looking at the anomaly score for each type of the logistics robot 110 in the state of i) abnormal speed driving, such as high-speed driving, the third Since the anomaly score by the data related to the front and rear driving motors of the type greatly increased, it can be assumed that the error occurred by the front and rear driving motors.
또한, 도 23에서 ii) 호이스트 서보 모터 과적 에러(Hoist servo motor overload error) 상태의 물류 로봇(110)에 대한 각 유형별 이상 스코어(anomaly score)를 살펴보면 제4 유형의 호이스트(hoist) 관련 데이터에 의한 이상 스코어(anomaly score)가 크게 증가하여 호이스트(hoist)에 의하여 오류가 발생하였음을 추정할 수 있다.In addition, in FIG. 23, looking at the anomaly score for each type of the logistics robot 110 in the hoist servo motor overload error state, according to the fourth type of hoist related data Since the anomaly score is greatly increased, it can be assumed that an error has occurred by the hoist.
나아가, 도 24에서 트랙의 장애물 등에 의한 iii) 사소 오류(Subtle anomaly) 상태의 물류 로봇(110)에 대한 각 유형별 이상 스코어(anomaly score)를 살펴보면 제1 유형의 진동(vibration) 관련 데이터에 의한 이상 스코어(anomaly score)가 크게 증가하여 트랙의 장애물 등에 의한 진동(vibration)에 의하여 오류가 발생하였음을 추정할 수 있다.Furthermore, in FIG. 24, examining the anomaly score for each type of the distribution robot 110 in the state of iii) minor anomaly due to obstacles on the track, etc., the anomaly due to the first type of vibration related data Since the score (anomaly score) is greatly increased, it can be estimated that an error has occurred due to vibration caused by obstacles on the track.
또한, 본 발명의 또 다른 측면에 따른 컴퓨터 프로그램은 앞서 살핀 물류 로봇 상태 감지 방법의 각 단계를 컴퓨터에서 실행시키기 위하여 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램인 것을 특징으로 한다. 상기 컴퓨터 프로그램은 컴파일러에 의해 만들어지는 기계어 코드를 포함하는 컴퓨터 프로그램뿐만 아니라, 인터프리터 등을 사용해서 컴퓨터에서 실행될 수 있는 고급 언어 코드를 포함하는 컴퓨터 프로그램일 수도 있다. 이때, 상기 컴퓨터로서는 퍼스널 컴퓨터(PC)나 노트북 컴퓨터 등에 한정되지 아니하며, 서버, 스마트폰, 태블릿 PC, PDA, 휴대전화 등 중앙처리장치(CPU)를 구비하여 컴퓨터 프로그램을 실행할 수 있는 일체의 정보처리 장치를 포함한다.In addition, the computer program according to another aspect of the present invention is characterized in that it is a computer program stored in a computer readable medium in order to execute each step of the method for detecting the condition of the logistics robot above on a computer. The computer program may be a computer program including machine code generated by a compiler, as well as a computer program including high-level language code that can be executed on a computer using an interpreter or the like. At this time, the computer is not limited to a personal computer (PC) or a notebook computer, etc., and has a central processing unit (CPU) such as a server, smart phone, tablet PC, PDA, mobile phone, etc. to execute a computer program. All information processing include the device
또한, 상기 컴퓨터로 판독 가능한 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.In addition, the computer-readable medium may continuously store a computer-executable program or temporarily store it for execution or download. In addition, the medium may be various recording means or storage means in the form of a single or combined hardware, but is not limited to a medium directly connected to a certain computer system, and may be distributed on a network. Examples of the medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROM and DVD, magneto-optical media such as floptical disks, and ROM, RAM, flash memory, etc. configured to store program instructions. In addition, examples of other media include recording media or storage media managed by an app store that distributes applications, a site that supplies or distributes various other software, and a server.
또한, 도 25에서는 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 시스템(120)의 구성도를 예시하고 있다.25 illustrates a configuration diagram of a logistics robot
도 25에서 볼 수 있는 바와 같이 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 시스템(120)은 센싱 데이터 수집부(121), 복원 손실 산출부(122) 및 물류 로봇 상태 판별부(123)를 포함하여 구성될 수 있다.As can be seen in FIG. 25, the logistics robot
아래에서는 본 발명의 일 실시예에 따른 따른 물류 로봇 상태 감지 시스템(120)을 각 구성요소 별로 나누어 살핀다. 본 발명의 일 실시예에 따른 따른 물류 로봇 상태 감지 시스템(120)에 대한 보다 자세한 내용은 앞서 설명한 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법에 대한 설명으로부터 유추될 수 있는 바, 아래에서 보다 자세한 설명은 생략한다.Below, the logistics robot
먼저, 상기 센싱 데이터 수집부(121)에서는 각 물류 로봇(110)에 대하여 하나 이상의 센싱 데이터를 수집하게 된다.First, the sensing
또한, 상기 복원 손실 산출부(122)에서는 상기 하나 이상의 센싱 데이터를 미리 학습된 오토 인코더(autoencoder) 신경망으로 입력하여 상기 각 물류 로봇(110)에 대응하는 복원 손실(reconstruction loss)을 산출하게 된다.In addition, the
또한, 상기 물류 로봇 상태 판별부(123)에서는 상기 복원 손실(reconstruction loss)을 기초로 산출되는 이상 스코어(anomaly score)를 이용하여 각 물류 로봇(110)에 대한 상태를 판별하게 된다.In addition, the distribution robot
여기서, 상기 오토 인코더 신경망은 물류 로봇(110)에 대한 정상 데이터를 이용하여 미리 학습된 신경망일 수 있다.Here, the auto-encoder neural network may be a neural network pre-learned using normal data for the logistics robot 110.
이때, 상기 오토 인코더 신경망은 정상 데이터에 시간 윈도우를 적용하여 학습된 콘볼루션 오토 인코더(convolutional autoencoder) 신경망일 수 있다.In this case, the autoencoder neural network may be a convolutional autoencoder neural network learned by applying a time window to normal data.
또한, 상기 센싱 데이터에는, 상기 물류 로봇(110)에 구비되는 가속도 센서의 센싱 데이터와 상기 물류 로봇(110)의 구동을 위한 구동 장치의 속도 및 토크에 대한 센싱 데이터 중 하나 이상이 포함될 수 있다.In addition, the sensing data may include one or more of sensing data of an acceleration sensor provided in the logistics robot 110 and sensing data about speed and torque of a driving device for driving the logistics robot 110.
또한, 상기 물류 로봇 상태 판별부(123)에서는, 상기 물류 로봇(110)에서의 이상 스코어와 정상 물류 로봇에서의 이상 스코어의 비율을 기초로 상기 물류 로봇(110)에 대한 상태를 판별할 수 있다.In addition, the distribution robot
또한, 상기 물류 로봇(110)은 OHT(10)이고, 상기 복원 손실 산출부(122)에서는, 상기 오토 인코더(autoencoder) 신경망에서 상기 OHT(10)에 구비되는 가속도 센서의 센싱 데이터와 상기 OHT(10)의 구동을 위한 모터의 속도 및 토크에 대한 센싱 데이터를 모두 입력받아 상기 OHT(10)에 대한 복원 손실을 산출할 수 있다.In addition, the logistics robot 110 is the
이때, 상기 물류 로봇 상태 판별부(123)에서는, 상기 각 센싱 데이터에 의한 이상 스코어를 비교하여 상기 물류 로봇(110)의 이상 상태에 대한 원인을 추정할 수 있다.At this time, the logistics robot
이에 따라, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 물류 자동화 시스템(100)에서 OHT(10) 등 물류 로봇(110)의 상태를 수치화하여 각 물류 로봇(110)에 대한 유지 보수를 수행할 수 있으며, 나아가 이를 기반으로 전체 물류 로봇(110)에 대한 유지 보수 비용을 최적화하면서 효율적으로 관리할 수 있게 된다.Accordingly, in the logistics robot state detection method, apparatus, and system according to an embodiment of the present invention, the
또한, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, OHT(10) 등 물류 로봇(110)의 이상 상태 여부를 보다 명확히 판별할 수 있으며, 나아가 물류 로봇(110)의 이상 상태에 대한 원인도 추정할 수 있게 된다.In addition, in the logistics robot state detection method, apparatus, and system according to an embodiment of the present invention, it is possible to more clearly determine whether or not the logistics robot 110 such as the
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely an example of the technical idea of the present invention, and various modifications and variations can be made to those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments described in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and are not limited to these embodiments. The protection scope of the present invention should be construed by the claims below, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.
10 : OHT
100 : 물류 자동화 시스템
110, 110a, 110b, 110n : 물류 로봇
120 : 물류 로봇 상태 감지 시스템
121 : 센싱 데이터 수집부
122 : 복원 손실 산출부
123 : 물류 로봇 상태 판별부
130 : 통신 네트워크10: OHT
100: Logistics automation system
110, 110a, 110b, 110n: Logistics robot
120: Logistics robot status detection system
121: sensing data collection unit
122: restoration loss calculator
123: distribution robot status determination unit
130: communication network
Claims (15)
물류 로봇 상태 감지 시스템이, 각 물류 로봇에 대하여 하나 이상의 센싱 데이터를 수집하는 단계;
상기 하나 이상의 센싱 데이터를 미리 학습된 오토 인코더(autoencoder) 신경망으로 입력하여 상기 각 물류 로봇에 대응하는 복원 손실(reconstruction loss)을 산출하는 단계; 및
상기 복원 손실(reconstruction loss)을 기초로 산출되는 이상 스코어(anomaly score)를 이용하여 각 물류 로봇에 대한 상태를 판별하는 단계;
를 포함하는 것을 특징으로 하는 물류 로봇 상태 감지 방법.In the method for detecting the status of one or more logistics robots driven in a logistics automation system,
Collecting, by the logistics robot state detection system, one or more sensing data for each logistics robot;
Calculating a reconstruction loss corresponding to each of the logistics robots by inputting the one or more sensing data into a pre-learned autoencoder neural network; and
Determining a state of each logistics robot using an anomaly score calculated based on the reconstruction loss;
Logistics robot state detection method comprising a.
상기 오토 인코더 신경망은 물류 로봇에 대한 정상 데이터를 이용하여 미리 학습된 신경망인 것을 특징으로 하는 물류 로봇 상태 감지 방법.According to claim 1,
The autoencoder neural network is a logistics robot state detection method, characterized in that the neural network pre-learned using normal data for the logistics robot.
상기 오토 인코더 신경망은 정상 데이터에 시간 윈도우를 적용하여 학습된 콘볼루션 오토 인코더(convolutional autoencoder) 신경망인 것을 특징으로 하는 물류 로봇 상태 감지 방법.According to claim 2,
The autoencoder neural network is a logistics robot state detection method, characterized in that the convolutional autoencoder neural network learned by applying a time window to normal data.
상기 센싱 데이터에는,
상기 물류 로봇에 구비되는 가속도 센서의 센싱 데이터와 상기 물류 로봇의 구동을 위한 구동 장치의 속도 및 토크에 대한 센싱 데이터 중 하나 이상이 포함되는 것을 특징으로 하는 물류 로봇 상태 감지 방법.According to claim 1,
In the sensing data,
The logistics robot state detection method, characterized in that at least one of the sensing data of the acceleration sensor provided in the logistics robot and the sensing data for the speed and torque of the driving device for driving the logistics robot.
상기 판별하는 단계에서는,
상기 물류 로봇에서의 이상 스코어와 정상 물류 로봇에서의 이상 스코어의 비율을 기초로 상기 물류 로봇에 대한 상태를 판별하는 것을 특징으로 하는 물류 로봇 상태 감지 방법.According to claim 1,
In the determining step,
The distribution robot state detection method, characterized in that for determining the state of the distribution robot based on the ratio of the abnormal score in the distribution robot and the abnormal score in the normal distribution robot.
상기 물류 로봇은 OHT(Overhead Hoist Transport)이고,
상기 산출하는 단계에서는,
상기 오토 인코더(autoencoder) 신경망에서 상기 OHT에 구비되는 가속도 센서의 센싱 데이터와 상기 OHT의 구동을 위한 모터의 속도 및 토크에 대한 센싱 데이터를 모두 입력받아 상기 OHT에 대한 복원 손실을 산출하는 것을 특징으로 하는 물류 로봇 상태 감지 방법.According to claim 1,
The logistics robot is an overhead hoist transport (OHT),
In the calculation step,
In the autoencoder neural network, both the sensing data of the acceleration sensor provided in the OHT and the sensing data of the speed and torque of the motor for driving the OHT are input and the restoration loss for the OHT is calculated. A method for detecting the status of a logistics robot.
상기 판별하는 단계에서는,
상기 각 센싱 데이터에 의한 이상 스코어를 비교하여 상기 물류 로봇의 이상 상태에 대한 원인을 추정하는 것을 특징으로 하는 물류 로봇 상태 감지 방법.According to claim 6,
In the determining step,
The logistics robot state detection method, characterized in that for estimating the cause of the abnormal state of the logistics robot by comparing the abnormal score by each of the sensing data.
각 물류 로봇에 대하여 하나 이상의 센싱 데이터를 수집하는 센싱 데이터 수집부;
상기 하나 이상의 센싱 데이터를 미리 학습된 오토 인코더(autoencoder) 신경망으로 입력하여 상기 각 물류 로봇에 대응하는 복원 손실(reconstruction loss)을 산출하는 복원 손실 산출부; 및
상기 복원 손실(reconstruction loss)을 기초로 산출되는 이상 스코어(anomaly score)를 이용하여 각 물류 로봇에 대한 상태를 판별하는 물류 로봇 상태 판별부;
를 포함하는 것을 특징으로 하는 물류 로봇 상태 감지 시스템.In the system for detecting the status of one or more logistics robots driven in a logistics automation system,
Sensing data collection unit for collecting one or more sensing data for each logistics robot;
a reconstruction loss calculation unit inputting the one or more sensing data into a pre-learned autoencoder neural network and calculating a reconstruction loss corresponding to each of the logistics robots; and
a logistics robot state determination unit determining a state of each logistics robot using an anomaly score calculated based on the reconstruction loss;
Logistics robot state detection system comprising a.
상기 오토 인코더 신경망은 물류 로봇에 대한 정상 데이터를 이용하여 미리 학습된 신경망인 것을 특징으로 하는 물류 로봇 상태 감지 시스템.According to claim 9,
The autoencoder neural network is a logistics robot state detection system, characterized in that the neural network pre-learned using normal data for the logistics robot.
상기 오토 인코더 신경망은 정상 데이터에 시간 윈도우를 적용하여 학습된 콘볼루션 오토 인코더(convolutional autoencoder) 신경망인 것을 특징으로 하는 물류 로봇 상태 감지 시스템.According to claim 10,
The autoencoder neural network is a logistics robot state detection system, characterized in that the convolutional autoencoder neural network learned by applying a time window to normal data.
상기 센싱 데이터에는,
상기 물류 로봇에 구비되는 가속도 센서의 센싱 데이터와 상기 물류 로봇의 구동을 위한 구동 장치의 속도 및 토크에 대한 센싱 데이터 중 하나 이상이 포함되는 것을 특징으로 하는 물류 로봇 상태 감지 시스템.According to claim 9,
In the sensing data,
The logistics robot state detection system, characterized in that at least one of the sensing data of the acceleration sensor provided in the logistics robot and the sensing data for the speed and torque of the driving device for driving the logistics robot.
상기 물류 로봇 상태 판별부에서는,
상기 물류 로봇에서의 이상 스코어와 정상 물류 로봇에서의 이상 스코어의 비율을 기초로 상기 물류 로봇에 대한 상태를 판별하는 것을 특징으로 하는 물류 로봇 상태 감지 시스템.According to claim 9,
In the distribution robot state determination unit,
The distribution robot state detection system, characterized in that for determining the state of the distribution robot based on the ratio of the abnormal score in the distribution robot and the abnormal score in the normal distribution robot.
상기 물류 로봇은 OHT(Overhead Hoist Transport)이고,
상기 복원 손실 산출부에서는,
상기 오토 인코더(autoencoder) 신경망에서 상기 OHT에 구비되는 가속도 센서의 센싱 데이터와 상기 OHT의 구동을 위한 모터의 속도 및 토크에 대한 센싱 데이터를 모두 입력받아 상기 OHT에 대한 복원 손실을 산출하는 것을 특징으로 하는 물류 로봇 상태 감지 시스템.According to claim 9,
The logistics robot is an overhead hoist transport (OHT),
In the restoration loss calculator,
In the autoencoder neural network, both the sensing data of the acceleration sensor provided in the OHT and the sensing data of the speed and torque of the motor for driving the OHT are input and the restoration loss for the OHT is calculated. Logistics robot status detection system.
상기 물류 로봇 상태 판별부에서는,
상기 각 센싱 데이터에 의한 이상 스코어를 비교하여 상기 물류 로봇의 이상 상태에 대한 원인을 추정하는 것을 특징으로 하는 물류 로봇 상태 감지 시스템.According to claim 14,
In the distribution robot state determination unit,
The logistics robot state detection system, characterized in that for estimating the cause of the abnormal state of the logistics robot by comparing the abnormal score by each of the sensing data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2022/018074 WO2023090844A1 (en) | 2021-11-17 | 2022-11-16 | Method, apparatus, and system for detecting anomaly in logistics robot |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20210158408 | 2021-11-17 | ||
| KR1020210158408 | 2021-11-17 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230072441A true KR20230072441A (en) | 2023-05-24 |
Family
ID=86541046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220153396A KR20230072441A (en) | 2021-11-17 | 2022-11-16 | Method, apparatus and system for detecting anomaly in logistics robot |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230072441A (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101845385B1 (en) | 2016-09-29 | 2018-05-18 | 주식회사 에스에프에이 | Carriage system and disabled car traction method therefor |
-
2022
- 2022-11-16 KR KR1020220153396A patent/KR20230072441A/en unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101845385B1 (en) | 2016-09-29 | 2018-05-18 | 주식회사 에스에프에이 | Carriage system and disabled car traction method therefor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2023071217A1 (en) | Multi-working-condition process industrial fault detection and diagnosis method based on deep transfer learning | |
| CN109230351B (en) | Method for identifying abnormal operation of belt conveyor | |
| CN110555273B (en) | Bearing life prediction method based on hidden Markov model and transfer learning | |
| KR101395073B1 (en) | Moving carriage system and self-diagnostic method therefor | |
| JP2006315813A (en) | Movable body diagnosis system | |
| CN112629905A (en) | Equipment anomaly detection method and system based on deep learning and computer medium | |
| CN113985877B (en) | Automatic guide system of warehouse logistics path based on digital twinning | |
| US20230071269A1 (en) | Programmable logic controller operation system and method for each movement position of logistics robot | |
| KR20230072441A (en) | Method, apparatus and system for detecting anomaly in logistics robot | |
| CN117075647B (en) | Control method and device for stacker | |
| CN111788042A (en) | Predictive analysis of robots | |
| CN116501002B (en) | AGV safety induction configuration method for carrying dangerous cargo container at intelligent wharf | |
| KR102120128B1 (en) | System for monitoring vehicle manufacturing processes | |
| KR20220068799A (en) | System for detecting error of automation equipment and method thereof | |
| WO2023090844A1 (en) | Method, apparatus, and system for detecting anomaly in logistics robot | |
| CN115049346B (en) | Industrial Internet of things system based on material transportation obstacle recognition and control method | |
| KR102120127B1 (en) | Devices and methods for monitoring vehicle manufacturing processes | |
| TWI667561B (en) | Production line monitoring system and production line monitoring method | |
| Eddy et al. | A defect prevention concept using artificial intelligence | |
| Choi et al. | On safety improvement through process establishment for SOTIF application of autonomous driving logistics robot | |
| KR102497585B1 (en) | OHT anomaly detection system using artificial intelligence | |
| CN113009849B (en) | Robot operating system | |
| CN117774007B (en) | Logistics transfer robot work abnormality detection method and system based on image processing | |
| Sagar et al. | Computer Vision and IoT-Enabled Robotic Platform for Automated Crack Detection in Road and Bridges | |
| CN114265359B (en) | Intelligent detection system and method for abnormal operation time of conveying equipment |