WO2023090844A1 - 물류 로봇 이상 감지 방법, 장치 및 시스템 - Google Patents

물류 로봇 이상 감지 방법, 장치 및 시스템 Download PDF

Info

Publication number
WO2023090844A1
WO2023090844A1 PCT/KR2022/018074 KR2022018074W WO2023090844A1 WO 2023090844 A1 WO2023090844 A1 WO 2023090844A1 KR 2022018074 W KR2022018074 W KR 2022018074W WO 2023090844 A1 WO2023090844 A1 WO 2023090844A1
Authority
WO
WIPO (PCT)
Prior art keywords
logistics
robot
logistics robot
sensing data
state
Prior art date
Application number
PCT/KR2022/018074
Other languages
English (en)
French (fr)
Inventor
장영재
박진혁
Original Assignee
다임리서치 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 다임리서치 주식회사 filed Critical 다임리서치 주식회사
Priority claimed from KR1020220153396A external-priority patent/KR20230072441A/ko
Publication of WO2023090844A1 publication Critical patent/WO2023090844A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/677—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for conveying, e.g. between different workstations

Definitions

  • the present invention relates to a method, apparatus, and system for detecting an abnormality in a logistics robot, and more particularly, a method and apparatus for detecting anomaly in a logistics robot capable of effectively detecting abnormalities in a logistics robot used for transporting goods in a logistics automation system. and systems.
  • wafers are transported using an overhead hoist transport (OHT), etc. in a semiconductor factory, etc., or an automated guided vehicle (AGV) or autonomous mobile robot (Autonomous Guided Vehicle) in a warehouse or factory
  • OHT overhead hoist transport
  • AGV automated guided vehicle
  • autonomous mobile robot Autonomous Guided Vehicle
  • FIG. 1 illustrates the OHT 10 widely used in semiconductor processes and the like.
  • a Front Opening Unified Pod (FOUP), etc., on which wafers for semiconductor manufacturing are loaded, is transported using hundreds to thousands of OHTs 10 driven on lines extending several tens of kilometers.
  • FOUP Front Opening Unified Pod
  • the management cost can be minimized, but there is a problem in that the cost greatly increases when an error occurs, and the preventive maintenance method, on the contrary, costs when an error occurs Although it can be minimized, since the management cost greatly increases, it is difficult to efficiently manage while optimizing the overall maintenance cost.
  • the state of equipment such as the OHT 10 may vary greatly depending on the driving history and environment, the state of the equipment is digitized before an error occurs and an alarm message is provided, and each It is desirable to perform maintenance on the equipment, but a specific plan for this has not yet been proposed.
  • the present invention was invented to solve the problems of the prior art as described above, and can perform maintenance for each logistics robot by digitizing the status of logistics robots such as OHT in a logistics automation system, and further based on this, the entire logistics robot
  • An object of the present invention is to provide a method, device, and system for detecting abnormalities in a logistics robot that enable efficient management while optimizing maintenance costs for the robot.
  • a logistics robot state detection method for solving the above problems is a method for detecting states of one or more logistics robots driven in a logistics automation system, wherein the logistics robot state detection system includes each logistics robot. Collecting one or more sensing data for; Calculating a reconstruction loss corresponding to each of the logistics robots by inputting the one or more sensing data into a pre-learned autoencoder neural network; and determining a state of each logistics robot using an anomaly score calculated based on the reconstruction loss.
  • the auto-encoder neural network may be a neural network pre-learned using normal data for a logistics robot.
  • the autoencoder neural network may be a convolutional autoencoder neural network learned by applying a time window to normal data.
  • the sensing data may include at least one of sensing data of an acceleration sensor provided in the logistics robot and sensing data about speed and torque of a driving device for driving the logistics robot.
  • the state of the logistics robot may be determined based on a ratio of an abnormal score in the logistics robot and an abnormal score in the normal logistics robot.
  • the logistics robot is an overhead hoist transport (OHT), and in the calculating step, the sensing data of the acceleration sensor provided in the OHT and the speed and torque of the motor for driving the OHT in the autoencoder neural network A restoration loss for the OHT may be calculated by receiving all sensing data for .
  • OHT overhead hoist transport
  • the cause of the abnormal state of the logistics robot may be estimated by comparing abnormal scores based on each of the sensing data.
  • the computer program according to another aspect of the present invention is characterized in that it is a computer program stored in a computer readable medium for executing each step described above in a computer.
  • the logistics robot state detection system in the system for detecting the state of one or more logistics robots driven in the logistics automation system, sensing data for collecting one or more sensing data for each logistics robot collection department; a reconstruction loss calculation unit inputting the one or more sensing data into a pre-learned autoencoder neural network to calculate a reconstruction loss corresponding to each of the logistics robots; and a logistics robot state determination unit configured to determine a state of each logistics robot using an anomaly score calculated based on the reconstruction loss.
  • the auto-encoder neural network may be a neural network pre-learned using normal data for a logistics robot.
  • the autoencoder neural network may be a convolutional autoencoder neural network learned by applying a time window to normal data.
  • the sensing data may include at least one of sensing data of an acceleration sensor provided in the logistics robot and sensing data about speed and torque of a driving device for driving the logistics robot.
  • the distribution robot state determining unit may determine the state of the distribution robot based on a ratio of an abnormal score in the distribution robot and an abnormal score in the normal distribution robot.
  • the logistics robot is an overhead hoist transport (OHT), and in the restoration loss calculation unit, the sensing data of the acceleration sensor provided in the OHT in the autoencoder neural network and the speed of a motor for driving the OHT and A restoration loss for the OHT may be calculated by receiving all torque sensing data.
  • OHT overhead hoist transport
  • the logistics robot state determination unit may estimate the cause of the abnormal state of the logistics robot by comparing abnormal scores based on each of the sensing data.
  • maintenance of each logistics robot can be performed by digitizing the state of the logistics robot, such as OHT, in the logistics automation system, and furthermore, it can be performed. Based on this, it is possible to efficiently manage while optimizing maintenance costs for the entire logistics robot.
  • FIG. 1 is a diagram illustrating a conventional overhead cart (OHT).
  • 2 to 3 are diagrams illustrating a typical logistics automation system.
  • FIG. 4 is a diagram illustrating a configuration diagram of a logistics automation system according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a flowchart of a logistics robot state detection method according to an embodiment of the present invention.
  • 6 to 10 are diagrams for explaining a logistics robot state detection method according to an embodiment of the present invention.
  • 11 to 24 are diagrams for explaining specific embodiments of a logistics robot state detection method according to an embodiment of the present invention.
  • 25 is a diagram illustrating a configuration diagram of a distribution robot state detection system according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components are not limited by the terms, and the terms are used for the purpose of distinguishing one component from another. used only as
  • FIG. 4 illustrates a configuration diagram of a logistics automation system 100 according to an embodiment of the present invention.
  • the logistics automation system 100 is composed of a plurality of OHT (10), such as logistics robots (110, 110a, ⁇ , 110n) and a server, such as the logistics It may include a logistics robot state detection system 120 for detecting an abnormal state for the robot 110 and a communication network 130 connecting the logistics robot 110 and the logistics robot state detection system 120. there is.
  • the logistics robot includes an overhead hoist transport (OHT) used in a semiconductor factory, etc., an automated guided vehicle (AGV) or an autonomous mobile robot that performs work while moving along a predetermined path in a logistics warehouse.
  • OHT overhead hoist transport
  • AMR automated guided vehicle
  • AMR autonomous mobile robot
  • OHT 10 is mainly described below, this is only one example and the present invention is not limited thereto, and the present invention may also be applied to various devices depending on the applied application.
  • the logistics robot state detection system 120 may be configured using one or more servers, but the present invention is not necessarily limited thereto, and the logistics robot state detection system 120 may be separately installed depending on the operating environment. It is also possible to be configured integrally by being combined with one or two or more logistics robots 110 without being implemented as a device of.
  • the communication network 130 connecting the logistics robot 110 and the logistics robot state detection system 120 may include a wired network and a wireless network, and specifically, a local area network (LAN) , may include various communication networks such as a Metropolitan Area Network (MAN) and a Wide Area Network (WAN).
  • LAN local area network
  • MAN Metropolitan Area Network
  • WAN Wide Area Network
  • the communication network 130 may include the well-known World Wide Web (WWW).
  • WWW World Wide Web
  • the communication network 130 according to the present invention is not limited to the networks listed above, and may include a known wireless data network or a known wired/wireless network.
  • FIG. 5 a flow chart for a logistics robot state detection method according to an embodiment of the present invention is illustrated.
  • the logistics robot state detection method is a method for detecting the state of one or more logistics robots 110 driven in the logistics automation system 100,
  • the logistics robot state detection system 120 collects one or more sensing data for each logistics robot 110 (S110), and inputs the one or more sensing data into a pre-learned autoencoder neural network to input each of the sensing data.
  • the auto-encoder neural network may be a neural network pre-learned using normal data for the logistics robot 110.
  • the autoencoder neural network may be a convolutional autoencoder neural network learned by applying a time window to normal data.
  • the sensing data may include one or more of sensing data of an acceleration sensor provided in the logistics robot 110 and sensing data about speed and torque of a driving device for driving the logistics robot 110.
  • the state of the distribution robot 110 may be determined based on the ratio of the abnormal score in the distribution robot 110 and the abnormal score in the normal distribution robot.
  • the logistics robot 110 is an overhead hoist transport (OHT) 10, and in the calculating step (S120), the sensing data of the acceleration sensor provided in the OHT 10 in the autoencoder neural network
  • a restoration loss for the OHT 10 may be calculated by receiving both the sensing data for the speed and torque of the motor for driving the OHT 10 .
  • the OHT 10 is equipped with an IoT board, etc. to obtain the sensing data of the acceleration sensor and the Sensing data for the speed and torque of the motor for driving the OHT 10 can be generated and used to determine the state of the OHT 10 .
  • the cause of the abnormal state of the logistics robot 110 may be estimated by comparing abnormal scores based on each of the sensing data.
  • the logistics automation system 100 digitizes the state of the logistics robot 110 such as the OHT 10, It is possible to perform maintenance on, and furthermore, based on this, it is possible to efficiently manage the maintenance cost for the entire logistics robot 110 while optimizing it.
  • the logistics robot state detection method, apparatus, and system it is possible to more clearly determine whether or not the logistics robot 110 such as the OHT 10 is in an abnormal state, and furthermore, the logistics robot 110 The cause of the abnormal condition can also be estimated.
  • FIG. 6 the state of the logistics robot 110 in the logistics robot state detection method, apparatus, and system according to an embodiment of the present invention is classified and illustrated.
  • the logistics robot 110 can be classified into a normal state and a failure state, and at this time, the error state can be further classified into a minor error state and a hazardous error state. there is.
  • normal data when the logistics robot 110 is in a normal state, normal data is generated.
  • the normal data may be located densely in the center, but the normal data also works. Since it has various aspects according to events, etc., it may not have a unimodal form.
  • errors of the logistics robot 110 may also appear in various types and degrees, and more specifically, when the logistics robot 110 is in a normal state, even if there is a slight degradation, there is no problem in operation. Minor error data is generated in a minor error state, and dangerous error data is generated in a dangerous error state in which a serious defect exists in the logistics robot 110 and may cause an accident or damage if it continues to operate.
  • errors set as error alarms by the manufacturer of the logistics robot 110 may be displayed as predefined errors, and at this time, error data corresponding to the predefined errors corresponds to only a very small part of the entire error data. Some of them correspond to minor errors and some of them may correspond to critical errors, but it can be seen that it is difficult to indicate or respond to various errors of the logistics robot 110 only with the default errors.
  • an anomaly score for the state of the logistics robot 110 using sensing data measured by the logistics robot 110 score
  • the sensing data measured by the logistics robot 110 is used to detect the By calculating an anomaly score for the state of the logistics robot 110 and determining the state of the logistics robot 110 based on this, more efficiently and accurately selecting the logistics robot 110 in a bad state maintenance work can be performed.
  • each logistics robot 110 in a normal state is used by using an autoencoder neural network pre-learned using normal data.
  • An anomaly score for the robot 110 may be calculated.
  • whether the normal data that can be used for learning of the autoencoder neural network is the data of the logistics robot 110 that meets the maintenance inspection criteria according to the manual provided by the manufacturer of the logistics robot 110. It is possible to consider whether or not an error has occurred in the logistics robot 110 during the data collection process, and furthermore, even if the same logistics robot 110 is used, the operation parameter setting value may vary depending on the environment in which it is used. And, since aging or defects may occur due to unreasonable operation when set to an inappropriate value, it may also be considered whether an appropriate parameter value is set when the logistics robot 110 is driven.
  • an error state not used in the learning step of the autoencoder neural network (eg, For example, “Target failure” in FIG. 8) can also be detected.
  • the sensing data of the logistics robot 110 is pre-learned by an autoencoder It is input to the neural network, and a reconstruction loss may be calculated by comparing it with an output value of the autoencoder neural network.
  • the autoencoder neural network may be a convolutional autoencoder neural network learned by applying a time window to normal data.
  • the reconstruction loss of the autoencoder neural network is, as can be seen in FIG. 10, the distribution robot 110 It can be used as an anomaly score for sensing data.
  • the present invention is not necessarily limited thereto, and it is also possible to calculate an anomaly score for the sensing data of the logistics robot 110 by performing a predetermined operation on the reconstruction loss.
  • the input values input to the autoencoder neural network include the sensing data of the acceleration sensor provided in the logistics robot 110 and the sensing data of the speed and torque of the driving device for driving the logistics robot 110. One or more of them may be included.
  • the logistics robot 110 may be an OHT 10, and in this case, in the autoencoder neural network, the OHT ( 10) by calculating the restoration loss for the OHT (10) considering both the sensing data of the acceleration sensor provided in the OHT (10) and the sensing data of the speed and torque of the motor for driving the OHT (10) as input values , it is possible to detect whether or not there is an error and the status of the OHT 10 with higher accuracy.
  • x-direction acceleration, y-direction acceleration, z-direction acceleration measured by the acceleration sensor of the OHT 10 and AD (Analog-Digital) measured by the sensor Speed and torque of front wheel motor, speed and torque of rear wheel motor, speed and torque of hoist motor, speed and torque of slide motor, yaw and pitch measured by gyroscope , Roll may be included, and at this time, the pitch and roll may be excluded because there is little change according to the characteristics of the OHT 10 being fixed to the track and driving.
  • AUROC Absolute Under Receiver Operating Characteristic Curve
  • the AUROC is a trade-off relationship between a true positive rate (TPR) and a false positive rate (FPR) according to a threshold in a classification test.
  • TPR true positive rate
  • FPR false positive rate
  • FIG. 12 illustrates various error states of the logistics robot 110 .
  • Abnormal Speed Driving is a condition that can commonly occur in real sites, and more specifically, the OHT (10) scans the barcode attached to the track to recognize the location and adjusts to the target speed value set for each location. will drive However, the OHT 10 may occasionally fail to scan the barcode, and in this case, the OHT 10 may exceed the speed limit and travel at an abnormal speed.
  • the target speed value set for collecting error data for the Abnormal Speed Driving state is corrected, and values related to speed and acceleration among the parameters for the OHT (10) are set to maximum values to achieve abnormal speed. It was confirmed that it was running at high speed.
  • abnormal speed driving was induced by changing the speed/acceleration/deceleration parameters of the OHT 10 as well as changing the maximum speed in a segment of the track.
  • the OHT (10) does not always drive at the set maximum speed and acceleration, but the OHT (10) adjusts the speed and acceleration in consideration of the length of the segment. Since there may be restrictions that are difficult to clearly identify whether or not they appear, it is possible to distinguish between normal speed driving data and abnormal speed driving data by comparing the maximum reconstruction loss value within a certain time period.
  • FIG. 14 illustrates an abnormal score for a normal speed driving state (FIG. 14(a)) and an abnormal score for an abnormal speed driving state (FIG. 14(b)).
  • FIG. 14(a) illustrates an abnormal score for a normal speed driving state
  • FIG. 14(b) illustrates an abnormal score for an abnormal speed driving state
  • FIG. 15 illustrates a comparison of speed data (FIG. 15(a)) and abnormal score (FIG. 15(b)) for a normal speed driving state and an abnormal speed driving state.
  • the anomaly score of the abnormal speed driving state is the abnormal score of the normal speed driving state. It can be seen that it has a value more than 100 times greater than the score, and thus it is possible to easily discriminate between a normal speed driving state and an abnormal speed driving state.
  • the hoist servo motor overload error can also be said to be an error that often occurs in the actual field, and in the present invention, the error data for the hoist servo motor overload error state Since the conditions of torque, speed, and duration of the motor must be satisfied for collection, the hoist servo motor overload error state was implemented by making the FOUP heavier than normal and setting the speed of the hoist low.
  • the reconstruction loss of the current OHT 10 and the restoration loss of normal data can be displayed for comparison, and a histogram and each sensed data value can be displayed to confirm the level of reconstruction loss of the current OHT 10 .
  • FIG. 17 shows a comparison of anomaly scores for a normal operating state and a hoist servo motor overload error state in the same OHT 10 .
  • the anomaly score in the normal operating state remains low, while the anomaly score in the hoist servo motor overload error state is FOUP As soon as it is lifted, it rapidly increases, and the point at which the anomaly score rapidly increases is about 7.53 seconds on average faster than the point at which an error alarm for OHT (10) actually occurs. (Hoist servo motor overload error) status could be detected.
  • the minor anomaly state means an ambiguous error state that does not greatly deviate from the normal state.
  • an error state of a track for which the degree of error can be easily adjusted is taken as an example.
  • errors in the track include track isolation, distortion, obstacles, and the like.
  • This track error is also one of the errors that frequently occur in the actual field, and since the normal OHT 10 is not equipped with a vibration sensor, the operator checks the track error by visually inspecting it or using inspection equipment, but the semiconductor Since the length of a track used in a process or the like can reach several tens of kilometers, the task of inspecting the track error can take a lot of time and manpower.
  • the reconstruction loss of the current OHT 10 and the restoration loss of normal data ( reconstruction loss can be compared, and a histogram and each sensed data value can be displayed so that the level of reconstruction loss of the current OHT 10 can be confirmed.
  • the ratio of the anomaly score in the logistics robot 110 and the anomaly score in the normal logistics robot By determining the state of the logistics robot based on , it is possible to more accurately determine the state of the logistics robot 110 .
  • the anomaly score in the logistics robot 110 and the normal logistics robot as shown in [Equation 1] below
  • the ratio of anomaly scores of can be calculated as an anomaly scale.
  • the anomaly scale is calculated from the ratio of the anomaly score in the distribution robot 110 and the anomaly score in the normal distribution robot, the anomaly score An anomaly scale must be calculated while accurately matching the anomaly score in the normal distribution robot with the anomaly score, and when inaccurate matching occurs, a number of erroneous recognition results may result.
  • the autoencoder algorithm used in the present invention is based on an unsupervised learning technique, so it can inform the degree of deviation from normal data, but it is difficult to determine what cause it is due to.
  • the cause of the abnormal state of the logistics robot 110 can be estimated.
  • Vibration-related data is classified as the first type
  • rotation-related data such as yaw
  • the speed and torque of the front wheel motors and the speed and torque of the rear wheel motors are classified as driving.
  • the driving motor related data is classified as the 3rd type
  • the hoist related data such as the speed and torque of the hoist motor is classified as the 4th type
  • the slide related data such as the speed and torque of the slide motor is classified as the third type.
  • Data can be classified into a fifth type, and an anomaly score for each type can be calculated and compared.
  • the computer program according to another aspect of the present invention is characterized in that it is a computer program stored in a computer readable medium in order to execute each step of the method for detecting the condition of the logistics robot above on a computer.
  • the computer program may be a computer program including machine code generated by a compiler, as well as a computer program including high-level language code that can be executed on a computer using an interpreter or the like.
  • the computer is not limited to a personal computer (PC) or a notebook computer, etc., and has a central processing unit (CPU) such as a server, smart phone, tablet PC, PDA, mobile phone, etc. to execute a computer program. All information processing include the device
  • the computer-readable medium may continuously store a computer-executable program or temporarily store it for execution or download.
  • the medium may be various recording means or storage means in the form of a single or combined hardware, but is not limited to a medium directly connected to a certain computer system, and may be distributed on a network. Examples of the medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROM and DVD, magneto-optical media such as floptical disks, and ROM, RAM, flash memory, etc. configured to store program instructions.
  • examples of other media include recording media or storage media managed by an app store that distributes applications, a site that supplies or distributes various other software, and a server.
  • 25 illustrates a configuration diagram of a logistics robot state detection system 120 according to an embodiment of the present invention.
  • the logistics robot state detection system 120 includes a sensing data collection unit 121, a restoration loss calculation unit 122, and a logistics robot state determination unit 123. can be configured to include
  • the logistics robot state detection system 120 according to an embodiment of the present invention will be divided into parts for each component. More details about the logistics robot state detection system 120 according to an embodiment of the present invention can be inferred from the description of the logistics robot state detection method according to an embodiment of the present invention described above. A more detailed explanation is omitted.
  • the sensing data collection unit 121 collects one or more sensing data for each logistics robot 110 .
  • the restoration loss calculator 122 inputs the one or more sensing data to a pre-learned autoencoder neural network to calculate a reconstruction loss corresponding to each logistics robot 110.
  • the distribution robot state determination unit 123 determines the state of each distribution robot 110 using an anomaly score calculated based on the reconstruction loss.
  • the auto-encoder neural network may be a neural network pre-learned using normal data for the logistics robot 110.
  • the autoencoder neural network may be a convolutional autoencoder neural network learned by applying a time window to normal data.
  • the sensing data may include one or more of sensing data of an acceleration sensor provided in the logistics robot 110 and sensing data about speed and torque of a driving device for driving the logistics robot 110.
  • the distribution robot state determination unit 123 may determine the state of the distribution robot 110 based on the ratio of the abnormal score of the distribution robot 110 and the abnormal score of the normal distribution robot. .
  • the logistics robot 110 is the OHT 10, and in the restoration loss calculation unit 122, the sensing data of the acceleration sensor provided in the OHT 10 in the autoencoder neural network and the OHT (The restoration loss for the OHT 10 may be calculated by receiving all of the sensing data for the speed and torque of the motor for driving 10).
  • the logistics robot state determining unit 123 may compare abnormal scores based on each of the sensing data to estimate the cause of the abnormal state of the logistics robot 110 .
  • the logistics automation system 100 digitizes the state of the logistics robot 110 such as the OHT 10, It is possible to perform maintenance on, and furthermore, based on this, it is possible to efficiently manage the maintenance cost for the entire logistics robot 110 while optimizing it.
  • the logistics robot state detection method, apparatus, and system it is possible to more clearly determine whether or not the logistics robot 110 such as the OHT 10 is in an abnormal state, and furthermore, the logistics robot 110 The cause of the abnormal condition can also be estimated.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • Software Systems (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 물류 로봇 이상 감지 방법, 장치 및 시스템에 관한 것으로, 보다 구체적으로는 물류 자동화 시스템에서 물품 등의 이송에 사용되는 물류 로봇에서의 이상 여부를 효과적으로 감지할 수 있는 물류 로봇 이상 감지 방법, 장치 및 시스템에 관한 것이다. 본 발명에서는, 물류 자동화 시스템에서 구동되는 하나 이상의 물류 로봇에 대한 상태를 감지하는 방법에 있어서, 물류 로봇 상태 감지 시스템이, 각 물류 로봇에 대하여 하나 이상의 센싱 데이터를 수집하는 단계; 상기 하나 이상의 센싱 데이터를 미리 학습된 오토 인코더(autoencoder) 신경망으로 입력하여 상기 각 물류 로봇에 대응하는 복원 손실(reconstruction loss)을 산출하는 단계; 및 상기 복원 손실(reconstruction loss)을 기초로 산출되는 이상 스코어(anomaly score)를 이용하여 각 물류 로봇에 대한 상태를 판별하는 단계;를 포함하는 것을 특징으로 하는 물류 로봇 상태 감지 방법을 개시한다.

Description

물류 로봇 이상 감지 방법, 장치 및 시스템
본 발명은 물류 로봇 이상 감지 방법, 장치 및 시스템에 관한 것으로, 보다 구체적으로는 물류 자동화 시스템에서 물품 등의 이송에 사용되는 물류 로봇에서의 이상 여부를 효과적으로 감지할 수 있는 물류 로봇 이상 감지 방법, 장치 및 시스템에 관한 것이다.
최근 공장 자동화의 확산, 전자 상거래의 성장 등으로 작업자의 개입을 최소화하면서 효율적으로 물품 등의 수송을 처리하는 물류 자동화 시스템이 폭넓게 활용되고 있다.
보다 구체적인 예를 들어, 반도체 공장 등에서 천장 대차 장치(Overhead Hoist Transport, OHT) 등을 이용하여 웨이퍼 등을 운반하거나, 물류 창고나 공장 등에서 무인운반차량(Automated Guided Vehicle, AGV) 또는 자율 이동 로봇(Autonomous Mobile Robot) 등을 이용하여 제품이나 부품 등의 운반하여, 물류를 자동화하고 작업 효율을 개선하여 비용을 절감하려는 시도가 다양하게 이루어지고 있다.
이와 관련하여, 도 1에서는 반도체 공정 등에서 폭넓게 사용되고 있는 OHT(10)를 예시하고 있다.
보다 구체적인 예를 들어, 대규모 반도체 공정에서는 수십 km에 달하는 선로에서 구동되는 수백 내지 수천대의 OHT(10)를 이용하여 반도체 제작용 웨이퍼가 적재되는 FOUP(Front Opening Unified Pod) 등을 이송하게 된다.
그런데, 상기 OHT(10)는 정해진 선로를 따라 일방향으로 이동하게 되므로, 도 2에서 볼 수 있는 바와 같이, 소수의 OHT(10)에 이상(anomaly)이 발생하더라도 전체 자동 자재 처리 시스템(AMHS, Automated Material Handling System)의 효율을 크게 저해하는 문제가 발생할 수 있다.
이에 따라, 종래에는 상기 OHT(10) 등의 장비에 대한 유지 보수를 위하여 실제 오류 발생시 대응하는 오류-대응(Run-to-failure) 방식(도 3의 (A))과 장비의 운용에 따른 마일리지를 기반으로 관리하는 예방 보전(preventive maintenance) 방식(도 3의 (B)) 등이 사용되었다.
그런데, 상기 오류-대응(Run-to-failure) 방식의 경우 관리 비용은 최소화할 수 있으나, 오류 발생시 비용은 크게 증가하는 문제가 있었고, 또한 상기 예방 보전(preventive maintenance) 방식은 반대로 오류 발생시 비용은 최소화할 수 있으나 관리 비용이 크게 증가하게 되므로, 전체 유지 보수 비용을 최적화하면서 효율적으로 관리하기에는 어려움이 따랐다.
나아가, 상기 OHT(10) 등의 장비들은 구동 이력 및 환경 등에 따라 장비 상태가 크게 달라질 수 있으므로, 상기 장비에 오류가 발생하여 알람 메시지가 제공되기 이전에 상기 장비의 상태를 수치화하고 이를 이용하여 각 장비에 대한 유지 보수를 수행하는 것이 바람직하겠으나, 아직 이를 위한 구체적인 방안이 제시되지 못하고 있다.
본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위해 창안된 것으로, 물류 자동화 시스템에서 OHT 등 물류 로봇의 상태를 수치화하여 각 물류 로봇에 대한 유지 보수를 수행할 수 있으며, 나아가 이를 기반으로 전체 물류 로봇에 대한 유지 보수 비용을 최적화하면서 효율적으로 관리할 수 있도록 하는 물류 로봇 이상 감지 방법, 장치 및 시스템을 제공하는 것을 목적으로 한다.
또한, 본 발명에서는 OHT 등 물류 로봇의 이상 상태 여부를 보다 명확히 판별할 수 있으며, 나아가 물류 로봇의 이상 상태에 대한 원인도 추정하는 것이 가능한 물류 로봇 이상 감지 방법, 장치 및 시스템을 제공하는 것을 목적으로 한다.
그 외 본 발명의 세부적인 목적은 아래에 기재되는 구체적인 내용을 통하여 이 기술 분야의 전문가나 연구자에게 자명하게 파악되고 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 한 측면에 따른 물류 로봇 상태 감지 방법은, 물류 자동화 시스템에서 구동되는 하나 이상의 물류 로봇에 대한 상태를 감지하는 방법에 있어서, 물류 로봇 상태 감지 시스템이, 각 물류 로봇에 대하여 하나 이상의 센싱 데이터를 수집하는 단계; 상기 하나 이상의 센싱 데이터를 미리 학습된 오토 인코더(autoencoder) 신경망으로 입력하여 상기 각 물류 로봇에 대응하는 복원 손실(reconstruction loss)을 산출하는 단계; 및 상기 복원 손실(reconstruction loss)을 기초로 산출되는 이상 스코어(anomaly score)를 이용하여 각 물류 로봇에 대한 상태를 판별하는 단계;를 포함하는 것을 특징으로 한다.
여기서, 상기 오토 인코더 신경망은 물류 로봇에 대한 정상 데이터를 이용하여 미리 학습된 신경망일 수 있다.
이때, 상기 오토 인코더 신경망은 정상 데이터에 시간 윈도우를 적용하여 학습된 콘볼루션 오토 인코더(convolutional autoencoder) 신경망일 수 있다.
또한, 상기 센싱 데이터에는, 상기 물류 로봇에 구비되는 가속도 센서의 센싱 데이터와 상기 물류 로봇의 구동을 위한 구동 장치의 속도 및 토크에 대한 센싱 데이터 중 하나 이상이 포함될 수 있다.
또한, 상기 판별하는 단계에서는, 상기 물류 로봇에서의 이상 스코어와 정상 물류 로봇에서의 이상 스코어의 비율을 기초로 상기 물류 로봇에 대한 상태를 판별할 수 있다.
또한, 상기 물류 로봇은 OHT(Overhead Hoist Transport)이고, 상기 산출하는 단계에서는, 상기 오토 인코더(autoencoder) 신경망에서 상기 OHT에 구비되는 가속도 센서의 센싱 데이터와 상기 OHT의 구동을 위한 모터의 속도 및 토크에 대한 센싱 데이터를 모두 입력받아 상기 OHT에 대한 복원 손실을 산출할 수 있다.
이때, 상기 판별하는 단계에서는, 상기 각 센싱 데이터에 의한 이상 스코어를 비교하여 상기 물류 로봇의 이상 상태에 대한 원인을 추정할 수 있다.
또한, 본 발명의 다른 측면에 따른 컴퓨터 프로그램은, 컴퓨터에서 상기 기재된 각 단계를 실행시키기 위한 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램인 것을 특징으로 한다.
또한, 본 발명의 다른 측면에 따른 물류 로봇 상태 감지 시스템은, 물류 자동화 시스템에서 구동되는 하나 이상의 물류 로봇에 대한 상태를 감지하는 시스템에 있어서, 각 물류 로봇에 대하여 하나 이상의 센싱 데이터를 수집하는 센싱 데이터 수집부; 상기 하나 이상의 센싱 데이터를 미리 학습된 오토 인코더(autoencoder) 신경망으로 입력하여 상기 각 물류 로봇에 대응하는 복원 손실(reconstruction loss)을 산출하는 복원 손실 산출부; 및 상기 복원 손실(reconstruction loss)을 기초로 산출되는 이상 스코어(anomaly score)를 이용하여 각 물류 로봇에 대한 상태를 판별하는 물류 로봇 상태 판별부;를 포함하는 것을 특징으로 한다.
여기서, 상기 오토 인코더 신경망은 물류 로봇에 대한 정상 데이터를 이용하여 미리 학습된 신경망일 수 있다.
이때, 상기 오토 인코더 신경망은 정상 데이터에 시간 윈도우를 적용하여 학습된 콘볼루션 오토 인코더(convolutional autoencoder) 신경망일 수 있다.
또한, 상기 센싱 데이터에는, 상기 물류 로봇에 구비되는 가속도 센서의 센싱 데이터와 상기 물류 로봇의 구동을 위한 구동 장치의 속도 및 토크에 대한 센싱 데이터 중 하나 이상이 포함될 수 있다.
또한, 상기 물류 로봇 상태 판별부에서는, 상기 물류 로봇에서의 이상 스코어와 정상 물류 로봇에서의 이상 스코어의 비율을 기초로 상기 물류 로봇에 대한 상태를 판별할 수 있다.
또한, 상기 물류 로봇은 OHT(Overhead Hoist Transport)이고, 상기 복원 손실 산출부에서는, 상기 오토 인코더(autoencoder) 신경망에서 상기 OHT에 구비되는 가속도 센서의 센싱 데이터와 상기 OHT의 구동을 위한 모터의 속도 및 토크에 대한 센싱 데이터를 모두 입력받아 상기 OHT에 대한 복원 손실을 산출할 수 있다.
이때, 상기 물류 로봇 상태 판별부에서는, 상기 각 센싱 데이터에 의한 이상 스코어를 비교하여 상기 물류 로봇의 이상 상태에 대한 원인을 추정할 수 있다.
이에 따라, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 물류 자동화 시스템에서 OHT 등 물류 로봇의 상태를 수치화하여 각 물류 로봇에 대한 유지 보수를 수행할 수 있으며, 나아가 이를 기반으로 전체 물류 로봇에 대한 유지 보수 비용을 최적화하면서 효율적으로 관리할 수 있게 된다.
또한, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, OHT 등 물류 로봇의 이상 상태 여부를 보다 명확히 판별할 수 있으며, 나아가 물류 로봇의 이상 상태에 대한 원인도 추정할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과는 본 명세서에 기재된 내용으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 통상의 천장 대차 장치(OHT)를 예시하는 도면이다.
도2 내지 도 3는 통상의 물류 자동화 시스템을 예시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 물류 자동화 시스템의 구성도를 예시하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법의 순서도를 예시하는 도면이다.
도 6내지 도 10은 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법을 설명하는 도면이다.
도 11 내지 도 24는 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법의 구체적인 실시예를 설명하는 도면이다.
도 25는 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 시스템의 구성도를 예시하는 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.
이하의 실시예는 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 본 발명의 일 실시예에 따른 물류 로봇 이상 감지 방법, 장치 및 시스템에 대한 예시적인 실시 형태들을 첨부된 도면을 참조하여 차례로 설명한다.
먼저, 도 4에서는 본 발명의 일 실시예에 따른 물류 자동화 시스템(100)의 구성도를 예시하고 있다.
도 4에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 물류 자동화 시스템(100)은 복수의 OHT(10) 등 물류 로봇(110, 110a, 쪋, 110n)과 서버 등으로 구성되어 상기 물류 로봇(110)에 대한 이상 상태를 감지하는 물류 로봇 상태 감지 시스템(120) 및 상기 물류 로봇(110)과 상기 물류 로봇 상태 감지 시스템(120)을 연결하는 통신 네트워크(130)를 포함하여 구성될 수 있다.
이때, 상기 물류 로봇에는 반도체 공장 등에서 사용되는 천장 대차 장치(Overhead Hoist Transport, OHT), 물류 창고 등에서 미리 지정된 경로를 따라 이동하면서 작업을 수행하는 무인운반차량(Automated Guided Vehicle, AGV)이나 자율 이동 로봇(Autonomous Mobile Robot, AMR) 등이 포함될 수 있으나, 본 발명이 이에 한정되지는 않으며 이외에도 물류 작업을 수행하기 위하여 이동하면서 물류 이송을 처리하는 다양한 장치들이 포함될 수 있다.
나아가, 아래에서는 주로 OHT(10)를 들어 설명하고 있으나, 이는 하나의 예시일 뿐 본 발명이 이에 한정되지 않으며, 이외에도 적용되는 어플리케이션에 따라 다양한 장치들에 대해서도 본 발명이 적용될 수 있다.
또한, 상기 물류 로봇 상태 감지 시스템(120)은 하나 이상의 서버 등을 이용하여 구성될 수 있으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 작동 환경에 따라서는 상기 물류 로봇 상태 감지 시스템(120)이 별도의 장치로 구현되지 않고 하나 또는 둘 이상의 물류 로봇(110)과 결합되어 일체형으로 구성되는 것도 가능하다.
나아가, 상기 물류 로봇(110)과 상기 물류 로봇 상태 감지 시스템(120)을 연결하는 통신 네트워크(130)로서는 유선 네트워크와 무선 네트워크를 포함할 수 있으며, 구체적으로, 근거리 통신망 (LAN: Local Area Network), 도시권 통신망 (MAN: Metropolitan Area Network), 광역 통신망 (WAN: Wide Area Network) 등의 다양한 통신망을 포함할 수 있다. 또한, 상기 통신 네트워크(130)는 공지의 월드 와이드 웹(WWW: World Wide Web)을 포함할 수도 있다. 그러나, 본 발명에 따른 통신 네트워크(130)는 상기 열거된 네트워크에 국한되지 않고, 공지의 무선 데이터 네트워크나 공지의 유무선 네트워크를 포함할 수도 있다.
또한, 도 5에서는 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법에 대한 순서도가 예시되어 있다.
도 5에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법은, 물류 자동화 시스템(100)에서 구동되는 하나 이상의 물류 로봇(110)에 대한 상태를 감지하는 방법에 있어서, 물류 로봇 상태 감지 시스템(120)이, 각 물류 로봇(110)에 대하여 하나 이상의 센싱 데이터를 수집하는 단계(S110), 상기 하나 이상의 센싱 데이터를 미리 학습된 오토 인코더(autoencoder) 신경망으로 입력하여 상기 각 물류 로봇(110)에 대응하는 복원 손실(reconstruction loss)을 산출하는 단계(S120) 및 상기 복원 손실(reconstruction loss)을 기초로 산출되는 이상 스코어(anomaly score)를 이용하여 각 물류 로봇에 대한 상태를 판별하는 단계 (S130)를 포함하는 것을 특징으로 한다.
여기서, 상기 오토 인코더 신경망은 물류 로봇(110)에 대한 정상 데이터를 이용하여 미리 학습된 신경망일 수 있다.
이때, 상기 오토 인코더 신경망은 정상 데이터에 시간 윈도우를 적용하여 학습된 콘볼루션 오토 인코더(convolutional autoencoder) 신경망일 수 있다.
또한, 상기 센싱 데이터에는, 상기 물류 로봇(110)에 구비되는 가속도 센서의 센싱 데이터와 상기 물류 로봇(110)의 구동을 위한 구동 장치의 속도 및 토크에 대한 센싱 데이터 중 하나 이상이 포함될 수 있다.
또한, 상기 판별하는 단계(S130)에서는, 상기 물류 로봇(110)에서의 이상 스코어와 정상 물류 로봇에서의 이상 스코어의 비율을 기초로 상기 물류 로봇(110)에 대한 상태를 판별할 수 있다.
또한, 상기 물류 로봇(110)은 OHT(Overhead Hoist Transport)(10)이고, 상기 산출하는 단계(S120)에서는, 상기 오토 인코더(autoencoder) 신경망에서 상기 OHT(10)에 구비되는 가속도 센서의 센싱 데이터와 상기 OHT(10)의 구동을 위한 모터의 속도 및 토크에 대한 센싱 데이터를 모두 입력받아 상기 OHT(10)에 대한 복원 손실을 산출할 수 있다.
이때, 통상의 OHT(10)에는 고온, 고전압 등 특정한 오류 정도를 검출할 수 있는 기초적인 센서만 구비되므로, 본 발명에서는 상기 OHT(10)에 IoT 보드 등을 장착하여 가속도 센서의 센싱 데이터와 상기 OHT(10)의 구동을 위한 모터의 속도 및 토크에 대한 센싱 데이터를 생성하여 상기 OHT(10)의 상태를 판별하기 위하여 사용할 수 있다.
이때, 상기 판별하는 단계(130)에서는, 상기 각 센싱 데이터에 의한 이상 스코어를 비교하여 상기 물류 로봇(110)의 이상 상태에 대한 원인을 추정할 수 있다.
이에 따라, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 물류 자동화 시스템(100)에서 OHT(10) 등 물류 로봇(110)의 상태를 수치화하여 각 물류 로봇(110)에 대한 유지 보수를 수행할 수 있으며, 나아가 이를 기반으로 전체 물류 로봇(110)에 대한 유지 보수 비용을 최적화하면서 효율적으로 관리할 수 있게 된다.
또한, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, OHT(10) 등 물류 로봇(110)의 이상 상태 여부를 보다 명확히 판별할 수 있으며, 나아가 물류 로봇(110)의 이상 상태에 대한 원인도 추정할 수 있게 된다.
이하, 각 도면을 참조하면서 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템을 각 구성 요소 별로 나누어 보다 자세하게 살핀다.
먼저, 도 6에서는 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서의 물류 로봇(110)의 상태를 분류하여 도시하고 있다.
도 6에서 볼 수 있는 바와 같이. 상기 물류 로봇(110)의 상태에 따라 정상(normal) 상태와 오류(failure) 상태로 분류할 수 있으며, 이때 상기 오류 상태는 다시 마이너(minor) 오류 상태와 위험(Hazardous) 오류 상태로 분류할 수 있다.
보다 구체적으로, 도 6에서 볼 수 있는 바와 같이, 상기 물류 로봇(110)이 정상 상태인 경우 정상 데이터를 생성하게 되며, 이때 상기 정상 데이터는 중앙에 밀집하여 위치할 수 있으나, 상기 정상 데이터도 작업 이벤트 등에 따라 다양한 양상을 띄게 되므로 단일 모드(unimodal)의 형태를 가지지 않을 수 있다.
반면, 상기 물류 로봇(110)의 오류도 그 종류와 정도가 다양하게 나타날 수 있으며, 보다 구체적으로 상기 물류 로봇(110)이 정상 상태와 비교할 때 다소 상태 저하(degradation)가 있더라도 운용에는 문제가 없는 마이너 오류 상태에서는 마이너 오류 데이터를 생성하게 되고, 상기 물류 로봇(110)에 심각한 결함이 존재하여 계속 운용할 경우 사고 또는 파손 등을 초래할 수 있는 위험 오류 상태에서는 위험 오류 데이터를 생성하게 된다.
특히, 상기 물류 로봇(110)의 제조사 등에서 오류 알람으로 설정하는 오류들은 기정의 오류(predefined error)로 표시할 수 있으며, 이때 상기 기정의 오류에 해당하는 오류 데이터들은 전체 오류 데이터 중 매우 일부에만 대응하게 되고, 이중 일부는 마이너 오류에 해당하고 일부는 위험 오류에 해당할 수 있으나, 상기 기정의 오류 만으로는 물류 로봇(110)의 다양한 오류를 나타내거나 대응하기 어렵다는 것을 알 수 있다.
이에 대하여, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 상기 물류 로봇(110)에서 측정되는 센싱 데이터를 이용하여 상기 물류 로봇(110)의 상태에 대한 이상 스코어(anomaly score)를 산출하고, 이를 바탕으로 상기 물류 로봇(110)에 대한 상태를 판별하여 유지 보수 작업을 수행할 수 있게 된다.
이에 따라, 도 7의 (a)에서 볼 수 있는 바와 같이, 종래에는 상기 물류 로봇(110)의 실제 상태와 무관하게 미리 정해진 기간 등 유지 보수 기준을 일괄적으로 적용하게 되어 상태가 좋은 물류 로봇(110)에 대하여 불필요하게 유지 보수 작업을 수행하면서도 오히려 상태가 나쁜 물류 로봇(110)에 대해서는 유지 보수 작업을 적시에 수행하지 못하는 문제가 발생할 수 있었다.
이에 대하여, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 도 7의 (b)에서 볼 수 있는 바와 같이, 상기 물류 로봇(110)에서 측정되는 센싱 데이터를 이용하여 상기 물류 로봇(110)의 상태에 대한 이상 스코어(anomaly score)를 산출하고, 이를 바탕으로 상기 물류 로봇(110)에 대한 상태를 판별함으로써, 보다 효율적으로 상태가 나쁜 물류 로봇(110)을 정확하게 선별하여 유지 보수 작업을 수행할 수 있게 된다.
이때, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 정상 상태의 물류 로봇(110)에 대한 정상 데이터를 이용하여 미리 학습된 오토 인코더(autoencoder) 신경망을 이용하여 각 물류 로봇(110)에 대한 이상 스코어(anomaly score)를 산출할 수 있다.
여기서, 상기 오토 인코더(autoencoder) 신경망의 학습을 위하여 사용될 수 있는 정상 데이터는, 상기 물류 로봇(110)의 제조사 등에서 제공하는 대한 매뉴얼 등에 따르는 유지 보수 점검 기준에 부합하는 물류 로봇(110)의 데이터인지 여부, 상기 데이터의 수집 과정에서 물류 로봇(110)에 오류가 발생하지 않았는지 여부 등을 고려할 수 있으며, 나아가 동일할 물류 로봇(110)이라 할지라도 사용되는 환경에 따라 동작 파라미터 세팅 값이 달라질 수 있고, 부적절한 값으로 세팅된 경우 무리한 동작으로 인한 노후화 또는 불량이 발생할 수 있으므로, 상기 물류 로봇(110)의 구동 시에 적절한 파라미터 값이 세팅되었는지 여부도 고려할 수 있다.
이에 따라, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 도 8에서 볼 수 있는 바와 같이, 상기 오토 인코더(autoencoder) 신경망의 학습 단계에서 사용되지 않은 오류 상태(예를 들어, 도 8의 "Target failure")에 대해서도 감지할 수 있게 된다.
보다 구체적으로, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 도 9에서 볼 수 있는 바와 같이, 상기 물류 로봇(110)의 센싱 데이터를 미리 학습된 오토 인코더(autoencoder) 신경망에 입력하고, 이를 상기 오토 인코더(autoencoder) 신경망의 출력값과 비교하여 복원 손실(reconstruction loss)을 산출할 수 있다.
여기서, 상기 오토 인코더 신경망은 정상 데이터에 시간 윈도우(time window)를 적용하여 학습된 콘볼루션 오토 인코더(convolutional autoencoder) 신경망일 수 있다.
이때, 상기 오토 인코더(autoencoder) 신경망은 정상 데이터를 사용하여 학습되었으므로, 상기 오토 인코더(autoencoder) 신경망의 복원 손실(reconstruction loss)은, 도 10에서 볼 수 있는 바와 같이, 상기 물류 로봇(110)의 센싱 데이터에 대한 이상 스코어(anomaly score)로 사용될 수 있다. 그러나, 본 발명이 반드시 이에 한정되는 것은 아니며, 상기 복원 손실(reconstruction loss)에 소정의 연산을 수행하여 상기 물류 로봇(110)의 센싱 데이터에 대한 이상 스코어(anomaly score)를 산출하는 것도 가능하다.
이때, 상기 오토 인코더(autoencoder) 신경망에 입력되는 입력 값에는 상기 물류 로봇(110)에 구비되는 가속도 센서의 센싱 데이터와 상기 물류 로봇(110)의 구동을 위한 구동 장치의 속도 및 토크에 대한 센싱 데이터 중 하나 이상이 포함될 수 있다.
보다 구체적으로, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서, 상기 물류 로봇(110)은 OHT(10)일 수 있고, 이때 상기 오토 인코더(autoencoder) 신경망에서는 상기 OHT(10)에 구비되는 가속도 센서의 센싱 데이터와 상기 OHT(10)의 구동을 위한 모터의 속도 및 토크에 대한 센싱 데이터를 입력값으로 하여 이를 모두 고려하여 상기 OHT(10)에 대한 복원 손실을 산출함으로써, 보다 높은 정확도로 상기 OHT(10)에 대한 오류 여부 및 상태를 감지할 수 있게 된다.
보다 구체적인 예를 들어, 상기 OHT(10)에 대한 센싱 데이터로서, 상기 OHT(10)의 가속도 센서에서 측정되는 x 방향 가속도, y 방향 가속도, z 방향 가속도, AD(Analog-Digital) 센서에서 측정되는 전방 휠 모터의 속도 및 토크, 후방 휠 모터의 속도 및 토크, 호이스트(hoist) 모터의 속도 및 토크, 슬라이드(slide) 모터의 속도 및 토크, 자이로스코프에서 측정되는 요(Yaw), 피치(Pitch), 롤(Role)이 포함될 수 있으며, 이때 상기 피치(Pitch)와 롤(Role)은 OHT(10)가 트랙에 고정되어 주행하는 특성에 따라 변화가 거의 없으므로 제외할 수 있다.
또한, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 성능 평가 지표로서 AUROC(Area Under Receiver Operating Characteristic Curve)를 사용할 수 있다.
보다 구체적으로, 도 11에서 볼 수 있는 바와 같이, 상기 AUROC는 분류 테스트에서의 기준치(threshold)에 따른 TPR(True Positive Rate)와 FPR(False Positive Rate)의 트레이드-오프(trade-off) 관계를 그래프로 표현할 것으로, 두 데이터 군집을 얼마나 잘 식별할 수 있는지 보여주며, AUROC 값이 1에 가까울수록 우수한 분류기(classifier)라고 볼 수 있다.
이에 대하여, 도 12에서는 물류 로봇(110)의 다양한 오류 상태를 예시하고 있다.
보다 구체적으로, 도 12에서는 i) 비정상 속도 주행(Abnormal Speed Driving) 상태, ii) 호이스트 서보 모터 과적 에러(Hoist servo motor overload error) 상태 및 iii) 사소 오류(Subtle anomaly) 상태를 들고 있으며, 이하 각 오류 상태에 대하여 본 발명을 적용하는 경우에 대하여 자세하게 살핀다.
먼저, i) 비정상 속도 주행(Abnormal Speed Driving) 상태에 대하여 검토한다.
여기서, 비정상 속도 주행(Abnormal Speed Driving)은 실제 현장에서 흔하게 발생할 수 있는 상태이며, 보다 구체적으로 OHT(10)는 트랙에 부착된 바코드를 스캔하여 위치를 인식하고 각 위치마다 설정된 목표 속도 값에 맞추어 주행하게 된다. 그런데, 상기 OHT(10)는 종종 바코드 스캔에 실패할 수 있으며, 이러한 경우 OHT(10)는 제한 속도 값을 넘어 비정상 속도로 주행할 수 있다.
본 발명에서는 상기 비정상 속도 주행(Abnormal Speed Driving) 상태에 대한 오류 데이터 수집을 위하여 설정된 목표 속도 값을 수정하고, 상기 OHT(10)에 대한 파라미터 중 속도, 가속도와 관련된 값들을 최대치로 세팅하여 비정상 속도로 고속 주행함을 확인할 수 있었다.
이에 대하여, 정상 속도 주행 상태와 비정상 속도 주행 상태에 대하여 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템을 적용하는 경우, 도 13의 (a)에서 볼 수 있는 바와 같이, 두가지 상태에 대한 데이터 셋을 정확히 구분할 수 있는지를 보여주는 AUROC 값이 0.97로 산출되어, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서, 상기 비정상 속도 주행 상태를 정확하게 판별하고 있음을 알 수 있다.
또한, 도 13의 (b)에서 볼 수 있는 바와 같이, 상기 정상 속도 주행 상태에서의 복원 손실(reconstruction loss) 분포는 낮은 값에 밀집되어 있는 반면, 비정상 속도 주행 상태에서의 복원 손실(reconstruction loss) 분포는 넓은 값에 걸쳐 분포함을 확인할 수 있다.
이때, OHT(10)의 고속 주행의 경우, 트랙의 세그먼트(segment)에서 최대 속도를 변경시킬 뿐만 아니라, OHT(10)의 속도/가감속 파라미터를 변경시켜 비정상 속도 주행을 유발하였는데, 이에 대하여 각 OHT(10)에서는 항상 세팅된 최대 속도와 가속도로 주행하는 것이 아니라 OHT(10)가 세그먼트(segment)의 길이를 고려하여 속도, 가속도를 조절하여 주행하게 되므로, 실제로 어느 시점에 정상 데이터와 차이가 나타나는지 명확히 파악하기 어려운 제약이 따를 수 있으므로, 이에 대하여 일정 시간 구간 내에서 최대 복원 손실(reconstruction loss) 값을 비교하여 정상 속도 주행 데이터와 비정상 속도 주행 데이터를 구분할 수 있었다.
이와 관련하여, 도 14에서는 정상 속도 주행 상태에 대한 이상 스코어(도 14의 (a))와 비정상 속도 주행 상태에 대한 이상 스코어(도 14의 (b))를 예시하고 있다. 도 14의 (b)에서 볼 수 있는 바와 같이, 비정상 속도 주행 상태에서는 특히 속도 관련 데이터의 복원 결과가 매우 부정확하게 이루어짐을 확인할 수 있다.
또한, 도 15에서는 정상 속도 주행 상태 및 비정상 속도 주행 상태에 대한 속도 데이터의 비교(도 15의 (a))와 이상 스코어의 비교(도 15의 (b))를 예시하고 있다.
도 15의 (a)에서 볼 수 있는 바와 같이, 정상 속도 주행 상태에서는 빠르게 제한 속도까지 가속한 후 등속으로 주행하며 여러 단계를 거쳐 감속하며, 반면 비정상 속도 주행 상태에서는 급격한 가속 및 감속이 나타가게 된다.
특히, 도 15의 (b)에서 볼 수 있는 바와 같이, 정상 속도 주행 상태 및 비정상 속도 주행 상태에 대한 이상 스코어(anomaly score)를 비교해 보면, 비정상 속도 주행 상태의 이상 스코어가 정상 속도 주행 상태의 이상 스코어보다 100배 이상 큰 값을 가지게 되어, 정상 속도 주행 상태 및 비정상 속도 주행 상태를 용이하게 판별할 수 있음을 알 수 있다.
이어서, ii) 호이스트 서보 모터 과적 에러(Hoist servo motor overload error) 상태에 대하여 검토한다.
여기서, 상기 호이스트 서보 모터 과적 에러(Hoist servo motor overload error)도 실제 현장에서 종종 발생할 수 있는 오류라고 할 수 있으며, 본 발명에서는 상기 호이스트 서보 모터 과적 에러(Hoist servo motor overload error) 상태에 대한 오류 데이터 수집을 위하여 모터의 토크, 스피드, 지속 시간의 조건을 충족시켜야 하므로 FOUP을 정상보다 무겁게 하고 호이스트의 속력을 낮게 설정하여, 상기 호이스트 서보 모터 과적 에러(Hoist servo motor overload error) 상태를 구현하였다.
이에 대하여, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 도 16에서 볼 수 있는 바와 같이, 현재 OHT(10)의 복원 손실(reconstruction loss)과 정상 데이터의 복원 손실(reconstruction loss)을 비교할 수 있도록 디스플레이하고, 현재 OHT(10)의 복원 손실(reconstruction loss)이 어느 정도 수준인지 확인할 수 있도록 히스토그램 및 각 센싱 데이터 값들을 표시할 수 있다.
이때, OHT(10)의 호이스트가 FOUP를 들어올리면 바로 복원 손실(reconstruction loss)이 급증하여 정상 데이터의 범주를 크게 벗어나게 되며, 이후 어느 정도 시간이 흐르면 실제로 OHT(10)에 대한 오류 알람이 발생하게 됨을 확인할 수 있었다.
보다 구체적으로, 도 17에서는 동일한 OHT(10)에서의 정상 동작 상태와 호이스트 서보 모터 과적 에러(Hoist servo motor overload error) 상태에 대한 이상 스코어(anomaly score)를 비교하여 도시하고 있다.
도 17에서 볼 수 있는 바와 같이, 정상 동작 상태에서의 이상 스코어(anomaly score)는 낮을 값이 머무르는 반면, 호이스트 서보 모터 과적 에러(Hoist servo motor overload error) 상태에서의 이상 스코어(anomaly score)는 FOUP를 들어올리자 마자 급격하게 증가하며, 상기 이상 스코어(anomaly score)가 급증하는 시점은 실제로 OHT(10)에 대한 오류 알람이 발생하는 시점보다 평균적으로 약 7.53초 빨라 보다 신속하고 정확하게 호이스트 서보 모터 과적 에러(Hoist servo motor overload error) 상태를 감지할 수 있음을 확인할 수 있었다.
다음으로는, iii) 사소 오류(Subtle anomaly) 상태에 대하여 검토한다.
여기서, 상기 사소 오류(Subtle anomaly) 상태란 정상 상태에서 크게 벗어나지 않는 애매한 오류 상태를 의미한다.
이에 대하여, 상기 사소 오류(Subtle anomaly) 상태로서 오류의 정도를 조절하기 용이한 트랙(track)의 오류 상태를 예로 들어 살핀다.
보다 구체적으로, 도 18에서 볼 수 있는 바와 같이, 상기 트랙의 오류로서는 트랙의 분리(Track isolation), 뒤틀림(distortion), 장애물(obstacle) 등을 들 수 있다.
이러한 트랙 오류도 실제 현장에서 자주 발생하는 오류 중 하나이며, 통상의 OHT(10)에는 진동 센서 등이 구비되지 않기 때문에 작업자가 육안으로 검사하거나 검사 전용 장비를 이용하여 트랙 오류를 확인하고 있으나, 반도체 공정 등에서 사용되는 트랙의 길이는 수십 km에 이를 수 있어, 상기 트랙 오류를 검사하는 작업은 많은 시간과 인력이 소요될 수 있었다.
이에 대하여, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 도 19에서 볼 수 있는 바와 같이, 현재 OHT(10)의 복원 손실(reconstruction loss)과 정상 데이터의 복원 손실(reconstruction loss)을 비교할 수 있도록 디스플레이하고, 또한 현재 OHT(10)의 복원 손실(reconstruction loss)이 어느 정도 수준인지 확인할 수 있도록 히스토그램 및 각 센싱 데이터 값들을 표시할 수 있다.
이때, OHT(10)가 정상 구간을 주행하다가 장애물 등 트랙에 오류가 있는 구간을 주행하게 되면, 현재 OHT(10)의 복원 손실(reconstruction loss)이 정상 데이터의 경우와 비교할 때 큰 복원 손실(reconstruction loss)을 보이는 것을 확인할 수 있었다.
그런데, 상기 트랙에서 장애물 등의 크기는 통상 1mm 이하의 아주 작기 때문에, 도 20에서 볼 수 있는 바와 같이, OHT(10)가 트랙에서 장애물 등이 존재하는 오류가 있는 구간을 주행하더라도 곡선 구간 등에서 발생하는 진동과 비슷한 수준에 불과하여 장애물의 존재 여부 등 트랙에 오류가 존재하는지 여부를 정확히 판별하기가 어려운 제약이 따른다.
이에 대하여, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 상기 물류 로봇(110)에서의 이상 스코어(anomaly score)와 정상 물류 로봇에서의 이상 스코어(anomaly score)의 비율을 기초로 상기 물류 로봇에 대한 상태를 판별함으로써, 보다 정확하게 상기 물류 로봇(110)의 상태를 판단할 수 있게 된다.
보다 구체적으로, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 아래 [수학식 1]과 같이 상기 물류 로봇(110)에서의 이상 스코어(anomaly score)와 정상 물류 로봇에서의 이상 스코어(anomaly score)의 비율을 이상 척도(anomaly scale)로 산출할 수 있다.
[수학식 1]
Figure PCTKR2022018074-appb-img-000001
이에 따라, 도 21의 (a)에서 볼 수 있는 바와 같이, 이상 스코어(anomaly score)에서는 트랙의 곡선 구간 등에서의 진동과 장애물 등 트랙에 오류가 존재하는 구간에서의 진동을 명확하기 구분하기 어려운데 반하여, 도 21의 (b)에서 볼 수 있는 바와 같이, 상기 이상 척도(anomaly scale)의 경우 상기 트랙의 곡선 구간 등에서의 진동과 장애물 등 트랙에 오류가 존재하는 구간에서의 진동을 용이하게 식별 가능하다는 것을 확인할 수 있다.
보다 구체적인 예를 들어, 도 21의 (b)에서 상기 이상 척도(anomaly scale)를 살펴보면 5개의 장애물에 의하여 5개의 첨두치(peak)가 발생하는 것을 명확히 식별할 수 있다.
이때, 상기 물류 로봇(110)에서의 이상 스코어(anomaly score)와 정상 물류 로봇에서의 이상 스코어(anomaly score)의 비율로부터 상기 이상 척도(anomaly scale)를 산출하는 경우, 상기 이상 스코어(anomaly score)와 정상 물류 로봇에서의 이상 스코어(anomaly score)를 정확하게 매칭시키면서 이상 척도(anomaly scale)를 산출하여야 하며, 부정확한 매칭이 발생할 경우 다수의 잘못된 오류 인식 결과를 초래할 수 있다.
나아가, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 상기 각 센싱 데이터에 의한 이상 스코어를 비교하여 상기 물류 로봇(110)의 이상 상태에 대한 원인을 추정하는 것도 가능하다.
보다 구체적으로, 본 발명에서 사용하는 오토인코더(autoencoder) 알고리즘은 비지도 학습 기법에 기반하므로 정상 데이터에서 벗어난 정도를 알려줄 수는 있으나, 어떤 원인에 기인한 것인지에 대하여 파악하기는 어렵다는 제약에 따른다.
이에 대하여, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 상기 이상 스코어(anomaly score)를 각 센싱 데이터 별로 구분하여 비교하면 상기 물류 로봇(110)의 이상 상태에 대한 원인을 추정할 수 있다.
보다 구체적인 예를 들어, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 도 22의 (a)에서 볼 수 있는 바와 같이, x 방향 가속도, y 방향 가속도, z 방향 가속도 등 진동(vibration) 관련 데이터를 제1 유형으로 분류하고, 요(Yaw) 등 회전(rotation) 관련 데이터를 제2 유형으로 분류하며, 전방 휠 모터의 속도 및 토크, 후방 휠 모터의 속도 및 토크 등 주행용 전후방 모터(Driving motor) 관련 데이터를 제3 유형으로 분류하고, 호이스트 모터의 속도 및 토크 등 호이스트(hoist) 관련 데이터를 제4 유형으로 분류하며, 슬라이드 모터의 속도 및 토크 등 슬라이드(slide) 관련 데이터를 제5 유형으로 분류하여, 각 유형에 대한 이상 스코어(anomaly score)를 산출하여 비교할 수 있다.
이에 따라, 도 22의 (b)에서 볼 수 있는 바와 같이, 고속 주행 등 i) 비정상 속도 주행(Abnormal Speed Driving) 상태의 물류 로봇(110)에 대한 각 유형별 이상 스코어(anomaly score)를 살펴보면 제3 유형의 주행용 전후방 모터(Driving motor) 관련 데이터에 의한 이상 스코어(anomaly score)가 크게 증가하여 주행용 전후방 모터에 의하여 오류가 발생하였음을 추정할 수 있다.
또한, 도 23에서 ii) 호이스트 서보 모터 과적 에러(Hoist servo motor overload error) 상태의 물류 로봇(110)에 대한 각 유형별 이상 스코어(anomaly score)를 살펴보면 제4 유형의 호이스트(hoist) 관련 데이터에 의한 이상 스코어(anomaly score)가 크게 증가하여 호이스트(hoist)에 의하여 오류가 발생하였음을 추정할 수 있다.
나아가, 도 24에서 트랙의 장애물 등에 의한 iii) 사소 오류(Subtle anomaly) 상태의 물류 로봇(110)에 대한 각 유형별 이상 스코어(anomaly score)를 살펴보면 제1 유형의 진동(vibration) 관련 데이터에 의한 이상 스코어(anomaly score)가 크게 증가하여 트랙의 장애물 등에 의한 진동(vibration)에 의하여 오류가 발생하였음을 추정할 수 있다.
또한, 본 발명의 또 다른 측면에 따른 컴퓨터 프로그램은 앞서 살핀 물류 로봇 상태 감지 방법의 각 단계를 컴퓨터에서 실행시키기 위하여 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램인 것을 특징으로 한다. 상기 컴퓨터 프로그램은 컴파일러에 의해 만들어지는 기계어 코드를 포함하는 컴퓨터 프로그램뿐만 아니라, 인터프리터 등을 사용해서 컴퓨터에서 실행될 수 있는 고급 언어 코드를 포함하는 컴퓨터 프로그램일 수도 있다. 이때, 상기 컴퓨터로서는 퍼스널 컴퓨터(PC)나 노트북 컴퓨터 등에 한정되지 아니하며, 서버, 스마트폰, 태블릿 PC, PDA, 휴대전화 등 중앙처리장치(CPU)를 구비하여 컴퓨터 프로그램을 실행할 수 있는 일체의 정보처리 장치를 포함한다.
또한, 상기 컴퓨터로 판독 가능한 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
또한, 도 25에서는 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 시스템(120)의 구성도를 예시하고 있다.
도 25에서 볼 수 있는 바와 같이 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 시스템(120)은 센싱 데이터 수집부(121), 복원 손실 산출부(122) 및 물류 로봇 상태 판별부(123)를 포함하여 구성될 수 있다.
아래에서는 본 발명의 일 실시예에 따른 따른 물류 로봇 상태 감지 시스템(120)을 각 구성요소 별로 나누어 살핀다. 본 발명의 일 실시예에 따른 따른 물류 로봇 상태 감지 시스템(120)에 대한 보다 자세한 내용은 앞서 설명한 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법에 대한 설명으로부터 유추될 수 있는 바, 아래에서 보다 자세한 설명은 생략한다.
먼저, 상기 센싱 데이터 수집부(121)에서는 각 물류 로봇(110)에 대하여 하나 이상의 센싱 데이터를 수집하게 된다.
또한, 상기 복원 손실 산출부(122)에서는 상기 하나 이상의 센싱 데이터를 미리 학습된 오토 인코더(autoencoder) 신경망으로 입력하여 상기 각 물류 로봇(110)에 대응하는 복원 손실(reconstruction loss)을 산출하게 된다.
또한, 상기 물류 로봇 상태 판별부(123)에서는 상기 복원 손실(reconstruction loss)을 기초로 산출되는 이상 스코어(anomaly score)를 이용하여 각 물류 로봇(110)에 대한 상태를 판별하게 된다.
여기서, 상기 오토 인코더 신경망은 물류 로봇(110)에 대한 정상 데이터를 이용하여 미리 학습된 신경망일 수 있다.
이때, 상기 오토 인코더 신경망은 정상 데이터에 시간 윈도우를 적용하여 학습된 콘볼루션 오토 인코더(convolutional autoencoder) 신경망일 수 있다.
또한, 상기 센싱 데이터에는, 상기 물류 로봇(110)에 구비되는 가속도 센서의 센싱 데이터와 상기 물류 로봇(110)의 구동을 위한 구동 장치의 속도 및 토크에 대한 센싱 데이터 중 하나 이상이 포함될 수 있다.
또한, 상기 물류 로봇 상태 판별부(123)에서는, 상기 물류 로봇(110)에서의 이상 스코어와 정상 물류 로봇에서의 이상 스코어의 비율을 기초로 상기 물류 로봇(110)에 대한 상태를 판별할 수 있다.
또한, 상기 물류 로봇(110)은 OHT(10)이고, 상기 복원 손실 산출부(122)에서는, 상기 오토 인코더(autoencoder) 신경망에서 상기 OHT(10)에 구비되는 가속도 센서의 센싱 데이터와 상기 OHT(10)의 구동을 위한 모터의 속도 및 토크에 대한 센싱 데이터를 모두 입력받아 상기 OHT(10)에 대한 복원 손실을 산출할 수 있다.
이때, 상기 물류 로봇 상태 판별부(123)에서는, 상기 각 센싱 데이터에 의한 이상 스코어를 비교하여 상기 물류 로봇(110)의 이상 상태에 대한 원인을 추정할 수 있다.
이에 따라, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 물류 자동화 시스템(100)에서 OHT(10) 등 물류 로봇(110)의 상태를 수치화하여 각 물류 로봇(110)에 대한 유지 보수를 수행할 수 있으며, 나아가 이를 기반으로 전체 물류 로봇(110)에 대한 유지 보수 비용을 최적화하면서 효율적으로 관리할 수 있게 된다.
또한, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, OHT(10) 등 물류 로봇(110)의 이상 상태 여부를 보다 명확히 판별할 수 있으며, 나아가 물류 로봇(110)의 이상 상태에 대한 원인도 추정할 수 있게 된다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (15)

  1. 전자를 방출하는 전자총;
    상기 전자총의 전원을 공급하는 전자총 전원부;
    상기 전자총에서 방출된 상기 전자를 가속하는 가속관;
    상기 전자의 가속을 위한 고주파 신호를 상기 가속관으로 인가하는 고주파 인가부;물류 자동화 시스템에서 구동되는 하나 이상의 물류 로봇에 대한 상태를 감지하는 방법에 있어서,
    물류 로봇 상태 감지 시스템이, 각 물류 로봇에 대하여 하나 이상의 센싱 데이터를 수집하는 단계;
    상기 하나 이상의 센싱 데이터를 미리 학습된 오토 인코더(autoencoder) 신경망으로 입력하여 상기 각 물류 로봇에 대응하는 복원 손실(reconstruction loss)을 산출하는 단계; 및
    상기 복원 손실(reconstruction loss)을 기초로 산출되는 이상 스코어(anomaly score)를 이용하여 각 물류 로봇에 대한 상태를 판별하는 단계;
    를 포함하는 것을 특징으로 하는 물류 로봇 상태 감지 방법.
  2. 제1항에 있어서,
    상기 오토 인코더 신경망은 물류 로봇에 대한 정상 데이터를 이용하여 미리 학습된 신경망인 것을 특징으로 하는 물류 로봇 상태 감지 방법.
  3. 제2항에 있어서,
    상기 오토 인코더 신경망은 정상 데이터에 시간 윈도우를 적용하여 학습된 콘볼루션 오토 인코더(convolutional autoencoder) 신경망인 것을 특징으로 하는 물류 로봇 상태 감지 방법.
  4. 제1항에 있어서,
    상기 센싱 데이터에는,
    상기 물류 로봇에 구비되는 가속도 센서의 센싱 데이터와 상기 물류 로봇의 구동을 위한 구동 장치의 속도 및 토크에 대한 센싱 데이터 중 하나 이상이 포함되는 것을 특징으로 하는 물류 로봇 상태 감지 방법.
  5. 제1항에 있어서,
    상기 판별하는 단계에서는,
    상기 물류 로봇에서의 이상 스코어와 정상 물류 로봇에서의 이상 스코어의 비율을 기초로 상기 물류 로봇에 대한 상태를 판별하는 것을 특징으로 하는 물류 로봇 상태 감지 방법.
  6. 제1항에 있어서,
    상기 물류 로봇은 OHT(Overhead Hoist Transport)이고,
    상기 산출하는 단계에서는,
    상기 오토 인코더(autoencoder) 신경망에서 상기 OHT에 구비되는 가속도 센서의 센싱 데이터와 상기 OHT의 구동을 위한 모터의 속도 및 토크에 대한 센싱 데이터를 모두 입력받아 상기 OHT에 대한 복원 손실을 산출하는 것을 특징으로 하는 물류 로봇 상태 감지 방법.
  7. 제6항에 있어서,
    상기 판별하는 단계에서는,
    상기 각 센싱 데이터에 의한 이상 스코어를 비교하여 상기 물류 로봇의 이상 상태에 대한 원인을 추정하는 것을 특징으로 하는 물류 로봇 상태 감지 방법.
  8. 컴퓨터에서 제1항 내지 제7항 중 어느 한 항에 기재된 각 단계를 실행시키기 위한 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램.
  9. 물류 자동화 시스템에서 구동되는 하나 이상의 물류 로봇에 대한 상태를 감지하는 시스템에 있어서,
    각 물류 로봇에 대하여 하나 이상의 센싱 데이터를 수집하는 센싱 데이터 수집부;
    상기 하나 이상의 센싱 데이터를 미리 학습된 오토 인코더(autoencoder) 신경망으로 입력하여 상기 각 물류 로봇에 대응하는 복원 손실(reconstruction loss)을 산출하는 복원 손실 산출부; 및
    상기 복원 손실(reconstruction loss)을 기초로 산출되는 이상 스코어(anomaly score)를 이용하여 각 물류 로봇에 대한 상태를 판별하는 물류 로봇 상태 판별부;
    를 포함하는 것을 특징으로 하는 물류 로봇 상태 감지 시스템.
  10. 제9항에 있어서,
    상기 오토 인코더 신경망은 물류 로봇에 대한 정상 데이터를 이용하여 미리 학습된 신경망인 것을 특징으로 하는 물류 로봇 상태 감지 시스템.
  11. 제10항에 있어서,
    상기 오토 인코더 신경망은 정상 데이터에 시간 윈도우를 적용하여 학습된 콘볼루션 오토 인코더(convolutional autoencoder) 신경망인 것을 특징으로 하는 물류 로봇 상태 감지 시스템.
  12. 제9항에 있어서,
    상기 센싱 데이터에는,
    상기 물류 로봇에 구비되는 가속도 센서의 센싱 데이터와 상기 물류 로봇의 구동을 위한 구동 장치의 속도 및 토크에 대한 센싱 데이터 중 하나 이상이 포함되는 것을 특징으로 하는 물류 로봇 상태 감지 시스템.
  13. 제9항에 있어서,
    상기 물류 로봇 상태 판별부에서는,
    상기 물류 로봇에서의 이상 스코어와 정상 물류 로봇에서의 이상 스코어의 비율을 기초로 상기 물류 로봇에 대한 상태를 판별하는 것을 특징으로 하는 물류 로봇 상태 감지 시스템.
  14. 제9항에 있어서,
    상기 물류 로봇은 OHT(Overhead Hoist Transport)이고,
    상기 복원 손실 산출부에서는,
    상기 오토 인코더(autoencoder) 신경망에서 상기 OHT에 구비되는 가속도 센서의 센싱 데이터와 상기 OHT의 구동을 위한 모터의 속도 및 토크에 대한 센싱 데이터를 모두 입력받아 상기 OHT에 대한 복원 손실을 산출하는 것을 특징으로 하는 물류 로봇 상태 감지 시스템.
  15. 제14항에 있어서,
    상기 물류 로봇 상태 판별부에서는,
    상기 각 센싱 데이터에 의한 이상 스코어를 비교하여 상기 물류 로봇의 이상 상태에 대한 원인을 추정하는 것을 특징으로 하는 물류 로봇 상태 감지 시스템.
PCT/KR2022/018074 2021-11-17 2022-11-16 물류 로봇 이상 감지 방법, 장치 및 시스템 WO2023090844A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0158408 2021-11-17
KR20210158408 2021-11-17
KR10-2022-0153396 2022-11-16
KR1020220153396A KR20230072441A (ko) 2021-11-17 2022-11-16 물류 로봇 이상 감지 방법, 장치 및 시스템

Publications (1)

Publication Number Publication Date
WO2023090844A1 true WO2023090844A1 (ko) 2023-05-25

Family

ID=86397394

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/018074 WO2023090844A1 (ko) 2021-11-17 2022-11-16 물류 로봇 이상 감지 방법, 장치 및 시스템

Country Status (1)

Country Link
WO (1) WO2023090844A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200040469A (ko) * 2018-10-10 2020-04-20 주식회사 케이티 건물 내 설비의 이상을 탐지하는 방법, 시스템 및 컴퓨터 프로그램
US20200364579A1 (en) * 2019-05-17 2020-11-19 Honda Motor Co., Ltd. Systems and methods for anomalous event detection
KR20210008261A (ko) * 2019-07-12 2021-01-21 삼성전자주식회사 반도체 제조에서의 물류 자동화 시스템을 위한 동적 할당 장치, 및 그것을 이용하는 물류 자동화 시스템
KR102271740B1 (ko) * 2020-09-11 2021-07-02 주식회사 뉴로클 이상 탐지 방법 및 이를 위한 장치
KR102321440B1 (ko) * 2020-09-10 2021-11-02 연세대학교 산학협력단 이질적 다변량 시변 데이터를 이용한 이상 감지 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200040469A (ko) * 2018-10-10 2020-04-20 주식회사 케이티 건물 내 설비의 이상을 탐지하는 방법, 시스템 및 컴퓨터 프로그램
US20200364579A1 (en) * 2019-05-17 2020-11-19 Honda Motor Co., Ltd. Systems and methods for anomalous event detection
KR20210008261A (ko) * 2019-07-12 2021-01-21 삼성전자주식회사 반도체 제조에서의 물류 자동화 시스템을 위한 동적 할당 장치, 및 그것을 이용하는 물류 자동화 시스템
KR102321440B1 (ko) * 2020-09-10 2021-11-02 연세대학교 산학협력단 이질적 다변량 시변 데이터를 이용한 이상 감지 장치 및 방법
KR102271740B1 (ko) * 2020-09-11 2021-07-02 주식회사 뉴로클 이상 탐지 방법 및 이를 위한 장치

Similar Documents

Publication Publication Date Title
EP2998894B1 (en) Intelligent condition monitoring and fault diagnostic system
KR101395073B1 (ko) 주행 대차 시스템과 그 자기 진단 방법
US10564632B2 (en) Systems and methods for sensory automated material handing
JP2006315813A (ja) 移動体の診断システム
CN115781697A (zh) 工业机器人控制系统
CN112629905A (zh) 基于深度学习的设备异常检测方法、系统及计算机介质
WO2023090844A1 (ko) 물류 로봇 이상 감지 방법, 장치 및 시스템
CN116177146A (zh) 一种基于ai与激光监测技术的输送皮带检测系统及方法
CN113985877A (zh) 一种基于数字孪生的仓储物流路径自动引导系统
CN111788042A (zh) 机器人的预见性分析
WO2024106720A1 (ko) 동작 이해 기반 물류 로봇 이상 감지 방법, 장치 및 시스템
CN109841551B (zh) 自动化物料处理方法与系统
KR20230072441A (ko) 물류 로봇 이상 감지 방법, 장치 및 시스템
CN115504187B (zh) 一种矿用皮带智能调速和保护系统及控制方法
US20220155180A1 (en) Method for monitoring transport vehicle and maintenance thereof
JPH09191032A (ja) プロセス異常監視方法および装置
KR20200129868A (ko) 스마트 팩토리를 위한 이동 설비의 실시간 센싱 데이터 처리 시스템 및 그 방법
WO2022002081A1 (en) Method, device, and computer-readable storage medium for production traceability
CN1254846C (zh) 连续异常缺陷快速警示系统及方法
CN1763674A (zh) 制程控制方法及制程控制系统
CN112286180A (zh) 一种基于巡检机器人的电力巡检分析系统及方法
KR20240072024A (ko) 동작 이해 기반 물류 로봇 이상 감지 방법, 장치 및 시스템
KR20200099863A (ko) 대상물의 분석 방법
CN116613094B (zh) 一种晶圆搬运的控制系统及其控制方法
WO2021080116A1 (ko) 무인 자율주행차량의 예지보전장치 및 이의 예지보전방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22896049

Country of ref document: EP

Kind code of ref document: A1