KR20240072024A - 동작 이해 기반 물류 로봇 이상 감지 방법, 장치 및 시스템 - Google Patents

동작 이해 기반 물류 로봇 이상 감지 방법, 장치 및 시스템 Download PDF

Info

Publication number
KR20240072024A
KR20240072024A KR1020230121743A KR20230121743A KR20240072024A KR 20240072024 A KR20240072024 A KR 20240072024A KR 1020230121743 A KR1020230121743 A KR 1020230121743A KR 20230121743 A KR20230121743 A KR 20230121743A KR 20240072024 A KR20240072024 A KR 20240072024A
Authority
KR
South Korea
Prior art keywords
neural network
auto
logistics robot
logistics
data
Prior art date
Application number
KR1020230121743A
Other languages
English (en)
Inventor
박진혁
Original Assignee
다임리서치 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 다임리서치 주식회사 filed Critical 다임리서치 주식회사
Priority to PCT/KR2023/013768 priority Critical patent/WO2024106720A1/ko
Publication of KR20240072024A publication Critical patent/KR20240072024A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G1/00—Storing articles, individually or in orderly arrangement, in warehouses or magazines
    • B65G1/02—Storage devices
    • B65G1/04—Storage devices mechanical
    • B65G1/0457—Storage devices mechanical with suspended load carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/677—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for conveying, e.g. between different workstations
    • H01L21/67703—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for conveying, e.g. between different workstations between different workstations
    • H01L21/67733—Overhead conveying

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 동작 이해 기반 물류 로봇 이상 감지 방법, 장치 및 시스템에 관한 것으로, 보다 구체적으로는 본 발명에서는, 물류 자동화 시스템에서 구동되는 물류 로봇에 대한 상태를 감지하는 방법에 있어서, 물류 로봇 상태 감지 시스템이, 하나 이상의 물류 로봇에 대하여 복수 종류의 센싱 데이터를 수집하는 단계; 상기 센싱 데이터 중 상기 물류 로봇의 동작에 대한 하나 이상의 동작 상태 데이터를 선별하는 단계; 상기 센싱 데이터를 미리 학습된 제1 오토 인코더(autoencoder) 신경망으로 입력하여 제1 복원 손실(reconstruction loss)을 산출하고, 상기 하나 이상의 동작 상태 데이터를 미리 학습된 제2 오토 인코더 신경망으로 입력하여 제2 복원 손실을 산출하는 단계; 및 상기 제1 복원 손실을 기초로 산출되는 이상 스코어(anomaly score)를 이용하여 물류 로봇에 대한 상태를 판별하는 단계;를 포함하며, 상기 제2 오토 인코더 신경망에서 생성되는 제2 레이턴트 벡터(latent vector)는 상기 제1 오토 인코더 신경망으로 전달되어 상기 제1 오토 인코더 신경망에서 생성되는 제1 레이턴트 벡터와 결합되어 처리되는 것을 특징으로 하는 물류 로봇 상태 감지 방법을 개시한다.

Description

동작 이해 기반 물류 로봇 이상 감지 방법, 장치 및 시스템 {Method, apparatus and system for detecting anomaly in logistics robot based on behavior understanding}
본 발명은 동작 이해 기반 물류 로봇 이상 감지 방법, 장치 및 시스템에 관한 것으로, 보다 구체적으로는 물류 자동화 시스템에서 물품 등의 이송에 사용되는 물류 로봇에 대하여 동작 상태를 기반으로 물류 로봇의 이상 여부를 효과적으로 감지할 수 있는 동작 이해 기반 물류 로봇 이상 감지 방법, 장치 및 시스템에 관한 것이다.
최근 공장 자동화의 확산, 전자 상거래의 성장 등으로 작업자의 개입을 최소화하면서 효율적으로 물품 등의 수송을 처리하는 물류 자동화 시스템이 폭넓게 활용되고 있다.
보다 구체적인 예를 들어, 반도체 공장 등에서 천장 대차 장치(Overhead Hoist Transport, OHT) 등을 이용하여 웨이퍼 등을 운반하거나, 물류 창고나 공장 등에서 무인운반차량(Automated Guided Vehicle, AGV) 또는 자율 이동 로봇(Autonomous Mobile Robot, AMR) 등을 이용하여 제품이나 부품 등의 운반하여, 물류를 자동화하고 작업 효율을 개선하여 비용을 절감하려는 시도가 다양하게 이루어지고 있다.
이와 관련하여, 도 1에서는 반도체 공정 등에서 폭넓게 사용되고 있는 OHT(10)를 예시하고 있다.
보다 구체적인 예를 들어, 대규모 반도체 공정에서는 수십 km에 달하는 선로에서 구동되는 수백 내지 수천 대의 OHT(10)를 이용하여 반도체 제작용 웨이퍼가 적재되는 FOUP(Front Opening Unified Pod) 등을 이송하게 된다.
그런데, 상기 OHT(10)는 정해진 선로를 따라 일방향으로 이동하게 되므로, 도 2에서 볼 수 있는 바와 같이, 소수의 OHT(10)에 이상(anomaly)이 발생하더라도 전체 자동 자재 처리 시스템(AMHS, Automated Material Handling System)의 효율을 크게 저해하는 문제가 발생할 수 있다.
이에 따라, 종래에는 장비의 운용에 따른 마일리지에 기반하거나, 더 나아가 장비의 이상 징후를 사전 감지하여 미리 장비를 관리하는 예방 보전(preventive maintenance) 방식 등이 시도되었다.
그런데, 실제 현장에서는 사용되는 물류 로봇의 종류가 매우 다양할 뿐만 아니라(예를 들어, OHT, AGV, AMR 등), 동일 종류의 물류 로봇이라 하더라도 각 현장에 따라 동작 환경 및 방식에 차이가 발생하여, 다양한 물류 로봇의 고장 상태를 명확하게 판단하거나 예측하는 것은 어려운 문제가 될 수 있다.
이에 대하여, 현재 물류 로봇의 동작 상태를 구분하는 동작 라벨(예를 들어, 정지 상태, 직선 주행 상태, 곡선 주행 상태 등)을 기반으로 OHT 등 물류 로봇에 대한 이상 여부를 감지하는 알고리즘 등이 시도되기도 하였으나, 동작 라벨을 생성하기 위해서는 각 현장에 대한 다양한 도메인 지식의 축적이 요구되어 상당한 시간과 비용이 소요될 뿐만 아니라, 나아가 동작 라벨의 분류 및 숫자 등에 따라 알고리즘의 성능이 크게 변동되는 문제가 나타날 수 있었다.
이에 따라, 각 개별 현장에 대한 도메인 지식의 축적을 위한 시간과 비용을 절감할 수 있고, 나아가 상기 축적된 도메인 지식에 기반한 동작 라벨의 분류 등에 따른 성능 편차 문제를 개선하여 다양한 개별 현장에 대하여 보다 효율적으로 물류 로봇의 이상 상태를 정확하게 감지할 수 있는 방안이 요구되고 있으나, 아직 이를 위한 구체적인 해법이 제시되지 못하고 있다.
대한민국 등록특허공보 제10-1845385호(2018.05.18)
본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위해 창안된 것으로, 물류 자동화 시스템에서 각 개별 현장에 대한 도메인 지식의 축적을 위한 시간과 비용을 절감하면서 OHT 등 물류 로봇의 이상 상태를 감지하여 물류 로봇에 대한 유지 보수 비용을 최적화하면서 효율적으로 관리할 수 있도록 하는 물류 로봇 이상 감지 방법, 장치 및 시스템을 제공하는 것을 목적으로 한다.
또한, 본 발명에서는 OHT 등 물류 로봇에 대한 동작 라벨의 분류 및 숫자 등에 따라 물류 로봇의 이상 상태 여부를 판별하기 위한 알고리즘의 성능이 크게 변동되는 문제를 개선하여 보다 효율적으로 물류 로봇의 이상 상태를 정확하게 감지하는 것이 가능한 물류 로봇 이상 감지 방법, 장치 및 시스템을 제공하는 것을 목적으로 한다.
그 외 본 발명의 세부적인 목적은 아래에 기재되는 구체적인 내용을 통하여 이 기술 분야의 전문가나 연구자에게 자명하게 파악되고 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 한 측면에 따른 물류 로봇 상태 감지 방법은, 물류 자동화 시스템에서 구동되는 물류 로봇에 대한 상태를 감지하는 방법에 있어서, 물류 로봇 상태 감지 시스템이, 하나 이상의 물류 로봇에 대하여 복수 종류의 센싱 데이터를 수집하는 단계; 상기 센싱 데이터 중 상기 물류 로봇의 동작에 대한 하나 이상의 동작 상태 데이터를 선별하는 단계; 상기 센싱 데이터를 미리 학습된 제1 오토 인코더(autoencoder) 신경망으로 입력하여 제1 복원 손실(reconstruction loss)을 산출하고, 상기 하나 이상의 동작 상태 데이터를 미리 학습된 제2 오토 인코더 신경망으로 입력하여 제2 복원 손실을 산출하는 단계; 및 상기 제1 복원 손실을 기초로 산출되는 이상 스코어(anomaly score)를 이용하여 물류 로봇에 대한 상태를 판별하는 단계;를 포함하며, 상기 제2 오토 인코더 신경망에서 생성되는 제2 레이턴트 벡터(latent vector)는 상기 제1 오토 인코더 신경망으로 전달되어 상기 제1 오토 인코더 신경망에서 생성되는 제1 레이턴트 벡터와 결합되어 처리되는 것을 특징으로 한다.
여기서, 상기 제1 오토 인코더 신경망과 상기 제2 오토 인코더 신경망은 물류 로봇에 대한 정상 데이터를 이용하여 미리 학습된 신경망일 수 있다.
또한, 상기 제1 오토 인코더 신경망과 상기 제2 오토 인코더 신경망은 정상 데이터에 시간 윈도우를 적용하여 학습된 신경망일 수 있다.
또한, 상기 물류 로봇이 천장 대차 장치(OHT)인 경우, 상기 동작 상태 데이터에는 상기 천장 대차 장치(OHT)의 전방 및 후방 휠 속도 데이터, 호이스트(hoist) 속도 데이터, 슬라이드(slide) 속도 데이터, 방향 회전(yaw) 데이터 중 하나 이상이 포함될 수 있다.
또한, 상기 판별하는 단계에서는, 상기 제1 복원 손실에 더하여 상기 제2 복원 손실을 함께 고려하여 상기 물류 로봇에 대한 상태를 판별할 수 있다.
또한, 상기 제1 오토 인코더 신경망과 상기 제2 오토 인코더 신경망은, 어텐션(attention) 구조와 스킵 커넥션(skip connection) 구조를 구비하여 구성될 수 있다.
또한, 상기 제2 오토 인코더 신경망의 계층 수는 상기 제1 오토 인코더 신경망의 계층 수보다 적을 수 있다.
또한, 본 발명의 다른 측면에 따른 컴퓨터 프로그램은, 컴퓨터에서 상기 물류 로봇 상태 감지 방법의 각 단계를 실행시키기 위한 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램인 것을 특징으로 한다.
또한, 본 발명의 다른 측면에 따른 물류 로봇 상태 감지 시스템은, 물류 자동화 시스템에서 구동되는 물류 로봇에 대한 상태를 감지하는 시스템에 있어서, 하나 이상의 물류 로봇에 대하여 복수 종류의 센싱 데이터를 수집하는 센싱 데이터 수집부; 상기 센싱 데이터 중 상기 물류 로봇의 동작에 대한 하나 이상의 동작 상태 데이터를 선별하는 동작 상태 데이터 선별부; 상기 센싱 데이터를 미리 학습된 제1 오토 인코더(autoencoder) 신경망으로 입력하여 제1 복원 손실(reconstruction loss)을 산출하고, 상기 하나 이상의 동작 상태 데이터를 미리 학습된 제2 오토 인코더 신경망으로 입력하여 제2 복원 손실을 산출하는 복원 손실 산출부; 및 상기 제1 복원 손실을 기초로 산출되는 이상 스코어(anomaly score)를 이용하여 물류 로봇에 대한 상태를 판별하는 물류 로봇 상태 판별부;를 포함하며, 상기 제2 오토 인코더 신경망에서 생성되는 제2 레이턴트 벡터(latent vector)는 상기 제1 오토 인코더 신경망으로 전달되어 상기 제1 오토 인코더 신경망에서 생성되는 제1 레이턴트 벡터와 결합되어 처리되는 것을 특징으로 한다.
여기서, 상기 제1 오토 인코더 신경망과 상기 제2 오토 인코더 신경망은 물류 로봇에 대한 정상 데이터를 이용하여 미리 학습된 신경망일 수 있다.
또한, 상기 제1 오토 인코더 신경망과 상기 제2 오토 인코더 신경망은 정상 데이터에 시간 윈도우를 적용하여 학습된 신경망일 수 있다.
또한, 상기 물류 로봇이 천장 대차 장치(OHT)인 경우, 상기 동작 상태 데이터에는 상기 천장 대차 장치(OHT)의 전방 및 후방 휠 속도 데이터, 호이스트(hoist) 속도 데이터, 슬라이드(slide) 속도 데이터, 방향 회전(yaw) 데이터 중 하나 이상이 포함될 수 있다.
또한, 상기 물류 로봇 상태 판별부에서는, 상기 제1 복원 손실에 더하여 상기 제2 복원 손실을 함께 고려하여 상기 물류 로봇에 대한 상태를 판별할 수 있다.
또한, 상기 제1 오토 인코더 신경망과 상기 제2 오토 인코더 신경망은, 어텐션(attention) 구조와 스킵 커넥션(skip connection) 구조를 구비하여 구성될 수 있다.
또한, 상기 제2 오토 인코더 신경망의 계층 수는 상기 제1 오토 인코더 신경망의 계층 수보다 적을 수 있다.
이에 따라, 본 발명의 일 실시예에 따른 동작 이해 기반 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 물류 자동화 시스템에서 각 개별 현장에 대한 도메인 지식의 축적을 위한 시간과 비용을 절감하면서 OHT 등 물류 로봇의 이상 상태를 감지하여 물류 로봇에 대한 유지 보수 비용을 최적화하면서 효율적으로 관리할 수 있게 된다.
또한, 본 발명의 일 실시예에 따른 동작 이해 기반 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, OHT 등 물류 로봇에 대한 동작 라벨의 분류 및 숫자 등에 따라 물류 로봇의 이상 상태 여부를 판별하기 위한 알고리즘의 성능이 크게 변동되는 문제를 개선하여 보다 효율적으로 물류 로봇의 이상 상태를 정확하게 감지할 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과는 본 명세서에 기재된 내용으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 통상의 천장 대차 장치(OHT)를 예시하는 도면이다.
도2는 통상의 물류 자동화 시스템을 예시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 물류 자동화 시스템의 구성도를 예시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법의 순서도를 예시하는 도면이다.
도 5내지 도 12는 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법을 설명하는 도면이다.
도 13 내지 도 22는 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법에 대한 성능 개선을 보여주는 실험예를 설명하는 도면이다.
도 23은 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 시스템의 구성도를 예시하는 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.
이하의 실시예는 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 본 발명의 일 실시예에 따른 동작 이해 기반 물류 로봇 이상 감지 방법, 장치 및 시스템에 대한 예시적인 실시 형태들을 첨부된 도면을 참조하여 차례로 설명한다.
먼저, 도 3에서는 본 발명의 일 실시예에 따른 물류 자동화 시스템(100)의 구성도를 예시하고 있다.
도 3에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 물류 자동화 시스템(100)은 복수의 OHT(10) 등 물류 로봇(110, 110a, ??, 110n)과 서버 등으로 구성되어 상기 물류 로봇(110)에 대한 이상 상태를 감지하는 물류 로봇 상태 감지 시스템(120) 및 상기 물류 로봇(110)과 상기 물류 로봇 상태 감지 시스템(120)을 연결하는 통신 네트워크(130)를 포함하여 구성될 수 있다.
이때, 상기 물류 로봇에는 반도체 공장 등에서 사용되는 천장 대차 장치(Overhead Hoist Transport, OHT), 물류 창고 등에서 미리 지정된 경로를 따라 이동하면서 작업을 수행하는 무인 운반 차량(Automated Guided Vehicle, AGV)이나 자율 이동 로봇(Autonomous Mobile Robot, AMR) 등이 포함될 수 있으나, 본 발명이 이에 한정되지는 않으며 이외에도 물류 작업을 수행하기 위하여 이동하면서 물류 이송을 처리하는 다양한 장치들이 포함될 수 있다.
나아가, 아래에서는 주로 OHT(10)를 들어 설명하고 있으나, 이는 하나의 예시일 뿐 본 발명이 이에 한정되지 않으며, 이외에도 적용되는 어플리케이션에 따라 다양한 장치들에 대해서도 본 발명이 적용될 수 있다.
또한, 상기 물류 로봇 상태 감지 시스템(120)은 하나 이상의 서버 등을 이용하여 구성될 수 있으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 작동 환경에 따라서는 상기 물류 로봇 상태 감지 시스템(120)이 별도의 장치로 구현되지 않고 하나 또는 둘 이상의 물류 로봇(110)과 결합되어 일체형으로 구성되는 것도 가능하다.
나아가, 상기 물류 로봇(110)과 상기 물류 로봇 상태 감지 시스템(120)을 연결하는 통신 네트워크(130)로서는 유선 네트워크와 무선 네트워크를 포함할 수 있으며, 구체적으로, 근거리 통신망 (LAN: Local Area Network), 도시권 통신망 (MAN: Metropolitan Area Network), 광역 통신망 (WAN: Wide Area Network) 등의 다양한 통신망을 포함할 수 있다. 또한, 상기 통신 네트워크(130)는 공지의 월드 와이드 웹(WWW: World Wide Web)을 포함할 수도 있다. 그러나, 본 발명에 따른 통신 네트워크(130)는 상기 열거된 네트워크에 국한되지 않고, 공지의 무선 데이터 네트워크나 공지의 유무선 네트워크를 포함할 수도 있다.
또한, 도 4에서는 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법에 대한 순서도가 예시되어 있다.
도 4에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 방법은, 물류 자동화 시스템(100)에서 구동되는 물류 로봇(110)에 대한 상태를 감지하는 방법에 있어서, 물류 로봇 상태 감지 시스템(120)이, 하나 이상의 물류 로봇(110)에 대하여 복수 종류의 센싱 데이터(310)를 수집하는 단계(S110), 상기 센싱 데이터(310) 중 상기 물류 로봇(110)의 동작에 대한 하나 이상의 동작 상태 데이터(320)를 선별하는 단계(S120), 상기 센싱 데이터(310)를 미리 학습된 제1 오토 인코더(autoencoder) 신경망(210)으로 입력하여 제1 복원 손실(reconstruction loss)을 산출하고, 상기 하나 이상의 동작 상태 데이터(320)를 미리 학습된 제2 오토 인코더 신경망(220)으로 입력하여 제2 복원 손실을 산출하는 단계(S130) 및 상기 제1 복원 손실을 기초로 산출되는 이상 스코어(anomaly score)를 이용하여 물류 로봇(110)에 대한 상태를 판별하는 단계(S140)를 포함하며, 이때 상기 제2 오토 인코더 신경망(220)에서 생성되는 제2 레이턴트 벡터(latent vector)(340)는 상기 제1 오토 인코더 신경망(210)으로 전달되어 상기 제1 오토 인코더 신경망(210)에서 생성되는 제1 레이턴트 벡터(330)와 결합되어 처리되는 것을 특징으로 한다.
여기서, 상기 제1 오토 인코더 신경망(210)과 상기 제2 오토 인코더 신경망(220)은 물류 로봇(110)에 대한 정상 데이터를 이용하여 미리 학습된 신경망일 수 있다.
또한, 상기 제1 오토 인코더 신경망(210)과 상기 제2 오토 인코더 신경망(220)은 정상 데이터에 시간 윈도우를 적용하여 학습된 신경망일 수 있다.
또한, 상기 물류 로봇(110)이 천장 대차 장치(OHT)인 경우, 상기 동작 상태 데이터(320)에는 상기 천장 대차 장치(OHT)의 전방 및 후방 휠 속도 데이터, 호이스트(hoist) 속도 데이터, 슬라이드(slide) 속도 데이터, 방향 회전(yaw) 데이터 중 하나 이상이 포함될 수 있다.
또한, 상기 판별하는 단계(S130)에서는, 상기 제1 복원 손실에 더하여 상기 제2 복원 손실을 함께 고려하여 상기 물류 로봇(110)에 대한 상태를 판별할 수 있다.
또한, 상기 제1 오토 인코더 신경망(210)과 상기 제2 오토 인코더 신경망(220)은, 어텐션(attention) 구조와 스킵 커넥션(skip connection) 구조를 구비하여 구성될 수 있다.
또한, 상기 제2 오토 인코더 신경망(220)의 계층 수는 상기 제1 오토 인코더 신경망(210)의 계층 수보다 적을 수 있다.
이에 따라, 본 발명의 일 실시예에 따른 동작 이해 기반 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 물류 자동화 시스템(100)에서 각 개별 현장에 대한 도메인 지식의 축적을 위한 시간과 비용을 절감하면서 OHT(10) 등 물류 로봇(110)의 이상 상태를 감지하여 물류 로봇(110)에 대한 유지 보수 비용을 최적화하면서 효율적으로 관리할 수 있게 된다.
또한, 본 발명의 일 실시예에 따른 동작 이해 기반 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, OHT(10) 등 물류 로봇(110)에 대한 동작 라벨의 분류 및 숫자 등에 따라 물류 로봇(110)의 이상 상태 여부를 판별하기 위한 알고리즘의 성능이 크게 변동되는 문제를 개선하여 보다 효율적으로 물류 로봇(110)의 이상 상태를 정확하게 감지할 수 있게 된다.
이하, 각 도면을 참조하면서 본 발명의 일 실시예에 따른 동작 이해 기반 물류 로봇 상태 감지 방법, 장치 및 시스템을 각 구성 요소 별로 나누어 보다 자세하게 살핀다.
먼저, 도 5에서는 본 발명의 일 실시예에 따른 동작 이해 기반 물류 로봇 상태 감지 방법, 장치 및 시스템에서의 물류 로봇 상태 감시 시스템(120)의 구성 및 동작을 예시하고 있다.
도 5에서 볼 수 있는 바와 같이. 상기 물류 로봇 상태 감시 시스템(120)에서는 제1 오토 인코더 신경망(210)과 제2 오토 인코더 신경망(220)을 구비할 수 있다.
이때, 상기 제1 오토 인코더 신경망(210)에서는 OHT(10) 등 물류 로봇(110)의 다양한 센서 등에서 측정된 센서 데이터(310)를 입력받아 처리할 수 있다.
보다 구체적으로, 상기 센서 데이터(310)에는 상기 OHT(10) 등 물류 로봇(110)에 대한 진동 데이터(X축, Y 축, Z축), 방향 회전(yaw) 데이터, 전방 구동 속도 및 토크, 후방 구동 속도 및 토크, 호이스트(hoist) 속도 및 토크 데이터, 슬라이드(slide) 속도 및 토크 데이터 중 하나 이상이 포함될 수 있다.
또한, 상기 물류 로봇 상태 감시 시스템(120)에서는 상기 센서 데이터(310) 중 상기 물류 로봇(110)의 동작에 대한 하나 이상의 동작 상태 데이터(320)를 선별하여 상기 제2 오토 인코더 신경망(220)로 입력할 수 있다.
이때, 상기 센서 데이터(310) 중 상기 동작 상태 데이터(320)에 포함되는 데이터의 종류는 관리자 등에 의해 미리 설정되는 것도 가능하다.
보다 구체적으로, 도 6에서 볼 수 있는 바와 같이, 상기 물류 로봇(110)이 OHT(10)인 경우, 상기 동작 상태 데이터(320)에는 상기 OHT(10)의 전방 및 후방 휠 속도 데이터, 호이스트(hoist) 속도 데이터, 슬라이드(slide) 속도 데이터, 방향 회전(yaw) 데이터 중 하나 이상이 포함될 수 있다.
또한, 도 6에서 볼 수 있는 바와 갈이, 상기 물류 로봇(110)이 AGV인 경우 상기 동작 상태 데이터(320)에는 상기 AGV의 좌우 휠 속도 데이터, 호이스트(hoist) 속도 데이터, 방향 회전(yaw) 데이터 중 하나 이상이 포함될 수 있으며, 상기 물류 로봇(110)이 STK Crane인 경우 상기 동작 상태 데이터(320)에는 상기 STK Crane의 전방 및 후방 휠 속도 데이터, 호이스트(hoist) 속도 데이터, 슬라이드(slide) 속도 데이터 중 하나 이상이 포함될 수 있다.
이에 따라, 상기 제1 오토 인코더 신경망(210)의 인코더에서는 상기 센서 데이터(310)를 입력받아 제1 레이턴트 벡터(latent vector)(330)를 산출하고, 상기 제2 오토 인코더 신경망(220)의 인코더에서는 상기 동작 상태 데이터(320)를 입력받아 제2 레이턴트 벡터(latent vector)(340)를 산출하게 된다.
이어서, 상기 제2 오토 인코더 신경망(220)에서 생성되는 제2 레이턴트 벡터(340)는 상기 제1 오토 인코더 신경망(210)으로 전달되어 상기 제1 오토 인코더 신경망(210)에서 생성되는 제1 레이턴트 벡터(330)와 결합되어 처리될 수 있다.
보다 구체적인 예를 들어, 도 5에서 볼 수 있는 바와 같이, 상기 제2 레이턴트 벡터(340)는 상기 제1 오토 인코더 신경망(210)으로 전달되어 결합부(350)에서 상기 제1 레이턴트 벡터(330)와 연결(concatenation)된 후 디코더에서 처리될 수 있다.
이에 따라, 상기 제1 오토 인코더 신경망(210)에서는 상기 제1 레이턴트 벡터(330)와 상기 제2 레이턴트 벡터(340)가 결합된 후, 디코더에서 상기 센싱 데이터(310)에 대한 제1 복원 데이터(360)를 산출하는데 사용될 수 있다.
또한, 상기 제2 오토 인코더 신경망(220)에서는 상기 제2 레이턴트 벡터(340)를 기초로 디코더에서 상기 동작 상태 데이터(320)에 대한 제2 복원 데이터(370)를 산출할 수 있다.
이때, 상기 물류 로봇 상태 감시 시스템(120)에서는 상기 센싱 데이터(310)와 상기 제1 복원 데이터(360)를 기초로 제1 복원 손실을 산출할 수 있으며, 나아가 상기 동작 상태 데이터(320)와 상기 제2 복원 데이터(370)를 기초로 제2 복원 손실을 산출하는 것이 가능하다.
이에 따라, 상기 물류 로봇 상태 감시 시스템(120)에서는 상기 제1 복원 손실을 기초로 상기 센싱 데이터에 대한 이상 스코어(anomaly score)를 산출하고 나아가 상기 물류 로봇(110)에 대한 이상 상태 여부를 판별할 수 있다.
나아가, 상기 물류 로봇 상태 감시 시스템(120)에서는 상기 제1 복원 손실에 더하여 상기 제2 복원 손실을 함께 고려하여 상기 물류 로봇(110)에 대한 이상 상태 여부를 판별하는 것도 가능하다.
보다 구체적으로, 상기 제1 오토 인코더 신경망(210)과 상기 제2 오토 인코더 신경망(220)은 정상 상태의 물류 로봇(110)에 대한 센싱 데이터(310) 및 동작 상태 데이터(320) 등 정상 데이터를 이용하여 미리 학습된 신경망일 수 있으며, 이에 따라 상기 제1 오토 인코더 신경망(210)과 상기 제2 오토 인코더 신경망(220)에서는 정상 데이터가 입력되는 경우 입력되는 데이터와 오차가 적은 복원 데이터를 생성할 수 있다.
반면, 제1 오토 인코더 신경망(210)과 상기 제2 오토 인코더 신경망(220)에 이상 상태의 물류 로봇(110)에 대한 센싱 데이터(310) 및 동작 상태 데이터(320) 등 이상 데이터가 입력되는 경우, 상기 제1 오토 인코더 신경망(210)과 상기 제2 오토 인코더 신경망(220)에서는 상당한 오차를 가지는 복원 데이터가 생성될 수 있으며, 따라서 상기 제1 복원 손실 및 제2 복원 손실도 커질 수 있다.
이에 따라, 본 발명에서는 물류 로봇(110)의 동작에 대한 동작 상태 데이터(320)를 기초로 상기 물류 로봇(110)에 대한 동작 상태를 보다 효과적으로 식별하여 고려할 수 있고, 나아가 상기 동작 상태 데이터(320)에 대한 제2 레이턴드 벡터(340)를 상기 센싱 데이터(310)에 대한 제1 레이턴트 벡터(330)와 결합하여 처리함으로써 각 동작 상태에 대한 이상 여부를 정확하게 판단할 수 있게 된다.
나아가, 상기 제1 오토 인코더 신경망(210)과 상기 제2 오토 인코더 신경망(220)은 정상 데이터에 시간 윈도우(Time window)를 적용하여 학습된 신경망일 수 있다.
보다 구체적으로, 도 7에서 볼 수 있는 바와 같이, 상기 제1 오토 인코더 신경망(210)과 상기 제2 오토 인코더 신경망(220)에서는 시간 윈도우(Time window)를 적용하여 학습하거나 추론함으로써, 각 시간 구간에 대한 동작 상태를 세분화하여 판단할 수 있다(예를 들어, 도 7에서 곡선 진입 구간(Curve-in), 곡선 주행 구간(Curve), 곡선 종료 구간(Curve-out) 등).
또한, 도 5에서 볼 수 있는 바와 같이, 상기 제1 오토 인코더 신경망(210)과 상기 제2 오토 인코더 신경망(220)은 하나 이상의 ECA(Efficient Channel Attention) 블록을 이용하여 구성될 수 있으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 이외에도 다양한 신경망 구조를 기초로 구현하는 것이 가능하다.
이때, 도 5에서 볼 수 있는 바와 같이, 상기 제1 오토 인코더 신경망(210)과 상기 제2 오토 인코더 신경망(220)은 어텐션(attention) 구조(211a)와 스킵 커넥션(skip connection) 구조(211b)를 구비하여 구성될 수 있다.
나아가, 도 5에서 볼 수 있는 바와 같이, 상기 제2 오토 인코더 신경망(220)에서는 상기 센싱 데이터(310) 중 선별된 동작 상태 데이터(320)를 처리하게 되므로, 상기 제2 오토 인코더 신경망(220)의 계층 수는 상기 제1 오토 인코더 신경망(210)의 계층 수보다 적은 수로 구성될 수 있다.
보다 구체적으로, 도 8에서 볼 수 있는 바와 같이, 본 발명에서는 동작 인식에 기반한 물류 로봇(110)의 이상 상태 감지를 위하여 컨볼루션화(convolutionalization) 및 제로 패딩(zero padding)을 적용할 수 있고, 또한 ECA(Efficient Channel Attention) 블록 등을 이용하여 어텐션 맵을 적용할 수 있게 된다.
나아가, 도 9에서 볼 수 있는 바와 같이, 본 발명에서는 스킵 컨넥션 구조를 추가 적용하는 것도 가능하며. 특히 센서 데이터 공간(sensor data space)의 센싱 데이터(310)에 더하여 동작 상태 공간(operation states space)에 연속적으로 분포하는 동작 상태 데이터(320)를 함께 사용하여 학습을 수행하여 줌으로써, 본 발명에 따른 동작 이해 기반 물류 로봇 이상 감지 시스템(100)에서는 보다 효율적으로 물류 로봇(110)에 대한 이상 상태 여부를 판단할 수 있게 된다.
보다 구체적으로, 도 10에서 볼 수 있는 바와 같이, 종래에는 통상적으로 물류 로봇(110)의 동작 상태를 미리 정해진 개수의 라벨(예를 들어, 0. 정지, 1. 직선 구간 주행, 2. 곡선 구간 주행, 3. 슬라이드 로딩 구동, 4. 스테이션 로딩 구동 등)로 분류하여 처리하는 방식을 사용하였으나, 이에 대하여 본 발명에서는 동작 상태 데이터(320)로서 센서 등에서 측정되는 연속적인 데이터를 사용하여 물류 로봇(110)에 대한 이상 상태 여부를 판단하게 된다.
이에 따라, 도 11에서 볼 수 있는 바와 같이, 종래의 CRAE(Conditional Recurrent AutoEncoder) 기법 등과 대비할 때 본 발명에서는 물류 로봇(110)의 각 동작 상태에 대한 평균 복원 오차를 효과적으로 개선할 수 있게 된다.
또한, 도 12에서는 본 발명에 대한 보다 구체적인 실시예로서, 본 발명에 따른 제1 오토 인코더 신경망(210)과 제2 오토 인코더 신경망(220)에 대한 학습 단계에서의 알고리즘에 대한 의사 코드(pseudo code)(도 12의 (a))와 추론 단계에서의 알고리즘에 대한 의사 코드(pseudo code)(도 12의 (b))를 예시하고 있다.
이에 따라, 본 발명의 일 실시예에 따른 동작 이해 기반 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 물류 자동화 시스템(100)에서 각 개별 현장에 대한 도메인 지식의 축적을 위한 시간과 비용을 절감하면서 OHT(10) 등 물류 로봇(110)의 이상 상태를 감지하여 물류 로봇에 대한 유지 보수 비용을 최적화하면서 효율적으로 관리할 수 있게 되고, 나아가 OHT(10) 등 물류 로봇(110)에 대한 동작 라벨의 분류 및 숫자 등에 따라 물류 로봇(110)의 이상 상태 여부를 판별하기 위한 알고리즘의 성능이 크게 변동되는 문제를 개선하여 보다 효율적으로 물류 로봇의 이상 상태를 정확하게 감지할 수 있게 된다.
이에 대하여, 도 13 내지 도 21에서는 본 발명의 일 실시예에 따른 동작 이해 기반 물류 로봇 상태 감지 방법, 장치 및 시스템에 대한 성능 개선을 보여 주는 실험예를 설명하고 있다.
이때, 도 13 내지 도 21에서는 RAE(RNN-based Autoencoder), CRAE(Conditional Recurrent Autoencoder), CAE(Convolutional Autoencoder), ECA-AE(ECA-net based Autoencoder) 등과 대비하여 본 발명에 따른 듀얼 경로 오토 인코더(Dual Path AE)의 성능 개선을 설명하고 있다.
보다 구체적으로, 도 14에서는 시간 윈도우(Time window)를 1초(도 14의 (a)) 및 5초(도 14의 (b))로 설정한 경우에 대하여 다양한 동작 상황에 따른 AUROC(Area Under the Receiver Operating Characteristics) 수치를 보여주고 있으며, 이때 본 발명이 다수의 동작 상황에서 우수한 결과치를 보여 가장 우수한 성능을 가진다는 것을 확인할 수 있다.
이에 대하여, 도 15에서는 도 14의 결과치를 그래프로 보여주고 있으며, 보다 구체적으로 도 15의 (a)에서 볼 수 있는 바와 같이, 본 발명에서는 Mid Load, 0.9*speed1, 0.9*speed1,3의 동작 상황에서 현격하게 개선된 성능을 보여주며, 다른 동작 상황에서도 일부 개선되거나 유사한 성능을 보여주고 있다는 것을 확인할 수 있다.
나아가, 도 16의 (a)에서 볼 수 있는 바와 같이 물류 로봇(110)이 단순한 동작을 수행하고 있는 경우(simple operational states)에는 복원 에러가 작을 수 있으나, 도 16의 (b)에서 볼 수 있는 바와 같이 물류 로봇(110)이 복잡한 동작을 수행하고 있는 경우(complex operational states)에는 복원 에러가 크게 증가할 수 있는 바, 본 발명에서는 물류 로봇(110)이 복잡한 동작을 수행하고 있는 경우(complex operational states)에도 복원 에러를 효율적으로 억제할 수 있게 된다.
보다 구체적으로, 도 17에서는 시간 윈도우(Time window)를 1초(도 17의 (a)) 및 5초(도 17의 (b))로 설정한 경우에 대하여 동작의 복잡도가 증가함에 따른 복원 오류 수치를 보여주고 있으며, 이때 본 발명에서는 다른 기법들과 대비할 때 가장 우수한 복원 오류 특성을 보인다는 것을 확인할 수 있다.
또한, 도 18에서도 시간 윈도우(Time window)를 1초(도 18의 (a)) 및 5초(도 18의 (b))로 설정한 경우에 대하여 동작의 복잡도에 따른 복원 오류가 증가하면서 잘못된 알람을 제공하는 경우를 보여주고 있으며, 이때에도 본 발명에서는 다른 기법들과 대비할 때 가장 정확한 알람 성능을 보인다는 것을 확인할 수 있다.
보다 구체적으로, 도 19에서는 시간 윈도우(Time window)를 5초로 설정한 경우에 대하여 CRAE 와 본 발명에서의 복원 오류 특성을 예시하여 보여주고 있으며(도 19의 (a)), 이때 도 19의 (b)에서 볼 수 있는 바와 같이 CRAE의 경우 호이스트 속도(Hoist SP)와 호이스트 토크(Hoist TQ)에 대한 복원 오차가 크게 나타나는 반면, 본 발명에서는 호이스트 속도(Hoist SP)와 호이스트 토크(Hoist TQ)에 대한 복원 오차가 효과적으로 억제된 것을 알 수 있다.
이에 따라, 도 20에서 볼 수 있는 바와 같이, CRAE(도 20의 (a))와 대비할 때 본 발명(도 20의 (b))이 레이턴트 벡터 공간에서 보다 우수한 분리도(separability)를 보여주는 것을 확인할 수 있다.
또한, 도 21에서는 시간 윈도우(Time window)를 1초(도 21의 (a)) 및 5초(도 21의 (b))로 설정한 경우에 대하여 다양한 동작 상황에 따른 AUROC(Area Under the Receiver Operating Characteristics) 수치를 본 발명의 경우와 제1 오토 인코더 신경망(210) 뿐만 아니라 제2 오토 인코더 신경망(220)에서도 센싱 데이터(310)를 입력으로 하는 경우(Full-Dual)를 대비하여 보여주고 있으며, 여기서도 본 발명이 다수의 동작 상황에서 보다 우수한 결과치를 보여 주는 것을 확인할 수 있다.
이에 따라, 도 22에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 동작 이해 기반 물류 로봇 이상 감지 방법, 장치 및 시스템에서는 각 현장에 대한 다양한 도메인 지식의 축적 및 분석에 상당한 시간과 비용이 소요되는 문제를 효과적으로 개선하여, 도메인 지식에 의존하지 않고 물류 로봇(110)에 대한 이상 감지를 보다 정확하게 처리할 수 있는 시스템을 신속하게 배포하여 적용할 수 있게 된다.
또한, 본 발명의 또 다른 측면에 따른 컴퓨터 프로그램은 앞서 살핀 동작 이해 기반 물류 로봇 상태 감지 방법의 각 단계를 컴퓨터에서 실행시키기 위하여 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램인 것을 특징으로 한다. 상기 컴퓨터 프로그램은 컴파일러에 의해 만들어지는 기계어 코드를 포함하는 컴퓨터 프로그램뿐만 아니라, 인터프리터 등을 사용해서 컴퓨터에서 실행될 수 있는 고급 언어 코드를 포함하는 컴퓨터 프로그램일 수도 있다. 이때, 상기 컴퓨터로서는 퍼스널 컴퓨터(PC)나 노트북 컴퓨터 등에 한정되지 아니하며, 서버, 스마트폰, 태블릿 PC, PDA, 휴대전화 등과 같이 중앙처리장치(CPU) 등 프로세서를 구비하여 컴퓨터 프로그램을 실행할 수 있는 일체의 정보처리 장치를 포함한다.
또한, 상기 컴퓨터로 판독 가능한 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
또한, 도 23에서는 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 시스템(120)의 구성도를 예시하고 있다.
도 23에서 볼 수 있는 바와 같이 본 발명의 일 실시예에 따른 물류 로봇 상태 감지 시스템(120)은 센싱 데이터 수집부(121), 동작 상태 데이터 선별부(122), 복원 손실 산출부(123) 및 물류 로봇 상태 판별부(124)를 포함하여 구성될 수 있다.
아래에서는 본 발명의 일 실시예에 따른 따른 물류 로봇 상태 감지 시스템(120)을 각 구성요소 별로 나누어 살핀다. 본 발명의 일 실시예에 따른 따른 물류 로봇 상태 감지 시스템(120)에 대한 보다 자세한 내용은 앞서 설명한 본 발명의 일 실시예에 따른 동작 이해 기반 물류 로봇 상태 감지 방법에 대한 설명으로부터 유추될 수 있는 바, 아래에서 보다 자세한 설명은 생략한다.
먼저, 상기 센싱 데이터 수집부(121)에서는 하나 이상의 물류 로봇(110)에 대하여 복수 종류의 센싱 데이터(310)를 수집하게 된다.
또한, 상기 동작 상태 데이터 선별부(122)에서는 상기 센싱 데이터(310) 중 상기 물류 로봇(110)의 동작에 대한 하나 이상의 동작 상태 데이터(320)를 선별하게 된다.
또한, 상기 복원 손실 산출부(123)에서는 상기 센싱 데이터(310)를 미리 학습된 제1 오토 인코더(autoencoder) 신경망(210)으로 입력하여 제1 복원 손실(reconstruction loss)을 산출하고, 상기 하나 이상의 동작 상태 데이터(320)를 미리 학습된 제2 오토 인코더 신경망(220)으로 입력하여 제2 복원 손실을 산출하게 된다.
또한, 상기 물류 로봇 상태 판별부(124)에서는 상기 제1 복원 손실을 기초로 산출되는 이상 스코어(anomaly score)를 이용하여 물류 로봇(110)에 대한 상태를 판별하게 된다.
여기서, 상기 제2 오토 인코더 신경망(220)에서 생성되는 제2 레이턴트 벡터(latent vector)(340)는 상기 제1 오토 인코더 신경망(210)으로 전달되어 상기 제1 오토 인코더 신경망(210)에서 생성되는 제1 레이턴트 벡터(330)와 결합되어 처리된다.
이때, 상기 제1 오토 인코더 신경망(210)과 상기 제2 오토 인코더 신경망(220)은 물류 로봇(110)에 대한 정상 데이터를 이용하여 미리 학습된 신경망일 수 있다.
또한, 상기 제1 오토 인코더 신경망(210)과 상기 제2 오토 인코더 신경망(220)은 정상 데이터에 시간 윈도우를 적용하여 학습된 신경망일 수 있다.
또한, 상기 물류 로봇(110)이 천장 대차 장치(OHT)(10)인 경우, 상기 동작 상태 데이터(320)에는 상기 천장 대차 장치(OHT)(10)의 전방 및 후방 휠 속도 데이터, 호이스트(hoist) 속도 데이터, 슬라이드(slide) 속도 데이터, 방향 회전(yaw) 데이터 중 하나 이상이 포함될 수 있다.
또한, 상기 물류 로봇 상태 판별부(124)에서는, 상기 제1 복원 손실에 더하여 상기 제2 복원 손실을 함께 고려하여 상기 물류 로봇(110)에 대한 상태를 판별할 수 있다.
또한, 상기 제1 오토 인코더 신경망(210)과 상기 제2 오토 인코더 신경망(220)은, 어텐션(attention) 구조와 스킵 커넥션(skip connection) 구조를 구비하여 구성될 수 있다.
또한, 상기 제2 오토 인코더 신경망(220)의 계층 수는 상기 제1 오토 인코더 신경망(210)의 계층 수보다 적을 수 있다.
이에 따라, 본 발명의 일 실시예에 따른 동작 이해 기반 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, 물류 자동화 시스템(100)에서 각 개별 현장에 대한 도메인 지식의 축적을 위한 시간과 비용을 절감하면서 OHT(10) 등 물류 로봇(110)의 이상 상태를 감지하여 물류 로봇(110)에 대한 유지 보수 비용을 최적화하면서 효율적으로 관리할 수 있게 된다.
또한, 본 발명의 일 실시예에 따른 동작 이해 기반 물류 로봇 상태 감지 방법, 장치 및 시스템에서는, OHT(10) 등 물류 로봇(110)에 대한 동작 라벨의 분류 및 숫자 등에 따라 물류 로봇(110)의 이상 상태 여부를 판별하기 위한 알고리즘의 성능이 크게 변동되는 문제를 개선하여 보다 효율적으로 물류 로봇(110)의 이상 상태를 정확하게 감지할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
10 : OHT
100 : 물류 자동화 시스템
110, 110a, 110b, 110n : 물류 로봇
120 : 물류 로봇 상태 감지 시스템
121 : 센싱 데이터 수집부
122 : 동작 상태 데이터 선별부
123 : 복원 손실 산출부
124 : 물류 로봇 상태 판별부
130 : 통신 네트워크
210 : 제1 오토 인코더 신경망
211 : 신경망 단위 블록
220 : 제2 오토 인코더 신경망
310 : 센싱 데이터
320 : 동작 상태 데이터
330 : 제1 레이턴트 벡터
340 : 제2 레이턴트 벡터
350 : 결합부
360 : 제1 복원 데이터
370 : 제2 복원 데이터

Claims (15)

  1. 물류 자동화 시스템에서 구동되는 물류 로봇에 대한 상태를 감지하는 방법에 있어서,
    물류 로봇 상태 감지 시스템이, 하나 이상의 물류 로봇에 대하여 복수 종류의 센싱 데이터를 수집하는 단계;
    상기 센싱 데이터 중 상기 물류 로봇의 동작에 대한 하나 이상의 동작 상태 데이터를 선별하는 단계;
    상기 센싱 데이터를 미리 학습된 제1 오토 인코더(autoencoder) 신경망으로 입력하여 제1 복원 손실(reconstruction loss)을 산출하고, 상기 하나 이상의 동작 상태 데이터를 미리 학습된 제2 오토 인코더 신경망으로 입력하여 제2 복원 손실을 산출하는 단계; 및
    상기 제1 복원 손실을 기초로 산출되는 이상 스코어(anomaly score)를 이용하여 물류 로봇에 대한 상태를 판별하는 단계;를 포함하며,
    상기 제2 오토 인코더 신경망에서 생성되는 제2 레이턴트 벡터(latent vector)는 상기 제1 오토 인코더 신경망으로 전달되어 상기 제1 오토 인코더 신경망에서 생성되는 제1 레이턴트 벡터와 결합되어 처리되는 것을 특징으로 하는 물류 로봇 상태 감지 방법.
  2. 제1항에 있어서,
    상기 제1 오토 인코더 신경망과 상기 제2 오토 인코더 신경망은 물류 로봇에 대한 정상 데이터를 이용하여 미리 학습된 신경망인 것을 특징으로 하는 물류 로봇 상태 감지 방법.
  3. 제1항에 있어서,
    상기 제1 오토 인코더 신경망과 상기 제2 오토 인코더 신경망은 정상 데이터에 시간 윈도우를 적용하여 학습된 신경망인 것을 특징으로 하는 물류 로봇 상태 감지 방법.
  4. 제1항에 있어서,
    상기 물류 로봇이 천장 대차 장치(OHT)인 경우,
    상기 동작 상태 데이터에는 상기 천장 대차 장치(OHT)의 전방 및 후방 휠 속도 데이터, 호이스트(hoist) 속도 데이터, 슬라이드(slide) 속도 데이터, 방향 회전(yaw) 데이터 중 하나 이상이 포함되는 것을 특징으로 하는 물류 로봇 상태 감지 방법.
  5. 제1항에 있어서,
    상기 판별하는 단계에서는,
    상기 제1 복원 손실에 더하여 상기 제2 복원 손실을 함께 고려하여 상기 물류 로봇에 대한 상태를 판별하는 것을 특징으로 하는 물류 로봇 상태 감지 방법.
  6. 제1항에 있어서,
    상기 제1 오토 인코더 신경망과 상기 제2 오토 인코더 신경망은,
    어텐션(attention) 구조와 스킵 커넥션(skip connection) 구조를 구비하여 구성되는 것을 특징으로 하는 물류 로봇 상태 감지 방법.
  7. 제1항에 있어서,
    상기 제2 오토 인코더 신경망의 계층 수는 상기 제1 오토 인코더 신경망의 계층 수보다 적은 것을 특징으로 하는 물류 로봇 상태 감지 방법.
  8. 컴퓨터에서 제1항 내지 제7항 중 어느 한 항에 기재된 각 단계를 실행시키기 위한 컴퓨터로 판독 가능한 매체에 저장된 컴퓨터 프로그램.
  9. 물류 자동화 시스템에서 구동되는 물류 로봇에 대한 상태를 감지하는 시스템에 있어서,
    하나 이상의 물류 로봇에 대하여 복수 종류의 센싱 데이터를 수집하는 센싱 데이터 수집부;
    상기 센싱 데이터 중 상기 물류 로봇의 동작에 대한 하나 이상의 동작 상태 데이터를 선별하는 동작 상태 데이터 선별부;
    상기 센싱 데이터를 미리 학습된 제1 오토 인코더(autoencoder) 신경망으로 입력하여 제1 복원 손실(reconstruction loss)을 산출하고, 상기 하나 이상의 동작 상태 데이터를 미리 학습된 제2 오토 인코더 신경망으로 입력하여 제2 복원 손실을 산출하는 복원 손실 산출부; 및
    상기 제1 복원 손실을 기초로 산출되는 이상 스코어(anomaly score)를 이용하여 물류 로봇에 대한 상태를 판별하는 물류 로봇 상태 판별부;를 포함하며,
    상기 제2 오토 인코더 신경망에서 생성되는 제2 레이턴트 벡터(latent vector)는 상기 제1 오토 인코더 신경망으로 전달되어 상기 제1 오토 인코더 신경망에서 생성되는 제1 레이턴트 벡터와 결합되어 처리되는 것을 특징으로 하는 물류 로봇 상태 감지 시스템.
  10. 제9항에 있어서,
    상기 제1 오토 인코더 신경망과 상기 제2 오토 인코더 신경망은 물류 로봇에 대한 정상 데이터를 이용하여 미리 학습된 신경망인 것을 특징으로 하는 물류 로봇 상태 감지 시스템.
  11. 제9항에 있어서,
    상기 제1 오토 인코더 신경망과 상기 제2 오토 인코더 신경망은 정상 데이터에 시간 윈도우를 적용하여 학습된 신경망인 것을 특징으로 하는 물류 로봇 상태 감지 시스템.
  12. 제9항에 있어서,
    상기 물류 로봇이 천장 대차 장치(OHT)인 경우,
    상기 동작 상태 데이터에는 상기 천장 대차 장치(OHT)의 전방 및 후방 휠 속도 데이터, 호이스트(hoist) 속도 데이터, 슬라이드(slide) 속도 데이터, 방향 회전(yaw) 데이터 중 하나 이상이 포함되는 것을 특징으로 하는 물류 로봇 상태 감지 시스템.
  13. 제9항에 있어서,
    상기 물류 로봇 상태 판별부에서는,
    상기 제1 복원 손실에 더하여 상기 제2 복원 손실을 함께 고려하여 상기 물류 로봇에 대한 상태를 판별하는 것을 특징으로 하는 물류 로봇 상태 감지 시스템.
  14. 제9항에 있어서,
    상기 제1 오토 인코더 신경망과 상기 제2 오토 인코더 신경망은,
    어텐션(attention) 구조와 스킵 커넥션(skip connection) 구조를 구비하여 구성되는 것을 특징으로 하는 물류 로봇 상태 감지 시스템.
  15. 제9항에 있어서,
    상기 제2 오토 인코더 신경망의 계층 수는 상기 제1 오토 인코더 신경망의 계층 수보다 적은 것을 특징으로 하는 물류 로봇 상태 감지 시스템.
KR1020230121743A 2022-11-16 2023-09-13 동작 이해 기반 물류 로봇 이상 감지 방법, 장치 및 시스템 KR20240072024A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2023/013768 WO2024106720A1 (ko) 2022-11-16 2023-09-14 동작 이해 기반 물류 로봇 이상 감지 방법, 장치 및 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20220153502 2022-11-16
KR1020220153502 2022-11-16

Publications (1)

Publication Number Publication Date
KR20240072024A true KR20240072024A (ko) 2024-05-23

Family

ID=91283652

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230121743A KR20240072024A (ko) 2022-11-16 2023-09-13 동작 이해 기반 물류 로봇 이상 감지 방법, 장치 및 시스템

Country Status (1)

Country Link
KR (1) KR20240072024A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101845385B1 (ko) 2016-09-29 2018-05-18 주식회사 에스에프에이 이송대차 시스템 및 이송대차 시스템의 고장차량 견인방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101845385B1 (ko) 2016-09-29 2018-05-18 주식회사 에스에프에이 이송대차 시스템 및 이송대차 시스템의 고장차량 견인방법

Similar Documents

Publication Publication Date Title
Choi et al. Deep learning for anomaly detection in time-series data: Review, analysis, and guidelines
JP5110405B2 (ja) 走行台車システム
Lee et al. Intelligent traffic control for autonomous vehicle systems based on machine learning
Dall'Ora et al. Digital transformation of a production line: Network design, online data collection and energy monitoring
Fazlollahtabar et al. Integration of fault tree analysis, reliability block diagram and hazard decision tree for industrial robot reliability evaluation
Farid et al. Task-relevant failure detection for trajectory predictors in autonomous vehicles
CN110817220A (zh) 一种rgv避让方法、rgv及rgv避让系统
CN113985877A (zh) 一种基于数字孪生的仓储物流路径自动引导系统
CN115946132A (zh) 一种智能密集库与物流机器人系统及其故障监测方法
KR20240072024A (ko) 동작 이해 기반 물류 로봇 이상 감지 방법, 장치 및 시스템
AU2021325403A1 (en) System and method for mapping risks in a warehouse environment
KR101353928B1 (ko) 무선 센서 네트워크를 이용한 크레인 관리 장치
Srinivasan et al. Identifying the requirements for resilient production control systems
WO2024106720A1 (ko) 동작 이해 기반 물류 로봇 이상 감지 방법, 장치 및 시스템
KR20230072441A (ko) 물류 로봇 이상 감지 방법, 장치 및 시스템
Soltani et al. Towards energy-aware cyber-physical systems verification and optimization
US7788534B2 (en) Method for monitoring and managing a client device in a distributed autonomic computing environment
Lee et al. Digital Twin Simulation and Optimization of Manufacturing Process Flows
CN110119913B (zh) 检测路径异常的方法和装置
Ogorelysheva et al. On troubleshooting in agv-based autonomous systems
KR102649422B1 (ko) 운전 정보 제공 장치 및 방법
CN118051036B (zh) 一种基于任务分段协同的业务调度控制系统
CN117035372B (zh) 一种oht调度处理方法及装置
JP6996795B2 (ja) 無人搬送車の予知保全装置及びその予知保全方法
CN117729563A (zh) 5g网络下多agv网络组网路径规划的扰动容错控制方法