KR20230163614A - A outlier detection methods for amr-control using unsupervised anomaly detection and rule-based inferencing and a outlier detection system - Google Patents
A outlier detection methods for amr-control using unsupervised anomaly detection and rule-based inferencing and a outlier detection system Download PDFInfo
- Publication number
- KR20230163614A KR20230163614A KR1020220062750A KR20220062750A KR20230163614A KR 20230163614 A KR20230163614 A KR 20230163614A KR 1020220062750 A KR1020220062750 A KR 1020220062750A KR 20220062750 A KR20220062750 A KR 20220062750A KR 20230163614 A KR20230163614 A KR 20230163614A
- Authority
- KR
- South Korea
- Prior art keywords
- rule
- autonomous mobile
- mobile robot
- anomaly detection
- information
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013450 outlier detection Methods 0.000 title abstract description 31
- 230000002159 abnormal effect Effects 0.000 claims abstract description 78
- 230000009471 action Effects 0.000 claims abstract description 30
- 230000000007 visual effect Effects 0.000 claims abstract description 22
- 238000013135 deep learning Methods 0.000 claims abstract description 14
- 230000003936 working memory Effects 0.000 claims description 29
- 238000012544 monitoring process Methods 0.000 claims description 16
- 238000007689 inspection Methods 0.000 claims description 11
- 230000006399 behavior Effects 0.000 claims description 4
- 238000013136 deep learning model Methods 0.000 abstract description 4
- 230000001276 controlling effect Effects 0.000 description 23
- 230000008569 process Effects 0.000 description 15
- 230000000875 corresponding effect Effects 0.000 description 9
- 230000002950 deficient Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 5
- 238000002372 labelling Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000009897 systematic effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000004801 process automation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
Abstract
본 발명은 자율이동로봇 제어용 이상치 검출 시스템에 관한 것으로, 보다 구체적으로는 물류 로봇으로 많이 사용하는 무인운반차(지능형 자율이동로봇, AMR)에서 비지도 학습 기반의 딥러닝 모델을 사용하여 위험 상황과 같은 비정상적인 상황을 비전으로 인지하고 규칙 기반 추론엔진을 사용하여 비정상적인 상황을 운용자에게 알려주거나 무인운반차 스스로 행위를 수행하도록 하기 위한 비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템에 관한 것이다.
상기 목적을 달성하기 위하여, 본 발명은, 적어도 하나 이상의 임의의 객체로부터 반사되는 빛을 수광하여 시각 정보를 획득하기 위한 카메라부; 상기 획득된 시각 정보를 기초로 객체의 비정상적인 상황을 인지하기 위한 비정상 상황 인지 모델이 정의되어 있고, 해당 모델을 기반으로 비지도 학습방식의 딥러닝을 이용하여 상기 획득된 시각 정보에 대한 비정상 상황을 추론하기 위한 비정상 상황 인지 추론엔진부; 및 상기 추론된 정보와 사전에 정의된 규칙 기반 지식 정보 상호 간 매칭되는 규칙을 검사하여 지능형 자율이동로봇을 통한 이상을 탐지하기 위한 규칙 기반 추론엔진부;를 포함하는 것을 특징으로 한다.The present invention relates to an anomaly detection system for controlling autonomous mobile robots. More specifically, it uses a deep learning model based on unsupervised learning in unmanned guided vehicles (intelligent autonomous mobile robots, AMR), which are widely used as logistics robots, to identify risk situations and Outlier detection for autonomous mobile robot control using unsupervised anomaly detection and rule-based inference to recognize the same abnormal situation with vision and use a rule-based inference engine to notify the operator of the abnormal situation or allow the unmanned guided vehicle to take action on its own. It's about the system.
In order to achieve the above object, the present invention includes: a camera unit for acquiring visual information by receiving light reflected from at least one arbitrary object; An abnormal situation recognition model is defined for recognizing abnormal situations of an object based on the acquired visual information, and based on the model, an abnormal situation for the acquired visual information is identified using deep learning in an unsupervised learning method. Abnormal situation recognition inference engine unit for inference; and a rule-based inference engine unit for detecting anomalies through an intelligent autonomous mobile robot by examining rules matching between the inferred information and predefined rule-based knowledge information.
Description
본 발명은 자율이동로봇 제어용 이상치 검출 방법 및 이상치 검출 시스템 에 관한 것으로, 보다 구체적으로는 물류 로봇으로 많이 사용하는 무인운반차(지능형 자율이동로봇, AMR)에서 비지도 학습 기반의 딥러닝 모델을 사용하여 위험 상황과 같은 비정상적인 상황을 비전으로 인지하고 규칙 기반 추론엔진을 사용하여 비정상적인 상황을 운용자에게 알려주거나 무인운반차 스스로 행위를 수행하도록 하기 위한 비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 방법 및 이상치 검출 시스템에 관한 것이다. The present invention relates to an outlier detection method and an outlier detection system for controlling autonomous mobile robots. More specifically, it uses a deep learning model based on unsupervised learning in unmanned guided vehicles (intelligent autonomous mobile robots, AMR), which are widely used as logistics robots. Autonomous movement using unsupervised anomaly detection and rule-based reasoning to recognize abnormal situations such as dangerous situations with vision and notify the operator of abnormal situations using a rule-based reasoning engine, or allow the unmanned guided vehicle to perform actions on its own. This relates to an outlier detection method and outlier detection system for robot control.
딥 러닝(deep learning) 심층학습은 여러 비선형 변환 기법의 조합을 통해 높은 수준의 추상을 시도하는 기계학습(machine learning) 알고리즘의 집합으로 정의되며, 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야라고 볼 수 있다. Deep learning Deep learning is defined as a set of machine learning algorithms that attempt a high level of abstraction through a combination of several non-linear transformation techniques. In the larger framework, machine learning is used to teach computers about human thinking. It can be seen as a field of
또한, 어떠한 데이터가 있을 때 이를 컴퓨터가 알아들을 수 있는 형태로 표현하고 이를 학습에 적용하기 위해 많은 연구가 진행되고 있으며, 이러한 노력의 결과로 deep neural networks, convolutional deep neural networks, deep belief networks와 같은 다양한 딥 러닝 기법들이 컴퓨터비젼, 음성인식, 자연어처리, 음성/신호처리 등의 분야에 적용되어 최첨단의 결과들을 보여주고 있다.In addition, a lot of research is being done to express certain data in a form that computers can understand and apply it to learning. As a result of these efforts, various types of data such as deep neural networks, convolutional deep neural networks, and deep belief networks are being developed. Deep learning techniques are being applied to fields such as computer vision, speech recognition, natural language processing, and voice/signal processing, showing cutting-edge results.
또한, 현재 제조 시설, 유통센터 등에서 많이 사용하는 무인운반차는 AGV(Automatic Guided Vehicle)로서 물품을 이동시키는데 많이 사용하고 있지만, 최근 들어서 AMR(Autonomous Mobile Robot)이 많이 관심을 받으면서 관련 기업들이 이 시장을 선점하기 위해 노력하고 있다. In addition, the unmanned guided vehicle currently widely used in manufacturing facilities, distribution centers, etc. is AGV (Automatic Guided Vehicle), which is widely used to move goods, but as AMR (Autonomous Mobile Robot) has recently received a lot of attention, related companies are entering this market. We are trying to dominate.
또한, AGV와 AMR의 가장 큰 차이점은 경로 탐색 과정에서 경로를 유도하기 위한 주변장치의 사용 여부이며, AMR은 주변장치 없이 본체에 부착된 레이더와 카메라 정보만을 통해서 스스로 장애물을 회피하여 목적지에 도달할 수 있다.In addition, the biggest difference between AGV and AMR is whether or not peripheral devices are used to guide the path during the route search process, and AMR can avoid obstacles on its own and reach the destination without peripheral devices using only radar and camera information attached to the main body. You can.
하지만, 종래기술의 가장 큰 문제점 혹은 차이점은 지도학습 방식을 사용한다는 점으로서, 지도학습을 하기 위해서는 다량의 정상데이터 뿐만 아니라 불량(이상)데이터도 필요한데 산업현장에서 다량의 불량데이터를 수집하기는 쉽지 않다.However, the biggest problem or difference with the prior art is that it uses a supervised learning method. In order to perform supervised learning, not only a large amount of normal data but also defective (abnormal) data is required, but it is not easy to collect a large amount of defective data in industrial sites. not.
또한, 학습에 사용되지 않았던 이상 유형이 나타날 경우, 엉뚱한 결과를 도출할 수 있는 문제가 있기 때문에 정확한 예측이 불가능하고, 더 나아가, 이상 탐지는 하였지만 그 결과를 기반으로 어떠한 행동을 하도록 할 수 있는 체계적인 방법론이 현실적으로 부재한 실상이다.In addition, if an abnormality type that was not used in learning appears, there is a problem that incorrect results can be derived, making accurate prediction impossible. Furthermore, although an abnormality has been detected, there is no systematic method to take any action based on the result. The reality is that methodology is practically absent.
이에 따라, 지도학습 방식을 사용하고, 불확실한 예측 및 이상 탐지를 기초로 행하여 지는 체계적인 방법론 부재인 환경을 벗어나, 물류 로봇으로 많이 사용하는 무인운반차(지능형 자율이동로봇, AMR)에서 비지도 학습 기반의 딥러닝 모델을 사용하여 위험 상황과 같은 비정상적인 상황을 비전으로 인지하고 규칙 기반 추론엔진을 사용하여 비정상적인 상황을 운용자에게 알려주거나 무인운반차 스스로 행위를 수행하도록 하기 위한 비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템이 요구되고 있는 실정이다.Accordingly, supervised learning methods are used and, based on uncertain predictions and anomaly detection, escaping from an environment lacking a systematic methodology, unsupervised learning-based Using a deep learning model, abnormal situations such as dangerous situations can be recognized with vision, and a rule-based inference engine can be used to notify the operator of abnormal situations or allow the unmanned guided vehicle to perform actions on its own. Unsupervised anomaly detection and rule-based There is a demand for an outlier detection system for controlling autonomous mobile robots using inference.
본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 안출 된 것으로서, 지도학습 방식을 사용하고, 불확실한 예측 및 이상 탐지를 기초로 행하여 지는 체계적인 방법론 부재인 환경을 벗어나, 물류 로봇으로 많이 사용하는 무인운반차(지능형 자율이동로봇, AMR)에서 비지도 학습 기반의 딥러닝 모델을 사용하여 위험 상황과 같은 비정상적인 상황을 비전으로 인지하고 규칙 기반 추론엔진을 사용하여 비정상적인 상황을 운용자에게 알려주거나 무인운반차 스스로 행위를 수행하도록 하기 위한 비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템을 제공하는데 그 목적이 있다.The present invention was developed to solve the problems of the prior art described above. It uses a supervised learning method and is based on uncertain prediction and abnormality detection, escaping from an environment lacking a systematic methodology, and is widely used as a logistics robot for unmanned transportation. In a car (intelligent autonomous mobile robot, AMR), an unsupervised learning-based deep learning model is used to recognize abnormal situations such as dangerous situations with vision, and a rule-based inference engine is used to notify the operator of abnormal situations or autonomous guided vehicles themselves. The purpose is to provide an anomaly detection system for autonomous mobile robot control that utilizes unsupervised anomaly detection and rule-based reasoning to perform actions.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical challenges that this embodiment aims to achieve are not limited to the technical challenges described above, and other technical challenges may exist.
상기 목적을 달성하기 위하여, 본 발명은, 적어도 하나 이상의 임의의 객체로부터 반사되는 빛을 수광하여 시각 정보를 획득하기 위한 카메라부; 상기 획득된 시각 정보를 기초로 객체의 비정상적인 상황을 인지하기 위한 비정상 상황 인지 모델이 정의되어 있고, 해당 모델을 기반으로 비지도 학습방식의 딥러닝을 이용하여 상기 획득된 시각 정보에 대한 비정상 상황을 추론하기 위한 비정상 상황 인지 추론엔진부; 및 상기 추론된 정보와 사전에 정의된 규칙 기반 지식 정보 상호 간 매칭되는 규칙을 검사하여 지능형 자율이동로봇을 통한 이상을 탐지하기 위한 규칙 기반 추론엔진부;를 포함하는 것을 특징으로 한다.In order to achieve the above object, the present invention includes: a camera unit for acquiring visual information by receiving light reflected from at least one arbitrary object; An abnormal situation recognition model is defined to recognize abnormal situations of objects based on the acquired visual information, and based on the model, an abnormal situation for the acquired visual information is identified using deep learning in an unsupervised learning method. Abnormal situation recognition inference engine unit for inference; and a rule-based inference engine unit for detecting anomalies through an intelligent autonomous mobile robot by examining rules matching between the inferred information and predefined rule-based knowledge information.
또한, 상기 비정상 상황 인지 모델은, 적어도 하나 이상의 카메라부를 통해 획득되는 시각 정보에 따른 정상 상황 정보를 기반으로 학습된 모델인 것을 특징으로 한다.In addition, the abnormal situation recognition model is characterized as a model learned based on normal situation information according to visual information acquired through at least one camera unit.
또한, 자율이동로봇 제어용 이상치 검출 시스템은, 비정상 상황 인지 추론엔진부에 의해 추론된 정보를 작업기억(Working Memory)에 사실(Fact) 형태로 저장하여 관리하기 위한 작업기억부를 더 포함하는 것을 특징으로 한다.In addition, the outlier detection system for autonomous mobile robot control further includes a working memory unit for storing and managing the information inferred by the abnormal situation recognition inference engine unit in the form of facts in working memory. do.
또한, 상기 규칙 기반 추론엔진부는, 사전에 정의된 적어도 하나 이상의 규칙 기반 지식 정보의 규칙 정보와 작업기억(Working Memory)에 사실(Fact) 형태로 관리되는 추론된 정보 상호 간 매칭되는 규칙을 검사하는 것을 특징으로 한다.In addition, the rule-based inference engine unit checks rules that match between rule information of at least one rule-based knowledge information defined in advance and inferred information managed in the form of facts in working memory. It is characterized by
또한, 상기 작업기억부는, 규칙 기반 추론엔진부에 의한 검사에 따라 매칭이 되는 경우에, 매칭된 규칙 정보의 행위에 해당하는 사실(Fact) 형태를 작업기억(Working Memory)으로서 저장하여 관리하는 것을 특징으로 한다.In addition, the working memory unit stores and manages the fact form corresponding to the action of the matched rule information as working memory when a match is made according to the inspection by the rule-based inference engine unit. It is characterized by
또한, 상기 자율이동로봇 제어용 이상치 검출 시스템은, 획득된 시각 정보에 대한 추론되는 비정상 상황을 실시간으로 모니터링하기 위한 비정상 상황 모니터링부를 더 포함하는 것을 특징으로 한다.In addition, the outlier detection system for controlling an autonomous mobile robot further includes an abnormal situation monitoring unit for monitoring in real time an abnormal situation inferred from the acquired visual information.
또한, 상기 자율이동로봇 제어용 이상치 검출 시스템은, 지능형 자율이동로봇을 제어하기 위한 지능형 자율이동로봇 매니저부를 더 포함하는 것을 특징으로 한다.In addition, the outlier detection system for controlling an autonomous mobile robot further includes an intelligent autonomous mobile robot manager unit for controlling the intelligent autonomous mobile robot.
또한, 상기 지능형 자율이동로봇 매니저부는, 규칙 기반 추론엔진부에 의한 검사에 따라 매칭이 되는 경우에, 매칭된 규칙 정보의 행위를 지능형 자율이동로봇에게 명령하는 것을 특징으로 한다.In addition, the intelligent autonomous mobile robot manager unit is characterized in that, when a match is made according to the inspection by the rule-based inference engine unit, it commands the intelligent autonomous mobile robot to take action based on the matched rule information.
또한, 상기 자율이동로봇 제어용 이상치 검출 시스템은, 규칙 기반 추론엔진부에 의한 검사에 따라 매칭이 되는 경우에, 매칭된 규칙 정보의 행위 정보를 수신하기 위한 운용자 단말기를 더 포함하는 것을 특징으로 한다.In addition, the outlier detection system for controlling an autonomous mobile robot is characterized by further including an operator terminal for receiving action information of the matched rule information when a match is made according to the inspection by the rule-based inference engine unit.
또한, 상기 운용자 단말기는, 매칭된 규칙 정보를 통한 행위 정보 알림을 표시하는 것을 특징으로 한다.Additionally, the operator terminal is characterized in that it displays a behavior information notification through matched rule information.
본 발명에 따른 비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템은, 물류 로봇으로 많이 사용하는 무인운반차(지능형 자율이동로봇, AMR)에서 비지도 학습 기반의 딥러닝 모델을 사용하여 위험 상황과 같은 비정상적인 상황을 비전으로 인지하고 규칙 기반 추론엔진을 사용하여 비정상적인 상황을 운용자에게 알려주거나 무인운반차 스스로 행위를 수행하도록 하기 위한 비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템을 제공할 수 있다.The outlier detection system for controlling autonomous mobile robots using unsupervised anomaly detection and rule-based reasoning according to the present invention provides deep learning based on unsupervised learning in unmanned guided vehicles (intelligent autonomous mobile robots, AMR), which are widely used as logistics robots. Uses a model to recognize abnormal situations such as dangerous situations with vision, uses a rule-based inference engine to notify the operator of abnormal situations, or utilizes unsupervised anomaly detection and rule-based reasoning to enable the autonomous guided vehicle to perform actions on its own. An outlier detection system for controlling an autonomous mobile robot can be provided.
또한, 상기 효과를 토대로, 본 발명에서 사용한 딥러닝 알고리즘은 Anomaly Detection 알고리즘 중 하나로서 정상적인 상황의 영상 데이터만 사용하기 때문에 데이터 수집이 쉽다는 점과 정답을 레이블링 할 필요가 없다.In addition, based on the above effects, the deep learning algorithm used in the present invention is one of the Anomaly Detection algorithms and uses only image data in normal situations, so data collection is easy and there is no need to label the correct answer.
또한, 상기 효과를 토대로, 규칙 기반 추론방식을 사용하여 사용자가 손쉽게 규칙을 정의하고 수정할 수 있어서 환경 변화에 유연한 대응이 가능하다.In addition, based on the above effects, users can easily define and modify rules using a rule-based reasoning method, enabling flexible response to environmental changes.
또한, 상기 효과를 토대로, 스스로가 주변의 이상 환경을 탐지하고 능동적으로 상황을 대처하는 기술을 제공한다.In addition, based on the above effects, it provides technology to detect abnormal surroundings and actively cope with the situation.
또한, 상기 효과를 토대로, AMR을 사용하는 제조, 유통업에서 발생할 수 있는 이상 현상을 AMR이 스스로 탐지하고 알려줄 수 있도록 하여 작업의 효율을 높일 수 있으며 작업자와의 좀 더 유기적인 협력을 유도할 수 있다.In addition, based on the above effects, work efficiency can be increased by allowing AMR to detect and notify abnormalities that may occur in manufacturing and distribution industries that use AMR, and more organic cooperation with workers can be induced. .
다만, 본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.However, the effects of the present invention are not limited to the effects described above, and effects not mentioned can be clearly understood by those skilled in the art from this specification and the attached drawings.
도 1은 본 발명의 일 실시예에 따른 비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템의 개념도
도 2는 본 발명의 일 실시예에 따른 비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템의 전체 구성도
도 3은 본 발명의 일 실시예에 따른 비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템의 세부 구성도
도 4는 본 발명의 일 실시예에 따른 비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템의 비정상 상황 모니터링부 예시도
도 5는 본 발명의 일 실시예에 따른 비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템의 규칙 생성 도구 예시도
도 6은 본 발명의 일 실시예에 따른 비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템의 규칙 생성 도구 편집 예시도Figure 1 is a conceptual diagram of an outlier detection system for controlling an autonomous mobile robot using unsupervised anomaly detection and rule-based reasoning according to an embodiment of the present invention.
Figure 2 is an overall configuration diagram of an outlier detection system for controlling an autonomous mobile robot using unsupervised anomaly detection and rule-based reasoning according to an embodiment of the present invention.
Figure 3 is a detailed configuration diagram of an outlier detection system for controlling an autonomous mobile robot using unsupervised anomaly detection and rule-based reasoning according to an embodiment of the present invention.
Figure 4 is an example of an abnormal situation monitoring unit of an anomaly detection system for controlling an autonomous mobile robot using unsupervised anomaly detection and rule-based reasoning according to an embodiment of the present invention.
Figure 5 is an example of a rule creation tool for an outlier detection system for autonomous mobile robot control using unsupervised anomaly detection and rule-based reasoning according to an embodiment of the present invention.
Figure 6 is an example of editing a rule creation tool for an outlier detection system for autonomous mobile robot control using unsupervised anomaly detection and rule-based reasoning according to an embodiment of the present invention.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.Terms or words used in this specification and claims should not be construed as limited to their common or dictionary meanings, and the inventor may appropriately define the concept of terms in order to explain his or her invention in the best way. It must be interpreted with meaning and concept consistent with the technical idea of the present invention based on the principle that it is.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in this specification and the configurations shown in the drawings are only one of the most preferred embodiments of the present invention, and do not represent the entire technical idea of the present invention, so they can be replaced at the time of filing the present application. It should be understood that various equivalents and variations may exist.
그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 설정된 용어들로서 이는 생산자의 의도 또는 관례에 따라 달라질 수 있으므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이고, 본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 생략하기로 한다.In addition, the terms described below are terms established in consideration of the function in the present invention, and may vary depending on the intention or custom of the producer, so the definition should be made based on the content throughout the present specification, and in this specification related to the present invention. In cases where it is determined that detailed descriptions of well-known configurations or functions may obscure the gist of the present invention, detailed descriptions thereof will be omitted.
이하, 도면을 참조로 하여 본 발명인 비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템을 설명하기로 한다.Hereinafter, the present invention's outlier detection system for controlling autonomous mobile robots using unsupervised anomaly detection and rule-based reasoning will be described with reference to the drawings.
도 1은 본 발명의 일 실시예에 따른 비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템의 개념도이고, 도 2는 본 발명의 일 실시예에 따른 비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템의 전체 구성도이고, 도 3은 본 발명의 일 실시예에 따른 비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템의 세부 구성도이다.Figure 1 is a conceptual diagram of an outlier detection system for autonomous mobile robot control using unsupervised anomaly detection and rule-based reasoning according to an embodiment of the present invention, and Figure 2 is an unsupervised anomaly detection system according to an embodiment of the present invention. and an overall configuration diagram of an outlier detection system for autonomous mobile robot control using rule-based reasoning, and Figure 3 is an outlier detection system for autonomous mobile robot control using unsupervised anomaly detection and rule-based reasoning according to an embodiment of the present invention. This is a detailed configuration diagram.
본 발명에 따른 비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템은 기본적으로 카메라부, 비정상 상황 인지 추론엔진부 및 규칙 기반 추론엔진부를 포함하여 구성될 수 있다.The anomaly detection system for autonomous mobile robot control using unsupervised anomaly detection and rule-based reasoning according to the present invention can be basically configured to include a camera unit, an abnormal situation recognition inference engine unit, and a rule-based inference engine unit.
보다 구체적으로, 상기 비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템은, 적어도 하나 이상의 임의의 객체로부터 반사되는 빛을 수광하여 시각 정보를 획득하기 위한 카메라부, 상기 획득된 시각 정보를 기초로 객체의 비정상적인 상황을 인지하기 위한 비정상 상황 인지 모델이 정의되어 있고, 해당 모델을 기반으로 비지도 학습방식의 딥러닝을 이용하여 상기 획득된 시각 정보에 대한 비정상 상황을 추론하기 위한 비정상 상황 인지 추론엔진부 및 상기 추론된 정보와 사전에 정의된 규칙 기반 지식 정보 상호 간 매칭되는 규칙을 검사하여 지능형 자율이동로봇을 통한 이상을 탐지하기 위한 규칙 기반 추론엔진부를 포함하는 것을 특징으로 한다.More specifically, the outlier detection system for autonomous mobile robot control using the unsupervised anomaly detection and rule-based reasoning includes a camera unit for acquiring visual information by receiving light reflected from at least one arbitrary object, An abnormal situation recognition model is defined to recognize the abnormal situation of an object based on the obtained visual information, and based on the model, an unsupervised deep learning method is used to infer the abnormal situation for the obtained visual information. Characterized by comprising an abnormal situation recognition inference engine unit and a rule-based inference engine unit to detect anomalies through an intelligent autonomous mobile robot by examining rules matching between the inferred information and predefined rule-based knowledge information. do.
또한, 본 발명에서 언급하는 상기 카메라부는, 지능형 자율이동로봇과 온라인 네트워크를 통해 연결되거나, 지능형 자율이동로봇 임의의 부분에 포함되어 일정 범위에 있는 객체를 실시간으로 영상을 촬영하거나 온라인 네트워크를 이용하여 해당 촬영된 영상을 전송하는데 사용되는 카메라 센서로서, 웹캠(Web cam), IP 카메라(IP camera), CCTV(Closed Circuit TeleVision), 블랙박스(Black Box) 등과 같은 다양한 촬영 수단 센서로서 온라인 네트워크 접속모듈을 포함하는 것으로 해석되어야 하고, 제조사 서버 및 클라우드 서버에서 제공하는 각종 기능을 실행하기 위한 소프트웨어, 애플리케이션 등을 구비할 수 있으며, 이러한 예에 한정하지 않고 다양한 형태로 촬영 및 데이터를 송수신할 수 있는 수단을 포괄적으로 의미하는 것이다.In addition, the camera unit mentioned in the present invention is connected to an intelligent autonomous mobile robot through an online network, or is included in any part of an intelligent autonomous mobile robot and captures images of objects in a certain range in real time or uses an online network. It is a camera sensor used to transmit the captured video, and is a sensor of various shooting methods such as a web cam, IP camera, CCTV (Closed Circuit TeleVision), and black box, and is an online network access module. It should be interpreted as including, and may be equipped with software, applications, etc. for executing various functions provided by the manufacturer's server and cloud server, and is not limited to these examples, but means of transmitting and receiving shooting and data in various forms. It means comprehensively.
또한, 상기 자율이동로봇 제어용 이상치 검출 시스템은, 카메라부 외에도 임의의 객체에 대한 정보를 측정하기 위한 적외선 센서(Infrared Ray(IR) Sensor), 광 센서(Optical Sensor) 등과 같은 각종 센서부가 포함될 수도 있으며, 임의의 객체에 대한 정보를 측정하는 각종 센서는 자명하게 공지된 기술이므로 이하 설명을 생략한다.In addition, the outlier detection system for controlling the autonomous mobile robot may include various sensor units such as an infrared ray (IR) sensor and an optical sensor to measure information about an arbitrary object in addition to the camera unit. , Since various sensors that measure information on arbitrary objects are self-evidently known technologies, their description below will be omitted.
또한, 본 발명에서 언급하는 각종 엔진부, 작업기억부, 비정상 상황 모니터링부 및 지능형 자율이동로봇 매니저부는 서버로서 역할을 수행할 수도 있으며, 해당 서버는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체를 통해 데이터 교환 및 관리가 이루어질 수도 있으며, 서버 내에서 이루어지는 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함하고, 상기 서버들의 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.In addition, the various engine units, working memory units, abnormal situation monitoring units, and intelligent autonomous mobile robot manager units mentioned in the present invention may serve as servers, and the servers transmit signals specifying program commands, data structures, etc. Data exchange and management may be carried out through transmission media such as optical or metal wires, waveguides, etc. containing carrier waves, and examples of program commands performed within the server include machine code such as that created by a compiler, as well as using an interpreter, etc. comprising high-level language code executable by an electronic information processing device, e.g., a computer, wherein the hardware devices of the servers may be configured to operate as one or more software modules to perform the operations of the present invention; , and vice versa.
또한, 본 발명에서 언급하는 온라인 네트워크라 함은 유선 공중망, 무선 이동 통신망, 또는 휴대 인터넷 등과 통합된 코어 망일 수도 있고, TCP/IP 프로토콜 및 그 상위 계층에 존재하는 여러 서비스, 즉 HTTP(Hyper Text Transfer Protocol), HTTPS(Hyper Text Transfer Protocol Secure), Telnet, FTP(File Transfer Protocol), DNS(Domain Name System), SMTP(Simple Mail Transfer Protocol) 등을 제공하는 전 세계적인 개방형 컴퓨터 네트워크 구조를 의미할 수 있으며, 이러한 예에 한정하지 않고 다양한 형태로 데이터를 송수신할 수 있는 데이터 통신망을 포괄적으로 의미하는 것일 수 있다.In addition, the online network referred to in the present invention may be a core network integrated with a wired public network, wireless mobile communication network, or mobile Internet, etc., and may be a core network integrated with the TCP/IP protocol and various services existing in its upper layer, that is, HTTP (Hyper Text Transfer). Protocol), HTTPS (Hyper Text Transfer Protocol Secure), Telnet, FTP (File Transfer Protocol), DNS (Domain Name System), and SMTP (Simple Mail Transfer Protocol). , It is not limited to this example, but may comprehensively mean a data communication network that can transmit and receive data in various forms.
또한, 본 발명에서 언급되는 운용자 단말기라 함은, 스마트폰(smartphone), 태블릿 PC(tablet Personalcomputer), 이동 전화기(mobile phone), 영상 전화기, 데스크탑 PC(dasktoppersonal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia plater), 웨어러블 장치(wearable device)(예: 스마트 안경, 머리 착용형 장치(head-mounted-device(HMD) 등), 스마트미러(smart mirrors), 키오스크 장치(kiosk) 또는 스마트 와치(smart watch)) 중 적어도 하나를 포함할 수 있으며, 이러한 예에 한정하지 않고 다양한 형태로 전기적인 신호로 변화된 값을 송수신 할 수 있는 단말기를 의미하는 것이다.In addition, operator terminals referred to in the present invention include smartphones, tablet personal computers, mobile phones, video phones, desktop personal computers, and laptop personal computers. , netbook computer, personal digital assistant (PDA), portable multimedia plater (PMP), wearable device (e.g. smart glasses, head-mounted-device (HMD), etc.), It may include at least one of smart mirrors, a kiosk, or a smart watch, but is not limited to these examples, and is a terminal that can transmit and receive values changed as electrical signals in various forms. It means.
또한, 상기 자율이동로봇 제어용 이상치 검출 시스템은, 지능형 자율이동로봇과 온라인 네트워크를 통해 연결되거나 지능형 자율이동로봇 임의의 부분에 포함되어 있는 카메라부 혹은 센서 등에 의해 일정 범위에 있는 객체에 대한 정보를, 센서 혹은 시각 정보로 수신받아 데이터로서 관리하거나 비정상 상황을 추론하기 위한 데이터로서 관리하기 위한 프로세서부를 포함할 수도 있다.In addition, the outlier detection system for controlling the autonomous mobile robot collects information about objects in a certain range through a camera unit or sensor that is connected to the intelligent autonomous mobile robot through an online network or included in any part of the intelligent autonomous mobile robot, It may include a processor unit to receive sensor or visual information and manage it as data, or to manage it as data for inferring abnormal situations.
또한, 일례로, 상기 비정상 상황 인지 모델은, 적어도 하나 이상의 카메라부를 통해 획득되는 시각 정보에 따른 정상 상황 정보를 기반으로 학습된 모델인 것을 특징으로 한다.In addition, as an example, the abnormal situation recognition model is characterized as a model learned based on normal situation information according to visual information acquired through at least one camera unit.
또한, 일례로, 여기서 비정상 상황은, 객체가 일정한 프로세스에 따라 생산되는 물체일 경우, 각 공정 프로세스에 따른 올바른 형태로서, 특정 공정에서 물체의 포장이 잘못되었거나, 특정 공정에서 도출되는 물체의 형태가 다르거나 하는 등의 사전에 미리 정의된 범위를 기준으로 벗어나는 경우를 비정상 상황이라고 할 수도 있다. 그러나, 예시로 나온 상황에 한정되는 것은 아니며, 사회 구성원이 공유하는 당연한 것으로 여기는 상식적인 개념에서 이상 상황을 판단할 수 있으며, 비정상 상황에 대한 판단 기준은 미리 설정되거나 구축될 수 있다.In addition, as an example, the abnormal situation here is when the object is produced according to a certain process, the correct shape according to each process process, the packaging of the object is incorrect in a specific process, or the shape of the object derived from a specific process is incorrect. A case that deviates from a predefined range, such as being different, may be called an abnormal situation. However, it is not limited to the situation shown as an example, and abnormal situations can be judged based on common sense concepts shared by members of society, and criteria for judging abnormal situations can be set or constructed in advance.
또한, 일례로, 비정상 상황 인지 모델은, 비정상 상황 인지 모델부에서 상기 프로세서부를 통해 관리되는 데이터 중 정상 상황 정보만으로 구성된 정상 상황 정보(Normal data)를 기초로 비정상 상황 인지 모델을 업데이트할 수도 있고, 해당 업데이트 과정에서의 비정상 상황 인지 모델에 대한 학습 데이터는 정상 상황 정보(Normal data)만을 사용하고 레이블링은 수행되지 않으며, 여기서 정상 상황 정보는 사회 구성원이 공유하는 당연한 것으로 여기는 상식적인 개념에서 이상 상황을 판단할 수 있으며, 정상 상황에 대한 판단 기준은 미리 설정되거나 구축될 수 있다.In addition, as an example, the abnormal situation recognition model may update the abnormal situation recognition model based on normal situation information (Normal data) consisting of only normal situation information among the data managed by the abnormal situation recognition model unit through the processor unit, The training data for the abnormal situation recognition model in the update process uses only normal situation information and no labeling is performed, where normal situation information refers to abnormal situations based on common sense concepts shared by members of society. It can be judged, and the criteria for judging a normal situation can be set or constructed in advance.
또한, 일례로, 비정상 상황 인지 모델부와 연결되는 별도의 저장 장치 혹은 수단을 통해 사전에 준비되어 학습된 비정상 상황 인지 모델을 저장할 수도 있고, 더 나아가, 프로세서부에 의해 추가된 정상 상황 정보(Normal data)를 기초로 업데이트된 비정상 상황 인지 모델을 별도로 저장할 수도 있다.In addition, as an example, the abnormal situation recognition model prepared and learned in advance may be stored through a separate storage device or means connected to the abnormal situation recognition model unit, and further, the normal situation information (Normal situation information) added by the processor unit may be used. The updated abnormal situation recognition model based on data can also be stored separately.
또한, 일례로, 비정상 상황 인지 추론엔진부는, 상기와 같은 모델을 활용해 비지도 학습방식의 딥러닝을 이용하여, 지능형 자율이동로봇과 온라인 네트워크를 통해 연결되거나 지능형 자율이동로봇 임의의 부분에 포함되어 있는 카메라부 혹은 센서 등에 의해 현재 시점의 일정 범위에 있는 객체에 대한 비정상 상황을 추론하는데, 여기서, 비지도 학습은 딥러닝 방식의 일종으로, 지도 학습과 달리 상기와 같은 모델을 통해 알고리즘을 학습시키고 제공되는 상기 모델들 및 획득되는 정보들의 패턴만을 학습하여 예측하거나 결과 값을 만들어 내는 것으로서, 비지도 학습은 자명하게 공지된 기술로서 해석되어야 한다.In addition, as an example, the abnormal situation recognition inference engine unit uses deep learning in an unsupervised learning method using the above model, and is connected to the intelligent autonomous mobile robot through an online network or included in any part of the intelligent autonomous mobile robot. Abnormal situations for objects in a certain range at the current time are inferred using a camera unit or sensor, etc. Here, unsupervised learning is a type of deep learning method, and unlike supervised learning, the algorithm is learned through the above model. Unsupervised learning should be interpreted as a self-evidently known technology as it predicts or produces result values by learning only the patterns of the models and information obtained.
또한, 일례로, 상기 자율이동로봇 제어용 이상치 검출 시스템은, 비정상 상황 인지 추론엔진부에 의해 추론된 정보를 작업기억(Working Memory)에 사실(Fact) 형태로 저장하여 관리하기 위한 작업기억부를 더 포함하는 것을 특징으로 한다.In addition, as an example, the outlier detection system for controlling an autonomous mobile robot further includes a working memory unit for storing and managing the information inferred by the abnormal situation recognition inference engine unit in the form of facts in the working memory. It is characterized by:
또한, 일례로, 작업기억부는, 비정상 상황 인지 추론엔진부에 의해 추론된 정보를 적어도 하나 이상의 사실(Fact) 형태인 추론된 사실(Inferred Facts) 형태로 관리할 수도 있고, 더 나아가, 추론되지 않은 사실로서, 지능형 자율이동로봇과 온라인 네트워크를 통해 연결되거나 지능형 자율이동로봇 임의의 부분에 포함되어 있는 카메라부 혹은 센서 등에 의해 현재 시점의 일정 범위에 있는 객체에 대한 시각 정보로 구성된 사실, 즉 센서로 구성된 사실(Sensor Facts) 형태를 저장하고 관리할 수도 있다.In addition, as an example, the working memory unit may manage the information inferred by the abnormal situation recognition inference engine unit in the form of inferred facts, which are at least one fact, and further, may manage the information inferred by the abnormal situation recognition inference engine unit. As a fact, it is a fact consisting of visual information about an object in a certain range at the current time by a camera unit or sensor connected to an intelligent autonomous mobile robot through an online network or included in an arbitrary part of an intelligent autonomous mobile robot, that is, a sensor. You can also save and manage the configured facts (Sensor Facts).
또한, 일례로, 상기 규칙 기반 추론엔진부는, 사전에 정의된 적어도 하나 이상의 규칙 기반 지식 정보의 규칙 정보와 작업기억(Working Memory)에 사실(Fact) 형태로 관리되는 추론된 정보 상호 간 매칭되는 규칙을 검사하는 것을 특징으로 하는데, 여기서 규칙 기반 지식 정보의 규칙 정보는, 일례로, 일반적인 사회 구성원이 공유하는 당연한 것으로 여기는 상식적인 개념에 대한 규칙 정보를 뜻하고, 규칙 기반 지식 정보의 규칙 정보는 미리 설정되거나 구축될 수도 있다.In addition, as an example, the rule-based inference engine unit has rules that match between the rule information of at least one rule-based knowledge information defined in advance and the inferred information managed in the form of facts in working memory. It is characterized by checking, where the rule information of rule-based knowledge information refers, for example, to rule information about common sense concepts shared by general members of society, and the rule information of rule-based knowledge information is It can also be set up or built.
또한, 공정 혹은 생산 프로세서에 대한 하나의 예시로, 규칙 기반 지식 정보의 규칙 정보는, 각 공정 혹은 생산 프로세스에 따른 올바른 형태로서, 특정 공정에서 물체의 포장이 잘못되었거나, 특정 공정에서 도출되는 물체의 형태가 다르거나 하는 등의 사전에 정의된 적어도 하나 이상의 규칙 기반 지식 정보의 규칙 범위를 기준으로 할 수도 있다. 그러나, 예시로 나온 상황에 한정되는 것은 아니며, 규칙 기반 지식 정보의 규칙 정보는 미리 설정되거나 구축될 수 있다.In addition, as an example of a process or production processor, the rule information of rule-based knowledge information is the correct form according to each process or production process, and can be used to detect incorrect packaging of an object in a specific process or an object derived from a specific process. It may be based on the rule range of at least one rule-based knowledge information defined in advance, such as having a different form. However, it is not limited to the example situation, and the rule information of rule-based knowledge information may be set or constructed in advance.
또한, 일례로, 상기 작업기억부는, 규칙 기반 추론엔진부에 의한 검사에 따라 매칭이 되는 경우에, 매칭된 규칙 정보의 행위(Goal)에 해당하는 사실(Fact) 형태를 작업기억(Working Memory)으로서 저장하여 관리하는 것을 특징으로 한다.In addition, as an example, when a match is made according to an inspection by the rule-based inference engine unit, the working memory stores the fact form corresponding to the action (goal) of the matched rule information in the working memory (Working Memory). It is characterized by being stored and managed as.
또한, 일례로, 규칙 기반 지식 정보의 규칙 정보와 작업기억(Working Memory)에 사실(Fact) 형태로 관리되는 추론된 정보 상호 간 매칭이 되는 경우인, 즉, 하나의 예로서, 특정 공정에서 도출되는 물체의 형태가 다르거나 하는 등의 상황으로 매칭되는 경우, 매칭된 규칙 정보의 행위(Goal)로서, 해당 행위에 해당하는 사실(Fact)를 작업기억부에 저장하여 관리되도록 한다.In addition, as an example, there is a match between the rule information of rule-based knowledge information and the inferred information managed in the form of facts in working memory, that is, as an example, derived from a specific process. When a match is made in a situation such as the shape of the object being different, the fact corresponding to the action (Fact) as the action (Goal) of the matched rule information is stored and managed in the working memory.
또한, 일례로, 작업기억부에서 관리되는 사실(Fact)에 변화가 생기면, 규칙 기반 추론엔진부는 규칙 기반 KB에 사전에 정의된 규칙에 부합하는 추론 규칙이 있는지를 패턴 매칭부를 통해 검사할 수도 있다.In addition, for example, if there is a change in the fact managed in the working memory, the rule-based inference engine unit may check through the pattern matching unit whether there is an inference rule that matches the predefined rule in the rule-based KB. .
또한, 일례로, 상기 패턴 매칭부의 검사에 의해 부합한 규칙이 있는 경우, 해당 부합된 규칙을 아젠다부에 저장하게 되고, 아젠다부는 자율이동로봇 제어용 이상치 검출 시스템의 내부 순서에 따라서 추론을 수행하고, 그 결과를 다시 작업기업부에서 저장하여 관리할 수도 있으며, 여기서 추론에 대한 결과의 성격은 지능형 자율이동로봇이 수행해야 할 업무(Task)로 정의될 수도 있다.In addition, as an example, if there is a rule that matches the pattern matching unit's inspection, the matched rule is stored in the agenda unit, and the agenda unit performs inference according to the internal order of the outlier detection system for autonomous mobile robot control, The results can be stored and managed in the work and enterprise department, and the nature of the inference results can be defined as a task to be performed by the intelligent autonomous mobile robot.
또한, 새로운 업무(Task)가 추론될 경우, 아래에서 설명되는 지능형 자율이동로봇 매니저부는 추론된 업무(Task)를 기초로 대응되는 명령(Command)을 지능형 자율이동로봇에 전달할 수도 있다.In addition, when a new task (Task) is inferred, the intelligent autonomous mobile robot manager described below may transmit a corresponding command to the intelligent autonomous mobile robot based on the inferred task (Task).
또한, 여기서, 종래 기술과 가장 큰 차이점은, 딥러닝을 기반으로 비정상 상황 인지 모델을 이용한 추론과 함께 논리(Logic) 기반의 규칙 기반 추론을 함께 사용하여 이상 탐지와 함께 탐지된 결과에 대한 행위(Action)까지 할 수 있다는 점이다.In addition, here, the biggest difference from the prior art is that logic-based rule-based reasoning is used together with reasoning using an abnormal situation recognition model based on deep learning to detect abnormalities and take action on the detected results ( Action) is possible.
또한, 일례로, 상기 자율이동로봇 제어용 이상치 검출 시스템은, 획득된 시각 정보에 대한 추론되는 비정상 상황을 실시간으로 모니터링하기 위한 비정상 상황 모니터링부를 더 포함하는 것을 특징으로 한다.In addition, as an example, the outlier detection system for controlling an autonomous mobile robot further includes an abnormal situation monitoring unit for monitoring in real time an abnormal situation inferred from the acquired visual information.
또한, 일례로, 상기 자율이동로봇 제어용 이상치 검출 시스템은, 지능형 자율이동로봇을 제어하기 위한 지능형 자율이동로봇 매니저부를 포함하는 것을 특징으로 하고, 상기 지능형 자율이동로봇 매니저부는, 규칙 기반 추론엔진부에 의한 검사에 따라 매칭이 되는 경우에, 매칭된 규칙 정보의 행위를 지능형 자율이동로봇에게 명령하는 것을 특징으로 한다.In addition, as an example, the outlier detection system for controlling an autonomous mobile robot is characterized by including an intelligent autonomous mobile robot manager unit for controlling an intelligent autonomous mobile robot, and the intelligent autonomous mobile robot manager unit includes a rule-based inference engine unit. When a match is made according to the inspection, the intelligent autonomous mobile robot is commanded to take action based on the matched rule information.
또한, 일례로, 상기 자율이동로봇 제어용 이상치 검출 시스템은, 규칙 기반 추론엔진부에 의한 검사에 따라 매칭이 되는 경우에, 매칭된 규칙 정보의 행위 정보를 수신하기 위한 운용자 단말기를 포함하는 것을 특징으로 하며, 상기 운용자 단말기는, 매칭된 규칙 정보를 통한 행위 정보 알림을 표시하는 것을 특징으로 한다.In addition, as an example, the outlier detection system for controlling an autonomous mobile robot is characterized by including an operator terminal for receiving action information of the matched rule information when a match is made according to the inspection by the rule-based inference engine unit. And the operator terminal is characterized in that it displays a behavior information notification through matched rule information.
또한, 일례로, 지능형 자율이동로봇 매니저부는, 규칙 기반 추론엔진부에 의한 검사에 따라 매칭이 되는 경우에, 매칭된 규칙 정보의 행위에 대응되는 행동(Action)에 대한 명령(Command)을 지능형 자율이동로봇에 전달할 수도 있으며, 이에 따라, 해당 지능형 자율이동로봇은 명령(Command)에 대응된 행동(Action)을 수행할 수도 있고, 운용자 단말기를 통해 운용자가 해당 행동(Action)을 정의할 수도 있다.In addition, as an example, when a match is made according to the inspection by the rule-based inference engine unit, the intelligent autonomous mobile robot manager unit sends a command for an action corresponding to the behavior of the matched rule information. It can be transmitted to a mobile robot, and accordingly, the intelligent autonomous mobile robot can perform an action corresponding to the command, and the operator can define the action through the operator terminal.
또한, 일례로, 지능형 자율이동봇 매니저부는, 적어도 하나 이상의 지능형 자율이동로봇의 동선을 시각적으로 확인하도록 지원하기 위한 맵 서비스를 포함할 수도 있고, 작업기억부에 의해 관리되는 적어도 하나 이상의 사실(Fact)를 기초로 로보틱 처리 자동화(Robotic Process Automation, RPA) 기반 규칙을 생성하기 위한 RPA 기반 규칙 생성부를 포함할 수도 있고, 운용자 단말기를 제어하기 위한 운용자 매니저부를 포함할 수도 있다.In addition, as an example, the intelligent autonomous mobile robot manager unit may include a map service to support visually checking the movement line of at least one intelligent autonomous mobile robot, and may include at least one fact (Fact) managed by the working memory unit. ) may include an RPA-based rule generator for generating Robotic Process Automation (RPA)-based rules, and may include an operator manager for controlling the operator terminal.
또한, 일례로, 상기 비정상 상황 모니터링부는, 운용 중인 적어도 하나 이상의 지능형 자율이동로봇의 전체적인 상황을 운용자 단말기를 통해서 운용자에게 알려줄 수도 있다.Additionally, as an example, the abnormal situation monitoring unit may inform the operator of the overall situation of at least one intelligent autonomous mobile robot in operation through the operator terminal.
또한, 상술한 본 발명에 따른 시스템은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있고, 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있으며, 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 기술분야에서 통상의 지식을 가진 사람에게 공지되어 사용 가능한 것일 수도 있다.In addition, the system according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium, and the computer-readable medium may contain program instructions, data files, data structures, etc. It may be included singly or in combination, and the program instructions recorded on the medium may be specially designed and constructed for the present invention or may be known and usable by those skilled in the art of computer software technology.
또한, 여기서 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.Additionally, examples of computer-readable recording media herein include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and floptical disks. It includes hardware devices specifically configured to store and execute program instructions, such as magneto-optical media, ROM, RAM, flash memory, etc.
또한, 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Additionally, examples of program instructions include not only machine language code such as that created by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
또한, 본 발명은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있으며, 이러한 임의의 소프트웨어는 삭제 가능 또는 재기록 가능 여부와 상관없이 휘발성 또는 비휘발성 저장 장치나, RAM, 메모리 칩, 집적 회로와 같은 메모리나, CD, DVD, 자기 디스크, 자기테이프 등과 같은 광학적/자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다.It is also understood that the present invention can be realized in the form of hardware, software, or a combination of hardware and software, and any such software may be implemented in a volatile or non-volatile storage device, RAM, memory, whether erasable or rewritable. It may be stored in a memory such as a chip or integrated circuit, or in a storage medium that is optically/magnetically recordable and readable by a machine (eg, a computer) such as a CD, DVD, magnetic disk, or magnetic tape.
도 4는 본 발명의 일 실시예에 따른 비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템의 비정상 상황 모니터링부 예시도이다.Figure 4 is an example diagram of an abnormal situation monitoring unit of an anomaly detection system for controlling an autonomous mobile robot using unsupervised anomaly detection and rule-based reasoning according to an embodiment of the present invention.
도 4를 참고하여 구체적으로 살펴보면, 도 4는 비정상 상황 모니터링부 화면으로서 각 지능형 자율이동로봇(AMR)이 현재 하고 있는 작업(Task)과 함께 지도 화면을 통해 어느 위치에서 작업하고 있는지를 한 번에 볼 수 있도록 화면이 구성될 수도 있다.Looking at it in detail with reference to FIG. 4, FIG. 4 is an abnormal situation monitoring unit screen that shows at a time where each intelligent autonomous mobile robot (AMR) is currently working (Task) and where it is working through the map screen. The screen may be configured so that it can be viewed.
또한, 일례로, 비정상 상황이 발생하면 화면 상단 표의 3번째 열인 비정상 상황에서의 알람과 함께 어떠한 이유로 비정상 상황이 발생했는지를 표시해주며, 이에 따라, 해당 화면을 모니터링하고 있는 운용자는 화면을 보고 어떤 지능형 자율이동로봇(AMR)이 어떠한 일을 하는 도중에 발생한 비정상 상황인지를 한 번에 확인할 수도 있다.In addition, for example, when an abnormal situation occurs, an alarm is displayed in the third column of the table at the top of the screen to indicate why the abnormal situation occurred. Accordingly, the operator monitoring the screen can see the screen and see what intelligent information is provided. It is also possible to check at once whether an abnormal situation occurred while an autonomous mobile robot (AMR) was performing a task.
도 5는 본 발명의 일 실시예에 따른 비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템의 규칙 생성 도구 예시도이다.Figure 5 is an example of a rule creation tool for an anomaly detection system for controlling an autonomous mobile robot using unsupervised anomaly detection and rule-based reasoning according to an embodiment of the present invention.
도 5를 참고하여 구체적으로 살펴보면, 도 5는 지능형 자율이동로봇(AMR)의 비정상 상황에 관한 규칙을 생성하는 도구의 하나의 예인 상태 화면이고, 화면 구성은 현재 선택된 지능형 자율이동로봇(AMR)이 가지고 있는 규칙들을 Defined Rule-List 패널에서 보여줄 수도 있다.Looking specifically with reference to FIG. 5, FIG. 5 is a status screen that is an example of a tool for generating rules regarding abnormal situations of an intelligent autonomous mobile robot (AMR), and the screen configuration shows that the currently selected intelligent autonomous mobile robot (AMR) is You can also display your existing rules in the Defined Rule-List panel.
또한, 일례로, 규칙은 <HEAD> ← <BODY>로 구분되는데 <HEAD>는 매칭된 규칙 정보의 행위(Goal)에 해당하는 것으로 지능형 자율이동로봇(AMR)이 어떠한 행동(Action)을 할 수도 있으며 알람으로 알려줄 수도 있다. In addition, as an example, the rules are divided into <HEAD> ← <BODY>, where <HEAD> corresponds to the action (Goal) of the matched rule information, and what actions the intelligent autonomous mobile robot (AMR) can take. You can also be notified by an alarm.
또한, 일례로, 운용자가 규칙의 조건이 만족되었을 경우 원하는 형태나 행위로서 매칭된 규칙 정보의 행위(Goal)을 지정할 수 있으며, <BODY>의 경우는 운용자가 정의하고자 하는 규칙의 조건들을 의미하고, 조건들은 복수로 지정 가능하도록 지원될 수도 있으며, 여기서 사용 가능한 조건들은 센서나 딥러닝 결과로부터 생성된 것들이고, 각 조건들은 종류에 따라 설정된 값을 보여줄 수도 있다.In addition, as an example, when the conditions of the rule are satisfied, the operator can specify the action (Goal) of the matched rule information as a desired form or action, and in the case of <BODY>, it means the conditions of the rule that the operator wants to define. , conditions may be supported to specify multiple conditions, where the available conditions are those generated from sensors or deep learning results, and each condition may show a set value depending on the type.
도 6은 본 발명의 일 실시예에 따른 비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템의 규칙 생성 도구 편집 예시도이다.Figure 6 is an example of editing a rule creation tool for an anomaly detection system for autonomous mobile robot control using unsupervised anomaly detection and rule-based reasoning according to an embodiment of the present invention.
도 6을 참고하여 구체적으로 살펴보면, 도 6은 규칙 생성 도구의 하나의 예인 편집 화면이고, 편집은 비정상 상황에 관한 규칙을 생성하는 도구에서 설정하고자 하는 지능형 자율이동로봇(AMR)을 선택한 뒤, 하단의 New나 Edit를 누르면 도면 6과 같이 새로운 윈도우가 팝업 될 수도 있다.Looking specifically with reference to FIG. 6, FIG. 6 is an editing screen that is an example of a rule creation tool. Editing is performed by selecting the intelligent autonomous mobile robot (AMR) you want to set in the tool for creating rules for abnormal situations, and then clicking the button at the bottom. If you press New or Edit, a new window may pop up as shown in Figure 6.
또한, 일례로, 이용 가능한 비정상 상황(Anomaly Situation) 리스트와 사실(Fact)들을 확인할 수 있고, 운용자는 비정상 상황(Anomaly Situation)을 정의하기 위해 각각의 리스트에서 원하는 구성요소를 선택하고 아래쪽 화살표를 누르면 <HEAD>와 <BODY>를 구성할 수도 있다. In addition, as an example, the available Anomaly Situation list and facts can be checked, and the operator can select the desired component from each list and press the down arrow to define the abnormal situation. You can also configure <HEAD> and <BODY>.
또한, 일례로, 각 조건에 대한 수치적인 조건들을 설정하기 위해서는 <BODY>의 각 상태(Condition)를 클릭하면 수치 값을 입력할 수 있는 패널이 나타나 이를 통해 수치 값들을 설정할 수도 있다.Additionally, as an example, to set numerical conditions for each condition, when you click on each condition of <BODY>, a panel where you can input numerical values appears, through which you can set numerical values.
일반적으로 많이 사용하고 있는 지도 학습 기반의 딥러닝 방법론의 경우 정상데이터 뿐만 아니라 다량의 불량(이상)데이터를 요구한다. 이러한 불량 데이터의 수집 및 레이블링 과정이 실제 산업 환경으로의 적용은 매우 큰 장애요소가 된다. 왜냐하면, 불량 데이터의 발생은 곧 산업 현장에서 비정상 상황이 정상 상황보다 더욱 빈번히 발생하여야 짧은 시간에 데이터 확보가 가능한데, 이는 비용상의 문제로 실제 현장에서는 허용할 수 없는 상황이다. 또한, 불량 데이터의 레이블링 및 레이블 되어진 데이터를 사용한 학습, 그리고 그렇게 형성된 불량 데이터 기반의 모델은 추가적인 불량(이상) 상황에 대한 인지를 할 수 없다. The commonly used supervised learning-based deep learning methodology requires not only normal data but also a large amount of defective (abnormal) data. This process of collecting and labeling defective data poses a significant obstacle to application in an actual industrial environment. This is because the occurrence of defective data means that abnormal situations must occur more frequently than normal situations in industrial sites to secure data in a short period of time, which is a situation that cannot be allowed in actual sites due to cost issues. Additionally, labeling of defective data, learning using labeled data, and a model based on defective data thus formed cannot recognize additional defect (abnormal) situations.
이러한 점을 해결하기 위하여, 대부분의 데이터가 정상 샘플이라는 가정을 기반으로 레이블링 없이 학습을 시키는 '비지도 기반 이상 탐지(Unsupervised Anomaly Detection) 방법론을 적용할 수 있다. To solve this problem, the 'Unsupervised Anomaly Detection' methodology can be applied, which trains without labeling based on the assumption that most data are normal samples.
비정상 상황 인지 모델(AD 모델)을 생성하기 위해서는 정상 상황에 데한 데이터셋을 사용할 수 있다. 일례로, 박스가 컨베이어를 타고 이동하여 적재되는 물류 시스템이 있다고 가정할 경우, 정상상황의 장면은 박스가 열리지 않은 네모 상태의 모습으로 적재가 되는 것일 수 있다. 그래서 이러한 정상장면을 카메라를 통해서 다량 수집하고 이를 기반으로 AD모델을 구축할 수 있다.To create an abnormal situation awareness model (AD model), a dataset from a normal situation can be used. For example, assuming there is a logistics system in which boxes are moved on a conveyor and loaded, a normal scene may be that the boxes are loaded in an unopened, square state. Therefore, a large amount of these normal scenes can be collected through cameras and an AD model can be built based on them.
다시 말해서, 정상장면만 기억하는 AD모델을 학습할 수 있다. 참고로 학습 데이터는 정상 데이터만을 사용하며 레이블링은 하지 않을 수 있다. In other words, you can learn an AD model that remembers only normal scenes. For reference, the training data uses only normal data and may not be labeled.
이후, 학습된 AD모델을 자율이동로봇(AMR)에 탑재를 하고, 박스가 적재되는 과정을 실시간으로 모니터링 할 수 있다. 이 과정에서 데이터 분석을 희망하는 주기(예 : 1frame/1sec. 또는 1frame/10sec. 등)로 시각정보(일례로, 영상)에서 프레임을 추출하고, 이를 AD모델의 입력 값으로 사용할 수 있다.Afterwards, the learned AD model can be mounted on an autonomous mobile robot (AMR) and the process of box loading can be monitored in real time. In this process, frames can be extracted from visual information (e.g., video) at the desired cycle for data analysis (e.g., 1 frame/1 sec. or 1 frame/10 sec., etc.) and used as input values for the AD model.
또한, AD모델은 입력된 시각정보(일례로, frame 이미지)로부터 정상/비정상 상태를 판단할 수 있다. 판단 기준은 AD모델에서 이미지의 정상범주를 수치적으로 계산하고 이 수치가 정상과 다름에 대한 임계치를 넘어가면 비정상 장면이라고 판단할 수 있다. Additionally, the AD model can determine normal/abnormal status from input visual information (for example, frame image). The judgment standard is to numerically calculate the normal category of the image in the AD model, and if this value exceeds the threshold for difference from normal, it can be judged to be an abnormal scene.
이 부분은 비정상 상황 인지 추론엔진부(AD Inference Engine)이 수행할 수 있으나, 이에 본 발명이 한정되는 것은 아니고, 통상의 기술자에게 자명한 수준에서 다양하게 변형 가능하다.This part can be performed by an abnormal situation recognition inference engine (AD Inference Engine), but the present invention is not limited thereto, and various modifications are possible at a level that is obvious to those skilled in the art.
이후, AD모델로부터 추론된 정보는 작업기업(Working Memory, WM)에 사실(Fact)형태로 저장되게 되는데, 이 정보는 규칙 기반 추론엔진부(Rule-based Inference Engine)에서 사용할 수 있다. Afterwards, the information inferred from the AD model is stored in the working memory (WM) in the form of facts, and this information can be used in the rule-based inference engine.
사전에 정의된 규칙 기반 지식 정보(Rule-based Knowledge Base)의 규칙들과 WM에 존재하는 Fact 간에 매칭되는 규칙이 있는지를 검사하고 만약 매칭이 된다면 그 규칙의 Goal(행위)에 해당하는 Fact를 WM에 등록할 수 있다. Check whether there is a rule that matches between the rules of the pre-defined rule-based knowledge base and the fact existing in WM, and if there is a match, the fact corresponding to the goal (action) of the rule is sent to WM. You can register at .
자율이동로봇 매니저부(AMR Manager)에서는 행동(Action)에 해당하는 내용을 가지고 자율이동로봇(AMR)에게 명령을 하게 되고 자율이동로봇은 해당 행위를 수행할 수 있다. The autonomous mobile robot manager (AMR Manager) gives commands to the autonomous mobile robot (AMR) with content corresponding to the action, and the autonomous mobile robot can perform the corresponding action.
예를 들어 설명하자면, [규칙 : “관리자에게 A 알람전송” → “B라인 모니터링” and “박스열림”]이 정의되어 있다고 가정할 수 있다. To explain with an example, it can be assumed that [Rule: “Send A alarm to administrator” → “B line monitoring” and “Box opening”] is defined.
현재 AMR이 B라인을 모니터링하고 있다고 가정하면, “B라인 모니터링” 의 fact는 자동생성되어 WM에 등록될 수 있다. 이 상황에서 열린박스가 목격 되면 AD Inference Engine이 이를 인지하고 “박스열림” 에 대한 fact를 WM에 등록시킬 수 있다. 두 fact가 모두 WM에 존재하면, 규칙 1이 발동되어 Goal의 Action을 수행할 수 있다. Assuming that AMR is currently monitoring the B line, the fact of “B line monitoring” can be automatically created and registered in WM. In this situation, if an open box is observed, the AD Inference Engine can recognize it and register the fact about “open box” in WM. If both facts exist in WM, Rule 1 is triggered and the Goal Action can be performed.
즉, 관리자에게 A 라는 알람을 전송하게 될 수 있다. 여기서 Action은 관리자에게 알림을 줄 수도 있으며, 스스로 비정상 상황을 해결할 수도 있다. 이 부분은 사용자가 정의할 수 있습니다.In other words, an alarm called A may be sent to the administrator. Here, Action can notify the administrator and resolve abnormal situations on its own. This part is user-definable.
마지막으로 이상 상황 모니터링 시스템(Anomaly Situation Monitoring System)에서는 운용중인 AMR의 전체적인 상황을 사용자에게 보여주는 역할을 할 수 있다. Lastly, the Anomaly Situation Monitoring System can show the user the overall situation of the AMR in operation.
이상에서 첨부된 도면을 참조하여 본 발명을 설명함에 있어 특정형상 및 방향을 위주로 설명하였으나, 본 발명은 그 발명에 속하는 기술분야에서 통상의 지식을 가진 사람에 의하여 다양한 변형 및 변경이 가능하고, 이러한 변형 및 변경은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.In the above description of the present invention with reference to the attached drawings, the specific shape and direction have been mainly described. However, the present invention can be modified and modified in various ways by a person skilled in the art to which the invention pertains. Modifications and changes should be construed as being included in the scope of rights of the present invention.
Claims (10)
상기 획득된 시각 정보를 기초로 객체의 비정상적인 상황을 인지하기 위한 비정상 상황 인지 모델이 정의되어 있고, 해당 모델을 기반으로 비지도 학습방식의 딥러닝을 이용하여 상기 획득된 시각 정보에 대한 비정상 상황을 추론하기 위한 비정상 상황 인지 추론엔진부; 및
상기 추론된 정보와 사전에 정의된 규칙 기반 지식 정보 상호 간 매칭되는 규칙을 검사하여 지능형 자율이동로봇을 통한 이상을 탐지하기 위한 규칙 기반 추론엔진부;를 포함하는 것을 특징으로 하는,
비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템.
a camera unit configured to acquire visual information by receiving light reflected from at least one arbitrary object;
An abnormal situation recognition model is defined to recognize abnormal situations of objects based on the acquired visual information, and based on the model, an abnormal situation for the acquired visual information is identified using deep learning in an unsupervised learning method. Abnormal situation recognition inference engine unit for inference; and
A rule-based inference engine unit for detecting anomalies through an intelligent autonomous mobile robot by examining rules that match the inferred information and predefined rule-based knowledge information.
An anomaly detection system for autonomous mobile robot control using unsupervised anomaly detection and rule-based reasoning.
상기 비정상 상황 인지 모델은,
적어도 하나 이상의 카메라부를 통해 획득되는 시각 정보에 따른 정상 상황 정보를 기반으로 학습된 모델인 것을 특징으로 하는,
비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템.
In claim 1,
The abnormal situation recognition model is,
Characterized in that it is a model learned based on normal situation information according to visual information acquired through at least one camera unit,
An anomaly detection system for autonomous mobile robot control using unsupervised anomaly detection and rule-based reasoning.
비정상 상황 인지 추론엔진부에 의해 추론된 정보를 작업기억(Working Memory)에 사실(Fact) 형태로 저장하여 관리하기 위한 작업기억부를 더 포함하는 것을 특징으로 하는,
비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템.
In claim 1,
Characterized by further comprising a working memory unit for storing and managing the information inferred by the abnormal situation recognition inference engine unit in the form of facts in working memory,
An anomaly detection system for autonomous mobile robot control using unsupervised anomaly detection and rule-based reasoning.
상기 규칙 기반 추론엔진부는,
사전에 정의된 적어도 하나 이상의 규칙 기반 지식 정보의 규칙 정보와 작업기억(Working Memory)에 사실(Fact) 형태로 관리되는 추론된 정보 상호 간 매칭되는 규칙을 검사하는 것을 특징으로 하는,
비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템.
In claim 3,
The rule-based inference engine unit,
Characterized by examining rules that match between at least one rule-based knowledge information defined in advance and inferred information managed in the form of facts in working memory,
An anomaly detection system for autonomous mobile robot control using unsupervised anomaly detection and rule-based reasoning.
상기 작업기억부는,
규칙 기반 추론엔진부에 의한 검사에 따라 매칭이 되는 경우에, 매칭된 규칙 정보의 행위에 해당하는 사실(Fact) 형태를 작업기억(Working Memory)으로서 저장하여 관리하는 것을 특징으로 하는,
비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템.
In claim 3,
The working memory unit,
When a match is made according to an inspection by the rule-based inference engine unit, the fact form corresponding to the behavior of the matched rule information is stored and managed as a working memory,
An anomaly detection system for autonomous mobile robot control using unsupervised anomaly detection and rule-based reasoning.
획득된 시각 정보에 대한 추론되는 비정상 상황을 실시간으로 모니터링하기 위한 비정상 상황 모니터링부를 더 포함하는 것을 특징으로 하는,
비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템.
In claim 1,
Characterized in that it further includes an abnormal situation monitoring unit for monitoring abnormal situations inferred from the acquired visual information in real time,
An anomaly detection system for autonomous mobile robot control using unsupervised anomaly detection and rule-based reasoning.
지능형 자율이동로봇을 제어하기 위한 지능형 자율이동로봇 매니저부를 더 포함하는 것을 특징으로 하는,
비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템.
In claim 1,
Characterized by further comprising an intelligent autonomous mobile robot manager for controlling the intelligent autonomous mobile robot,
An anomaly detection system for autonomous mobile robot control using unsupervised anomaly detection and rule-based reasoning.
상기 지능형 자율이동로봇 매니저부는,
규칙 기반 추론엔진부에 의한 검사에 따라 매칭이 되는 경우에, 매칭된 규칙 정보의 행위를 지능형 자율이동로봇에게 명령하는 것을 특징으로 하는,
비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템.
In claim 7,
The intelligent autonomous mobile robot manager unit,
When a match is made according to the inspection by the rule-based inference engine unit, the intelligent autonomous mobile robot is commanded to perform the actions of the matched rule information,
An anomaly detection system for autonomous mobile robot control using unsupervised anomaly detection and rule-based reasoning.
규칙 기반 추론엔진부에 의한 검사에 따라 매칭이 되는 경우에, 매칭된 규칙 정보의 행위 정보를 수신하기 위한 운용자 단말기를 더 포함하는 것을 특징으로 하는,
비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템.
In claim 1,
When a match is made according to the inspection by the rule-based inference engine unit, it further comprises an operator terminal for receiving action information of the matched rule information,
An anomaly detection system for autonomous mobile robot control using unsupervised anomaly detection and rule-based reasoning.
상기 운용자 단말기는,
매칭된 규칙 정보를 통한 행위 정보 알림을 표시하는 것을 특징으로 하는,
비지도 기반 이상 탐지와 규칙 기반 추론을 활용한 자율이동로봇 제어용 이상치 검출 시스템.
In claim 9,
The operator terminal is,
Characterized in displaying an action information notification through matched rule information,
An anomaly detection system for autonomous mobile robot control using unsupervised anomaly detection and rule-based reasoning.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220062750A KR20230163614A (en) | 2022-05-23 | 2022-05-23 | A outlier detection methods for amr-control using unsupervised anomaly detection and rule-based inferencing and a outlier detection system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220062750A KR20230163614A (en) | 2022-05-23 | 2022-05-23 | A outlier detection methods for amr-control using unsupervised anomaly detection and rule-based inferencing and a outlier detection system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230163614A true KR20230163614A (en) | 2023-12-01 |
Family
ID=89124389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220062750A KR20230163614A (en) | 2022-05-23 | 2022-05-23 | A outlier detection methods for amr-control using unsupervised anomaly detection and rule-based inferencing and a outlier detection system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230163614A (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200092744A (en) | 2019-01-25 | 2020-08-04 | 서울대학교산학협력단 | Apparatus for detecting abnormal branch based on machine learning and method therefor |
| KR20210102135A (en) | 2019-03-05 | 2021-08-19 | 주식회사 엘렉시 | System and Method for Detection of Anomaly Pattern |
-
2022
- 2022-05-23 KR KR1020220062750A patent/KR20230163614A/en not_active Application Discontinuation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200092744A (en) | 2019-01-25 | 2020-08-04 | 서울대학교산학협력단 | Apparatus for detecting abnormal branch based on machine learning and method therefor |
| KR20210102135A (en) | 2019-03-05 | 2021-08-19 | 주식회사 엘렉시 | System and Method for Detection of Anomaly Pattern |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3300005B1 (en) | Augmented reality presentation of an industrial environment | |
| US11265513B2 (en) | Virtual reality and augmented reality for industrial automation | |
| US10535202B2 (en) | Virtual reality and augmented reality for industrial automation | |
| CN105589923B (en) | Dynamic search engine for industrial environment | |
| US10545492B2 (en) | Selective online and offline access to searchable industrial automation data | |
| US10637783B2 (en) | Method and system for processing data in an internet of things (IoT) environment | |
| EP3163522A1 (en) | Automated creation of industrial dashboards and widgets | |
| Attaran | The internet of things: Limitless opportunities for business and society | |
| US10401839B2 (en) | Workflow tracking and identification using an industrial monitoring system | |
| JP2019153277A (en) | Danger ranking using end-to-end deep neural network | |
| May et al. | Zero defect manufacturing strategies and platform for smart factories of industry 4.0 | |
| CN116777375B (en) | Industrial Internet system based on machine vision | |
| EP3885972A1 (en) | Context based perception method and system for managing environmental safety in a computing environment | |
| US20230418958A1 (en) | Scalable, data-driven digital marketplace providing a standardized secured data system for interlinking sensitive risk-related data, and method thereof | |
| EP4206963A1 (en) | System and method for diagnostics and monitoring of anomalies of a cyber-physical system | |
| JP2021057031A (en) | Embedding and support vector machine for teaching traversability | |
| Oks et al. | Embedded vision device integration via OPC UA: Design and evaluation of a neural network-based monitoring system for Industry 4.0 | |
| KR20230163614A (en) | A outlier detection methods for amr-control using unsupervised anomaly detection and rule-based inferencing and a outlier detection system | |
| US20230205193A1 (en) | System and method for diagnostics and monitoring of anomalies of a cyber-physical system | |
| Saboo et al. | Enhancing Predictive Maintenance in an Oil & Gas Refinery Using IoT, AI & ML: An Generative AI Solution | |
| US20240160929A1 (en) | Device for training and managing a visual scene graph model and control method thereof | |
| Arapis et al. | Efficient human 3D localization and free space segmentation for human-aware mobile robots in warehouse facilities | |
| Suma et al. | Computer Vision and Its Intelligence in Industry 4.0 | |
| Poongodi et al. | Opportunities: Machine Learning for Industrial IoT Applications | |
| Hasan | An Undergraduate Internship on InfiltraWatch |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |