WO2022075543A1 - 멀티모달센서를 이용한 이상탐지 방법 및 이를 수행하기 위한 컴퓨팅 장치 - Google Patents

멀티모달센서를 이용한 이상탐지 방법 및 이를 수행하기 위한 컴퓨팅 장치 Download PDF

Info

Publication number
WO2022075543A1
WO2022075543A1 PCT/KR2021/004701 KR2021004701W WO2022075543A1 WO 2022075543 A1 WO2022075543 A1 WO 2022075543A1 KR 2021004701 W KR2021004701 W KR 2021004701W WO 2022075543 A1 WO2022075543 A1 WO 2022075543A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
encoder
auto
anomaly detection
phenotype
Prior art date
Application number
PCT/KR2021/004701
Other languages
English (en)
French (fr)
Inventor
장병탁
유영재
이충연
Original Assignee
서울대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210020873A external-priority patent/KR102413958B1/ko
Application filed by 서울대학교 산학협력단 filed Critical 서울대학교 산학협력단
Publication of WO2022075543A1 publication Critical patent/WO2022075543A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls

Definitions

  • Embodiments disclosed in this specification relate to a method for performing anomaly detection using a multi-modal sensor and a computing device for performing the same, for example, a mobile manipulating robot using an object It relates to a method of detecting an abnormal state such as holding and dropping a robot based on data collected through various types of sensors installed in a mobile operation robot.
  • the mobile operation robot In order for the mobile operation robot to perform an operation such as gripping an object without mistakes, it must be able to determine whether the operation is successful or not based on data collected through a sensor. For example, if a specific object appears and disappears on the arm of the robot in the image captured by the camera, the mobile manipulator robot may determine that the object was grasped and then dropped.
  • the types of objects that the mobile operation robot encounters in various service environments are very diverse, and the image data collected by the robot and the detection value of the weight sensor change large enough to determine the success of a simple operation such as gripping an object. It is also not easy to judge.
  • Embodiments disclosed herein are intended to provide a method for performing anomaly detection with high accuracy based on data collected through a multi-modal sensor, and a computing device for performing the same.
  • a multimodal phenotype generated by reducing and combining data collected by using each of a plurality of different types of sensors through synchronization and convolution operation, data corresponding to a normal state Anomaly detection is performed by applying it as input data to an auto-encoder that has been learned in advance by using it.
  • the performance degradation due to the signal/semantic noise that may occur in a specific sensor is alleviated by fusing the data collected through the multi-modal sensor and applying it as an input to the pre-learned auto encoder. It has the effect of performing anomaly detection with high accuracy.
  • FIG. 1 is a diagram illustrating an artificial neural network model for performing an anomaly detection method using a multi-modal sensor according to an embodiment.
  • FIG. 2 is a diagram illustrating a configuration of a computing device for performing an anomaly detection method using a multi-modal sensor according to an embodiment.
  • 3 to 5 are flowcharts for explaining an anomaly detection method using a multi-modal sensor according to embodiments.
  • a method for performing anomaly detection using a multi-modal sensor is to synchronize and Generating a multimodal phenotype by reducing and combining through a convolution operation, and applying the multimodal phenotype as input data to an auto-encoder, based on the difference between the restored data output from the auto-encoder and the input data and performing detection, wherein the auto-encoder may be pre-trained using data corresponding to a steady state.
  • the anomaly detection method using a multi-modal sensor synchronizes data collected using each of a plurality of different types of sensors. and generating a multimodal phenotype by reducing and combining them through a convolution operation, and applying the multimodal phenotype as input data to an auto-encoder, based on a difference between the restored data output from the auto-encoder and the input data and performing anomaly detection, wherein the auto-encoder may be pre-learned using data corresponding to a normal state.
  • the anomaly detection method using a multi-modal sensor includes each of a plurality of different types of sensors. Generating a multimodal phenotype by reducing and combining the collected data using synchronization and convolution operations, and applying the multimodal phenotype as input data to an auto-encoder, and the restored data output from the auto-encoder and performing anomaly detection based on a difference between the input data, wherein the auto-encoder may be pre-learned using data corresponding to a normal state.
  • a computing device for performing an anomaly detection method using a multi-modal sensor receives data collected using each of a plurality of different types of sensors, and performs anomaly detection based on the input.
  • a control unit comprising an input/output unit for outputting a result, a storage unit storing a program for performing abnormality detection, and at least one processor, and performing abnormality detection using data received through the input/output unit by executing the program.
  • the anomaly detection model implemented by the control unit executing the program is to reduce and combine the collected data through synchronization and convolution operations to generate a multimodal phenotype, and to transmit the multimodal phenotype to an auto-encoder It is applied as input data to the input data, and anomaly detection is performed based on a difference between the restored data output from the auto-encoder and the input data, and the auto-encoder may be pre-learned using data corresponding to a normal state.
  • Multi-modal data' refers to a set of data collected by a multi-modal sensor, that is, different types of sensors.
  • FIG. 1 is a diagram illustrating an artificial neural network model (hereinafter referred to as an 'anomaly detection model') for performing an anomaly detection method using a multimodal sensor according to an embodiment
  • FIG. 2 is an embodiment It is a diagram showing the configuration of a computing device for performing an anomaly detection method using a multi-modal sensor according to .
  • the anomaly detection model shown in FIG. 1 may be implemented by the controller 220 of the computing device 200 of FIG. 2 executing a program stored in the storage 230 .
  • components included in the computing device 200 will be briefly described, and then, a method of performing anomaly detection through the anomaly detection model shown in FIG. 1 will be described in detail.
  • the computing device 200 may include an input/output unit 210 , a control unit 220 , and a storage unit 230 .
  • the input/output unit 210 is configured to receive a user command or data related to anomaly detection using a multi-modal sensor, and output a result of performing abnormality detection.
  • the input/output unit 210 may include various types of input devices (e.g. keyboard, touch screen, etc.) for receiving input from the user, and also transmit/receive data used for detecting anomalies and data as a result of performing abnormality detection. It may include a connection port or a communication module for
  • the control unit 220 is configured to include at least one processor such as a CPU, and executes a program stored in the storage unit 230 to perform abnormality detection using a multi-modal sensor according to a process presented below.
  • the controller 220 executes the program stored in the storage 230 to implement the anomaly detection model 100 shown in FIG. 1 , and the controller 220 detects anomalies through the anomaly detection model 100 .
  • a method in which the controller 220 performs anomaly detection using a multi-modal sensor using the anomaly detection model 100 will be described in detail below with reference to FIG. 1 .
  • the storage unit 230 is a configuration in which files and programs can be stored, and can be configured through various types of memories.
  • the storage unit 230 may store data and programs enabling the control unit 220 to perform an operation for detecting anomalies according to a process presented below.
  • data corresponding to a normal state for learning the auto encoder 130 included in the anomaly detection model 100 may be stored in the storage 230 .
  • control unit 220 executes a program stored in the storage unit 230 to perform an anomaly detection method using a multi-modal sensor according to an embodiment will be described in detail with reference to FIG. 1 .
  • the mobile manipulating robot successfully performs an operation of gripping an object (normal state) or misses an object (abnormal state) is collected using a multi-modal sensor installed in a mobile operation robot It is explained assuming a situation in which judgment is made based on one data. However, it is self-evident that the anomaly detection model 100 may be used to detect anomalies in various situations other than the situations assumed above.
  • the anomaly detection model 100 is implemented by the control unit 220 executing a program stored in the storage unit 230, so that the operation described to be performed by the anomaly detection model 100 in subsequent embodiments or The process can be seen as being actually performed by the control unit 220 .
  • detailed components included in the anomaly detection model 100 can be viewed as a unit of software that plays a specific function or role in the overall program for performing an anomaly detection method using a multi-modal sensor.
  • an anomaly detection model 100 may include a synchronization module 110 , a fusion module 120 , an auto encoder 130 , and an anomaly discriminator 140 .
  • the multi-modal sensor installed in the mobile manipulator includes an RGB camera, a depth camera, a lidar sensor, a force-torque sensor, and a microphone.
  • the multi-modal data 10 collected through the multi-modal sensor includes an RGB image, a depth image, a lidar measurement value, a force-torque measurement value, and a sound.
  • the multi-modal data 10 collected while the mobile operation robot performs an operation of gripping an object is applied as an input to the anomaly detection model 100 .
  • the heterogeneous data included in the multimodal data 10 is used as an input to the auto-encoder 130 because the number of times (that is, the data collection period), size, and dimension of data collected during a unit time are different. In order to do this, a process of synchronizing and fusing data is required, and the synchronization module 110 and the fusion module 120 perform this.
  • the synchronization module 110 synchronizes and normalizes heterogeneous data included in the multi-modal data 10 .
  • the synchronization module 110 samples heterogeneous data included in the multi-modal data 10 based on a specific period (synchronization), and normalizes the sampled data to values of a certain section.
  • the synchronization module 110 records each point in time at which data is collected from the point in time when the sensors start to collect data in a timestamp, and time based on a specific period Set the index to the stamp. Then, the synchronization module 110 may sample each of the heterogeneous data by selecting only data collected at a time point closest to the index.
  • RGB images are collected at 40 Hz (i.e., data is collected 40 times per second), lidar measurements are collected at 20 Hz, and force-torque measurements are collected at 10 Hz. do.
  • the synchronization module 110 sets the index at intervals of 0.1 seconds such as 0.1 second, 0.2 second, 0.3 second, etc. on the timestamp, and only the data closest to each index for each heterogeneous data choose RGB images are collected at 0.025 sec, 0.05 sec, 0.075 sec, 0.1 sec, and 0.125 sec, respectively, and the synchronization module 110 selects only the RGB image collected at 0.1 sec among them and discards the remaining data.
  • lidar measurement values are collected at 0.05 seconds, 0.1 seconds, and 0.15 seconds, respectively, and the synchronization module 110 selects only the lidar measurement values collected at 0.1 seconds among them and discards the remaining data.
  • the force-torque measurement value is collected at 0.1 sec. and 0.2 sec., respectively, and since all time points at which data are collected coincide with the index, the synchronization module 110 selects all data.
  • the synchronization module 110 normalizes heterogeneous data synchronized through the above process. For example, in the case of an RGB image, the synchronization module 110 converts a value between 0 and 255 for each channel into a value between 0 and 1, and for each of the remaining data, the minimum and maximum values match 0 and 1, respectively. Convert it to a value between 0 and 1.
  • the fusion module 120 performs a process of fusion of the synchronized and normalized multimodal data 10 . Since the heterogeneous data output from the synchronization module 110 have different sizes and dimensions, the fusion module 120 reduces and unifies the dimensions of the heterogeneous data through a convolution operation, and then combines them to achieve multimodal Create a multi-modal representation (20).
  • the generated multimodal phenotype 20 is applied as input data to the auto-encoder 130 .
  • the anomaly detection model 100 performs anomaly detection based on a difference between an input and an output to the auto-encoder 130.
  • the auto-encoder 130 may be previously trained using data corresponding to a normal state. .
  • the auto-encoder 130 is learned using data collected through the multi-modal sensor when it is in a normal state (a state in which the mobile manipulating robot stably grips an object), and thus the auto-encoder 130 is in an abnormal state (a mobile manipulating robot). If the data collected through the multi-modal sensor is input to the auto encoder 130 when the object is not grasped), the difference between the input and the output becomes larger than in the normal state. Using these characteristics, the anomaly detection model 100 calculates an error score using the difference between the input and output of the auto encoder 130, and the anomaly discriminator 140 determines that the error score is higher than a preset reference value. If it is large, it can be judged as an abnormal state, and, conversely, when the error score is less than the reference value, it can be judged as a normal state. The method of calculating the error score and setting the reference value will be described in detail below.
  • the error score may be calculated by various methods so as to have a value reflecting the difference between the input and output of the auto encoder 130 .
  • a method of calculating an error score according to an exemplary embodiment will be described as follows.
  • Anomaly detection model 100 is a result output from the hidden layer of the encoder included in the auto-encoder 130 when the input data is applied to the auto-encoder 130, and the auto-encoder when the restored data is applied to the auto-encoder 130 An error score may be calculated using the difference between the results output from the hidden layer of the encoder included in 130 .
  • the anomaly detection model 100 is Wow An error score can be calculated according to Equation 3 below using the difference between the two.
  • the error score can be regarded as a concept in which the difference between the results output from the encoder hidden layer when the input data and the restored data are respectively applied as inputs to the auto encoder 130 is summed for all hidden layers.
  • data corresponding to a normal state required for learning of the auto encoder 130 may be collected.
  • the mobile manipulating robot holds the object, moves it by a predetermined distance, and then repeatedly performs an experimental operation of dropping the object, and collects data using a multi-modal sensor while the mobile manipulating robot performs the experimental operation. do.
  • data collected during a state that satisfies a certain condition e.g. from the time when the mobile robot successfully grips the object to the moment before dropping the object
  • the abnormality detection model 100 may determine a reference value as a criterion for determining whether an abnormal state exists based on an error score calculated when data corresponding to a normal state is applied to the auto encoder 130 .
  • the anomaly detection model 100 may set the reference value as the maximum value of the error points for data corresponding to the normal state, or use the maximum value among the remaining error points excluding some outliers as the reference value. can also be set to
  • the anomaly detection model 100 may determine a reference value by using the error score in various ways to effectively detect an abnormal state.
  • 3 to 5 are flowcharts for explaining an anomaly detection method using a multi-modal sensor according to an embodiment.
  • An anomaly detection method using a multi-modal sensor according to the embodiments shown in FIGS. 3 to 5 includes steps that are time-series processed by the computing device 200 shown in FIG. 2 . Therefore, even if omitted below, the contents described above with respect to the computing device 200 of FIG. 2 may also be applied to the anomaly detection method using the multi-modal sensor according to the embodiments shown in FIGS. 3 to 5 . .
  • the anomaly detection model 100 reduces and combines data collected using each of a plurality of different types of sensors through synchronization and convolution operations to generate a multimodal phenotype. .
  • step 401 the anomaly detection model 100 samples collected data based on a preset period, and normalizes the sampled data to a value of a preset section.
  • step 402 the anomaly detection model 100 reduces and unifies the dimensions of normalized data through a convolution operation, and then combines them.
  • the anomaly detection model 100 applies the multimodal phenotype as input data to the auto-encoder 130, and based on the difference between the restored data output from the auto-encoder 130 and the input data to perform anomaly detection.
  • step 501 the anomaly detection module 100 outputs the result output from the hidden layer of the encoder included in the auto encoder 130 when the input data is applied to the auto encoder 130 , and the restored data is the auto encoder When applied to 130 , an error score is calculated using the difference between the results output from the hidden layer of the encoder included in the auto encoder 130 .
  • step 502 the anomaly discriminator 140 of the anomaly detection module 100 determines whether the calculated error score is less than or equal to a preset reference value, and if it is less than the reference value, proceeds to step 504 to determine a normal state, and if it exceeds the reference value It proceeds to step 503 and it is determined as an abnormal state.
  • ' ⁇ unit' used in the above embodiments means software or hardware components such as field programmable gate array (FPGA) or ASIC, and ' ⁇ unit' performs certain roles.
  • '-part' is not limited to software or hardware.
  • ' ⁇ ' may be configured to reside on an addressable storage medium or may be configured to refresh one or more processors. Accordingly, as an example, ' ⁇ ' indicates components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, and procedures. , subroutines, segments of program patent code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables.
  • the functions provided in the components and ' ⁇ units' may be combined into a smaller number of elements and ' ⁇ units' or separated from additional components and ' ⁇ units'.
  • components and ' ⁇ units' may be implemented to play one or more CPUs in a device or secure multimedia card.
  • the anomaly detection method using the multi-modal sensor according to the embodiments described with reference to FIGS. 3 to 5 may also be implemented in the form of a computer-readable medium for storing instructions and data executable by a computer.
  • the instructions and data may be stored in the form of program codes, and when executed by the processor, a predetermined program module may be generated to perform a predetermined operation.
  • computer-readable media can be any available media that can be accessed by a computer, and includes both volatile and nonvolatile media, removable and non-removable media.
  • the computer-readable medium may be a computer recording medium, which is a volatile and non-volatile and non-volatile storage medium implemented in any method or technology for storage of information such as computer-readable instructions, data structures, program modules, or other data. It may include both volatile, removable and non-removable media.
  • the computer recording medium may be a magnetic storage medium such as HDD and SSD, an optical recording medium such as CD, DVD, and Blu-ray disc, or a memory included in a server accessible through a network.
  • the abnormality detection method using the multi-modal sensor according to the embodiments described with reference to FIGS. 3 to 5 may be implemented as a computer program (or computer program product) including instructions executable by a computer.
  • the computer program includes programmable machine instructions processed by a processor, and may be implemented in a high-level programming language, an object-oriented programming language, an assembly language, or a machine language.
  • the computer program may be recorded in a tangible computer-readable recording medium (eg, a memory, a hard disk, a magnetic/optical medium, or a solid-state drive (SSD), etc.).
  • the abnormality detection method using the multi-modal sensor according to the embodiments described with reference to FIGS. 3 to 5 may be implemented by executing the computer program as described above by the computing device.
  • the computing device may include at least a portion of a processor, a memory, a storage device, a high-speed interface connected to the memory and the high-speed expansion port, and a low-speed interface connected to the low-speed bus and the storage device.
  • Each of these components is connected to each other using various buses, and may be mounted on a common motherboard or in any other suitable manner.
  • the processor may process a command within the computing device, such as, for example, to display graphic information for providing a graphic user interface (GUI) on an external input or output device, such as a display connected to a high-speed interface.
  • GUI graphic user interface
  • Examples are instructions stored in memory or a storage device.
  • multiple processors and/or multiple buses may be used with multiple memories and types of memory as appropriate.
  • the processor may be implemented as a chipset formed by chips including a plurality of independent analog and/or digital processors.
  • Memory also stores information within the computing device.
  • the memory may be configured as a volatile memory unit or a set thereof.
  • the memory may be configured as a non-volatile memory unit or a set thereof.
  • the memory may also be another form of computer readable medium, such as, for example, a magnetic or optical disk.
  • a storage device may provide a large-capacity storage space to the computing device.
  • a storage device may be a computer-readable medium or a component comprising such a medium, and may include, for example, devices or other components within a storage area network (SAN), a floppy disk device, a hard disk device, an optical disk device, or a tape device, a flash memory, or other semiconductor memory device or device array similar thereto.
  • SAN storage area network
  • floppy disk device a hard disk device
  • an optical disk device or a tape device
  • flash memory or other semiconductor memory device or device array similar thereto.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

일 실시예에 따른 멀티모달센서(multi-modal sensor)를 이용하여 이상탐지를 수행하는 방법은, 서로 다른 종류의 복수의 센서들 각각을 이용하여 수집된 데이터들을, 동기화 및 콘볼루션 연산을 통해 축소 및 결합하여 멀티모달 표현형(multi-modal representation)을 생성하는 단계 및 상기 멀티모달 표현형을 오토 인코더(auto encoder)에 대한 입력 데이터로서 인가하고, 상기 오토 인코더에서 출력되는 복원 데이터와 상기 입력 데이터 간 차이에 기초하여 이상탐지(anomaly detection)를 수행하는 단계를 포함하며, 상기 오토 인코더는 정상 상태에 대응되는 데이터들을 이용하여 미리 학습된다.

Description

멀티모달센서를 이용한 이상탐지 방법 및 이를 수행하기 위한 컴퓨팅 장치
본 명세서에서 개시되는 실시예들은 멀티모달센서(multi-modal sensor)를 이용하여 이상탐지(anomaly detection)를 수행하기 위한 방법 및 이를 수행하기 위한 컴퓨팅 장치에 관한 것으로서, 예를 들어 이동형 조작 로봇이 물체를 파지했다가 떨어트리는 것과 같은 이상 상태를, 이동형 조작 로봇에 설치된 다양한 종류의 센서들을 통해 수집된 데이터에 기초하여 감지하는 방법에 관한 것이다.
본 연구는 과학기술정보통신부와 정보통신기획평가원의 혁신성장동력프로젝트 사업의 연구결과로 수행되었음(IITP-2017-0-01772-005).
본 연구는 과학기술정보통신부와 정보통신기획평가원의 SW컴퓨팅산업원천기술개발 사업의 연구결과로 수행되었음(IITP-2015-0-00310-007).
본 연구는 과학기술정보통신부와 정보통신기획평가원의 ICT융합산업원천기술개발 사업의 연구결과로 수행되었음(IITP-2018-0-00622-004).
최근에는 로봇을 활용하는 형태가 일정 위치에 고정되어 단순한 반복작업을 수행하던 것에서, 스스로 이동하면서 상황에 따라 필요한 동작을 수행하는 것으로 점차 확대되어가는 추세이다.
이동형 조작 로봇이 물체의 파지 등과 같은 동작을 실수 없이 수행하기 위해서는, 센서를 통해 수집하는 데이터에 기반하여 동작의 성공 여부를 판단할 수 있어야 한다. 예를 들어, 이동형 조작 로봇은 카메라를 통해 촬영한 영상에서 로봇의 팔 부분에 특정 물체가 보였다가 사라진다면 물체를 파지했다가 떨어트린 것으로 판단할 수 있을 것이다.
그런데, 이동형 조작 로봇이 다양한 서비스 환경에서 접하게 되는 물체의 종류는 너무나 다양하고, 로봇이 이동하면서 수집하는 영상 데이터나 무게 센서의 감지값은 그 변화가 커서 물체의 파지와 같은 간단한 동작의 성공 여부를 판단하는 것도 쉽지 않은 실정이다.
따라서, 이동형 조작 로봇의 동작과 관련한 이상탐지를 높은 정확도로 수행할 수 있는 기술의 개발이 필요하다.
한편, 전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 명세서에서 개시되는 실시예들은, 멀티모달센서를 통해 수집된 데이터에 기초하여 높은 정확도로 이상탐지를 수행하기 위한 방법 및 이를 수행하기 위한 컴퓨팅 장치를 제공하고자 한다.
상술한 기술적 과제를 해결하기 위해, 서로 다른 종류의 복수의 센서들 각각을 이용하여 수집된 데이터들을 동기화 및 콘볼루션 연산을 통해 축소 및 결합함으로써 생성한 멀티모달 표현형을, 정상 상태에 대응되는 데이터들을 이용하여 미리 학습된 오토 인코더에 대한 입력 데이터로 인가함으로써 이상탐지를 수행한다.
전술한 과제 해결 수단 중 어느 하나에 의하면, 멀티모달센서를 통해 수집된 데이터들을 융합하여 미리 학습된 오토 인코더에 입력으로 인가함으로써, 특정 센서에서 발생 가능한 신호적/의미적 잡음으로 인한 성능 하락을 완화시키고 높은 정확도로 이상탐지를 수행할 수 있는 효과가 있다.
개시되는 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 개시되는 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 멀티모달센서를 이용한 이상탐지 방법을 수행하기 위한 인공신경망 모델을 도시한 도면이다.
도 2는 일 실시예에 따른 멀티모달센서를 이용한 이상탐지 방법을 수행하기 위한 컴퓨팅 장치의 구성을 도시한 도면이다.
도 3 내지 도 5는 실시예들에 따른 멀티모달센서를 이용한 이상탐지 방법을 설명하기 위한 순서도들이다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따르면 멀티모달센서를 이용하여 이상탐지를 수행하는 방법은, 서로 다른 종류의 복수의 센서들 각각을 이용하여 수집된 데이터들을, 동기화 및 콘볼루션 연산을 통해 축소 및 결합하여 멀티모달 표현형을 생성하는 단계 및 상기 멀티모달 표현형을 오토 인코더에 대한 입력 데이터로서 인가하고, 상기 오토 인코더에서 출력되는 복원 데이터와 상기 입력 데이터 간 차이에 기초하여 이상탐지를 수행하는 단계를 포함하며, 상기 오토 인코더는 정상 상태에 대응되는 데이터들을 이용하여 미리 학습될 수 있다.
다른 실시예에 따르면, 멀티모달센서를 이용한 이상탐지 방법을 수행하기 위한 컴퓨터 프로그램으로서, 멀티모달센서를 이용한 이상탐지 방법은, 서로 다른 종류의 복수의 센서들 각각을 이용하여 수집된 데이터들을, 동기화 및 콘볼루션 연산을 통해 축소 및 결합하여 멀티모달 표현형을 생성하는 단계 및 상기 멀티모달 표현형을 오토 인코더에 대한 입력 데이터로서 인가하고, 상기 오토 인코더에서 출력되는 복원 데이터와 상기 입력 데이터 간 차이에 기초하여 이상탐지를 수행하는 단계를 포함하며, 상기 오토 인코더는 정상 상태에 대응되는 데이터들을 이용하여 미리 학습될 수 있다.
또 다른 실시예에 따르면, 멀티모달센서를 이용한 이상탐지 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체로서, 멀티모달센서를 이용한 이상탐지 방법은, 서로 다른 종류의 복수의 센서들 각각을 이용하여 수집된 데이터들을, 동기화 및 콘볼루션 연산을 통해 축소 및 결합하여 멀티모달 표현형을 생성하는 단계 및 상기 멀티모달 표현형을 오토 인코더에 대한 입력 데이터로서 인가하고, 상기 오토 인코더에서 출력되는 복원 데이터와 상기 입력 데이터 간 차이에 기초하여 이상탐지를 수행하는 단계를 포함하며, 상기 오토 인코더는 정상 상태에 대응되는 데이터들을 이용하여 미리 학습될 수 있다.
또 다른 실시예에 따르면, 멀티모달센서를 이용한 이상탐지 방법을 수행하기 위한 컴퓨팅 장치는, 서로 다른 종류의 복수의 센서들 각각을 이용하여 수집된 데이터들을 입력 받고, 이에 기초하여 이상탐지를 수행한 결과를 출력하기 위한 입출력부, 이상탐지를 수행하기 위한 프로그램이 저장되는 저장부 및 적어도 하나의 프로세서를 포함하며, 상기 프로그램을 실행시킴으로써 상기 입출력부를 통해 수신된 데이터들을 이용하여 이상탐지를 수행하는 제어부를 포함하며, 상기 제어부가 상기 프로그램을 실행함으로써 구현되는 이상탐지 모델은, 동기화 및 콘볼루션 연산을 통해 상기 수집된 데이터들을 축소 및 결합하여 멀티모달 표현형을 생성하고, 상기 멀티모달 표현형을 오토 인코더에 대한 입력 데이터로서 인가하고, 상기 오토 인코더에서 출력되는 복원 데이터와 상기 입력 데이터 간 차이에 기초하여 이상탐지를 수행하며, 상기 오토 인코더는 정상 상태에 대응되는 데이터들을 이용하여 미리 학습될 수 있다.
아래에서는 첨부한 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 아래에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여, 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략하였다. 그리고, 도면에서 실시예들의 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐 아니라, '그 중간에 다른 구성을 사이에 두고 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성이 어떤 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들을 더 포함할 수도 있음을 의미한다.
실시예들에 대해서 구체적으로 설명하기에 앞서 본 명세서에서 자주 사용되는 용어의 의미에 대해서 설명한다.
'멀티모달센서(multi-modal sensor)'란 서로 다른 종류의 복수의 센서들을 포함하는 의미이며, 예를 들어 RGB 카메라, 뎁스(depth) 카메라, 라이다(LiDAR) 센서, 포스-토크(force-torque) 센서 및 마이크 등을 포함할 수 있다.
'멀티모달 데이터(multi-modal data)'란 멀티모달센서, 즉 이종의 센서들에 의해 수집된 데이터의 집합을 의미한다.
이하 첨부된 도면을 참고하여 실시예들을 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 멀티모달센서를 이용한 이상탐지(anomaly detection) 방법을 수행하기 위한 인공신경망 모델(이하, '이상탐지 모델'이라 함)을 도시한 도면이고, 도 2는 일 실시예에 따른 멀티모달센서를 이용한 이상탐지 방법을 수행하기 위한 컴퓨팅 장치의 구성을 도시한 도면이다. 도 1에 도시된 이상탐지 모델은 도 2의 컴퓨팅 장치(200)의 제어부(220)가 저장부(230)에 저장된 프로그램을 실행함으로써 구현될 수 있다. 이하에서는 컴퓨팅 장치(200)에 포함된 구성들에 대해서 먼저 간단히 설명한 후, 도 1에 도시된 이상탐지 모델을 통해 이상탐지를 수행하는 방법에 대해서 자세히 설명한다.
도 2를 참조하면, 일 실시예에 따른 컴퓨팅 장치(200)는 입출력부(210), 제어부(220) 및 저장부(230)를 포함할 수 있다.
입출력부(210)는 멀티모달센서를 이용한 이상탐지와 관련된 사용자의 명령이나 데이터를 수신하고, 이상탐지를 수행한 결과를 출력하기 위한 구성이다. 입출력부(210)는 사용자로부터 입력을 수신하기 위한 다양한 종류의 입력장치(e.g. 키보드, 터치스크린 등)를 포함할 수 있으며, 또한 이상탐지에 사용되는 데이터 및 이상탐지를 수행한 결과 데이터를 송수신하기 위한 연결 포트나 통신 모듈을 포함할 수도 있다.
제어부(220)는 CPU 등과 같은 적어도 하나의 프로세서를 포함하는 구성으로서, 저장부(230)에 저장된 프로그램을 실행함으로써 이하에서 제시되는 프로세스에 따라 멀티모달센서를 이용한 이상탐지를 수행한다. 다시 말해, 제어부(220)가 저장부(230)에 저장된 프로그램을 실행함으로써 도 1에 도시된 이상탐지 모델(100)이 구현되고, 제어부(220)는 이상탐지 모델(100)을 통해 이상탐지를 수행한다. 제어부(220)가 이상탐지 모델(100)을 이용하여 멀티모달센서를 이용한 이상탐지를 수행하는 방법에 대해서는 아래에서 도 1을 참조하여 자세히 설명한다.
저장부(230)는 파일 및 프로그램이 저장될 수 있는 구성으로서 다양한 종류의 메모리를 통해 구성될 수 있다. 특히, 저장부(230)에는 제어부(220)가 이하에서 제시되는 프로세스에 따라 이상탐지를 위한 연산을 수행할 수 있도록 하는 데이터 및 프로그램이 저장될 수 있다. 또한, 저장부(230)에는 이상탐지 모델(100)에 포함된 오토 인코더(130)를 학습시키기 위한 정상 상태에 대응되는 데이터들이 저장될 수 있다.
이하에서는 제어부(220)가 저장부(230)에 저장된 프로그램을 실행시킴으로써 일 실시예에 따른 멀티모달센서를 이용한 이상탐지 방법을 수행하는 과정에 대해서, 도 1을 참조하여 자세히 설명한다.
특히, 이하의 실시예들에서는 이동형 조작 로봇이 물체를 파지하는 동작을 성공적으로 수행했는지(정상 상태) 아니면 물체를 놓치게 되었는지(이상 상태) 여부를, 이동형 조작 로봇에 설치된 멀티모달센서를 이용하여 수집한 데이터에 기초하여 판단하는 상황을 가정하여 설명한다. 다만, 이상탐지 모델(100)은 위에서 가정한 상황 외에도 다양한 상황에서 이상 상태를 탐지하기 위해 사용될 수 있음은 자명하다.
앞서 설명한 바와 같이 이상탐지 모델(100)은 제어부(220)가 저장부(230)에 저장된 프로그램을 실행함으로써 구현되는 것이므로, 이후의 실시예들에서 이상탐지 모델(100)이 수행한다고 설명되는 동작이나 프로세스는, 실제로는 제어부(220)가 수행하는 것으로 볼 수 있다. 또한, 이상탐지 모델(100)에 포함되는 세부 구성들은 멀티모달센서를 이용한 이상탐지 방법을 수행하는 전체적인 프로그램에서 특정 기능이나 역할을 담당하는 소프트웨어 단위로 볼 수 있다.
도 1을 참조하면, 일 실시예에 따른 이상탐지 모델(100)은 동기화 모듈(110), 융합 모듈(120), 오토 인코더(130) 및 이상 판별기(140)를 포함할 수 있다.
이동형 조작 로봇에 설치된 멀티모달센서는 RGB 카메라, 뎁스 카메라, 라이다 센서, 포스-토크 센서 및 마이크를 포함한다고 가정한다. 이러한 멀티모달센서를 통해 수집된 멀티모달 데이터(10)는 RGB 이미지, 뎁스 이미지, 라이다 측정값, 포스-토크 측정값 및 사운드를 포함한다. 이동형 조작 로봇이 물체를 파지하는 동작을 수행하는 과정에서 수집된 멀티모달 데이터(10)가 이상탐지 모델(100)에 대한 입력으로 인가된다.
멀티모달 데이터(10)에 포함되는 이종(heterogeneous)의 데이터들은 단위시간 동안 데이터가 수집된 횟수(즉, 데이터의 수집 주기), 크기 및 차원 등이 상이하므로 오토 인코더(130)에 대한 입력으로 사용하기 위해서 데이터들을 동기화하고 융합하는 프로세스가 필요하고, 이를 동기화 모듈(110) 및 융합 모듈(120)이 수행한다.
동기화 모듈(110)은 멀티모달 데이터(10)에 포함된 이종의 데이터들을 동기화 및 정규화한다. 동기화 모듈(110)은 멀티모달 데이터(10)에 포함된 이종의 데이터들을 특정 주기를 기준으로 샘플링하고(동기화), 샘플링된 데이터들을 일정 구간의 값으로 정규화한다.
이종의 데이터들을 동기화하는 프로세스에 대해서 좀 더 자세히 설명하면, 동기화 모듈(110)은 센서들이 데이터를 수집하기 시작하는 시점부터 데이터가 수집된 각 시점을 타임스탬프에 기록하고, 특정 주기를 기준으로 타임스탬프에 인덱스를 설정한다. 이어서, 동기화 모듈(110)은 이종의 데이터들 각각에 대해서, 인덱스와 가장 근접한 시점에 수집된 데이터만을 선택하는 방식으로 샘플링할 수 있다.
구체적인 예를 들어 설명하기 위해, RGB 이미지는 40Hz로 수집되고(즉, 1초에 40번 데이터가 수집됨), 라이다 측정값은 20Hz로 수집되고, 포스-토크 측정값은 10Hz로 수집된다고 가정한다. 이때, 10Hz를 기준으로 데이터들을 샘플링한다면, 동기화 모듈(110)은 타임스탬프상에 0.1초, 0.2초, 0.3초 등과 같이 0.1초 간격으로 인덱스를 설정하고, 이종 데이터별로 각 인덱스에 가장 근접한 데이터만을 선택한다. RGB 이미지의 경우 0.025초, 0.05초, 0.075초, 0.1초 및 0.125초에 각각 수집되는데, 동기화 모듈(110)은 이들 중 0.1초에 수집된 RGB 이미지만을 선택하고 나머지 데이터들은 버린다. 또한, 라이다 측정값은 0.05초, 0.1초 및 0.15초에 각각 수집되는데, 동기화 모듈(110)은 이들 중 0.1초에 수집된 라이다 측정값만을 선택하고 나머지 데이터들은 버린다. 또한, 포스-토크 측정값은 0.1초, 0.2초에 각각 수집되는데, 데이터가 수집되는 모든 시점이 인덱스와 일치하므로 동기화 모듈(110)은 모든 데이터를 선택한다.
동기화 모듈(110)은 위와 같은 과정을 통해 동기화된 이종의 데이터들에 대해서 정규화 작업을 수행한다. 예를 들어, 동기화 모듈(110)은 RGB 이미지의 경우 채널별로 0~255 사이의 값을 0~1 사이의 값으로 변환하고, 나머지 데이터들 각각에 대해서도 최소값 및 최대값이 각각 0 및 1에 매칭되도록 하여 0~1 사이의 값으로 변환한다.
융합 모듈(120)은 동기화 및 정규화된 멀티모달 데이터(10)를 융합하는 프로세스를 수행한다. 동기화 모듈(110)로부터 출력된 이종의 데이터들은 서로 크기 및 차원이 상이하므로, 융합 모듈(120)은 콘볼루션(convolution) 연산을 통해 이종의 데이터들의 차원을 축소 및 통일한 후 서로 결합함으로써 멀티모달 표현형(multi-modal representation)(20)을 생성한다.
생성된 멀티모달 표현형(20)은 오토 인코더(130)에 대한 입력 데이터로 인가된다. 이상탐지 모델(100)은 오토 인코더(130)에 대한 입력과 출력 간 차이에 기초하여 이상탐지를 수행하는데, 이를 위해 오토 인코더(130)는 미리 정상 상태에 대응되는 데이터들을 이용하여 학습될 수 있다.
좀 더 자세히 설명하면, 오토 인코더(130)는 정상 상태(이동형 조작 로봇이 안정적으로 물체를 파지한 상태)일 때 멀티모달센서를 통해 수집된 데이터들을 이용하여 학습되고, 따라서 이상 상태(이동형 조작 로봇이 물체 파지에 실패한 상태)일 때 멀티모달센서를 통해 수집된 데이터들을 오토 인코더(130)에 입력하면 입력과 출력 간 차이가 정상 상태일 때에 비해 커지게 된다. 이러한 특성을 이용하여 이상탐지 모델(100)은 오토 인코더(130)의 입력과 출력 간 차이를 이용하여 오차점수(anomaly score)를 산출하고, 이상 판별기(140)는 오차점수가 미리 설정된 기준값보다 크면 이상 상태로 판단하고, 반대로 오차점수가 기준값 이하라면 정상 상태로 판단할 수 있다. 오차점수의 산출 방법 및 기준값을 설정하는 방법에 대해서는 아래에서 자세히 설명한다.
오차점수는 오토 인코더(130)의 입력과 출력 간 차이를 반영하는 값이 되도록 다양한 방법에 의해 산출될 수 있다. 일 실시예에 따른 오차점수 산출 방법에 대해서 설명하면 다음과 같다.
오토 인코더(130)에 입력되는 데이터를 '입력 데이터'라고 하고, 그에 따라 오토 인코더(130)에서 복원되어 출력되는 데이터를 '복원 데이터'라고 한다. 이상탐지 모델(100)은 입력 데이터가 오토 인코더(130)에 인가되었을 때 오토 인코더(130)에 포함된 인코더의 은닉층에서 출력되는 결과와, 복원 데이터가 오토 인코더(130)에 인가되었을 때 오토 인코더(130)에 포함된 인코더의 은닉층에서 출력되는 결과 간 차이를 이용하여 오차점수를 산출할 수 있다.
구체적인 예를 들어 더 자세히 설명하면 다음과 같다. 오토 인코더(130)에 대한 입력 데이터를
Figure PCTKR2021004701-appb-img-000001
라고 하고, 오토 인코더(130)에 포함된 인코더
Figure PCTKR2021004701-appb-img-000002
의
Figure PCTKR2021004701-appb-img-000003
번째 은닉층에서 출력되는 결과를
Figure PCTKR2021004701-appb-img-000004
라고 한다. 또한, 입력 데이터
Figure PCTKR2021004701-appb-img-000005
가 오토 인코더(130)를 통과하여 출력된 복원 데이터를
Figure PCTKR2021004701-appb-img-000006
라고 하고, 복원 데이터
Figure PCTKR2021004701-appb-img-000007
가 오토 인코더(130)에 다시 입력으로 인가되었을 때 인코더
Figure PCTKR2021004701-appb-img-000008
의
Figure PCTKR2021004701-appb-img-000009
번째 은닉층에서 출력되는 결과를
Figure PCTKR2021004701-appb-img-000010
라고 한다. 다음의 수학식 1 및 2와 같이 인코더의 은닉층에서 출력되는 결과를 나타낼 수 있다.
[수학식 1]
Figure PCTKR2021004701-appb-img-000011
[수학식 2]
Figure PCTKR2021004701-appb-img-000012
이상탐지 모델(100)은
Figure PCTKR2021004701-appb-img-000013
와
Figure PCTKR2021004701-appb-img-000014
간 차이를 이용하여 아래의 수학식 3에 따라서 오차점수를 산출할 수 있다.
[수학식 3]
Figure PCTKR2021004701-appb-img-000015
즉, 오차점수는 오토 인코더(130)에 입력 데이터 및 복원 데이터를 각각 입력으로 인가했을 때 인코더 은닉층에서 출력되는 결과의 차이를 모든 은닉층에 대해서 합산한 개념이라고 볼 수 있다.
한편, 이동형 조작 로봇의 동작을 제어함으로써 오토 인코더(130)의 학습에 필요한 정상 상태에 대응되는 데이터들을 수집할 수 있다. 예를 들어, 이동형 조작 로봇이 물체를 파지하여 소정 거리만큼 이동한 후 물체를 떨어트리는 실험 동작을 반복하여 수행하도록 하고, 이동형 조작 로봇이 실험 동작을 수행하는 동안 멀티모달센서를 이용하여 데이터를 수집한다. 멀티모달 데이터 중에서 일정 조건을 만족하는 상태(e.g. 이동형 조작 로봇이 물체를 성공적으로 파지한 시점부터 물체를 떨어트리기 조금 전 시점까지) 동안 수집된 데이터를 정상 상태에 대응되는 데이터로 분류할 수 있다.
이상탐지 모델(100)은 정상 상태에 대응되는 데이터들을 오토 인코더(130)에 인가했을 때 산출되는 오차점수에 기초하여, 이상 상태 여부 판단의 기준이 되는 기준값을 결정할 수 있다. 예를 들어, 이상탐지 모델(100)은 정상 상태에 대응되는 데이터들에 대한 오차점수의 최대값을 기준값을 설정할 수도 있고, 또는 일부 이상점(outlier)을 제외한 나머지 오차점수들 중의 최대값을 기준값으로 설정할 수도 있다. 이상탐지 모델(100)은 그 외에도 효과적으로 이상 상태를 탐지할 수 있도록 다양한 방식으로 오차점수를 이용하여 기준값을 결정할 수 있다.
이하에서는 상술한 바와 같은 컴퓨팅 장치(200)를 이용하여 멀티모달센서를 이용한 이상탐지를 수행하는 방법을 설명한다. 도 3 내지 도 5는 일 실시예에 따른 멀티모달센서를 이용한 이상탐지 방법을 설명하기 위한 순서도들이다.
도 3 내지 도 5에 도시된 실시예들에 따른 멀티모달센서를 이용한 이상탐지 방법은 도 2에 도시된 컴퓨팅 장치(200)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하에서 생략된 내용이라고 하더라도 도 2의 컴퓨팅 장치(200)에 관하여 이상에서 기술한 내용은 도 3 내지 도 5에 도시된 실시예들에 따른 멀티모달센서를 이용한 이상탐지 방법에도 적용될 수 있다.
도 3을 참고하면, 301 단계에서 이상탐지 모델(100)은 서로 다른 종류의 복수의 센서들 각각을 이용하여 수집된 데이터들을, 동기화 및 콘볼루션 연산을 통해 축소 및 결합하여 멀티모달 표현형을 생성한다.
도 4에는 도 3의 301 단계에 포함되는 세부 단계들을 도시하였다. 도 4를 참조하면, 401 단계에서 이상탐지 모델(100)은 미리 설정된 주기를 기준으로 수집된 데이터들을 샘플링하고, 샘플링된 데이터들을 미리 설정된 구간의 값으로 정규화한다.
402 단계에서 이상탐지 모델(100)은 콘볼루션 연산을 통해 정규화된 데이터들의 차원을 축소 및 통일한 후 결합한다.
다시 도 3으로 돌아와서, 302 단계에서 이상탐지 모델(100)은 멀티모달 표현형을 오토 인코더(130)에 대한 입력 데이터로서 인가하고, 오토 인코더(130)에서 출력되는 복원 데이터와 입력 데이터 간 차이에 기초하여 이상탐지를 수행한다.
도 5에는 도 3의 302 단계에 포함되는 세부 단계들을 도시하였다. 도 5를 참조하면, 501 단계에서 이상탐지 모듈(100)은 입력 데이터가 오토 인코더(130)에 인가되었을 때 오토 인코더(130)에 포함된 인코더의 은닉층에서 출력되는 결과와, 복원 데이터가 오토 인코더(130)에 인가되었을 때 오토 인코더(130)에 포함된 인코더의 은닉층에서 출력되는 결과 간 차이를 이용하여 오차점수를 산출한다.
502 단계에서 이상탐지 모듈(100)의 이상 판별기(140)는 산출된 오차점수가 미리 설정된 기준값 이하인지 여부를 판단하고, 기준값 이하라면 504 단계로 진행하여 정상 상태로 판단하고, 기준값을 초과한다면 503 단계로 진행하여 이상 상태로 판단한다.
이상 살펴본 실시예들에 따르면, 멀티모달센서를 통해 수집된 데이터들을 융합하여 미리 학습된 오토 인코더에 입력으로 인가함으로써, 특정 센서에서 발생 가능한 신호적/의미적 잡음으로 인한 성능 하락을 완화시키고 높은 정확도로 이상탐지를 수행할 수 있는 효과가 있다.
이상의 실시예들에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field programmable gate array) 또는 ASIC 와 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램특허 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.
구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로부터 분리될 수 있다.
뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU 들을 재생시키도록 구현될 수도 있다.
도 3 내지 도 5를 통해 설명된 실시예들에 따른 멀티모달센서를 이용한 이상탐지 방법은 컴퓨터에 의해 실행 가능한 명령어 및 데이터를 저장하는, 컴퓨터로 판독 가능한 매체의 형태로도 구현될 수 있다. 이때, 명령어 및 데이터는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터로 판독 가능한 매체는 컴퓨터 기록 매체일 수 있는데, 컴퓨터 기록 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다. 예를 들어, 컴퓨터 기록 매체는 HDD 및 SSD 등과 같은 마그네틱 저장 매체, CD, DVD 및 블루레이 디스크 등과 같은 광학적 기록 매체, 또는 네트워크를 통해 접근 가능한 서버에 포함되는 메모리일 수 있다.
또한 도 3 내지 도 5를 통해 설명된 실시예들에 따른 멀티모달센서를 이용한 이상탐지 방법은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 컴퓨터 프로그램(또는 컴퓨터 프로그램 제품)으로 구현될 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 기록매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)에 기록될 수 있다.
따라서 도 3 내지 도 5를 통해 설명된 실시예들에 따른 멀티모달센서를 이용한 이상탐지 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.
여기서 프로세서는 컴퓨팅 장치 내에서 명령어를 처리할 수 있는데, 이런 명령어로는, 예컨대 고속 인터페이스에 접속된 디스플레이처럼 외부 입력, 출력 장치상에 GUI(Graphic User Interface)를 제공하기 위한 그래픽 정보를 표시하기 위해 메모리나 저장 장치에 저장된 명령어를 들 수 있다. 다른 실시예로서, 다수의 프로세서 및(또는) 다수의 버스가 적절히 다수의 메모리 및 메모리 형태와 함께 이용될 수 있다. 또한 프로세서는 독립적인 다수의 아날로그 및(또는) 디지털 프로세서를 포함하는 칩들이 이루는 칩셋으로 구현될 수 있다.
또한 메모리는 컴퓨팅 장치 내에서 정보를 저장한다. 일례로, 메모리는 휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 다른 예로, 메모리는 비휘발성 메모리 유닛 또는 그들의 집합으로 구성될 수 있다. 또한 메모리는 예컨대, 자기 혹은 광 디스크와 같이 다른 형태의 컴퓨터 판독 가능한 매체일 수도 있다.
그리고 저장장치는 컴퓨팅 장치에게 대용량의 저장공간을 제공할 수 있다. 저장 장치는 컴퓨터 판독 가능한 매체이거나 이런 매체를 포함하는 구성일 수 있으며, 예를 들어 SAN(Storage Area Network) 내의 장치들이나 다른 구성도 포함할 수 있고, 플로피 디스크 장치, 하드 디스크 장치, 광 디스크 장치, 혹은 테이프 장치, 플래시 메모리, 그와 유사한 다른 반도체 메모리 장치 혹은 장치 어레이일 수 있다.
상술된 실시예들은 예시를 위한 것이며, 상술된 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 상술된 실시예들이 갖는 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 상술된 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 명세서를 통해 보호 받고자 하는 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태를 포함하는 것으로 해석되어야 한다.

Claims (11)

  1. 멀티모달센서(multi-modal sensor)를 이용하여 이상탐지를 수행하는 방법에 있어서,
    서로 다른 종류의 복수의 센서들 각각을 이용하여 수집된 데이터들을, 동기화 및 콘볼루션 연산을 통해 축소 및 결합하여 멀티모달 표현형(multi-modal representation)을 생성하는 단계; 및
    상기 멀티모달 표현형을 오토 인코더(auto encoder)에 대한 입력 데이터로서 인가하고, 상기 오토 인코더에서 출력되는 복원 데이터와 상기 입력 데이터 간 차이에 기초하여 이상탐지(anomaly detection)를 수행하는 단계를 포함하며,
    상기 오토 인코더는 정상 상태에 대응되는 데이터들을 이용하여 미리 학습된 것을 특징으로 하는, 방법.
  2. 제1항에 있어서,
    상기 이상탐지를 수행하는 단계는,
    상기 입력 데이터가 상기 오토 인코더에 인가되었을 때 상기 오토 인코더에 포함된 인코더의 은닉층에서 출력되는 결과와, 상기 복원 데이터가 상기 오토 인코더에 인가되었을 때 상기 오토 인코더에 포함된 인코더의 은닉층에서 출력되는 결과 간 차이를 이용하여 오차점수(anomaly score)를 산출하는 단계; 및
    상기 산출된 오차점수가 미리 설정된 기준값보다 크다면 이상 상태로 판단하는 단계를 포함하는 것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 기준값은, 상기 정상 상태에 대응되는 데이터들을 상기 오토 인코더에 입력했을 때 산출되는 오차점수에 기초하여 결정되는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 멀티모달 표현형을 생성하는 단계는,
    미리 설정된 주기를 기준으로 상기 수집된 데이터들을 샘플링하고, 샘플링된 데이터들을 미리 설정된 구간의 값으로 정규화하는 단계; 및
    콘볼루션 연산을 통해 상기 정규화된 데이터들의 차원을 축소 및 통일한 후 서로 결합하는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 복수의 센서들은, 이동형 조작 로봇에 설치된 RGB 카메라, 뎁스(depth) 카메라, 라이다(LiDAR) 센서 및 포스-토크(force-torque) 센서 및 마이크를 포함하고,
    상기 멀티모달 표현형을 생성하는 단계는, 상기 이동형 조작 로봇이 물체를 파지하는 동작을 수행하는 과정에서 상기 복수의 센서들을 통해 수집한 RGB 이미지, 뎁스 이미지, 라이다 측정값 및 포스-토크 측정값 및 사운드를 동기화 및 정규화한 후 차원을 통일시켜 결합함으로써 상기 멀티모달 표현형을 생성하며,
    상기 정상 상태에 대응되는 데이터들은, 상기 이동형 조작 로봇이 물체를 정상적으로 파지한 상태에서 상기 복수의 센서들을 이용하여 수집된 데이터들인 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    컴퓨터에 제1항에 기재된 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
  7. 멀티모달센서(multi-modal sensor)를 이용하여 이상탐지를 수행하기 위한 컴퓨팅 장치에 있어서,
    서로 다른 종류의 복수의 센서들 각각을 이용하여 수집된 데이터들을 입력 받고, 이에 기초하여 이상탐지를 수행한 결과를 출력하기 위한 입출력부;
    이상탐지를 수행하기 위한 프로그램이 저장되는 저장부; 및
    적어도 하나의 프로세서를 포함하며, 상기 프로그램을 실행시킴으로써 상기 입출력부를 통해 수신된 데이터들을 이용하여 이상탐지를 수행하는 제어부를 포함하며,
    상기 제어부가 상기 프로그램을 실행함으로써 구현되는 이상탐지 모델은, 동기화 및 콘볼루션 연산을 통해 상기 수집된 데이터들을 축소 및 결합하여 멀티모달 표현형을 생성하고, 상기 멀티모달 표현형을 오토 인코더에 대한 입력 데이터로서 인가하고, 상기 오토 인코더에서 출력되는 복원 데이터와 상기 입력 데이터 간 차이에 기초하여 이상탐지를 수행하며,
    상기 오토 인코더는 정상 상태에 대응되는 데이터들을 이용하여 미리 학습된 것을 특징으로 하는, 컴퓨팅 장치.
  8. 제7항에 있어서,
    상기 이상탐지 모델은 상기 이상탐지를 수행함에 있어서,
    상기 입력 데이터가 상기 오토 인코더에 인가되었을 때 상기 오토 인코더에 포함된 인코더의 은닉층에서 출력되는 결과와, 상기 복원 데이터가 상기 오토 인코더에 인가되었을 때 상기 오토 인코더에 포함된 인코더의 은닉층에서 출력되는 결과 간 차이를 이용하여 오차함수를 산출하고, 상기 산출된 오차점수가 미리 설정된 기준값보다 크다면 이상 상태로 판단하는 것을 특징으로 하는 컴퓨팅 장치.
  9. 제8항에 있어서,
    상기 이상탐지 모델은 상기 정상 상태에 대응되는 데이터들을 상기 오토 인코더에 입력했을 때 산출되는 오차점수에 기초하여 상기 기준값을 결정하는 것을 특징으로 하는 컴퓨팅 장치.
  10. 제7항에 있어서,
    상기 이상탐지 모델은 상기 멀티모달 표현형을 생성함에 있어서,
    미리 설정된 주기를 기준으로 상기 수집된 데이터들을 샘플링하고, 샘플링된 데이터들을 미리 설정된 구간의 값으로 정규화한 후, 콘볼루션 연산을 통해 상기 정규화된 데이터들의 차원을 축소 및 통일한 후 서로 결합하는 것을 특징으로 하는 컴퓨팅 장치.
  11. 제7항에 있어서,
    상기 복수의 센서들은, 이동형 조작 로봇에 설치된 RGB 카메라, 뎁스(depth) 카메라, 라이다(LiDAR) 센서 및 포스-토크(force-torque) 센서 및 마이크를 포함하고,
    상기 이상탐지 모델은 상기 멀티모달 표현형을 생성함에 있어서, 상기 이동형 조작 로봇이 물체를 파지하는 동작을 수행하는 과정에서 상기 복수의 센서들을 통해 수집한 RGB 이미지, 뎁스 이미지, 라이다 측정값 및 포스-토크 측정값 및 사운드를 동기화 및 정규화한 후 차원을 통일시켜 결합함으로써 상기 멀티모달 표현형을 생성하며,
    상기 정상 상태에 대응되는 데이터들은, 상기 이동형 조작 로봇이 물체를 정상적으로 파지한 상태에서 상기 복수의 센서들을 이용하여 수집된 데이터들인 것을 특징으로 하는 컴퓨팅 장치.
PCT/KR2021/004701 2020-10-05 2021-04-14 멀티모달센서를 이용한 이상탐지 방법 및 이를 수행하기 위한 컴퓨팅 장치 WO2022075543A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20200128103 2020-10-05
KR10-2020-0128103 2020-10-05
KR10-2021-0020873 2021-02-17
KR1020210020873A KR102413958B1 (ko) 2020-10-05 2021-02-17 멀티모달센서를 이용한 이상탐지 방법 및 이를 수행하기 위한 컴퓨팅 장치

Publications (1)

Publication Number Publication Date
WO2022075543A1 true WO2022075543A1 (ko) 2022-04-14

Family

ID=81126097

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/004701 WO2022075543A1 (ko) 2020-10-05 2021-04-14 멀티모달센서를 이용한 이상탐지 방법 및 이를 수행하기 위한 컴퓨팅 장치

Country Status (1)

Country Link
WO (1) WO2022075543A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631829A (zh) * 2022-09-30 2023-01-20 广东亿佛手健康科技有限公司 一种基于穴位按摩设备的网络连接多模态检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110125524A (ko) * 2010-05-13 2011-11-21 한국과학기술연구원 멀티모달 상호작용을 이용한 로봇의 물체 학습 시스템 및 방법
KR20170061686A (ko) * 2014-09-02 2017-06-05 엠비엘 리미티드 전자 미소 조작 라이브러리들을 갖춘 기구화된 환경에서 도메인 고유의 애플리케이션을 실행하기 위한 로봇 조작 방법 및 시스템
KR101967339B1 (ko) * 2018-03-06 2019-04-09 단국대학교 산학협력단 심층학습 기반의 ａｄａｓ 센서 고장 진단 및 백업을 위한 장치 및 방법
KR20190111631A (ko) * 2018-03-23 2019-10-02 단국대학교 산학협력단 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법
WO2020045720A1 (ko) * 2018-08-30 2020-03-05 엠텍비젼 주식회사 인공신경망을 이용한 멀티모달 센서 이상 감지 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110125524A (ko) * 2010-05-13 2011-11-21 한국과학기술연구원 멀티모달 상호작용을 이용한 로봇의 물체 학습 시스템 및 방법
KR20170061686A (ko) * 2014-09-02 2017-06-05 엠비엘 리미티드 전자 미소 조작 라이브러리들을 갖춘 기구화된 환경에서 도메인 고유의 애플리케이션을 실행하기 위한 로봇 조작 방법 및 시스템
KR101967339B1 (ko) * 2018-03-06 2019-04-09 단국대학교 산학협력단 심층학습 기반의 ａｄａｓ 센서 고장 진단 및 백업을 위한 장치 및 방법
KR20190111631A (ko) * 2018-03-23 2019-10-02 단국대학교 산학협력단 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법
WO2020045720A1 (ko) * 2018-08-30 2020-03-05 엠텍비젼 주식회사 인공신경망을 이용한 멀티모달 센서 이상 감지 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YOUNGJAE YOO, LEE CHUNG-YEON, ZHANG BYOUNG-TAK: "Autoencoder-based Multimodal Anomaly Detection for Mobile Manipulation Robots", PROCEEDINGS OF KOREAN INSTITUTE OF INFORMATION SCIENTIST AND ENGINEERS CONFERENCE, 1 July 2020 (2020-07-01), pages 482 - 484, XP055919954 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115631829A (zh) * 2022-09-30 2023-01-20 广东亿佛手健康科技有限公司 一种基于穴位按摩设备的网络连接多模态检测方法及系统
CN115631829B (zh) * 2022-09-30 2023-05-30 广东亿佛手健康科技有限公司 一种基于穴位按摩设备的网络连接多模态检测方法及系统

Similar Documents

Publication Publication Date Title
WO2021153861A1 (ko) 다중 객체 검출 방법 및 그 장치
WO2022059969A1 (ko) 심전도 데이터 분류를 위한 심층 신경망 사전 학습 방법
WO2017164478A1 (ko) 미세 얼굴 다이나믹의 딥 러닝 분석을 통한 미세 표정 인식 방법 및 장치
WO2020145678A1 (en) System and method for multi-spoken language detection
WO2018155963A1 (en) Method of accelerating execution of machine learning based application tasks in a computing device
WO2022075543A1 (ko) 멀티모달센서를 이용한 이상탐지 방법 및 이를 수행하기 위한 컴퓨팅 장치
WO2024136131A1 (ko) 태양광 발전 이상 탐지 방법 및 장치
WO2020246655A1 (ko) 상황 인지 방법 및 이를 수행하는 장치
WO2020017890A1 (en) System and method for 3d association of detected objects
WO2022055099A1 (ko) 이상 탐지 방법 및 이를 위한 장치
WO2022124725A1 (ko) 화합물과 단백질의 상호작용 예측 방법, 장치 및 컴퓨터 프로그램
WO2020032506A1 (ko) 시각 감지 시스템 및 이를 이용한 시각 감지 방법
WO2023096185A1 (ko) 딥 러닝 기반으로 음향 및 진동을 이용하여 기계의 고장을 진단하는 방법 및 이를 이용한 진단 장치
WO2014181946A1 (ko) 빅 데이터 추출 시스템 및 방법
WO2022080582A1 (ko) 목표 지향적 강화학습 방법 및 이를 수행하기 위한 장치
KR102413958B1 (ko) 멀티모달센서를 이용한 이상탐지 방법 및 이를 수행하기 위한 컴퓨팅 장치
WO2019240330A1 (ko) 영상 기반 힘 예측 시스템 및 그 방법
WO2024136130A1 (ko) 태양광 발전소 이상 탐지를 위한 데이터 전처리 방법 및 장치
WO2016021829A1 (ko) 동작 인식 방법 및 동작 인식 장치
WO2019198900A1 (en) Electronic apparatus and control method thereof
WO2023146237A1 (ko) 지능형 데이터 관리 및 저장 장치 및 이를 이용한 지능형 데이터 관리 및 저장 방법
EP3653348A1 (en) System and method for intelligent 3d imaging guided robotic gripper
WO2022139177A1 (ko) 전자 장치 및 그 제어 방법
WO2022191424A1 (ko) 전자 장치 및 그 제어 방법
WO2023200114A1 (ko) 오픈 소스 라이선스를 검증하는 전자 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21877798

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21877798

Country of ref document: EP

Kind code of ref document: A1