KR102268003B1 - Surface recognizing method using deep learning based on heterogeneous multivariate multiple modal data - Google Patents

Surface recognizing method using deep learning based on heterogeneous multivariate multiple modal data Download PDF

Info

Publication number
KR102268003B1
KR102268003B1 KR1020190164820A KR20190164820A KR102268003B1 KR 102268003 B1 KR102268003 B1 KR 102268003B1 KR 1020190164820 A KR1020190164820 A KR 1020190164820A KR 20190164820 A KR20190164820 A KR 20190164820A KR 102268003 B1 KR102268003 B1 KR 102268003B1
Authority
KR
South Korea
Prior art keywords
data
inertial
acoustic
heterogeneous
deep learning
Prior art date
Application number
KR1020190164820A
Other languages
Korean (ko)
Inventor
류세민
김승찬
Original Assignee
한림대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한림대학교 산학협력단 filed Critical 한림대학교 산학협력단
Priority to KR1020190164820A priority Critical patent/KR102268003B1/en
Application granted granted Critical
Publication of KR102268003B1 publication Critical patent/KR102268003B1/en

Links

Images

Classifications

    • G06K9/62—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H15/00—Measuring mechanical or acoustic impedance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a surface recognizing method using deep learning based on heterogeneous multivariate multi-modal data. According to the present invention, the surface recognizing method using deep learning based on heterogeneous multivariate multi-modal data comprises: a step of applying an impact to an arbitrary surface by an impact generation and inertia/sound signal acquisition device; a step of acquiring an inertia signal and a sound signal generated in accordance with the impact by the impact generation and inertia/sound signal acquisition device, and simultaneously acquiring inertia data and sound data corresponding to the respective signals; a step of preprocessing the acquired inertia data and sound data by a control unit; a step of extracting an inertia data feature and a sound data feature from the preprocessed inertia data and sound data by the control unit; and a step of concatenating the extracted inertia data feature and sound data feature and then undergoing a specific process to classify the concatenated features to recognize the corresponding surface by the control unit. According to the present invention, multivariate heterogeneous signals generated during a surface impact are acquired to be simultaneously analyzed by using the deep learning technology to accurately recognize and classify the surface in contact with an impact generation device.

Description

딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법{Surface recognizing method using deep learning based on heterogeneous multivariate multiple modal data}Surface recognizing method using deep learning based on heterogeneous multivariate multiple modal data

본 발명은 멀티 모달 데이터(multiple modal data) 기반 표면 인식 방법에 관한 것으로서, 더 상세하게는 충격 발생장치가 표면에 충격을 가할 때 발생하는 관성 신호와 음향 신호와 같은 다변량 이종 신호를 딥러닝(deep learning) 기술을 이용하여 동시에 분석함으로써, 충격 발생장치와 접촉하고 있는 표면을 인식 및 분류할 수 있는 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법에 관한 것이다.The present invention relates to a method for recognizing a surface based on multiple modal data, and more particularly, to deep learning (deep learning) multivariate heterogeneous signals such as inertial signals and acoustic signals generated when an impact generating device applies an impact to a surface. learning) technology to recognize and classify a surface in contact with a shock generating device, and to a heterogeneous multivariate multi-modal data-based surface recognition method using deep learning.

스마트 기기(예를 들면, 인공지능 스피커, 스마트폰 등)가 놓인 위치(예를 들면, 침실, 주방, 거실 등)를 스스로 알 수 있다면, 해당 위치와 관련이 높은 서비스를 제공함으로써 사용자 경험이 더욱 풍부해질 수 있다.If the smart device (e.g., artificial intelligence speaker, smartphone, etc.) can know the location (e.g., bedroom, kitchen, living room, etc.) can be enriched

스마트 기기가 놓인 위치를 인식하기 위해 카메라를 이용하는 방식을 고려해 볼 수 있는 바, 이 방식은 조명 조건에 따라 영향을 크게 받고, 사생활 침해 등의 문제가 있다. 또한, 물체에 전파되는 진동이나 음향 신호를 분석하여 인식하는 방식들이 제안되었으나, 이러한 방식들은 대상 물체에 센서 및 전기회로 등의 장치를 설치해야 하는 문제점(단점)이 있다.A method of using a camera to recognize a location where a smart device is placed can be considered. This method is greatly affected by lighting conditions and has problems such as invasion of privacy. In addition, methods for analyzing and recognizing vibration or sound signals propagated to an object have been proposed, but these methods have a problem (disadvantage) in that a device such as a sensor and an electric circuit must be installed on the target object.

만일, 장치가 스스로 충격을 생성하고, 그로 인해 발생하는 관성 신호 및 음향 신호를 통해 장치가 놓인 표면이나 물체를 인식할 수 있다면, 위에서 언급된 종래 기술의 문제점들을 해소할 수 있을 것이다. 그러나 관성 신호는 진동이 발생하는 주변 환경에 취약하고, 음향 신호는 잡음(noise)에 취약하다. 따라서, 관성 신호와 음향 신호를 모두 사용한다면, 즉 멀티 모달 데이터를 활용한다면 더욱 높은 인식 정확도를 성취할 수 있을 것이다.If the device generates an impact by itself and can recognize a surface or an object on which the device is placed through an inertial signal and an acoustic signal generated thereby, the problems of the prior art mentioned above can be solved. However, the inertial signal is vulnerable to the surrounding environment in which vibration occurs, and the acoustic signal is vulnerable to noise. Accordingly, if both the inertial signal and the acoustic signal are used, that is, if multi-modal data is used, higher recognition accuracy may be achieved.

한편, 한국 공개특허공보 제10-2018-0117952호(특허문헌 1)에는 "딥러닝을 이용한 3차원 터치 인식 장치 및 이를 이용한 3차원 터치 인식 방법"이 개시되어 있는 바, 이에 따른 딥러닝을 이용한 3차원 터치 인식 장치를 이용한 3차원 터치 인식 방법은, 시트에 사용자 입력이 작용하는 단계; 촬상부가 단위 시간 당 시트의 내측면을 촬영하여 촬영된 마커 이미지를 분석부로 전달하는 단계; 분석부가 마커이미지를 분석하여 마커의 위치 변경 또는 명도 변화에 의해 3차원 패턴을 생성하는 단계; 및 3차원 패턴의 데이터를 딥러닝 알고리즘에 입력하여 딥러닝 결과값을 출력하는 단계;를 포함하는 것을 특징으로 한다.On the other hand, Korean Patent Application Laid-Open No. 10-2018-0117952 (Patent Document 1) discloses "a three-dimensional touch recognition apparatus using deep learning and a three-dimensional touch recognition method using the same", and thus using deep learning A three-dimensional touch recognition method using a three-dimensional touch recognition device includes: applying a user input to a sheet; transmitting the photographed marker image to the analysis unit by photographing the inner surface of the sheet per unit time by the imaging unit; generating a three-dimensional pattern by the analysis unit analyzing the marker image and changing the position or brightness of the marker; and inputting the three-dimensional pattern data to the deep learning algorithm and outputting the deep learning result value.

이상과 같은 특허문헌 1의 경우, 사용자 입력에 의해 장치에 입력된 3차원 패턴을 딥러닝 알고리즘을 이용하여 분석 및 판단하므로, 다양한 사용자 패턴에 대한 정확성을 향상시킬 수 있는 효과가 있다. 그러나 이것은 사용자에 의해 입력된 3차원 패턴이 어떠한 것인가(예를 들면, 누름, 누름 해제, 이동 등)를 인식하는 것으로서, 즉 외부로부터의 힘(변형력)이 장치에 작용되었을 때, 그 외부로부터의 변형력을 인식하는 것에 한정되어 있어, 이와는 반대로 어떠한 힘(충격력)이 외부의 물체(표면)에 작용했을 때, 그 외부의 물체(표면)가 어떠한 것인지를 인식할 수는 없다.In the case of Patent Document 1 as described above, since the three-dimensional pattern input to the device by the user input is analyzed and determined using a deep learning algorithm, there is an effect that can improve the accuracy of various user patterns. However, this is by recognizing what the three-dimensional pattern input by the user is (for example, pressing, releasing, moving, etc.), that is, when an external force (strain force) is applied to the device, the It is limited to recognizing the deformation force, and on the contrary, when a certain force (impact force) acts on an external object (surface), it is impossible to recognize what the external object (surface) is.

한국 공개특허공보 제10-2018-0117952호(2018.10.30.)Korean Patent Publication No. 10-2018-0117952 (2018.10.30.)

본 발명은 상기와 같은 사항을 종합적으로 감안하여 창출된 것으로서, 충격 발생장치가 표면에 충격을 가할 때 발생하는 관성 신호와 음향 신호와 같은 다변량 이종 신호를 획득하여 심층 신경망(deep neural network)에 의한 딥러닝(deep learning) 기술을 이용하여 동시에 분석함으로써, 충격 발생장치와 접촉하고 있는 표면을 정확히 인식 및 분류할 수 있는 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법을 제공함에 그 목적이 있다.The present invention was created in consideration of the above matters, and obtained by a deep neural network by acquiring multivariate heterogeneous signals such as inertial signals and acoustic signals generated when an impact generating device applies an impact to a surface. The purpose is to provide a heterogeneous multivariate multi-modal data-based surface recognition method using deep learning that can accurately recognize and classify a surface in contact with a shock generating device by simultaneously analyzing it using deep learning technology. .

상기의 목적을 달성하기 위하여 본 발명에 따른 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법은,In order to achieve the above object, a heterogeneous multivariate multi-modal data-based surface recognition method using deep learning according to the present invention,

a) 충격 발생 및 관성/음향 신호 취득 장치에 의해 임의의 표면에 충격을 가하는 단계와; a) applying an impact to an arbitrary surface by means of an impact generating and inertial/acoustic signal acquisition device;

b) 상기 충격에 따라 발생하는 관성 신호와 음향 신호를 상기 충격 발생 및 관성/음향 신호 취득 장치에 의해 각각 취득하고, 각 신호에 대응하는 관성 데이터 및 음향 데이터를 동시에 획득하는 단계와;b) acquiring an inertial signal and an acoustic signal generated according to the impact by the impact generating and inertial/acoustic signal acquiring device, respectively, and simultaneously acquiring inertial data and acoustic data corresponding to each signal;

c) 제어부에 의해 상기 획득된 관성 데이터 및 음향 데이터를 각각 전처리하는 단계와;c) pre-processing the acquired inertial data and acoustic data, respectively, by a control unit;

d) 제어부에 의해 상기 전처리를 거친 관성 데이터 및 음향 데이터로부터 관성 데이터 특징과 음향 데이터 특징을 각각 추출하는 단계; 및d) extracting inertial data features and sound data features from the inertial data and sound data that have been pre-processed by the controller, respectively; and

e) 제어부에 의해 상기 추출된 관성 데이터 특징 및 음향 데이터 특징을 연쇄(concatenation)한 후 특정 과정을 거쳐 분류하여 해당 표면을 인식하는 단계를 포함하는 점에 그 특징이 있다.e) concatenating the extracted inertial data features and acoustic data features by a control unit and classifying them through a specific process to recognize the corresponding surface.

여기서, 상기 단계 a)에서 상기 충격 발생 및 관성/음향 신호 취득 장치는,Here, the shock generation and inertia / sound signal acquisition device in step a),

직선 왕복운동 가능하게 구성되며, 임의의 표면에 충격을 발생하는 액츄에이터(actuator)와;an actuator configured to be capable of linear reciprocating motion, and to generate an impact on an arbitrary surface;

상기 액츄에이터의 하면부를 내부에 안치하며, 외부 환경으로부터 액츄에이터를 보호하는 하부 하우징과;a lower housing which is placed inside the lower surface of the actuator and protects the actuator from an external environment;

상기 액츄에이터의 상면부를 내부에 안치하며, 상기 하부 하우징과 함께 하나의 전체 하우징을 구성하여 외부 환경으로부터 액츄에이터를 보호하는 상부 하우징과;an upper housing which is placed inside the upper surface of the actuator and constitutes one entire housing together with the lower housing to protect the actuator from an external environment;

상기 상,하부 하우징으로 구성되는 하우징의 소정 부위에 설치되며, 상기 액츄에이터가 표면에 충격을 가할 시 발생하는 가속도 또는 각속도를 측정하는 관성 센서; 및an inertial sensor installed in a predetermined portion of the housing composed of the upper and lower housings, the inertial sensor measuring acceleration or angular velocity generated when the actuator applies an impact to the surface; and

상기 상,하부 하우징으로 구성되는 하우징의 소정 부위에 설치되며, 상기 액츄에이터가 표면에 충격을 가할 시 발생하는 음향을 측정하는 음향 센서를 포함하여 구성될 수 있다.It is installed in a predetermined portion of the housing composed of the upper and lower housings, and may include an acoustic sensor that measures the sound generated when the actuator applies an impact to the surface.

이때, 상기 액츄에이터는 솔레노이드 구동기로 구성될 수 있다.In this case, the actuator may be configured as a solenoid actuator.

또한, 상기 단계 c)에서 획득된 관성 데이터 및 음향 데이터를 각각 전처리함에 있어서, 전처리는 데이터의 정규화(normalization), 재표본화(re-sampling), 데이터 증강(data augmentation) 중 적어도 어느 하나를 포함할 수 있다.In addition, in each preprocessing of the inertial data and the acoustic data obtained in step c), the preprocessing may include at least one of data normalization, re-sampling, and data augmentation. can

또한, 상기 단계 c)에서 상기 제어부에는 심층 신경망(deep neural network)이 탑재될 수 있다.In addition, in step c), the control unit may be equipped with a deep neural network.

이때, 상기 심층 신경망은 딥 러닝 중 교사 기계 학습(supervised learning)을 기반으로 하는 구조로 구성될 수 있다.In this case, the deep neural network may have a structure based on teacher machine learning (supervised learning) among deep learning.

또한, 상기 심층 신경망은 관성 신호와 음향 신호를 각각 독립된 네트워크를 통해 특징을 추출하는 레이어를 포함할 수 있다.Also, the deep neural network may include a layer for extracting features of an inertial signal and an acoustic signal through an independent network.

또한, 상기 심층 신경망은 상기 각각의 독립된 네트워크에서 추출된 특징을 연쇄(concatenation)한 후, 밀도층(dense layer)을 거쳐 분류하는 레이어를 포함할 수 있다. In addition, the deep neural network may include a layer for classifying through a density layer after concatenating features extracted from each of the independent networks.

또한, 상기 단계 d)에서 관성 데이터 및 음향 데이터로부터 관성 데이터 특징과 음향 데이터 특징을 각각 추출함에 있어서, 입력신호의 차원에 따라 1차원 합성곱 신경망(convolutional neural network) 또는 2차원 합성곱 신경망을 통해 관성 데이터 특징과 음향 데이터 특징을 각각 추출할 수 있다.In addition, in extracting the inertial data feature and the acoustic data feature from the inertial data and the acoustic data in step d), respectively, through a one-dimensional convolutional neural network or a two-dimensional convolutional neural network according to the dimension of the input signal Inertial data features and acoustic data features can be extracted, respectively.

또한, 상기 단계 e)에서 상기 제어부에 의해 상기 추출된 관성 데이터 특징 및 음향 데이터 특징을 연쇄(concatenation)한 후 특정 과정을 거쳐 분류함에 있어서, 밀도층(dense layer)을 거쳐 분류할 수 있다.In addition, in the classification through a specific process after concatenating the inertial data feature and the acoustic data feature extracted by the controller in step e), the classification may be performed through a density layer.

이와 같은 본 발명에 의하면, 충격 발생장치가 표면에 충격을 가할 때 발생하는 관성 신호와 음향 신호와 같은 다변량 이종 신호를 획득하여 심층 신경망(deep neural network)에 의한 딥러닝(deep learning) 기술을 이용하여 동시에 분석함으로써, 충격 발생장치와 접촉하고 있는 표면을 정확히 인식 및 분류할 수 있는 장점이 있다.According to the present invention as described above, a deep learning technique by a deep neural network is used to obtain multivariate heterogeneous signals such as an inertial signal and an acoustic signal generated when the shock generating device applies an impact to the surface. By analyzing at the same time, there is an advantage in that the surface in contact with the shock generating device can be accurately recognized and classified.

도 1은 본 발명에 따른 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법의 구현을 위해 채용되는 충격 발생 및 관성/음향 신호 취득 장치의 구성을 나타낸 도면이다.
도 2는 본 발명에 따른 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법의 구현을 위해 채용되는 제어 시스템을 나타낸 도면이다.
도 3은 본 발명에 따른 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법의 실행 과정을 나타낸 흐름도이다.
도 4는 본 발명에 따른 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법에 채용되는 심층 신경망의 구성을 개략적으로 나타낸 도면이다.
도 5는 도 4에 도시된 심층 신경망의 상세 구조를 나타낸 도면이다.
도 6은 6개의 클래스에 대하여 관성 또는 음향 신호만 사용한 경우와 관성/ 음향 신호를 모두 사용한 경우의 인식 성능의 시뮬레이션 결과를 나타낸 도면이다.1 is a diagram showing the configuration of a shock generating and inertial/acoustic signal acquisition apparatus employed to implement a heterogeneous multivariate multi-modal data-based surface recognition method using deep learning according to the present invention.
2 is a diagram illustrating a control system employed for implementing a heterogeneous multivariate multi-modal data-based surface recognition method using deep learning according to the present invention.
3 is a flowchart illustrating an execution process of a heterogeneous multivariate multi-modal data-based surface recognition method using deep learning according to the present invention.
4 is a diagram schematically showing the configuration of a deep neural network employed in the heterogeneous multivariate multi-modal data-based surface recognition method using deep learning according to the present invention.
5 is a diagram illustrating a detailed structure of the deep neural network shown in FIG. 4 .
6 is a diagram illustrating simulation results of recognition performance when only inertial or acoustic signals are used and when both inertial/acoustic signals are used for six classes.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.The terms or words used in the present specification and claims should not be construed as being limited to their ordinary or dictionary meanings, and the inventor may properly define the concept of the term in order to best describe his invention. Based on the principle, it should be interpreted as meaning and concept consistent with the technical idea of the present invention.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when a part "includes" a certain element, it means that other elements may be further included, rather than excluding other elements, unless otherwise stated. In addition, terms such as “…unit”, “…group”, “module”, and “device” described in the specification mean a unit that processes at least one function or operation, which is hardware or software or a combination of hardware and software. can be implemented as

이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법의 구현을 위해 채용되는 충격 발생 및 관성/음향 신호 취득 장치의 구성을 나타낸 도면이다.1 is a diagram showing the configuration of a shock generating and inertial/acoustic signal acquisition apparatus employed for implementing a heterogeneous multivariate multi-modal data-based surface recognition method using deep learning according to an embodiment of the present invention.

도 1을 참조하면, 충격 발생 및 관성/음향 신호 취득 장치(100)는 액츄에이터(actuator)(110), 하부 하우징(120), 상부 하우징(130), 관성 센서(140) 및 음향 센서(150)를 포함하여 구성된다.1, the shock generation and inertia / acoustic signal acquisition apparatus 100 is an actuator (actuator) 110, a lower housing 120, an upper housing 130, an inertial sensor 140 and the acoustic sensor 150) is comprised of

액츄에이터(110)는 직선 왕복운동(도면상으로는 상,하 직선 왕복운동) 가능하게 구성되며, 임의의 표면에 충격을 발생한다. 여기서, 이와 같은 액츄에이터 (110)는 솔레노이드 구동기로 구성될 수 있다.The actuator 110 is configured to be capable of linear reciprocating motion (up and down linear reciprocating motion as shown in the drawing), and generates an impact on an arbitrary surface. Here, such an actuator 110 may be configured as a solenoid driver.

하부 하우징(120)은 상기 액츄에이터(110)의 하면부를 내부에 안치하며, 외부 환경으로부터 액츄에이터(110)를 보호한다. 이와 같은 하부 하우징(120)은 그 바닥면에 솔레노이드 구동기의 하단부(타격 첨단부)의 출몰을 위한 관통홀이 형성되어 있는 대략 사각통 형태로 구성될 수 있다.The lower housing 120 places the lower surface of the actuator 110 therein, and protects the actuator 110 from the external environment. Such a lower housing 120 may be configured in a substantially rectangular cylindrical shape in which a through hole for protruding and protruding of the lower end (strike tip) of the solenoid actuator is formed on the bottom surface thereof.

상부 하우징(130)은 상기 액츄에이터(110)의 상면부를 내부에 안치하며, 상기 하부 하우징(120)과 함께 하나의 전체 하우징을 구성하여 외부 환경으로부터 액츄에이터(110)를 보호한다. 이와 같은 상부 하우징(130)은 상면에 솔레노이드 구동기의 상단부의 출몰을 위한 관통홀이 형성되어 있는 대략 사각통 형태로 구성될 수 있다.The upper housing 130 places the upper surface of the actuator 110 therein, and forms one whole housing together with the lower housing 120 to protect the actuator 110 from the external environment. Such an upper housing 130 may be configured in a substantially rectangular cylindrical shape in which a through hole for protruding and protruding of the upper end of the solenoid actuator is formed on the upper surface.

관성 센서(140)는 상기 상,하부 하우징(120)(130)으로 구성되는 하우징의 소정 부위에 설치되며, 상기 액츄에이터(110)(솔레노이드 구동기)가 표면에 충격을 가할 시 발생하는 가속도 또는 각속도를 측정한다.The inertial sensor 140 is installed in a predetermined portion of the housing composed of the upper and lower housings 120 and 130, and the actuator 110 (solenoid actuator) detects the acceleration or angular velocity that occurs when an impact is applied to the surface. measure

음향 센서(150)는 상기 상,하부 하우징(120)(130)으로 구성되는 하우징의 소정 부위에 설치되며, 상기 액츄에이터(110)(솔레노이드 구동기)가 표면에 충격을 가할 시 발생하는 음향을 측정한다.The acoustic sensor 150 is installed in a predetermined portion of the housing composed of the upper and lower housings 120 and 130, and measures the sound generated when the actuator 110 (solenoid driver) applies an impact to the surface. .

도 2는 본 발명의 실시예에 따른 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법의 구현을 위해 채용되는 제어 시스템을 나타낸 도면이다.2 is a diagram illustrating a control system employed for implementing a heterogeneous multivariate multi-modal data-based surface recognition method using deep learning according to an embodiment of the present invention.

도 2를 참조하면, 표면 인식 방법의 구현을 위해 채용되는 제어 시스템(200)은 위에서 설명한 바와 같은 액츄에이터(110)(솔레노이드 구동기), 관성 센서 (140), 음향 센서(150)와, 제어부(210), 디스플레이부(220), 유/무선 통신 모듈 (230) 및 전원공급부(240)를 포함하여 구성된다. 여기서, 액츄에이터(110), 관성 센서(140) 및 음향 센서(150)에 대해서는 위에서 설명했으므로, 이들에 대해서는 설명을 생략하기로 한다.Referring to FIG. 2 , the control system 200 employed for implementing the surface recognition method includes the actuator 110 (solenoid driver), the inertial sensor 140 , the acoustic sensor 150 and the control unit 210 as described above. ), a display unit 220 , a wired/wireless communication module 230 , and a power supply unit 240 . Here, since the actuator 110 , the inertial sensor 140 , and the acoustic sensor 150 have been described above, their description will be omitted.

제어부(210)는 충격 발생 및 관성/음향 신호 취득 장치(100)의 관성 센서 (140) 및 음향 센서(150)에 의해 각각 취득된 관성 신호와 음향 신호에 대응하는 관성 데이터 및 음향 데이터를 획득한다. 그리고 획득된 관성 데이터 및 음향 데이터를 각각 전처리한 후, 전처리를 거친 관성 데이터 및 음향 데이터로부터 관성 데이터 특징과 음향 데이터 특징을 각각 추출한다. 또한, 추출된 관성 데이터 특징 및 음향 데이터 특징을 연쇄(concatenation)한 후 특정 과정을 거쳐 분류하여 해당 표면을 인식한다. 이와 같은 제어부(210)는 MCU(Micro Controller Unit)로 구성될 수 있다. 또한, 이와 같은 제어부(210)에는 심층 신경망(deep neural network)이 탑재될 수 있다.The control unit 210 acquires inertial data and acoustic data corresponding to the inertial signal and the acoustic signal respectively acquired by the inertial sensor 140 and the acoustic sensor 150 of the shock generation and inertial/acoustic signal acquisition apparatus 100 . . Then, after pre-processing the obtained inertia data and acoustic data, respectively, inertial data features and acoustic data features are extracted from the pre-processed inertial data and acoustic data. In addition, the surface is recognized by concatenating the extracted inertial data features and acoustic data features and classifying them through a specific process. Such a control unit 210 may be configured as a micro controller unit (MCU). In addition, such a control unit 210 may be equipped with a deep neural network (deep neural network).

디스플레이부(220)는 관성 신호와 음향 신호로부터 제어부(210)에 의해 획득된 관성 데이터 및 음향 데이터, 전처리를 거친 관성 데이터 및 음향 데이터, 추출된 관성 데이터 특징 및 음향 데이터 특징, 분류 및 인식 결과 데이터 등을 화면에 표시한다. 이와 같은 디스플레이부(220)는 LCD 패널로 구성될 수 있다.The display unit 220 includes inertial data and sound data obtained by the controller 210 from the inertial signal and sound signal, inertial data and sound data subjected to pre-processing, extracted inertial data characteristics and sound data characteristics, classification and recognition result data etc. are displayed on the screen. Such a display unit 220 may be configured as an LCD panel.

유/무선 통신 모듈(230)은 상기 관성 센서(140) 및 음향 센서(150)와 제어부(210) 간의 통신과, 제어부(210)와 외부의 기기(스마트폰, 데스크탑 PC, 노트북 PC, 태블릿 PC, 원격 제어 서버 등) 간의 유/무선 통신을 가능하게 한다.The wired/wireless communication module 230 provides communication between the inertial sensor 140 and the acoustic sensor 150 and the control unit 210, and the control unit 210 and an external device (smartphone, desktop PC, notebook PC, tablet PC). , remote control server, etc.) to enable wired/wireless communication.

전원공급부(240)는 상기 액츄에이터(110)(솔레노이드 구동기), 관성 센서(140), 음향 센서(150), 제어부(210), 디스플레이부(220) 및 유/무선 통신 모듈 (230)에 동작 전원을 공급한다. 여기서, 이와 같은 전원공급부(240)는 상기 액츄에이터(110)(솔레노이드 구동기), 관성 센서(140) 및 음향 센서(150)에 동작 전원을 공급하는 전원공급부(즉, 충격 발생 및 관성/음향 신호 취득 장치(100)용 전원공급부)와, 제어부(210), 디스플레이부(220) 및 유/무선 통신 모듈(230)에 동작 전원을 공급하는 전원공급부로 분리되어 구성될 수 있다. The power supply unit 240 is the actuator 110 (solenoid driver), the inertial sensor 140, the acoustic sensor 150, the control unit 210, the display unit 220 and the operating power to the wired / wireless communication module 230. to supply Here, such a power supply unit 240 is a power supply unit for supplying operating power to the actuator 110 (solenoid driver), the inertial sensor 140 and the acoustic sensor 150 (that is, shock generation and inertia/acoustic signal acquisition) A power supply unit for the device 100 ), the control unit 210 , the display unit 220 , and a power supply unit for supplying operating power to the wired/wireless communication module 230 may be separately configured.

또한, 점선 박스로 둘러싸인 부분(즉, 제어부(210), 디스플레이부(220), 유/무선 통신 모듈(230) 및 전원공급부(240))은 일반적인 컴퓨터 시스템(예컨대, 데스크탑 PC)으로 대체될 수도 있다.In addition, the portion surrounded by the dotted line box (ie, the control unit 210, the display unit 220, the wired/wireless communication module 230 and the power supply unit 240) may be replaced with a general computer system (eg, a desktop PC). have.

그러면, 이하에서는 이상과 같은 구성을 가지는 충격 발생 및 관성/음향 신호 취득 장치(100)와 제어 시스템(200)을 바탕으로 본 발명에 따른 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법에 대하여 설명해 보기로 한다.Then, in the following, a heterogeneous multivariate multi-modal data-based surface recognition method using deep learning according to the present invention based on the shock generation and inertial/acoustic signal acquisition apparatus 100 and the control system 200 having the above configuration. Let me explain.

도 3은 본 발명의 실시예에 따른 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법의 실행 과정을 나타낸 흐름도이다.3 is a flowchart illustrating an execution process of a heterogeneous multivariate multi-modal data-based surface recognition method using deep learning according to an embodiment of the present invention.

도 3을 참조하면, 본 발명에 따른 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법에 따라, 먼저 충격 발생 및 관성/음향 신호 취득 장치(100)에 의해 임의의 표면(예를 들면, 화강암 바닥재 표면)에 충격을 가한다(단계 S301). 즉, 표면 인식 대상물의 표면 인식을 위해 사용자(작업자)로부터 입력부(입력수단)를 통해 특정 명령이 입력되면, 제어부(210)는 그에 상응하는 제어(명령) 신호를 충격 발생 및 관성/음향 신호 취득 장치(100)의 액츄에이터(110)(솔레노이드 구동기)로 전송하고, 액츄에이터(110)(솔레노이드 구동기)는 제어부(210)로부터의 제어 신호(명령)에 따라 작동하여 해당 표면 인식 대상물의 표면(바닥)에 충격을 가하게 된다.Referring to FIG. 3 , according to the heterogeneous multivariate multi-modal data-based surface recognition method using deep learning according to the present invention, an arbitrary surface (eg, granite) is first generated by the shock generation and inertial/acoustic signal acquisition device 100 . The impact is applied to the surface of the flooring material (step S301). That is, when a specific command is input from a user (operator) through an input unit (input means) for surface recognition of a surface recognition object, the control unit 210 generates an impact and acquires an inertia/acoustic signal with a corresponding control (command) signal Transmits to the actuator 110 (solenoid actuator) of the device 100, and the actuator 110 (solenoid actuator) operates according to a control signal (command) from the control unit 210 to operate on the surface (floor) of the corresponding surface recognition object will shock the

이렇게 하여 충격 발생 및 관성/음향 신호 취득 장치(100)에 의해 충격이 가해지면, 그 충격에 따라 발생하는 관성 신호와 음향 신호를 상기 충격 발생 및 관성/음향 신호 취득 장치(100)의 관성 센서(140) 및 음향 센서(150)에 의해 각각 취득하고, 제어부(210)는 취득된 관성 신호 및 음향 신호에 대응하는 관성 데이터 및 음향 데이터를 동시에 획득한다(단계 S302). 여기서, 상기 관성 센서(140) 및 음향 센서(150)에 의해 관성 신호와 음향 신호를 각각 취득함에 있어서, 관성 신호와 음향 신호는 서로 다른 샘플링 주파수를 갖는 신호를 각각 취득한다.In this way, when an impact is applied by the shock generation and inertia/acoustic signal acquisition device 100, the inertial signal and the acoustic signal generated according to the impact are transmitted to the shock generating and inertial/acoustic signal acquisition device 100 by the inertial sensor ( 140) and the acoustic sensor 150, respectively, and the control unit 210 simultaneously acquires the acquired inertial signal and inertial data and acoustic data corresponding to the acoustic signal (step S302). Here, in acquiring the inertial signal and the acoustic signal by the inertial sensor 140 and the acoustic sensor 150, respectively, the inertial signal and the acoustic signal acquire signals having different sampling frequencies.

그런 후, 제어부(210)에 의해 상기 획득된 관성 데이터 및 음향 데이터를 각각 전처리한다(단계 S303, S304). 여기서, 획득된 관성 데이터 및 음향 데이터를 각각 전처리함에 있어서, 전처리는 데이터의 정규화(normalization), 재표본화(re-sampling), 데이터 증강(data augmentation) 중 적어도 어느 하나를 포함할 수 있다. 또한, 상기 제어부(210)에는 심층 신경망(deep neural network)이 탑재될 수 있다.Then, the obtained inertia data and the acoustic data are respectively pre-processed by the control unit 210 (steps S303 and S304). Here, in preprocessing the acquired inertial data and the acoustic data, respectively, the preprocessing may include at least one of data normalization, re-sampling, and data augmentation. In addition, the control unit 210 may be equipped with a deep neural network.

전처리가 완료된 후, 제어부(210)는 상기 전처리를 거친 관성 데이터 및 음향 데이터로부터 관성 데이터 특징과 음향 데이터 특징을 각각 추출한다(단계 S305, S306).After the pre-processing is completed, the control unit 210 extracts inertial data features and sound data features from the inertial data and sound data that have undergone the pre-processing, respectively (steps S305 and S306).

그런 다음, 제어부(210)에 의해 상기 추출된 관성 데이터 특징 및 음향 데이터 특징을 연쇄(concatenation)한 후 특정 과정을 거쳐 분류하여 해당 표면을 인식한다(단계 S307).Then, after concatenating the extracted inertial data features and acoustic data features by the control unit 210, the surface is classified through a specific process to recognize the corresponding surface (step S307).

여기서, 이상과 같은 일련의 과정에 있어서, 단계 S303∼S307과 관련하여 설명을 부가해 보기로 한다.Here, in the series of processes as described above, description will be added in relation to steps S303 to S307.

도 4는 본 발명에 따른 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법에 채용되는 심층 신경망의 구성을 개략적으로 나타낸 도면이다.4 is a diagram schematically showing the configuration of a deep neural network employed in the heterogeneous multivariate multi-modal data-based surface recognition method using deep learning according to the present invention.

도 4를 참조하면, 심층 신경망(400)은 딥 러닝(deep learning) 중 교사 기계 학습(supervised learning)을 기반으로 하는 구조로 구성될 수 있다. 또한, 이와 같은 심층 신경망(400)은 관성 신호와 음향 신호를 각각 독립된 네트워크, 즉 관성 신호용 네트워크(410)와 음향 신호용 네트워크(420)를 통해 특징을 추출하는 레이어를 포함할 수 있다.Referring to FIG. 4 , the deep neural network 400 may have a structure based on teacher machine learning (supervised learning) among deep learning. In addition, such a deep neural network 400 may include a layer for extracting features from an inertial signal and an acoustic signal through independent networks, that is, the inertial signal network 410 and the acoustic signal network 420 .

또한, 상기 심층 신경망(400)은 상기 각각의 독립된 네트워크에서 추출된 특징을 연쇄(concatenation)한 후, 밀도층(dense layer)(예를 들면, fully-connected layer)을 거쳐 분류하는 레이어를 포함할 수 있다.In addition, the deep neural network 400 concatenates the features extracted from each of the independent networks, and then includes a layer for classifying through a density layer (eg, a fully-connected layer). can

이상과 같은 심층 신경망(400)은 학습 시에는 각각의 신호(여기서는 관성 신호와 음향 신호)로부터 특징을 추출하기 위한 파라미터 및 분류를 위한 파라미터를 학습한다. 그리고 예측 시에는 사전에 학습된 기계 학습 모델 및 파라미터를 이용하여 특징을 추출 및 분류를 수행한다.The deep neural network 400 as described above learns a parameter for extracting features from each signal (here, an inertial signal and an acoustic signal) and a parameter for classification during learning. And, during prediction, features are extracted and classified using a machine learning model and parameters learned in advance.

여기서, 상기 심층 신경망(400)은 전술한 바와 같이 학습되며, 각 모달리티 (modality)의 관측 데이터를 잘 설명할 수 있는 잠재 공간(latent space)들(421, 411)의 분포가 찾아져 이를 통해 개별 입력의 단점이 보완된 결과를 얻을 수 있게 된다. 이러한 잠재 공간을 통해 퓨전(fusion)을 함으로써 입력 측정값의 샘플링 레이트 등을 고려하지 않아도 되는 장점이 존재하게 된다.Here, the deep neural network 400 is trained as described above, and the distribution of latent spaces 421 and 411 that can well explain the observed data of each modality is found, and through this, the individual It is possible to obtain a result that compensates for the disadvantage of the input. By performing fusion through this latent space, there is an advantage in that it is not necessary to consider the sampling rate of the input measurement value.

도 5는 도 4에 도시된 심층 신경망의 상세 구조를 나타낸 도면이다.5 is a diagram illustrating a detailed structure of the deep neural network shown in FIG. 4 .

도 5를 참조하면, 관성 및 음향 신호의 원시(raw) 신호(401)(402)는 모두 1차원 시계열 데이터이다. 본 발명의 표면 인식 방법에 있어서, 관성 센서(140) 및 음향 센서(150)에 의해 각각 취득된 원시 신호를 그대로 사용할 수도 있고, 원시 신호를 스펙트로그램(spectrogram)으로 변환하여 2차원 이미지 데이터로 만들어 사용할 수도 있다. Referring to FIG. 5 , both the raw signals 401 and 402 of the inertial and acoustic signals are one-dimensional time series data. In the surface recognition method of the present invention, the raw signals obtained by the inertial sensor 140 and the acoustic sensor 150 may be used as they are, and the raw signals are converted into spectrograms to make two-dimensional image data. can also be used.

앞에서 설명한 도 3의 단계 S305, S306에서 관성 데이터 및 음향 데이터로부터 관성 데이터 특징과 음향 데이터 특징을 각각 추출함에 있어서, 입력신호의 차원에 따라 1차원 합성곱 신경망(convolutional neural network)(410) 또는 2차원 합성곱 신경망(420)을 통해 관성 데이터 특징과 음향 데이터 특징을 각각 추출할 수 있다.In extracting the inertial data features and the acoustic data features from the inertial data and the acoustic data in steps S305 and S306 of FIG. 3 described above, respectively, a one-dimensional convolutional neural network 410 or 2 according to the dimension of the input signal Through the dimensional convolutional neural network 420 , inertial data features and acoustic data features may be extracted, respectively.

또한, 도 3의 단계 S307에서 제어부(210)에 의해 추출된 관성 데이터 특징 및 음향 데이터 특징을 연쇄(concatenation)(430)한 후, 특정 과정을 거쳐 분류함에 있어서, 밀도층(dense layer)(440)을 거쳐 해당 인식 대상물의 표면(450)을 분류 및 인식할 수 있다.In addition, after concatenating ( 430 ) the inertial data features and the acoustic data features extracted by the controller 210 in step S307 of FIG. 3 , and classifying them through a specific process, a density layer 440 ) to classify and recognize the surface 450 of the object to be recognized.

한편, 도 6은 6개의 클래스에 대하여 관성 또는 음향 신호만 사용한 경우와 관성/음향 신호를 모두 사용한 경우의 인식 성능의 시뮬레이션 결과를 나타낸 도면이다.Meanwhile, FIG. 6 is a diagram illustrating simulation results of recognition performance when only inertial or acoustic signals are used and when both inertial/acoustic signals are used for six classes.

도 6을 참조하면, (A)는 관성 신호만 사용한 경우, (B)는 음향 신호만 사용한 경우, 그리고 (C)는 관성 신호와 음향 신호를 모두 사용한 경우의 인식 성능을 각각 나타낸 것이다. (A)∼(C)의 각 오차행렬(confusion matrix)에서 행은 실제 클래스를, 열은 예측된 클래스를 각각 의미한다.Referring to FIG. 6 , (A) shows the recognition performance when only the inertial signal is used, (B) when only the acoustic signal is used, and (C) when both the inertial signal and the acoustic signal are used. In each of the confusion matrices of (A) to (C), the row means the actual class and the column means the predicted class, respectively.

시뮬레이션을 통해 각각의 신호만(즉, 관성 신호만 또는 음향 신호만) 사용하여 인식 성능을 측정했을 때 오분류(misclassification)가 발생함을 알 수 있는 바, 본 발명의 방법에서와 같이, 관성 신호와 음향 신호를 모두 사용하여 측정했을 때, 그와 같은 오분류가 발생하지 않거나 최소화됨을 알 수 있다.As it can be seen through simulation that misclassification occurs when the recognition performance is measured using only each signal (ie, only the inertial signal or only the acoustic signal), as in the method of the present invention, the inertial signal It can be seen that such misclassification does not occur or is minimized when measured using both and acoustic signals.

이상의 설명과 같이, 본 발명에 따른 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법은, 충격 발생장치가 표면에 충격을 가할 때 발생하는 관성 신호와 음향 신호와 같은 다변량 이종 신호를 획득하여 심층 신경망(deep neural network)에 의한 딥러닝(deep learning) 기술을 이용하여 동시에 분석함으로써, 충격 발생장치와 접촉하고 있는 표면을 정확히 인식 및 분류할 수 있는 장점이 있다.As described above, the heterogeneous multivariate multi-modal data-based surface recognition method using deep learning according to the present invention is a deep learning method by acquiring multivariate heterogeneous signals such as inertial signals and acoustic signals generated when an impact generating device applies an impact to a surface. By simultaneously analyzing using a deep learning technique by a neural network, there is an advantage in that it is possible to accurately recognize and classify a surface in contact with the shock generating device.

이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.As described above, the present invention has been described in detail through preferred embodiments, but the present invention is not limited thereto, and it is common in the art that various changes and applications can be made without departing from the technical spirit of the present invention. self-explanatory to the technician. Therefore, the true protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

100: 충격 발생 및 관성/음향 신호 취득 장치
110: 액츄에이터(솔레노이드 구동기) 120: 하부 하우징
130: 상부 하우징 140: 관성 센서
150: 음향 센서 200: 제어 시스템
210: 제어부 220: 디스플레이부
230: 유/무선 통신 모듈 240: 전원공급부
400: 심층 신경망 401,402: 원시 신호
410: 관성 신호용 네트워크 420: 음향 신호용 네트워크
411,421: 잠재 공간100: shock generation and inertia / acoustic signal acquisition device
110: actuator (solenoid actuator) 120: lower housing
130: upper housing 140: inertial sensor
150: acoustic sensor 200: control system
210: control unit 220: display unit
230: wired / wireless communication module 240: power supply
400: deep neural network 401,402: raw signal
410: network for inertial signals 420: network for acoustic signals
411,421: latent space

Claims (10)

a) 충격 발생 및 관성/음향 신호 취득 장치에 의해 임의의 표면에 충격을 가하는 단계와;
b) 상기 충격에 따라 발생하는 관성 신호와 음향 신호를 상기 충격 발생 및 관성/음향 신호 취득 장치에 의해 각각 취득하고, 각 신호에 대응하는 관성 데이터 및 음향 데이터를 동시에 획득하는 단계와;
c) 제어부에 의해 상기 획득된 관성 데이터 및 음향 데이터를 각각 전처리하는 단계와;
d) 제어부에 의해 상기 전처리를 거친 관성 데이터 및 음향 데이터로부터 관성 데이터 특징과 음향 데이터 특징을 각각 추출하는 단계; 및
e) 제어부에 의해 상기 추출된 관성 데이터 특징 및 음향 데이터 특징을 연쇄(concatenation)한 후 특정 과정을 거쳐 분류하여 해당 표면을 인식하는 단계를 포함하고,
상기 단계 a)에서 상기 충격 발생 및 관성/음향 신호 취득 장치는,
직선 왕복운동 가능하게 구성되며, 임의의 표면에 충격을 발생하는 액츄에이터(actuator)와;
상기 액츄에이터의 하면부를 내부에 안치하며, 외부 환경으로부터 액츄에이터를 보호하는 하부 하우징과;
상기 액츄에이터의 상면부를 내부에 안치하며, 상기 하부 하우징과 함께 하나의 전체 하우징을 구성하여 외부 환경으로부터 액츄에이터를 보호하는 상부 하우징과;
상기 상,하부 하우징으로 구성되는 하우징의 소정 부위에 설치되며, 상기 액츄에이터가 표면에 충격을 가할 시 발생하는 가속도 또는 각속도를 측정하는 관성 센서; 및
상기 상,하부 하우징으로 구성되는 하우징의 소정 부위에 설치되며, 상기 액츄에이터가 표면에 충격을 가할 시 발생하는 음향을 측정하는 음향 센서를 포함하여 구성된 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법.
a) applying an impact to an arbitrary surface by means of an impact generating and inertial/acoustic signal acquisition device;
b) acquiring an inertial signal and an acoustic signal generated according to the impact by the impact generating and inertial/acoustic signal acquiring device, respectively, and simultaneously acquiring inertial data and acoustic data corresponding to each signal;
c) pre-processing the acquired inertial data and acoustic data, respectively, by a control unit;
d) extracting inertial data features and sound data features from the inertial data and sound data that have been pre-processed by the controller, respectively; and
e) concatenating the extracted inertial data features and acoustic data features by a controller and classifying them through a specific process to recognize the corresponding surface,
In the step a), the shock generation and inertia / acoustic signal acquisition device is,
an actuator configured to be capable of linear reciprocating motion, and to generate an impact on an arbitrary surface;
a lower housing which is placed inside the lower surface of the actuator and protects the actuator from an external environment;
an upper housing for placing the upper surface of the actuator therein, and for protecting the actuator from an external environment by constituting an entire housing together with the lower housing;
an inertial sensor installed in a predetermined portion of the housing composed of the upper and lower housings, the inertial sensor measuring acceleration or angular velocity generated when the actuator applies an impact to the surface; and
Heterogeneous multivariate multi-modal data-based surface recognition method using deep learning, which is installed in a predetermined part of the housing composed of the upper and lower housings and includes an acoustic sensor that measures the sound generated when the actuator applies an impact to the surface .
 삭제delete 제1항에 있어서,
상기 액츄에이터는 솔레노이드 구동기로 구성된 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법.
According to claim 1,
The actuator is a heterogeneous multivariate multi-modal data-based surface recognition method using deep learning composed of a solenoid actuator.
 제1항에 있어서,
상기 단계 c)에서 상기 획득된 관성 데이터 및 음향 데이터를 각각 전처리함에 있어서, 전처리는 데이터의 정규화(normalization), 재표본화(re-sampling), 데이터 증강(data augmentation) 중 적어도 어느 하나를 포함하는 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법.
According to claim 1,
In each of the preprocessing of the inertial data and the acoustic data obtained in step c), the preprocessing includes at least one of data normalization, re-sampling, and data augmentation. Heterogeneous multivariate multi-modal data-based surface recognition method using learning.
 제1항에 있어서,
상기 단계 c)에서 상기 제어부에는 심층 신경망(deep neural network)이 탑재되어 있는 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법.
According to claim 1,
In the step c), a heterogeneous multivariate multi-modal data-based surface recognition method using deep learning in which a deep neural network is mounted in the control unit.
 제5항에 있어서,
상기 심층 신경망은 딥 러닝 중 교사 기계 학습(supervised learning)을 기반으로 하는 구조로 구성된 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법.
6. The method of claim 5,
The deep neural network is a heterogeneous multivariate multi-modal data-based surface recognition method using deep learning that has a structure based on teacher machine learning (supervised learning) among deep learning.
 제5항에 있어서,
상기 심층 신경망은 관성 신호와 음향 신호를 각각 독립된 네트워크를 통해 특징을 추출하는 레이어를 포함하는 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법.
6. The method of claim 5,
The deep neural network is a heterogeneous multivariate multi-modal data-based surface recognition method using deep learning that includes a layer for extracting features through an independent network of an inertial signal and an acoustic signal.
 제7항에 있어서,
상기 심층 신경망은 상기 각각의 독립된 네트워크에서 추출된 특징을 연쇄(concatenation)한 후, 밀도층(dense layer)을 거쳐 분류하는 레이어를 포함하는 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법.
8. The method of claim 7,
The deep neural network is a heterogeneous multivariate multi-modal data-based surface recognition method using deep learning that includes a layer for classifying through a density layer after concatenating the features extracted from each independent network.
 제1항에 있어서,
상기 단계 d)에서 관성 데이터 및 음향 데이터로부터 관성 데이터 특징과 음향 데이터 특징을 각각 추출함에 있어서, 입력신호의 차원에 따라 1차원 합성곱 신경망(convolutional neural network) 또는 2차원 합성곱 신경망을 통해 관성 데이터 특징과 음향 데이터 특징을 각각 추출하는 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법.
According to claim 1,
In the step d) of extracting the inertial data features and the acoustic data features from the inertial data and the acoustic data, respectively, the inertial data through a one-dimensional convolutional neural network or a two-dimensional convolutional neural network according to the dimension of the input signal A heterogeneous multivariate multi-modal data-based surface recognition method using deep learning that extracts features and acoustic data features, respectively.
 제1항에 있어서,
상기 단계 e)에서 상기 제어부에 의해 상기 추출된 관성 데이터 특징 및 음향 데이터 특징을 연쇄(concatenation)한 후 특정 과정을 거쳐 분류함에 있어서, 밀도층(dense layer)을 거쳐 분류하는 딥러닝을 이용한 이종 다변량 멀티 모달 데이터 기반 표면 인식 방법.According to claim 1,
Heterogeneous multivariate using deep learning that classifies through a density layer in classifying through a specific process after concatenating the inertial data features and sound data features extracted by the controller in step e) A multi-modal data-based surface recognition method.
KR1020190164820A 2019-12-11 2019-12-11 Surface recognizing method using deep learning based on heterogeneous multivariate multiple modal data KR102268003B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190164820A KR102268003B1 (en) 2019-12-11 2019-12-11 Surface recognizing method using deep learning based on heterogeneous multivariate multiple modal data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190164820A KR102268003B1 (en) 2019-12-11 2019-12-11 Surface recognizing method using deep learning based on heterogeneous multivariate multiple modal data

Publications (1)

Publication Number Publication Date
KR102268003B1 true KR102268003B1 (en) 2021-06-21

Family

ID=76600126

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190164820A KR102268003B1 (en) 2019-12-11 2019-12-11 Surface recognizing method using deep learning based on heterogeneous multivariate multiple modal data

Country Status (1)

Country Link
KR (1) KR102268003B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230076468A (en) 2021-11-24 2023-05-31 한국원자력연구원 System and method for generating virtual-experimental data at a desired position using Generative Adversarial Network

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018096763A (en) * 2016-12-10 2018-06-21 株式会社ポート電子 Hammering sound discriminating device, and discriminating method
KR20180117952A (en) 2017-04-20 2018-10-30 한국생산기술연구원 3 dimensional touch sensing apparatus usnig deep learning and method for sensing 3 dimensional touch usnig the same
KR20190114221A (en) * 2018-03-29 2019-10-10 삼성전자주식회사 Equipment diagnosis system and method based on deep learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018096763A (en) * 2016-12-10 2018-06-21 株式会社ポート電子 Hammering sound discriminating device, and discriminating method
KR20180117952A (en) 2017-04-20 2018-10-30 한국생산기술연구원 3 dimensional touch sensing apparatus usnig deep learning and method for sensing 3 dimensional touch usnig the same
KR20190114221A (en) * 2018-03-29 2019-10-10 삼성전자주식회사 Equipment diagnosis system and method based on deep learning

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230076468A (en) 2021-11-24 2023-05-31 한국원자력연구원 System and method for generating virtual-experimental data at a desired position using Generative Adversarial Network

Similar Documents

Publication Publication Date Title
US11181985B2 (en) Dynamic user interactions for display control
US11347317B2 (en) Customized gesture interpretation
CN105683882B (en) Waiting time measurement and test macro and method
DE102018125629A1 (en) DEEP learning-based real-time detection and correction of compromised sensors in autonomous machines
CN107077589A (en) Face personation detection in biometric based on image
CN108537702A (en) Foreign language teaching evaluation information generation method and device
CN111009028A (en) Expression simulation system and method of virtual face model
KR102268003B1 (en) Surface recognizing method using deep learning based on heterogeneous multivariate multiple modal data
Raheja et al. Android based portable hand sign recognition system
CN116243802B (en) Physical and chemical system of virtual world
US20230386243A1 (en) Information processing apparatus, control method, and non-transitory storage medium
WO2022038849A1 (en) Contactless elevator service for an elevator based on augmented datasets
JP6705886B2 (en) Surveillance
KR101341481B1 (en) System for controlling robot based on motion recognition and method thereby
CN113470653A (en) Voiceprint recognition method, electronic equipment and system
JP2018179876A (en) Attitude estimation system, distance image camera, and attitude estimation device
CN104460962A (en) 4D somatosensory interaction system based on game engine
Naosekpam et al. Machine learning in 3D space gesture recognition
KR102396981B1 (en) Method and apparatus for pre-training artificial intelligence models
Kausar et al. A novel mathematical modeling and parameterization for sign language classification
Patel Human robot interaction with cloud assisted voice control and vision system
KR20220080663A (en) Method, electronic apparatus and storage medium for controlling optical sensor based on strain information of stretchable display
JP2021072106A (en) Image processing system
Alakhawand et al. Mapping mid-air haptics with a low-cost tactile robot
DE102018123546A1 (en) DEFORMABLE SENSORS AND METHOD FOR DETECTING POSE AND POWER ON AN OBJECT

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant