KR20190061538A - Method and apparatus of recognizing motion pattern base on combination of multi-model - Google Patents

Method and apparatus of recognizing motion pattern base on combination of multi-model Download PDF

Info

Publication number
KR20190061538A
KR20190061538A KR1020170160027A KR20170160027A KR20190061538A KR 20190061538 A KR20190061538 A KR 20190061538A KR 1020170160027 A KR1020170160027 A KR 1020170160027A KR 20170160027 A KR20170160027 A KR 20170160027A KR 20190061538 A KR20190061538 A KR 20190061538A
Authority
KR
South Korea
Prior art keywords
recognition
behavior pattern
data
learning
recognizing
Prior art date
Application number
KR1020170160027A
Other languages
Korean (ko)
Other versions
KR102440385B1 (en
Inventor
이찬수
김진철
김민현
송덕원
서한얼
Original Assignee
영남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 영남대학교 산학협력단 filed Critical 영남대학교 산학협력단
Priority to KR1020170160027A priority Critical patent/KR102440385B1/en
Publication of KR20190061538A publication Critical patent/KR20190061538A/en
Application granted granted Critical
Publication of KR102440385B1 publication Critical patent/KR102440385B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06K9/00342—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a method for recognizing behavior patterns by combining multiple recognition models recognizing the behavior pattern of human in a behavior pattern recognizing apparatus, comprising the steps of: allowing recognition models to process image data for learning, including skeleton data for each behavior pattern input from a RGB-D camera sensor, into processing data for learning capable of recognizing the characteristics of each behavior pattern; learning the processing data for learning through a LSTM-based DNN recognition model and a SVM recognition model and storing learned values in a LSTM-based DNN recognition model database and a SVM recognition model database for each behavior pattern; allowing the recognition models to process the image data for recognition, including the skeleton data for each behavior pattern input from the RGB-D camera sensor, into input processing data for recognition capable of recognizing the characteristics of each behavior pattern; analyzing the input processing data for recognition through the LSTM-based DNN recognition model and the SVM recognition model to calculate a SVM probability value and a LSTM probability value; performing the recognition by performing a weighted sum operation of summing a value obtained by multiplying the LSTM probability value by a first weight and a value obtained by multiplying the SVM probability value by a second weight value and selecting a behavior class having the largest value as a behavior class pattern about an image for recognition. Thus, recognition rate of the human behavior pattern can be improved.

Description

멀티 인식모델의 결합에 의한 행동패턴 인식방법 및 장치{Method and apparatus of recognizing motion pattern base on combination of multi-model}[0001] The present invention relates to a method and apparatus for recognizing a behavior pattern by combining multiple recognition models,

본 발명은 멀티 행동인식 모델의 결합에 의한 행동패턴 인식방법 및 장치에 관한 기술이다.The present invention relates to a method and apparatus for recognizing a behavior pattern by combining a multi-behavior recognition model.

지난 몇 년 동안, 인간 행동 패턴 인식을 위한 많은 솔루션이 제안되었는데, 그 중 일부는 시공간 깊이를 평가하는 깊이 데이터에서 특징을 추출하는 방법이 사용되었다. 이는 기하와 로컬 모션 정보를 포함하는 표면 법선의 그룹이 깊이 시퀀스에서 추출되며, 그 다음에, 이 데이터들이 모여서 슈퍼 표준 벡터 (Super Normal Vector: SNV)라고 불리는 깊이 맵의 최종 표현을 구성하게 된다. Over the last few years, many solutions have been proposed for human behavior pattern recognition, some of which have been used to extract features from depth data to estimate spatiotemporal depth. This extracts a group of surface normals including geometry and local motion information from the depth sequence, which then aggregates to form the final representation of the depth map called the Super Normal Vector (SNV).

이 표현은 골격 궤도를 포함할 수 있기 때문에 인간의 행동에 따른 깊이 프레임 시퀀스에서 인식 결과를 향상시킬 수 있었다.This representation could include the skeletal orbit, so the recognition results could be improved in the depth frame sequence according to human behavior.

2010년 마이크로소프트가 키넥트(Kinect)라는 저가의 3차원 카메라가 장착된 XBox 360게임 플랫폼을 출시한 이후, 삼차원 카메라에서 획득된 3D 영상으로부터 인체의 자세를 추정하고 행동을 인식하려는 연구가 활발하게 진행되어 왔다.In 2010, after Microsoft released the XBox 360 game platform equipped with a low-cost 3D camera called Kinect, studies to estimate the human body's posture and to perceive the behavior from the 3D image acquired from the 3D camera actively It has been progressed.

Xbox 360용 키넥트는 사람의 48개 관절 움직임을 1초에 30번씩 읽어들일 수 있다. 카메라 모듈이 장착되어 모션 캡처로 플레이어의 동작을 인식하게 된다.The Kinect for Xbox 360 can read a person's 48 joint movements 30 times per second. The camera module is installed to recognize the motion of the player by motion capture.

Microsoft Kinect 장치와 같은 깊이 센서를 사용하면 환경 광 변화의 영향을 받지 않고 신체 모양을 제공하고 문제를 단순화하기 때문에 이를 활용한 인식 시스템을 설계할 수 있다. Using a depth sensor, such as a Microsoft Kinect device, can provide a body shape and simplify the problem without being affected by ambient light changes, so you can design a recognition system that utilizes it.

선행된 논문(A Human Activity Recognition System Using Skeleton Data from RGBD Sensors)에서는 골격을 이용한 인간 행동 인식 알고리즘을 SVM(Support Vector Machine) 분류모델을 적용하여 모션 패턴을 추출하는 방법에 대하여 소개된 바 있다.In the preceding paper (A Human Activity Recognition System Using Skeleton Data from RGBD Sensors), a method of extracting a motion pattern by applying SVM (Support Vector Machine) classification model to a human behavior recognition algorithm using a skeleton has been introduced.

대한민국 공개특허공보 KR 2015-0039252 A(행동 인식 기반의 응용 서비스 제공 장치 및 그 방법)Korean Patent Laid-Open Publication No. 2015-0039252 A (device for providing application service based on behavior recognition and method thereof)

Hindawi Publishing Corporation Computational Intelligence and Neuroscience Volume 2016, Enea Cippitelli, Samuele Gasparrini, Ennio Gambi, and Susanna Spinsante 「A Human Activity Recognition System Using Skeleton Data from RGBD Sensors」Hindusti Publishing Corporation Computational Intelligence and Neuroscience Volume 2016, Enea Cippitelli, Samuele Gasparrini, Ennio Gambi, and Susanna Spinsante "A Human Activity Recognition System Using Skeleton Data from RGBD Sensors"

본 발명은 RGB-D 카메라 센서를 통해 출력되는 데이터를 서로 다른 분류모델을 결합하여 인간의 행동 패턴에 대한 인식률을 향상시킬 수 있는 멀티 인식 모델의 결합에 의한 행동패턴 인식방법 및 장치를 제공하는 것을 목적으로 한다.The present invention provides a method and apparatus for recognizing a behavior pattern by combining a multi-recognition model capable of improving the recognition rate of a human behavior pattern by combining different classification models with data output through an RGB-D camera sensor The purpose.

본 발명의 또 다른 목적은 RGB-D 카메라 센서를 통해 출력되는 데이터를 SVM과 LSTM 기반 DNN 분류 인식모델을 각각 적용하고 이를 결합하여 인식률을 향상시킬 수 있는 멀티 인식 모델의 결합에 의한 행동패턴 인식방법 및 장치를 제공하는 것이다.Another object of the present invention is to provide a method of recognizing a behavior pattern by combining a multi-recognition model capable of improving the recognition rate by applying the SVM and the LSTM-based DNN classification recognition model to the data output from the RGB-D camera sensor And an apparatus.

본 발명의 일 측면에 따르면, 인간의 행동 패턴을 인식하는 멀티 인식 모델의 결합에 의한 행동패턴 인식장치에서 행동패턴을 인식하는 방법은, RGB-D 카메라 센서로부터 입력된 각 행동패턴에 대하여 Skeleton 데이터를 포함하는 학습용 영상데이터를 인식모델이 각 행동패턴의 특징을 인식할 수 있는 학습용 처리데이터로 가공하는 단계; 상기 학습용 처리데이터를 상기 LSTM 기반 DNN 인식모델 및 SVM 인식모델을 통하여 학습하여 각 학습된 값이 행동패턴별로 상기 LSTM 기반 DNN 인식모델 데이터베이스 및 SVM 인식모델 데이터 베이스에 저장되는 단계; 상기 RGB-D 카메라 센서로부터 입력된 인식용 행동패턴에 대하여 Skeleton 데이터를 포함하는 인식용 영상데이터를 인식모델이 각 행동패턴의 특징을 인식할 수 있는 인식용 입력처리데이터로 가공하는 단계; 상기 인식용 입력처리데이터를 상기 LSTM 기반 DNN 인식모델 및 SVM 인식모델을 통하여 각각 분석하여, SVM 확률 값 및 LSTM 확률 값을 산출하는 단계; 상기 LSTM 확률 값에 제1 가중치를 곱한 값과 상기 SVM 확률 값에 제2 가중치를 곱한 값을 합한 Weighted Sum 연산을 수행하고, 가장 큰 값을 가지는 행동 클래스를 인식용 영상에 대한 행동 클래스 패턴으로 선택하여 인식을 수행하는 단계; 를 포함하는 것을 특징으로 하는 행동패턴 인식방법이 제공된다.According to an aspect of the present invention, there is provided a method of recognizing a behavior pattern in a behavior pattern recognition apparatus by combining a multi-recognition model for recognizing a human behavior pattern, comprising the steps of: Processing the training-use image data including the recognition pattern into learning-use process data capable of recognizing the feature of each behavior pattern; Learning the processing data for learning through the LSTM-based DNN recognition model and the SVM recognition model, and storing the learned values in the LSTM-based DNN recognition model database and the SVM recognition model database for each behavior pattern; Processing recognizing image data including skeleton data for recognizing behavior patterns input from the RGB-D camera sensor into recognizing input process data capable of recognizing characteristics of each behavior pattern; Analyzing the input processing data for recognition through the LSTM-based DNN recognition model and the SVM recognition model to calculate an SVM probability value and an LSTM probability value; A weighted sum operation which is a sum of a value obtained by multiplying the LSTM probability value by a first weight and a value obtained by multiplying the SVM probability value by a second weighting value is performed and a behavior class having the largest value is selected as a behavior class pattern for a recognition image Thereby performing recognition; The behavior pattern recognition method comprising the steps of:

본 발명의 일 실시 예에 따른 멀티 인식 모델의 결합에 의한 행동패턴 인식장치는 서로 다른 특징을 학습하는 두 인식모델을 결합하여 인식을 수행함으로써, 각각을 사용하여 인식하는 종래 기술에 비하여 다양한 행동패턴에 대하여 높은 인식률로 인식을 수행할 수 있다. The behavior pattern recognition device by combining the multi-recognition models according to an embodiment of the present invention can perform various recognition patterns by combining the two recognition models that learn different features, The recognition can be performed with a high recognition rate.

도 1은 본 발명의 일 실시 예에 따른 인간의 행동 패턴을 인식하는 멀티 인식 모델의 결합에 의한 행동패턴 인식장치의 블록도를 도시한 것이다.
도 2는 본 발명의 일 실시 예에 따른 하나의 행동패턴에 대한 학습용 영상 데이터 획득 하는 과정을 도시한 것이다.
도 3은 본 발명의 일 실시 예에 따라 획득된 Skeleton 데이터 신호의 예를 나타낸 것이다.
도 4는 본 발명의 일 실시 예에 따른 Skeleton 데이터 신호를 X, Y 좌표로 도시한 것이다.
도 5는 본 발명의 일 실시 예에 따라 Joint Angle 각()을 산출하는 예를 도시한 것이다.
도 6은 본 발명의 일 실시 예에 따른 멀티 인식모델의 결합에 의한 행동패턴 인식장치(1)에서 학습에 사용된 각 행동 패턴의 예를 도시한 것이다.
도 7은 본 발명의 일 실시 예에 따른 행동 인식부에서 인식용 입력 처리데이터가 입력되어 행동패턴을 인식하는 방법을 도시한 것이다.
도 8은 본 발명의 일 실시 예에 따라 인식용 입력처리 데이터를 SVM 인식모듈로 분석하여, SVM 인식모델 데이터베이스(32)로부터, 전체 행동 클래스 패턴에 대한 SVM 확률 값을 산출한 결과를 나타낸 것이다.
도 9는 본 발명의 일 실시 예에 따라 인식용 입력처리 데이터를 LSTM 기반 DNN 인식모델로 분석하고, LSTM 기반 DNN 인식모델 데이터베이스(31)로부터 전체 행동 클래스 패턴에 대한 LSTM 확률 값을 산출한 결과를 나타낸 것이다.
도 10은, 본 발명의 일 실시 예에 따라 인식용 입력처리 데이터를 SVM 인식모델 및 LSTM 기반 DNN 인식모델로부터 분석하여, SVM 인식모델 데이터베이스와 LSTM 기반 DNN 인식모델 데이터베이스로부터 추출된 각각의 확률 값을 Weighted Sum 연산을 수행해 최종 확률 값을 산출한 결과를 나타낸 것이다.
도 11은 본 발명의 또 다른 행동 패턴에 대한 인식용 입력처리 데이터를 SVM 인식모듈로 분석하여, SVM 인식모델 데이터베이스(32)로부터, 전체 행동 클래스 패턴에 대한 SVM 확률 값을 산출한 결과를 나타낸 것이다.
도 12는 본 발명의 또 다른 행동 패턴에 대한 인식용 입력처리 데이터를 LSTM 기반 DNN 인식모델로 분석하고, LSTM 기반 DNN 인식모델 데이터베이스(31)로부터 전체 행동 클래스 패턴에 대한 LSTM 확률 값을 산출한 결과를 나타낸 것이다.
도 13은 본 발명의 또 다른 행동 패턴에 대한 인식용 입력처리 데이터를 SVM 인식모델 데이터베이스와 LSTM 기반 DNN 인식모델로 분석하고, 학습된 SVM 인식모델 데이터베이스와 LSTM 기반 DNN 인식모델 데이터베이스로부터 추출된 각각의 확률 값을 Weighted Sum 연산을 수행해 최종 확률 값을 산출한 결과를 나타낸 것이다.
도 14는 본 발명의 일 실시 예에 따른 23개 행동패턴에 대한 인식률을 나타낸 것이다.1 is a block diagram of an apparatus for recognizing a behavior pattern by combining a multi-recognition model for recognizing a behavior pattern of a human according to an embodiment of the present invention.
FIG. 2 illustrates a process of acquiring learning image data for one behavior pattern according to an embodiment of the present invention.
3 shows an example of a Skeleton data signal obtained according to an embodiment of the present invention.
FIG. 4 illustrates a Skeleton data signal according to an embodiment of the present invention in X and Y coordinates.
FIG. 5 shows an example of calculating the Joint Angle angle () according to an embodiment of the present invention.
FIG. 6 shows an example of each behavior pattern used in learning in the behavior pattern recognition apparatus 1 by combining the multi-recognition models according to an embodiment of the present invention.
7 illustrates a method of recognizing a behavior pattern by inputting input processing data for recognition in a behavior recognition unit according to an embodiment of the present invention.
FIG. 8 shows the result of calculating the SVM probability value for the entire behavior class pattern from the SVM recognition model database 32 by analyzing the input processing data for recognition by the SVM recognition module according to an embodiment of the present invention.
9 is a graph showing the result of analyzing recognition input processing data by the LSTM-based DNN recognition model and calculating the LSTM probability value for the entire behavior class pattern from the LSTM-based DNN recognition model database 31 according to an embodiment of the present invention .
10 is a flowchart illustrating a method of analyzing input processing data for recognition from an SVM recognition model and an LSTM-based DNN recognition model in accordance with an embodiment of the present invention and calculating respective probability values extracted from the SVM recognition model database and the LSTM- Weighted Sum operation is performed to calculate the final probability value.
11 shows the result of calculating the SVM probability value for the entire behavior class pattern from the SVM recognition model database 32 by analyzing the input processing data for recognizing another behavior pattern of the present invention by the SVM recognition module .
12 is a graph showing a result obtained by analyzing input processing data for recognizing another behavior pattern of the present invention using an LSTM-based DNN recognition model and calculating an LSTM probability value for the entire behavior class pattern from the LSTM-based DNN recognition model database 31 .
FIG. 13 is a flowchart illustrating a method of analyzing input processing data for recognition of another behavior pattern according to the present invention using an SVM recognition model database and an LSTM-based DNN recognition model, And the result of calculating the final probability value by performing a weighted sum operation on the probability value.
FIG. 14 shows recognition rates for 23 behavior patterns according to an embodiment of the present invention.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise.

본 출원에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. In the present application, when a component is referred to as " comprising ", it means that it can include other components as well, without excluding other components unless specifically stated otherwise.

이하 본 발명의 구현에 따른 멀티 인식 모델의 결합에 의한 행동패턴 인식방법 및 장치에 대하여 상세하게 설명한다.Hereinafter, a method and apparatus for recognizing a behavior pattern by combining a multi-recognition model according to an embodiment of the present invention will be described in detail.

도 1은 본 발명의 일 실시 예에 따른 인간의 행동 패턴을 인식하는 멀티 인식 모델의 결합에 의한 행동패턴 인식장치의 블록도를 도시한 것이다.1 is a block diagram of an apparatus for recognizing a behavior pattern by combining a multi-recognition model for recognizing a behavior pattern of a human according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 멀티 인식모델의 결합에 의한 행동패턴 인식장치(1)는 학습용 영상획득부(10), 인식용 영상획득부(20), 행동 패턴 데이터 학습부(30) 및 행동패턴 인식부(50)를 포함한다.Referring to FIG. 1, a behavior pattern recognition apparatus 1 according to an embodiment of the present invention includes a learning image acquisition unit 10, a recognition image acquisition unit 20, a behavior pattern data learning unit (30) and a behavior pattern recognition unit (50).

도 1을 참조하면, 본 발명의 일 실시 예에 따른 멀티 인식모델의 결합에 의한 행동패턴 인식장치(1)는 학습용 영상획득부(10)에서 취득하여 제1, 2 인식모델에서 행동패턴의 특징을 인식할 수 있는 학습용 처리 데이터로 가공한 후, 상기 각 행동패턴별 학습용 처리데이터는 제1 인식모델 및 제2 인식모델에서 제1, 2 인식데이터별 특징으로 분석하여 학습을 거친 후, 각 학습된 값인 제1, 2 인식모델 학습용 행동패턴 데이터는 행동패턴 학습부(30)의 제1, 2 인식모델 행동패턴 데이터베이스(31, 32)에 각각 저장된다.1, an apparatus 1 for recognizing a behavior pattern by combining a multi-recognition model according to an embodiment of the present invention acquires a feature of a behavior pattern acquired in a learning image acquiring unit 10 in the first and second recognition models, The learning process data for each behavior pattern is analyzed by the first and second recognition data in the first recognition model and the second recognition model to learn and analyze each learning pattern, Are stored in the first and second recognition model behavior pattern databases 31 and 32 of the behavior pattern learning unit 30, respectively.

본 발명의 일 실시 예서는 따른 제1 인식모델은 LSTM(Long short-term memory) 기반 DNN(Deep Neural Network) 분석모델(이하 본 명세서에서는 'LSTM 기반 DNN 인식모델'로 정의한다.)을 적용하며, 제2 인식모델은 SVM(Support Vector Machine) 분석모델(이하 본 명세서에서는 'SVM 인식모델'로 정의한다.)을 적용하여 행동패턴에 대한 학습을 수행하게 된다.The first recognition model according to an embodiment of the present invention is applied to a DNN (Deep Neural Network) analysis model based on an LSTM (long short-term memory) (hereinafter, it is defined as an 'LSTM-based DNN recognition model' , And the second recognition model is performed by learning a behavior pattern by applying a SVM (Support Vector Machine) analysis model (hereinafter, it is defined as an SVM recognition model).

그리고 인식용 영상획득부(20)에서 입력하여 가공된 인식용 입력처리 데이터는 행동패턴 인식부(50)에서 상기 제1 인식모델 행동패턴 데이터베이스(31) 및 제2 인식모델 행동패턴 데이터베이스의 검색을 통하여 전체 행동 클래스 패턴에 대한 확률 값을 산출하고, 각각의 확률 값에 가중치를 연산한 값으로 결합한 Weighted Sum 연산을 수행한 후, 가장 큰 값을 가지는 행동 클래스 패턴을 선택함으로써 입력된 영상에 대하여 행동인식을 수행하게 된다.The processed input processing data input by the recognition image acquiring unit 20 is used for searching the first recognition model behavior pattern database 31 and the second recognition model behavior pattern database by the behavior pattern recognition unit 50 A weighted sum operation is performed by combining the probability values for the entire behavior class pattern with the values obtained by weighting each probability value, and then a behavior class pattern having the largest value is selected, Recognition.

다음은, 본 발명의 일 실시 예에 따른 멀티 인식모델의 결합에 의한 행동패턴 인식장치(1)에서 행동패턴을 인식하는 방법에 대하여 자세히 설명한다.Next, a method for recognizing a behavior pattern in the behavior pattern recognition apparatus 1 by combining the multi-recognition models according to an embodiment of the present invention will be described in detail.

먼저, 본 발명의 일 실시 예에 따른 멀티 인식모델의 결합에 의한 행동패턴 인식장치(1)에서 학습에 의해 제1, 2 행동패턴모델 데이터베이스(31, 32)를 구축하는 과정은 다음과 같다.First, a process of constructing the first and second behavior pattern model databases 31 and 32 by learning in the behavior pattern recognition apparatus 1 by combining the multi-recognition model according to an embodiment of the present invention is as follows.

학습용 영상획득부(10)에서는 학습용 영상 데이터 획득 단계(101), 전처리단계(102), 정규화 단계(103))와 joint angle 산출단계(113)를 거쳐서 가공된 각 행동패턴별 학습용 처리데이터를 형성한다. The learning image acquiring unit 10 forms learning data for each behavior pattern processed through the learning image data acquiring step 101, the preprocessing step 102, the normalizing step 103 and the joint angle computing step 113 do.

상기 가공된 각 행동패턴별 학습용 처리데이터는 제1 인식모델을 이용한 행동패턴 데이터 학습단계 및 제2 인식모델을 이용한 행동패턴 데이터 학습단계를 거쳐서 행동패턴 학습부(30)의 제1 인식모델 행동패턴 데이터베이스(31)에 제1 인식모델에 의한 학습데이터를 구축하고, 제2 인식모델 행동패턴 데이터베이스(32)에 제2 인식모델에 의한 학습데이터를 구축하는 단계가 수행된다.The processed learning data for each of the processed behavior patterns is passed through a behavior pattern data learning step using the first recognition model and a behavior pattern data learning step using the second recognition model to generate a first recognition model behavior pattern The learning data by the first recognition model is constructed in the database 31 and the learning data by the second recognition model is constructed in the second recognition model behavior pattern database 32. [

도 2는 본 발명의 일 실시 예에 따른 하나의 행동패턴에 대한 학습용 영상 데이터 획득 하는 과정을 도시한 것이다.FIG. 2 illustrates a process of acquiring learning image data for one behavior pattern according to an embodiment of the present invention.

도 2를 참조하면, 학습용 영상 데이터 획득 단계(101)에서는 각 행동패턴에 대하여 RGB-D 카메라 센서를 통해 출력되는 Color, Depth 영상 및 학습용 Skeleton 데이터를 획득한다.Referring to FIG. 2, in the learning image data acquisition step 101, color, depth images and learning skeleton data output through the RGB-D camera sensor are acquired for each behavior pattern.

또는, 학습용 영상 데이터 획득 단계(101)에서는 각 행동패턴에 대하여 RGB-D 카메라 센서를 통해 출력되는 학습용 Skeleton 데이터를 획득한다. Alternatively, in the learning image data acquisition step 101, learning skeleton data output through the RGB-D camera sensor for each behavior pattern is acquired.

도 3은 본 발명의 일 실시 예에 따라 획득된 Skeleton 데이터 신호의 예를 나타낸 것이다.3 shows an example of a Skeleton data signal obtained according to an embodiment of the present invention.

도 4는 본 발명의 일 실시 예에 따른 Skeleton 데이터 신호를 X, Y 좌표로 도시한 것이다.FIG. 4 illustrates a Skeleton data signal according to an embodiment of the present invention in X and Y coordinates.

도 3, 4를 참조하면, 본 발명의 일 실시 예에 따라 획득되는 Skeleton 데이터는 Color 및 Depth 영상에 각각 대응되는 25개의 좌표와 적외선 입력에 대응되는 3D 좌표에 대한 신호데이터인 것을 특징으로 한다.3 and 4, skeleton data obtained according to an exemplary embodiment of the present invention is signal data for 25 coordinates corresponding to the color and depth images and 3D coordinates corresponding to the infrared input, respectively.

본 발명의 일 실시 예에서는 Color 영상의 좌표에 대응되는 Skeleton 데이터를 이용하여 학습하는 예를 설명하고 있으나, 또 다른 실시 예에서는 이와 동일한 방법을 이용하여 Skeleton 데이터 대신 Depth 3D 좌표를 사용하여 행동 패턴에 대한 데이터를 학습한 방법으로 대치될 수 있다.In an exemplary embodiment of the present invention, skeleton data corresponding to coordinates of a color image is used for learning. However, in another embodiment, a depth pattern 3D coordinate is used instead of the skeleton data, Can be replaced by a method that learns the data about.

다음은, 획득된 영상데이터에 대한 전처리 단계(102)가 수행된다.Next, a preprocessing step 102 for the obtained image data is performed.

전처리 단계(102)에서는 입력된 영상 데이터에 대한 이상 유무를 판단하고 이상이 있을 경우에는 입력된 영상 데이터를 삭제를 하고 다시 학습용 영상 데이터 획득 단계(101)로 복귀한다.In the preprocessing step 102, it is determined whether there is an abnormality in the input image data. If there is an abnormality, the input image data is deleted and the process returns to the learning image data acquisition step 101.

본 발명의 일 실시 예에서는 Skeleton 데이터가 없을 경우, 데이터 배열이 비거나, 잘못 온 경우(저장 값이 없을 때), 뼈의 형상에 대한 X, Y 좌표 값이 신체의 이미지의 범위를 벗어난 경우 등에 대하여 이상으로 판단한다.In an embodiment of the present invention, when there is no skeleton data, when the data array is empty or incorrectly (when there is no stored value), when the X, Y coordinate values of the bone shape are outside the range of the body image .

전처리 단계(102) 이후에는 입력된 학습용 영상 데이터에 대하여 기준 좌표에 맞추어 일정 규격으로 정규화 좌표를 산출하는 정규화 단계(103)와 학습용 영상 데이터를 각 관절 구조의 특징을 나타낼 수 있는 복수의 각도 값으로 산출하는 joint angle 산출단계(113)가 수행된다.After the preprocessing step 102, a normalization step 103 for calculating the normalized coordinates in accordance with the reference coordinates with respect to the inputted training image data, and a normalization step 103 using the training image data with a plurality of angular values indicating the characteristics of each joint structure A joint angle calculating step 113 is performed.

도 4를 참조하면, 먼저 정규화 단계(103)에서는 다음과 같이 각 좌표와 중심좌표와의 거리(d)를 산출한 후, 각 좌표를 중심좌표와의 거리(d)로 나누어서 각 Skeleton 좌표에 대한 스켈링(scaling)된 좌표를 산출한다.Referring to FIG. 4, in the normalization step 103, a distance d between each coordinate and a center coordinate is calculated as follows. Then, each coordinate is divided by a distance d to the center coordinate, And scaled coordinates are calculated.

Figure pat00001
Figure pat00001

다음은 수학식 2와 같이 상기 스케일 좌표에서 상기 중심좌표와의 차이를 산출하여 정규화된 좌표를 각각 산출한다.Next, as shown in Equation (2), the difference between the scale coordinates and the center coordinates is calculated to calculate the normalized coordinates.

Figure pat00002
Figure pat00002

여기서

Figure pat00003
Figure pat00004
: i번째 Skeleton 좌표,
Figure pat00005
Figure pat00006
: Scaling 된 i번째 Skeleton 좌표.
Figure pat00007
Figure pat00008
: 정규화된 i번째 Skeleton 좌표를 의미한다.here
Figure pat00003
Figure pat00004
: i-th Skeleton coordinates,
Figure pat00005
Figure pat00006
: Scaled i-th Skeleton coordinates.
Figure pat00007
Figure pat00008
: Means the normalized i-th Skeleton coordinate.

또한, 입력된 학습용 영상 데이터에 대하여 joint angle 산출단계(113)는 다음과 같다.The joint angle calculation step 113 for the input learning image data is as follows.

본 발명의 일 실시 예에 따른 joint angle 산출단계(113)에서는 입력된 학습용 영상데이터의 구조적 특징이 포함될 수 있도록 3점의 좌표로 이루어진 다수의 Joint Angle 각을 산출한다.In the joint angle calculation step 113 according to the embodiment of the present invention, a plurality of Joint Angle angles having three points of coordinates are calculated so that the structural characteristics of the inputted training image data can be included.

본 발명의 일 실시 예에 따른 Joint Angle 각은 25개 좌표에 대하여 최소 5개 이상에서 25개까지 산출하는 것을 특징으로 한다.The Joint Angle angle according to an embodiment of the present invention is characterized in that a minimum of 5 to 25 is calculated for 25 coordinates.

본 발명에 대한 다양한 실험결과 Joint Angle 각을 5개 미만으로 산출한 경우에는 인식률이 평균보다 저하되는 것으로 분석되었으며, Joint Angle 각이 7개를 초과하여 산출한 결과 인식률이 더 이상 상승되지 않고 동일한 것으로 분석되었다.As a result of various experiments on the present invention, when the Joint Angle angle is calculated to be less than 5, the recognition rate is lower than the average. When the Joint Angle angle exceeds 7, the recognition rate is not increased any more Respectively.

따라서, 다양한 실험결과 본 발명의 일 실시 예에서는 25개의 Skeleton 좌표에서 인접한 3개의 좌표로 조합하여 각각 7개의 Joint Angle 각을 산출하는 것이 가장 효율적인 것으로 분석된다.Therefore, it is analyzed that, in one embodiment of the present invention, it is most efficient to calculate 7 Joint Angle angles by combining the 25 Skeleton coordinates with the 3 adjacent coordinates.

도 4를 참조하면, 본 발명의 바람직한 실시 예에서 Joint Angle 각(θ)이 산출되는 Skeleton 좌표는 다음과 같이 7개군으로 설정된다. Referring to FIG. 4, in the preferred embodiment of the present invention, the Skeleton coordinates at which the Joint Angle angle (?) Is calculated are set in seven groups as follows.

{(9,10, 1), (5, 6, 1), (21, 4, 2), (6, 7, 5), (10, 11, 9), (14, 13, 15), (18, 17, 19)}(9,10,1), (5,6,1), (21,4,2), (6,7,5), (10,11,9), (14,13,15), 18, 17, 19)}

도 5는 본 발명의 일 실시 예에 따라 Joint Angle 각(θ)을 산출하는 예를 도시한 것이다.FIG. 5 illustrates an example of calculating the Joint Angle angle? According to an embodiment of the present invention.

도 5를 참조하면, P1, P2, P3 좌표에 대한 Joint Angle 각(θ)은 다음 수학식 3과 같이 산출된다. Referring to FIG. 5, the Joint Angle angle (?) With respect to the coordinates of P 1 , P 2 , and P 3 is calculated according to the following equation (3).

Figure pat00009
Figure pat00009

다음은 상기 정규화 단계(103)에서 산출된 각 정규화 좌표와 상기 joint angle 산출단계(113)에서 산출된 Joint Angle 각()을 결합하여 각 행동패턴별 학습용 처리데이터를 형성하는 단계(105)가 수행된다.Next, a step 105 of forming training data for each behavior pattern is performed by combining the normalized coordinates calculated in the normalization step 103 and the Joint Angle angle calculated in the joint angle calculation step 113 do.

본 발명의 일 실시 예에 따른 각 행동패턴별 학습용 처리데이터는 다음과 같은 인식패턴의 특징 백터로서 형성된다.The learning process data for each behavior pattern according to the embodiment of the present invention is formed as a feature vector of the following recognition pattern.

행동패턴별 학습용 처리데이터

Figure pat00010
Figure pat00011
Processing data for learning by behavior pattern
Figure pat00010
Figure pat00011

여기서 P: 정규화된 Skeleton 좌표를 의미하고, θ: 7개의 Joint Angle각(θ=θ1, θ2, … , θ7)을 의미한다.Where P denotes the normalized Skeleton coordinates, and θ denotes the seven joint angle angles (θ = θ 1 , θ 2 , ..., θ 7 ).

다음은, 행동 학습부(30)에서 상기 각 행동패턴별 학습용 처리데이터에 대하여 각각 다른 인식모델에 따라 행동패턴에 대한 학습데이터를 구축하는 단계가 수행된다.Next, in the behavior learning unit 30, a step of constructing learning data for a behavior pattern according to different recognition models for the processing data for each behavior pattern is performed.

본 발명의 일 실시 예에서, 제1 인식모델은 LSTM 기반 DNN 인식모델 인식모델을 적용하며, 제2 인식모델은 SVM 인식모델을 적용하여 행동패턴에 대한 학습을 수행하는 것을 특징으로 한다.In one embodiment of the present invention, the first recognition model applies the DNN-aware model recognition model based on the LSTM, and the second recognition model uses the SVM recognition model to perform learning on the behavior pattern.

도 6은 본 발명의 일 실시 예에 따른 멀티 인식모델의 결합에 의한 행동패턴 인식장치(1)에서 학습에 사용된 각 행동 패턴의 예를 도시한 것이다.FIG. 6 shows an example of each behavior pattern used in learning in the behavior pattern recognition apparatus 1 by combining the multi-recognition models according to an embodiment of the present invention.

본 발명의 일 실시 예에서는 23개의 행동 클래스 패턴에 대해 각 이미지에 대응되는 Skeleton 좌표를 사용하여 정규화 및 Joint Angle 산출 과정을 거쳐 특징벡터를 추출한 다음, LSTM 기반 DNN 인식모델과 SVM 인식모델을 적용하여 행동패턴에 대한 학습을 수행하여 각각 LSTM 기반 DNN 인식모델 데이터베이스(31) 및 SVM 인식모델 데이터 베이스(32)에 저장된다.In an embodiment of the present invention, feature vectors are extracted through normalization and joint angle calculation using Skeleton coordinates corresponding to each image for 23 behavior class patterns, and then an LSTM-based DNN recognition model and an SVM recognition model are applied Learning patterns are stored in the LSTM-based DNN recognition model database 31 and the SVM recognition model database 32, respectively.

본 발명의 일 실시 예에 따른 멀티 인식모델의 결합에 의한 행동패턴 인식장치(1)에서 학습에 의해 구축된 제1, 2 모델 행동패턴 데이터베이스(31, 32)에 의해 행동패턴을 인식하는 방법은 다음과 같다.A method of recognizing a behavior pattern by the first and second model behavior pattern databases (31, 32) constructed by learning in the behavior pattern recognition device (1) by combining the multi-recognition models according to the embodiment of the present invention As follows.

도 1을 참조하면, 인식용 영상획득부(20)에서는 학습용 영상획득부(10)에서 각 행동패턴별 학습용 처리데이터를 형성하는 방법과 동일한 방법으로, 인식용 영상 데이터 획득 단계(121), 전처리 단계(122), 인식용 데이터의 정규화 단계(103)와 인식용 데이터의 joint angle 산출단계(133)를 거쳐서 가공된 인식용 입력처리데이터를 형성한다.Referring to FIG. 1, in the learning image acquiring unit 20, learning image data obtaining step 121, pre-processing Step 122, normalization step 103 for recognition data, and joint angle calculation step 133 for recognition data to form processed input processing data for recognition.

즉, 인식용 영상의 전처리 단계(122), 인식용 데이터의 정규화 단계(103)와 인식용 데이터의 joint angle 산출단계(133)는, 각각 학습용 데이터의 전처리 단계(102), 학습용 데이터의 정규화 단계(103), 학습용 데이터의 joint angle 산출단계(113)와 동일한 방법에 의하여 산출된 인식용 데이터의 정규화된 좌표와 인식용 데이터의 joint Angle각(θ)을 결합하여 인식용 입력 처리데이터를 형성하는 단계(125)가 수행된다.That is, the preprocessing step 122 of the recognition image, the normalization step 103 of the recognition data, and the joint angle calculation step 133 of the recognition data are respectively performed in the preprocessing step 102 of training data, (Θ) of the recognition data and the normalized coordinates of the recognition data calculated by the same method as the joint angle calculation step (113) of the learning data to form recognition input processing data Step 125 is performed.

이를 다시 설명하면, RGB-D 카메라 센서로부터 각 행동패턴에 대하여 인식용 Skeleton 데이터가 입력되는 인식용 영상 데이터 획득 단계(121); 상기 획득된 인식용 영상 데이터에 대한 이상 유무를 판단하고 이상이 있을 경우에는 입력된 영상 데이터를 삭제를 하고 다시 학습용 영상 데이터 획득 단계로 복귀시키는 전처리 단계(122); 상기 전처리 단계(122)를 거친 인식용 영상 데이터를 기준 좌표에 맞추어 일정 규격으로 정규화 좌표를 산출하는 정규화 단계(123); 상기 전처리 단계(122)를 거친 인식용 영상 데이터를 각 관절 구조의 특징을 나타낼 수 있는 복수의 각도 값으로 산출하는 joint angle각(θ) 산출단계(133); 및 상기 정규화 좌표와 상기 joint angle각(θ) 을 결합하여 인식용 입력처리데이터를 형성하는 단계; 를 거쳐서 인식용 입력처리 데이터를 형성한다.To be more specific, the recognition image data acquisition step (121) for inputting recognition skeleton data for each behavior pattern from the RGB-D camera sensor; A preprocessing step (122) of determining whether there is an abnormality in the obtained recognition image data, deleting input image data if there is an abnormality, and returning to the learning image data acquisition step again; A normalizing step (123) of calculating normalized coordinates in accordance with a predetermined standard by matching the recognition image data having passed through the preprocessing step (122) to the reference coordinates; A joint angle angle [theta] calculating step 133 for calculating the recognition image data having undergone the preprocessing step 122 as a plurality of angular values that can characterize each joint structure; And forming the input processing data for recognition by combining the normalization coordinate and the joint angle angle (?). To form recognition input processing data.

도 7은 본 발명의 일 실시 예에 따른 행동 인식부에서 인식용 입력 처리데이터가 입력되어 행동패턴을 인식하는 방법을 도시한 것이다.7 illustrates a method of recognizing a behavior pattern by inputting input processing data for recognition in a behavior recognition unit according to an embodiment of the present invention.

도 7을 참조하면, 인식용 입력 처리데이터가 행동 인식부(50)에 입력되어 행동을 인식하는 방법은 다음과 같다.Referring to FIG. 7, a method for inputting recognition input processing data into the behavior recognition unit 50 to recognize a behavior is as follows.

전술한 가공된 인식용 입력데이터(501)에 대하여 LSTM 기반 DNN 인식모델(521)을 통하여 분석하여 상기 LSTM 기반 DNN 인식모델 데이터베이스(31)로부터 학습된 전체 행동 클래스 패턴에 대한 각각의 확률 값인 LSTM 확률 값(522)을 산출한다.The processed input data for recognition 501 is analyzed through the LSTM-based DNN recognition model 521, and the LSTM probability, that is, each probability value for the entire behavior class pattern learned from the LSTM-based DNN recognition model database 31 Value 522 is calculated.

또한, 전술한 가공된 인식용 입력데이터(501)에 대하여 SVM 인식모델(511)을 통하여 분석하여, 상기 SVM 인식모델 데이터베이스(32)로부터 학습된 전체 행동 클래스 패턴에 대한 각각의 확률 값인 SVM 확률 값(512)을 산출한다.The processed input recognition data 501 is analyzed through the SVM recognition model 511 and the SVM recognition model database 32 stores the SVM probability values (512).

다음은 수학식 4와 같이 LSTM 확률 값(522)에 제1 가중치를 곱한 값과 SVM 확률 값(512)에 제2 가중치를 곱한 값을 합한 Weighted Sum 연산을 수행(523)하고, 가장 큰 값을 가지는 행동 클래스를 인식용 영상에 대한 행동 클래스 패턴으로 선택하여 인식을 수행하는 단계(550)가 수행된다.Next, a weighted sum operation is performed (523) by adding a value obtained by multiplying the LSTM probability value 522 by the first weight and a value obtained by multiplying the SVM probability value 512 by the second weight, as shown in Equation (4) A step 550 of performing a recognition by selecting a behavior class having a behavior class as a behavior class pattern for an image for recognition is performed.

Figure pat00012
Figure pat00012

여기서,

Figure pat00013
는 Weighted Sum 연산결과 값,
Figure pat00014
는 SVM 확률 값,
Figure pat00015
는 LSTM 확률 값, SVM 확률 값과 LSTM 기반 DNN 확률 값에 곱해지는 가중치는 각각 WSVM, WLSTM 이다.here,
Figure pat00013
A weighted sum operation result value,
Figure pat00014
Is an SVM probability value,
Figure pat00015
Is the LSTM probability value, and the weights multiplied by the SVM probability value and the LSTM-based DNN probability value are W SVM and W LSTM, respectively.

본 발명의 일 실시 예에 따르면, DVM 인식모델로부터 추출된 확률 값과 LSTM 기반 DNN 인식모델로부터 추출된 확률 값에 곱해지는 가중치를 각각 WSVM, WLSTM 이라고 하면, 두 값의 합이 1이고 각각 0~1 사이의 값을 가지는 것을 특징으로 한다.According to an embodiment of the present invention, if the weights multiplied by the probability values extracted from the DVM recognition model and the probability values extracted from the LSTM-based DNN recognition model are W SVM and W LSTM , respectively, the sum of the two values is 1 And has a value between 0 and 1.

상기 가중치 WSVM, WLSTM는 인식 결과 값으로부터 각 수치를 대입하여 역산한 실험값에 의하여 산출되며, SVM 인식모델과 LSTM 기반 DNN 인식모델이 인식 결과에 기여하는 기여도의 범위에 따라 가변될 수 있다.The weights W SVM and W LSTM are calculated according to the inverse values obtained by inverting each value from the recognition result value, and the SVM recognition model and the LSTM based DNN recognition model can be varied according to the contribution range contributing to the recognition result.

본 발명의 일 실시 예에서는 인식 결과 값에 대한 반복적인 대입으로 실험결과 WSVM은 0.65 값으로 하였을 경우, WLSTM은 0.35의 값으로 하는 것이 최상의 인식률을 나타낼 수 있는 최적의 가중치 값으로 분석되었다.In the embodiment of the present invention, when the test result W SVM is set to a value of 0.65 by repeatedly substituting the recognition result value, W LSTM 0.35 is analyzed as an optimum weight value which can represent the best recognition rate.

도 8은 본 발명의 일 실시 예에 따라 인식용 입력처리 데이터를 SVM 인식모듈로 분석하여, SVM 인식모델 데이터베이스(32)로부터, 전체 행동 클래스 패턴에 대한 SVM 확률 값을 산출한 결과를 나타낸 것이다.FIG. 8 shows the result of calculating the SVM probability value for the entire behavior class pattern from the SVM recognition model database 32 by analyzing the input processing data for recognition by the SVM recognition module according to an embodiment of the present invention.

도 8을 참조하면, SVM 인식모델에 의한 인식률은 91.87로 나타낸다.Referring to FIG. 8, the recognition rate by the SVM recognition model is 91.87.

도 9는 본 발명의 일 실시 예에 따라 인식용 입력처리 데이터를 LSTM 기반 DNN 인식모델로 분석하고, LSTM 기반 DNN 인식모델 데이터베이스(31)로부터 전체 행동 클래스 패턴에 대한 LSTM 확률 값을 산출한 결과를 나타낸 것이다.9 is a graph showing the result of analyzing recognition input processing data by the LSTM-based DNN recognition model and calculating the LSTM probability value for the entire behavior class pattern from the LSTM-based DNN recognition model database 31 according to an embodiment of the present invention .

도 9를 참조하면, LSTM 기반 DNN 인식모델에 의한 인식률은 90.22로 나타낸다.Referring to FIG. 9, the recognition rate based on the LSTM-based DNN recognition model is represented by 90.22.

각 인식모델에 대한 인식률은 클래스 패턴에 따라 달라질 수 있으며, 일반적으로 SVM 인식모델이 LSTM 기반 DNN 인식모델보다 높은 것으로 나타내고 있으나, LSTM 기반 DNN 인식모델이 SVM 인식모델보다 높은 경우도 발생된다.The recognition rate for each recognition model may vary according to the class pattern. Generally, SVM recognition model is shown higher than LSTM based DNN recognition model, but LSTM based DNN recognition model is higher than SVM recognition model.

도 10은, 본 발명의 일 실시 예에 따라 인식용 입력처리 데이터를 SVM 인식모델 및 LSTM 기반 DNN 인식모델로부터 분석하여, SVM 인식모델 데이터베이스와 LSTM 기반 DNN 인식모델 데이터베이스로부터 추출된 각각의 확률 값을 Weighted Sum 연산을 수행해 최종 확률 값을 산출한 결과를 나타낸 것이다.10 is a flowchart illustrating a method of analyzing input processing data for recognition from an SVM recognition model and an LSTM-based DNN recognition model in accordance with an embodiment of the present invention and calculating respective probability values extracted from the SVM recognition model database and the LSTM- Weighted Sum operation is performed to calculate the final probability value.

도 8 내지 10은 도 3, 4에 의한 행동 패턴에 대하여 산출한 최종 확률 값으로부터 22번 행동패턴으로 인식되는 것을 알 수 있다.8 to 10 are recognized as a 22-action pattern from the final probability value calculated for the behavior pattern according to Figs. 3 and 4. Fig.

도 11은 본 발명의 또 다른 행동 패턴에 대한 인식용 입력처리 데이터를 SVM 인식모듈로 분석하여, SVM 인식모델 데이터베이스(32)로부터, 전체 행동 클래스 패턴에 대한 SVM 확률 값을 산출한 결과를 나타낸 것이다.11 shows the result of calculating the SVM probability value for the entire behavior class pattern from the SVM recognition model database 32 by analyzing the input processing data for recognizing another behavior pattern of the present invention by the SVM recognition module .

도 12는 본 발명의 또 다른 행동 패턴에 대한 인식용 입력처리 데이터를 LSTM 기반 DNN 인식모델로 분석하고, LSTM 기반 DNN 인식모델 데이터베이스(31)로부터 전체 행동 클래스 패턴에 대한 LSTM 확률 값을 산출한 결과를 나타낸 것이다.12 is a graph showing a result obtained by analyzing input processing data for recognizing another behavior pattern of the present invention using an LSTM-based DNN recognition model and calculating an LSTM probability value for the entire behavior class pattern from the LSTM-based DNN recognition model database 31 .

도 13은 본 발명의 또 다른 행동 패턴에 대한 인식용 입력처리 데이터를 SVM 인식모델 데이터베이스와 LSTM 기반 DNN 인식모델로 분석하고, 학습된 SVM 인식모델 데이터베이스와 LSTM 기반 DNN 인식모델 데이터베이스로부터 추출된 각각의 확률 값을 Weighted Sum 연산을 수행해 최종 확률 값을 산출한 결과를 나타낸 것이다.FIG. 13 is a flowchart illustrating a method of analyzing input processing data for recognition of another behavior pattern according to the present invention using an SVM recognition model database and an LSTM-based DNN recognition model, And the result of calculating the final probability value by performing a weighted sum operation on the probability value.

도 11 내지 13을 참조하면, 또 다른 행동 패턴에 대하여 인식한 최종 확률 값으로부터 10번 행동패턴으로 인식되는 것을 알 수 있다.Referring to FIGS. 11 to 13, it can be seen that the behavior pattern is recognized as a behavior pattern 10 from a final probability value recognized for another behavior pattern.

도 14는 본 발명의 일 실시 예에 따른 23개 행동패턴에 대한 인식률을 나타낸 것이다.FIG. 14 shows recognition rates for 23 behavior patterns according to an embodiment of the present invention.

도 14를 참조하면, SVM 인식모델에서 학습한 결과와 LSTM 기반 DNN 인식모델에서 분석한 결과를 결합하여 인식한 결과 23개 행동패턴에 대하여 정확하게 인식할 수 있는 것을 알 수 있다.Referring to FIG. 14, it can be seen that 23 behavior patterns can be recognized accurately by combining the results obtained by the SVM recognition model and the results analyzed by the LSTM-based DNN recognition model.

본 발명의 일 실시 예에 따른 SVM 인식모델은 입력 데이터의 구조적인 특징을 효과적으로 표현할 수 있으며, LSTM 기반 DNN 인식모델은 데이터 인덱스 간의 관계를 학습함으로써 데이터의 흐름을 효과적으로 표현할 수 있는 특징이 있다.The SVM recognition model according to an embodiment of the present invention can effectively express the structural characteristics of the input data and the LSTM-based DNN recognition model can effectively express the flow of data by learning the relationship between the data indexes.

따라서, 본 발명의 일 실시 예에 멀티 인식 모델의 결합에 의한 행동패턴 인식장치는 서로 다른 특징을 학습하는 두 인식모델을 결합하여 인식을 수행함으로써, 각각을 사용하여 인식하는 종래 기술에 비하여 다양한 행동패턴에 대하여 높은 인식률로 인식을 수행할 수 있다.Therefore, in the embodiment of the present invention, the behavior pattern recognition device by combining the multi-recognition models can perform various actions in comparison with the prior art in which recognition is performed by combining the two recognition models, The recognition can be performed with a high recognition rate for the pattern.

1: 멀티 인식모델의 결합에 의한 행동패턴 인식장치
10: 학습용 영상획득부
20: 인식용 영상획득부
30: 행동 패턴 데이터 학습부
31: 제1 인식모델 행동패턴 데이터베이스
32: 제2 인식모델 행동패턴 데이터베이스
50: 행동패턴 인식부
55: 데이터베이스1: Behavior pattern recognition device by combination of multi-recognition models
10: Learning image acquisition unit
20: Recognition image acquiring unit
30: Behavior pattern data learning unit
31: First recognition model behavior pattern database
32: second recognition model behavior pattern database
50: Behavior pattern recognition unit
55: Database

Claims (3)

인간의 행동 패턴을 인식하는 멀티 인식 모델의 결합에 의한 행동패턴 인식장치에서 행동패턴을 인식하는 방법에 있어서,
상기 행동패턴을 인식하는 방법은,
RGB-D 카메라 센서로부터 입력된 각 행동패턴에 대하여 Skeleton 데이터를 포함하는 학습용 영상데이터를 인식모델이 각 행동패턴의 특징을 인식할 수 있는 학습용 처리데이터로 가공하는 단계;
상기 학습용 처리데이터를 상기 LSTM 기반 DNN 인식모델 및 SVM 인식모델을 통하여 학습하여 각 학습된 값이 행동패턴별로 상기 LSTM 기반 DNN 인식모델 데이터베이스 및 SVM 인식모델 데이터 베이스에 저장되는 단계;
상기 RGB-D 카메라 센서로부터 입력된 인식용 행동패턴에 대하여 Skeleton 데이터를 포함하는 인식용 영상데이터를 인식모델이 각 행동패턴의 특징을 인식할 수 있는 인식용 입력처리데이터로 가공하는 단계;
상기 인식용 입력처리데이터를 상기 LSTM 기반 DNN 인식모델 및 SVM 인식모델을 통하여 각각 분석하여, SVM 확률 값 및 LSTM 확률 값을 산출하는 단계; 및
상기 LSTM 확률 값에 제1 가중치를 곱한 값과 상기 SVM 확률 값에 제2 가중치를 곱한 값을 합한 Weighted Sum 연산을 수행하고, 가장 큰 값을 가지는 행동 클래스를 인식용 영상에 대한 행동 클래스 패턴으로 선택하여 인식을 수행하는 단계; 를 포함하는 것을 특징으로 하는 행동패턴 인식방법.
A method for recognizing a behavior pattern in a behavior pattern recognition apparatus by combining a multi-recognition model for recognizing a human behavior pattern,
A method for recognizing the behavior pattern,
Processing learning image data including skeleton data for each behavior pattern inputted from the RGB-D camera sensor into learning process data capable of recognizing a characteristic of each behavior pattern;
Learning the processing data for learning through the LSTM-based DNN recognition model and the SVM recognition model, and storing the learned values in the LSTM-based DNN recognition model database and the SVM recognition model database for each behavior pattern;
Processing recognizing image data including skeleton data for recognizing behavior patterns input from the RGB-D camera sensor into recognizing input process data capable of recognizing characteristics of each behavior pattern;
Analyzing the input processing data for recognition through the LSTM-based DNN recognition model and the SVM recognition model to calculate an SVM probability value and an LSTM probability value; And
A weighted sum operation which is a sum of a value obtained by multiplying the LSTM probability value by a first weight and a value obtained by multiplying the SVM probability value by a second weighting value is performed and a behavior class having the largest value is selected as a behavior class pattern for a recognition image Thereby performing recognition; Wherein the action pattern recognition step comprises:
제1항에 있어서,
상기 학습용 처리데이터는,
상기 RGB-D 카메라 센서로부터 각 행동패턴에 대하여 학습용 Skeleton 데이터가 입력되는 학습용 영상 데이터 획득 단계;
상기 획득된 학습용 영상데이터에 대한 이상 유무를 판단하고 이상이 있을 경우에는 입력된 영상 데이터를 삭제를 하고 다시 학습용 영상 데이터 획득 단계로 복귀시키는 전처리 단계;
상기 전처리 단계를 거친 학습용 영상 데이터를 기준 좌표에 맞추어 일정 규격으로 정규화 좌표를 산출하는 정규화 단계;
상기 전처리 단계를 거친 학습용 영상 데이터를 각 관절 구조의 특징을 나타낼 수 있는 복수의 각도 값으로 산출하는 joint angle각(θ) 산출단계; 및
상기 정규화 좌표와 상기 joint angle 각(θ) 을 결합하는 단계; 를 포함하여 행동패턴별 상기 학습용 처리데이터를 형성하는 것을 특징으로 하는 행동패턴 인식방법.
The method according to claim 1,
The learning processing data includes:
A learning image data acquisition step of inputting learning skeleton data for each behavior pattern from the RGB-D camera sensor;
Determining whether there is an abnormality in the acquired training image data, deleting input image data if there is an abnormality, and returning to the learning image data acquisition step;
A normalizing step of calculating normalized coordinates with a certain standard by adjusting the training image data that has undergone the preprocessing step to the reference coordinates;
A joint angle angle (?) Calculating step of calculating the plurality of angular values capable of representing the feature of each joint structure; And
Combining the normalized coordinate with the joint angle angle ([theta]); Wherein said learning processing data is formed for each behavior pattern.
제1항에 있어서,
상기 인식용 입력처리데이터는
RGB-D 카메라 센서로부터 각 행동패턴에 대하여 인식용 Skeleton 데이터가 입력되는 인식용 영상 데이터 획득 단계;
상기 획득된 인식용 영상 데이터에 대한 이상 유무를 판단하고 이상이 있을 경우에는 입력된 영상 데이터를 삭제를 하고 다시 학습용 영상 데이터 획득 단계로 복귀시키는 전처리 단계;
상기 전처리 단계를 거친 인식용 영상 데이터를 기준 좌표에 맞추어 일정 규격으로 정규화 좌표를 산출하는 정규화 단계;
상기 전처리 단계를 거친 인식용 영상 데이터를 각 관절 구조의 특징을 나타낼 수 있는 복수의 각도 값으로 산출하는 joint angle각(θ) 산출단계; 및
상기 정규화 좌표와 상기 joint angle 각(θ) 을 결합하는 단계; 를 포함하여 상기 인식용 입력처리데이터를 형성하는 것을 특징으로 하는 행동패턴 인식방법.The method according to claim 1,
The input processing data for recognition
Acquiring image data for recognition in which recognition skeleton data is input for each behavior pattern from an RGB-D camera sensor;
A preprocessing step of determining whether there is an abnormality in the acquired recognition image data, deleting the input image data if there is an abnormality, and returning to the learning image data acquisition step again;
A normalization step of calculating normalized coordinates in accordance with a predetermined standard by matching the recognition image data that has undergone the preprocessing step with reference coordinates;
A joint angle angle? Calculating step of calculating recognition angle image data having undergone the preprocessing step as a plurality of angular values capable of representing characteristics of each joint structure; And
Combining the normalized coordinate with the joint angle angle ([theta]); Wherein the input processing data for recognizing includes the input processing data for recognition.
KR1020170160027A 2017-11-28 2017-11-28 Method and apparatus of recognizing motion pattern base on combination of multi-model KR102440385B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170160027A KR102440385B1 (en) 2017-11-28 2017-11-28 Method and apparatus of recognizing motion pattern base on combination of multi-model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170160027A KR102440385B1 (en) 2017-11-28 2017-11-28 Method and apparatus of recognizing motion pattern base on combination of multi-model

Publications (2)

Publication Number Publication Date
KR20190061538A true KR20190061538A (en) 2019-06-05
KR102440385B1 KR102440385B1 (en) 2022-09-05

Family

ID=66845082

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170160027A KR102440385B1 (en) 2017-11-28 2017-11-28 Method and apparatus of recognizing motion pattern base on combination of multi-model

Country Status (1)

Country Link
KR (1) KR102440385B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111880983A (en) * 2020-08-04 2020-11-03 北京天融信网络安全技术有限公司 CAN bus abnormality detection method and device
KR20210091612A (en) * 2020-01-14 2021-07-22 고려대학교 세종산학협력단 Cat behavior analysis system using location and behavior information
KR102309111B1 (en) * 2020-11-27 2021-10-06 가천대학교 산학협력단 Ststem and method for detecting abnomalous behavior based deep learning
KR102310757B1 (en) * 2020-03-30 2021-10-08 한국과학기술원 Method for generating human motion using sequential networks and apparatus thereof
KR20220142673A (en) * 2021-04-15 2022-10-24 오치민 LSTM-based behavior recognition method using human joint coordinate system
CN117516927A (en) * 2024-01-05 2024-02-06 四川省机械研究设计院(集团)有限公司 Gearbox fault detection method, system, equipment and storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130082425A (en) * 2012-01-11 2013-07-19 삼성전자주식회사 Object recognition apparatus, classification tree learning apparatus and method thereof
KR101386513B1 (en) * 2012-11-14 2014-04-17 계명대학교 산학협력단 Method for recognizing human action using weighted bag of features histogram based on spatial pyramid and random forest classifier
KR20150039252A (en) 2013-10-01 2015-04-10 한국전자통신연구원 Apparatus and method for providing application service by using action recognition
WO2017150211A1 (en) * 2016-03-03 2017-09-08 コニカミノルタ株式会社 Action recognition apparatus, action learning apparatus, action recognition program, and action learning program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130082425A (en) * 2012-01-11 2013-07-19 삼성전자주식회사 Object recognition apparatus, classification tree learning apparatus and method thereof
KR101386513B1 (en) * 2012-11-14 2014-04-17 계명대학교 산학협력단 Method for recognizing human action using weighted bag of features histogram based on spatial pyramid and random forest classifier
KR20150039252A (en) 2013-10-01 2015-04-10 한국전자통신연구원 Apparatus and method for providing application service by using action recognition
WO2017150211A1 (en) * 2016-03-03 2017-09-08 コニカミノルタ株式会社 Action recognition apparatus, action learning apparatus, action recognition program, and action learning program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Hindawi Publishing Corporation Computational Intelligence and Neuroscience Volume 2016, Enea Cippitelli, Samuele Gasparrini, Ennio Gambi, and Susanna Spinsante 「A Human Activity Recognition System Using Skeleton Data from RGBD Sensors」

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210091612A (en) * 2020-01-14 2021-07-22 고려대학교 세종산학협력단 Cat behavior analysis system using location and behavior information
KR102310757B1 (en) * 2020-03-30 2021-10-08 한국과학기술원 Method for generating human motion using sequential networks and apparatus thereof
CN111880983A (en) * 2020-08-04 2020-11-03 北京天融信网络安全技术有限公司 CAN bus abnormality detection method and device
CN111880983B (en) * 2020-08-04 2021-12-14 北京天融信网络安全技术有限公司 CAN bus abnormality detection method and device
KR102309111B1 (en) * 2020-11-27 2021-10-06 가천대학교 산학협력단 Ststem and method for detecting abnomalous behavior based deep learning
KR20220142673A (en) * 2021-04-15 2022-10-24 오치민 LSTM-based behavior recognition method using human joint coordinate system
CN117516927A (en) * 2024-01-05 2024-02-06 四川省机械研究设计院(集团)有限公司 Gearbox fault detection method, system, equipment and storage medium
CN117516927B (en) * 2024-01-05 2024-04-05 四川省机械研究设计院(集团)有限公司 Gearbox fault detection method, system, equipment and storage medium

Also Published As

Publication number Publication date
KR102440385B1 (en) 2022-09-05

Similar Documents

Publication Publication Date Title
CN111709409B (en) Face living body detection method, device, equipment and medium
KR102440385B1 (en) Method and apparatus of recognizing motion pattern base on combination of multi-model
US20220392234A1 (en) Training neural networks for vehicle re-identification
US20220358770A1 (en) Scene reconstruction in three-dimensions from two-dimensional images
CN109190470B (en) Pedestrian re-identification method and device
KR20180057096A (en) Device and method to perform recognizing and training face expression
CN111310731A (en) Video recommendation method, device and equipment based on artificial intelligence and storage medium
CN111783748A (en) Face recognition method and device, electronic equipment and storage medium
CN106295694A (en) Face recognition method for iterative re-constrained group sparse representation classification
CN114005169B (en) Face key point detection method and device, electronic equipment and storage medium
CN114495241B (en) Image recognition method and device, electronic equipment and storage medium
CN117238026B (en) Gesture reconstruction interactive behavior understanding method based on skeleton and image features
Ravi et al. Sign language recognition with multi feature fusion and ANN classifier
CN114091554A (en) Training set processing method and device
CN109064511B (en) Method and device for measuring height of center of gravity of human body and related equipment
CN115620122A (en) Training method of neural network model, image re-recognition method and related equipment
CN116311472B (en) Micro-expression recognition method and device based on multi-level graph convolution network
CN112861743A (en) Palm vein image anti-counterfeiting method, device and equipment
Zhang et al. Contrastive learning ideas in underwater terrain image matching
Sun et al. Using backpropagation neural network for face recognition with 2D+ 3D hybrid information
Sharma et al. Gesture recognition system
Omaia et al. 2D-DCT distance based face recognition using a reduced number of coefficients
KR101514242B1 (en) Method and apparatus for tracking facial features
CN116012942A (en) Sign language teaching method, device, equipment and storage medium
CN114519729A (en) Image registration quality evaluation model training method and device and computer equipment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant