KR101959522B1 - System and Method for Building Feature strengthened DTW based Pattern Recognition Model - Google Patents
System and Method for Building Feature strengthened DTW based Pattern Recognition Model Download PDFInfo
- Publication number
- KR101959522B1 KR101959522B1 KR1020170092791A KR20170092791A KR101959522B1 KR 101959522 B1 KR101959522 B1 KR 101959522B1 KR 1020170092791 A KR1020170092791 A KR 1020170092791A KR 20170092791 A KR20170092791 A KR 20170092791A KR 101959522 B1 KR101959522 B1 KR 101959522B1
- Authority
- KR
- South Korea
- Prior art keywords
- pattern
- dtw
- patterns
- similar
- sequence
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G06K9/627—
-
- G06K9/42—
-
- G06K9/4604—
-
- G06K9/4638—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 분석 대상의 데이터 시컨스에 대해 학습된 패턴들의 대표 데이터 시컨스들을 기반으로 가장 유사한 대표 데이터 시컨스의 패턴을 식별하는 1차 DTW(Dynamic Time Warping) 작업을 하고 식별된 패턴과 유사한 패턴들이 존재할 경우 이들의 데이터 시컨스들에 대해 차별성을 높이도록 특징이 두드러지는 세부구간들을 추출하여 이들에 대해 2차 DTW 작업을 수행하여 인식률을 높인 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 장치 및 방법에 관한 것으로, 임의의 데이터 시컨스 t가 입력되면 데이터 시컨스 t와 특징 강조형 패턴 학습부의 패턴 학습부에서 학습된 패턴들의 데이터 시컨스들에 대하여 DTW 알고리즘을 적용하여 패턴 인식을 하는 1차 DTW 패턴 인식부;1차 DTW 패턴 인식부에서 인식된 패턴에 대해 유사 패턴 집합 구성부에서 정의한 유사 패턴 집합이 존재하는지를 판단하는 유사 패턴 판단부;유사 패턴 집합으로 표현되는 유사 패턴들이 존재하는 것으로 판단되면 이들의 대표 데이터 시컨스들에 대해 패턴 재구성부에서 차별성을 높이도록 특징이 두드러진 세부구간들로 재구성한 데이터 시컨스들과 이와 동일한 방법으로 재구성한 t의 데이터 시컨스에 대해 2차 DTW 패턴인식을 하는 2차 DTW 패턴 인식부;2차 DTW 패턴 인식부의 패턴 인식의 결과를 기반으로 최종적으로 패턴을 결정하는 패턴 결정부;를 포함하는 것이다.The present invention performs a first-order DTW (Dynamic Time Warping) operation for identifying a pattern of a most similar representative data sequence based on representative data sequences of patterns learned for a data sequence to be analyzed, and when there are patterns similar to the identified pattern And an apparatus and method for constructing a pattern recognition model based on a feature-highlighted DTW by extracting sub-features having distinct characteristics for enhancing discrimination between the data sequences and performing second DTW operations on the DTWs A first DTW pattern recognition unit for performing a pattern recognition by applying a DTW algorithm to data sequences of patterns learned in the pattern learning unit of the feature emphasis pattern learning unit and a data sequence t when an arbitrary data sequence t is inputted; The DTW pattern recognizer recognizes patterns similar to those defined in the similar pattern set construction section A similar pattern determination unit for determining whether a turn set exists or not; if it is determined that there are similar patterns represented by a similar pattern set, reconstructing the representative data sequences into distinct sub- A second DTW pattern recognition unit for performing a second DTW pattern recognition on one data sequence and a data sequence of the t reconstructed in the same manner, and a second DTW pattern recognition unit for finally determining a pattern based on the result of pattern recognition by the second DTW pattern recognition unit And a pattern determination unit.
Description
본 발명은 패턴인식에 관한 것으로, 구체적으로 분석 대상의 데이터 시컨스에 대해 학습된 패턴들의 대표 데이터 시컨스들을 기반으로 가장 유사한 패턴을 식별하는 1차 DTW(Dynamic Time Warping) 작업을 하고 식별된 패턴과 유사한 패턴들이 존재할 경우 이들의 데이터 시컨스들 중 차별성이 크고 특징이 두드러지는 세부 구간들을 추출하여 이들에 대해 2차 DTW 작업을 수행하여 인식률을 높인 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 장치 및 방법에 관한 것이다.The present invention relates to pattern recognition. More specifically, the present invention performs a first-order DTW (Dynamic Time Warping) operation that identifies the most similar patterns based on representative data sequences of patterns learned for a data sequence to be analyzed, A device and a method for constructing a pattern recognition model based on a feature-highlighted DTW by extracting detailed intervals in which the data sequences are distinguished from each other when the patterns exist, and performing a second DTW operation on the extracted DTs .
스마트폰의 대중화로 인해 스마트폰들의 센서들을 활용하는 연구들과 이들을 기반으로 애플리케이션 개발이 활성화되고 있다.With the popularization of smart phones, researches utilizing sensors of smart phones and application development based on them have been activated.
이들 중 가속도 센서는 제스처 인식에 사용되곤 하는데 인식 알고리즘으로 기계학습, 패턴매칭 등의 분야의 DTW(dynamic time warping), SVM(support vector machine), hMM(hidden Markov Model), 인공신경망 등이 주로 사용되었다.Among them, accelerometer is used for gesture recognition. Dynamic recognition algorithm, dynamic time warping (DTW), support vector machine (SVM), hidden markov model (HMM) and artificial neural network .
DTW는 길이가 다른 임의의 두 데이터 시컨스에 대해 차이를 계산하는 알고리즘으로 주로 패턴인식에 사용된다. DTW를 통한 패턴인식은 임의의 데이터 시컨스 t가 제시될 때 이의 패턴을 학습된 패턴들의 대표 데이터 시컨스들과 비교하여 가장 적은 차이를 보이는 패턴을, 즉 가장 유사한 패턴을 t의 패턴으로 식별한다DTW is an algorithm that calculates the difference for any two data sequences of different lengths and is mainly used for pattern recognition. Pattern recognition through DTW identifies the pattern with the smallest difference, that is, the most similar pattern as a pattern of t, by comparing its pattern with representative data sequences of the learned patterns when an arbitrary data sequence t is presented
가속도 센서 기반의 제스처 인식에 DTW가 사용된 연구 결과들로는, DTW 기반의 개인화된 제스처 학습 및 인식 알고리즘을 기반으로 제스처 기반의 개인 인증과 스마트폰 조작을 위한 3차원 인터페이스 기술이 제안되었고, 인식의 효율성을 높이기 위해 DTW와 k-최근접 이웃 알고리즘을 사용하는 기술, 다수의 센서들로부터 생성된 다차원 데이터 시컨스들에 대해 시간적 융합을 시도하고 이에 대해 DTW를 적용하여 사용자의 행위를 추정하는 기술, 그리고 다차원 DTW 알고리즘을 사용하여 음악적 제스처에 대한 인식을 하는 기술 등이 제안되고 있다.Based on the DTW-based personalized gesture learning and recognition algorithm, three-dimensional interface technology for gesture-based personal authentication and smartphone manipulation has been proposed as a result of using accelerometer-based gesture recognition. , A technique of using DTW and k-nearest neighbor algorithm to increase the number of data streams, a technique of temporally converging multi-dimensional data sequences generated from a plurality of sensors, a technique of estimating a user's behavior by applying DTW thereto, And a technique of recognizing a musical gesture using a DTW algorithm have been proposed.
일반적으로 DTW는 시간 흐름에 따른 데이터 시컨스에 대한 패턴인식에 뛰어나나 특정 구간에서만 차이를 보이는 유사한 패턴들에 대해서는 다소 인식 성능이 떨어진다. 이는 종래 기술의 DTW가 데이터 시컨스의 모든 구간에 대해 동일한 비중으로 분석 작업을 진행하기 때문으로 다양한 신체적인 특징을 갖는 다수 사용자들에 의한 제스처 인식과 같은 응용 분야에서는 인식 성능의 한계를 보인다.Generally, DTW is excellent in pattern recognition of data sequences over time, but it has a somewhat poor recognition performance for similar patterns that differ only in certain intervals. This is because the DTW of the prior art performs the analysis with the same weight for all the intervals of the data sequence, and thus the recognition performance is limited in applications such as gesture recognition by a plurality of users having various physical characteristics.
이러한 문제를 개선한 DTW 기반의 제스처 인식 방법으로 FsGr(Feature-Strengthened Gesture Recognition)모델이 발표되었다.A Feature-Strengthened Gesture Recognition (FsGr) model has been introduced as a DTW-based gesture recognition method that solves these problems.
FsGr 모델에서는 사용자의 제스처에 대해, 즉 제스처에 대한 스마트폰 가속도 센서의 데이터 시컨스에 대해 두 단계에 걸쳐 DTW 알고리즘을 적용하여 제스처 인식을 시도하는데, 첫 번째 단계에서는 모든 제스처들에 대해, 두 번째는 학습 단계에서 결정된 유사성이 높은 일부 제스처들에 대해 진행한다.In the FsGr model, the gesture recognition is attempted by applying the DTW algorithm to the user's gesture, that is, the data sequence of the smartphone acceleration sensor for the gesture in two steps. In the first stage, the gesture recognition is performed. In the first stage, Proceed to some gestures with high similarity determined in the learning phase.
FsGr 모델의 학습 단계에서는 동작이 비슷해서 잘못 인식될 가능성이 높은 유사한 제스처들에 대해 유사제스처 집합들을 정의하고 DTW 기반의 1차 인식 시도의 결과가 유사제스처 집합에 속한 제스처로 판정되면, 이 유사제스처 집합에 속한 제스처들에 대해 특징이 강조된 부분들만을 추출해 DTW 기반의 2차 인식 시도를 하여 인식률을 높였다.In the learning phase of the FsGr model, if similar gesture sets are defined for similar gestures that are likely to be misrecognized due to similar motions, and the result of the DTW-based primary recognition attempt is determined to be a gesture belonging to a set of similar gestures, We extract the feature highlighted parts of the gestures belonging to the set and increase the recognition rate by making a second recognition attempt based on DTW.
그러나 이와 같은 FsGr 모델의 경우에는 동일한 제스처도 남여의 차이, 나이의 차이, 신체의 크기 등에 따라 다른 특성을 보이고 있어 학습 과정과 인식과정에서 이를 고려하지 않을 경우 제스처의 인식률의 제고에 한계가 있다.However, in the case of the FsGr model, the same gesture has different characteristics depending on the difference in sex, age, body size, and the like, and therefore there is a limit in increasing the recognition rate of the gesture when it is not considered in the learning process and the recognition process.
따라서, 제스처의 인식률을 높이기 위한 새로운 기술의 개발이 요구되고 있다.Therefore, it is required to develop a new technique for increasing the recognition rate of a gesture.
본 발명은 이와 같은 종래 기술의 패턴인식 기술의 문제를 해결하기 위한 것으로, 분석 대상의 데이터 시컨스에 대해 학습된 패턴들의 대표 데이터 시컨스들을 기반으로 가장 유사한 패턴을 식별하는 1차 DTW(Dynamic Time Warping) 작업을 하고 식별된 패턴과 유사한 패턴들이 존재할 경우 이들의 데이터 시컨스들 중 차별성이 크고 특징이 두드러지는 세부 구간들을 추출하여 이들에 대해 2차 DTW 작업을 수행하여 인식률을 높인 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 장치 및 방법을 제공하는데 그 목적이 있다.In order to solve the problem of the prior art pattern recognition technology, the present invention provides a first time DTW (Dynamic Time Warping) method for identifying a most similar pattern based on representative data sequences of patterns learned for a data sequence to be analyzed, DTW-based pattern-based pattern that has a higher recognition rate by performing a second DTW operation on the extracted data subsequences when there are patterns similar to the identified patterns, And an apparatus and method for constructing a recognition model.
본 발명은 사용자들의 다양한 특성들을 고려하도록 FsGr 모델을 확장하여 다수 사용자를 위한 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 장치 및 방법을 제공하는데 그 목적이 있다.It is an object of the present invention to provide an apparatus and method for constructing a pattern recognition model based on DTW for a plurality of users by extending an FsGr model so as to take account of various characteristics of users.
종래 기술의 DTW 학습과정에서는 사용자의 특성에 대한 고려 없이 각 패턴의 대표 데이터 시컨스를 생성하는데, 본 발명에서는 인식률 제고를 위해 학습과정에서 각 패턴을 사용자의 특성에 따라 세분하여 대표 데이터 시컨스를 생성하고, 또한 1차 DTW에서 식별된 패턴에 대해 유사한 패턴들(유사 패턴 집합)이 존재할 경우 이들에 대해 추가적인 패턴 인식 작업을 수행할 수 있도록 하는 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 장치 및 방법을 제공하는데 그 목적이 있다.In the DTW learning process of the related art, a representative data sequence of each pattern is generated without considering the characteristics of the user. In the present invention, in order to improve the recognition rate, a representative data sequence is generated by subdividing each pattern according to the characteristics of the user during the learning process And a device and method for constructing a feature-emphasizing DTW-based pattern recognition model that allows additional pattern recognition operations to be performed on similar patterns (a similar pattern set) for the patterns identified in the first DTW The purpose is to provide.
본 발명은 가속도 센서는 물론, 카메라를 사용한 컴퓨터 비전을 통한 제스처 인식, 음성 인식 등 DTW 기반의 다양한 패턴인식 응용에 사용 가능하도록 한 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 장치 및 방법을 제공하는데 그 목적이 있다.The present invention provides an apparatus and method for constructing a pattern recognition model based on a feature-highlighted DTW that can be used for various pattern recognition applications based on DTW, such as gesture recognition through speech recognition, computer vision using a camera, as well as acceleration sensors It has its purpose.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.
이와 같은 목적을 달성하기 위한 본 발명에 따른 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 장치는 임의의 데이터 시컨스 t가 입력되면 데이터 시컨스 t와 특징 강조형 패턴 학습부의 패턴 학습부에서 학습된 패턴들의 데이터 시컨스들에 대하여 DTW 알고리즘을 적용하여 패턴 인식을 하는 1차 DTW 패턴 인식부;1차 DTW 패턴 인식부에서 인식된 패턴에 대해 유사 패턴 집합 구성부에서 정의한 유사 패턴 집합이 존재하는지를 판단하는 유사 패턴 판단부;인식된 패턴에 대해 유사 패턴 집합이 존재하는 것으로 판단되면, 인식된 패턴과 유사 패턴 집합에 속한 패턴들의 대표 데이터 시컨스들에 대해 패턴 재구성부에서 차별성을 높이도록 특징이 두드러진 세부구간들로 재구성한 데이터 시컨스들과 이와 동일한 방법으로 재구성한 t의 데이터 시컨스에 대해 2차 DTW 패턴인식을 하는 2차 DTW 패턴 인식부;2차 DTW 패턴 인식부의 패턴 인식의 결과를 기반으로 최종적으로 패턴을 결정하는 패턴 결정부;를 포함하고, 상기 특징 강조형 패턴 학습부는 학습샘플들에 대한 학습을 통해 1차 DTW 패턴 인식에 필요한 패턴들의 대표 데이터 시컨스들을 생성하는 패턴 학습부와, 학습 샘플들로부터 각 패턴에 대해 유사한 패턴들인 유사 패턴 집합을 구성하는 유사 패턴 집합 구성부와, 2차 DTW 패턴 인식을 위해 차별성을 높이도록 특징이 두드러진 세부구간들로 재구성된 유사 패턴 집합의 대표 데이터 시컨스들을 생성하는 패턴 재구성부를 포함하고, 특징 강조형 DTW 기반의 패턴인식을 위한 모델이 사용자들의 집합 U, 패턴들의 집합 G, 모든 대표 데이터 시컨스들의 집합 T를 포함하는 것을 특징으로 한다.In order to achieve the above object, according to the present invention, there is provided an apparatus for constructing a pattern recognition model based on DTW on the basis of a data sequence t and a pattern learned in a pattern learning unit of a feature- A first DTW pattern recognition unit for recognizing a pattern by applying a DTW algorithm to data sequences of the first DTW pattern recognition unit, a similar DTW pattern recognition unit for determining whether a similar pattern set defined by the similar pattern set construction unit exists, A pattern determination unit configured to determine a similar pattern set for each of the recognized patterns and the representative patterns of the patterns belonging to the similar pattern set to enhance the discrimination in the pattern reorganization unit, And the data sequence of the reconstructed t in the same manner A second DTW pattern recognition unit for performing a second DTW pattern recognition on the second DTW pattern recognition unit, and a pattern determination unit for finally determining a pattern based on a result of pattern recognition by the second DTW pattern recognition unit, A pattern learning unit for generating representative data sequences of patterns necessary for recognition of the first DTW pattern through learning about the samples, a similar pattern aggregation unit for constructing a similar pattern aggregate, which is similar patterns for each pattern from the learning samples, And a pattern reconstruction unit for generating representative data sequences of a similar pattern set reconstructed from the detailed sub-intervals, the features of which are distinctive for enhancing the discrimination for the second DTW pattern recognition. The model for feature recognition type DTW- set G, of a set U, a pattern of features comprises a set T of all the sequence data representative.
다른 목적을 달성하기 위한 본 발명에 따른 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 방법은 임의의 데이터 시컨스 t가 입력되면 데이터 시컨스 t와 특징 강조형 패턴 학습부의 패턴 학습부에서 학습된 패턴들의 대표 시컨스들에 대하여 DTW 알고리즘을 적용하여 패턴 인식을 하는 1차 DTW 패턴 인식 단계;1차 DTW 패턴 인식 단계에서 인식된 패턴에 대해, 유사 패턴 집합 구성부에서 생성한 유사 패턴 집합들 중 인식된 패턴의 유사 패턴 집합이 존재하는지를 판단하는 유사 패턴 판단 단계;유사 패턴 집합이 존재하면, 패턴 재구성부에서 차별성을 높이도록 특징이 두드러진 세부구간들로 재구성된 유사 패턴 집합의 대표 데이터 시컨스들과 이와 동일하게 재구성된 t의 데이터 시컨스에 대하여 2차 DTW 패턴인식을 하여 패턴을 결정하는 2차 DTW 패턴 인식 단계;를 포함하고, 상기 특징 강조형 패턴 학습부에서 1차 DTW 패턴 인식을 위한 패턴 학습을 하는 단계와, 위의 패턴 학습 단계에서 잘못 인식한 패턴들을 기반으로 유사 패턴 집합을 구성하는 유사 패턴 집합 구성 단계와, 2차 DTW패턴 인식을 위해 유사 패턴 집합들의 대표 데이터 시컨스들을 유사 패턴 집합 내에서 차별성을 높이도록 특징이 두드러진 세부구간들로 재구성하는 패턴 재구성 단계를 수행하고, 특징 강조형 DTW 기반의 패턴인식을 위한 모델이 사용자들의 집합 U, 패턴들의 집합 G, 모든 대표 데이터 시컨스들의 집합 T를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for constructing a pattern recognition model based on a feature-emphasizing DTW, the method comprising: receiving a data sequence t and a pattern learned in a pattern learning unit of a feature- A first DTW pattern recognition step of performing pattern recognition by applying a DTW algorithm to the representative scenes, a first recognition step of recognizing patterns recognized in the similar pattern collection unit, A similar pattern determination step of determining whether a similar pattern set of the similar pattern set of the similar pattern set exists, and if there is a similar pattern set, the representative data sequences of the similar pattern set reconstructed into the detailed sections characterized by the pattern re- A second DTW pattern for determining a pattern by performing a second DTW pattern recognition on a data sequence of the reconstructed t The method according to claim 1, further comprising the steps of: performing pattern learning for primary DTW pattern recognition in the feature emphasis pattern learning section; And a DTW pattern reconstruction step for reconstructing the representative data sequences of the similar pattern sets in the similar pattern set to enhance distinctiveness for the second DTW pattern recognition, A pattern recognition model for the pattern recognition includes a set U of users, a set G of patterns, and a set T of all representative data sequences.
이와 같은 본 발명에 따른 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 장치 및 방법은 다음과 같은 효과를 갖는다.The apparatus and method for constructing a feature recognition type DTW-based pattern recognition model according to the present invention have the following effects.
첫째, 분석 대상의 데이터 시컨스에 대해 사용자 특성을 반영한 세분화된 패턴들을 전제로 1차 DTW(Dynamic Time Warping) 작업을 하여 인식률을 높인다.First, the first DTW (Dynamic Time Warping) works on the assumption of the detailed pattern that reflects the user characteristics on the data sequence of the analysis target, thereby increasing the recognition rate.
둘째, 사용자들의 다양한 특성들을 고려하도록 FsGr 모델을 확장한 다수 사용자를 위한 특징 강조형 제스처 인식(Feauture-Strengthened Gesture Recognition for Multi-users, FsGrM)모델을 구축할 수 있도록 한다.Second, it is possible to construct a Feauture-Strengthened Gesture Recognition for Multi-users (FsGrM) model for multiple users by extending the FsGr model to take into consideration various characteristics of users.
셋째, 1차 DTW 작업의 인식 결과에 유사 패턴 집합, 즉 특징들이 유사하여 잘못 인식될 수 있는 패턴들이 존재하면 이들의 데이터 시컨스들에 대해 차별성을 높일 수 있는 특정 구간들을 추출하여 2차 DTW 작업을 시도하여 인식율을 높이도록 한다.Third, if there is a similar pattern set in the recognition result of the first DTW operation, that is, if there are patterns that can be misrecognized due to the similarity of features, then it extracts specific intervals that can enhance the discrimination with respect to these data sequences, Try to increase recognition rate.
넷째, FsGr 모델을 다중 사용자 환경으로 확장하여 동일한 패턴에 대해서도 사용자의 신체적인 특징들을 학습 과정에 포함시켜 인식률을 높일 수 있다.Fourth, by extending the FsGr model to a multi-user environment, the recognition rate can be increased by incorporating the user's physical characteristics into the learning process for the same pattern.
다섯째, 2차 DTW 인식 과정이 유사 패턴 집합 내에서만 이루어지므로 시간 복잡도가 높지 않아 실용성을 높인다.Fifth, since the second DTW recognition process is performed only within the similar pattern set, the time complexity is not high and practicality is enhanced.
여섯째, 가속도 센서 데이터는 물론, 이미지, 영상,음성 및 음향 등 다양한 데이터에 대해서도 특징 강조형 DTW 기반의 패턴인식 모델 구축이 가능하여 이들 데이터에 기반한 제스처 인식, 음성 인식 등 DTW 기반의 다양한 패턴인식 응용에 적용할 수 있다.Sixth, DTW-based pattern recognition model can be constructed for various data such as image, video, voice and sound, as well as acceleration sensor data. Various DTW-based pattern recognition applications such as gesture recognition and speech recognition based on these data .
도 1은 본 발명에 따른 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 장치의 구성도
도 2는 본 발명에 따른 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 방법을 나타낸 플로우 차트
도 3a는 본 발명에 따른 특징 강조형 DTW 기반의 패턴인식 모델을 적용한 스마트TV 제어를 나타낸 구성도
도 3b는 스마트TV 제어를 위한 심볼 동작 방법을 나타낸 구성도1 is a block diagram of an apparatus for constructing a pattern recognition model based on a feature-emphasizing DTW according to the present invention
FIG. 2 is a flowchart illustrating a method for constructing a pattern recognition model based on a feature-highlighted DTW according to the present invention.
FIG. 3A is a diagram showing a smart TV control using a feature-emphasizing DTW-based pattern recognition model according to the present invention
3B is a block diagram illustrating a symbol operation method for smart TV control
이하, 본 발명에 따른 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.Hereinafter, features and advantages of an apparatus and method for constructing a pattern recognition model based on a feature-highlighted DTW according to the present invention will be apparent from the following detailed description of each embodiment.
도 1은 본 발명에 따른 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 장치의 구성도이다.1 is a block diagram of an apparatus for constructing a feature recognition type DTW-based pattern recognition model according to the present invention.
본 발명에 따른 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 장치 및 방법은 사용자의 특성을 반영하여 패턴들을 세분화하고 이들에 대한 대표 데이터 시컨스들을 학습을 통해 생성한 후 이를 기반으로 1차 DTW가 실행되고, 그 결과로 인식된 패턴과 이의 유사 패턴들에 대해 2차 DTW가 적용하는데 2차 DTW에 사용될 데이터 시컨스들은 차별성이 높도록 각 패턴의 독특한 특징이 반영된 특정 세부 구간들로 재구성되도록 하여 인식율을 높인다.An apparatus and method for constructing a pattern recognition model based on a feature-emphasizing DTW according to the present invention is characterized in that patterns are refined by reflecting a characteristic of a user, representative data sequences for the patterns are generated through learning, The second DTW is applied to the pattern recognized as the result and the similar patterns of the DTW. The data sequences to be used in the second DTW are reconfigured into specific sub-intervals in which unique characteristics of each pattern are reflected, .
이를 위하여, 본 발명은 DTW(Dynamic Time Warping) 알고리즘을 패턴인식에 사용할 때 인식율을 높일 수 있는 모델을 구축하기 위한 것으로, 분석 대상의 데이터 시컨스에 대해 1차 DTW를 적용하여 패턴을 인식하는 구성, 상기 인식된 결과로부터 유사 패턴 집합으로 표현되는 유사한 패턴이 존재하는지 판단하는 구성, 상기 판단으로부터 유사한 패턴들이 존재할 경우, 상기 유사 패턴들에 대해 차별성을 높이기 위해 특징이 두드러진 세부구간들로 재구성된 데이터 시컨스들에 대해 2차 DTW를 적용하여 패턴을 인식하는 구성을 포함한다.To this end, the present invention is to construct a model capable of increasing the recognition rate when a DTW (Dynamic Time Warping) algorithm is used for pattern recognition. The DTW is a configuration for recognizing a pattern by applying a first DTW to a data sequence to be analyzed, Determining whether there is a similar pattern represented by a set of similar patterns from the recognized result, determining whether there is a similar pattern represented by a similar pattern set from the recognized result, And a second DTW is applied to the second DTW to recognize the pattern.
이와 같은 본 발명에 따른 특징 강조형 DTW 기반의 패턴인식 모델은 제스처 인식, 음성 인식 등 DTW 기반의 다양한 패턴인식 응용에 사용 가능하다.The feature-emphasizing DTW-based pattern recognition model according to the present invention can be used for various DTW-based pattern recognition applications such as gesture recognition and speech recognition.
이하의 설명에서 가속도 센서를 통한 제스처 인식을 전제로 설명하지만 이는 다른 응용(예, 음성인식, 데이터 마이닝, 영상 인식)에 대해, 그리고 다른 센서를 통한 데이터에 대해서도 적용 가능하다. Although the following description is based on gesture recognition through an acceleration sensor, it is applicable to other applications (e.g., speech recognition, data mining, image recognition) and data through other sensors.
그리고 패턴(제스처)은 가속도 센서의 데이터 시컨스로 표현되며, 데이터 시컨스에는 패턴의 특징이 반영된다. 제시된 임의의 데이터 시컨스가 어떤 패턴인지를 식별하기 위해서는 학습과정에서 생성된 모든 패턴의 대표 데이터 시컨스들에 대해 각각 DTW를 적용해 최소의 차이를 나타내는 대표 데이터 시컨스의 패턴으로 인식한다.The pattern (gesture) is represented by the data sequence of the acceleration sensor, and the data sequence reflects the characteristics of the pattern. In order to identify the pattern of a given arbitrary data sequence, DTW is applied to representative data sequences of all patterns generated in the learning process, and recognized as a representative data sequence pattern indicating a minimum difference.
본 발명에 따른 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 장치는 도 1에서와 같이, 임의의 데이터 시컨스 t가 입력되면 데이터 시컨스 t와 특징 강조형 패턴 학습부(50)의 패턴 학습부(50a)에서 학습된 패턴들에 대하여 DTW 알고리즘을 적용하여 패턴 인식을 하는 1차 DTW 패턴 인식부(10)와, 1차 DTW 패턴 인식부(10)에서 인식된 패턴에 대해 유사 패턴 집합 구성부(50b)에서 정의한 유사 패턴 집합이 존재하는지를 판단하는 유사 패턴 판단부(20)와, 유사 패턴 집합으로 표현되는 유사 패턴들이 존재하는 것으로 판단되면 이들의 대표 데이터 시컨스들에 대해 패턴 재구성부(50c)에서 차별성을 높이도록 특징이 두드러진 세부구간들로 재구성한 데이터 시컨스들과 이와 동일한 방법으로 재구성한 t의 데이터 시컨스에 대해 2차 DTW 패턴인식을 하는 2차 DTW 패턴 인식부(30)와, 2차 DTW 패턴 인식부(30)의 패턴 인식의 결과를 기반으로 최종적으로 패턴을 결정하는 패턴 결정부(40)를 포함한다.1, when an arbitrary data sequence t is input, an apparatus for constructing a feature recognition type DTW-based pattern recognition model according to the present invention includes a data sequence t and a
여기서, 특징 강조형 패턴 학습부(50)는 학습을 통해 1차 DTW 패턴 인식에 필요한 패턴들의 대표 데이터 시컨스들을 생성하는 패턴 학습부(50a)와, 학습 샘플들로부터 각 패턴에 대해 유사한 패턴들인 유사 패턴 집합을 구성하는 유사 패턴 집합 구성부(50b)와, 2차 DTW 패턴 인식을 위해 차별성을 높이도록 특징이 두드러진 세부구간들로 재구성된 유사 패턴 집합의 대표 데이터 시컨스들을 생성하는 패턴 재구성부(50c)를 포함한다.Here, the feature emphasis
그리고 본 발명에 따른 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 방법을 구체적으로 설명하면 다음과 같다.A method for constructing a pattern recognition model based on the feature highlighting type DTW according to the present invention will now be described in detail.
도 2는 본 발명에 따른 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 방법을 나타낸 플로우 차트이다.FIG. 2 is a flowchart illustrating a method for constructing a feature-emphasizing DTW-based pattern recognition model according to the present invention.
도 2에서와 같이, 임의의 데이터 시컨스 t가 입력되면 데이터 시컨스 t와 특징 강조형 패턴 학습부(50)의 패턴 학습부(50a)에서 학습된 패턴들에 대하여 DTW 알고리즘을 적용하여 패턴 인식을 하는 1차 DTW 패턴 인식 단계(S201)와, 1차 DTW 패턴 인식 단계에서 인식된 패턴에 대해, 유사 패턴 집합 구성부에서 생성한 유사 패턴 집합들 중 이의 유사 패턴 집합이 존재하는지를 판단하는 유사 패턴 판단 단계(S202)와, 유사 패턴 집합이 존재하면(S203), 차별성을 높이도록 특징이 두드러지는 세부구간들로 재구성된 유사 패턴 집합의 대표 데이터 시컨스들과 동일하게 재구성된 t의 데이터 시컨스에 대하여 DTW 패턴인식을 하여 패턴을 결정하는 2차 DTW 패턴 인식 단계(S204)를 수행한다.2, when an arbitrary data sequence t is input, the data sequence t and the patterns learned in the
여기서, 특징 강조형 패턴 학습부(50)는 1차 DTW 패턴 인식을 위한 패턴 학습을 하는 단계와, 위의 패턴 학습 단계에서 잘못 인식한 패턴들을 기반으로 유사 패턴 집합을 구성하는 유사 패턴 집합 구성 단계와, 2차 DTW패턴 인식을 위해 유사 패턴 집합들의 대표 데이터 시컨스들을 유사 패턴 집합 내에서 차별성을 높이도록 특징이 두드러지는 세부 구간들로 재구성하는 패턴 재구성 단계를 수행한다.Here, the feature-emphasis
이와 같은 구성을 갖는 본 발명에 따른 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 장치 및 방법에서의 모델의 개요를 설명하면 다음과 같다.The outline of the model in the apparatus and method for constructing the pattern recognition model based on the feature emphasis type DTW according to the present invention having the above-described structure will be described as follows.
필기체 알파베트를 표현하는 패턴들에 대한 패턴인식 작업을 가정할 때, b, h, n 등과 같은 경우는 패턴들이 유사하므로 종종 잘못 인식될 수 있다.Assuming a pattern recognition operation on patterns expressing a cursive albaett, b, h, n, and the like can often be misrecognized because the patterns are similar.
본 발명에서 구축되는 모델에서는 학습 과정에서 잘못 인식되는 패턴들을 유사 패턴 집합으로 정하고 이들에 대해 추가적인 인식 작업을 수행한다.In the model constructed in the present invention, the patterns that are erroneously recognized in the learning process are defined as a similar pattern set and additional recognition operations are performed on them.
즉, b가 종종 h, n으로 잘못 인식되는 경우, b의 유사 패턴 집합을 h, n으로 정의하고 이들의 데이터 시컨스들에 대해 이들을 차별화할 수 있는 세부구간들을 지정한다.That is, if b is often mistakenly recognized as h, n, we define a set of similar patterns of b as h, n and specify the detail intervals that can differentiate them for their data sequences.
따라서, 본 발명의 특징 강조형 DTW 기반의 패턴인식 모델에서의 패턴 인식 과정은 임의의 데이터 시컨스 t가 제시되면, Accordingly, in the pattern recognition process in the feature-emphasizing DTW-based pattern recognition model of the present invention, if an arbitrary data sequence t is presented,
(1) t와 학습된 패턴들의 대표 데이터 시컨스들에 대해 DTW 알고리즘을 적용해 가장 유사한 패턴 g을 결정한다.(1) The DTW algorithm is applied to the representative data sequences of t and the learned patterns to determine the most similar pattern g.
(2) 이때 g에 대한 유사 패턴 집합이 존재하면, g와 이의 유사 패턴 집합의 패턴들을 차별화시킬 수 있도록 특징이 두드러진 세부구간들에 대해 DTW 알고리즘을 적용하여 패턴을 결정한다.(2) If there exists a similar pattern set for g, the pattern is determined by applying the DTW algorithm to the detailed sub-sections having different features so as to differentiate the patterns of the set of g and its similar patterns.
위의 설명은 각 패턴에 대하여 하나의 대표 데이터 시컨스를 전제로 하고 있다. 그러나 각각의 패턴들도 성별구분, 키, 몸무게 등의 신체적인 특징에 따라 다양한 차이를 나타내기 때문에 본 발명에서는 이러한 차이를 반영하기 위하여 사용자 유형에 따른 패턴을 세분화하고 있다.The above description assumes one representative data sequence for each pattern. However, since each pattern also shows various differences according to physical characteristics such as sex, height, and weight, the present invention subdivides patterns according to user types to reflect such differences.
그리고 유사 패턴 집합에 관하여 설명하면 다음과 같다.The similar pattern set will be described as follows.
유사 패턴 집합의 개념은 본 발명의 특징 강조형 DTW 기반의 패턴인식 모델에서의 핵심 구성으로 표 1의 예를 통해 설명한다.The concept of a similar pattern set is a core configuration in the feature-emphasizing type DTW-based pattern recognition model of the present invention, which is illustrated in Table 1.
이는 키, 성별, 몸무게로 구별한 6개의 사용자(유형)들의 학습과정에서 정의된 유사 패턴 집합들의 예이다. This is an example of similar pattern sets defined in the learning process of six users (types) distinguished by key, sex, and weight.
표 1은 유사 패턴 집합과 part_bits의 예를 나타낸 것이다. part_bits는 패턴 재구성 시 데이터 시컨스의 세부 구간들의 포함 여부를 나타내는 비트 시컨스다.Table 1 shows examples of similar pattern sets and part_bits. part_bits is a bit sequence indicating whether or not the detail sections of the data sequence are included in the pattern reconstruction.
표 1의 첫 번째 열의 패턴은 (1)의 작업의 인식 결과를, 두 번째 열은 원래의 패턴을 의미한다. 가령 두 번째 행을 해석하면, (1)의 작업 후 사용자2의 p로 인식되었지만 이는 사용자2의 b가 p로 잘못 인식된 경우일 수 있어 (2)의 작업이 필요함을 의미한다.The pattern in the first column of Table 1 indicates the recognition result of (1), and the second column indicates the original pattern. For example, if the second line is interpreted, it is recognized as p of user 2 after the operation of (1), but this may be the case where b of user 2 is erroneously recognized as p, which means that the operation of (2) is necessary.
(2)의 작업 시, 차별화된 세부 구간은 011000인 part _ bits로 표현되는데 이는 원래의 데이터 시컨스들을 6구간으로 나누었을 때 두 번째, 세 번째 구간만을 사용해 DTW 알고리즘을 적용한다는 의미다.More differentiated sections at Work (2), is the sense that is represented by 011,000 in the second part _ bits which applies, DTW algorithm using only the third period when divided into six sections the sequence of the original data.
한편, 세 번째 행은 사용자3의 n으로 인식되었지만 실제로는 사용자3의 b, h, p, r 또는 사용자4의 h가 잘못 인식된 것일 수 있음을 나타낸다. On the other hand, the third row indicates that the user 3's n, b, h, p, r, or user 4's h may have been misrecognized.
본 발명에 따른 특징 강조형 DTW 기반의 패턴인식 모델에서 사용자 uj에 의한 패턴 gi를 gi(j)로 표현하며 T(j)는 uj에 대한 패턴들의 대표 데이터 시컨스 집합을 나타낸다.In the feature-emphasizing DTW-based pattern recognition model according to the present invention, a pattern g i by a user u j is represented by g i (j), and T (j) represents a representative data sequence set of patterns for u j .
패턴 gi(j)의 식별을 위해서는 대표 데이터 시컨스 ti(j)가 사용되며 이들은 학습을 통해 생성한다.A representative data sequence t i (j) is used to identify the pattern g i (j) and these are generated through learning.
본 발명에 따른 특징 강조형 DTW 기반의 패턴인식 모델에서 사용자들의 집합 U, 패턴들의 집합 G, 모든 대표 데이터 시컨스들의 집합 T를 포함하며, U, G, T는 각각 다음과 같이 정의된다.In the feature-emphasizing DTW-based pattern recognition model according to the present invention, the set U of users, the set G of patterns, and the set T of all representative data sequences are defined as U , G and T , respectively.
여기서,here,
U에 속한 m명의 사용자들은 각각 차별적인 패턴 특징들을 보유하는 사용자들을 대표하며, G(j)는 사용자 uj에 의한 n개의 패턴들의 집합, T(j)는 G(j)의 각각의 패턴에 대한 대표 데이터 시컨스들의 집합을 나타낸다.M of users belonging to the U are also representative of the user holding the respective differential pattern characteristics, G (j) is set, T (j) of the n pattern by the user u j is in each of the patterns of G (j) Represents a set of representative data sequences.
T는 모든 T(j)들의 합집합으로 m명의 사용자들의 n개의 패턴들에 대한 대표 데이터 시컨스들의 집합이다. 가령 T(2)는 사용자 u2를 위한 대표 데이터 시컨스들의 집합을, t3(2)는 u2의 패턴 g3, 즉 g3(2)에 대한 대표 데이터 시컨스를 뜻한다. 문맥상 사용자 구분이 중요하지 않을 경우 사용자 표기를 생략한다. T is a set of representative data sequences for n patterns of m users with the union of all T (j). For example, T (2) denotes a set of representative data sequences for user u 2 , and t 3 (2) denotes a representative data sequence for pattern g 3 , or g 3 (2), of u 2 . If the user classification in the context is not important, omit user notation.
유사 패턴 집합의 형식 정의는 다음과 같다.The format definition of a similar pattern set is as follows.
임의의 데이터 시컨스 t와 대표 데이터 시컨스들의 집합 T에 DTW를 적용했을 때, t의 패턴을 gi(j)로 인식(판정)했으나 실제로는 gk(l)인 경우, gk(l)이 gi(j)의 유사패턴 집합 sG i (j)에 속한다.If the time of applying the DTW on the set T of the random data, the sequence t and the representative data, the sequence, recognize (determine) the pattern of the t to g i (j), but actually a g k (l), g k (l) the belongs to the similar pattern set sG i (j) of g i (j).
표 1에 알파베트 인식 실험에 사용된 유사 패턴 집합들이 제시되었다.Table 1 shows a set of similar patterns used in the alabetic recognition experiment.
t가 gi(j)로 인식된 경우 (2)의 단계에서 적용될 대표 데이터 시컨스들의 집합을 sT i (j)로 표시되며 이는 다음과 같이 정의된다. When t is recognized as g i (j), the set of representative data sequences to be applied in step (2) is denoted by s T i (j) , which is defined as follows.
여기서, buildSeq( t, part_bits i (j))는 데이터 시컨스 t를 part _ bits i (j)에서 1로 설정된 부분만을 추출해서 반환한다. sT i (j)는 gi(j)의 대표 데이터 시컨스와 이의 유사 패턴 집합에 관한 모든 대표 데이터 시컨스들에 대해 part _ bits i (j)을 적용한 결과를 의미한다. Here, buildSeq (t, part_bits i ( j)) is returned to extract only the data portion is set to the sequence t to 1 part _ bits i (j). to sT i (j) denotes the result of applying the part _ bits i (j) for all the sequence data representative of the data representative of the sequence similar to the pattern set thereof of g i (j).
유사 패턴 집합 sGi(j)에 대해 2차 DTW 패턴 인식에 필요한 정보는 서브모델 sMi(j)로 표현하며 sMi(j)은 <uj, gi (j), sGi(j), sTi(j), part_bitsi(j)>로 정의한다.
서브모델은 사용자 유형별로 세분화된 패턴에 대해 2차 DTW 패턴인식에서 사용되는 주요 개념들을 튜플(tuple) 형식으로 통합적으로 표현한 것이다. 즉, sMi(j)은 사용자 유형 uj 와 uj 의 패턴 gi (j), 그리고 gi (j)의 유사패턴 집합 sGi(j), 2차 DTW에 사용될 gi (j)의 대표 데이터 시컨스들의 집합 sTi(j)과, sTi(j)의 생성에 적용되는 part_bits인 part_bitsi(j)으로 구성된다. 간단히 정리하면 sMi(j)은 패턴 gi (j)에 대해 2차 DTW 패턴인식에 필요한 정보들을 튜플을 통해 추상적으로 표현한 것이다. 참고로 튜플은 어떤 개념이 다른 구성 요소들로 표현될 때 컴퓨터 과학 분야에서 매우 보편적으로 사용되는 방법이다.Information required for the secondary DTW pattern recognition for similar patterns set sG i (j) is represented by a sub-model sM i (j) and sM i (j) is <u j, g i (j ), sG i (j) , sT i (j), and part_bits i (j)> .
The sub-model is an integrated representation of the main concepts used in the second DTW pattern recognition in the tuple form for the subdivided pattern by the user type. That is, sM i (j) is a type of user similar to the pattern set of the pattern of u j and u j g i (j), and g i (j) of sG i (j), 2 car g i (j) used for the DTW It consists of part_bits part_bits i (j) is applied to the generation of a representative data set of the sequence sT i (j) and, sT i (j). In summary, sM i (j) is an abstract representation of the information needed for second DTW pattern recognition for a pattern g i (j) through a tuple. Tuples are a very common method used in computer science when a concept is represented by other components.
표1의 행들은 유사패턴 집합이 공집합이 아닌 경우의 서브모델들의 정보의 일부를 제시하고 있다.The rows in Table 1 present some of the information of the submodels when the similar pattern set is not an empty set.
SM(j)은 사용자 u j 에 대한 서브 모델들의 집합을, SM은 모든 사용자들을 위한 서브모델들의 합집합을 나타낸다. 본 모델 M은 <G, T, U, SM, d>의 튜플로 정의한다. 이때 d는 part _ bits의 비트 수로 재구성된 대표 데이터 시컨스들의 길이를 의미한다. SM ( j ) denotes a set of submodels for user u j , and SM denotes a union of submodels for all users. This model M is defined as a tuple of <G, T, U, SM, d> . Wherein d means the length of the data representing the sequence number of bits of the reconstructed part _ bits.
그리고 패턴 인식 작업에 관하여 설명하면 다음과 같다.The pattern recognition operation will be described as follows.
본 발명에 따른 특징 강조형 DTW 기반의 패턴인식 모델에서의 패턴 인식 작업을 정확히 표현하기 전에 우선 DTW 기반의 패턴인식의 의미를 정의한다. Prior to expressing a pattern recognition task in a feature-highlighted DTW-based pattern recognition model according to the present invention, the meaning of DTW-based pattern recognition is defined.
DTW(t1, t2)가 두 데이터 시컨스 t1, t2에 대해 DTW 알고리즘을 적용한 결과, 차이를 반환하는 함수라 할 때 DTW 기반의 패턴인식은 
1차 DTW: 
2차 DTW: sM i (j)의 part _ bits i (j)이 
1차 DTW는 FsGr 모델에서와 동일하다. 단 패턴들이 사용자 유형에 따라 세분화되고 있어 1차 DTW 인식 결과도 사용자 유형에 따른 패턴으로 표현되고 이에 따른 서브모델의 대표 데이터 시컨스 집합이 2차 DTW에 사용된다.The first DTW is the same as in the FsGr model. Since the single patterns are subdivided according to the user type, the result of the first DTW recognition is also expressed in a pattern according to the user type, and the representative data sequence set of the sub model is used for the second DTW.
2차 DTW는 패턴 g i 에 연관된 모든 사용자들의 유사 패턴 집합들이 아니라 1차 DTW에서 결정된 패턴 g i 와 사용자 u j 에 대한 서브 모델로 한정된다.The second DTW is not a set of similar patterns of all users associated with the pattern g i , but is limited to the sub-model for the pattern g i and the user u j determined in the first DTW.
그리고 패턴 학습 알고리즘에 관하여 설명하면 다음과 같다.The pattern learning algorithm will be described as follows.
본 발명에 따른 특징 강조형 DTW 기반의 패턴인식 모델에서의 학습은 1차 DTW를 위해 G에 대한 대표 데이터 시컨스의 집합 T를 구하고 각 패턴에 대한 유사 패턴 집합을 구하는 부분과, 2차 DTW를 위해 모든 사용자들의 유사 패턴 집합들을 나타내는 SM을 구하는 부분으로 구성된다. Learning in the feature-emphasizing DTW-based pattern recognition model according to the present invention includes a step of obtaining a set T of representative data sequences for G for the first DTW and obtaining a similar pattern set for each pattern, It is composed of a part that obtains SM representing all user similar pattern sets.
(1) 1차 DTW를 위한 학습 방법(1) Learning method for 1st DTW
본 발명에 따른 특징 강조형 DTW 기반의 패턴인식 모델의 시뮬레이션을 위하여 (1)의 과정에 대해 사용된 학습 방법은 DTW 학습 방법들 중 최소선택(minimum selection) 방법을 사용하였다. 이는 DTW 기반의 대표적인 학습 방법으로 패턴 gi(j)에 대한 샘플 데이터 시컨스들에 대해 임의의 데이터 시컨스와 이를 제외한 데이터 시컨스들 간의 DTW 비용의 합을 구한다.For the simulation of the feature-based DTW-based pattern recognition model according to the present invention, the learning method used in the process of (1) used the minimum selection method among the DTW learning methods. This is a typical DTW-based learning method. The sum of the DTW costs between the arbitrary data sequence and the data sequences excluding the data sequence is obtained for the sample data sequences for the pattern g i (j).
이 과정을 패턴 gi(j)에 속한 모든 샘플 데이터 시컨스에 대해 적용하여 비용의 합들 중 최소 값의 데이터 시컨스를 대표 데이터 시컨스로 정한다. 이는 다른 DTW 학습 알고리즘으로 변경 가능하다.This process is applied to all the sample data sequences belonging to the pattern g i (j), and the data sequence of the minimum value among the sum of the exponents is determined as the representative data sequence. This can be changed with other DTW learning algorithms.
위에서 결정된 대표 데이터 시컨스들에 대해 샘플 데이터를 사용하여 인식률을 테스트하는데, 지정된 목표 인식률(alpha)보다 낮은 대표 데이터 시컨스의 패턴에 대해서는 유사 패턴 집합을 생성한다.The recognition rate is tested using the sample data for the representative data sequences determined above, and a similar pattern set is generated for the representative data sequence pattern lower than the designated target recognition rate alpha.
임의의 패턴에 대한 유사 패턴 집합의 정의 시 가장 중요한 것은 유사 패턴 집합의 각각의 패턴에 적용할 part_bits을 결정하는 부분인데 다음에서 설명한다.When defining a similar pattern set for an arbitrary pattern, the most important part is to determine the part_bits to be applied to each pattern of the similar pattern set.
(2) 2차 DTW를 위한 학습방법(2) Learning method for second DTW
임의 패턴 gi(j)에 대한 정보를 나타내는 서브모델 sM i (j)의 유사패턴 집합 sG i (j)에 적용될 part _ bits i (j)를 구하는 알고리즘을 설명하면 다음과 같다.When explaining the random pattern g i (j) part _ i bits algorithm to obtain the (j) applied to a similar set of patterns sG i (j) of the sub-model sM i (j) indicating the information about the following:
sG i (j)의 part _ bits i (j) 생성 알고리즘은 다음과 같다. part _ bits i (j) generation algorithm sG i (j) is as follows.
가정: - S_Val은 가속도 센서의 데이터의 타입으로 x, y, z 축의 값을 표현하는 구조체를 의미.Assumptions: - S_Val is a type of data of the acceleration sensor, meaning a structure expressing the values of x, y, z axis.
- 패턴 gi(j)의 데이터 시컨스를 t, sG i (j)의 데이터 시컨스들의 집합을 T로 표현.Let t be the data sequence of the pattern g i (j), and T be the set of data sequences of sG i (j) .
- setXero(d)는 길이 d의 비트형 리스트를 생성하고 모든 비트를 false로 설정.- setXero (d) creates a bit list of length d and sets all bits to false.
- ToListOfsublists(t, d)는 리스트 t를 d등분한 서브 리스트들의 리스트를 반환- ToListOfsublists (t, d) returns a list of sublists that divide the list t by d
- setOne(Bits, j)는 Bits의 j번째 비트 값을 1로 설정- setOne (Bits, j) sets the jth bit value of Bits to 1
- Or(Bits1, Bits2)는 Bits1과 Bits2에 대해 비트 Or를 수행 후 결과를 반환- Or (Bits1, Bits2) returns the result after bit Or for Bits1 and Bits2
표 2는 sG i (j)의 part _ bits i (j) 생성 알고리즘을 나타낸 것이다.Table 2 shows the part _ bits i (j) generation algorithm sG i (j).
Gen_Part_Bits 함수의 매개변수 중 d는 생성할 part_bits의 길이, beta는 추출에 사용될 가중치 값을 의미한다. 변수 PartBits는 계산 후 최종적으로 반환할 part_bits를, 변수 tempBits는 유사 패턴 집합에 속한 임의의 패턴의 대표 데이터 시컨스를 위한 part_bits로 둘 다 모든 bit을 0으로 초기화한다.Among the parameters of the Gen_Part_Bits function, d represents the length of part_bits to be generated, and beta represents a weight value to be used for extraction. The variable PartBits is the part_bits to be returned finally after calculation, and the variable tempBits is initialized to 0 for all bits in the part_bits for the representative data sequence of any pattern in the similar pattern set.
conv_t는 t로 표현되는 대표 데이터 시컨스를 d등분한 리스트를 의미한다.conv_t means a list obtained by dividing the representative data sequence denoted by t by d.
foreach문의 바디에서는 t와 x의 dtw 값을 d로 나눈 값과, d등분한 t와 d등분한 x의 각 부분들의 dtw 값을 비교해서 각 부분의 dtw 값의 차이가 일정 수준이상으로 클 경우 해당 부분의 bit을 1로 설정한다. 이때 가중치로 beta를 사용한다.In the body of the foreach statement, the value obtained by dividing the value of dtw of t and x by d and the value of dtw of each part of x divided by d divided by t and d divided by d are compared with each other. Bit of the part is set to 1. We use beta as the weight.
이는 d등분한 세부구간에 대한 dtw값이, 전체구간에 대한 dtw값을 d로 나눈 값에 대해 가중치 beta의 곱보다 같거나 클 때 해당 구간을 나타내는 부분의 bit을 1로 설정한다는 의미다.This means that if the dtw value for the subdivision divided by d is equal to or greater than the product of the weight beta for the value obtained by dividing the dtw value for the whole interval by d, the bit in the portion indicating the corresponding interval is set to 1.
for문의 실행으로 모든 부분에 대한 bit의 값이 결정된다. 이러한 작업이 유사 패턴 집합에 속한 모든 대표 데이터 시컨스들에 대해 이루어진다. 이후 생성된 part_bits들을 OR하여서 최종 part _ bits i (j)가 결정된다.The execution of a for statement determines the value of the bit for all parts. This operation is performed for all the representative data sequences belonging to the similar pattern set. Hayeoseo OR since the generated part_bits it is determined by the end part _ bits i (j).
학습에서 중요한 요소는 alpha, beta, d 값인데 이들은 실험을 통해 결정한다. 본 시뮬레이션에서는 각각 1, 1.2, 6을 사용하였다.Important factors in learning are alpha, beta, and d values, which are determined experimentally. In this simulation, 1, 1.2, and 6 were used, respectively.
본 발명에 따른 특징 강조형 DTW 기반의 패턴인식 모델을 통한 스마트 TV의 채널 및 볼륨 제어에 관하여 설명하면 다음과 같다.The channel and volume control of the smart TV through the feature-highlighted DTW-based pattern recognition model according to the present invention will now be described.
도 3a는 본 발명에 따른 특징 강조형 DTW 기반의 패턴인식 모델을 적용한 스마트TV 제어를 나타낸 구성도이고, 도 3b는 스마트TV 제어를 위한 심볼 동작 방법을 나타낸 구성도이다.FIG. 3A is a diagram illustrating a Smart TV control using a feature-emphasizing DTW-based pattern recognition model according to the present invention, and FIG. 3B is a diagram illustrating a symbol operation method for smart TV control.
스마트TV에서 채널을 제어하기 위해서는 일련의 데이터 시컨스에 대한 인식이 필요하다. 가령 채널 102번을 선택하기 위해서는 1, 0 그리고 2를 순차적으로 한 번의 작업으로 인식해야 된다.In order to control a channel in a smart TV, it is necessary to recognize a series of data sequences. For example, to select
데이터 시컨스 내에서 각각의 패턴을 인식하기 위해서는 패턴의 시작과 끝을 구분할 수 있어야 하는데, 본 발명에서는 가속도 센서 데이터의 크기가 일정 이상이거나 미만인 경우를 포착하여 이를 패턴의 시작과 끝으로 구분하여 일련의 패턴을 인식하였다.In order to recognize each pattern in the data sequence, it is necessary to be able to distinguish the start and the end of the pattern. In the present invention, a case where the size of the acceleration sensor data is greater than or less than a predetermined value is captured, The pattern was recognized.
본 발명에 따른 특징 강조형 DTW 기반의 패턴인식 모델을 적용한 스마트TV 제어를 나타낸 구성은 도 3a에서와 같이, 크게 스마트 폰(안드로이드 OS) 애플리케이션과 스마트 TV(삼성, Orsay 플랫폼) 애플리케이션으로 구성된다.As shown in FIG. 3A, the smart TV control using the feature-emphasizing DTW-based pattern recognition model according to the present invention is largely composed of a smartphone (Android OS) application and a smart TV (Samsung, Orsay platform) application.
스마트폰 애플리케이션은 가속도 센서로부터 데이터를 수집하고 수집된 데이터 시컨스로부터 패턴 인식을 수행하여 결과를 송신한다. 스마트 TV 애플리케이션은 패턴 인식 결과를 수신하고 그 결과에 따라 채널 혹은 볼륨을 제어한다.The smartphone application collects data from the acceleration sensor and performs pattern recognition from the collected data sequence to transmit the results. The smart TV application receives the pattern recognition result and controls the channel or volume according to the result.
볼륨 제어와 채널 제어는 특징 강조형 DTW 기반의 패턴인식 모델을 기반으로 한 패턴 인식모듈의 인식 결과를 통해 이루어진다.Volume control and channel control are performed through recognition results of a pattern recognition module based on a feature-highlighted DTW-based pattern recognition model.
이를 위해 14개의 패턴들이 학습되었는데 이들은 0~9의 아라비안 숫자와 상(Up), 하(Down), 좌(Left), 우(Right)를 뜻하는 심볼들로 구성된다.To do this, 14 patterns are learned, consisting of 0 to 9 Arabic numerals and symbols representing Up, Down, Left, and Right.
각 심볼의 정확한 동작 방법은 도 3b에서와 같다.The exact operation method of each symbol is shown in FIG. 3B.
사용방법은 사용자가 패턴들을 수행하였을 때 그 인식 결과가 일련의 숫자들이라면 스마트 TV의 채널을 해당 숫자로 변경한다.The usage method changes the channel of Smart TV to the corresponding number if the recognition result is a series of numbers when the user performs the patterns.
인식 결과가 Up이나 Down이라면 각각 채널을 1만큼 올리거나 내리고 Left나 Right라면 각각 1만큼 볼륨을 내리거나 올린다.If the recognition result is Up or Down, increase or decrease the channel by 1, respectively. If it is Left or Right, lower or raise the volume by 1 respectively.
본 발명에 따른 특징 강조형 DTW 기반의 패턴인식 모델을 적용한 스마트 TV의 채널 및 볼륨 제어는 6명의 840개의 샘플들이 사용되었는데 최종 인식률은 92.14%를 보인다.In the channel and volume control of the smart TV applying the feature-emphasizing DTW-based pattern recognition model according to the present invention, 840 samples of 6 persons are used, and the final recognition rate is 92.14%.
표 3은 본 발명에 따른 특징 강조형 DTW 기반의 패턴인식 모델을 적용한 스마트 TV의 채널 및 볼륨 제어 결과를 나타낸 것이다.Table 3 shows the channel and volume control results of the smart TV to which the feature-emphasizing DTW-based pattern recognition model according to the present invention is applied.
이상에서 설명한 본 발명에 따른 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 장치 및 방법은 FsGr 모델을 다중 사용자 환경으로 확장한 것으로 동일한 패턴에 대해서도 사용자의 신체적인 특징들을 학습 과정에 포함시켜 인식률을 높인 것이다.The apparatus and method for constructing a pattern recognition model based on the feature-emphasizing DTW according to the present invention is an extension of the FsGr model to a multi-user environment. In the same pattern, the user's physical characteristics are included in the learning process, .
2차 DTW 인식 과정이 유사 패턴 집합 내에서만 이루어지므로 시간 복잡도가 높지 않아 실용성을 향상시키고 제스처 인식뿐 아니라 음성 인식, 데이터 마이닝 등 DTW가 사용되는 여러 응용 분야에서 적용 가능하다.Since the second DTW recognition process is performed only within the similar pattern set, the time complexity is not high, which improves practicality and is applicable to various applications where DTW such as voice recognition and data mining are used as well as gesture recognition.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.As described above, it will be understood that the present invention is implemented in a modified form without departing from the essential characteristics of the present invention.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.It is therefore to be understood that the specified embodiments are to be considered in an illustrative rather than a restrictive sense and that the scope of the invention is indicated by the appended claims rather than by the foregoing description and that all such differences falling within the scope of equivalents thereof are intended to be embraced therein It should be interpreted.
10. 1차 DTW 패턴 인식부 20. 유사 패턴 판단부
30. 2차 DTW 패턴 인식부 40. 패턴 결정부
50. 특징 강조형 패턴 학습부10. Primary DTW
30. Secondary DTW
50. A feature-emphasizing pattern learning unit
Claims (18)
1차 DTW 패턴 인식부에서 인식된 패턴에 대해 유사 패턴 집합 구성부에서 정의한 유사 패턴 집합이 존재하는지를 판단하는 유사 패턴 판단부;
인식된 패턴에 대해 유사 패턴 집합이 존재하는 것으로 판단되면, 인식된 패턴과 유사 패턴 집합에 속한 패턴들의 대표 데이터 시컨스들에 대해 패턴 재구성부에서 차별성을 높이도록 특징이 두드러진 세부구간들로 재구성한 데이터 시컨스들과 이와 동일한 방법으로 재구성한 t의 데이터 시컨스에 대해 2차 DTW 패턴인식을 하는 2차 DTW 패턴 인식부;
2차 DTW 패턴 인식부의 패턴 인식의 결과를 기반으로 최종적으로 패턴을 결정하는 패턴 결정부;를 포함하고,
상기 특징 강조형 패턴 학습부는 학습샘플들에 대한 학습을 통해 1차 DTW 패턴 인식에 필요한 패턴들의 대표 데이터 시컨스들을 생성하는 패턴 학습부와, 학습 샘플들로부터 각 패턴에 대해 유사한 패턴들인 유사 패턴 집합을 구성하는 유사 패턴 집합 구성부와, 2차 DTW 패턴 인식을 위해 차별성을 높이도록 특징이 두드러진 세부구간들로 재구성된 유사 패턴 집합의 대표 데이터 시컨스들을 생성하는 패턴 재구성부를 포함하고,
특징 강조형 DTW 기반의 패턴인식을 위한 모델이 사용자들의 집합 U, 패턴들의 집합 G, 모든 대표 데이터 시컨스들의 집합 T를 포함하는 것을 특징으로 하는 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 장치.A first DTW pattern recognition unit for performing pattern recognition by applying a DTW algorithm to data sequences of patterns learned in the pattern learning unit of the feature highlighting type pattern learning unit and a data sequence t when an arbitrary data sequence t is input;
A similar pattern determination unit for determining whether a similar pattern set defined by the similar pattern set construction unit exists for the pattern recognized by the primary DTW pattern recognition unit;
If it is determined that there is a similar pattern set for the recognized pattern, the data reconstructed into the detailed sub-regions characterized by the pattern re-formation unit for enhancing the discrimination of representative data sequences of the patterns belonging to the recognized pattern and the similar pattern set A second DTW pattern recognition unit for recognizing a second DTW pattern with respect to sequences and a data sequence of t reconstructed in the same manner;
And a pattern determination unit for finally determining a pattern based on a result of pattern recognition by the second DTW pattern recognition unit,
Wherein the feature emphasis pattern learning unit comprises a pattern learning unit for generating representative data sequences of patterns necessary for recognition of the first DTW pattern through learning about learning samples and a similar pattern set for similar patterns for each pattern from the learning samples And a pattern reconstruction unit for generating representative data sequences of a similar pattern set reconstructed from the detailed sub-intervals characterized by features that enhance discrimination for secondary DTW pattern recognition,
Wherein the model for DTW-based pattern recognition includes a set of users U , a set of patterns G , and a set T of all representative data sequences.
패턴 gi를 사용자의 특성에 따라 구별하기 위하여 사용자 uj에 의한 패턴 gi를 gi(j)로, 그리고 이의 식별에 사용되는 대표 데이터 시컨스는 ti(j)로 표현하고, 사용자 uj에 의한 패턴들의 집합은 G(j)로, 그리고 이들에 대한 대표 데이터 시컨스들의 집합은 T(j)로 나타내고,
패턴 gi(j)의 식별을 위해서는 대표 데이터 시컨스 ti(j)가 사용되며 이들은 학습을 통해 생성하는 것을 특징으로 하는 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 장치.2. The pattern learning apparatus according to claim 1,
Representing a pattern g i as a representative data the sequence is t i (j) used in the pattern g i of the user u j with g i (j), and the identification thereof to differentiate depending on the user's attributes and the user u j Denotes the set of patterns by G (j), and the set of representative data sequences for them by T (j)
Wherein the representative data sequence t i (j) is used for identification of the pattern g i (j), and these are generated through learning.
m과 n은 각각 사용자의 수와 패턴의 수를 나타낼 때, U, G, T는 각각
사용자들의 집합 U의 u1, ui, um은 각각 첫 번째 사용자, i번째 사용자, 그리고 m번째 사용자이고, G(i)는 ui에 의한 모든 패턴들의 집합, T(i)는 ui의 패턴들에 대한 모든 대표 데이터 시컨스들의 집합이고, g1(j), g2(j), gn(j)는 각각 G(j)에 속하며 g1(j)는 uj에 의한 패턴 g1를, g2(j)는 uj에 의한 패턴 g2를, gn(j)는 uj에 의한 패턴 gn을 나타내고, t1(j)는 패턴 g1(j)의 식별을 위한 대표 데이터 시컨스, t2(j)는 패턴 g2(j)의 식별을 위한 대표 데이터 시컨스, tn(j)는 패턴 gn(j)의 식별을 위한 대표 데이터 시컨스인 것을 특징으로 하는 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 장치.4. The method of claim 3, wherein the model for feature-based DTW-based pattern recognition comprises a set of users U , a set of patterns G , and a set T of all representative data sequences,
When m and n represent the number of users and the number of patterns, respectively, U , G , and T are
Of a set U of users u 1, u i, u m is the first user, respectively, and the i-th user, and m-th user, G (i) is the set of all patterns by u i, T (i) is u i is the set of all the representative data the sequence of the patterns of, g 1 (j), g 2 (j), g n (j) is g 1 (j) belonging to g (j) each of the patterns by u j g 1 , g 2 (j) represents a pattern g 2 by u j , g n (j) represents a pattern g n by u j and t 1 (j) represents a pattern g 1 representative data the sequence, t 2 (j) is the representative data the sequence, t n (j) for the identification of a pattern g 2 (j) is characterized in that it characterized in that the representative data, the sequence for the identification of a pattern g n (j) highlighted A device for constructing DTW - based pattern recognition model.
T는 모든 T(j)들의 합집합으로 m명의 사용자들 각각의 n개의 패턴들에 대한 대표 데이터 시컨스들의 집합인 것을 특징으로 하는 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 장치.5. The method of claim 4, wherein users of m belonging to U represent users having distinct pattern features, G (j) is a set of n patterns by user u j , T (j) is G ≪ / RTI > represents a set of representative data sequences for each of the patterns of < RTI ID =
T is a set of representative data sequences for n patterns of each of m users in a union of all T (j).
유사 패턴 집합 sGi(j)의 구성시에 임의의 샘플 데이터 시컨스 t의 패턴을 gi(j)로 인식했으나 실제로는 gk(l)인 경우, 즉 gi(j)는 임의의 샘플 데이터 시컨스 t의 잘못 인식된 패턴이고, gk(l)은 임의의 샘플 데이터 시컨스 t의 실제 패턴일 때, gk(l)이 gi(j)의 유사 패턴 집합 sGi(j)에 속하는 것을 특징으로 하는 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 장치.5. The method according to claim 4, wherein the similar pattern aggregation unit analyzes the learning result of the pattern learning unit of the feature emphasis pattern learning unit, forms a similar pattern set sG i (j) , which is a set of similar patterns for each pattern,
When the pattern of any sample data sequence t is recognized as g i (j) at the time of constructing the similar pattern set sG i (j) , but actually the case of g k (l), that is, g i (j) and incorrectly recognized patterns in the sequence t, g k (l) is that belonging to a similar set of patterns sG i (j) of the g i (j), g k (l) when any of the actual pattern of the sample data the sequence t An apparatus for constructing a pattern recognition model based on feature highlighted DTW.
여기서, buildSeq( t, part_bitsi(j))는 데이터 시컨스 t를 part_bitsi(j)에서 1로 설정된 부분만을 추출해서 반환하고,
sTi(j)는 gi(j)의 대표 데이터 시컨스와 gi(j)의 유사 패턴 집합에 관한 모든 대표 데이터 시컨스들에 대해 part_bitsi(j)을 적용한 결과를 의미하는 것을 특징으로 하는 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 장치.7. The method of claim 6, characterized in highlight-like pattern in the pattern reconstruction unit learning portion to reconstruct the representative data, the sequence to be applied to all the patterns that are similar to a set of patterns exist, g i (j) and a similar set of patterns thereof sG i (j) (J) < / RTI > as a set of representative data sequences to be applied to & lt; RTI ID =
Here, buildSeq ( t , part_bits i (j)) extracts the data sequence t by extracting only the part set to 1 in part_bits i (j)
sT i (j) is characterized in that characterized in that means the result of applying part_bits i (j) for all the representative data, the sequence of a similar pattern set of representative data the sequence with g i (j) of g i (j) An apparatus for constructing a pattern recognition model based on emphasized DTW.
SM(j)은 사용자 uj 에 대한 서브 모델들의 집합을, SM은 모든 사용자들을 위한 서브모델들의 합집합을 나타내고,
모델 M은 <G, T, U, SM, d>의 튜플로 정의되고 d는 part_bits의 비트 수로 재구성된 대표 데이터 시컨스들의 길이를 의미하는 것을 특징으로 하는 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 장치.The method of claim 6, wherein the similar set of patterns sG i (j) information required for the secondary DTW pattern recognition on is represented by sub-model sM i (j) and sM i (j) is over the tuples concept <u j, g i (j), sG i ( j), sT i (j), part_bits i (j)> to define, the submodel sM i (j) is a pattern g i (j) of the type of user u j and u j, and part_bits applied to the production of g i (j) similar pattern set sG i (j), 2 sets of representative data, the sequence of the g i (j) used for the primary DTW sT i (j) and, sT i (j) of I < / RTI > i (j)
SM ( j ) denotes a set of sub-models for user u j , SM denotes a union of sub-models for all users,
Model M is defined as a tuple of < G, T, U, SM, d > , and d is the length of representative data sequences reconstructed by the number of bits of part_bits . .
임의의 데이터 시컨스 t가 입력되면 1차 DTW 패턴 인식부에서는
2차 DTW 패턴 인식부에서는 sMi(j)의 part_bitsi(j)를 t에 적용한 결과의 데이터 시컨스와 패턴 재구성부에서 재구성한 대표 데이터 시컨스들의 집합 sTi(j)에 대해
When an arbitrary data sequence t is input, the first DTW pattern recognition unit
2nd DTW pattern recognition unit for the set sT i (j) of the sequence data representing the sequence of data reconstruction in the reconstruction patterns of the results of applying the part_bits i (j) a portion of the t i sM (j)
1차 DTW 패턴 인식 단계에서 인식된 패턴에 대해, 유사 패턴 집합 구성부에서 생성한 유사 패턴 집합들 중 인식된 패턴의 유사 패턴 집합이 존재하는지를 판단하는 유사 패턴 판단 단계;
유사 패턴 집합이 존재하면, 패턴 재구성부에서 차별성을 높이도록 특징이 두드러진 세부구간들로 재구성된 유사 패턴 집합의 대표 데이터 시컨스들과 이와 동일하게 재구성된 t의 데이터 시컨스에 대하여 2차 DTW 패턴인식을 하여 패턴을 결정하는 2차 DTW 패턴 인식 단계;를 포함하고,
상기 특징 강조형 패턴 학습부에서 1차 DTW 패턴 인식을 위한 패턴 학습을 하는 단계와, 위의 패턴 학습 단계에서 잘못 인식한 패턴들을 기반으로 유사 패턴 집합을 구성하는 유사 패턴 집합 구성 단계와, 2차 DTW패턴 인식을 위해 유사 패턴 집합들의 대표 데이터 시컨스들을 유사 패턴 집합 내에서 차별성을 높이도록 특징이 두드러진 세부구간들로 재구성하는 패턴 재구성 단계를 수행하고,
특징 강조형 DTW 기반의 패턴인식을 위한 모델이 사용자들의 집합 U, 패턴들의 집합 G, 모든 대표 데이터 시컨스들의 집합 T를 포함하는 것을 특징으로 하는 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 방법.A first DTW pattern recognition step of performing a pattern recognition by applying a DTW algorithm to data sequences t and representative sequences of patterns learned in the pattern learning unit of the feature enhancement type pattern learning unit when an arbitrary data sequence t is input;
A similar pattern determination step of determining, for a pattern recognized in the first DTW pattern recognition step, whether a similar pattern set of the recognized pattern exists among the similar pattern sets generated by the similar pattern set construction unit;
If a similar pattern set exists, the second DTW pattern recognition is performed on the representative data sequences of the similar pattern set reconstructed as detailed sub-intervals characterized by the characteristic of the pattern re-formation unit and the data sequence of the re- And a second DTW pattern recognition step of determining a pattern,
A step of performing pattern learning for the first DTW pattern recognition in the feature emphasis pattern learning unit; a similar pattern set construction step of forming a similar pattern set based on the patterns erroneously recognized in the pattern learning step; In order to recognize the DTW pattern, a pattern reconstruction step of reconstructing the representative data sequences of the similar pattern sets into the detailed sub-sections characterized in that the differences are enhanced in the similar pattern set,
A method for constructing a feature-emphasizing DTW-based pattern recognition model, wherein a model for feature-based DTW-based pattern recognition includes a set of users U , a set of patterns G , and a set T of all representative data sequences.
사용자 uj에 의한 패턴 gi를 gi(j)로 표현하며 T(j)는 uj에 대한 패턴들의 대표 데이터 시컨스 집합을 나타내고,
패턴 gi(j)의 식별을 위해서는 대표 데이터 시컨스 ti(j)가 사용되며 이들은 학습을 통해 생성하는 것을 특징으로 하는 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 방법.11. The pattern recognition method according to claim 10, wherein in the feature emphasis type DTW-based pattern recognition model used in the feature emphasis pattern learning unit,
A pattern g i by user u j is represented by g i (j), T (j) represents a representative data sequence set of patterns for u j ,
Wherein the representative data sequence t i (j) is used for identification of the pattern g i (j), and these are generated through learning.
사용자들의 집합 U, 패턴들의 집합 G, 모든 대표 데이터 시컨스들의 집합 T를 포함하며, m과 n은 각각 사용자의 수와 패턴의 수를 나타낼 때, U, G, T는 각각
사용자들의 집합 U의 u1, ui, um은 각각 첫 번째 사용자, i번째 사용자, 그리고 m번째 사용자이고, G(i)는 ui에 의한 모든 패턴들의 집합, T(i)는 ui의 패턴들에 대한 모든 대표 데이터 시컨스들의 집합이고, g1(j), g2(j), gn(j)는 각각 G(j)에 속하며 g1(j)는 uj에 의한 패턴 g1를, g2(j)는 uj에 의한 패턴 g2를, gn(j)는 uj에 의한 패턴 gn을 나타내고, t1(j)는 패턴 g1(j)의 식별을 위한 대표 데이터 시컨스, t2(j)는 패턴 g2(j)의 식별을 위한 대표 데이터 시컨스, tn(j)는 패턴 gn(j)의 식별을 위한 대표 데이터 시컨스인 것을 특징으로 하는 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 방법.13. The method according to claim 12, wherein in the model for feature-highlighted DTW-based pattern recognition,
A set of users U, a set of the pattern G, comprising a set T of all the sequence data represents, when m and n represent the number of users and the number of patterns, respectively, U, G, T are each
Of a set U of users u 1, u i, u m is the first user, respectively, and the i-th user, and m-th user, G (i) is the set of all patterns by u i, T (i) is u i is the set of all the representative data the sequence of the patterns of, g 1 (j), g 2 (j), g n (j) is g 1 (j) belonging to G (j) each of the patterns by u j g 1 , g 2 (j) represents a pattern g 2 by u j , g n (j) represents a pattern g n by u j and t 1 (j) represents a pattern g 1 representative data the sequence, t 2 (j) is the representative data the sequence, t n (j) for the identification of a pattern g 2 (j) is characterized in that it characterized in that the representative data, the sequence for the identification of a pattern g n (j) highlighted A method for constructing DTW - based pattern recognition model.
T는 모든 T(j)들의 합집합으로 m명의 사용자들 각각의 n개의 패턴들에 대한 대표 데이터 시컨스들의 집합인 것을 특징으로 하는 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 방법.14. The method of claim 13, m of users belonging to the U are also representative of the user holding the respective differential pattern characteristics, G (j) is the set of n number of patterns according to the user u j, T (j) is G (j ≪ / RTI > represents a set of representative data sequences for each of the patterns of < RTI ID =
T is a set of representative data sequences for n patterns of each of m users in a union of all T (j).
유사 패턴 집합 sGi(j)의 구성시에 임의의 샘플 데이터 시컨스 t의 패턴을 gi(j)로 인식했으나 실제로는 gk(l)인 경우, 즉 gi(j)는 임의의 샘플 데이터 시컨스 t의 잘못 인식된 패턴이고, gk(l)은 임의의 샘플 데이터 시컨스 t의 실제 패턴일 때, gk(l)이 gi(j)의 유사 패턴 집합 sGi(j)에 속하는 것을 특징으로 하는 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 방법.14. The method according to claim 13, wherein the similar pattern aggregation unit analyzes the learning results of the pattern learning unit of the feature enhancement type pattern learning unit, constructs a similar pattern set sG i (j) , which is a set of similar patterns for each pattern,
When the pattern of any sample data sequence t is recognized as g i (j) at the time of constructing the similar pattern set sG i (j) , but actually the case of g k (l), that is, g i (j) and incorrectly recognized patterns in the sequence t, g k (l) is that belonging to a similar set of patterns sG i (j) of the g i (j), g k (l) when any of the actual pattern of the sample data the sequence t A method for constructing a pattern recognition model based on feature highlighted DTW.
여기서, buildSeq( t, part_bitsi(j))는 데이터 시컨스 t를 part_bitsi(j)에서 1로 설정된 부분만을 추출해서 반환하고,
sTi(j)는 gi(j)의 대표 데이터 시컨스와 gi(j)의 유사 패턴 집합에 관한 모든 대표 데이터 시컨스들에 대해 part_bitsi(j)을 적용한 결과를 의미하는 것을 특징으로 하는 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 방법.The method according to claim 15, wherein when any data sequence t is recognized as g i (j), the set of representative data sequences to be applied in the second DTW pattern recognition step is denoted by s T i (j)
Here, buildSeq ( t , part_bits i (j)) extracts the data sequence t by extracting only the part set to 1 in part_bits i (j)
sT i (j) is characterized in that characterized in that means the result of applying part_bits i (j) for all the representative data, the sequence of a similar pattern set of representative data the sequence with g i (j) of g i (j) A method for constructing a pattern recognition model based on emphasized DTW.
SM(j)은 사용자 uj 에 대한 서브 모델들의 집합을, SM은 모든 사용자들을 위한 서브모델들의 합집합을 나타내고,
모델 M은 <G, T, U, SM, d>의 튜플로 정의되고 d는 part_bits의 비트 수로 재구성된 대표 데이터 시컨스들의 길이를 의미하는 것을 특징으로 하는 특징 강조형 DTW 기반의 패턴인식 모델 구축을 위한 방법.The method of claim 15, wherein the similar set of patterns sG i (j) information required for the secondary DTW pattern recognition on is represented by sub-model sM i (j) and sM i (j) is over the tuples concept <u j, g i (j), sG i ( j), sT i (j), part_bits i (j)> to define, the submodel sM i (j) is a pattern g i (j) of the type of user u j and u j, and part_bits applied to the production of g i (j) similar pattern set sG i (j), 2 sets of representative data, the sequence of the g i (j) used for the primary DTW sT i (j) and, sT i (j) of I < / RTI > i (j)
SM ( j ) denotes a set of sub-models for user u j , SM denotes a union of sub-models for all users,
Model M is defined as a tuple of < G, T, U, SM, d > , and d is the length of representative data sequences reconstructed by the number of bits of part_bits . Way.
임의의 데이터 시컨스 t가 입력되면 1차 DTW 패턴 인식 단계에서
2차 DTW 패턴 인식 단계에서는 sMi(j)의 part_bitsi(j)를 t에 적용한 결과의 데이터 시컨스와 패턴 재구성부에서 재구성한 대표 데이터 시컨스들의 집합 sTi(j)에 대해
The method of claim 17, wherein assuming that the function DTW (t 1 , t 2 ) is a function that applies the DTW algorithm for two data sequences t 1 , t 2 and returns the distance cost between two data sequences,
When an arbitrary data sequence t is input, in the first DTW pattern recognition step
2nd DTW pattern recognition step, for the set sT i (j) of the sequence data representing the sequence of data reconstruction in the reconstruction patterns of the results of applying the part_bits i (j) a portion of the t i sM (j)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170092791A KR101959522B1 (en) | 2017-07-21 | 2017-07-21 | System and Method for Building Feature strengthened DTW based Pattern Recognition Model |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170092791A KR101959522B1 (en) | 2017-07-21 | 2017-07-21 | System and Method for Building Feature strengthened DTW based Pattern Recognition Model |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190010254A KR20190010254A (en) | 2019-01-30 |
| KR101959522B1 true KR101959522B1 (en) | 2019-03-18 |
Family
ID=65277200
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170092791A KR101959522B1 (en) | 2017-07-21 | 2017-07-21 | System and Method for Building Feature strengthened DTW based Pattern Recognition Model |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101959522B1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101299031B1 (en) | 2011-12-02 | 2013-09-16 | 재단법인대구경북과학기술원 | Handgesture recongnition apparatus and method for thereof |
| KR101511146B1 (en) | 2014-07-29 | 2015-04-17 | 연세대학교 산학협력단 | Smart 3d gesture recognition apparatus and method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030032499A (en) | 2001-10-18 | 2003-04-26 | 한국전자통신연구원 | A method for matching subsequence based on time-warping in sequence databases |
| EP2277098B1 (en) * | 2008-03-26 | 2014-10-01 | Microchip Technology Germany II GmbH & Co. KG | System and method for the multidimensional evaluation of gestures |
| KR20130056170A (en) * | 2011-11-21 | 2013-05-29 | 고려대학교 산학협력단 | Real-time detection method of human abnormality using motion sequence and apparatus thereof |
| KR101440441B1 (en) * | 2012-11-30 | 2014-09-17 | 경북대학교 산학협력단 | Gesture recongnition apparatus and method for thereof |
| KR101551122B1 (en) | 2014-09-26 | 2015-09-08 | 중앙대학교 산학협력단 | Pattern recognition method and apparatus within Terminal |
-
2017
- 2017-07-21 KR KR1020170092791A patent/KR101959522B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101299031B1 (en) | 2011-12-02 | 2013-09-16 | 재단법인대구경북과학기술원 | Handgesture recongnition apparatus and method for thereof |
| KR101511146B1 (en) | 2014-07-29 | 2015-04-17 | 연세대학교 산학협력단 | Smart 3d gesture recognition apparatus and method |
Non-Patent Citations (3)
| Title |
|---|
| J. Liu, 외 2명, "uWave: Accelerometer-based personalized gesture recognition and its applications", IEEE International Conference on Pervasive Computing and Communications 2009, pp. 1-9, 2009.03.09.* |
| 권혁태 외 1명, "Dynamic Time Warping 기반의 특징 강조형 제스처 인식 모델", 정보처리학회논문지, 소프트웨어 및 데이터 공학, 제4권, 제3호, pp. 143-150, 2015.03.* |
| 최봉환 외 2명, "모바일 사용자를 위한 3차원 가속도기반 제스처 인터페이스", 2009 한국HCI학회 학술대회 논문지, pp. 378-383, 2009.02. |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190010254A (en) | 2019-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109409222B (en) | Multi-view facial expression recognition method based on mobile terminal | |
| Li et al. | Deep Fisher discriminant learning for mobile hand gesture recognition | |
| JP5929896B2 (en) | Image recognition system, image recognition method, and image recognition program | |
| EP3215981B1 (en) | Nonparametric model for detection of spatially diverse temporal patterns | |
| Jain et al. | Gender recognition in smartphones using touchscreen gestures | |
| Ruan et al. | Dynamic gesture recognition based on improved DTW algorithm | |
| KR102111858B1 (en) | Method and system for authenticating stroke-based handwritten signature using machine learning | |
| CN114840834B (en) | Implicit identity authentication method based on gait characteristics | |
| Batista et al. | Improving performance of HMM-based off-line signature verification systems through a multi-hypothesis approach | |
| Yang et al. | Combination of manual and non-manual features for sign language recognition based on conditional random field and active appearance model | |
| Kim et al. | Teeth recognition based on multiple attempts in mobile device | |
| CN102411712A (en) | Handwriting-based method for identity identification and terminal thereof | |
| JP2007280219A (en) | Motion pattern recognition device, motion pattern recognition method, and motion pattern recognition program | |
| CN118537908A (en) | Multi-mode multi-granularity feature fusion expression package emotion recognition method based on large model | |
| CN115349142A (en) | Image processing apparatus, image processing method, and computer-readable storage medium | |
| CN110298159B (en) | Smart phone dynamic gesture identity authentication method | |
| CN117133277A (en) | Virtual character expression control method and system for man-machine interaction | |
| KR101959522B1 (en) | System and Method for Building Feature strengthened DTW based Pattern Recognition Model | |
| Hamdy Ali et al. | A comparative study of user dependent and independent accelerometer-based gesture recognition algorithms | |
| JP2005165447A (en) | Age/sex discrimination device, age/sex discrimination method and person recognition device | |
| US11847401B2 (en) | Method and apparatus for recognizing handwriting inputs in multiple-user environment | |
| JP2007179413A (en) | Pattern recognition device, pattern recognition method, and method for generating characteristic extraction parameter | |
| KR101567686B1 (en) | authentication method and authentication device using the same | |
| JP2015052994A (en) | Feature selection device, learning device, method, and program | |
| JP4852086B2 (en) | Pattern recognition device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |