KR102440385B1 - 멀티 인식모델의 결합에 의한 행동패턴 인식방법 및 장치 - Google Patents

멀티 인식모델의 결합에 의한 행동패턴 인식방법 및 장치 Download PDF

Info

Publication number
KR102440385B1
KR102440385B1 KR1020170160027A KR20170160027A KR102440385B1 KR 102440385 B1 KR102440385 B1 KR 102440385B1 KR 1020170160027 A KR1020170160027 A KR 1020170160027A KR 20170160027 A KR20170160027 A KR 20170160027A KR 102440385 B1 KR102440385 B1 KR 102440385B1
Authority
KR
South Korea
Prior art keywords
recognition
behavior pattern
data
learning
recognition model
Prior art date
Application number
KR1020170160027A
Other languages
English (en)
Other versions
KR20190061538A (ko
Inventor
이찬수
김진철
김민현
송덕원
서한얼
Original Assignee
영남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 영남대학교 산학협력단 filed Critical 영남대학교 산학협력단
Priority to KR1020170160027A priority Critical patent/KR102440385B1/ko
Publication of KR20190061538A publication Critical patent/KR20190061538A/ko
Application granted granted Critical
Publication of KR102440385B1 publication Critical patent/KR102440385B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

인간의 행동 패턴을 인식하는 멀티 인식 모델의 결합에 의한 행동패턴 인식장치에서 행동패턴을 인식하는 방법은, RGB-D 카메라 센서로부터 입력된 각 행동패턴에 대하여 Skeleton 데이터를 포함하는 학습용 영상데이터를 인식모델이 각 행동패턴의 특징을 인식할 수 있는 학습용 처리데이터로 가공하는 단계; 상기 학습용 처리데이터를 상기 LSTM 기반 DNN 인식모델 및 SVM 인식모델을 통하여 학습하여 각 학습된 값이 행동패턴별로 상기 LSTM 기반 DNN 인식모델 데이터베이스 및 SVM 인식모델 데이터 베이스에 저장되는 단계; 상기 RGB-D 카메라 센서로부터 입력된 인식용 행동패턴에 대하여 Skeleton 데이터를 포함하는 인식용 영상데이터를 인식모델이 각 행동패턴의 특징을 인식할 수 있는 인식용 입력처리데이터로 가공하는 단계; 상기 인식용 입력처리데이터를 상기 LSTM 기반 DNN 인식모델 및 SVM 인식모델을 통하여 각각 분석하여, SVM 확률 값 및 LSTM 확률 값을 산출하는 단계; 상기 LSTM 확률 값에 제1 가중치를 곱한 값과 상기 SVM 확률 값에 제2 가중치를 곱한 값을 합한 Weighted Sum 연산을 수행하고, 가장 큰 값을 가지는 행동 클래스를 인식용 영상에 대한 행동 클래스 패턴으로 선택하여 인식을 수행하는 단계; 를 포함하는 것을 특징으로 하는 행동패턴 인식방법이 제공된다.

Description

멀티 인식모델의 결합에 의한 행동패턴 인식방법 및 장치{Method and apparatus of recognizing motion pattern base on combination of multi-model}
본 발명은 멀티 행동인식 모델의 결합에 의한 행동패턴 인식방법 및 장치에 관한 기술이다.
지난 몇 년 동안, 인간 행동 패턴 인식을 위한 많은 솔루션이 제안되었는데, 그 중 일부는 시공간 깊이를 평가하는 깊이 데이터에서 특징을 추출하는 방법이 사용되었다. 이는 기하와 로컬 모션 정보를 포함하는 표면 법선의 그룹이 깊이 시퀀스에서 추출되며, 그 다음에, 이 데이터들이 모여서 슈퍼 표준 벡터 (Super Normal Vector: SNV)라고 불리는 깊이 맵의 최종 표현을 구성하게 된다.
이 표현은 골격 궤도를 포함할 수 있기 때문에 인간의 행동에 따른 깊이 프레임 시퀀스에서 인식 결과를 향상시킬 수 있었다.
2010년 마이크로소프트가 키넥트(Kinect)라는 저가의 3차원 카메라가 장착된 XBox 360게임 플랫폼을 출시한 이후, 삼차원 카메라에서 획득된 3D 영상으로부터 인체의 자세를 추정하고 행동을 인식하려는 연구가 활발하게 진행되어 왔다.
Xbox 360용 키넥트는 사람의 48개 관절 움직임을 1초에 30번씩 읽어들일 수 있다. 카메라 모듈이 장착되어 모션 캡처로 플레이어의 동작을 인식하게 된다.
Microsoft Kinect 장치와 같은 깊이 센서를 사용하면 환경 광 변화의 영향을 받지 않고 신체 모양을 제공하고 문제를 단순화하기 때문에 이를 활용한 인식 시스템을 설계할 수 있다.
선행된 논문(A Human Activity Recognition System Using Skeleton Data from RGBD Sensors)에서는 골격을 이용한 인간 행동 인식 알고리즘을 SVM(Support Vector Machine) 분류모델을 적용하여 모션 패턴을 추출하는 방법에 대하여 소개된 바 있다.
대한민국 공개특허공보 KR 2015-0039252 A(행동 인식 기반의 응용 서비스 제공 장치 및 그 방법)
Hindawi Publishing Corporation Computational Intelligence and Neuroscience Volume 2016, Enea Cippitelli, Samuele Gasparrini, Ennio Gambi, and Susanna Spinsante 「A Human Activity Recognition System Using Skeleton Data from RGBD Sensors」
본 발명은 RGB-D 카메라 센서를 통해 출력되는 데이터를 서로 다른 분류모델을 결합하여 인간의 행동 패턴에 대한 인식률을 향상시킬 수 있는 멀티 인식 모델의 결합에 의한 행동패턴 인식방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 또 다른 목적은 RGB-D 카메라 센서를 통해 출력되는 데이터를 SVM과 LSTM 기반 DNN 분류 인식모델을 각각 적용하고 이를 결합하여 인식률을 향상시킬 수 있는 멀티 인식 모델의 결합에 의한 행동패턴 인식방법 및 장치를 제공하는 것이다.
본 발명의 일 측면에 따르면, 인간의 행동 패턴을 인식하는 멀티 인식 모델의 결합에 의한 행동패턴 인식장치에서 행동패턴을 인식하는 방법은, RGB-D 카메라 센서로부터 입력된 각 행동패턴에 대하여 Skeleton 데이터를 포함하는 학습용 영상데이터를 인식모델이 각 행동패턴의 특징을 인식할 수 있는 학습용 처리데이터로 가공하는 단계; 상기 학습용 처리데이터를 상기 LSTM 기반 DNN 인식모델 및 SVM 인식모델을 통하여 학습하여 각 학습된 값이 행동패턴별로 상기 LSTM 기반 DNN 인식모델 데이터베이스 및 SVM 인식모델 데이터 베이스에 저장되는 단계; 상기 RGB-D 카메라 센서로부터 입력된 인식용 행동패턴에 대하여 Skeleton 데이터를 포함하는 인식용 영상데이터를 인식모델이 각 행동패턴의 특징을 인식할 수 있는 인식용 입력처리데이터로 가공하는 단계; 상기 인식용 입력처리데이터를 상기 LSTM 기반 DNN 인식모델 및 SVM 인식모델을 통하여 각각 분석하여, SVM 확률 값 및 LSTM 확률 값을 산출하는 단계; 상기 LSTM 확률 값에 제1 가중치를 곱한 값과 상기 SVM 확률 값에 제2 가중치를 곱한 값을 합한 Weighted Sum 연산을 수행하고, 가장 큰 값을 가지는 행동 클래스를 인식용 영상에 대한 행동 클래스 패턴으로 선택하여 인식을 수행하는 단계; 를 포함하는 것을 특징으로 하는 행동패턴 인식방법이 제공된다.
본 발명의 일 실시 예에 따른 멀티 인식 모델의 결합에 의한 행동패턴 인식장치는 서로 다른 특징을 학습하는 두 인식모델을 결합하여 인식을 수행함으로써, 각각을 사용하여 인식하는 종래 기술에 비하여 다양한 행동패턴에 대하여 높은 인식률로 인식을 수행할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 인간의 행동 패턴을 인식하는 멀티 인식 모델의 결합에 의한 행동패턴 인식장치의 블록도를 도시한 것이다.
도 2는 본 발명의 일 실시 예에 따른 하나의 행동패턴에 대한 학습용 영상 데이터 획득 하는 과정을 도시한 것이다.
도 3은 본 발명의 일 실시 예에 따라 획득된 Skeleton 데이터 신호의 예를 나타낸 것이다.
도 4는 본 발명의 일 실시 예에 따른 Skeleton 데이터 신호를 X, Y 좌표로 도시한 것이다.
도 5는 본 발명의 일 실시 예에 따라 Joint Angle 각()을 산출하는 예를 도시한 것이다.
도 6은 본 발명의 일 실시 예에 따른 멀티 인식모델의 결합에 의한 행동패턴 인식장치(1)에서 학습에 사용된 각 행동 패턴의 예를 도시한 것이다.
도 7은 본 발명의 일 실시 예에 따른 행동 인식부에서 인식용 입력 처리데이터가 입력되어 행동패턴을 인식하는 방법을 도시한 것이다.
도 8은 본 발명의 일 실시 예에 따라 인식용 입력처리 데이터를 SVM 인식모듈로 분석하여, SVM 인식모델 데이터베이스(32)로부터, 전체 행동 클래스 패턴에 대한 SVM 확률 값을 산출한 결과를 나타낸 것이다.
도 9는 본 발명의 일 실시 예에 따라 인식용 입력처리 데이터를 LSTM 기반 DNN 인식모델로 분석하고, LSTM 기반 DNN 인식모델 데이터베이스(31)로부터 전체 행동 클래스 패턴에 대한 LSTM 확률 값을 산출한 결과를 나타낸 것이다.
도 10은, 본 발명의 일 실시 예에 따라 인식용 입력처리 데이터를 SVM 인식모델 및 LSTM 기반 DNN 인식모델로부터 분석하여, SVM 인식모델 데이터베이스와 LSTM 기반 DNN 인식모델 데이터베이스로부터 추출된 각각의 확률 값을 Weighted Sum 연산을 수행해 최종 확률 값을 산출한 결과를 나타낸 것이다.
도 11은 본 발명의 또 다른 행동 패턴에 대한 인식용 입력처리 데이터를 SVM 인식모듈로 분석하여, SVM 인식모델 데이터베이스(32)로부터, 전체 행동 클래스 패턴에 대한 SVM 확률 값을 산출한 결과를 나타낸 것이다.
도 12는 본 발명의 또 다른 행동 패턴에 대한 인식용 입력처리 데이터를 LSTM 기반 DNN 인식모델로 분석하고, LSTM 기반 DNN 인식모델 데이터베이스(31)로부터 전체 행동 클래스 패턴에 대한 LSTM 확률 값을 산출한 결과를 나타낸 것이다.
도 13은 본 발명의 또 다른 행동 패턴에 대한 인식용 입력처리 데이터를 SVM 인식모델 데이터베이스와 LSTM 기반 DNN 인식모델로 분석하고, 학습된 SVM 인식모델 데이터베이스와 LSTM 기반 DNN 인식모델 데이터베이스로부터 추출된 각각의 확률 값을 Weighted Sum 연산을 수행해 최종 확률 값을 산출한 결과를 나타낸 것이다.
도 14는 본 발명의 일 실시 예에 따른 23개 행동패턴에 대한 인식률을 나타낸 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 본 발명의 구현에 따른 멀티 인식 모델의 결합에 의한 행동패턴 인식방법 및 장치에 대하여 상세하게 설명한다.
도 1은 본 발명의 일 실시 예에 따른 인간의 행동 패턴을 인식하는 멀티 인식 모델의 결합에 의한 행동패턴 인식장치의 블록도를 도시한 것이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 멀티 인식모델의 결합에 의한 행동패턴 인식장치(1)는 학습용 영상획득부(10), 인식용 영상획득부(20), 행동 패턴 데이터 학습부(30) 및 행동패턴 인식부(50)를 포함한다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 멀티 인식모델의 결합에 의한 행동패턴 인식장치(1)는 학습용 영상획득부(10)에서 취득하여 제1, 2 인식모델에서 행동패턴의 특징을 인식할 수 있는 학습용 처리 데이터로 가공한 후, 상기 각 행동패턴별 학습용 처리데이터는 제1 인식모델 및 제2 인식모델에서 제1, 2 인식데이터별 특징으로 분석하여 학습을 거친 후, 각 학습된 값인 제1, 2 인식모델 학습용 행동패턴 데이터는 행동패턴 학습부(30)의 제1, 2 인식모델 행동패턴 데이터베이스(31, 32)에 각각 저장된다.
본 발명의 일 실시 예서는 따른 제1 인식모델은 LSTM(Long short-term memory) 기반 DNN(Deep Neural Network) 분석모델(이하 본 명세서에서는 'LSTM 기반 DNN 인식모델'로 정의한다.)을 적용하며, 제2 인식모델은 SVM(Support Vector Machine) 분석모델(이하 본 명세서에서는 'SVM 인식모델'로 정의한다.)을 적용하여 행동패턴에 대한 학습을 수행하게 된다.
그리고 인식용 영상획득부(20)에서 입력하여 가공된 인식용 입력처리 데이터는 행동패턴 인식부(50)에서 상기 제1 인식모델 행동패턴 데이터베이스(31) 및 제2 인식모델 행동패턴 데이터베이스의 검색을 통하여 전체 행동 클래스 패턴에 대한 확률 값을 산출하고, 각각의 확률 값에 가중치를 연산한 값으로 결합한 Weighted Sum 연산을 수행한 후, 가장 큰 값을 가지는 행동 클래스 패턴을 선택함으로써 입력된 영상에 대하여 행동인식을 수행하게 된다.
다음은, 본 발명의 일 실시 예에 따른 멀티 인식모델의 결합에 의한 행동패턴 인식장치(1)에서 행동패턴을 인식하는 방법에 대하여 자세히 설명한다.
먼저, 본 발명의 일 실시 예에 따른 멀티 인식모델의 결합에 의한 행동패턴 인식장치(1)에서 학습에 의해 제1, 2 행동패턴모델 데이터베이스(31, 32)를 구축하는 과정은 다음과 같다.
학습용 영상획득부(10)에서는 학습용 영상 데이터 획득 단계(101), 전처리단계(102), 정규화 단계(103))와 joint angle 산출단계(113)를 거쳐서 가공된 각 행동패턴별 학습용 처리데이터를 형성한다.
상기 가공된 각 행동패턴별 학습용 처리데이터는 제1 인식모델을 이용한 행동패턴 데이터 학습단계 및 제2 인식모델을 이용한 행동패턴 데이터 학습단계를 거쳐서 행동패턴 학습부(30)의 제1 인식모델 행동패턴 데이터베이스(31)에 제1 인식모델에 의한 학습데이터를 구축하고, 제2 인식모델 행동패턴 데이터베이스(32)에 제2 인식모델에 의한 학습데이터를 구축하는 단계가 수행된다.
도 2는 본 발명의 일 실시 예에 따른 하나의 행동패턴에 대한 학습용 영상 데이터 획득 하는 과정을 도시한 것이다.
도 2를 참조하면, 학습용 영상 데이터 획득 단계(101)에서는 각 행동패턴에 대하여 RGB-D 카메라 센서를 통해 출력되는 Color, Depth 영상 및 학습용 Skeleton 데이터를 획득한다.
또는, 학습용 영상 데이터 획득 단계(101)에서는 각 행동패턴에 대하여 RGB-D 카메라 센서를 통해 출력되는 학습용 Skeleton 데이터를 획득한다.
도 3은 본 발명의 일 실시 예에 따라 획득된 Skeleton 데이터 신호의 예를 나타낸 것이다.
도 4는 본 발명의 일 실시 예에 따른 Skeleton 데이터 신호를 X, Y 좌표로 도시한 것이다.
도 3, 4를 참조하면, 본 발명의 일 실시 예에 따라 획득되는 Skeleton 데이터는 Color 및 Depth 영상에 각각 대응되는 25개의 좌표와 적외선 입력에 대응되는 3D 좌표에 대한 신호데이터인 것을 특징으로 한다.
본 발명의 일 실시 예에서는 Color 영상의 좌표에 대응되는 Skeleton 데이터를 이용하여 학습하는 예를 설명하고 있으나, 또 다른 실시 예에서는 이와 동일한 방법을 이용하여 Skeleton 데이터 대신 Depth 3D 좌표를 사용하여 행동 패턴에 대한 데이터를 학습한 방법으로 대치될 수 있다.
다음은, 획득된 영상데이터에 대한 전처리 단계(102)가 수행된다.
전처리 단계(102)에서는 입력된 영상 데이터에 대한 이상 유무를 판단하고 이상이 있을 경우에는 입력된 영상 데이터를 삭제를 하고 다시 학습용 영상 데이터 획득 단계(101)로 복귀한다.
본 발명의 일 실시 예에서는 Skeleton 데이터가 없을 경우, 데이터 배열이 비거나, 잘못 온 경우(저장 값이 없을 때), 뼈의 형상에 대한 X, Y 좌표 값이 신체의 이미지의 범위를 벗어난 경우 등에 대하여 이상으로 판단한다.
전처리 단계(102) 이후에는 입력된 학습용 영상 데이터에 대하여 기준 좌표에 맞추어 일정 규격으로 정규화 좌표를 산출하는 정규화 단계(103)와 학습용 영상 데이터를 각 관절 구조의 특징을 나타낼 수 있는 복수의 각도 값으로 산출하는 joint angle 산출단계(113)가 수행된다.
도 4를 참조하면, 먼저 정규화 단계(103)에서는 다음과 같이 각 좌표와 중심좌표와의 거리(d)를 산출한 후, 각 좌표를 중심좌표와의 거리(d)로 나누어서 각 Skeleton 좌표에 대한 스켈링(scaling)된 좌표를 산출한다.
Figure 112017118282587-pat00001
다음은 수학식 2와 같이 상기 스케일 좌표에서 상기 중심좌표와의 차이를 산출하여 정규화된 좌표를 각각 산출한다.
Figure 112017118282587-pat00002
여기서
Figure 112017118282587-pat00003
Figure 112017118282587-pat00004
: i번째 Skeleton 좌표,
Figure 112017118282587-pat00005
Figure 112017118282587-pat00006
: Scaling 된 i번째 Skeleton 좌표.
Figure 112017118282587-pat00007
Figure 112017118282587-pat00008
: 정규화된 i번째 Skeleton 좌표를 의미한다.
또한, 입력된 학습용 영상 데이터에 대하여 joint angle 산출단계(113)는 다음과 같다.
본 발명의 일 실시 예에 따른 joint angle 산출단계(113)에서는 입력된 학습용 영상데이터의 구조적 특징이 포함될 수 있도록 3점의 좌표로 이루어진 다수의 Joint Angle 각을 산출한다.
본 발명의 일 실시 예에 따른 Joint Angle 각은 25개 좌표에 대하여 최소 5개 이상에서 25개까지 산출하는 것을 특징으로 한다.
본 발명에 대한 다양한 실험결과 Joint Angle 각을 5개 미만으로 산출한 경우에는 인식률이 평균보다 저하되는 것으로 분석되었으며, Joint Angle 각이 7개를 초과하여 산출한 결과 인식률이 더 이상 상승되지 않고 동일한 것으로 분석되었다.
따라서, 다양한 실험결과 본 발명의 일 실시 예에서는 25개의 Skeleton 좌표에서 인접한 3개의 좌표로 조합하여 각각 7개의 Joint Angle 각을 산출하는 것이 가장 효율적인 것으로 분석된다.
도 4를 참조하면, 본 발명의 바람직한 실시 예에서 Joint Angle 각(θ)이 산출되는 Skeleton 좌표는 다음과 같이 7개군으로 설정된다.
{(9,10, 1), (5, 6, 1), (21, 4, 2), (6, 7, 5), (10, 11, 9), (14, 13, 15), (18, 17, 19)}
도 5는 본 발명의 일 실시 예에 따라 Joint Angle 각(θ)을 산출하는 예를 도시한 것이다.
도 5를 참조하면, P1, P2, P3 좌표에 대한 Joint Angle 각(θ)은 다음 수학식 3과 같이 산출된다.
Figure 112017118282587-pat00009
다음은 상기 정규화 단계(103)에서 산출된 각 정규화 좌표와 상기 joint angle 산출단계(113)에서 산출된 Joint Angle 각()을 결합하여 각 행동패턴별 학습용 처리데이터를 형성하는 단계(105)가 수행된다.
본 발명의 일 실시 예에 따른 각 행동패턴별 학습용 처리데이터는 다음과 같은 인식패턴의 특징 백터로서 형성된다.
행동패턴별 학습용 처리데이터
Figure 112017118282587-pat00010
Figure 112017118282587-pat00011
여기서 P: 정규화된 Skeleton 좌표를 의미하고, θ: 7개의 Joint Angle각(θ=θ1, θ2, … , θ7)을 의미한다.
다음은, 행동 학습부(30)에서 상기 각 행동패턴별 학습용 처리데이터에 대하여 각각 다른 인식모델에 따라 행동패턴에 대한 학습데이터를 구축하는 단계가 수행된다.
본 발명의 일 실시 예에서, 제1 인식모델은 LSTM 기반 DNN 인식모델 인식모델을 적용하며, 제2 인식모델은 SVM 인식모델을 적용하여 행동패턴에 대한 학습을 수행하는 것을 특징으로 한다.
도 6은 본 발명의 일 실시 예에 따른 멀티 인식모델의 결합에 의한 행동패턴 인식장치(1)에서 학습에 사용된 각 행동 패턴의 예를 도시한 것이다.
본 발명의 일 실시 예에서는 23개의 행동 클래스 패턴에 대해 각 이미지에 대응되는 Skeleton 좌표를 사용하여 정규화 및 Joint Angle 산출 과정을 거쳐 특징벡터를 추출한 다음, LSTM 기반 DNN 인식모델과 SVM 인식모델을 적용하여 행동패턴에 대한 학습을 수행하여 각각 LSTM 기반 DNN 인식모델 데이터베이스(31) 및 SVM 인식모델 데이터 베이스(32)에 저장된다.
본 발명의 일 실시 예에 따른 멀티 인식모델의 결합에 의한 행동패턴 인식장치(1)에서 학습에 의해 구축된 제1, 2 모델 행동패턴 데이터베이스(31, 32)에 의해 행동패턴을 인식하는 방법은 다음과 같다.
도 1을 참조하면, 인식용 영상획득부(20)에서는 학습용 영상획득부(10)에서 각 행동패턴별 학습용 처리데이터를 형성하는 방법과 동일한 방법으로, 인식용 영상 데이터 획득 단계(121), 전처리 단계(122), 인식용 데이터의 정규화 단계(103)와 인식용 데이터의 joint angle 산출단계(133)를 거쳐서 가공된 인식용 입력처리데이터를 형성한다.
즉, 인식용 영상의 전처리 단계(122), 인식용 데이터의 정규화 단계(103)와 인식용 데이터의 joint angle 산출단계(133)는, 각각 학습용 데이터의 전처리 단계(102), 학습용 데이터의 정규화 단계(103), 학습용 데이터의 joint angle 산출단계(113)와 동일한 방법에 의하여 산출된 인식용 데이터의 정규화된 좌표와 인식용 데이터의 joint Angle각(θ)을 결합하여 인식용 입력 처리데이터를 형성하는 단계(125)가 수행된다.
이를 다시 설명하면, RGB-D 카메라 센서로부터 각 행동패턴에 대하여 인식용 Skeleton 데이터가 입력되는 인식용 영상 데이터 획득 단계(121); 상기 획득된 인식용 영상 데이터에 대한 이상 유무를 판단하고 이상이 있을 경우에는 입력된 영상 데이터를 삭제를 하고 다시 학습용 영상 데이터 획득 단계로 복귀시키는 전처리 단계(122); 상기 전처리 단계(122)를 거친 인식용 영상 데이터를 기준 좌표에 맞추어 일정 규격으로 정규화 좌표를 산출하는 정규화 단계(123); 상기 전처리 단계(122)를 거친 인식용 영상 데이터를 각 관절 구조의 특징을 나타낼 수 있는 복수의 각도 값으로 산출하는 joint angle각(θ) 산출단계(133); 및 상기 정규화 좌표와 상기 joint angle각(θ) 을 결합하여 인식용 입력처리데이터를 형성하는 단계; 를 거쳐서 인식용 입력처리 데이터를 형성한다.
도 7은 본 발명의 일 실시 예에 따른 행동 인식부에서 인식용 입력 처리데이터가 입력되어 행동패턴을 인식하는 방법을 도시한 것이다.
도 7을 참조하면, 인식용 입력 처리데이터가 행동 인식부(50)에 입력되어 행동을 인식하는 방법은 다음과 같다.
전술한 가공된 인식용 입력데이터(501)에 대하여 LSTM 기반 DNN 인식모델(521)을 통하여 분석하여 상기 LSTM 기반 DNN 인식모델 데이터베이스(31)로부터 학습된 전체 행동 클래스 패턴에 대한 각각의 확률 값인 LSTM 확률 값(522)을 산출한다.
또한, 전술한 가공된 인식용 입력데이터(501)에 대하여 SVM 인식모델(511)을 통하여 분석하여, 상기 SVM 인식모델 데이터베이스(32)로부터 학습된 전체 행동 클래스 패턴에 대한 각각의 확률 값인 SVM 확률 값(512)을 산출한다.
다음은 수학식 4와 같이 LSTM 확률 값(522)에 제1 가중치를 곱한 값과 SVM 확률 값(512)에 제2 가중치를 곱한 값을 합한 Weighted Sum 연산을 수행(523)하고, 가장 큰 값을 가지는 행동 클래스를 인식용 영상에 대한 행동 클래스 패턴으로 선택하여 인식을 수행하는 단계(550)가 수행된다.
Figure 112017118282587-pat00012
여기서,
Figure 112017118282587-pat00013
는 Weighted Sum 연산결과 값,
Figure 112017118282587-pat00014
는 SVM 확률 값,
Figure 112017118282587-pat00015
는 LSTM 확률 값, SVM 확률 값과 LSTM 기반 DNN 확률 값에 곱해지는 가중치는 각각 WSVM, WLSTM 이다.
본 발명의 일 실시 예에 따르면, DVM 인식모델로부터 추출된 확률 값과 LSTM 기반 DNN 인식모델로부터 추출된 확률 값에 곱해지는 가중치를 각각 WSVM, WLSTM 이라고 하면, 두 값의 합이 1이고 각각 0~1 사이의 값을 가지는 것을 특징으로 한다.
상기 가중치 WSVM, WLSTM는 인식 결과 값으로부터 각 수치를 대입하여 역산한 실험값에 의하여 산출되며, SVM 인식모델과 LSTM 기반 DNN 인식모델이 인식 결과에 기여하는 기여도의 범위에 따라 가변될 수 있다.
본 발명의 일 실시 예에서는 인식 결과 값에 대한 반복적인 대입으로 실험결과 WSVM은 0.65 값으로 하였을 경우, WLSTM은 0.35의 값으로 하는 것이 최상의 인식률을 나타낼 수 있는 최적의 가중치 값으로 분석되었다.
도 8은 본 발명의 일 실시 예에 따라 인식용 입력처리 데이터를 SVM 인식모듈로 분석하여, SVM 인식모델 데이터베이스(32)로부터, 전체 행동 클래스 패턴에 대한 SVM 확률 값을 산출한 결과를 나타낸 것이다.
도 8을 참조하면, SVM 인식모델에 의한 인식률은 91.87로 나타낸다.
도 9는 본 발명의 일 실시 예에 따라 인식용 입력처리 데이터를 LSTM 기반 DNN 인식모델로 분석하고, LSTM 기반 DNN 인식모델 데이터베이스(31)로부터 전체 행동 클래스 패턴에 대한 LSTM 확률 값을 산출한 결과를 나타낸 것이다.
도 9를 참조하면, LSTM 기반 DNN 인식모델에 의한 인식률은 90.22로 나타낸다.
각 인식모델에 대한 인식률은 클래스 패턴에 따라 달라질 수 있으며, 일반적으로 SVM 인식모델이 LSTM 기반 DNN 인식모델보다 높은 것으로 나타내고 있으나, LSTM 기반 DNN 인식모델이 SVM 인식모델보다 높은 경우도 발생된다.
도 10은, 본 발명의 일 실시 예에 따라 인식용 입력처리 데이터를 SVM 인식모델 및 LSTM 기반 DNN 인식모델로부터 분석하여, SVM 인식모델 데이터베이스와 LSTM 기반 DNN 인식모델 데이터베이스로부터 추출된 각각의 확률 값을 Weighted Sum 연산을 수행해 최종 확률 값을 산출한 결과를 나타낸 것이다.
도 8 내지 10은 도 3, 4에 의한 행동 패턴에 대하여 산출한 최종 확률 값으로부터 22번 행동패턴으로 인식되는 것을 알 수 있다.
도 11은 본 발명의 또 다른 행동 패턴에 대한 인식용 입력처리 데이터를 SVM 인식모듈로 분석하여, SVM 인식모델 데이터베이스(32)로부터, 전체 행동 클래스 패턴에 대한 SVM 확률 값을 산출한 결과를 나타낸 것이다.
도 12는 본 발명의 또 다른 행동 패턴에 대한 인식용 입력처리 데이터를 LSTM 기반 DNN 인식모델로 분석하고, LSTM 기반 DNN 인식모델 데이터베이스(31)로부터 전체 행동 클래스 패턴에 대한 LSTM 확률 값을 산출한 결과를 나타낸 것이다.
도 13은 본 발명의 또 다른 행동 패턴에 대한 인식용 입력처리 데이터를 SVM 인식모델 데이터베이스와 LSTM 기반 DNN 인식모델로 분석하고, 학습된 SVM 인식모델 데이터베이스와 LSTM 기반 DNN 인식모델 데이터베이스로부터 추출된 각각의 확률 값을 Weighted Sum 연산을 수행해 최종 확률 값을 산출한 결과를 나타낸 것이다.
도 11 내지 13을 참조하면, 또 다른 행동 패턴에 대하여 인식한 최종 확률 값으로부터 10번 행동패턴으로 인식되는 것을 알 수 있다.
도 14는 본 발명의 일 실시 예에 따른 23개 행동패턴에 대한 인식률을 나타낸 것이다.
도 14를 참조하면, SVM 인식모델에서 학습한 결과와 LSTM 기반 DNN 인식모델에서 분석한 결과를 결합하여 인식한 결과 23개 행동패턴에 대하여 정확하게 인식할 수 있는 것을 알 수 있다.
본 발명의 일 실시 예에 따른 SVM 인식모델은 입력 데이터의 구조적인 특징을 효과적으로 표현할 수 있으며, LSTM 기반 DNN 인식모델은 데이터 인덱스 간의 관계를 학습함으로써 데이터의 흐름을 효과적으로 표현할 수 있는 특징이 있다.
따라서, 본 발명의 일 실시 예에 멀티 인식 모델의 결합에 의한 행동패턴 인식장치는 서로 다른 특징을 학습하는 두 인식모델을 결합하여 인식을 수행함으로써, 각각을 사용하여 인식하는 종래 기술에 비하여 다양한 행동패턴에 대하여 높은 인식률로 인식을 수행할 수 있다.
1: 멀티 인식모델의 결합에 의한 행동패턴 인식장치
10: 학습용 영상획득부
20: 인식용 영상획득부
30: 행동 패턴 데이터 학습부
31: 제1 인식모델 행동패턴 데이터베이스
32: 제2 인식모델 행동패턴 데이터베이스
50: 행동패턴 인식부
55: 데이터베이스

Claims (3)

  1. 인간의 행동 패턴을 인식하는 멀티 인식 모델의 결합에 의한 행동패턴 인식장치에서 행동패턴을 인식하는 방법에 있어서,
    상기 행동패턴을 인식하는 방법은,
    RGB-D 카메라 센서로부터 입력된 각 행동패턴에 대하여 Skeleton 데이터를 포함하는 학습용 영상데이터를 인식모델이 각 행동패턴의 특징을 인식할 수 있는 학습용 처리데이터로 가공하는 단계;
    상기 학습용 처리데이터를 LSTM 기반 DNN 인식모델 및 SVM 인식모델을 통하여 학습하여 각 학습된 값이 행동패턴 별로 LSTM 기반 DNN 인식모델 데이터베이스 및 SVM 인식모델 데이터 베이스에 저장되는 단계;
    상기 RGB-D 카메라 센서로부터 입력된 인식용 행동패턴에 대하여 Skeleton 데이터를 포함하는 인식용 영상데이터를 인식모델이 각 행동패턴의 특징을 인식할 수 있는 인식용 입력처리데이터로 가공하는 단계;
    상기 인식용 입력처리데이터를 상기 LSTM 기반 DNN 인식모델 및 SVM 인식모델을 통하여 각각 분석하여, SVM 확률 값 및 LSTM 확률 값을 산출하는 단계; 및
    상기 LSTM 확률 값에 제1 가중치를 곱한 값과 상기 SVM 확률 값에 제2 가중치를 곱한 값을 합한 Weighted Sum 연산을 수행하고, 가장 큰 값을 가지는 행동 클래스를 인식용 영상에 대한 행동 클래스 패턴으로 선택하여 인식을 수행하는 단계; 를 포함하는 것을 특징으로 하되,
    상기 인식용 입력처리데이터는
    RGB-D 카메라 센서로부터 각 행동패턴에 대하여 인식용 Skeleton 데이터가 입력되는 인식용 영상 데이터 획득 단계;
    상기 획득된 인식용 영상 데이터에 대한 이상유무를 판단하고 이상이 있을 경우에는 입력된 영상 데이터를 삭제를 하고 다시 학습용 영상 데이터 획득 단계로 복귀시키는 전처리 단계;
    상기 전처리 단계를 거친 인식용 영상 데이터를 기준 좌표에 맞추어 일정 규격으로 정규화된 정규화 좌표를 산출하는 정규화 단계;
    - 상기 정규화 좌표는 상기 인식용 Skeleton 데이터에서 각 뼈의 형상에 대한 각 Skeleton 좌표와 중심좌표와의 거리(d)를 산출한 후, 상기 각 Skeleton 좌표를 중심좌표와의 거리(d)로 나누어서 각 Skeleton 좌표에 대한 스켈링(scaling)된 좌표를 산출하는 것임.
    상기 각 Skeleton 좌표에서 인접한 3개의 좌표를 조합하여 각 관절 구조의 특징을 나타낼 수 있는 각도 값으로 산출하는 joint angle 각(θ)을 복수 개로 산출단계; 및
    상기 정규화 좌표와 상기 joint angle 각(θ)을 결합하는 단계; 를 포함하여 상기 인식용 입력처리데이터를 형성하는 것을 특징으로 하는 행동패턴 인식방법.
  2. 제1항에 있어서,
    상기 학습용 처리데이터는,
    상기 RGB-D 카메라 센서로부터 각 행동패턴에 대하여 학습용 Skeleton 데이터가 입력되는 학습용 영상 데이터 획득 단계;
    상기 획득된 학습용 영상데이터에 대한 이상 유무를 판단하고 이상이 있을 경우에는 입력된 영상 데이터를 삭제를 하고 다시 학습용 영상 데이터 획득 단계로 복귀시키는 전처리 단계;
    상기 전처리 단계를 거친 학습용 영상 데이터를 기준 좌표에 맞추어 일정 규격으로 정규화된 정규화 좌표를 산출하는 정규화 단계;
    - 상기 정규화 좌표는 상기 학습용 Skeleton 데이터에서 각 뼈의 형상에 대한 각 Skeleton 좌표와 중심좌표와의 거리(d)를 산출한 후, 상기 각 Skeleton 좌표를 중심좌표와의 거리(d)로 나누어서 각 Skeleton 좌표에 대한 스켈링(scaling)된 좌표를 산출하는 것임.
    상기 각 Skeleton 좌표에서 인접한 3개의 좌표를 조합하여 각 관절 구조의 특징을 나타낼 수 있는 각도 값으로 산출하는 joint angle 각(θ)을 복수 개로 산출단계; 및
    상기 정규화 좌표와 상기 joint angle 각(θ)을 결합하는 단계; 를 포함하여 행동패턴별 상기 학습용 처리데이터를 형성하는 것을 포함하는 것을 특징으로 하는 행동패턴 인식방법.
  3. 삭제
KR1020170160027A 2017-11-28 2017-11-28 멀티 인식모델의 결합에 의한 행동패턴 인식방법 및 장치 KR102440385B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170160027A KR102440385B1 (ko) 2017-11-28 2017-11-28 멀티 인식모델의 결합에 의한 행동패턴 인식방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170160027A KR102440385B1 (ko) 2017-11-28 2017-11-28 멀티 인식모델의 결합에 의한 행동패턴 인식방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190061538A KR20190061538A (ko) 2019-06-05
KR102440385B1 true KR102440385B1 (ko) 2022-09-05

Family

ID=66845082

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170160027A KR102440385B1 (ko) 2017-11-28 2017-11-28 멀티 인식모델의 결합에 의한 행동패턴 인식방법 및 장치

Country Status (1)

Country Link
KR (1) KR102440385B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102327354B1 (ko) * 2020-01-14 2021-11-17 고려대학교 세종산학협력단 위치 및 행동 정보를 이용한 고양이 행동 분석 시스템
KR102310757B1 (ko) * 2020-03-30 2021-10-08 한국과학기술원 순차적 네트워크를 이용한 사람 모션 생성 방법 및 그 장치
CN111880983B (zh) * 2020-08-04 2021-12-14 北京天融信网络安全技术有限公司 一种can总线异常检测方法及装置
KR102309111B1 (ko) * 2020-11-27 2021-10-06 가천대학교 산학협력단 딥러닝 기반 비정상 행동을 탐지하여 인식하는 비정상 행동 탐지 시스템 및 탐지 방법
KR102627749B1 (ko) * 2021-04-15 2024-01-23 오치민 인체 관절 좌표계를 이용한 lstm 기반의 행동인식 방법
CN117516927B (zh) * 2024-01-05 2024-04-05 四川省机械研究设计院(集团)有限公司 齿轮箱故障检测方法、系统、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101386513B1 (ko) * 2012-11-14 2014-04-17 계명대학교 산학협력단 공간적 피라미드 기반의 가중 비오에프 히스토그램 및 랜덤 포레스트를 이용한 사람 행동 인식 방법
WO2017150211A1 (ja) * 2016-03-03 2017-09-08 コニカミノルタ株式会社 行動認識装置及び行動学習装置並びに行動認識プログラム及び行動学習プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101919831B1 (ko) * 2012-01-11 2018-11-19 삼성전자주식회사 오브젝트 인식 장치, 분류 트리 학습 장치 및 그 동작 방법
KR102106135B1 (ko) 2013-10-01 2020-05-04 한국전자통신연구원 행동 인식 기반의 응용 서비스 제공 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101386513B1 (ko) * 2012-11-14 2014-04-17 계명대학교 산학협력단 공간적 피라미드 기반의 가중 비오에프 히스토그램 및 랜덤 포레스트를 이용한 사람 행동 인식 방법
WO2017150211A1 (ja) * 2016-03-03 2017-09-08 コニカミノルタ株式会社 行動認識装置及び行動学習装置並びに行動認識プログラム及び行動学習プログラム

Also Published As

Publication number Publication date
KR20190061538A (ko) 2019-06-05

Similar Documents

Publication Publication Date Title
KR102440385B1 (ko) 멀티 인식모델의 결합에 의한 행동패턴 인식방법 및 장치
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
US20220392234A1 (en) Training neural networks for vehicle re-identification
CN110909651B (zh) 视频主体人物的识别方法、装置、设备及可读存储介质
US20220358770A1 (en) Scene reconstruction in three-dimensions from two-dimensional images
CN111291841B (zh) 图像识别模型训练方法、装置、计算机设备和存储介质
CN109190470B (zh) 行人重识别方法及装置
KR101549645B1 (ko) 표정 동작사전을 이용한 표정인식 방법 및 장치
KR20180057096A (ko) 표정 인식과 트레이닝을 수행하는 방법 및 장치
CN108154075A (zh) 经由单次学习的群体分析法
CN110738101A (zh) 行为识别方法、装置及计算机可读存储介质
CN113362382A (zh) 三维重建方法和三维重建装置
CN109919085B (zh) 基于轻量型卷积神经网络的人人交互行为识别方法
CN107451594B (zh) 一种基于多元回归的多视角步态分类方法
CN111783748A (zh) 人脸识别方法、装置、电子设备及存储介质
CN114091554A (zh) 一种训练集处理方法和装置
CN111340785A (zh) 模型训练方法、产品表面缺陷检测方法和存储介质
CN114550212A (zh) 一种基于轻量级模型的羊脸检测与识别方法
CN109064511B (zh) 一种人体重心高度测量方法、装置及相关设备
CN114495241A (zh) 一种图像识别方法及装置、电子设备、存储介质
CN115620122A (zh) 神经网络模型的训练方法、图像重识别方法及相关设备
CN114494594A (zh) 基于深度学习的航天员操作设备状态识别方法
CN112861743A (zh) 一种掌静脉图像防伪方法、装置和设备
Sun et al. Using backpropagation neural network for face recognition with 2D+ 3D hybrid information
CN111723688A (zh) 人体动作识别结果的评价方法、装置和电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant