KR102627749B1 - 인체 관절 좌표계를 이용한 lstm 기반의 행동인식 방법 - Google Patents

인체 관절 좌표계를 이용한 lstm 기반의 행동인식 방법 Download PDF

Info

Publication number
KR102627749B1
KR102627749B1 KR1020210049005A KR20210049005A KR102627749B1 KR 102627749 B1 KR102627749 B1 KR 102627749B1 KR 1020210049005 A KR1020210049005 A KR 1020210049005A KR 20210049005 A KR20210049005 A KR 20210049005A KR 102627749 B1 KR102627749 B1 KR 102627749B1
Authority
KR
South Korea
Prior art keywords
coordinate system
lstm
joint coordinate
center
human
Prior art date
Application number
KR1020210049005A
Other languages
English (en)
Other versions
KR20220142673A (ko
Inventor
오치민
서현호
Original Assignee
오치민
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오치민 filed Critical 오치민
Priority to KR1020210049005A priority Critical patent/KR102627749B1/ko
Publication of KR20220142673A publication Critical patent/KR20220142673A/ko
Application granted granted Critical
Publication of KR102627749B1 publication Critical patent/KR102627749B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/033—Recognition of patterns in medical or anatomical images of skeletal patterns

Abstract

본 발명은 인체 관절 좌표계를 이용한 LSTM기반의 행동인식 방법에 관한 것으로, 더욱 상세하게는 인체 관절 좌표계로부터 시공간 특징 정보를 갖는 특징 벡터들을 추출하여 학습된 스택형 LSTM을 통해 행동 인식을 수행할 수 있는 인체 관절 좌표계를 이용한 LSTM 기반의 행동 인식 방법에 관한 것이다.

Description

인체 관절 좌표계를 이용한 LSTM 기반의 행동인식 방법{LSTM-based behavior recognition method using human joint coordinate system}
본 발명은 인체 관절 좌표계를 이용한 LSTM기반의 행동인식 방법에 관한 것으로, 더욱 상세하게는 인체 관절 좌표계로부터 시공간 특징 정보를 갖는 특징 벡터들을 추출하여 학습된 스택형 LSTM을 통해 행동 인식을 수행할 수 있는 인체 관절 좌표계를 이용한 LSTM 기반의 행동 인식 방법에 관한 것이다.
영상으로부터 사람의 행동을 인식하는 연구는 컴퓨터 비전의 초창기부터 수행되어온 매우 중요한 연구분야 중의 하나로써, 영상감시, 지능 로봇 등 다양한 적용 분야를 가지고 있다.
행동 인식에서 인식의 대상인 사람의 동작은 다양한 의미를 지닐 수 있는데, 신체 부위들이 어떻게 배치되어 있는가를 표현하는 자세 혹은 특정한 의미를 가지는 신체의 움직임을 나타내는 동작 등을 들 수 있다.
행동 인식 기술은 다양한 센서를 활용하여 사람의 모션이나 제스처와 관련된 정보를 수집하고 해석하여 행동을 인식하는 기술을 의미하며, 특히, 촬영된 영상에서 사용자의 동작과 자세를 인식하여 사용자의 행동의 의미를 인식하는 기술이 널리 연구되고 있다..
한편, 종래의 촬영된 영상을 이용한 사용자 행동 인식 방법들은 주로 사용자의 동작을 보다 정확하게 분석하여 행동을 인식하려는 노력을 기울여 왔으나, 단순히 영상 내에 포함된 일반적인 특징만으로는 인식 정확도에 있어서 한계가 있어, 행동 인식률이 낮게 나타나는 문제가 있다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 영상으로부터 인체 관절 좌표계를 기반으로 행동 인식을 위한 유의미한 특징 벡터를 추출하고 추출된 특징 벡터를 스택형 LSTM에 학습시켜 행동 인식을 수행함으로써, 효과적으로 행동 인식 정확도를 증대시킬 수 있는인체 관절 좌표계를 이용한 LSTM 기반의 행동인식 방법을 제공하는 데 있다.
상술한 목적을 해결하기 위해 본 발명은 움직임에 대한 인체 관절 좌표계를 포함하는 시계열 데이터를 수집하여 데이터베이스를 구축하는 단계; 수집된 시계열 데이터의 인체 관절 좌표계를 정규화하는 단계; 정규화된 인체 관절 좌표계를 이용하여 시공간 정보를 갖는 특징 벡터들을 추출하는 단계; 상기 특징 벡터들을 스택형 LSTM에 학습시키는 단계;를 포함하는 것을 특징으로 하는 행동인식을 위한 LSTM 기반의 학습 방법을 제공한다.
바람직한 실시예에 있어서, 상기 정규화하는 단계 이전에, 상기 시계열 데이터를 증강시키는 단계를 포함하고, 상기 시계열 데이터를 증강시키는 단계는 수집된 시계열 데이터에 랜덤 가우시안 노이즈를 적용하여 새로운 시계열 데이터를 생성할 수 있다.
바람직한 실시예에 있어서, 상기 정규화하는 단계:는 골반의 중심 좌표를 상기 인체 관절 좌표계의 원점으로 설정하는 단계; 어깨의 중심 좌표의 y축이 상기 골반의 중심 좌표의 y축과 동일 축상에 위치하도록, 상기 골반의 중심 좌표를 기반으로 상기 인체 관절 좌표계를 회전하는 단계; 상기 골반의 중심에서 어깨 중심까지의 길이를 단위길이로 정의하는 단계;및 상기 골반의 중심 좌표부터 상기 어깨 중심 좌표 까지의 단위길이를 기준으로 나머지 각 관절 간의 길이의 비율을 조절하여 인체 관절 좌표계를 스케일링하는 단계;를 포함한다.
바람직한 실시예에 있어서, 상기 특징 벡터들은 이전 시간의 프레임과 현재 시간의 프레임에 대응되는 인체 관절 좌표 간의 차이인 모션 벡터가 단위 벡터로 표현된 제1 특징 벡터와 각 프레임에서 두 개의 인체 관절을 잇는 선분에 대한 방향 벡터인 제2 특징 벡터를 포함한다.
또한, 본 발명은 상기 행동인식을 위한 LSTM 기반 학습 방법이 기록 매체에 저장된 컴퓨터 프로그램을 더 제공한다.
또한, 본 발명은 행동을 인식하고자 하는 움직임(이하, "대상 움직임",이라함)에 대한 인체 관절 좌표계를 포함하는 시계열 데이터를 입력받는 단계; 상기 대상 움직임의 인체 관절 좌표계를 정규화하는 단계; 정규화된 상기 대상 움직임의 인체 관절 좌표계를 이용하여 시공간 정보를 갖는 특징 벡터들을 추출하는 단계; 상기 대상 움직임의 특징 벡터들을 상기 행동인식을 위한 LSTM 기반의 학습 방법에 의해 학습된 LSTM에 입력하여 행동을 인식하는 단계;를 포함하는 것을 특징으로 하는 인체 관절 좌표계를 이용한 LSTM 기반의 행동인식 방법을 제공한다.
바람직한 실시예에 있어서, 상기 대상 움직임의 인체 관절 좌표계를 정규화하는 단계:는 골반의 중심 좌표를 상기 인체 관절 좌표계의 원점으로 설정하는 단계; 어깨의 중심 좌표의 y축이 상기 골반의 중심 좌표의 y축과 동일 축상에 위치하도록, 상기 골반의 중심 좌표를 기반으로 상기 인체 관절 좌표계를 회전하는 단계; 상기 골반의 중심에서 어깨 중심까지의 길이를 단위길이로 정의하는 단계; 상기 골반의 중심 좌표(hip mid)부터 상기 어깨 중심 좌표(hip mid) 까지의 단위길이를 기준으로 나머지 각 관절 간의 길이의 비율을 조절하여 인체 관절 좌표계를 스케일링하는 단계;를 포함한다.
바람직한 실시예에 있어서, 상기 대상 움직임의 특징 벡터들은 이전 시간의 프레임과 현재 시간의 프레임에 대응되는 인체 관절 좌표 간의 차이인 모션 벡터가 단위 벡터로 표현된 제1 특징 벡터와 각 프레임에서 두 개의 인체 관절을 잇는 선분에 대한 방향 벡터인 제2 특징 벡터를 포함한다.
또한, 본 발명은 인체 관절 좌표계를 이용한 LSTM 기반의 행동인식 방법이 기록매체에 저장된 컴퓨터 프로그램을 더 제공한다.
본 발명은 다음과 같은 우수한 효과가 있다.
본 발명의 인체 관절 좌표계를 이용한 LSTM 기반의 행동인식 방법에 의하면, 정규화된 인체 관절 좌표계를 이용하여 움직임에 대한 시공간 정보를 갖는 방향 벡터와 모션 벡터 기반의 특징 벡터를 생성하고 이를 스택형 LSTM에 학습시킨 후 행동 인식을 수행함으로써, 다양한 동작 환경에서도 대상의 행동에 대한 높은 인식률을 나타낼 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 인체 관절 좌표계를 이용한 LSTM 기반의 행동인식 방법이 적용되는 시스템 및 환경을 보여주는 도면,
도 2는 본 발명의 일 실시예에 따른 인체 관절 좌표계를 이용한 LSTM 기반의 행동인식 방법의 전체 순서도,
도 3은 본 발명의 일 실시예에 따른 인체 관절 좌표계의 정규화 과정을 설명하기 위한 순서도,
도 4는 본 발명의 일 실시예에 따른 인체 관절 좌표계의 정규화 과정의 예를 보여주는 그림,
도 5는 본 발명의 일 실시예에 따른 학습된 스택형(Stacked) LSTM의 학습 오차를 보여주는 그래프,
도 6은 본 발명의 일 실시예에 따른 학습된 스택형(Stacked) LSTM의 학습 정확도를 보여주는 그래프이다.
본 발명에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있는데 이 경우에는 단순한 용어의 명칭이 아닌 발명의 상세한 설명 부분에 기재되거나 사용된 의미를 고려하여 그 의미가 파악되어야 할 것이다.
이하, 첨부한 도면에 도시된 바람직한 실시예들을 참조하여 본 발명의 기술적 구성을 상세하게 설명한다.
그러나, 본 발명은 여기서 설명되는 실시예에 한정되지 않고 다른 형태로 구체화될 수도 있다. 명세서 전체에 걸쳐 동일한 참조번호는 동일한 구성요소를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 인체 관절 좌표계를 이용한 LSTM 기반의 행동인식 방법을 보여주는 도면이다.
도 1을 참조하면, 본 발명의 인체 관절 좌표계를 이용한 LSTM 기반의 행동인식 방법은 카메라(100)로 촬영된 영상(10)에 존재하는 사람의 움직임(이하, "대상의 움직임",이라함)에 대한 인체 관절 좌표계를 기반으로 시공간 정보를 갖는 특징 벡터들을 추출하여 인공신경망 알고리즘 중 하나인 LSTM을 통해 행동 인식을 수행할 수 있는 방법에 관한 것이다.
또한, 본 발명의 인체 관절 좌표계를 이용한 LSTM 기반의 행동인식 방법은 컴퓨터(200)에 의해 수행되며, 상기 컴퓨터(200)에는 컴퓨터를 기능시켜 상기 방법을 수행하기 위한 컴퓨터 프로그램이 저장된다.
또한, 상기 컴퓨터(200)는 일반적인 퍼스널 컴퓨터뿐만 아니라, 통신망을 통해 접속 가능한 서버 컴퓨터, 클라우드 시스템, 스마트폰, 태블릿과 같은 스마트 기기, 임베디드 시스템을 포함하는 광의의 컴퓨터이다.
또한, 상기 컴퓨터 프로그램은 별도의 기록 매체에 저장되어 제공될 수 있으며, 상기 기록 매체는 본 발명을 위하여 특별히 설계되어 구성된 것들이거나 컴퓨터 소프트웨어 분야에서 통상의 지식을 가진 자에 공지되어 사용 가능한 것 일 수 있다.
예를 들면, 상기 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD, DVD와 같은 광 기록 매체, 자기 및 광 기록을 겸할 수 있는 자기-광 기록 매체, 롬, 램, 플래시 메모리 등 단독 또는 조합에 의해 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치일 수 있다.
또한, 상기 컴퓨터 프로그램은 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등이 단독 또는 조합으로 구성된 프로그램일 수 있고, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 사용하여 컴퓨터에 의해 실행될 수 있는 고급 언어 코드로 짜여진 프로그램일 수 있다.
또한, 본 발명은 영상을 촬영하는 카메라(100)와 본 발명의 컴퓨터 프로그램이 저장된 서버(200)를 하나의 시스템으로 제공할 수 있다.
상기 카메라(100)는 실내 또는 특정 구역에 설치되어 영상을 촬영하는 장치로 CCTV, IP 카메라, 웹캠 등 일 수 있으며, 그 종류가 제한되는 것은 아니다.
또한, 상기 카메라(100)는 상기 서버와 유무선 통신을 통해 영상(10)을 송신할 수 있다.
이하에서는 본 발명의 인체 관절 좌표계를 이용한 LSTM 기반의 행동인식 방법에 대해 상세히 설명한다.
도 2는 본 발명의 일 실시예에 따른 인체 관절 좌표계를 이용한 LSTM 기반의 행동인식 방법의 전체 순서도, 도 3은 본 발명의 일 실시예에 따른 인체 관절 좌표계의 정규화 과정을 설명하기 위한 순서도, 도 4는 본 발명의 일 실시예에 따른 인체 관절 좌표계의 정규화 과정의 예를 보여주는 그림이다.
도 2 내지 도 4를 참조하면, 본 발명의 인체 관절 좌표계를 이용한 LSTM 기반의 행동인식 방법은 크게 행동 인식을 위해 움직임에 대한 인체 관절 좌표계를 수집하여 특징 벡터들을 추출하고 이를 스택형 LSTM에 학습하는 단계(S1000)와 학습된 스택형 LSTM에 행동인식을 수행하고자 하는 대상의 인체 관절 좌표계로부터 추출된 특징 벡터들을 입력하여 행동 인식을 수행하는 단계(S2000);를 포함하여 이루어진다.
상세하게는 상기 스택형 LSTM에 학습하는 단계(S1000)는 먼저, 움직임에 대한 인체 관절 좌표계를 포함한 시계열 데이터(20)를 수집하여 데이터베이스를 구축한다(S1100).
상기 움직임은 행동 인식을 수행하고자 정의된 다양한 종류의 움직임으로, 상기 인체 관절 좌표계는 각 움직임 종류에 대한 인체 각 관절의 좌표를 의미한다.
또한, 상기 인체 관절 좌표계는 카메라(100)로 촬영된 각 움직임에 대한 영상에서 인체 부위별 관절 정보를 취득할 수 있는 공지된 다양한 알고리즘에 의해 획득될 수 있다.
예를 들면, 상기 영상(10)으로부터 상기 인체 관절 좌표계를 추출하기 위해 Openpose 또는 Alphapose 등의 알고리즘이 사용될 수 있으며, 본 발명에서는 Openpose 알고리즘을 사용하여 인체 관절 좌표계를 추출하였다.
한편, 본 발명에서 사용된 상기 Openpose 알고리즘은 최대 25개의 인체 관절 좌표를 추출할 수 있으며, 상세하게는 코, 목, 오른쪽 어깨, 오른쪽 팔꿈치, 오른쪽 손목, 왼쪽 어깨, 왼쪽 팔꿈치, 왼쪽 손목, 골반의 중심, 오른쪽 골반, 오른쪽 무릎, 오른쪽 발목, 왼쪽 골반, 왼쪽 무릎, 왼쪽 발목, 오른쪽 눈, 왼쪽 눈, 오른쪽 귀, 왼쪽 귀, 왼쪽 엄지 발가락, 왼쪽 새끼 발가락, 왼쪽 발 뒤꿈치, 오른쪽 엄지 발가락, 왼쪽 새끼 발가락, 오른쪽 발 뒤꿈치의 2D 좌표를 추출할 수 있다.
또한, 상기 시계열 데이터(20)는 상기 인체 관절 좌표계 뿐만 아니라, 상기 인체 관절 좌표계가 획득된 영상의 프레임의 정보 등이 더 포함된다.
또한, 상기 데이터베이스에 수집된 시계열 데이터(20)에 랜덤 가우시안 노이즈를 적용하여 새로운 시계열 데이터를 추가적으로 생성하여 증강시키는 과정이 수행될 수 있으며, 이를 통해 아래에서 수행할 LSTM의 학습에 필요한 데이터를 충분히 확보하여 학습 효율을 증대시킬 수 있다.
다음. 수집된 상기 인체 관절 좌표계를 정규화한다(S1200).
한편, 카메라(100)와 사람 간의 거리, 각도 및 비디오 영상 내에 사람의 위치에 따라 다양하게 취득된 인체 관절 좌표계는 동일한 행동을 수행하여도 각 데이터 간의 데이터 값의 크기가 달리 나타나며 이러한 데이터를 아래에서 설명할 LSTM에 학습할 경우, 제대로된 학습이 이루어지지 않아 행동 인식률이 떨어지는 문제가 발생한다.
따라서, 본 발명에서는 위에서 언급한 문제를 해결하기 위해 도 4와 같이 상기 인체 관절 좌표계를 정규화하는 과정을 수행하며, 상기 정규화 과정은 먼저, 상기 인체 관절 좌표계 중 골반의 중심 좌표(Hip mid)를 원점(0,0)으로 설정한다(S1210).
다음. 양 어깨의 중심에 해당하는 목의 좌표(이하, "어깨 중심 좌표" 이라함, Shoulder mid)의 y축 좌표가 상기 골반의 중심 좌표(Hip mid)와 동일한 y축 좌표를 갖도록, 상기 골반의 중심 좌표(Hip mid)를 기준으로 상기 인체 관절 좌표계를 회전(
Figure 112021043869906-pat00001
)시킨다.
다음, 상기 골반의 중심 좌표(Hip mid)에서 상기 어깨 중심 좌표(Sholuder mid)의 길이(L)를 기반으로 상기 인체 관절 좌표계를 스케일링 한다(S1220).
상세하게는 골반의 중심 좌표(hip mid)부터 상기 어깨 중심 좌표(Shoulder mid) 까지의 길이가 "1"이되도록 단위길이를 설정하고, 나머지 각 관절 간의 길이를 상기 골반의 중심 좌표(Hip mid)부터 상기 어깨 중심 좌표(Hip mid) 까지의 단위길이를 기준으로 비율을 조절하여 인체 관절 좌표계를 스케일링한다.
상기 정규화 과정(S1200)을 수행한 후에는 정규화된 상기 인체 관절 좌표계를 이용하여 움직임에 대한 시공간 정보를 갖는 특징 벡터들을 추출한다(S1300).
상세하게는 이전 시간의 프레임과 현재 시간의 프레임에 서로 대응되는 인체 관절 좌표 간의 차이인 모션 벡터가 단위 벡터로 표현된 제1 특징 벡터와 각 프레임에서 두 개의 인체 관절을 잇는 선분(Limb)에 대한 방향 정보를 갖는 방향 벡터를 제2 특징 벡터를 추출할 수 있다.
여기서, 상기 선분은 두 개의 인체 관절(상위 관절과 하위 관절)을 잇는 뼈대를 의미하며, 상기 제1 특징 벡터는 수학식 1에 의해 계산되고, 상기 제2 특징 벡터는 수학식 2에 의해 계산될 수 있다.
Figure 112021043869906-pat00002
상기 수학식 1에서,
Figure 112021043869906-pat00003
는 모션 벡터가 단위 벡터로 표현된 제1 특징 벡터를 나타내며,
Figure 112021043869906-pat00004
은 각각 i번재 프레임과 i-1번째 프레임에 대응되는 j번째 관절의 좌표를 나타낸다.
Figure 112021043869906-pat00005
상기 수학식 2에서,
Figure 112021043869906-pat00006
는 제2 특징 벡터를 나타내며,
Figure 112021043869906-pat00007
은 i번째 프레임에서 k번째 선분(Limb)에 의해 이어지는 두 개의 관절로 이루어진 관절쌍(j1,j2)의 좌표를 나타낸다.
이러한 과정을 통해 추출된 특징 벡터들은 시계열적으로 상기 데이터베이스에 저장된다.
다음, 상기 특징 벡터들을 복수 개의 LSTM이 적층된 스택형(stacked) LSTM에 입력하여 학습시킨다(S1400).
상기 스택형(Stacked) LSTM은 인공신경망 중 하나로 여러개 LSTM을 쌓아올린 형태로 각 LSTM은 다층 LSTM 레이어를 가지며, 이를 통해 신경망의 깊이가 깊어져 광범위 데이터를 이용한 학습에서 특징 추출이 용이하다는 장점이 있어, 행동 인식 분야에 활용하기에 효율적인 알고리즘이다.
한편, 도 5는 본 발명의 일 실시예에 따른 학습된 스택형(Stacked) LSTM의 학습 오차를 보여주는 그래프, 도 6은 본 발명의 일 실시예에 따른 학습된 스택형(Stacked) LSTM의 학습 정확도를 보여주는 그래프로, 도 5 내지 도 6을 참조하면, 본 발명의 학습 방법을 통해 학습된 스택형(Stacked) LSTM은 학습이 종료된 시점에 0.13 정도의 오차와 95%의 정확도를 나타내는 바 우수한 성능을 보이는 것으로 확인되었다.
이러한, 학습 과정(S1000)이 수행된 후에, 카메라(100)로부터 촬영된 대상 움직임의 영상(10)을 입력받아 행동 인식을 수행한다(S2000).
상기 행동 인식(S2000)을 수행하기 위해서는 먼저, 대상 움직임에 대한 인체 관절 좌표계를 포함하는 시계열 데이터(20)를 입력받는다(S2100).
여기서, 상기 인체 관절 좌표계는 상기 대상 움직임의 영상에서 인체 부위별 관절 정보를 취득할 수 있는 공지된 알고리즘에 의해 획득할 수 있으며, 학습 시 사용된 동일한 알고리즘을 이용하여 취득될 수 있다
다음, 상기 대상 움직임의 인체 관절 좌표계를 정규화하고(S2200), 정규화된 대상 움직임의 인체 관절 좌표계로부터 특징 벡터들을 추출한다(S2300).
상기 정규화 과정(S2200)과 특징 벡터들을 추출하는 과정(S2300)은 학습 단계(S1000)에서 수행된 정규화 과정(S1200)과 특징 벡터들을 추출하는 과정(S1300)과 동일한 방법으로 수행된다.
다음, 추출된 대상 움직임의 특징 벡터들을 학습된 스택형 LSTM에 입력하여 행동 인식을 수행한다(S2400).
한편, 본 발명의 학습된 스택형(Stacked) LSTM의 분류 성능을 평가하기 위해 총 1,790 장의 프레임 수를 갖는 영상으로부터 테스트 데이터 셋을 구축하여 행동 인식을 수행하였으며 행동 인식이 올바르게 이루어진 프레임은 1,706장, 다른 행동으로 오인식한 프레임이 84장이 었으며, 재현율과 정밀도는 각각 95.3%와 97.99%의 높은 정확도를 나타내었다.
즉, 본 발명의 인체 관절 좌표계를 이용한 LSTM 기반의 행동인식 방법은 정규화된 인체 관절 좌표계를 이용하여 움직임에 대한 시공간 정보를 갖는 방향 벡터와 모션 벡터 기반의 특징 벡터를 생성하고 이를 스택형 LSTM에 학습시킨 후 행동 인식을 수행함으로써, 다양한 동작 환경에서도 대상의 행동에 대한 높은 인식률을 나타낼 수 있는 장점이 있다.
이상에서 살펴본 바와 같이 본 발명은 바람직한 실시예를 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.
100:카메라 200:서버

Claims (9)

  1. 움직임에 대한 인체 관절 좌표계를 포함하는 시계열 데이터를 수집하여 데이터베이스를 구축하는 단계;
    수집된 시계열 데이터의 인체 관절 좌표계를 정규화하는 단계;
    정규화된 인체 관절 좌표계를 이용하여 시공간 정보를 갖는 특징 벡터들을 추출하는 단계; 및
    상기 특징 벡터들을 스택형 LSTM에 학습시키는 단계;를 포함하고,
    상기 정규화하는 단계:는
    골반의 중심 좌표를 상기 인체 관절 좌표계의 원점으로 설정하는 단계;
    어깨의 중심 좌표의 y축이 상기 골반의 중심 좌표의 y축과 동일 축상에 위치하도록, 상기 골반의 중심 좌표를 기반으로 상기 인체 관절 좌표계를 회전하는 단계;
    상기 골반의 중심에서 어깨 중심까지의 길이를 단위길이로 정의하는 단계; 및
    상기 골반의 중심 좌표부터 상기 어깨 중심 좌표 까지의 단위길이를 기준으로 나머지 각 관절 간의 길이의 비율을 조절하여 인체 관절 좌표계를 스케일링하는 단계;를 포함하며
    상기 특징 벡터들은 현재 시간의 프레임과 이전 시간의 프레임에 대응되는 인체 관절 좌표 간의 차이인 모션 벡터가 단위 벡터로 표현된 제1 특징 벡터와 각 프레임에서 두 개의 인체 관절을 잇는 선분에 대한 방향 벡터인 제2 특징 벡터를 포함하는 것을 특징으로 하는 행동인식을 위한 LSTM 기반 학습 방법
  2. 제 1 항에 있어서,
    상기 정규화하는 단계 이전에,
    상기 시계열 데이터를 증강시키는 단계를 포함하고,
    상기 시계열 데이터를 증강시키는 단계는 수집된 시계열 데이터에 랜덤 가우시안 노이즈를 적용하여 새로운 시계열 데이터를 생성하는 것을 특징으로 하는 행동인식을 위한 LSTM 기반 학습 방법
  3. 제 1 항 내지 제 2 항 중 어느 한 항의 행동인식을 위한 LSTM 기반 학습 방법이 기록 매체에 저장된 컴퓨터 프로그램
  4. 행동을 인식하고자 하는 움직임(이하, "대상 움직임",이라함)에 대한 인체 관절 좌표계를 포함하는 시계열 데이터를 입력받는 단계;
    상기 대상 움직임의 인체 관절 좌표계를 정규화하는 단계;
    정규화된 상기 대상 움직임의 인체 관절 좌표계를 이용하여 시공간 정보를 갖는 특징 벡터들을 추출하는 단계; 및
    상기 대상 움직임의 특징 벡터들을 제 1 항 내지 제 2 항 중 어느 한 항의 방법에 의해 학습된 LSTM에 입력하여 행동을 인식하는 단계;를 포함하는 것을 특징으로 하는 인체 관절 좌표계를 이용한 LSTM 기반의 행동인식 방법
  5. 제 4 항에 있어서,
    상기 정규화하는 단계:는
    골반의 중심 좌표를 상기 인체 관절 좌표계의 원점으로 설정하는 단계;
    어깨의 중심 좌표의 y축이 상기 골반의 중심 좌표의 y축과 동일 축상에 위치하도록, 상기 골반의 중심 좌표를 기반으로 상기 인체 관절 좌표계를 회전하는 단계;
    상기 골반의 중심에서 어깨 중심까지의 길이를 단위길이로 정의하는 단계;
    상기 골반의 중심 좌표(hip mid)부터 상기 어깨 중심 좌표(hip mid) 까지의 단위길이를 기준으로 나머지 각 관절 간의 길이의 비율을 조절하여 인체 관절 좌표계를 스케일링하는 단계;를 포함하는 것을 특징으로 인체 관절 좌표계를 이용한 LSTM 기반의 행동인식 방법
  6. 제 5 항에 있어서,
    상기 특징 벡터들은 현재 시간의 프레임과 이전 시간의 프레임에 대응되는 인체 관절 좌표 간의 차이인 모션 벡터가 단위 벡터로 표현된 제1 특징 벡터와 각 프레임에서 두 개의 인체 관절을 잇는 선분에 대한 방향 벡터인 제2 특징 벡터를 포함하는 것을 특징으로 하는 인체 관절 좌표계를 이용한 LSTM 기반의 행동인식 방법
  7. 제 4 항의 인체 관절 좌표계를 이용한 LSTM 기반의 행동인식 방법이 기록매체에 저장된 컴퓨터 프로그램
  8. 삭제
  9. 삭제
KR1020210049005A 2021-04-15 2021-04-15 인체 관절 좌표계를 이용한 lstm 기반의 행동인식 방법 KR102627749B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210049005A KR102627749B1 (ko) 2021-04-15 2021-04-15 인체 관절 좌표계를 이용한 lstm 기반의 행동인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210049005A KR102627749B1 (ko) 2021-04-15 2021-04-15 인체 관절 좌표계를 이용한 lstm 기반의 행동인식 방법

Publications (2)

Publication Number Publication Date
KR20220142673A KR20220142673A (ko) 2022-10-24
KR102627749B1 true KR102627749B1 (ko) 2024-01-23

Family

ID=83805652

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210049005A KR102627749B1 (ko) 2021-04-15 2021-04-15 인체 관절 좌표계를 이용한 lstm 기반의 행동인식 방법

Country Status (1)

Country Link
KR (1) KR102627749B1 (ko)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102440385B1 (ko) * 2017-11-28 2022-09-05 영남대학교 산학협력단 멀티 인식모델의 결합에 의한 행동패턴 인식방법 및 장치
KR102371127B1 (ko) * 2018-12-19 2022-03-07 한국전자기술연구원 골격의 길이 정보를 이용한 제스쳐 인식 방법 및 처리 시스템

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Pengfei Zhang 외 5명, "View Adaptive Neural Networks for High Performance Skeleton-Based Human Action Recognition", IEEE, pp.1963-1978(2019.01.31.) 1부.*
김영준 외 3명, "데이터 증강을 통한 딥러닝 기반 주가 패턴 예측 정확도 향상 방안", 한국빅데이터학회지, pp.1-12(2019.12.31.) 1부.*
한국 공개특허공보 제10-2019-0061538호(2019.06.05.) 1부.*
한국 공개특허공보 제10-2020-0076267호(2020.06.29.) 1부.*

Also Published As

Publication number Publication date
KR20220142673A (ko) 2022-10-24

Similar Documents

Publication Publication Date Title
Jalal et al. Depth Silhouettes Context: A new robust feature for human tracking and activity recognition based on embedded HMMs
Jalal et al. Human depth sensors-based activity recognition using spatiotemporal features and hidden markov model for smart environments
Jalal et al. Real-time life logging via a depth silhouette-based human activity recognition system for smart home services
Du et al. Hierarchical recurrent neural network for skeleton based action recognition
Jalal et al. Human daily activity recognition with joints plus body features representation using Kinect sensor
Farooq et al. Dense RGB-D map-based human tracking and activity recognition using skin joints features and self-organizing map
Jalal et al. Human activity recognition using the labeled depth body parts information of depth silhouettes
Jalal et al. Individual detection-tracking-recognition using depth activity images
Elgammal et al. Tracking people on a torus
Lim et al. A feature covariance matrix with serial particle filter for isolated sign language recognition
CN114067358A (zh) 一种基于关键点检测技术的人体姿态识别方法及系统
Sincan et al. Using motion history images with 3d convolutional networks in isolated sign language recognition
Arivazhagan et al. Human action recognition from RGB-D data using complete local binary pattern
Uddin Human activity recognition using segmented body part and body joint features with hidden Markov models
Flórez et al. Hand gesture recognition following the dynamics of a topology-preserving network
CN112883896A (zh) 一种基于bert网络的微表情检测方法
Waheed et al. A novel deep learning model for understanding two-person interactions using depth sensors
Kishore et al. Selfie sign language recognition with convolutional neural networks
Lima et al. Simple and efficient pose-based gait recognition method for challenging environments
Ansar et al. Robust hand gesture tracking and recognition for healthcare via Recurent neural network
Uddin et al. Human activity recognition using robust spatiotemporal features and convolutional neural network
Jahagirdar et al. Comparison of feed forward and cascade forward neural networks for human action recognition
KR102627749B1 (ko) 인체 관절 좌표계를 이용한 lstm 기반의 행동인식 방법
Kim et al. Human activity recognition as time-series analysis
Kumbhar et al. Facial expression recognition using gabor wavelet

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant