KR102338486B1 - 3d 골격 정보를 이용한 사용자 동작 인식 방법 및 시스템 - Google Patents

3d 골격 정보를 이용한 사용자 동작 인식 방법 및 시스템 Download PDF

Info

Publication number
KR102338486B1
KR102338486B1 KR1020190171440A KR20190171440A KR102338486B1 KR 102338486 B1 KR102338486 B1 KR 102338486B1 KR 1020190171440 A KR1020190171440 A KR 1020190171440A KR 20190171440 A KR20190171440 A KR 20190171440A KR 102338486 B1 KR102338486 B1 KR 102338486B1
Authority
KR
South Korea
Prior art keywords
joints
joint
motion
calculated
distance information
Prior art date
Application number
KR1020190171440A
Other languages
English (en)
Other versions
KR20210079542A (ko
Inventor
김성흠
류한나
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020190171440A priority Critical patent/KR102338486B1/ko
Publication of KR20210079542A publication Critical patent/KR20210079542A/ko
Application granted granted Critical
Publication of KR102338486B1 publication Critical patent/KR102338486B1/ko

Links

Images

Classifications

    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06K9/00201—
    • G06K9/00885—
    • G06K9/46—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20044—Skeletonization; Medial axis transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

3D 골격 정보의 역학적 계산만으로 사용자의 동작을 인식/추정하기 위한 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 동작 인식 방법은 현재 프레임에서 사람을 검출하는 단계; 검출된 사람의 관절들을 추출하는 단계; 추출한 관절들을 다수의 관절 집합들로 분류하는 단계; 분류된 관절 집합 간의 거리 정보를 기초로, 골격의 공간적 특징을 계산하는 단계; 계산된 공간적 특징과 핵심 관절의 프레임들 간 위치 변화를 기초로, 골격의 공간적 특징에 시간적 특징이 부가된 시-공간적 특징을 산출하는 단계; 계산된 시-공간적 특징을 사람의 동작 인식을 위해 학습된 인공지능 모델에 입력하여, 사람의 동작을 추론하는 단계;를 포함한다.
이에 의해, 연속된 2D 영상으로부터 사용자의 3D 관절 정보를 추출하고, 골격의 공간적 특징을 계산한 후에 동작 구간 내에서 각 관절의 위치 변화로 나타나는 시간적 특징을 부가하여 사용자의 동작을 인식함으로써, 3D 골격 정보의 역학적 계산만으로 사용자의 동작을 인식/추정할 수 있게 된다.

Description

3D 골격 정보를 이용한 사용자 동작 인식 방법 및 시스템{User Motion Recognition Method and System using 3D Skeleton Information}
본 발명은 영상 처리 기술에 관한 것으로, 더욱 상세하게는 골격 정보를 이용하여 사용자의 동작을 인식/추정하는 방법 및 시스템에 관한 것이다.
동작 인식 기술은 입력 영상 내 존재하는 사람의 움직임을 추정하는 기술로, 소셜 로봇, 컴퓨터와 사용자 간의 상호 인터페이스 등 다양한 산업 분야에 적용되고 있다.
최근 3D 거리 센서(예를 들어, 키넥트) 및 딥러닝 기술의 발전으로 2차원 영상에서 사람의 골격 구조 및 움직임 패턴을 추정할 수 있게 되면서, 동작 인식의 어려움을 상당 부분 극복하게 되었다.
하지만, 3D 거리 센서를 이용한 방법은 인터넷 상의 다양한 이미지 영상을 사용하는데 제약이 존재한다. 또한, 기존의 탬플릿 매칭, 히스토그램 등을 이용한 모션 추정 방식은 사람의 관절 정보 외에도 부가적인 요소를 필요로 한다는 단점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 3D 골격 정보의 역학적 계산만으로 사용자의 동작을 인식/추정하기 위한 방법 및 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 동작 인식 방법은 현재 프레임에서 사람을 검출하는 단계; 검출된 사람의 관절들을 추출하는 단계; 추출한 관절들을 다수의 관절 집합들로 분류하는 단계; 분류된 관절 집합 간의 거리 정보를 기초로, 골격의 공간적 특징을 계산하는 단계; 계산된 공간적 특징과 핵심 관절의 프레임들 간 위치 변화를 기초로, 골격의 공간적 특징에 시간적 특징이 부가된 시-공간적 특징을 산출하는 단계; 계산된 시-공간적 특징을 사람의 동작 인식을 위해 학습된 인공지능 모델에 입력하여, 사람의 동작을 추론하는 단계;를 포함한다.
분류 단계는, 추출한 관절들의 물리적 연결성을 고려하여, 추출한 관절들을 재배치하는 단계; 재배치된 관절들을 다수의 관절 집합들로 분류하는 단계;를 포함할 수 있다.
추출 단계는, 3D 관절 좌표들을 추출하고, 분류 단계는, 추출된 3D 관절 좌표들을 정규화하는 단계; 정규화된 3D 관절 좌표들로부터 골격의 무게 중심을 계산하는 단계;를 더 포함하고, 계산된 무게 중심을 중심으로, 관절들의 물리적 연결성을 고려하여 관절들을 재배치하며, 계산된 무게 중심을 기준으로, 재배치된 관절들을 다수의 관절 집합들로 분류하는 것일 수 있다.
골격의 공간적 특징 계산단계는, 분류된 관절 집합 간의 물리적 거리 정보에 분류된 관절 집합 간의 내재적 거리 정보를 반영하여, 공간적 특징을 산출하는 것일 수 있다.
물리적 거리 정보는, 관절들 간의 상대적 거리 값이고, 내재적 거리 정보는, 관절들이 포함된 관절 집합들의 관계에 의해 결정되는 것일 수 있다.
시-공간적 특징 산출단계는, 현재 프레임이 포함된 시간 윈도우에서 핵심 관절의 위치 변화를 공간적 특징에 반영하여 시-공간적 특징을 산출하는 것일 수 있다.
시-공간적 특징 산출단계는, 추출된 관절들 중 핵심 관절을 선정하는 단계; 핵심 관절의 프레임 간 위치 변화를 계산하는 단계; 계산된 위치 변화를 참조로, 사람의 동작을 구분 짓는 핵심 프레임들을 선정하는 단계; 선정된 핵심 프레임들을 기준으로, 시간 윈도우를 설정하는 단계;를 더 포함할 수 있다.
선정 단계는, 골격의 끝 관절들을 핵심 관절로 선정하는 것일 수 있다.
시-공간적 특징 산출단계는, 현재 프레임이 포함된 시간 윈도우에서 핵심 관절의 위치 변화가 큰 순서 대로 N개의 프레임을 추출하고, 추출된 프레임들을 이용하여 산출한 시-공간적 특징들을 하나로 결합하는 것일 수 있다.
본 발명의 다른 측면에 따르면, 영상을 생성하는 카메라; 영상의 현재 프레임에서 사람을 검출하고, 검출된 사람의 관절들을 추출하며, 추출한 관절들을 다수의 관절 집합들로 분류하고, 분류된 관절 집합 간의 거리 정보를 기초로 골격의 공간적 특징을 계산하고, 계산된 공간적 특징과 핵심 관절의 프레임들 간 위치 변화를 기초로 골격의 공간적 특징에 시간적 특징이 부가된 시-공간적 특징을 산출하며, 계산된 시-공간적 특징을 사람의 동작 인식을 위해 학습된 인공지능 모델에 입력하여 사람의 동작을 추론하는 컴퓨팅 시스템;을 포함하는 것을 특징으로 하는 동작 인식 시스템이 제공된다.
본 발명의 또다른 측면에 따르면, 현재 프레임에서 검출된 사람의 관절들을 다수의 관절 집합들로 분류하는 단계; 분류된 관절 집합 간의 거리 정보를 기초로, 골격의 공간적 특징을 계산하는 단계; 계산된 공간적 특징과 핵심 관절의 프레임들 간 위치 변화를 기초로, 골격의 공간적 특징에 시간적 특징이 부가된 시-공간적 특징을 산출하는 단계; 계산된 시-공간적 특징을 이용하여, 사람의 동작을 추론하는 단계;를 포함하는 것을 특징으로 하는 동작 인식 방법이 제공된다.
본 발명의 또다른 측면에 따르면, 현재 프레임에서 검출된 사람의 관절들을 다수의 관절 집합들로 분류하는 단계; 분류된 관절 집합 간의 거리 정보를 기초로, 골격의 공간적 특징을 계산하는 단계; 계산된 공간적 특징과 핵심 관절의 프레임들 간 위치 변화를 기초로, 골격의 공간적 특징에 시간적 특징이 부가된 시-공간적 특징을 산출하는 단계; 계산된 시-공간적 특징을 이용하여, 사람의 동작을 추론하는 단계;를 포함하는 것을 특징으로 하는 동작 인식 방법을 수행할 수 있는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체가 제공된다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 연속된 2D 영상으로부터 사용자의 3D 관절 정보를 추출하고, 골격의 공간적 특징을 계산한 후에 동작 구간 내에서 각 관절의 위치 변화로 나타나는 시간적 특징을 부가하여 사용자의 동작을 인식함으로써, 3D 골격 정보의 역학적 계산만으로 사용자의 동작을 인식/추정할 수 있게 된다.
도 1은 카메라로 촬영된 영상으로부터 각 영상 내에서 사용자의 특정 동작을 분류한 결과,
도 2는 본 발명의 일 실시예에 따른 사용자 동작 인식 방법의 설명에 제공되는 흐름도,
도 3은 관절 분류 과정의 상세 흐름도,
도 4는 14개의 관절 노드를 재배치한 결과,
도 5는, 도 4를 그래프로 표현한 것,
도 6은 관절 집합 분류 결과,
도 7은 핵심 관절의 위치 변화를 공간적 특징에 반영하여 시-공간적 특징을 산출하는 과정의 상세 흐름도, 그리고,
도 8은 본 발명의 다른 실시예에 따른 동작 인식 시스템의 블럭도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는, 3D 골격 정보를 이용한 사용자 동작 인식 방법 및 시스템을 제시한다.
본 발명의 실시예에 따른 동작 인식 방법에서는, 연속된 2D 영상으로부터 사용자의 3D 관절 정보를 추출하고, 골격의 공간적 특징을 계산한 후에 동작 구간 내에서 각 관절의 위치 변화로 나타나는 시간적 특징을 부가하여 사용자의 동작을 인식한다.
본 발명의 실시예에서는, 딥러닝 기반으로 사용자의 관절 정보를 추출하고 동작을 인식하는데, 시범 동작과의 유사성 비교가 아닌, 사용자의 관절 특징을 시범 영상에 맵핑함으로써 사용자의 정확한 자세 추정 및 교정이 가능하다.
또한, 본 발명의 실시예에서는, 기존의 탬플릿 매칭, 히스토그램 등의 방법론과 달리, 관절 정보만 사용하여 사용자의 동작을 추정하며, 적은 양의 데이터베이스로 학습이 가능하고, 학습 시간 및 처리 속도 기존 보다 빠르다.
사용자 동작 인식에 필요한 학습 영상들을 구축하는 방법은 다음과 같다.
먼저, 도 1에 제시된 바와 같이, 1대 이상의 카메라로 촬영된 영상으로부터 각 영상 내에서 사용자의 특정 동작을 분류한다. 이때, 대부분의 촬영된 영상은 여러 동작이 혼합되어 있기 때문에, 각 영상 내 사용자의 동작을 단일 동작으로 분류하여야 한다. 이렇게 획득된 영상으로부터 사람의 동작 시퀀스에 따라 일상 동작, 운동, 가사 활동 등 여러 카테고리로 분류하며 각 카테고리는 서브 카테고리들로 이루어진다.
예를 들어, '일상 동작' 카테고리 내에는 '물 마시기', '신문 보기' 등의 서브 카테고리로 다시 분류할 수 있다. 그 외 추가적인 특정 동작은 자체 영상 촬영으로 동작 인식에 필요한 카테고리를 지속적으로 확장할 수 있다.
한편, 단일 시점 및 다시점에 따른 관절의 위치 특성을 반영하기 위해, 공인 데이터베이스(DB)를 사용할 수도 있다.
이하에서, 사용자의 동작을 인식하는 방법에 대해, 도 2를 참조하여 상세히 설명한다. 도 2는 본 발명의 일 실시예에 따른 사용자 동작 인식 방법의 설명에 제공되는 흐름도이다.
도시된 바와 같이, 먼저, 현재 프레임에서 사람을 검출하고(S110), 검출된 사람의 관절들을 추출한다(S120). S120단계에서는 딥러닝 기반의 관절 추정기를 이용하여, 14개의 3D 관절 좌표를 추출한다.
다음, S120단계에서 추출한 관절들을 다수의 관절 집합들로 분류한다(S130). S130단계에 대해, 도 3을 참조하여 상세히 설명한다. 도 3은 관절 분류 과정의 상세 흐름도이다.
도시된 바와 같이, 먼저, S120단계에서 추출된 3D 관절 좌표들을 -1,1 사이의 값 사이로 정규화하고(S131), 정규화된 3D 관절 좌표들로부터 골격의 무게 중심을 계산한다(S132).
카메라-사용자 간의 이격 거리로 인해, 영상 내 관절 좌표가 가지는 범위 값이 다르게 되므로, S131단계에서 관절 좌표의 범위를 정규화하는 것이 필요하다.
다음, 계산된 무게 중심을 원점으로, 추출한 관절들의 물리적 연결성을 고려하여, 추출한 관절들을 재배치하고(S133), 계산된 무게 중심을 기준으로, 재배치된 관절들을 다수의 관절 집합들로 분류한다(S134).
이로 인해, 영상 내 사용자의 상대적인 위치 정보가 아닌 골격 중심의 절대적인 위치 결과를 이용할 수 있게 된다.
도 4에는 관절 좌표의 어노테이션을 정의하고, 골격의 무게 중심을 원점(시작점)으로 14개의 관절 노드를 재배치한 결과를 나타내었다. 그리고, 도 5에는 도 4에 나타난 관절들 간 물리적 연결성을 그래프로 나타내었다. 또한, 도 5에 나타난 골격의 무게 중심(시작 노드)으로부터 각 끝점(종단 노드)까지 물리적 연결성을 고려하여 관절들을 5개의 관절 집합으로 분류한 결과를 도 6에 나타내었다.
다시, 도 2를 참조하여 설명한다.
관절들을 집합들로 분류한 후에는. 분류된 관절 집합 간의 거리 정보를 기초로, 골격의 공간적 특징을 계산한다(S140). 골격의 공간적 특징은, 분류된 관절 집합 간의 물리적 거리 정보를 추정하되, 추정된 물리적 거리 정보에 분류된 관절 집합 간의 내재적 거리 정보를 반영하여 계산된다.
모든 관절 좌표 간의 유클리디언 거리를 계산하고 이로부터 관절 간의 상대적 거리 값을 추정할 수 있다. 이 때, 거리 계산에서 두 관절 좌표에 소실 좌표가 포함되는 경우에 전체 거리 가중치가 편향될 수 있으며 이에 따른 영향력을 최소화 하기 위해 "0"으로 정의한다.
그리고, 각 관절 간의 내재(암시)적 가중치를 반영하기 위해, 도 5의 그래프 계층 구조를 기반으로 관절 노드 간의 내재적 거리 정보를 구하며,
Figure 112019131934713-pat00001
와 같이 표현한다.
관절 노드 Ji는 골격의 무게 중심(J0)에서 i번째 관절 노드(Ji) 사이의 최소 거리로 정의하며, 그래프의 각 간선의 가중치 값은 모두 "1"로 가정한다. 예를 들어, 특정 두 노드(i,j번째 관절 노드)가 동일한 관절 집합 내에 포함되는 경우에 두 노드간의 거리 정보는 |Ji-Jj|로 표현된다. 또한, 서로 다른 관절 집합에 포함될 경우에는 두 노드간의 거리 정보는 항상 두 노드간의 거리 가중치가 아닌 노드와 무게 중심 간의 거리를 최소 거리로 표현된다.
따라서, 최종 두 관절 노드 간의 내재적 거리 가중치는 min(Ji, Jj, |Ji-Jj|)로 정의되며, 본 발명의 실시예에서 관절의 공간적 특징은 물리적 거리 정보와 내재(암시)적 거리 정보가 결합된 것이다.
다음, 계산된 공간적 특징과 핵심 관절의 프레임들 간 위치 변화를 기초로, 골격의 공간적 특징에 시간적 특징이 부가된 시-공간적 특징을 산출한다(S150).
S150단계는 전체 동작 구간으로부터 핵심 동작 구간을 추출하여, 추출된 핵심 동작 구간에서 핵심 관절의 위치 변화를 공간적 특징에 반영하여 시-공간적 특징을 산출하는 것이며, 구체적인 과정은 도 7에 도시되어 있다.
시-공간적 특징 산출을 위해, 도 7에 도시된 바와 같이, 추출된 관절들 중 핵심 관절을 선정한다(S151).
실제 사람의 동작은 연속성을 가지므로, 동작 구간 내 포함된 단일 이미지로부터 전체 동작을 추정하는데 어려움이 있다. 따라서, 전체 영상을 구성하는 단일 프레임 간의 연관성을 고려하여 데이터 인식 모델을 구축하여야 한다.
이를 위해, 본 발명의 실시예에서는 2장 이상의 입력 영상으로부터 사용자의 공간 정보와 더불어, 시간 변화에 따른 각 대응 관절 간의 위치 변화를 시간 가중치로 변환하여 연속 동작을 인식한다.
우선, 동작 변화에 따라 관절의 위치는 변화하며, 이에 따른 관절 집합 간의 상관 관계는 달라진다. 예를 들어, '걷기' 동작에서 '손목' 관절과 '발목' 관절은 높은 상관 관계를 보여주지만, '손목' 관절과 다른 관절들 사이에는 낮은 상관 관계를 보인다.
또한, '걷기' 동작과 '전화 하기' 동작을 판정하는데 기여하는 관절 집합은 서로 다르다. 따라서 영상 내 동작의 변화를 판단하기 위해선, 동작 유형에 따른 관절 집합의 상관 관계를 파악해야 한다.
따라서, 사용자의 연속 동작을 추정하는데 모든 관절 간의 관계 요소가 필요하지 않으며 전체 관절 집합 역시 모든 동작 결정에 영향을 미치지 않는다. 대부분의 동작을 결정하는 요소는 골격의 끝점(도 5에서 그래프의 종단 노드)에 의해 결정되며 이를 연속 동작을 결정하는 핵심 관절로 정의한다.
다음, 핵심 관절의 프레임 간 위치 변화를 계산한 후(S152), 계산된 위치 변화를 참조로, 사람의 동작을 구분 짓는 핵심 프레임들을 선정하고(S153), 선정된 핵심 프레임들을 기준으로 시간 윈도우를 설정한다(S154).
즉, 각 프레임 간의 대응되는 핵심 관절(골격의 끝 관절)의 위치 변화량을 기준으로 시간 윈도우를 설정하는 것이다.
구체적으로, 영상의 입력 시점을 기준으로 시간 윈도우(τ, 동작 구간)을 설정하기 위해, 우선, 매 프레임마다 핵심 관절 간 대응되는 위치 변화 (
Figure 112019131934713-pat00002
)를 계산한다. 이때, 위치 변화량(속도)이 음수 부호를 가지는 경우가 있으며 이를 제거하기 위해 유클리디언 거리 값을 사용하여 매 프레임의 사용자의 움직임 정도를 추정한다.
Figure 112019131934713-pat00003
이렇게 추정된 결과 값이 0일 때, 사용자의 움직임은 잠시 동안 멈추었음을 의미하며 이는 특정 동작을 구분 짓는 핵심 프레임으로 간주할 수 있다. 하지만 실제 입력 영상의 FPS와 3D 관절의 노이즈 등으로 인해 위치 변화에 따른 거리 차이가 0이 될 수 없으므로 임계값을 설정하여 임계값보다 낮은 경우에 이를 핵심 프레임으로 간주한다. 그리고, 핵심 프레임들을 기준으로 시간 윈도우를 설정한다.
다음, 현재 프레임이 포함된 시간 윈도우의 프레임들에, 대해 핵심 관절의 거리 변화에 따른 구간 별 시간 가중치를 결합하여, 골격의 공간적 특징에 동작의 시간적 특징을 부가하여 시-공간적 특징을 산출한다(S155). 구체적인 방법은 다음의 수식과 같다.
Figure 112019131934713-pat00004
그리고, 현재 프레임이 포함된 시간 윈도우의 다른 프레임들 중 현재 프레임과 관절의 위치 변화량이 큰 N개의 프레임을 추출하고(S156), 추출된 프레임들의 시-공간적 특징 벡터들을 하나로 결합하여 최종 특징 벡터로 출력한다(S157).
이에 의해, 최종 특징 벡터는 골격의 공간적 특성(거리, 각도, 그래프 구조)과 핵심 관절 간의 시간 변화 특성이 결합한 형태가 된다.
다시, 도 2를 참조하여 설명한다.
시-공간적 특징 계산 이후에는, 계산된 시-공간적 특징을 사람의 동작 인식을 위해 학습된 인공지능 모델(random forest 등)에 입력하여, 사람의 동작을 추론하여 인식한다(S160).
도 8은 본 발명의 다른 실시예에 따른 동작 인식 시스템의 블럭도이다. 본 발명의 실시예에 따른 동작 인식 시스템은, 도시된 바와 같이, 카메라(210), 컴퓨팅 시스템(220) 및 디스플레이(230)를 포함하여 구성된다.
카메라(210)는 연속된 2D 영상을 생성하는 촬영 장치이다. 컴퓨팅 시스템(220)은 카메라(210)에서 생성된 영상에서 사용자의 움직임을 분석하여 동작을 추론/인식한다. 디스플레이(230)는 카메라(210)에서 생성되는 영상과 컴퓨팅 시스템(220)에서의 추론/인식 결과가 표시된다.
동작 인식을 위해, 컴퓨팅 시스템(220)은 현재 프레임에서 사람을 검출하고, 검출된 사람의 관절들을 추출한 후에, 추출한 관절들을 다수의 관절 집합들로 분류하고, 분류된 관절 집합 간의 거리 정보를 기초로 골격의 공간적 특징을 계산한다.
나아가, 컴퓨팅 시스템(220)은 계산된 공간적 특징과 핵심 관절의 프레임들 간 위치 변화를 기초로 골격의 공간적 특징에 시간적 특징이 부가된 시-공간적 특징을 산출하고, 계산된 시-공간적 특징을 사람의 동작 인식을 위해 학습된 인공지능 모델에 입력하여 사람의 동작을 추론하여 인식한다.
지금까지, 3D 골격 정보를 이용한 사용자 동작 인식 방법 및 시스템에 대해 바람직한 실시예를 들어 상세히 설명하였다.
위 실시예에서는, 사람의 동작 인식에 있어, 골격의 공간적-시간적의 기하학적 관계를 핵심 요소로 하여, 영상 중심에서 골격 중심으로 전체 관절의 위치 정보를 재배치함으로써, 카메라로부터의 각도 및 위치에 관계 없이 관절의 위치 정보를 사용하였다.
또한, 관절 간의 거리 정보 및 각도 정보를 이용하여 물리적 연결 관계를 구하고, 골격의 무게 중심을 기준으로 각 관절 간의 물리적 관계를 그래프로 표현하여, 이로부터 관절 집합을 정의하고 관절 간의 내재적 연결 관계를 구하였다.
그리고, 현재 프레임을 기준으로, 시간 윈도우(구간) 내에 관절 집합 간의 위 치변화 및 상관 관계를 분석하여 동작의 시간 정보를 추정할 수 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
210 : 카메라
220 : 컴퓨팅 시스템
230 : 디스플레이

Claims (12)

  1. 현재 프레임에서 사람을 검출하는 단계;
    검출된 사람의 관절들을 추출하는 단계;
    추출한 관절들을 다수의 관절 집합들로 분류하는 단계;
    분류된 관절 집합 간의 거리 정보를 기초로, 골격의 공간적 특징을 계산하는 단계;
    계산된 공간적 특징과 핵심 관절의 프레임들 간 위치 변화를 기초로, 골격의 공간적 특징에 시간적 특징이 부가된 시-공간적 특징을 산출하는 단계;
    계산된 시-공간적 특징을 사람의 동작 인식을 위해 학습된 인공지능 모델에 입력하여, 사람의 동작을 추론하는 단계;를 포함하고,
    골격의 공간적 특징 계산단계는,
    분류된 관절 집합 간의 물리적 거리 정보에 분류된 관절 집합 간의 내재적 거리 정보를 반영하여, 공간적 특징을 산출하며,
    물리적 거리 정보는,
    관절들 간의 상대적 거리 값이고,
    내재적 거리 정보는,
    관절들이 포함된 관절 집합들의 관계에 의해 결정되는 것을 특징으로 하는 동작 인식 방법.
  2. 청구항 1에 있어서,
    분류 단계는,
    추출한 관절들의 물리적 연결성을 고려하여, 추출한 관절들을 재배치하는 단계;
    재배치된 관절들을 다수의 관절 집합들로 분류하는 단계;를 포함하는 것을 특징으로 하는 동작 인식 방법.
  3. 청구항 2에 있어서,
    추출 단계는,
    3D 관절 좌표들을 추출하고,
    분류 단계는,
    추출된 3D 관절 좌표들을 정규화하는 단계;
    정규화된 3D 관절 좌표들로부터 골격의 무게 중심을 계산하는 단계;를 더 포함하고,
    계산된 무게 중심을 중심으로, 관절들의 물리적 연결성을 고려하여 관절들을 재배치하며,
    계산된 무게 중심을 기준으로, 재배치된 관절들을 다수의 관절 집합들로 분류하는 것을 특징으로 하는 동작 인식 방법.
  4. 삭제
  5. 삭제
  6. 청구항 1에 있어서,
    시-공간적 특징 산출단계는,
    현재 프레임이 포함된 시간 윈도우에서 핵심 관절의 위치 변화를 공간적 특징에 반영하여 시-공간적 특징을 산출하는 것을 특징으로 하는 동작 인식 방법.
  7. 청구항 6에 있어서,
    시-공간적 특징 산출단계는,
    추출된 관절들 중 핵심 관절을 선정하는 단계;
    핵심 관절의 프레임 간 위치 변화를 계산하는 단계;
    계산된 위치 변화를 참조로, 사람의 동작을 구분 짓는 핵심 프레임들을 선정하는 단계;
    선정된 핵심 프레임들을 기준으로, 시간 윈도우를 설정하는 단계;를 더 포함하는 것을 특징으로 하는 동작 인식 방법.
  8. 청구항 7에 있어서,
    선정 단계는,
    골격의 끝 관절들을 핵심 관절로 선정하는 것을 특징으로 하는 동작 인식 방법.
  9. 청구항 6에 있어서,
    시-공간적 특징 산출단계는,
    현재 프레임이 포함된 시간 윈도우에서 핵심 관절의 위치 변화가 큰 순서 대로 N개의 프레임을 추출하고, 추출된 프레임들을 이용하여 산출한 시-공간적 특징들을 하나로 결합하는 것을 특징으로 하는 동작 인식 방법.
  10. 영상을 생성하는 카메라;
    영상의 현재 프레임에서 사람을 검출하고, 검출된 사람의 관절들을 추출하며, 추출한 관절들을 다수의 관절 집합들로 분류하고, 분류된 관절 집합 간의 거리 정보를 기초로 골격의 공간적 특징을 계산하고, 계산된 공간적 특징과 핵심 관절의 프레임들 간 위치 변화를 기초로 골격의 공간적 특징에 시간적 특징이 부가된 시-공간적 특징을 산출하며, 계산된 시-공간적 특징을 사람의 동작 인식을 위해 학습된 인공지능 모델에 입력하여 사람의 동작을 추론하는 컴퓨팅 시스템;을 포함하고,
    컴퓨팅 시스템은,
    분류된 관절 집합 간의 물리적 거리 정보에 분류된 관절 집합 간의 내재적 거리 정보를 반영하여, 공간적 특징을 산출하며,
    물리적 거리 정보는,
    관절들 간의 상대적 거리 값이고,
    내재적 거리 정보는,
    관절들이 포함된 관절 집합들의 관계에 의해 결정되는 거리 값인 것을 특징으로 하는 동작 인식 시스템.
  11. 현재 프레임에서 검출된 사람의 관절들을 다수의 관절 집합들로 분류하는 단계;
    분류된 관절 집합 간의 거리 정보를 기초로, 골격의 공간적 특징을 계산하는 단계;
    계산된 공간적 특징과 핵심 관절의 프레임들 간 위치 변화를 기초로, 골격의 공간적 특징에 시간적 특징이 부가된 시-공간적 특징을 산출하는 단계;
    계산된 시-공간적 특징을 이용하여, 사람의 동작을 추론하는 단계;를 포함하고,
    골격의 공간적 특징 계산단계는,
    분류된 관절 집합 간의 물리적 거리 정보에 분류된 관절 집합 간의 내재적 거리 정보를 반영하여, 공간적 특징을 산출하며,
    물리적 거리 정보는,
    관절들 간의 상대적 거리 값이고,
    내재적 거리 정보는,
    관절들이 포함된 관절 집합들의 관계에 의해 결정되는 거리 값인 것을 특징으로 하는 동작 인식 방법.
  12. 현재 프레임에서 검출된 사람의 관절들을 다수의 관절 집합들로 분류하는 단계;
    분류된 관절 집합 간의 거리 정보를 기초로, 골격의 공간적 특징을 계산하는 단계;
    계산된 공간적 특징과 핵심 관절의 프레임들 간 위치 변화를 기초로, 골격의 공간적 특징에 시간적 특징이 부가된 시-공간적 특징을 산출하는 단계;
    계산된 시-공간적 특징을 이용하여, 사람의 동작을 추론하는 단계;를 포함하고,
    골격의 공간적 특징 계산단계는,
    분류된 관절 집합 간의 물리적 거리 정보에 분류된 관절 집합 간의 내재적 거리 정보를 반영하여, 공간적 특징을 산출하며,
    물리적 거리 정보는,
    관절들 간의 상대적 거리 값이고,
    내재적 거리 정보는,
    관절들이 포함된 관절 집합들의 관계에 의해 결정되는 거리 값인 것을 특징으로 하는 동작 인식 방법을 수행할 수 있는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
KR1020190171440A 2019-12-20 2019-12-20 3d 골격 정보를 이용한 사용자 동작 인식 방법 및 시스템 KR102338486B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190171440A KR102338486B1 (ko) 2019-12-20 2019-12-20 3d 골격 정보를 이용한 사용자 동작 인식 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190171440A KR102338486B1 (ko) 2019-12-20 2019-12-20 3d 골격 정보를 이용한 사용자 동작 인식 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20210079542A KR20210079542A (ko) 2021-06-30
KR102338486B1 true KR102338486B1 (ko) 2021-12-13

Family

ID=76602443

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190171440A KR102338486B1 (ko) 2019-12-20 2019-12-20 3d 골격 정보를 이용한 사용자 동작 인식 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102338486B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102533091B1 (ko) 2022-03-04 2023-05-26 주식회사 한국공간데이터 사람을 재인식하는 방법 및 장치

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102510051B1 (ko) * 2022-07-25 2023-03-14 주식회사 컴플렉시온 시간 및 관절 별 기준 위치를 이용하여 동작 일치를 판단하는 전자 장치의 제어 방법
KR102490430B1 (ko) * 2022-07-25 2023-01-27 주식회사 컴플렉시온 관절 트래킹을 바탕으로, 긍정어 및 부정어 중 어느 하나에 대한 명령을 획득하는 전자 장치의 제어 방법
KR102510047B1 (ko) * 2022-07-25 2023-03-15 주식회사 컴플렉시온 관절 가동 각도 범위를 이용한 동작 인식의 노이즈를 필터링하는 전자 장치의 제어 방법
KR102510050B1 (ko) * 2022-07-25 2023-03-14 주식회사 컴플렉시온 관절 트래킹을 바탕으로 전진 및 후진 중 어느 하나에 대한 명령을 획득하는 전자 장치의 제어 방법
CN115455247B (zh) * 2022-09-26 2023-09-19 中国矿业大学 一种课堂协作学习角色判定方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010514064A (ja) * 2006-12-21 2010-04-30 本田技研工業株式会社 ラベル付けを用いた人体姿勢の推定および追跡

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150061488A (ko) * 2013-11-27 2015-06-04 한국전자통신연구원 3차원 사용자 자세 추정 방법 및 장치
KR101762010B1 (ko) * 2015-08-28 2017-07-28 경희대학교 산학협력단 스켈레톤 자세 데이터세트를 이용한 비디오 기반 상호 활동 모델링 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010514064A (ja) * 2006-12-21 2010-04-30 本田技研工業株式会社 ラベル付けを用いた人体姿勢の推定および追跡

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102533091B1 (ko) 2022-03-04 2023-05-26 주식회사 한국공간데이터 사람을 재인식하는 방법 및 장치

Also Published As

Publication number Publication date
KR20210079542A (ko) 2021-06-30

Similar Documents

Publication Publication Date Title
KR102338486B1 (ko) 3d 골격 정보를 이용한 사용자 동작 인식 방법 및 시스템
US8917907B2 (en) Continuous linear dynamic systems
Ren et al. Figure-ground segmentation improves handled object recognition in egocentric video
Gowsikhaa et al. Automated human behavior analysis from surveillance videos: a survey
Bobick et al. The recognition of human movement using temporal templates
Ahmad et al. Human action recognition using shape and CLG-motion flow from multi-view image sequences
US8706663B2 (en) Detection of people in real world videos and images
WO2019064375A1 (ja) 情報処理装置、制御方法、及びプログラム
Sun et al. Moving foreground object detection via robust SIFT trajectories
WO2001027875A1 (en) Modality fusion for object tracking with training system and method
JP6904651B2 (ja) 複数の認識エンジンを用いて人物の行動を認識するプログラム、装置及び方法
KR100572768B1 (ko) 디지탈 영상 보안을 위한 사람 얼굴 객체 자동검출 방법
KR102371127B1 (ko) 골격의 길이 정보를 이용한 제스쳐 인식 방법 및 처리 시스템
KR101762010B1 (ko) 스켈레톤 자세 데이터세트를 이용한 비디오 기반 상호 활동 모델링 방법
KR100988326B1 (ko) 사용자 맞춤형 표정 인식 방법 및 장치
Papadopoulos et al. Human action recognition using 3d reconstruction data
WO2022156317A1 (zh) 视频帧处理方法及装置、电子设备和存储介质
JP6103765B2 (ja) 行動認識装置、方法及びプログラム並びに認識器構築装置
Younsi et al. Comparative study of orthogonal moments for human postures recognition
CN107665495B (zh) 对象跟踪方法及对象跟踪装置
Wang et al. Hand motion and posture recognition in a network of calibrated cameras
Holt et al. Static Pose Estimation from Depth Images using Random Regression Forests and Hough Voting.
CN110826495A (zh) 基于面部朝向的身体左右肢体一致性跟踪判别方法及系统
Baptista-Ríos et al. Human activity monitoring for falling detection. A realistic framework
Fu et al. Recognizing context-aware activities of daily living using RGBD sensor

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant