KR20150076916A - 단위 동작에 따른 사람의 행동 인식 방법 및 시스템 - Google Patents

단위 동작에 따른 사람의 행동 인식 방법 및 시스템 Download PDF

Info

Publication number
KR20150076916A
KR20150076916A KR1020130165630A KR20130165630A KR20150076916A KR 20150076916 A KR20150076916 A KR 20150076916A KR 1020130165630 A KR1020130165630 A KR 1020130165630A KR 20130165630 A KR20130165630 A KR 20130165630A KR 20150076916 A KR20150076916 A KR 20150076916A
Authority
KR
South Korea
Prior art keywords
joint
unit operation
unit
behavior
motion
Prior art date
Application number
KR1020130165630A
Other languages
English (en)
Other versions
KR101556696B1 (ko
Inventor
권우영
서일홍
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020130165630A priority Critical patent/KR101556696B1/ko
Publication of KR20150076916A publication Critical patent/KR20150076916A/ko
Application granted granted Critical
Publication of KR101556696B1 publication Critical patent/KR101556696B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 단위 동작에 따른 사람의 행동 인식 방법 및 시스템에 관한 것으로, 보다 구체적으로는 입력부가 사람의 관절 움직임 상태를 나타내는 적어도 하나의 관절 움직임 정보를 입력받는 단계; 단위동작추출부가 상기 관절 움직임 정보로부터 적어도 하나의 주요 단위 동작을 추출하는 단계; 동작특징검출부가 상기 주요 단위 동작으로부터 관절의 동작 특징을 검출하는 단계; 및 판단부가 상기 관절의 동작 특징을 종류, 시간 및 위치 중 적어도 하나의 정보에 따라 분류하여 관절의 움직임에 따른 사람의 행동을 판단하는 단계;를 포함한다.
이러한 구성에 의해, 본 발명의 단위 동작에 따른 사람의 행동 인식 방법 및 시스템은 사람의 관절 움직임 정보 중 의미있는 주요 단위 동작을 추출하고, 추출된 주요 단위 동작을 종류, 시간, 위치 중 적어도 하나의 정보에 따라 계층적으로 분류함으로써, 관절의 움직임을 통해 사람의 행동 인식에 대한 정확도를 향상시킬 수 있는 효과가 있다.

Description

단위 동작에 따른 사람의 행동 인식 방법 및 시스템{Method and system for recognizing action of human based on unit operation}
본 발명은 단위 동작에 따른 사람의 행동 인식 방법 및 시스템에 관한 것으로, 특히 사람의 관절 움직임을 단위 동작별로 분석하여 사람의 행동을 정확하게 파악할 수 있는 단위 동작에 따른 사람의 행동 인식 방법 및 시스템에 관한 것이다.
IT 기술의 발달에 따라 사용자가 직접 명령어를 입력하지 않더라도 특정 행동을 명령으로 인식하여 시스템을 제어하는 기술의 연구가 증가하고 있는 추세이다. 즉, 게임이나 가전제품의 구동을 위해 사용자가 직접 조작하지 않더라도, 사용자의 행동을 분석하여 게임 또는 가전제품을 조작제어가 가능한 것이다. 이러한 기술을 구현하기 위해서는 사용자의 다양한 행동을 정확하게 인식하기 위한 기술의 필요성이 증대되었다.
하지만 이와 같은 사람의 행동 인식 기술은 사람의 행동으로부터 획득한 모든 데이터에 대하여 행동에 대한 특징을 추출하기 때문에, 의미없는 행동들 즉, 노이즈 데이터에 대해서도 특징을 추출하여 행동을 인식하기 때문에 행동 인식의 정확도가 감소하며, 노이즈 데이터를 포함하여 동작 특징을 추출하고 이에 대한 행동 인식을 수행하기 때문에 많은 데이터로 인해 계산량이 증가하는 문제점이 발생했다.
KR 10-2011-0064712 (통합센서 기반의 모션 캡쳐 시스템, 숭실대학교산학협력단) 2011.06.15.
상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명은 사람의 행동을 나타내는 관절 움직임 정보로부터 단위 동작을 추출한 후 추출된 단위 동작의 시간 및 위치 정보를 계층적으로 분류하여 사람의 행동을 정확하고 신속하게 인식할 수 있는 단위 동작에 따른 사람의 행동 인식 방법 및 시스템을 제공하고자 한다.
위와 같은 과제를 해결하기 위한 본 발명의 한 실시 예에 따른 단위 동작에 따른 사람의 행동 인식 방법은 입력부가 사람의 관절 움직임 상태를 나타내는 적어도 하나의 관절 움직임 정보를 입력받는 단계; 단위동작추출부가 상기 관절 움직임 정보로부터 적어도 하나의 주요 단위 동작을 추출하는 단계; 동작특징검출부가 상기 주요 단위 동작으로부터 관절의 동작 특징을 검출하는 단계; 및 판단부가 상기 관절의 동작 특징을 종류, 시간 및 위치 중 적어도 하나의 정보에 따라 분류하여 관절의 움직임에 따른 사람의 행동을 판단하는 단계;를 포함한다.
보다 바람직하게는 상기 관절 움직임 정보로부터 적어도 하나의 단위 동작을 추출하는 과정; 추출된 적어도 하나의 단위 동작에 대하여 중요도를 판단하는 과정; 및 중요도가 판단된 각 단위 동작 중 기설정된 제1 임계값을 초과하는 중요도를 갖는 단위 동작을 주요 단위 동작으로 설정하여 추출하는 과정;을 포함하는 단위동작추출부가 상기 관절 움직임 정보로부터 주요 단위 동작을 추출하는 단계를 포함할 수 있다.
특히, 기설정된 폭을 갖는 슬라이딩 윈도우(sliding Window)방식을 이용하여 상기 관절 움직임 정보로부터 적어도 하나의 단위 동작을 추출하는 관절 움직임 정보로부터 적어도 하나의 단위 동작을 추출하는 과정을 포함할 수 있다.
보다 바람직하게는 상기 적어도 하나의 주요 단위 동작에 대하여 복잡도를 측정하는 과정; 상기 주요 단위 동작에 대한 복잡도를 기설정된 제2 임계값과 비교하는 과정; 상기 제2 임계값을 초과하는 복잡도를 갖는 주요 단위 동작에 대하여 클러스터링(clustering)을 통해 그룹화하는 과정; 및 상기 클러스터링을 통해 그룹화된 주요 단위 동작에 대한 각 그룹별 대표값을 연산하여 관절의 동작 특징을 검출하는 과정;을 포함하는 동작특징검출부가 상기 주요 단위 동작으로부터 관절의 동작 특징을 검출하는 단계를 포함할 수 있다.
보다 바람직하게는 상기 적어도 하나의 주요 단위 동작에 대하여 시간을 기준으로 과거 주요 단위 동작 및 미래 주요 단위 동작으로 구분하는 과정; 상기 과거 주요 단위 동작 및 미래 주요 단위 동작에 대한 상호 정보량을 연산하는 과정; 및 상기 과거의 상호 정보량과 미래의 상호 정보량 간에 위치에 따른 가우시안 분포(Gaussian distribution)를 통해 복잡도를 측정하는 과정;을 포함하는 적어도 하나의 주요 단위 동작에 대하여 복잡도를 측정하는 과정을 포함할 수 있다.
특히, 상기 관절의 동작 특징에 대한 종류, 시간 및 위치 중 적어도 하나의 정보를 트리 구조 형태를 갖는 계층별로 나누어 분류하는 판단부가 관절의 움직임에 따른 사람의 행동을 판단하는 단계를 포함할 수 있다.
보다 바람직하게는 각 관절의 종류에 따라 동작 특징을 분류하는 과정; 동일한 관절에 대해 분류된 동작 특징을 종합하여 인식되는 행동의 종류를 판단하는 과정; 및 각 관절별 인식되는 행동의 종류를 종합하여 최종 인식되는 사람의 행동의 종류를 판단하는 과정;을 포함하는 판단부가 관절의 움직임에 따른 사람의 행동을 판단하는 단계를 포함할 수 있다.
위와 같은 과제를 해결하기 위한 본 발명의 다른 실시 예에 따른 단위 동작에 따른 사람의 행동 인식 시스템은 사람의 관절 움직임 상태를 나타내는 적어도 하나의 관절 움직임 정보를 입력받는 입력부; 상기 관절 움직임 정보로부터 적어도 하나의 주요 단위 동작을 추출하는 단위동작추출부; 추출된 상기 주요 단위 동작으로부터 관절의 동작 특징을 검출하는 동작특징검출부; 및 상기 관절의 동작 특징을 종류, 시간 및 위치 중 적어도 하나의 정보에 따라 분류하여 관절의 움직임에 따른 사람의 행동을 판단하는 판단부;를 포함한다.
특히, 3D 카메라를 통해 사람의 관절 움직임 정보를 입력받는 입력부를 포함할 수 있다.
특히, 상기 관절의 동작 특징을 종류, 시간 및 위치 중 적어도 하나의 정보를 트리 구조 형태를 갖는 계층별로 나누어 분류하는 판단부를 포함할 수 있다.
본 발명의 단위 동작에 따른 사람의 행동 인식 방법 및 시스템은 사람의 관절 움직임 정보 중 의미있는 주요 단위 동작을 추출하고, 추출된 주요 단위 동작을 종류, 시간, 위치 중 적어도 하나의 정보에 따라 계층적으로 분류함으로써, 관절의 움직임을 통해 사람의 행동 인식에 대한 정확도를 향상시킬 수 있는 효과가 있다.
또한 본 발명의 단위 동작에 따른 사람의 행동 인식 방법 및 시스템은 사람의 행동 중 의미없는 노이즈 데이터를 제외하고 의미있는 주요 단위 동작으로부터 동작 특징을 검출함으로써, 사람의 행동 인식에 필요한 데이터 계산량을 현저히 감소시켜, 사람의 행동 인식에 따른 소요시간을 단출시킬 수 있는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 단위 동작에 따른 사람의 행동 인식 시스템의 블록도이다.
도 2는 본 발명의 다른 실시 예에 따른 단위 동작에 따른 사람의 행동 인식 방법의 순서도이다.
도 3은 사람의 관절 움직임 정보를 입력받는 과정을 나타낸 도면이다.
도 4는 관절 위치에 대한 이동 궤적을 나타낸 그래프이다.
도 5는 관절 움직임 정보로부터 단위 동작을 추출하는 과정을 나타낸 그래프이다.
도 6은 단위 동작의 복잡도 측정과정을 나타낸 그래프이다.
도 7은 주요 단위 동작을 추출과정을 나타낸 알고리즘이다.
도 8은 단위 동작으로부터 동작 특징을 검출하는 과정을 나타낸 도면이다.
도 9는 계층적 시공간 분류기를 나타낸 도면이다.
이하, 본 발명을 바람직한 실시 예와 첨부한 도면을 참고로 하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예에 한정되는 것은 아니다.
이하, 도 1을 참조하여 본 발명에 따른 단위 동작에 따른 사람의 행동 인식 시스템에 대하여 자세히 살펴보도록 한다.
도 1은 본 발명의 일 실시 예에 따른 단위 동작에 따른 사람의 행동 인식 시스템의 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 단위 동작에 따른 사람의 행동 인식 시스템(100)은 입력부(120), 단위동작추출부(140), 동작특징검출부(160) 및 판단부(180)를 포함한다.
입력부(120)는 사람의 관절 움직임 상태를 나타내는 적어도 하나의 관절 움직임 정보를 입력받는다. 이러한 입력부(120)는 3D 카메라를 통해 사람의 관절 움직임 정보를 입력받을 수 있다.
단위동작추출부(140)는 상기 관절 움직임 정보로부터 적어도 하나의 주요 단위 동작을 추출한다. 이러한 단위동작추출부(140)는 상기 관절 움직임 정보로부터 슬라이딩 윈도우 방식을 이용하여 적어도 하나의 단위 동작을 추출하여, 이에 대한 중요도를 판단하며, 판단한 단위 동작별 중요도가 기설정된 임계값을 초과하는지 여부를 판단하여 주요 단위 동작을 추출한다.
동작특징검출부(160)는 추출된 상기 주요 단위 동작으로부터 관절의 동작 특징을 검출한다. 이러한 동작특징검출부(160)는 상기 단위 동작 추출부(140)를 통해 추출된 주요 단위 동작에 대하여 복잡도를 측정하고, 측정한 복잡도가 기설정된 임계값을 초과하는지 비교하여 임계값을 초과하는 주요 단위 동작을 클러스터링 과정을 통해 그룹화하고, 각 그룹의 대표값 연산을 통해 관절의 동작 특징을 검출할 수 있다.
판단부(180)는 상기 관절의 동작 특징을 종류, 시간 및 위치 중 적어도 하나의 정보에 따라 분류하여 관절의 움직임에 따른 사람의 행동을 판단한다. 이러한 판단부(180)는 상기 관절의 동작 특징을 종류, 시간 및 위치 중 적어도 하나의 정보를 트리 구조 형태를 갖는 계층별로 나누어 분류할 수 있다.
이하, 도 2를 참조하여 본 발명의 다른 실시 예에 따른 단위 동작에 따른 사람의 행동 인식 방법에 대하여 자세히 살펴보도록 한다.
도 2는 본 발명의 다른 실시 예에 따른 단위 동작에 따른 사람의 행동 인식 방법의 순서도이다.
도 2에 도시된 바와 같이, 본 발명의 단위 동작에 따른 사람의 행동 인식 방법은 먼저, 입력부(120)가 사람의 관절 움직임 상태를 나타내는 적어도 하나의 관절 움직임 정보를 입력받는다(S210). 이때, 상기 입력부(120)가 3D 카메라를 통해 사람의 관절 움직임 상태를 나타내는 사람의 관절 움직임 정보를 영상 형태로 입력받을 수 있다.
예를 들면, 도 3에 도시된 바와 같이, 사람의 왼손에 대한 움직임을 인식하기 위해, 3D 카메라가 상기 왼손의 움직임을 시간순으로 연속촬영하여 왼손 관절의 움직임을 나타내는 영상을 획득한다. 이후, 입력부가 상기 3D 카메라로부터 획득한 영상을 통해 행동을 인식하고자 하는 왼손 관절의 움직임을 나타내는 관절 움직임 정보를 수신한다.
즉, 도 3(a)에서는 사람이 차렷자세로 서 있음에 따라 사람의 엉덩이 부분에 처음 왼손이 위치하고 있다가, 도3(b)에 도시된 바와 같이, 상기 사람이 양팔을 들어올리는 경우, 처음 사람의 엉덩이 부분에 위치하는 왼손이 도 3(a)와 비교하여 엉덩이보다 더 위 쪽에 위치하는 것을 알 수 있다. 이어서, 도 3(c)에서는 사람이 양팔을 끝까지 들어올림에 따라 상기 왼손의 위치는 다른 도면의 위치와 비교하여 가장 높은 곳에 위치하는 것을 알 수 있다. 또한, 도 3(d)에서는 상기 사람이 양팔을 끝까지 들어올린 상태로 멈춰있지 않고 다시 양팔을 내림에 따라, 왼손은 도 3(c)에 비하여 상대적으로 더 낮은 위치인 사람의 머리 정도의 위치에 존재하며, 도 3(e)를 통해 사람이 양팔을 완전히 다 내려 차렷자세를 유지함에 따라, 다시 도 3(a)와 유사한 사람의 엉덩이 정도의 위치에 왼손이 존재하는 것을 알 수 있다.
결과적으로, 사람의 왼손 관절에 대한 움직임이 완만한 상승곡선과 급격한 하강곡선으로 변화하는 것을 알 수 있다.
이어서, 단위동작추출부(140)가 앞서 과정 S210에서 입력부(120)가 수신한 상기 관절 움직임 정보로부터 적어도 하나의 주요 단위 동작을 추출한다(S220).
이하, 관절 움직임 정보로부터 주요 단위 동작을 추출하는 과정에 대하여 보다 자세히 살펴보도록 한다.
먼저, 수신한 상기 관절 움직임 정보로부터 적어도 하나의 단위 동작을 추출한다. 특히, 기설정된 폭(width)을 갖는 슬라이딩 윈도우(Sliding Window)방식을 이용하여 상기 관절 움직임 정보로부터 적어도 하나의 단위 동작을 추출할 수 있다. 이때, 사용되는 슬라이딩 윈도우 방식이란, 메모리 버퍼의 일정 영역에 해당하는 윈도에 포함되는 모든 패킷을 전송하고, 그 패킷들의 전달이 확인되는 대로 이 윈도를 옆으로 옮김(slide)으로써 그 다음 패킷들을 전송하는 방식을 나타낸다. 이러한 슬라이딩 윈도우는 아직 확인을 받지 않고도 여러 패킷을 보내는 것을 가능하게 하므로, 매번 전송한 패킷에 대해 확인을 받아야만 그 다음 패킷을 전송하는 방법(Stop and wait)을 사용하는 것 보다 네트워크를 훨씬 더 효율적으로 사용할 수 있는 방식이다.
이와 같이, 추출된 적어도 하나의 단위 동작에 대하여 각각의 단위 동작별 중요도를 판단한다.
이후, 중요도가 판단된 각 단위 동작 중 기설정된 제1 임계값을 초과하는 중요도를 갖는 단위 동작을 주요 단위 동작으로 설정하여 추출한다.
보다 원활한 이해를 돕기 위해, 앞서 설명한 왼손 관절의 움직임을 예로 들어 설명하도록 한다.
도 3에서 설명한 왼손 관절의 위치 상태를 시간변화에 따라 순차적으로 그래프로 나타내면 도 4와 같이 표현될 수 있다.
도 4는 관절 위치에 대한 이동 궤적을 나타낸 그래프이다.
도 4에 도시된 바와 같이, 왼손 관절의 움직임에 따른 시간별 이동 궤적을 확인할 수 있는데, 특히, 왼손 관절의 이동 궤적 중 A 구간, B 구간, C 구간, D 구간에서 이전과 달리 급격한 위치변화가 존재하는 것을 알 수 있다. 이에 따라, 왼손 관절의 움직임을 측정하는데 있어서, 왼손 관절의 모든 움직임에 대하여 동작 특징을 추출하는 것이 아니라, 위치변화가 큰 구간 즉, 임계값을 초과하는 위치변화를 갖는 구간에 대해서만 동작 특징을 추출하는 것이 바람직하다. 예를 들면, 임계값을 초과하는 위치변화를 갖는 구간 즉, 상기 A 구간, B 구간, C 구간, D 구간을 주요 단위 동작으로 설정하여 추출할 수 있다.
도 5는 관절 움직임 정보로부터 단위 동작을 추출하는 과정을 나타낸 그래프이다.
도 5에 도시된 바와 같이, 기설정된 폭(W)을 갖는 슬라이딩 윈도우를 통해 관절의 움직임에 대한 이동 궤적을 탐색하면, S1 내지 S34와 같은 복수 개의 단위 동작을 추출할 수 있다.
이러한 단위 동작 추출과정을 왼손 관절 뿐만 아니라, 사람의 모든 관절에 대하여 각각의 관절 움직임 정보에 기초하여 단위 동작 추출과정을 반복 수행한다.
이후, 동작특징검출부(160)가 상기 주요 단위 동작으로부터 관절의 동작 특징을 검출한다(S230).
먼저, 주요 단위 동작으로부터 관절의 동작 특징을 검출하기 위해, 적어도 하나의 주요 단위 동작에 대하여 복잡도를 측정한다. 이러한 복잡도 측정과정을 도 6을 참조하여 자세히 살펴보도록 한다.
도 6은 단위 동작의 복잡도 측정과정을 나타낸 그래프이다.
도 6에 도시된 바와 같이, 단위 동작의 복잡도 측정과정은 먼저, 적어도 하나의 주요 단위 동작에 대하여 시간을 기준으로 나누어 과거 주요 단위 동작 및 미래 주요 단위 동작으로 구분한다. 예를 들어, S1 이라는 주요 단위 동작에 대하여 시간을 기준으로 하여 이등분하면, 과거 주요 단위 동작 S1 past 및 미래 주요 단위 동작 S1 future 로 나누어진다.
이후, 상기 과거 주요 단위 동작 및 미래 주요 단위 동작에 대한 상호 정보량을 하기의 기재된 수학식 1을 통해 연산한다.
[수학식 1]
Figure pat00001
이때, 상기 H(S)는 엔트로피를 나타내며, 각 시간에서의 위치는 가우시안 분포로 가정하여 하기의 수학식 2와 같이 표현될 수 있다.
[수학식 2]
Figure pat00002
상기 과거의 상호 정보량과 미래의 상호 정보량 간에 위치에 따른 가우시안 분포(Gaussian distribution)를 통해 복잡도를 측정한다. 이때, 상기 가우시안 분포는 도수분포곡선이 평균값을 중앙으로 하여 좌우대칭인 종 모양을 이루는 것을 나타낸다. 이러한 주요 단위 동작의 복잡도는 주요 단위 동작의 중요성에 따라 중요성이 높을수록 복잡도 또한 높아지고, 중요성이 낮을수록 복잡도는 낮아지는 특성을 갖는다.
이와 같이 측정된 주요 단위 동작에 대한 복잡도를 기설정된 제2 임계값과 비교하여, 상기 측정된 주요 단위 동작에 대한 복잡도가 기설정된 제2 임계값을 초과하는지 여부를 판단한다. 이때, 상기 제2 임계값은 복잡도에 대한 기준치를 나타내는 값이며, 사용자에 의해 기설정되어 그 값은 변경 가능하다.
이처럼, 기설정된 임계값과 비교하여 높은 복잡도를 갖는 주요 단위 동작을 추출하는 과정을 도 7에 도시된 알고리즘으로 표현할 수 있다.
이하, 도 8을 참조하여 주요 단위 동작으로부터 관절의 동작 특징을 검출하는 과정에 대하여 보다 자세히 살펴보도록 한다.
도 8은 단위 동작으로부터 동작 특징을 검출하는 과정을 나타낸 도면이다.
도 8에 도시된 바와 같이, 적어도 하나의 주요 단위 동작에 대하여 복잡도를 측정한 후, 측정된 주요 단위 동작에 대한 복잡도를 기설정된 제2 임계값과 비교한다.
이후, 상기 제2 임계값을 초과하는 복잡도를 갖는 주요 단위 동작에 대하여 클러스터링(clustering)을 통해 그룹화한다. 이때, 상기 클러스터링이란, 유사성 개념에 기초하여 데이터를 다수의 그룹으로 분류하는 작업 형태를 나타내는 것으로서, 본 발명에서는 유사한 형태를 갖는 주요 단위 동작들끼리 그룹화하는 과정을 나타낸다.
이와 같이, 클러스터링을 통해 그룹화된 주요 단위 동작에 대한 각 그룹(N개, 이때, N은 자연수이다.)에 대하여 각 그룹별 대표값을 연산하여 관절의 동작 특징을 검출한다. 예를 들면, 제1 그룹의 대표값이 2인 경우에는 관절의 동작 변화가 크지 않고 미세한 것을 알 수 있으며, 제5 그룹의 대표값이 10인 경우에는 관절의 동작 변화가 매우 큰 것을 알 수 있다.
판단부(180)가 상기 관절의 동작 특징을 종류, 시간 및 위치 중 적어도 하나의 정보에 따라 분류하여 관절의 움직임에 따른 사람의 행동을 판단한다(S240). 특히, 이러한 판단부(180)가 상기 관절의 동작 특징에 대한 종류, 시간 및 위치 중 적어도 하나의 정보를 트리 구조 형태를 갖는 계층별로 나누어 분류할 수 있다.
이하, 관절의 동작 특징을 종류, 시간 및 위치 중 적어도 하나의 정보에 따라 분류하여 사람의 행동을 판단하는 과정에 대하여 보다 자세히 살펴보도록 한다.
먼저, 각 관절의 종류에 따라 동작 특징을 분류한다.
이어서, 동일한 관절에 대해 분류된 동작 특징을 종합하여 인식되는 행동의 종류를 판단한다.
이후, 각 관절별 인식되는 행동의 종류를 종합하여 최종 인식되는 사람의 행동의 종류를 판단한다.
예를 들어, 주요 단위 동작에 대한 동작 특징이 추출되면, 추출된 주요 단위 동작에 대한 동작 특징을 기존의 학습된 동작 특징과 비교하여 유사도를 판단한 후, 판단한 유사도에 기초하여 주요 단위 동작의 종류를 판단할 수 있다. 이때, X 라는 주요 단위 동작의 종류, 관측된 위치, 시간에 대한 확률 표현은 하기의 수학식 3과 같이 결합 확률분포를 통해 표현할 수 있다.
[수학식 3]
Figure pat00003
이때, X는 동작 특징의 종류를 나타내고, Tx는 동작 특징이 관측된 시간, Sx는 동작 특징이 관측된 위치를 나타낸다. 특히, 상기 P(Tx, Sx|X)의 분포를 정규분포를 통해 표현하면 하기의 수학식 4와 같이 표현될 수 있다.
[수학식 4]
Figure pat00004
이때, 상기
Figure pat00005
는 시간과 공간에 대한 결합 표현을 나타낸 것이다(
Figure pat00006
= tx, sx). 또한,
Figure pat00007
는 시공간 분포의 평균값을 나타내며, 상기
Figure pat00008
는 시공간 분포의 공분산값을 나타낸다.
이에 따라, I 번째 동작 특징 관측값을 O i ={oi, ti, si}로 표현하면, 사람의 각 관절에서 추출된 n 개의 관측값들의 시계열 데이터는 o1, … on 으로 표현될 수 있다. 이때, 각 관측값들의 시계열 데이터 o1, … on 가 주어짐에 따라, 이에 따른 관절의 행동이 ci라는 행동 인식에 대한 확률은 P(ci| o1, … on)와 같이 표현될 수 있다.
도 9는 계층적 시공간 분류기를 나타낸 도면이다.
도 9에 도시된 바와 같이, 사람의 각 관절별로 관측된 복수 개의 동작 특징들의 종류, 시간 및 위치 정보를 이용하여 사람의 행동을 분류할 수 있다.
특히, i는 관절의 종류를 나타내고, O는 인식된 동작 특징, C는 각 관절별로 인식된 행동의 종류, Activity는 최종적으로 인식된 행동의 종류를 나타낸다. 즉, 첫 번째 계층(1st layer)에서는 각 관절별로 서로 다른 분류기가 존재하며, 두 번째 계층(2nd layer)에서는 상기 첫 번째 계층에서 사용한 각 관절별 분류기의 결과를 모아서 다시 한 번 분류를 수행한다. 또한 이때, 세 줄의 타원 표현은 시간, 공간, 동작 특징의 종류를 한 번에 표현하기 위한 표현 방법이다.
이에 따라, I 번째 관절 데이터가 관측되었을 때, 행동의 종류 ci에 대한 확률은 하기의 수학식 5와 같이 표현될 수 있다.
[수학식 5]
Figure pat00009
이와 같이, 각 관절에서의 행동 인식 결과를 모두 합하여 최종적인 행동의 확률 P(A=ak)은 하기의 수학식 6과 같이 표현될 수 있다.
[수학식 6]
Figure pat00010
또한, 최종 인식된 행동의 종류는 확률을 최대로 만드는 행동으로 결정되며, 하기의 수학식 7과 같이 표현될 수 있다.
[수학식 7]
Figure pat00011
또한, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
본 발명의 단위 동작에 따른 사람의 행동 인식 방법 및 시스템은 사람의 관절 움직임 정보 중 의미있는 주요 단위 동작을 추출하고, 추출된 주요 단위 동작을 종류, 시간, 위치 중 적어도 하나의 정보에 따라 계층적으로 분류함으로써, 관절의 움직임을 통해 사람의 행동 인식에 대한 정확도를 향상시킬 수 있는 효과가 있다.
또한 본 발명의 단위 동작에 따른 사람의 행동 인식 방법 및 시스템은 사람의 행동 중 의미없는 노이즈 데이터를 제외하고 의미있는 주요 단위 동작으로부터 동작 특징을 검출함으로써, 사람의 행동 인식에 필요한 데이터 계산량을 현저히 감소시켜, 사람의 행동 인식에 따른 소요시간을 단출시킬 수 있는 효과가 있다.
상기에서는 본 발명의 바람직한 실시 예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 본 발명의 기술 사상 범위 내에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 첨부된 특허청구범위에 속하는 것은 당연하다.
120: 입력부 140: 단위동작추출부
160: 동작특징검출부 180: 판단부

Claims (10)

  1. 입력부가 사람의 관절 움직임 상태를 나타내는 적어도 하나의 관절 움직임 정보를 입력받는 단계;
    단위동작추출부가 상기 관절 움직임 정보로부터 적어도 하나의 주요 단위 동작을 추출하는 단계;
    동작특징검출부가 상기 주요 단위 동작으로부터 관절의 동작 특징을 검출하는 단계; 및
    판단부가 상기 관절의 동작 특징을 종류, 시간 및 위치 중 적어도 하나의 정보에 따라 분류하여 관절의 움직임에 따른 사람의 행동을 판단하는 단계;
    를 포함하는 단위 동작에 따른 사람의 행동 인식 방법.
  2. 제1항에 있어서,
    상기 단위동작추출부가 상기 관절 움직임 정보로부터 주요 단위 동작을 추출하는 단계는
    상기 관절 움직임 정보로부터 적어도 하나의 단위 동작을 추출하는 과정;
    추출된 적어도 하나의 단위 동작에 대하여 중요도를 판단하는 과정; 및
    중요도가 판단된 각 단위 동작 중 기설정된 제1 임계값을 초과하는 중요도를 갖는 단위 동작을 주요 단위 동작으로 설정하여 추출하는 과정;
    을 포함하는 것을 특징으로 하는 단위 동작에 따른 사람의 행동 인식 방법.
  3. 제2항에 있어서,
    상기 관절 움직임 정보로부터 적어도 하나의 단위 동작을 추출하는 과정은
    기설정된 폭을 갖는 슬라이딩 윈도우(Sliding Window)방식을 이용하여 상기 관절 움직임 정보로부터 적어도 하나의 단위 동작을 추출하는 것을 특징으로 하는 단위 동작에 따른 사람의 행동 인식 방법.
  4. 제1항에 있어서,
    상기 동작특징검출부가 상기 주요 단위 동작으로부터 관절의 동작 특징을 검출하는 단계는
    상기 적어도 하나의 주요 단위 동작에 대하여 복잡도를 측정하는 과정;
    상기 주요 단위 동작에 대한 복잡도를 기설정된 제2 임계값과 비교하는 과정;
    상기 제2 임계값을 초과하는 복잡도를 갖는 주요 단위 동작에 대하여 클러스터링(clustering)을 통해 그룹화하는 과정; 및
    상기 클러스터링을 통해 그룹화된 주요 단위 동작에 대한 각 그룹별 대표값을 연산하여 관절의 동작 특징을 검출하는 과정;
    을 포함하는 것을 특징으로 하는 단위 동작에 따른 사람의 행동 인식 방법.
  5. 제4항에 있어서,
    상기 적어도 하나의 주요 단위 동작에 대하여 복잡도를 측정하는 과정은
    상기 적어도 하나의 주요 단위 동작에 대하여 시간을 기준으로 과거 주요 단위 동작 및 미래 주요 단위 동작으로 구분하는 과정;
    상기 과거 주요 단위 동작 및 미래 주요 단위 동작에 대한 상호 정보량을 연산하는 과정; 및
    상기 과거의 상호 정보량과 미래의 상호 정보량 간에 위치에 따른 가우시안 분포(Gaussian distribution)를 통해 복잡도를 측정하는 과정;
    을 포함하는 것을 특징으로 하는 단위 동작에 따른 사람의 행동 인식 방법.
  6. 제1항에 있어서,
    상기 판단부가 관절의 움직임에 따른 사람의 행동을 판단하는 단계는
    상기 관절의 동작 특징에 대한 종류, 시간 및 위치 중 적어도 하나의 정보를 트리 구조 형태를 갖는 계층별로 나누어 분류하는 것을 특징으로 하는 단위 동작에 따른 사람의 행동 인식 방법.
  7. 제1항에 있어서,
    상기 판단부가 관절의 움직임에 따른 사람의 행동을 판단하는 단계는
    각 관절의 종류에 따라 동작 특징을 분류하는 과정;
    동일한 관절에 대해 분류된 동작 특징을 종합하여 인식되는 행동의 종류를 판단하는 과정; 및
    각 관절별 인식되는 행동의 종류를 종합하여 최종 인식되는 사람의 행동의 종류를 판단하는 과정;
    을 포함하는 것을 특징으로 하는 단위 동작에 따른 사람의 행동 인식 방법.
  8. 사람의 관절 움직임 상태를 나타내는 적어도 하나의 관절 움직임 정보를 입력받는 입력부;
    상기 관절 움직임 정보로부터 적어도 하나의 주요 단위 동작을 추출하는 단위동작추출부;
    추출된 상기 주요 단위 동작으로부터 관절의 동작 특징을 검출하는 동작특징검출부; 및
    상기 관절의 동작 특징을 종류, 시간 및 위치 중 적어도 하나의 정보에 따라 분류하여 관절의 움직임에 따른 사람의 행동을 판단하는 판단부;
    를 포함하는 단위 동작에 따른 사람의 행동 인식 시스템.
  9. 제8항에 있어서,
    상기 입력부는
    3D 카메라를 통해 사람의 관절 움직임 정보를 입력받는 것을 특징으로 하는 단위 동작에 따른 사람의 행동 인식 시스템.
  10. 제8항에 있어서,
    상기 판단부는
    상기 관절의 동작 특징을 종류, 시간 및 위치 중 적어도 하나의 정보를 트리 구조 형태를 갖는 계층별로 나누어 분류하는 것을 특징으로 하는 단위 동작에 따른 사람의 행동 인식 시스템.
KR1020130165630A 2013-12-27 2013-12-27 단위 동작에 따른 사람의 행동 인식 방법 및 시스템 KR101556696B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130165630A KR101556696B1 (ko) 2013-12-27 2013-12-27 단위 동작에 따른 사람의 행동 인식 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130165630A KR101556696B1 (ko) 2013-12-27 2013-12-27 단위 동작에 따른 사람의 행동 인식 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20150076916A true KR20150076916A (ko) 2015-07-07
KR101556696B1 KR101556696B1 (ko) 2015-10-01

Family

ID=53789779

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130165630A KR101556696B1 (ko) 2013-12-27 2013-12-27 단위 동작에 따른 사람의 행동 인식 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101556696B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150128006A (ko) * 2014-05-08 2015-11-18 한양대학교 산학협력단 계층적 은닉 마르코프 모델을 이용한 행동 인식 방법 및 장치
KR20180001403A (ko) * 2016-06-24 2018-01-04 한양대학교 산학협력단 인식 동작의 피드백을 이용하는 행동 인식 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150128006A (ko) * 2014-05-08 2015-11-18 한양대학교 산학협력단 계층적 은닉 마르코프 모델을 이용한 행동 인식 방법 및 장치
KR20180001403A (ko) * 2016-06-24 2018-01-04 한양대학교 산학협력단 인식 동작의 피드백을 이용하는 행동 인식 방법 및 장치

Also Published As

Publication number Publication date
KR101556696B1 (ko) 2015-10-01

Similar Documents

Publication Publication Date Title
EP3191989B1 (en) Video processing for motor task analysis
US11789545B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
CN111027487B (zh) 基于多卷积核残差网络的行为识别系统、方法、介质及设备
US20210250420A1 (en) Device-free activity identification using fine-grained wifi signatures
JP6969611B2 (ja) 情報処理システム、制御方法、及びプログラム
US8620024B2 (en) System and method for dynamic gesture recognition using geometric classification
JP2014137818A (ja) 手の平開閉動作識別方法と装置、マン・マシン・インタラクション方法と設備
KR101682268B1 (ko) 다중 클래스 svm과 트리 분류를 이용한 제스처 인식 장치 및 방법
US11922317B2 (en) Learning data generation apparatus, learning model generation system, learning data generation method, and non-transitory storage medium
CN105739688A (zh) 一种基于情感体系的人机交互方法、装置和交互系统
JP2016506569A (ja) 機械学習用リソース割り当て
CN110069129B (zh) 确定系统和确定方法
CN112114675B (zh) 基于手势控制的非接触电梯键盘的使用方法
CN104850219A (zh) 估计附着物体的人体姿势的设备和方法
KR101762010B1 (ko) 스켈레톤 자세 데이터세트를 이용한 비디오 기반 상호 활동 모델링 방법
JP6977345B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN115294658A (zh) 一种面向多应用场景的个性化手势识别系统及其手势识别方法
KR101899590B1 (ko) 손 모양 및 동작 인식장치 및 방법
Gharasuie et al. Real-time dynamic hand gesture recognition using hidden Markov models
CN108496185A (zh) 用于对象检测的系统和方法
Chua et al. Vision-based hand grasping posture recognition in drinking activity
KR101556696B1 (ko) 단위 동작에 따른 사람의 행동 인식 방법 및 시스템
Abedi et al. Modification of deep learning technique for face expressions and body postures recognitions
KR101762400B1 (ko) 행동 인식 방법 및 그 장치
CN103400118B (zh) 一种映射关系自适应调整的手势控制方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180702

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 5