KR20150128006A - 계층적 은닉 마르코프 모델을 이용한 행동 인식 방법 및 장치 - Google Patents

계층적 은닉 마르코프 모델을 이용한 행동 인식 방법 및 장치 Download PDF

Info

Publication number
KR20150128006A
KR20150128006A KR1020140054670A KR20140054670A KR20150128006A KR 20150128006 A KR20150128006 A KR 20150128006A KR 1020140054670 A KR1020140054670 A KR 1020140054670A KR 20140054670 A KR20140054670 A KR 20140054670A KR 20150128006 A KR20150128006 A KR 20150128006A
Authority
KR
South Korea
Prior art keywords
markov model
learning
recognition
hidden markov
behavior
Prior art date
Application number
KR1020140054670A
Other languages
English (en)
Other versions
KR101693740B1 (ko
Inventor
서일홍
김민구
이상형
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020140054670A priority Critical patent/KR101693740B1/ko
Publication of KR20150128006A publication Critical patent/KR20150128006A/ko
Application granted granted Critical
Publication of KR101693740B1 publication Critical patent/KR101693740B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)

Abstract

계층적 은닉 마르코프 모델을 이용한 행동 인식 방법 및 장치에 관한 것으로서, 입력받은 초기 학습 데이터 및 학습 데이터에 부여된 라벨을 이용하여 계층적 은닉 마르코프 모델을 학습하고, 행동인식을 위한 행동 데이터를 입력받고, 행동 데이터로부터 계층적 은닉 마르코프 모델에 포함된 하위 계층을 이용하여 인식 값을 도출하며, 인식 값으로부터 계층적 은닉 마르코프 모델에 포함된 상위 계층을 이용하여 인식 결과를 도출한다.

Description

계층적 은닉 마르코프 모델을 이용한 행동 인식 방법 및 장치{Apparatus and method for activity recognition by using layered hidden markov model}
본 발명은 계층적 은닉 마르코프 모델을 이용한 행동 인식 방법에 관한 것으로, 특히 계층적 은닉 마르코프 모델의 성능을 더욱 높이도록 상위 계층의 인식 정보에 기초하여 하위 계층의 인식성능을 높일 수 있는 피드백 메커니즘을 적용한 방법에 관한 것이다.
Oliver et al.은 몸, 오른손, 왼손을 사용한 것과 비슷한 맥락의 다양한 정보를 이용한 행동 인식을 위한 계층적 은닉 마르코프 모델(Layered Hidden Markov Model: LHMM)을 제안하였다.
LHMM의 상위 계층(upper layer)은 하위 계층(lower layer)에서 1차적으로 인식한 결과들을 모아 인식하게 된다. 이때, 상위 계층은 하위 계층보다 공간적으로 다양한 오른손, 왼손, 몸과 같은 더 다양한 종류를 더 오랜 시간 관측한 데이터를 이용하여 인식할 수 있다. 이러한 LHMM은 하나의 HMM으로 모델링할 때에 비해 학습해야 하는 파라미터의 개수가 적으므로, 같은 양의 학습데이터를 가지고 더욱 잘 학습시킬 수 있고, 이에 따라 인식률이 더욱 높다. 또한, LHMM의 상위 계층은 하위 계층이 잘못 인식하는 상황까지 사전에 학습 되어 있으므로, 상위 계층은 하위 계층으로부터 잘못 인식한 결과를 입력받더라도 크게 성능이 저하되지 않는다.
한편, 이하에서 인용되는 선행기술 문헌에는 은닉 마르코프 모델 기반 동작 인식 방법을 소개하고, 동작의 특징점들을 추출하고 동작의 특징점들의 시간에 따른 위치 변화를 은닉 마르코프 모델을 이용하여 동작 패턴 모델링을 수행한 후 동작 패턴 모델링과 사용자 동작을 비교하여 동작 인식 및 동작 유사도를 추출하는 방법을 제안하고 있다. 하지만, 상기 선행기술은 간단한 제스처 등의 인식에는 적용가능 하나, 복잡한 행동의 높은 인식률을 필요로 하는 분야에는 인식률이 낮아 적용이 어렵다는 치명적인 단점이 존재한다.
이와 같은 관점에서, 복잡한 행동들을 더욱 높은 인식률로 인식할 수 있는 기술적 수단이 필요하다는 것을 알 수 있다.
공개특허공보 제 10-2010-0087512 (2010.08.05)
따라서, 본 발명이 해결하고자 하는 첫 번째 과제는 입력받은 초기 학습 데이터 및 학습 데이터에 부여된 라벨을 이용하여 계층적 은닉 마르코프 모델을 학습하고, 행동 데이터를 입력받아 계층적 은닉 마르코프 모델을 이용하여 인식 결과를 도출하되, 피드백 매커니즘을 적용하여 인식 성능을 높일 수 있는 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 두 번째 과제는 입력받은 초기 학습 데이터 및 학습 데이터에 부여된 라벨을 이용하여 계층적 은닉 마르코프 모델을 학습하고, 행동 데이터를 입력받아 계층적 은닉 마르코프 모델을 이용하여 인식 결과를 도출하되, 피드백 매커니즘을 적용하여 인식 성능을 높일 수 있는 장치를 제공하는 것이다.
상기 첫 번째 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 행동 인식 장치가 입력받은 초기 학습 데이터 및 상기 학습 데이터에 부여된 라벨을 이용하여 계층적 은닉 마르코프 모델(Layered Hidden Markov Model)을 학습하는 단계; 상기 행동 인식 장치가 행동인식을 위한 행동 데이터를 입력받고, 상기 행동 데이터로부터 상기 계층적 은닉 마르코프 모델에 포함된 하위 계층을 이용하여 인식 값을 도출하는 단계; 및 상기 행동 인식 장치가 상기 인식 값으로부터 상기 계층적 은닉 마르코프 모델에 포함된 상위 계층을 이용하여 인식 결과를 도출하는 단계를 포함하는 계층적 은닉 마르코프 모델을 이용한 행동 인식 방법을 제공한다.
상기된 일 실시예에 따른 상기 행동 인식 장치가 상기 상위 계층의 은닉 마르코프 모델을 디코딩(decoding) 하여 상기 라벨을 추출하는 단계; 및 상기 행동 인식 장치가 상기 추출된 라벨 및 상기 인식 결과를 이용하여 상기 하위 계층의 은닉 마르코프 모델에 피드백(feedback)하는 단계를 더 포함하는 계층적 은닉 마르코프 모델을 이용한 행동 인식 방법일 수 있다.
상기된 일 실시예에 따른 상기 인식 결과를 도출하는 단계는, 상기 행동 인식 장치가 맥스빌리프(maxbelief) 기법을 이용하여 상기 인식 값에 포함된 모델 중 행동에 대한 적합성이 가장 높은 모델을 선별하는 단계; 및 상기 행동 인식 장치가 상기 선별된 모델 및 상기 선별된 모델에 부여된 라벨을 상기 학습된 상위 계층의 은닉 마르코프 모델을 이용하여 인식 결과를 도출하는 단계를 포함하는 계층적 은닉 마르코프 모델을 이용한 행동 인식 방법일 수 있다.
상기된 일 실시예에 따른 상기 계층적 은닉 마르코프 모델을 학습하는 단계; 상기 행동 인식 장치가 상기 학습 값 도출에서 제외된 초기 학습 데이터 및 상기 제외된 초기 학습 데이터에 부여된 라벨을 이용하여 상기 하위 계층의 은닉 마르코프 모델을 학습함으로써, 학습 결과를 도출하는 단계; 및 상기 행동 인식 장치가 상기 학습 결과 및 상기 제외된 초기 학습 데이터에 부여된 라벨을 이용하여 상기 상위 계층의 은닉 마르코프 모델을 학습하는 단계를 더 포함하는 계층적 은닉 마르코프 모델을 이용한 행동 인식 방법일 수 있다.
상기된 일 실시예에 따른 상기 계층적 은닉 마르코프 모델을 학습하는 단계는, 상기 행동 인식 장치가 입력받은 초기 학습 데이터 및 상기 학습 데이터에 부여된 라벨을 이용하여 하위 계층의 은닉 마르코프 모델을 학습함으로써, 학습 값을 도출하는 단계; 및 상기 행동 인식 장치가 상기 학습 값 및 상기 라벨을 이용하여 상위 계층의 은닉 마르코프 모델을 학습하는 단계를 포함하는 계층적 은닉 마르코프 모델을 이용한 행동 인식 방법일 수 있다.
상기 두 번째 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 초기 학습 데이터 및 행동 인식을 위한 행동 데이터를 입력받는 입력부; 상기 입력받은 초기 학습 데이터 및 상기 학습 데이터에 부여된 라벨을 이용하여 은닉 마르코프 모델을 학습하고, 상기 입력받은 행동 데이터로부터 상기 계층적 은닉 마르코프 모델에 포함된 하위 계층을 이용하여 인식 값을 도출하며, 상기 인식 값으로부터 상기 계층적 은닉 마르코프 모델에 포함된 상위 계층을 이용하여 인식 결과를 도출하는 처리부; 및 상기 인식 결과를 출력하는 출력부를 포함하는 계층적 은닉 마르코프 모델을 이용한 행동 인식 장치를 제공한다.
상기된 일 실시예에 따른 상기 처리부는, 상기 상위 계층의 은닉 마르코프 모델을 디코딩하여 상기 라벨을 추출하며, 상기 추출된 라벨 및 상기 인식 결과를 이용하여 상기 하위 계층의 은닉 마르코프 모델에 피드백하는 것을 특징으로 하는 계층적 은닉 마르코프 모델을 이용한 행동 인식 장치일 수 있다.
상기된 일 실시예에 따른 상기 처리부는, 맥스빌리프 기법을 이용하여 상기 인식 값에 포함된 모델 중 행동에 대한 적합성이 가장 높은 모델을 선별하며, 상기 선별된 모델 및 상기 선별된 모델에 부여된 라벨을 상기 학습된 상위 계층의 은닉 마르코프 모델을 이용하여 인식 결과를 도출하는 것을 특징으로 하는 계층적 은닉 마르코프 모델을 이용한 행동 인식 장치일 수 있다.
상기된 일 실시예에 따른 상기 처리부는, 상기 학습 값 도출에서 제외된 초기 학습 데이터 및 상기 제외된 초기 학습 데이터에 부여된 라벨을 이용하여 상기 하위 계층의 은닉 마르코프 모델을 학습하고, 학습 결과를 도출하며, 상기 학습 결과 및 상기 제외된 초기 학습 데이터에 부여된 라벨을 이용하여 상기 상위 계층의 은닉 마르코프 모델을 학습하는 것을 특징으로 하는 계층적 은닉 마르코프 모델을 이용한 행동 인식 장치일 수 있다.
상기된 일 실시예에 따른 상기 처리부는, 상기 입력받은 초기 학습 데이터 및 상기 학습 데이터에 부여된 라벨을 이용하여 하위 계층의 은닉 마르코프 모델을 학습하고, 학습 값을 도출하며, 상기 학습 값 및 상기 라벨을 이용하여 상위 계층의 은닉 마르코프 모델을 학습하는 것을 특징으로 하는 계층적 은닉 마르코프 모델을 이용한 행동 인식 장치일 수 있다.
본 발명에 따르면, 계층적 은닉 마르코프 모델의 성능을 더욱 높이기 위하여 상위 계층의 인식 정보를 바탕으로 하위 계층의 인식 성능을 높일 수 있는 피드백 매커니즘을 적용함으로써, 피드백 매커니즘을 통해 높아진 하위 계층의 인식 성능을 바탕으로 최종적으로 상위 계층의 인식 성능을 높일 수 있는 효과가 있다.
도 1은 종래의 계층적 은닉 마르코프 모델을 이용한 행동 인식 방법을 도시한 도면이다.
도 2는 본 발명의 일 실시예들이 채택하고 있는 계층적 은닉 마르코프 모델을 이용한 행동 인식 방법을 도시한 흐름도이다.
도 3a는 본 발명의 일 실시예에 따른 학습 단계를 도시한 도면이다.
도 3b는 본 발명의 일 실시예에 따른 인식 단계를 도시한 도면이다.
도 3c는 본 발명의 일 실시예에 따른 인식 단계에서의 피드백 과정을 도시한 도면이다.
도 4는 본 발명의 일 실시예들이 채택하고 있는 계층적 은닉 마르코프 모델을 이용한 행동 인식 장치를 도시한 블럭도이다.
도 5는 본 발명의 일 실시예에 따른 실험에 사용된 행동들을 예시하여 도시한 도면이다.
본 발명의 실시예들을 설명하기에 앞서, 기존의 LHMM을 이용한 행동인식에서 발생하는 문제점들을 검토한 후, 이들 문제점을 해결하기 위해 본 발명의 실시예들이 채택하고 있는 기술적 수단을 개괄적으로 소개하도록 한다.
도 1은 종래의 계층적 은닉 마르코프 모델을 이용한 행동 인식 방법을 도시한 도면이다.
보다 구체적으로, 계층적 은닉 마르코프 모델(Layered Hidden Markov Model: LHMM)은 행동인식을 위해 제시된 모델로서, 시간성을 갖는 순차 데이터를 인식하는데 좋은 성능을 갖는 은닉 마르코프 모델을 계층적인 구조로 사용한 것이다. 이러한 LHMM은 하위 계층에서 시간, 공간적으로 적은 데이터를 가지고 1차적으로 추론한 데이터를 이용하여 상위 계층에서 하위계층보다 시간, 공간적으로 많고 정리된 데이터를 가지고 추론하게 함으로써, 행동인식 성능을 높일 수 있다. 또한, 상기 LHMM은 일반적으로 상위계층의 인식률이 하위 계층보다 좋으며 하위 계층의 인식률을 바탕으로 상위계층의 인식률이 변화할 수 있다. 반면, 상기 계층적 은닉 마르코프 모델은 간단한 제스처 등의 인식에는 적용가능 하나, 복잡한 행동의 높은 인식률을 필요로 하는 분야에는 인식률이 낮아 적용이 어렵다는 치명적인 단점이 존재한다.
따라서, 본 발명의 실시예들은 하위 계층의 인식 결과보다 정확한 상위 계층의 인식 결과를 이용하여 하위 계층의 인식률을 높이고, 높아진 하위 계층의 인식률을 바탕으로 상위계층의 인식률을 향상시킬 수 있는 기술적 수단을 제안하고자 한다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 구체적으로 설명하도록 한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
도 2는 본 발명의 일 실시예들이 채택하고 있는 계층적 은닉 마르코프 모델을 이용한 행동 인식 방법을 도시한 흐름도로서, 행동 인식 장치가 입력받은 초기 학습 데이터 및 상기 학습 데이터에 부여된 라벨을 이용하여 계층적 은닉 마르코프 모델(Layered Hidden Markov Model)을 학습하고, 상기 행동 인식 장치가 행동인식을 위한 행동 데이터를 입력받으며, 상기 행동 데이터로부터 상기 계층적 은닉 마르코프 모델에 포함된 하위 계층을 이용하여 인식 값을 도출함으로써, 상기 행동 인식 장치가 상기 인식 값으로부터 상기 계층적 은닉 마르코프 모델에 포함된 상위 계층을 이용하여 인식 결과를 도출한다.
보다 구체적으로, S110 단계에서, 행동 인식 장치가 입력받은 초기 학습 데이터 및 상기 학습 데이터에 부여된 라벨을 이용하여 계층적 은닉 마르코프 모델을 학습한다. 여기서, S110 단계는 이하에서 도 3a를 통해 보다 구체적으로 설명하도록 한다.
도 3a는 본 발명의 일 실시예에 따른 학습 단계를 도시한 도면으로서, o는 관측 값이고,
Figure pat00001
는 은닉 마르코프 모델을 통해 추정된 로드 우도 값이고, l은 최대 우도 법을 통해 도출된 인식 결과 값이며, s는 피드백 정보로 사용된 학습 데이터의 의미 정보일 수 있다.
보다 구체적으로, 상기 행동 인식 장치가 입력받은 초기 학습 데이터 및 상기 학습 데이터에 부여된 라벨을 이용하여 하위 계층의 은닉 마르코프 모델(31)을 하고, 학습 값을 도출하며, 상기 행동 인식 장치가 상기 학습 값 및 상기 라벨을 이용하여 상위 계층의 은닉 마르코프 모델(32)을 학습할 수 있다. 즉, 계층적 은닉 마르코프 모델의 인식 성능을 높이기 위해서는 어떠한 정보를 피드백하여 성능을 높일 것인가 결정하는 것이 중요하다. 본 발명에서는 학습 데이터마다 주어지는 라벨(semantics)를 이용하였다. 따라서, 피드백 메커니즘을 사용하기 위해서 LHMM을 학습시키는데 라벨정보와 학습데이터가 같이 사용하여 하위 계층의 은닉 마르코프 모델을 학습시킬 수 있다. 이후, 하위 계층(31)의 인식결과와 상기 학습 데이터의 라벨정보를 이용하여 상위 계층의 은닉 마르코프 모델(32)을 학습시킬 수 있다.
다시 말해, 상기 학습 데이터를 정해진 시간, 공간적 범위에 맞게 나누고, 그 데이터가 의미하는 정보와 함께 묶어 하위 계층의 은닉 마르코프 모델(31)을 학습할 수 있다. 이후, 학습된 하위 계층(31)을 바탕으로 새로운 학습 데이터를 이용하여 하위 계층(31)의 인식 결과를 추론하고, 추론된 인식 결과와 그 인식 결과가 의미하는 정보와 함께 상위 계층의 은닉 마르코프 모델(32)을 학습할 수 있다.
또한, 상기 행동 인식 장치가 상기 학습 값 도출에서 제외된 초기 학습 데이터 및 상기 제외된 초기 학습 데이터에 부여된 라벨을 이용하여 하위 계층의 은닉 마르코프 모델(31)을 학습하고, 학습 결과를 도출하며, 상기 행동 인식 장치가 상기 학습 결과 및 상기 제외된 초기 학습 데이터에 부여된 라벨을 이용하여 상위 계층의 은닉 마르코프 모델(32)을 학습할 수 있다. 여기서, 사용되지 않은 학습 데이터를 이용해 상위 계층(32)을 학습시키는 것은 하위 계층(31)이 잘못 인식하는 경우도 상위 계층(32)을 정상적인 인식으로 학습시키기 위함일 수 있다.
이제 다시 도 2로 돌아가 S120 단계 이후를 설명하도록 한다.
S120 단계에서, 상기 행동 인식 장치가 행동인식을 위한 행동 데이터를 입력받고, 상기 행동 데이터로부터 상기 계층적 은닉 마르코프 모델에 포함된 하위 계층을 이용하여 인식 값을 도출한다.
S130 단계에서, 상기 행동 인식 장치가 상기 인식 값으로부터 상기 계층적 은닉 마르코프 모델에 포함된 상위 계층을 이용하여 인식 결과를 도출한다.
여기서, S120 단계 및 S130 단계의 인식 과정은 이하에서 도 3b를 통해 보다 구체적으로 설명하도록 한다.
도 3b는 본 발명의 일 실시예에 따른 인식 단계를 도시한 도면으로서, o는 관측 값이고,
Figure pat00002
는 은닉 마르코프 모델을 통해 추정된 로드 우도 값이고, l은 최대 우도 법을 통해 도출된 인식 결과 값이며, s는 피드백 정보로 사용된 학습 데이터의 의미 정보일 수 있다.
보다 구체적으로, 인식단계에서는 입력 데이터의 라벨정보는 알 수 없지만 은닉 마르코프 모델의 특성상 부분적인 정보인 라벨정보는 없고 입력데이터만 있는 정보만을 이용하여도 인식할 수 있다. 따라서, 상기 부분적인 정보인 행동 인식을 위한 행동 데이터만을 이용하여 하위 계층(31)에서 인식결과를 도출하고, 부분적인 정보인 하위 계층(31)의 인식 결과만을 이용하여 상위 계층(32)에서 인식 결과를 도출할 수 있다.
다시 말해, 처음 인식하고자 하는 데이터가 입력되면 S110 단계와 같이 입력된 데이터를 정해진 시간, 공간적 범위에 맞게 나누고 하위계층(31)에 입력하여 인식 결과를 추론할 수 있다. 이후, 하위 계층(31)에서 추론된 인식결과를 이용하여 상위 계층(32)의 인식결과를 추론할 수 있다.
또한, 상기 행동 인식 장치가 맥스빌리프(maxbelief) 기법을 이용하여 상기 인식 값에 포함된 모델 중 행동에 대한 적합성이 가장 높은 모델을 선별하고, 상기 선별된 모델 및 상기 선별된 모델에 부여된 라벨을 상기 학습된 상위 계층의 은닉 마르코프 모델(32)을 이용하여 인식 결과를 도출할 수 있다. 다시 말해, 은닉 마르코프 모델의 추론 결과는 각기 다른 행동들에 대한 모델들의 데이터에 대한 적합성인 확률일 수 있다. 이러한 상기 각기 다른 모델들의 확률들을 상위 계층(32)의 입력으로 사용하는 방법(distributional)이 있고, 상기 각기 다른 모델들의 확률들 중 가장 높은 확률을 갖는 모델의 라벨을 상위 계층(32)의 입력으로 사용하는 방법(maxbelief)이 있다. 본 발명의 실시예에서는 상기 맥스빌리프 방법을 사용하여 상위 계층의 은닉 마르코프 모델(32)을 통해 인식 결과를 도출할 수 있다.
한편, 도 3c는 본 발명의 일 실시예에 따른 인식 단계에서의 피드백 과정을 도시한 도면으로서, o는 관측 값이고,
Figure pat00003
는 은닉 마르코프 모델을 통해 추정된 로드 우도 값이고, l은 최대 우도 법을 통해 도출된 인식 결과 값이며, s는 피드백 정보로 사용된 학습 데이터의 의미 정보일 수 있다.
보다 구체적으로, 상기 행동 인식 장치가 상기 상위 계층의 은닉 마르코프 모델(32)을 디코딩(decoding) 하여 상기 라벨을 추출하며, 상기 추출된 라벨 및 상기 인식 결과를 이용하여 상기 하위 계층의 은닉 마르코프 모델(31)에 피드백(feedback)할 수 있다. 즉, 인식된 라벨을 포함하는 은닉 마르코프 모델을 디코딩하여 도 1의 S110 단계에서 은닉 마르코프 모델에 주어진 라벨(semantics)을 생성하고, 이를 다시 하위 계층(31)의 인식에 사용할 수 있다.
다시 말해, 상위 계층(32)의 인식결과를 바탕으로 하위 계층(31)의 의미정보(semantics)를 추론함으로써, 하위 계층(31)에서 상기 추론된 의미 정보를 피드백 받아 다음 추론이 이 정보를 입력 데이터와 함께 사용하여 추론할 수 있다. 따라서, 위의 과정을 반복함으로써, 상위 계층(32)의 인식 결과를 이용하여 하위 계층(31)의 성능을 높일 수 있다.
도 4는 본 발명의 일 실시예들이 채택하고 있는 계층적 은닉 마르코프 모델을 이용한 행동 인식 장치를 도시한 블럭도로서, 계층적 은닉 마르코프 모델을 이용한 행동 인식 장치(40)는 앞서 기술한 도 2의 각 과정에 대응하는 구성을 포함한다. 따라서, 여기서는 설명의 중복을 피하기 위해 시스템의 세부구성을 중심으로 그 기능을 약술하도록 한다.
입력부(41)는 초기 학습 데이터 및 행동 인식을 위한 행동 데이터를 입력받는다.
처리부(42) 상기 입력받은 초기 학습 데이터 및 상기 학습 데이터에 부여된 라벨을 이용하여 은닉 마르코프 모델을 학습하고, 상기 입력받은 행동 데이터로부터 상기 계층적 은닉 마르코프 모델에 포함된 하위 계층을 이용하여 인식 값을 도출하며, 상기 인식 값으로부터 상기 계층적 은닉 마르코프 모델에 포함된 상위 계층을 이용하여 인식 결과를 도출한다.
출력부(43)는 상기 인식 결과를 출력한다.
또한, 처리부(42)는 상기 상위 계층의 은닉 마르코프 모델을 디코딩하여 상기 라벨을 추출하며, 상기 추출된 라벨 및 상기 인식 결과를 이용하여 상기 하위 계층의 은닉 마르코프 모델에 피드백할 수 있다.
또한, 처리부(42)는 맥스빌리프 기법을 이용하여 상기 인식 값에 포함된 모델 중 행동에 대한 적합성이 가장 높은 모델을 선별하며, 상기 선별된 모델 및 상기 선별된 모델에 부여된 라벨을 상기 학습된 상위 계층의 은닉 마르코프 모델을 이용하여 인식 결과를 도출할 수 있다.
또한, 처리부(42)는 상기 학습 값 도출에서 제외된 초기 학습 데이터 및 상기 제외된 초기 학습 데이터에 부여된 라벨을 이용하여 상기 하위 계층의 은닉 마르코프 모델을 학습하고, 학습 결과를 도출하며, 상기 학습 결과 및 상기 제외된 초기 학습 데이터에 부여된 라벨을 이용하여 상기 상위 계층의 은닉 마르코프 모델을 학습할 수 있다.
또한, 처리부(42)는 상기 입력받은 초기 학습 데이터 및 상기 학습 데이터에 부여된 라벨을 이용하여 하위 계층의 은닉 마르코프 모델을 학습하고, 학습 값을 도출하며, 상기 학습 값 및 상기 라벨을 이용하여 상위 계층의 은닉 마르코프 모델을 학습할 수 있다.
도 5는 본 발명의 일 실시예에 따른 실험에 사용된 행동들을 예시하여 도시한 도면으로서, 본 발명의 유용성을 검증하기 위하여 사용된 24 종류의 행동 데이터 중 일부이다.
도 5의 데이터를 이용하여 1층과 2층의 은닉 마르코프 모델은 사람의 두 팔과 몸통을 각각 모델링하고, 마지막 3층에서는 이러한 정보들을 모두 모아서 최종적으로 행동의 인식 결과를 도출하여 비교하도록 기존의 계층적 은닉 마르코프 모델과 본 발명이 제안하는 피드백 메커니즘을 적용한 계층적 은닉 마르코프 모델을 만들었다.
이하의 표 1은 이동식 윈도우 크기에 따른 두 모델의 인식 성능을 나타낸 것이다.
Figure pat00004
표 1에서 기존의 계층적 은닉 마르코프 모델과 본 발명이 제안하는 피드백 메커니즘을 적용한 계층적 은닉 마르코프 모델을 비교해 보면 제시된 모델이 기존의 모델보다 10% 이상의 높은 인식 성능을 보이는 것을 알 수 있다.
한편, 본 발명이 제안하는 피드백 메커니즘을 적용한 계층적 은닉 마르코프 모델의 인식 결과는 다음과 같은 두 가지의 경우를 가정할 수 있다.
첫 번째로 계층적 은닉 마르코프 모델의 상의 계층의 인식률이 하위 계층의 인식률보다 좋은 경우이다. 이는 상위 계층이 하위 계층보다 더 다양한 종류의 더 오랜 시간 관측한 데이터를 이용하여 인식결과를 만들기 때문에 합당한 인식 결과일 수 있다.
두 번째로 계층적 은닉 마르코프 모델의 하위 계층의 인식률이 높아지면서 상위 계층의 인식률도 높아진 경우이다. 이는 상위 계층의 인식 결과가 하위 계층의 인식 결과들을 바탕으로 도출되므로, 합당한 인식 결과일 수 있다.
따라서, 상기된 본 발명에 따르면, 기존에 사람의 행동을 인식하는데 사용돼 왔던 계층적 은닉 마르코프 모델의 성능을 향상시킬 수 있다. 나아가, 더욱 높은 성능을 갖는 행동인식 모델을 제안함으로써, 행동 인식을 바탕으로 한 다양한 엔터테인먼트 제품 및 로봇 제품군의 상용화가 가능할 수 있다.
한편, 본 발명은 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상에서 본 발명에 대하여 그 다양한 실시예들을 중심으로 살펴보았다. 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
40 : 계층적 은닉 마르코프 모델을 이용한 행동 인식 장치
41 : 입력부
42 : 처리부
43 : 출력부

Claims (10)

  1. 행동 인식 장치가 입력받은 초기 학습 데이터 및 상기 학습 데이터에 부여된 라벨을 이용하여 계층적 은닉 마르코프 모델(Layered Hidden Markov Model)을 학습하는 단계;
    상기 행동 인식 장치가 행동인식을 위한 행동 데이터를 입력받고, 상기 행동 데이터로부터 상기 계층적 은닉 마르코프 모델에 포함된 하위 계층을 이용하여 인식 값을 도출하는 단계; 및
    상기 행동 인식 장치가 상기 인식 값으로부터 상기 계층적 은닉 마르코프 모델에 포함된 상위 계층을 이용하여 인식 결과를 도출하는 단계를 포함하는 계층적 은닉 마르코프 모델을 이용한 행동 인식 방법.
  2. 제 1 항에 있어서,
    상기 행동 인식 장치가 상기 상위 계층의 은닉 마르코프 모델을 디코딩(decoding) 하여 상기 라벨을 추출하는 단계; 및
    상기 행동 인식 장치가 상기 추출된 라벨 및 상기 인식 결과를 이용하여 상기 하위 계층의 은닉 마르코프 모델에 피드백(feedback)하는 단계를 더 포함하는 계층적 은닉 마르코프 모델을 이용한 행동 인식 방법.
  3. 제 1 항에 있어서,
    상기 인식 결과를 도출하는 단계는,
    상기 행동 인식 장치가 맥스빌리프(maxbelief) 기법을 이용하여 상기 인식 값에 포함된 모델 중 행동에 대한 적합성이 가장 높은 모델을 선별하는 단계; 및
    상기 행동 인식 장치가 상기 선별된 모델 및 상기 선별된 모델에 부여된 라벨을 상기 학습된 상위 계층의 은닉 마르코프 모델을 이용하여 인식 결과를 도출하는 단계를 포함하는 계층적 은닉 마르코프 모델을 이용한 행동 인식 방법.
  4. 제 1 항에 있어서,
    상기 계층적 은닉 마르코프 모델을 학습하는 단계;
    상기 행동 인식 장치가 상기 학습 값 도출에서 제외된 초기 학습 데이터 및 상기 제외된 초기 학습 데이터에 부여된 라벨을 이용하여 상기 하위 계층의 은닉 마르코프 모델을 학습함으로써, 학습 결과를 도출하는 단계; 및
    상기 행동 인식 장치가 상기 학습 결과 및 상기 제외된 초기 학습 데이터에 부여된 라벨을 이용하여 상기 상위 계층의 은닉 마르코프 모델을 학습하는 단계를 더 포함하는 계층적 은닉 마르코프 모델을 이용한 행동 인식 방법.
  5. 제 1 항에 있어서,
    상기 계층적 은닉 마르코프 모델을 학습하는 단계는,
    상기 행동 인식 장치가 입력받은 초기 학습 데이터 및 상기 학습 데이터에 부여된 라벨을 이용하여 하위 계층의 은닉 마르코프 모델을 학습함으로써, 학습 값을 도출하는 단계; 및
    상기 행동 인식 장치가 상기 학습 값 및 상기 라벨을 이용하여 상위 계층의 은닉 마르코프 모델을 학습하는 단계를 포함하는 계층적 은닉 마르코프 모델을 이용한 행동 인식 방법.
  6. 초기 학습 데이터 및 행동 인식을 위한 행동 데이터를 입력받는 입력부;
    상기 입력받은 초기 학습 데이터 및 상기 학습 데이터에 부여된 라벨을 이용하여 은닉 마르코프 모델을 학습하고, 상기 입력받은 행동 데이터로부터 상기 계층적 은닉 마르코프 모델에 포함된 하위 계층을 이용하여 인식 값을 도출하며, 상기 인식 값으로부터 상기 계층적 은닉 마르코프 모델에 포함된 상위 계층을 이용하여 인식 결과를 도출하는 처리부; 및
    상기 인식 결과를 출력하는 출력부를 포함하는 계층적 은닉 마르코프 모델을 이용한 행동 인식 장치.
  7. 제 6 항에 있어서,
    상기 처리부는,
    상기 상위 계층의 은닉 마르코프 모델을 디코딩하여 상기 라벨을 추출하며, 상기 추출된 라벨 및 상기 인식 결과를 이용하여 상기 하위 계층의 은닉 마르코프 모델에 피드백하는 것을 특징으로 하는 계층적 은닉 마르코프 모델을 이용한 행동 인식 장치.
  8. 제 6 항에 있어서,
    상기 처리부는,
    맥스빌리프 기법을 이용하여 상기 인식 값에 포함된 모델 중 행동에 대한 적합성이 가장 높은 모델을 선별하며, 상기 선별된 모델 및 상기 선별된 모델에 부여된 라벨을 상기 학습된 상위 계층의 은닉 마르코프 모델을 이용하여 인식 결과를 도출하는 것을 특징으로 하는 계층적 은닉 마르코프 모델을 이용한 행동 인식 장치.
  9. 제 6 항에 있어서,
    상기 처리부는,
    상기 학습 값 도출에서 제외된 초기 학습 데이터 및 상기 제외된 초기 학습 데이터에 부여된 라벨을 이용하여 상기 하위 계층의 은닉 마르코프 모델을 학습하고, 학습 결과를 도출하며, 상기 학습 결과 및 상기 제외된 초기 학습 데이터에 부여된 라벨을 이용하여 상기 상위 계층의 은닉 마르코프 모델을 학습하는 것을 특징으로 하는 계층적 은닉 마르코프 모델을 이용한 행동 인식 장치.
  10. 제 6 항에 있어서,
    상기 처리부는,
    상기 입력받은 초기 학습 데이터 및 상기 학습 데이터에 부여된 라벨을 이용하여 하위 계층의 은닉 마르코프 모델을 학습하고, 학습 값을 도출하며, 상기 학습 값 및 상기 라벨을 이용하여 상위 계층의 은닉 마르코프 모델을 학습하는 것을 특징으로 하는 계층적 은닉 마르코프 모델을 이용한 행동 인식 장치.
KR1020140054670A 2014-05-08 2014-05-08 계층적 은닉 마르코프 모델을 이용한 행동 인식 방법 및 장치 KR101693740B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140054670A KR101693740B1 (ko) 2014-05-08 2014-05-08 계층적 은닉 마르코프 모델을 이용한 행동 인식 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140054670A KR101693740B1 (ko) 2014-05-08 2014-05-08 계층적 은닉 마르코프 모델을 이용한 행동 인식 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150128006A true KR20150128006A (ko) 2015-11-18
KR101693740B1 KR101693740B1 (ko) 2017-01-06

Family

ID=54838685

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140054670A KR101693740B1 (ko) 2014-05-08 2014-05-08 계층적 은닉 마르코프 모델을 이용한 행동 인식 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101693740B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180001403A (ko) * 2016-06-24 2018-01-04 한양대학교 산학협력단 인식 동작의 피드백을 이용하는 행동 인식 방법 및 장치
KR101977274B1 (ko) * 2017-12-29 2019-08-28 한국생산기술연구원 자율 로봇을 위한 프레임 워크 설정 방법 및 이를 수행하는 디지털 제어 장치
CN110349373A (zh) * 2019-07-15 2019-10-18 滁州学院 基于二元传感器的行为识别方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050132378A1 (en) * 2003-12-05 2005-06-16 Horvitz Eric J. Systems and methods for guiding allocation of computational resources in automated perceptual systems
KR20100087512A (ko) 2009-01-28 2010-08-05 서경대학교 산학협력단 은닉 마르코프 모델 기반 동작 인식 방법 및 이를 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체
KR20130042239A (ko) * 2011-10-18 2013-04-26 한국과학기술원 객체 움직임 예측을 위한 컴퓨터로 구현된 계층적 시간적 메모리 네트워크에 있는 일시적 예측 노드 및 이를 이용한 움직임 예측 장치
KR20150076916A (ko) * 2013-12-27 2015-07-07 한양대학교 산학협력단 단위 동작에 따른 사람의 행동 인식 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050132378A1 (en) * 2003-12-05 2005-06-16 Horvitz Eric J. Systems and methods for guiding allocation of computational resources in automated perceptual systems
KR20100087512A (ko) 2009-01-28 2010-08-05 서경대학교 산학협력단 은닉 마르코프 모델 기반 동작 인식 방법 및 이를 실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체
KR20130042239A (ko) * 2011-10-18 2013-04-26 한국과학기술원 객체 움직임 예측을 위한 컴퓨터로 구현된 계층적 시간적 메모리 네트워크에 있는 일시적 예측 노드 및 이를 이용한 움직임 예측 장치
KR20150076916A (ko) * 2013-12-27 2015-07-07 한양대학교 산학협력단 단위 동작에 따른 사람의 행동 인식 방법 및 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
N. Oliver, E. Horvitz, and A. Garg, Layered Representations For Human Activity Recognition, In Proc. of Int. Conf on Multimodal Interfaces, pages 1-6, 2002* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180001403A (ko) * 2016-06-24 2018-01-04 한양대학교 산학협력단 인식 동작의 피드백을 이용하는 행동 인식 방법 및 장치
KR101977274B1 (ko) * 2017-12-29 2019-08-28 한국생산기술연구원 자율 로봇을 위한 프레임 워크 설정 방법 및 이를 수행하는 디지털 제어 장치
CN110349373A (zh) * 2019-07-15 2019-10-18 滁州学院 基于二元传感器的行为识别方法、装置及存储介质
CN110349373B (zh) * 2019-07-15 2021-04-09 滁州学院 基于二元传感器的行为识别方法、装置及存储介质

Also Published As

Publication number Publication date
KR101693740B1 (ko) 2017-01-06

Similar Documents

Publication Publication Date Title
Lubis et al. Eliciting positive emotion through affect-sensitive dialogue response generation: A neural network approach
Yang et al. Robust sign language recognition by combining manual and non-manual features based on conditional random field and support vector machine
Liu et al. Jointly learning grounded task structures from language instruction and visual demonstration
CN111160568B (zh) 机器阅读理解模型训练方法、装置、电子设备和存储介质
KR102186326B1 (ko) 구조 정보 선행 학습을 통한 딥러닝 관계 추출 시스템 및 이를 이용한 딥러닝 관계 추출 성능 향상 방법
EP3702953B1 (en) Electronic device for obfuscating and decoding data and method for controlling same
CN110543554A (zh) 针对多轮对话的分类方法和装置
US11437039B2 (en) Intelligent software agent
CN115293348A (zh) 一种多模态特征提取网络的预训练方法及装置
KR101693740B1 (ko) 계층적 은닉 마르코프 모델을 이용한 행동 인식 방법 및 장치
Al-Omair et al. A comparative study on detection accuracy of cloud-based emotion recognition services
CN113704419A (zh) 对话处理方法及装置
CN111832603A (zh) 数据处理方法、装置、电子设备和计算机可读存储介质
CN105373527B (zh) 一种省略恢复方法及问答系统
Ferreira et al. Users’ belief awareness in reinforcement learning-based situated human–robot dialogue management
CN110413737B (zh) 一种同义词的确定方法、装置、服务器及可读存储介质
Ravuri et al. Neural network models for lexical addressee detection.
CN115712739A (zh) 舞蹈动作生成方法、计算机设备及存储介质
KR102589164B1 (ko) 협업 작업에서 시간적 관계를 활용한 트랜스포머 기반 활동 예측 방법
US11887600B2 (en) Techniques for interpreting spoken input using non-verbal cues
Devi et al. A clinical evaluation of human computer interaction using multi modal fusion techniques
WO2018048716A1 (en) Machine learning model for analysis of instruction sequences
CN114036306A (zh) 模型训练方法、装置、计算机设备及计算机可读存储介质
CN109918646B (zh) 篇章因果关系判断方法、系统、装置
CN110909142B (zh) 一种问答模型的问题语句处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 4