KR101826268B1 - 동작 예측 방법 및 시스템 - Google Patents

동작 예측 방법 및 시스템 Download PDF

Info

Publication number
KR101826268B1
KR101826268B1 KR1020170055209A KR20170055209A KR101826268B1 KR 101826268 B1 KR101826268 B1 KR 101826268B1 KR 1020170055209 A KR1020170055209 A KR 1020170055209A KR 20170055209 A KR20170055209 A KR 20170055209A KR 101826268 B1 KR101826268 B1 KR 101826268B1
Authority
KR
South Korea
Prior art keywords
joint
motion
information
operations
starting
Prior art date
Application number
KR1020170055209A
Other languages
English (en)
Inventor
조경은
치옥용
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020170055209A priority Critical patent/KR101826268B1/ko
Application granted granted Critical
Publication of KR101826268B1 publication Critical patent/KR101826268B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06K9/00362—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06K9/6256—

Abstract

본 발명의 실시 예에 따른 동작 예측 방법은 기계 학습 장치가 복수 종류의 동작마다 관절의 움직임을 나타내는 관절 데이터 집합을 이용하여 기계학습모델을 학습하는 단계와, 동작 인식 장치가 각 신체영역의 동작을 인식하고, 동작하는 신체영역의 해당 관절에 대한 관절 데이터를 수집하는 단계와, 동작 분석 장치가 관절 데이터를 스트리밍 방식으로 수신함과 동시에 실시간으로 수신된 관절 데이터를 미리 학습된 상기 복수 종류의 동작들과 비교하여 유사도를 판단하는 단계와, 동작 분석 장치가 동작이 종료되기 전에 유사도가 미리 설정된 기준치 이상에 해당하는 하나의 동작을 추출하는 단계 및 동작 예측 장치가 상기 추출된 동작에 대해 미리 학습된 관절 데이터 집합에 포함된 종료정보에 기반하여 동작의 종료를 예측한다.

Description

동작 예측 방법 및 시스템{METHOD AND SYSTEM FOR PREDICTING ACTION}
본 발명은 동작 예측 방법 및 시스템에 관한 것으로, 보다 상세하게는 관절의 움직임에 대해 학습하고, 동작을 인식하여 관절 데이터를 스트리밍 방식으로 수신함과 동시에 수신된 관절 데이터를 학습 데이터와 비교하여 동작이 종료되기 전에 유사도가 높은 학습 동작에 기반하여 동작의 종료를 예측함으로써, 사용자의 동작을 분석하여 기능을 조작 제어하는 시스템의 반응속도를 향상시킬 수 있는, 동작 예측 방법 및 시스템에 관한 것이다.
IT 기술의 발달에 따라 사용자가 직접 명령어를 입력하지 않더라도 특정 행동을 명령으로 인식하여 시스템을 제어하는 기술의 연구가 증가하고 있는 추세이다. 즉, 게임이나 가전제품의 구동을 위해 사용자가 직접 조작하지 않더라도, 사용자의 행동을 분석하여 게임 또는 가전제품을 조작제어가 가능한 것이다. 이러한 기술을 구현하기 위해서는 사용자의 다양한 행동을 정확하게 인식하기 위한 기술의 필요성이 증대되었다.
하지만 이와 같은 인간의 동작 인식 기술은 인간의 행동으로부터 획득한 모든 데이터에 대하여 행동에 대한 특징을 추출하기 때문에, 데이터의 양이 너무 많고, 많은 데이터로 인해 계산량이 증가하며 이로 인해 처리 속도가 느려지는 문제점이 발생했다.
KR 10-2011-0064712 (통합센서 기반의 모션 캡쳐 시스템, 숭실대학교산학협력단) 2011.06.15.
상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명은 사용자가 직접 명령어를 입력하지 않더라도 특정 행동을 명령으로 인식하여 시스템을 제어하는 분야에서 사용자가 직접 장치를 조작하지 않더라도, 사용자의 동작을 분석하여 게임 또는 가전제품을 조작 제어하는데 있어서, 사용자의 동작이 종료되기 전에 종료 정보를 예측함으로써, 반응 속도를 향상시킬 수 있는 동작 예측 방법 및 시스템을 제공하고자 한다.
위와 같은 과제를 해결하기 위한 본 발명의 한 실시 예에 따른 동작 예측 방법은, 기계 학습 장치가 복수 종류의 동작마다 관절의 움직임을 나타내는 관절 데이터 집합을 이용하여 기계학습모델을 학습하는 단계와, 동작 인식 장치가 각 신체영역의 동작을 인식하고, 상기 동작하는 신체영역의 해당 관절에 대한 관절 데이터를 수집하는 단계와, 동작 분석 장치가 상기 관절 데이터를 스트리밍 방식으로 수신함과 동시에 실시간으로 상기 수신된 관절 데이터를 미리 학습된 상기 복수 종류의 동작들과 비교하여 유사도를 판단하는 단계와, 상기 동작 분석 장치가 상기 동작이 종료되기 전에 상기 유사도가 미리 설정된 기준치 이상에 해당하는 하나의 동작을 추출하는 단계 및 동작 예측 장치가 상기 추출된 동작에 대해 미리 학습된 상기 관절 데이터 집합에 포함된 종료정보에 기반하여 상기 동작의 종료를 예측하는 단계를 포함한다.
보다 바람직하게는 상기 기계 학습 장치가 기계학습모델을 학습하는 단계 이전에, 상기 복수 종류의 각 동작을 설정하는 단계를 더 포함한다.
특히, 상기 각 동작을 설정하는 단계는, 1초에 M(M은 양의 정수)프레임의 상기 관절 데이터를 획득하되, N(N은 양의 정수, M>N) 프레임마다 모든 관절의 위치변화를 측정하는 단계와, 특정 관절이 제1 임계치 이상의 거리를 이동할 경우 해당 프레임을 동작의 시작시점으로 판단하는 단계와, 상기 시작시점 판단 후 N 프레임 간격으로 관절의 위치변화를 계속 기록하는 단계와, 상기 관절이 제2 임계치 이상으로 이동하지 않을 경우, 상기 동작의 정지시점으로 판단하는 단계 및 상기 동작의 시작시점부터 상기 정지시점까지 기록된 관절의 이동정보를 하나의 동작으로 설정하는 단계를 포함한다.
보다 바람직하게는 상기 복수 종류의 각 동작을 설정하는 단계는, 각 동작마다 동작의 원점이 되는 기점관절과, 상기 기점관절의 움직임에 연동하는 연동관절을 설정하는 단계 및 상기 각 동작마다 동작을 시작할 때의 상기 기점관절 및 연동관절의 각도, 동작 중 감속을 시작할 때의 각도, 상기 감속을 시작할 때까지의 평균 각가속도, 이동방향, 상기 동작이 종료될 때의 상기 기점관절 및 연동관절의 각도를 상기 동작 정보에 포함하는 단계를 포함한다.
보다 바람직하게는 상기 복수 종류의 각 동작을 설정하는 단계는, 상기 동작 정보에 상기 동작이 완성되는 시간정보, 상기 동작의 특징을 나타내는 종류정보 및 상기 동작에 연관된 관절의 위치정보 중 적어도 하나의 정보를 포함시키는 단계를 더 포함한다.
특히, 상기 동작의 종료를 예측하는 단계는, 상기 추출된 동작에 대해 미리 학습된 상기 관절 데이터 집합 중 상기 동작이 종료될 시 상기 기점관절 및 상기 연동관절의 각 각도, 상기 동작이 완성되는 시간정보, 상기 동작의 특징을 나타내는 종류정보 및 상기 동작에 연관된 관절의 위치정보 중 적어도 하나를 추출한다.
보다 바람직하게는 상기 동작의 종료를 예측하는 단계는, 상기 동작이 완성되는 시간정보에 기초하여 현재시간으로부터 상기 동작의 종료시점을 산출한다.
특히, 상기 기계학습모델을 학습하는 단계는, 상기 기계 학습 장치가 한 동작에 대해 상기 동작의 기점이 되는 기점관절 및 상기 기점관절의 움직임에 연동하는 연동관절의 시계열적인 가속-감속 운동에 관한 정보를 포함하는 관절 데이터 집합을 생성하는 단계와, 상기 기계 학습 장치가 복수 종류의 동작을 학습하기 위해 각 동작에 대해 상기 관절 데이터 집합들을 분류하는 단계 및 상기 기계 학습 장치가 상기 관절 데이터 집합들을 이용하여 상기 복수 종류의 동작에 대한 기계학습모델을 학습하는 단계를 포함한다.
보다 바람직하게는 상기 관절 데이터 집합을 생성하는 단계는, 상기 하나의 동작을 한번 수행하는 데에 n번의 가속-감속 운동이 발생하는 경우, n개 세트의 상기 관절 데이터 집합을 생성한다.
특히, 상기 동작하는 신체영역의 해당 관절에 대한 관절 데이터를 수집하는 단계는, 상기 동작하는 신체영역에 대해 미리 선정된 기점관절 및 연동관절이 상기 동작을 시작할 때의 각 각도, 감속시의 각 각도, 감속을 시작할 때까지의 평균 각가속도 및 이동방향을 수집한다.
보다 바람직하게는, 상기 수신된 관절 데이터를 미리 학습된 상기 복수 종류의 동작들과 비교하여 유사도를 판단하는 단계는, 상기 동작이 종료되는 시점의 상기 종료정보가 입력되기 전에 상기 스트리밍 방식으로 입력되는 상기 관절 데이터에서 상기 기점관절 및 상기 연동관절의 각도, 상기 동작 중 감속을 시작할 때의 각도, 상기 감속을 시작할 때까지의 평균 각가속도 및 상기 기점관절 및 상기 연동관절의 이동방향 중 적어도 하나의 정보를 미리 학습된 상기 복수 종류의 동작들과 비교하여 유사도를 판단한다.
위와 같은 과제를 해결하기 위한 본 발명의 다른 실시 예에 따른 동작 예측 시스템은 복수 종류의 동작마다 관절의 움직임을 나타내는 관절 데이터 집합을 이용하여 기계학습모델을 학습하는 기계 학습 장치와, 각 신체영역의 동작을 인식하고, 상기 동작하는 신체영역의 해당 관절에 대한 관절 데이터를 수집하는 동작 인식 장치와, 상기 관절 데이터를 스트리밍 방식으로 수신함과 동시에 실시간으로 상기 수신된 관절 데이터를 미리 학습된 상기 복수 종류의 동작들과 비교하여 유사도를 판단하고, 상기 동작이 종료되기 전에 상기 유사도가 미리 설정된 기준치 이상에 해당하는 하나의 동작을 추출하는 동작 분석 장치 및 상기 추출된 동작에 대해 미리 학습된 상기 관절 데이터 집합에 포함된 종료정보에 기반하여 상기 동작의 종료를 예측하는 동작 예측 장치를 포함한다.
보다 바람직하게는, 복수 종류의 각 동작을 설정하는 동작정보 생성장치를 더 포함한다.
특히, 상기 동작정보 생성장치는, 1초에 M(M은 양의 정수) 프레임의 상기 관절 데이터를 획득하되, N(N은 양의 정수, M>N) 프레임마다 모든 관절의 위치변화를 측정하고, 특정 관절이 제1 임계치 이상의 거리를 이동할 경우 해당 프레임을 동작의 시작시점으로 판단하며, 상기 시작시점 판단 후 상기 N 프레임 간격으로 관절의 위치변화를 계속 기록하되, 상기 관절이 제2 임계치 이상으로 이동하지 않을 경우, 상기 동작의 정지시점으로 판단하고, 상기 동작의 시작시점부터 상기 정지시점까지 기록된 관절의 이동정보를 하나의 동작으로 설정한다.
보다 바람직하게는, 상기 동작정보 생성장치는, 각 동작마다 동작의 원점이 되는 기점관절과, 상기 기점관절의 움직임에 연동하는 연동관절을 설정하고, 상기 각 동작마다 동작을 시작할 때의 상기 기점관절 및 연동관절의 각도, 동작 중 감속을 시작할 때의 각도, 상기 감속을 시작할 때까지의 평균 각가속도, 이동방향, 상기 동작이 종료될 때의 상기 기점관절 및 연동관절의 각도를 상기 동작정보에 포함시킨다.
특히, 상기 동작정보 생성장치는, 상기 동작이 완성되는 시간정보, 상기 동작의 특징을 나타내는 종류정보 및 상기 동작에 연관된 관절의 위치정보 중 적어도 하나의 정보를 상기 동작정보에 더 포함시킨다.
보다 바람직하게는, 동작 예측 장치는, 상기 추출된 동작에 대해 미리 학습된 상기 관절 데이터 집합 중 상기 동작이 종료될 시 상기 기점관절 및 상기 연동관절의 각 각도, 상기 동작이 완성되는 시간정보, 상기 동작의 특징을 나타내는 종류정보 및 상기 동작에 연관된 관절의 위치정보 중 적어도 하나를 추출한다.
특히, 동작 예측 장치는, 상기 동작이 완성되는 시간정보에 기초하여 현재시간으로부터 상기 동작의 종료시점을 산출한다.
보다 바람직하게는, 상기 기계 학습 장치는, 한 동작에 대해 상기 동작의 기점이 되는 기점관절 및 상기 기점관절의 움직임에 연동하는 연동관절의 가속-감속 운동에 관한 정보를 포함하는 관절 데이터 집합을 생성하고, 상기 복수 종류의 동작을 학습하기 위해 각 동작에 대해 상기 관절 데이터 집합들을 분류하며, 상기 관절 데이터 집합들을 이용하여 상기 복수 종류의 동작에 대한 기계학습모델을 학습한다.
특히, 상기 동작 인식 장치는, 동작하는 신체영역에 대해 미리 선정된 상기 기점관절 및 상기 연동관절이 상기 동작을 시작할 때의 각 각도, 감속시의 각 각도, 감속을 시작할 때까지의 평균 각가속도 및 이동방향을 상기 동작이 종료되기 전에 상기 관절 데이터로서 수집한다.
본 발명의 실시 예에 따른 동작 예측 방법 및 시스템에 따르면, 사용자가 직접 명령어를 입력하지 않더라도 특정 행동을 명령으로 인식하여 시스템을 제어하는 분야에서 사용자가 직접 장치를 조작하지 않더라도, 사용자의 동작을 분석하여 게임 또는 가전제품을 조작 제어하는데 있어서, 사용자의 동작이 종료되기 전에 종료 정보를 예측함으로써, 반응 속도를 향상시킬 수 있는 효과가 있다.
아울러, 본 발명의 실시 예에 따른 동작 예측 시스템에 따르면, 인간의 동작을 인식하고 분석하는 데에 동작의 모든 움직임과, 모든 관절에 대한 운동 데이터를 이용하는 것이 아니라, 미리 선정된 주요 관절에 대한 시계열적인 가속-감속 운동데이터를 이용함으로써, 계산량을 줄이고 따라서 동작 예측 속도와 더 나아가 IT 기술의 반응 속도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 동작 예측 시스템의 블록도이다.
도 2는 본 발명의 실시 예에 따라 인체를 소정 영역으로 나누고, 소정 영역마다 포함된 관절을 도시하는 도면이다.
도 3은 일반적인 인간의 동작들 중 관절을 원점으로 하는 원주운동을 도시하는 도면이다.
도 4는 본 발명의 실시 예에 따른 동작의 일 예를 도시하는 도면이다.
도 5는 본 발명의 실시 예에 따른 관절 데이터에 이용되는 방향을 안내하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따른 동작의 일 예를 도시하는 도면이다.
도 7은 본 발명의 실시 예에 적용된 은닉 마르코프 모델을 개략적으로 도시하는 도면이다.
도 8은 본 발명의 실시 예에 따라 동작정보 생성장치가 복수 종류의 각 동작을 설정하는 방법을 설명하기 위한 순서도이다.
도 9는 본 발명의 실시 예에 따른 동작 예측 방법을 설명하기 위한 순서도이다.
이하, 본 발명을 바람직한 실시 예와 첨부한 도면을 참고로 하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예에 한정되는 것은 아니다.
이하, 도 1을 참조하여 본 발명에 따른 동작 예측 시스템에 대하여 자세히 살펴보도록 한다.
도 1은 본 발명의 일 실시 예에 따른 동작 예측 시스템의 블록도이다.
도 1에 도시된 바와 같이, 본 발명의 동작 예측 시스템(100)은 동작정보 생성장치(110), 기계 학습 장치(120), 동작 인식 장치(130), 동작 분석 장치(140) 및 동작 예측 장치(150)를 포함하여 구성된다.
동작정보 생성장치(110)는 입력부(미도시)로부터 동작하는 인체의 관절 움직임 상태를 나타내는 적어도 하나의 관절 움직임 정보를 입력받는다. 여기서, 입력부는 3D 카메라, 초음파 센서, 키넥트(kinect) 중 적어도 하나를 통해 인체의 관절 움직임 영상정보를 입력받을 수 있다.
동작정보 생성장치(110)는 도 2에 도시된 바와 같이 인간의 신체를 몸통(body), 왼팔(left arm), 오른팔(right arm), 왼다리(left leg) 및 오른 다리(right leg)의 5개의 영역으로 나누고, 각 영역에 대해 적어도 두 개 이상의 관절을 선정한다.
동작정보 생성장치(110)가 입력받은 인체의 관절 중 상기에서 선정된 관절이 움직이는 영상을 디지털 신호로 변환하고, 변환된 디지털 신호를 복수 종류의 각 동작에 해당하는 관절 데이터로 묶을 수 있다.
구체적으로, 동작정보 생성장치(110)는 1초에 M 프레임(M은 양의 정수, 예를 들어 60)의 관절 데이터를 획득하되, N 프레임(N은 양의 정수, 예를 들어 10, N<M)마다 모든 관절의 위치변화를 측정하고, 특정 관절이 제1 임계치 이상의 거리를 이동할 경우 해당 프레임을 동작의 시작시점으로 판단하며, 시작시점 판단 후 N 프레임 간격으로 관절의 위치변화를 계속 기록하되, 관절이 제2 임계치 이상으로 이동하지 않을 경우, 동작의 정지시점으로 판단하고, 동작의 시작시점부터 정지시점까지 기록된 관절의 이동정보를 하나의 동작으로 설정할 수 있다.
아울러, 동작정보 생성장치(110)는 각 동작마다 동작의 원점이 되는 기점관절과, 기점관절의 움직임에 연동하는 연동관절을 설정한다. 이를 위해, 동작정보 생성장치(110)는 인간모델의 특징과 기구학적 구속조건을 기반으로 동작의 원점이 되는 기점관절을 선정하고, 기점관절의 운동에 연동하여 움직이는 연동관절을 선정한다. 보통 연동관절은 기점관절과 하나의 마디를 두고 인접하는 관절에 해당한다.
여기서 동작은 도 3에 도시된 바와 같이, 인간의 동작들 중 관절을 원점으로 하는 원주운동을 일컫는다. 관절과 인접한 관절 사이의 근육이 신축하는 데에는 한계가 있기 때문에 원주운동을 하는 모든 관절의 이동 가능 범위와 위치 변화를 파악할 수 있다.
모든 운동의 법칙은 먼저 가속을 통해 시작하며 감속을 통해 정지한다. 인체의 경우에도 마찬가지로 관절의 운동에도 상기와 같은 운동의 법칙을 적용할 수 있다. 도 4를 참조하면, 관절은 한 위치에서 다른 위치까지 이동할 때 먼저 가속하고, 감속을 통하여 정지한다. 가속과 감속 사이에는 등속 운동의 경우도 발생할 수 있다. 인간의 관절은 모두 원주 운동만 가능하기 때문에 관절의 속도 및 가속도는 각각 각속도(角速度)와 각가속도(角加速度)로 표현해야 한다.
여기서 관절의 각도 변화나 이동방향 및 위치변화는 도 5에 도시된 XYZ 축의 정방향 및 역방향으로 구별한다. 구체적으로, 각 관절의 이동 방향은 1(정방향), -1(역방향), 0(정지) 등의 값을 가질 수 있다. 예를 들어 right wrist 관절의 이동 방향은 right elbow의 각도 변화를 이용하여 계산할 수 있다. 또한 x, y, z축에 대해 각각 관절의 이동 방향을 파악한다. 따라서 Direction(1, 1, -1)은 x, y축을 기준으로 정방향으로 이동하며 z축을 기준으로 역방향으로 이동함을 의미한다.
그리고, 동작정보 생성장치(110)는 각 동작마다 동작을 시작할 때의 기점관절 및 연동관절의 각도, 동작 중 감속을 시작할 때의 각도, 감속을 시작할 때까지의 평균 각가속도, 이동방향, 동작이 종료될 때의 기점관절 및 연동관절의 각도를 동작정보에 포함시킨다. 이때, 동작이 완성되는 시간정보, 동작의 특징을 나타내는 종류정보 및 동작에 연관된 관절의 위치정보 중 적어도 하나의 정보를 동작정보에 더 포함시킬 수 있다.
하나의 동작은 시작시점부터 끝나는 시점까지 사용한 모든 신체 부분의 데이터 집합으로 구성된다. 다음은 모든 신체 부분을 사용한 동작의 예를 나타낸다.
Gesture={body, Left_arm, Right_arm, Left_leg, Right_leg}
그리고 각 신체부분에 해당하여 미리 선정된 관절에 대한 가속-감속 운동 데이터를 Adn(Acceleration deceleration node)으로 설정한다. 예를 들어, 동작하는 오른쪽 팔의 가속-감속 운동 데이터 Adn의 구성요소는 다음과 같다.
Adn={StartRS, StartRE, Slow_DownRS, Slow_DownRE, Aaa, Direction, EndRS, EndRE}
여기서, StartRS, StartRE는 동작을 시작할 때의 right shoulder, right elbow 의 각도를 의미하고, Slow_DownRS, Slow_DownRE는 동작에서 감속을 시작할 때의 right shoulder, right elbow 의 각도를 의미하며, Aaa (Average angular acceleration)는 동작에서 감속을 시작할 때까지의 평균 각가속도를 의미하고, Direction은 관절의 이동 방향을 의미하며, EndRS, EndRE는 동작이 종료될 때의 right shoulder, right elbow 의 각도를 의미한다.
한편, 가속-감속 운동 데이터에 각도를 이용한 것은 관절의 각도 변화를 통하여 관절의 이동방향을 산출할 수 있기 때문이다.
Adn을 응용하여 예를 들어, 한 동작에 오른쪽 팔에서 5번의 가속-감속 운동이 발생할 경우, Right_arm = {Adn1, Adn2, Adn3, Adn4, Adn5}와 같이 표현할 수 있다.
도 6에 도시된 예시 동작은 사람이 상하로 손을 움직이는 동작이다. 양팔 동작만을 표현할 경우 Gesture ={Right_arm, Left_arm}으로 구성된다. Right_arm과 Left_arm은 Right_arm ={Adn1, Adn2, ...... , Adnn}와 Left_arm ={Adn1, Adn2, ...... , Adnm}과 같이 독립적으로 Adn으로 구성된다. 이와 같이, 동작정보 생성장치(110)는 동작을 사용하는 부분만을 학습 데이터로 사용하기 위해 동작정보를 생성할 수 있다.
기계 학습 장치(120)는 하나의 동작을 여러　번 반복적으로 수행하여 학습을 위한 데이터 집합을 생성하고, 복수 종류의 동작마다 관절 데이터 집합을 이용하여 기계학습모델을 학습한다. 즉, 기계학습 장치(120)는 한 동작에 대해 동작의 원점이 되는 기점관절 및 기점관절의 움직임에 연동하는 연동관절의 가속-감속 운동에 관한 정보를 포함하는 관절 데이터 집합을 생성한다. 그리고, 복수 종류의 동작을 학습하기 위해 각 동작에 대해 관절 데이터 집합들을 분류하며, 관절 데이터 집합들을 이용하여 복수 종류의 동작에 대한 기계학습모델을 학습한다.
여기서 기계학습모델은 도 7에 도시된 바와 같은 은닉 마르코프 모델(HMM: Hidden Mark Model)을 이용할 수 있다. 도 7을 참조하면, 동작과 가속-감속 운동 데이터와의 관계는 λ={Adn, G, π, A, B}로 표현될 수 있다. 여기서, G는 은닉 상태의 집합이고, Adn은 관찰 가능한 상태의 집합, π는 은닉 상태의 시작 확률, A 는 은닉 상태간의 전환 행렬, B는 은닉 상태에서 출력 상태의 확률이다. 따라서 λ는 학습한 Adn의 순서에 따라 대응되는 동작의 확률로 해석할 수 있다. 동작을 인식할 때에는 B의 확률을 이용해서 동작 인식을 수행한다.
Adn={StartRS, StartRE, Slow_DownRS, Slow_DownRE, Aaa, Direction, EndRS, EndRE}
위와 같이 Right_arm에서의 Adn은 프레임 단위로 동작 데이터가 저장된다. 동작의 예측을 위해 본 발명은 Adn의 동작 시작 방향 및 감속 시작시의 평균 각가속도를 기준으로 현재 속도의 변화가 유지된다고 가정한다. 이를 기반으로, 동작의 중지 시점 또는 감속이 시작되는 시점에서의 관절의 각도를 예측할 수 있다. 따라서 동작 인식 시에는 EndRS, EndRE의 실제 각도를 사용하지 않고 예측값을 사용하여 동작 예측을 수행한다. 이러한 방식을 통해 동작이 끝까지 수행하지 않더라도 미리 동작을 예측함으로써 동작의 종료를 예측할 수 있다.
은닉 마르코프 모델 이외에도 가우시안 혼합모델(Gaussian mixture model)등의 일반적 기계학습모델 중 적어도 하나를 사용하여 동작을 학습할 수 있다.
기계 학습 장치(120)는 하나의 동작을 한번 수행하는 데에 L(L은 양의 정수)번의 가속-감속 운동이 발생하는 경우, L개 세트의 관절 데이터 집합을 생성할 수 있다.
한편, 동작의 모든 움직임과, 모든 관절에 대해 학습하게 되면 처리해야 할 데이터의 양이 너무 많고 이로 인해 동작 예측 속도가 느려지기 때문에, 본 발명에서는 5개의 영역으로 나뉘어진 각 신체영역(몸통, 왼팔, 오른팔, 왼다리 및 오른 다리)마다 미리 선정된 관절들에 대해서만 움직임을 관찰하고, 이에 가속-감속 운동을 위주로 관절 데이터를 획득하므로, 데이터 처리량을 줄일 수 있고 따라서 동작 예측 속도를 향상시킬 수 있다.
동작 인식 장치(130)는 각 신체영역의 동작을 인식하고, 상기 동작하는 신체영역에 해당하는 관절 데이터를 수집한다. 이러한 동작 인식 장치(130)는 앞서 설명한 상기 입력부에서 이용된 예를 들어, 3D 카메라, 초음파 센서, 키넥트(kinect) 중 적어도 하나를 통해 상기 각 신체영역의 동작을 인식할 수 있다.
동작 인식 장치(130)가 상기 입력부를 통해 입력받은 인체의 관절 움직임 영상을 디지털 신호로 변환하고, 변환된 디지털 신호를 복수 종류의 각 동작에 해당하는 관절 데이터로 묶을 수 있다.
구체적으로, 동작 인식 장치(130)는 동작하는 신체영역에 대해 미리 선정된 기점관절 및 연동관절이 동작을 시작할 때의 각 각도, 감속시의 각 각도, 감속을 시작할 때까지의 평균 각가속도 및 이동방향을 관절 데이터로서 수집할 수 있다.
동작 분석 장치(140)는 동작 인식 장치(130)로부터 관절 데이터를 스트리밍 방식으로 수신함과 동시에 실시간으로 수신된 관절 데이터를 미리 학습된 복수 종류의 동작들과 비교하여 유사도를 판단하고, 동작이 종료되기 전에 유사도가 미리 설정된 기준치 이상에 해당하는 하나의 동작을 추출한다.
여기서 쟁점은 동작 분석 장치(140)가 입력되는 인체의 동작이 종료되기 전에 즉, 동작이 종료되는 시점의 종료정보가 입력되기 전에 스트리밍 방식으로 입력되는 관절 데이터에서 기점관절 및 연동관절의 각도, 동작 중 감속을 시작할 때의 각도, 감속을 시작할 때까지의 평균 각가속도 및 관절의 이동방향 중 적어도 하나의 정보를 미리 학습된 동작들과 비교하여 유사도를 판단하고, 유사도 판단에 기반하여 동작이 어떠한 종류의 동작인지 파악하며, 파악된 동작에 대해 미리 학습된 관절 데이터 집합을 추출하여, 추출된 관절 데이터 집합에 포함된 종료정보에 기반하여 현재 동작의 종료를 예측하는 데에 있다.
동작 예측 장치(150)는 동작 분석 장치(140)에서 추출된 동작에 대해 미리 학습된 관절 데이터 집합에 포함된 종료정보에 기반하여, 동작 인식 장치(130)를 통해 입력된 동작의 종료를 예측한다.
구체적으로, 동작 예측 장치(150)는 동작 분석 장치(140)에 의해 추출된 동작에 대해 미리 학습된 상기 관절 데이터 집합을 추출한다. 추출된 관절 데이터 집합 중 동작이 종료될 시 기점관절 및 연동관절의 각 각도, 해당 동작이 완성되는 시간정보, 해당 동작의 특징을 나타내는 종류정보 및 해당 동작에 연관된 관절의 위치정보 중 적어도 하나를 추출하여 동작의 종료를 예측하는 데에 이용한다.
아울러, 동작 예측 장치(150)는 미리 학습된 동작이 완성되는 시간정보에 기초하여 현재시간으로부터 입력되는 동작의 종료시점을 산출할 수 있다.
본 발명의 실시 예에 따른 동작 예측 시스템에 따르면, 사용자가 직접 명령어를 입력하지 않더라도 특정 행동을 명령으로 인식하여 시스템을 제어하는 분야에서 사용자가 직접 장치를 조작하지 않더라도, 사용자의 동작을 분석하여 게임 또는 가전제품을 조작 제어하는데 있어서, 사용자의 동작이 종료되기 전에 종료 정보를 예측함으로써, 반응 속도를 향상시킬 수 있는 효과가 있다.
아울러, 본 발명의 실시 예에 따른 동작 예측 시스템에 따르면, 인간의 동작을 인식하고 분석하는 데에 동작의 모든 움직임과, 모든 관절에 대한 운동 데이터를 이용하는 것이 아니라, 미리 선정된 주요 관절에 대한 시계열적인 가속-감속 운동데이터를 이용함으로써, 계산량을 줄이고 따라서 동작 예측 속도와 더 나아가 IT 기술의 반응 속도를 향상시킬 수 있다.
이하, 본 발명의 실시 예에 따른 동작 예측 방법을 설명하기 전에 먼저, 도 8을 참조하여 동작정보 생성장치가 복수 종류의 각 동작을 설정하는 방법에 대해 설명하기로 한다. 즉, 도 8을 참조하면 기계 학습 장치가 기계학습모델을 학습하기 이전에, 동작정보 생성장치가 복수 종류의 각 동작을 설정하는 단계를 실행한다.
구체적으로 동작정보 생성장치가 각 동작을 설정하는 단계는, 도 8에 도시된 바와 같이, 1초에 M(M은 양의 정수, 예를 들어 60)프레임의 상기 관절 데이터를 획득하되, N(N은 양의 정수, 예를 들어 10, M>N) 프레임마다 모든 관절의 위치변화를 측정하는 단계(S810)와, 특정 관절이 제1 임계치 이상의 거리를 이동할 경우 해당 프레임을 동작의 시작시점으로 판단하는 단계(S820)와, 시작시점 판단 후 N 프레임 간격으로 관절의 위치변화를 계속 기록하는 단계(S830)와, 관절이 제2 임계치 이상으로 이동하지 않을 경우, 동작의 정지시점으로 판단하는 단계(S840) 및 동작의 시작시점부터 정지시점까지 기록된 관절의 이동정보를 하나의 동작으로 설정하는 단계(S850)를 포함한다.
아울러, 동작정보 생성장치가 복수 종류의 각 동작을 설정하는 단계에서 각 동작마다 동작의 원점이 되는 기점관절과, 기점관절의 움직임에 연동하는 연동관절을 설정한다.
이를 위해, 동작정보 생성장치는 인간모델의 특징과 기구학적 구속조건을 기반으로 동작의 원점이 되는 기점관절을 선정하고, 기점관절의 운동에 연동하여 움직이는 연동관절을 선정한다. 보통 연동관절은 기점관절과 하나의 마디를 두고 인접하는 관절에 해당한다.
여기서 동작은 인간의 동작들 중 관절을 원점으로 하는 원주운동을 일컫는다. 관절과 인접한 관절 사이의 근육이 신축하는 데에는 한계가 있기 때문에 원주운동을 하는 모든 관절의 이동 가능 범위와 위치 변화를 파악할 수 있다.
그리고, 동작정보 생성장치는 각 동작마다 동작을 시작할 때의 기점관절 및 연동관절의 각도, 동작 중 감속을 시작할 때의 각도, 감속을 시작할 때까지의 평균 각가속도, 기점관절과 연동관절의 이동방향, 동작이 종료될 때의 기점관절과 연동관절의 각도를 동작정보에 포함시킨다. 또한, 동작정보에 동작이 완성되는 시간정보, 동작의 특징을 나타내는 종류정보 및 동작에 연관된 관절의 위치정보 중 적어도 하나의 정보를 더 포함할 수 있다.
한편, 동작정보 생성장치는 입력부로부터 동작하는 인체의 관절 움직임 상태를 나타내는 적어도 하나의 관절 움직임 정보를 입력받는다. 상기 입력부는 예를 들어, 3D 카메라, 초음파 센서, 키넥트(kinect) 중 적어도 하나를 통해 인체의 관절 움직임 영상정보를 입력받을 수 있다.
동작정보 생성장치가 입력받은 인체의 관절 움직임 영상을 디지털 신호로 변환하고, 변환된 디지털 신호를 복수 종류의 각 동작에 해당하는 관절 데이터로 묶는 단계를 실행한다.
도 9는 본 발명의 실시 예에 따른 동작 예측 방법을 설명하기 위한 순서도이다.
도 9를 참조하면, 본 발명의 실시 예에 따른 동작 예측 방법은, 먼저 기계 학습 장치가 복수 종류의 동작마다 관절의 움직임을 나타내는 관절 데이터 집합을 이용하여 기계학습모델을 학습한다(S910).
이를 위해, 기계 학습 장치는 한 동작에 대해 동작의 원점이 되는 기점관절 및 기점관절의 움직임에 연동하는 연동관절의 시계열적인 가속-감속 운동에 관한 정보를 포함하는 관절 데이터 집합을 생성한다. 그리고, 복수 종류의 동작을 학습하기 위해 각 동작에 대해 관절 데이터 집합들을 분류하며, 관절 데이터 집합들을 이용하여 복수 종류의 동작에 대한 기계학습모델을 학습한다.
여기서 기계학습모델은 은닉마르코프 모델(HMM: Hidden Mark Model), 가우시안 혼합모델(Gaussian mixture model)등의 일반적 기계학습모델 중 적어도 하나를 사용하여 동작을 학습할 수 있다.
기계 학습 장치는 하나의 동작을 한번 수행하는 데에 L(L은 양의 정수)번의 가속-감속 운동이 발생하는 경우, L개 세트의 관절 데이터 집합을 생성할 수 있다. 이로써, 시계열적인 가속-감속 운동 데이터를 생성한다.
다음으로, 동작 인식 장치가 각 신체영역의 동작을 인식하고, 상기 동작하는 신체영역의 해당 관절에 대한 관절 데이터를 수집한다(S920). 이를 위해 동작 인식 장치는 앞서 설명한 상기 입력부에서 이용된 예를 들어, 3D 카메라, 초음파 센서, 키넥트(kinect) 중 적어도 하나를 통해 상기 각 신체영역의 동작을 인식할 수 있다.
동작 인식 장치가 상기 입력부를 통해 입력받은 인체의 관절 움직임 영상을 디지털 신호로 변환하고, 변환된 디지털 신호를 복수 종류의 각 동작에 해당하는 관절 데이터로 묶을 수 있다.
구체적으로, 동작 인식 장치는 동작하는 신체영역에 대해 미리 선정된 기점관절 및 연동관절이 동작을 시작할 때의 각 각도, 감속시의 각 각도, 감속을 시작할 때까지의 평균 각가속도 및 이동방향을 관절 데이터로서 수집한다.
다음으로, 동작 분석 장치가 상기 관절 데이터를 스트리밍 방식으로 수신함과 동시에 실시간으로 수신된 관절 데이터를 미리 학습된 복수 종류의 동작들과 비교하여 유사도를 판단하고(S930), 동작 분석 장치가 동작이 종료되기 전에 유사도가 미리 설정된 기준치 이상에 해당하는 하나의 동작을 추출한다(S940).
구체적으로, 동작 분석 장치가 동작 인식 장치로부터 관절 데이터를 스트리밍 방식으로 수신함과 동시에 실시간으로 수신된 관절 데이터를 미리 학습된 복수 종류의 동작들과 비교하여 유사도를 판단하고, 동작이 종료되기 전에 유사도가 미리 설정된 기준치 이상에 해당하는 하나의 동작을 추출한다.
여기서 쟁점은 동작 분석 장치가 입력되는 인체의 동작이 종료되기 전에 즉, 동작이 종료되는 시점의 종료정보가 입력되기 전에 스트리밍 방식으로 입력되는 관절 데이터에서 기점관절 및 연동관절의 각도, 동작 중 감속을 시작할 때의 각도, 감속을 시작할 때까지의 평균 각가속도 및 관절의 이동방향 중 적어도 하나의 정보를 미리 학습된 동작들과 비교하여 유사도를 판단하고, 유사도 판단에 기반하여 동작이 어떠한 종류의 동작인지 파악하며, 파악된 동작에 대해 미리 학습된 관절 데이터 집합을 추출하여, 추출된 관절 데이터 집합에 포함된 종료정보에 기반하여 현재 동작의 종료를 예측할 수 있도록 하는 데에 있다.
다음으로, 동작 예측 장치가 추출된 동작에 대해 미리 학습된 관절 데이터 집합에 포함된 종료정보에 기반하여 동작의 종료를 예측한다(S950).
구체적으로, 동작 예측 장치가 동작 분석 장치에 의해 추출된 동작에 대해 미리 학습된 관절 데이터 집합을 추출한다. 추출된 관절 데이터 집합 중 동작이 종료될 시 기점관절 및 연동관절의 각 각도, 해당 동작이 완성되는 시간정보, 해당 동작의 특징을 나타내는 종류정보 및 해당 동작에 연관된 관절의 위치정보 중 적어도 하나를 추출하여 동작의 종료를 예측하는 데에 이용한다.
아울러, 동작 예측 장치가 미리 학습된 동작이 완성되는 시간정보에 기초하여 현재시간으로부터 입력되는 동작의 종료시점을 산출할 수 있다.
본 발명의 실시 예에 따른 동작 예측 방법에 따르면, 사용자가 직접 명령어를 입력하지 않더라도 특정 행동을 명령으로 인식하여 시스템을 제어하는 분야에서 사용자가 직접 장치를 조작하지 않더라도, 사용자의 동작을 분석하여 게임 또는 가전제품을 조작 제어하는데 있어서, 사용자의 동작이 종료되기 전에 종료 정보를 예측함으로써, 반응 속도를 향상시킬 수 있는 효과가 있다.
아울러, 본 발명의 실시 예에 따른 동작 예측 방법에 따르면, 인간의 동작을 인식하고 분석하는 데에 동작의 모든 움직임과, 모든 관절에 대한 운동 데이터를 이용하는 것이 아니라, 미리 선정된 주요 관절에 대한 시계열적인 가속-감속 운동데이터를 이용함으로써, 계산량을 줄이고 따라서 동작 예측 속도와 더 나아가 IT 기술의 반응 속도를 향상시킬 수 있다.
또한, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
본 발명의 단위 동작에 따른 사람의 행동 인식 방법 및 시스템은 사람의 관절 움직임 정보 중 의미있는 주요 단위 동작을 추출하고, 추출된 주요 단위 동작을 종류, 시간, 위치 중 적어도 하나의 정보에 따라 계층적으로 분류함으로써, 관절의 움직임을 통해 사람의 행동 인식에 대한 정확도를 향상시킬 수 있는 효과가 있다.
또한 본 발명의 단위 동작에 따른 사람의 행동 인식 방법 및 시스템은 사람의 행동 중 의미없는 노이즈 데이터를 제외하고 의미있는 주요 단위 동작으로부터 동작 특징을 검출함으로써, 사람의 행동 인식에 필요한 데이터 계산량을 현저히 감소시켜, 사람의 행동 인식에 따른 소요시간을 단출시킬 수 있는 효과가 있다.
상기에서는 본 발명의 바람직한 실시 예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 본 발명의 기술 사상 범위 내에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 첨부된 특허청구범위에 속하는 것은 당연하다.
100: 동작 예측 시스템 110: 동작정보 생성장치
120: 기계 학습 장치 130: 동작 인식 장치
140: 동작 분석 장치 150: 동작 예측 장치

Claims (20)

  1. 기계 학습 장치가 복수 종류의 동작마다 관절의 움직임을 나타내는 관절 데이터 집합을 이용하여 기계학습모델을 학습하는 단계;
    동작 인식 장치가 각 신체영역의 동작을 인식하고, 상기 동작하는 신체영역의 해당 관절에 대한 관절 데이터를 수집하는 단계;
    동작 분석 장치가 상기 관절 데이터를 스트리밍 방식으로 수신함과 동시에 실시간으로 상기 수신된 관절 데이터를 미리 학습된 상기 복수 종류의 동작들과 비교하여 유사도를 판단하는 단계;
    상기 동작 분석 장치가 상기 동작이 종료되기 전에 상기 유사도가 미리 설정된 기준치 이상에 해당하는 하나의 동작을 추출하는 단계; 및
    동작 예측 장치가 상기 추출된 동작에 대해 미리 학습된 상기 관절 데이터 집합에 포함된 종료정보에 기반하여 상기 동작의 종료를 예측하는 단계;를 포함하고,
    상기 기계 학습 장치가 기계학습모델을 학습하는 단계 이전에 상기 복수 종류의 각 동작을 설정하는 단계를 더 포함하며, 상기 복수 종류의 각 동작을 설정하는 단계는,
    각 동작마다 동작의 원점이 되는 기점관절과, 상기 기점관절의 움직임에 연동하는 연동관절을 설정하는 단계; 및
    상기 각 동작마다 동작을 시작할 때의 상기 기점관절 및 연동관절의 각도, 동작 중 감속을 시작할 때의 각도, 상기 감속을 시작할 때까지의 평균 각가속도, 이동방향, 상기 동작이 종료될 때의 상기 기점관절 및 연동관절의 각도를 상기 동작정보에 포함하는 단계;를 포함하는, 동작 예측 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 각 동작을 설정하는 단계는,
    1초에 M(M은 양의 정수)프레임의 상기 관절 데이터를 획득하되, N(N은 양의 정수, M>N) 프레임마다 모든 관절의 위치변화를 측정하는 단계;
    특정 관절이 제1 임계치 이상의 거리를 이동할 경우 해당 프레임을 동작의 시작시점으로 판단하는 단계;
    상기 시작시점 판단 후 N 프레임 간격으로 관절의 위치변화를 계속 기록하는 단계;
    상기 관절이 제2 임계치 이상으로 이동하지 않을 경우, 상기 동작의 정지시점으로 판단하는 단계; 및
    상기 동작의 시작시점부터 상기 정지시점까지 기록된 관절의 이동정보를 하나의 동작으로 설정하는 단계;를 포함하는, 동작 예측 방법.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 복수 종류의 각 동작을 설정하는 단계는,
    상기 동작정보에 상기 동작이 완성되는 시간정보, 상기 동작의 특징을 나타내는 종류정보 및 상기 동작에 연관된 관절의 위치정보 중 적어도 하나의 정보를 포함시키는 단계;를 더 포함하는, 동작 예측 방법.
  6. 제 1 항에 있어서,
    상기 동작의 종료를 예측하는 단계는,
    상기 추출된 동작에 대해 미리 학습된 상기 관절 데이터 집합 중 상기 동작이 종료될 시 상기 기점관절 및 상기 연동관절의 각 각도, 상기 동작이 완성되는 시간정보, 상기 동작의 특징을 나타내는 종류정보 및 상기 동작에 연관된 관절의 위치정보 중 적어도 하나를 산출하는, 동작 예측 방법.
  7. 제 6 항에 있어서,
    상기 동작의 종료를 예측하는 단계는,
    상기 동작이 완성되는 시간정보에 기초하여 현재시간으로부터 상기 동작의 종료시점을 산출하는, 동작 예측 방법.
  8. 제 1 항에 있어서,
    상기 기계학습모델을 학습하는 단계는,
    상기 기계 학습 장치가 한 동작에 대해 상기 기점관절 및 상기 연동관절의 시계열적인 가속-감속 운동정보를 포함하는 관절 데이터 집합을 생성하는 단계;
    상기 기계 학습 장치가 상기 복수 종류의 동작을 학습하기 위해 각 동작에 대해 상기 관절 데이터 집합들을 분류하는 단계; 및
    상기 기계 학습 장치가 상기 관절 데이터 집합들을 이용하여 상기 복수 종류의 동작에 대한 기계학습모델을 학습하는 단계;를 포함하는, 동작 예측 방법.
  9. 제 8 항에 있어서,
    상기 관절 데이터 집합을 생성하는 단계는,
    상기 하나의 동작을 한번 수행하는 데에 n번의 가속-감속 운동이 발생하는 경우, n개 세트의 상기 관절 데이터 집합을 생성하는, 동작 예측 방법.
  10. 제 1 항에 있어서,
    상기 동작하는 신체영역의 해당 관절에 대한 관절 데이터를 수집하는 단계는,
    상기 동작하는 신체영역에 대해 미리 선정된 상기 기점관절 및 상기 연동관절이 상기 동작을 시작할 때의 각 각도, 감속시의 각 각도, 감속을 시작할 때까지의 평균 각가속도 및 이동방향 중 적어도 하나를 수집하는, 동작 예측 방법.
  11. 제 1 항에 있어서,
    상기 수신된 관절 데이터를 미리 학습된 상기 복수 종류의 동작들과 비교하여 유사도를 판단하는 단계는,
    상기 동작 인식 장치로부터 상기 동작의 종료에 관한 정보가 입력되기 전에, 상기 스트리밍 방식으로 입력되는 상기 관절 데이터에서 상기 기점관절 및 상기 연동관절의 각도, 상기 동작 중 감속을 시작할 때의 각도, 상기 감속을 시작할 때까지의 평균 각가속도 및 상기 기점관절 및 상기 연동관절의 이동방향 중 적어도 하나의 정보를 미리 학습된 상기 복수 종류의 동작들과 비교하여 유사도를 판단하는, 동작 예측 방법.
  12. 복수 종류의 동작마다 관절의 움직임을 나타내는 관절 데이터 집합을 이용하여 기계학습모델을 학습하는 기계 학습 장치;
    각 신체영역의 동작을 인식하고, 상기 동작하는 신체영역의 해당 관절에 대한 관절 데이터를 수집하는 동작 인식 장치;
    상기 관절 데이터를 스트리밍 방식으로 수신함과 동시에 실시간으로 상기 수신된 관절 데이터를 미리 학습된 상기 복수 종류의 동작들과 비교하여 유사도를 판단하고, 상기 동작이 종료되기 전에 상기 유사도가 미리 설정된 기준치 이상에 해당하는 하나의 동작을 추출하는 동작 분석 장치; 및
    상기 추출된 동작에 대해 미리 학습된 상기 관절 데이터 집합에 포함된 종료정보에 기반하여 상기 동작의 종료를 예측하는 동작 예측 장치;를 포함하고,
    상기 복수 종류의 각 동작을 설정하는 동작정보 생성장치를 더 포함하며, 상기 동작정보 생성장치는,
    각 동작마다 동작의 원점이 되는 기점관절과, 상기 기점관절의 움직임에 연동하는 연동관절을 설정하고, 상기 각 동작마다 동작을 시작할 때의 상기 기점관절 및 연동관절의 각도, 동작 중 감속을 시작할 때의 각도, 상기 감속을 시작할 때까지의 평균 각가속도, 이동방향, 상기 동작이 종료될 때의 상기 기점관절 및 연동관절의 각도를 상기 동작정보에 포함시키는, 동작 예측 시스템.
  13. 삭제
  14. 제 12 항에 있어서,
    상기 동작정보 생성장치는,
    1초에 M(M은 양의정수) 프레임의 상기 관절 데이터를 획득하되, N(N은 양의 정수, M>N) 프레임마다 모든 관절의 위치변화를 측정하고, 특정 관절이 제1 임계치 이상의 거리를 이동할 경우 해당 프레임을 동작의 시작시점으로 판단하며, 상기 시작시점 판단 후 상기 N 프레임 간격으로 관절의 위치변화를 계속 기록하되, 상기 관절이 제2 임계치 이상으로 이동하지 않을 경우, 상기 동작의 정지시점으로 판단하고, 상기 동작의 시작시점부터 상기 정지시점까지 기록된 관절의 이동정보를 하나의 동작으로 설정하는, 동작 예측 시스템.
  15. 삭제
  16. 제 12 항에 있어서,
    상기 동작정보 생성장치는,
    상기 동작이 완성되는 시간정보, 상기 동작의 특징을 나타내는 종류정보 및 상기 동작에 연관된 관절의 위치정보 중 적어도 하나의 정보를 상기 동작정보에 더 포함시키는, 동작 예측 시스템.
  17. 제 12 항에 있어서,
    상기 동작 예측 장치는,
    상기 추출된 동작에 대해 미리 학습된 상기 관절 데이터 집합 중 상기 동작이 종료될 시 상기 기점관절 및 상기 연동관절의 각 각도, 상기 동작이 완성되는 시간정보, 상기 동작의 특징을 나타내는 종류정보 및 상기 동작에 연관된 관절의 위치정보 중 적어도 하나를 추출하는, 동작 예측 시스템.
  18. 제 16 항에 있어서,
    상기 동작 예측 장치는,
    상기 동작이 완성되는 시간정보에 기초하여 현재시간으로부터 상기 동작의 종료시점을 산출하는, 동작 예측 시스템.
  19. 제 12 항에 있어서,
    상기 기계 학습 장치는,
    한 동작에 대해 상기 동작의 기점이 되는 기점관절 및 상기 기점관절의 움직임에 연동하는 연동관절의 시계열적인 가속-감속 운동에 관한 정보를 포함하는 관절 데이터 집합을 생성하고,
    상기 복수 종류의 동작을 학습하기 위해 각 동작에 대해 상기 관절 데이터 집합들을 분류하며, 상기 관절 데이터 집합들을 이용하여 상기 복수 종류의 동작에 대한 기계학습모델을 학습하는, 동작 예측 시스템.
  20. 제 19 항에 있어서,
    상기 동작 인식 장치는,
    동작하는 신체영역에 대해 미리 선정된 상기 기점관절 및 상기 연동관절이 상기 동작을 시작할 때의 각 각도, 감속시의 각 각도, 감속을 시작할 때까지의 평균 각가속도 및 이동방향을 상기 동작이 종료되기 전에 상기 관절 데이터로서 수집하는, 동작 예측 시스템.
KR1020170055209A 2017-04-28 2017-04-28 동작 예측 방법 및 시스템 KR101826268B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170055209A KR101826268B1 (ko) 2017-04-28 2017-04-28 동작 예측 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170055209A KR101826268B1 (ko) 2017-04-28 2017-04-28 동작 예측 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101826268B1 true KR101826268B1 (ko) 2018-02-06

Family

ID=61228043

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170055209A KR101826268B1 (ko) 2017-04-28 2017-04-28 동작 예측 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101826268B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200088562A (ko) 2019-01-15 2020-07-23 주식회사 케이티 심층 신경망을 이용한 동작 및 근력 분석 방법 및 시스템
WO2022114406A1 (ko) * 2020-11-25 2022-06-02 주식회사 싸인텔레콤 영상기반의 핵심골격검출을 통한 안전관리 시스템
EP3949909A4 (en) * 2019-03-28 2022-06-08 Industry-Academic Cooperation Foundation Gyeongsang National University DEVICE AND APPLICATION FOR THE INTEGRATED MANAGEMENT OF ARTIFICIAL JOINTS
WO2023219393A1 (ko) * 2022-05-10 2023-11-16 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012101284A (ja) 2010-11-05 2012-05-31 Nagoya Univ 人の動作における意図推定装置
KR101711488B1 (ko) 2015-01-28 2017-03-03 한국전자통신연구원 동작 기반 인터랙티브 서비스 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012101284A (ja) 2010-11-05 2012-05-31 Nagoya Univ 人の動作における意図推定装置
KR101711488B1 (ko) 2015-01-28 2017-03-03 한국전자통신연구원 동작 기반 인터랙티브 서비스 방법 및 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200088562A (ko) 2019-01-15 2020-07-23 주식회사 케이티 심층 신경망을 이용한 동작 및 근력 분석 방법 및 시스템
EP3949909A4 (en) * 2019-03-28 2022-06-08 Industry-Academic Cooperation Foundation Gyeongsang National University DEVICE AND APPLICATION FOR THE INTEGRATED MANAGEMENT OF ARTIFICIAL JOINTS
WO2022114406A1 (ko) * 2020-11-25 2022-06-02 주식회사 싸인텔레콤 영상기반의 핵심골격검출을 통한 안전관리 시스템
WO2023219393A1 (ko) * 2022-05-10 2023-11-16 삼성전자주식회사 전자 장치 및 그 제어 방법

Similar Documents

Publication Publication Date Title
KR101826268B1 (ko) 동작 예측 방법 및 시스템
JP7146247B2 (ja) 動作認識方法及び装置
JP6494331B2 (ja) ロボット制御装置およびロボット制御方法
JP6583537B2 (ja) 動作情報生成装置
CN104766038A (zh) 手掌开合动作识别方法和装置
KR102343849B1 (ko) 모션 궤적의 특징 처리 방법, 장치 및 컴퓨터 저장 매체
KR20120052610A (ko) 신경망 학습을 통한 동작 인식 방법 및 장치
KR101762010B1 (ko) 스켈레톤 자세 데이터세트를 이용한 비디오 기반 상호 활동 모델링 방법
US8924317B2 (en) Information processing apparatus, information processing method and program
US11580784B2 (en) Model learning device, model learning method, and recording medium
KR101450586B1 (ko) 동작 인식 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR101652705B1 (ko) 멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법
CN113377193A (zh) 一种基于可靠手势识别的自动售货机交互方法及系统
CN111050266B (zh) 一种基于耳机检测动作进行功能控制的方法及系统
KR20210015512A (ko) 심층 신경망을 기반으로 동작을 인식하는 서버, 시스템 및 방법
CN113894779B (zh) 一种应用于机器人交互的多模态数据处理方法
KR101556696B1 (ko) 단위 동작에 따른 사람의 행동 인식 방법 및 시스템
KR101874188B1 (ko) 인식 동작의 피드백을 이용하는 행동 인식 방법 및 장치
KR101969230B1 (ko) 학습을 이용한 모션 인식 장치 및 방법과 이에 대한 기록 매체
CN112936342A (zh) 基于人体姿态识别算法的实体机器人动作评测系统及方法
Anbarsanti et al. Dance learning and recognition system based on hidden Markov model. a case study: aceh traditional dance
JP6172755B2 (ja) 感情情報推定装置、方法及びプログラム
KR102553019B1 (ko) 비언어적 상호작용을 위한 로봇의 행동을 제어하기 위한 장치 및 이를 위한 방법
JP7483179B1 (ja) 推定装置、学習装置、推定方法及び推定プログラム
KR102482530B1 (ko) 인공지능 기반의 충돌 감지 기능을 갖는 로봇 시스템 및 로봇 관절의 충돌 감지를 위한 인공지능 기반의 학습 데이터 생성 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant