KR20160075884A - 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템 - Google Patents

스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템 Download PDF

Info

Publication number
KR20160075884A
KR20160075884A KR1020140183675A KR20140183675A KR20160075884A KR 20160075884 A KR20160075884 A KR 20160075884A KR 1020140183675 A KR1020140183675 A KR 1020140183675A KR 20140183675 A KR20140183675 A KR 20140183675A KR 20160075884 A KR20160075884 A KR 20160075884A
Authority
KR
South Korea
Prior art keywords
joints
skeleton
similarity
position information
joint
Prior art date
Application number
KR1020140183675A
Other languages
English (en)
Other versions
KR101636171B1 (ko
Inventor
송유진
도정민
Original Assignee
동국대학교 경주캠퍼스 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 경주캠퍼스 산학협력단 filed Critical 동국대학교 경주캠퍼스 산학협력단
Priority to KR1020140183675A priority Critical patent/KR101636171B1/ko
Publication of KR20160075884A publication Critical patent/KR20160075884A/ko
Application granted granted Critical
Publication of KR101636171B1 publication Critical patent/KR101636171B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs

Abstract

스켈레톤 모형의 정확도를 높일 수 있는 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템이 개시된다. 이러한 스켈레톤 트래킹 방법은 N개의 뎁스(depth) 센서 카메라들로부터 복수의 관절들을 갖는 임의의 사람에 대한 N개의 촬영 정보들을 생성하는 단계(단, N은 2 이상의 정수임), 상기 촬영 정보들로부터 상기 관절들 각각에서의 N개의 위치 정보들을 추출하는 단계, 상기 관절들 각각에서의 N개의 위치 정보들로부터 상기 관절들 각각에 대한 통합 위치 정보를 계산하는 단계, 및 상기 관절들 각각에 대한 통합 위치 정보를 이용하여 상기 사람에 대한 스켈레톤(skeleton) 모형을 형성하는 단계를 포함한다. 이와 같이, 상기 관절들 각각에서의 N개의 위치 정보들로부터 상기 관절들 각각에 대한 통합 위치 정보를 계산함에 따라, 보다 정확한 스켈레톤 모형을 형성할 수 있다.

Description

스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템{SKELETON TRACKING METHOD AND KELETON TRACKING SYSTEM USING THE METHOD}
본 발명은 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템에 관한 것으로, 더욱 상세하게는 사람의 움직임을 추적할 수 있는 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템에 관한 것이다.
최근 RGB 카메라와 뎁스(depth) 센서를 결합한 뎁스 센서 카메라가 보급되고 있고, 상기 뎁스 센서 카메라의 대표적인 제품은 마이크로소프트(Microsoft)사의 키넥트(Kinect)가 있다. 상기 뎁스 센서 카메라는 임의의 사물을 촬영하여 사물에 대한 이미지 및 위치 정보를 생성할 수 있다.
예를 들어, 상기 뎁스 센서 카메라가 임의의 사람을 촬영하여 촬영 데이터를 생성할 경우, 상기 촬영 데이터로부터 상기 사람의 관절들 각각의 위치 정보가 추출될 수 있고, 이렇게 추출된 상기 관절들 각각의 위치 정보로부터 하나의 스켈레톤(skeleton) 모형이 형성될 수 있다. 더 나아가, 상기 스켈레톤 모형의 움직임을 통해 사용자의 움직임을 인식하여 임의의 응용 프로그램을 제어하기 위한 사용자 인터페이스(user interface)로 활용할 수도 있다.
이러한 사용자 인터페이스는 정확한 입력값을 주는 유니모달(unimodal) 인터페이스에 비해서 상대적으로 정확하지 못한 입력값을 전달하여 상기 응용 프로그램에서의 오류 입력을 만들어낼 수 있다. 따라서, 이러한 오류 입력을 억제하기 위해서는 보다 정확한 스켈레톤 모형을 추출하는 것이 중요하다.
한편, 상기 사용자 인터페이스의 정확도를 증가시키는 방법 중 하나로, 뎁스 센서 카메라 2대를 이용하는 방법이 연구되고 있다. 즉, 2개의 뎁스 센서 카메라들에서 각각 추출한 2개의 스켈레톤 모형들을 통합하여 사용자 인터페이스의 정확도를 증가시킬 수 있다.
구체적으로 설명하면, 2개의 뎁스 센서 카메라들에서 각각 추출한 2개의 스켈레톤 모형들을 추출한 후 통합할 때, 실제 사용자의 신체와 가까운 거리에서 수집한 위치 정보를 기준으로 나머지 하나의 위치 정보를 무시하는 방식을 이용할 수 있다. 그러나, 이러한 방식도 가까운 거리에서 수집한 위치 정보에 자체 오류가 포함되어 있을 경우, 사용자 인터페이스의 정확도를 증가시키는데 한계가 있다.
따라서, 본 발명은 이러한 문제점을 해결하기 위한 것으로, 본 발명의 해결하고자 하는 과제는 스켈레톤 모형의 정확도를 높일 수 있는 스켈레톤 트래킹 방법을 제공하는 것이다.
또한, 본 발명의 해결하고자 하는 다른 과제는 상기 스켈레톤 트래킹 방법을 이용한 스켈레톤 트래킹 시스템을 제공하는 것이다.
본 발명의 일 실시예에 의한 스켈레톤 트래킹 방법은 N개의 뎁스(depth) 센서 카메라들로부터 복수의 관절들을 갖는 임의의 사람에 대한 N개의 촬영 정보들을 생성하는 단계(단, N은 2 이상의 정수임), 상기 촬영 정보들로부터 상기 관절들 각각에서의 N개의 위치 정보들을 추출하는 단계, 상기 관절들 각각에서의 N개의 위치 정보들로부터 상기 관절들 각각에 대한 통합 위치 정보를 계산하는 단계, 및 상기 관절들 각각에 대한 통합 위치 정보를 이용하여 상기 사람에 대한 스켈레톤(skeleton) 모형을 형성하는 단계를 포함한다.
상기 관절들 각각에 대한 통합 위치 정보는 상기 관절들 각각에서의 N개의 위치 정보들의 단순 평균, 가중 평균 및 제곱평균제곱근 중 어느 하나의 값을 포함할 수 있다.
상기 스켈레톤 트래킹 방법은 상기 스켈레톤 모형을 기준 모형과 비교하여 두 모형 간의 스켈레톤 유사도를 계산하는 단계를 더 포함할 수 있다.
상기 기준 모형은 상기 관절들 각각 대응되는 기준 연결점들의 위치 정보들을 포함할 수 있다.
상기 스켈레톤 유사도를 계산하는 단계는 상기 관절들의 위치 정보들 및 상기 기준 연결점들의 위치 정보들을 서로 대응되는 것들끼리 비교하여 관절 유사도들을 계산하는 단계, 및 상기 관절 유사도들을 이용하여 상기 스켈레톤 유사도를 계산하는 단계를 포함할 수 있다.
상기 스켈레톤 유사도는 상기 관절 유사도들의 단순 평균값을 포함할 수 있다.
상기 관절 유사도들을 계산하는 단계는 상기 관절들의 위치 정보들 및 상기 기준 연결점들의 위치 정보들로부터 서로 대응되는 두 위치들 사이의 거리를 나타내는 유클리디안 디스턴스(Euclidean distance)들을 계산하는 단계, 및 상기 유클리디안 디스턴스들을 이용하여 상기 관절 유사도들을 계산하는 단계를 포함할 수 있다.
상기 관절 유사도들 각각은 1을 상기 유클리디안 디스턴스들 각각을 설정값 k로 나눈 값으로 뺀 값을 포함할 수 있다.
상기 스켈레톤 트래킹 방법은 상기 뎁스 센서 카메라들의 개수 및 상기 뎁스 센서 카메라들 각각의 화각 중 적어도 하나를 고려하여 상기 설정값 k를 설정하는 단계를 더 포함할 수 있다.
상기 스켈레톤 트래킹 방법은 상기 스켈레톤 유사도를 표시하는 단계를 더 포함할 수 있다.
한편, 본 발명의 일 실시예에 의한 스켈레톤 트래킹 시스템은 N개의 뎁스(depth) 센서 카메라들 및 스켈레톤 트래킹 모듈을 포함한다(단, N은 2 이상의 정수임).
상기 뎁스 센서 카메라들은 복수의 관절들을 갖는 임의의 사람을 촬영하여 상기 사람에 대한 N개의 촬영 정보들을 각각 생성한다. 상기 스켈레톤 트래킹 모듈은 상기 촬영 정보들로부터 상기 관절들 각각에서의 N개의 위치 정보들을 추출하고, 상기 관절들 각각에서의 N개의 위치 정보들로부터 상기 관절들 각각에 대한 통합 위치 정보를 계산하며, 상기 관절들 각각에 대한 통합 위치 정보를 이용하여 상기 사람에 대한 스켈레톤(skeleton) 모형을 형성한다.
상기 관절들 각각에 대한 통합 위치 정보는 상기 관절들 각각에서의 N개의 위치 정보들의 단순 평균, 가중 평균 및 제곱평균제곱근 중 어느 하나의 값을 포함할 수 있다.
상기 스켈레톤 트래킹 시스템은 상기 스켈레톤 모형을 기준 모형과 비교하여 두 모형 간의 스켈레톤 유사도를 계산하는 유사도 평가 모듈을 더 포함할 수 있다.
상기 기준 모형은 상기 관절들 각각 대응되는 기준 연결점들의 위치 정보들을 포함할 수 있다.
상기 유사도 평가 모듈은 상기 관절들의 위치 정보들 및 상기 기준 연결점들의 위치 정보들을 서로 대응되는 것들끼리 비교하여 관절 유사도들을 계산하고, 상기 관절 유사도들을 이용하여 상기 스켈레톤 유사도를 계산할 수 있다.
상기 스켈레톤 유사도는 상기 관절 유사도들의 단순 평균값을 포함할 수 있다.
상기 유사도 평가 모듈은 상기 관절들의 위치 정보들 및 상기 기준 연결점들의 위치 정보들로부터 서로 대응되는 두 위치들 사이의 거리를 나타내는 유클리디안 디스턴스(Euclidean distance)들을 계산하고, 상기 유클리디안 디스턴스들을 이용하여 상기 관절 유사도들을 계산할 수 있다.
상기 관절 유사도들 각각은 1을 상기 유클리디안 디스턴스들 각각을 설정값 k로 나눈 값으로 뺀 값을 포함할 수 있다.
상기 유사도 평가 모듈은 상기 뎁스 센서 카메라들의 개수 및 상기 뎁스 센서 카메라들 각각의 화각 중 적어도 하나를 고려하여 상기 설정값 k를 설정할 수 있다.
상기 스켈레톤 트래킹 시스템은 상기 스켈레톤 유사도를 표시하는 디스플레이 장치를 더 포함할 수 있다.
이와 같이 본 발명에 의한 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템에 따르면, N개의 뎁스 센서 카메라들에서 생성된 N개의 촬영 정보들로부터 관절들 각각에서의 N개의 위치 정보들이 추출되고, 이렇게 추출된 상기 관절들 각각에서의 N개의 위치 정보들로부터 상기 관절들 각각에 대한 통합 위치 정보가 계산됨에 따라, 보다 정확한 스켈레톤 모형이 형성될 수 있다.
즉, 상기 스켈레톤 트래킹 방법 또는 시스템이 상기 관절들 각각에서의 N개의 위치 정보들 중 가장 가까운 것 하나를 선택하여 스켈레톤 모형을 형성하는 것이 아니라, 상기 관절들 각각에서의 N개의 위치 정보들의 단순 평균, 가중 평균 및 제곱평균제곱근 중 어느 하나의 값을 계산하여 상기 관절들 각각에 대한 통합 위치 정보를 추출하고 이렇게 추출된 값들을 통해 스켈레톤 모형을 형성함에 따라, 상기 관절들 각각에서의 N개의 위치 정보들 중 일부에 오류가 발생되더라도 상기 오류가 상기 1/N로 감소되어 보다 정확한 스켈레톤 모형을 형성할 확률이 증가될 수 있다.
또한, 상기 스켈레톤 트래킹 방법 또는 시스템이 상기 스켈레톤 모형을 기준 모형과 비교하여 상기 두 모형 간의 스켈레톤 유사도를 계산함에 따라, 상기 스켈레톤 모형이 상기 기준 모형과 얼마나 유사한지를 평가할 수 있다.
또한, 상기 스켈레톤 유사도의 최하값을 나타내는 설정값 k가 조절될 경우, 유사도 변화율 또는 민감도가 조절될 수 있다. 그에 따라, 상기 스켈레톤 트래킹 방법 또는 시스템이 재활 훈련을 제공하는 재활 서비스에 적용될 경우, 상기 설정값 k는 상기 재활 서비스에서의 훈련 난이도를 결정하는 값이 될 수 있다.
도 1은 본 발명의 일 실시예에 의한 스켈레톤 트래킹 방법을 설명하기 위한 순서도이다.
도 2는 도 1의 스켈레톤 트래킹 방법에 적용되는 뎁스 센서 카메라의 일 예를 설명하기 위한 도면이다.
도 3은 도 2의 뎁스 센서 카메라 4대를 이용하여 촬영하는 일 예를 설명하기 위한 도면이다.
도 4는 도 1의 스켈레톤 트래킹 방법에서의 촬영 대상이 되는 사람의 관절들의 일 예를 도시한 도면이다.
도 5는 도 1의 스켈레톤 트래킹 방법 중 스켈레톤 유사도를 계산하는 과정을 설명하기 위한 순서도이다.
도 6은 도 1의 스켈레톤 트래킹 방법을 이용한 스켈레톤 트래킹 시스템의 일 예를 설명하기 위한 블록도이다.
도 7은 도 1의 스켈레톤 트래킹 방법에서 사용되는 평가 변수를 설명하기 위한 테이블이다.
도 8은 뎁스 센서 카메라의 대수 변화에 따른 스켈레톤 유사도의 변화를 나타낸 그래프이다.
도 9는 설정값 k의 변화에 따른 스켈레톤 유사도의 변화를 나타낸 그래프들이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 의한 스켈레톤 트래킹 방법을 설명하기 위한 순서도이고, 도 2는 도 1의 스켈레톤 트래킹 방법에 적용되는 뎁스 센서 카메라의 일 예를 설명하기 위한 도면이며, 도 3은 도 2의 뎁스 센서 카메라 4대를 이용하여 촬영하는 일 예를 설명하기 위한 도면이고, 도 4는 도 1의 스켈레톤 트래킹 방법에서의 촬영 대상이 되는 사람의 관절들의 일 예를 도시한 도면이다.
도 1 내지 도 4를 참조하면, 본 실시예에 의한 스켈레톤 트래킹 방법은 사람의 움직임을 측정하여 추적할 수 있는 트래킹 방법에 관한 것으로, 임의의 검퓨터 시스템에 의해 수행될 수 있다.
상기 스켈레톤 트래킹 방법으로, 우선 N개의 뎁스(depth) 센서 카메라들(100)로부터 복수의 관절들을 갖는 임의의 사람에 대한 N개의 촬영 정보들을 생성한다(S100). 여기서, N은 2 이상의 정수이다.
예를 들어, 상기 뎁스 센서 카메라들(100) 각각은 RGB 카메라, 적외선 뎁스 센서 및 적외선 프로젝터를 포함할 수 있다. 상기 적외선 프로젝터는 일정한 간격으로 수많은 점의 적외선들을 상기 사람을 향해 분사하고, 상기 적외선 뎁스 센서는 상기 사람에 부딪혀 반사된 상기 적외선들을 센싱하여 상기 각 점에서의 카메라와 사물 간의 거리 정보를 획득한다. 상기 RGB 카메라는 상기 사람의 이미지 정보를 획득한다. 이와 같이, 상기 촬영 정보들 각각은 상기 각 점에서의 카메라와 사물 간의 거리 정보 및 상기 사람의 이미지 정보를 포함할 수 있다.
본 실시예에서, 상기 관절들은 도 4와 같이 20개로 구성될 수 있다. 예를 들어, 상기 20개의 관절들은 머리(Head), 어깨 중앙(ShoulderCenter), 좌측 어깨(ShoulderLeft), 우측 어깨(ShoulderRight), 척추(Spine), 좌측 팔꿈치(ElbowLeft), 우측 팔꿈치(ElbowRight), 좌측 손목(WristLeft), 우측 손목(WristRight), 왼손(HandLeft), 오른손(HandRight), 히프 중앙(HipCenter), 좌측 히프(HipLeft), 우측 히프(HipRight), 좌측 무릎(KneeLeft), 우측 무릎(KneeRight), 좌측 발목(AnkleLeft), 우측 발목(AnkleRight), 왼발(FootLeft), 및 오른발(FootRight)의 관절들일 수 있다.
이어서, 상기 촬영 정보들로부터 상기 관절들 각각에서의 N개의 위치 정보들을 추출할 수 있다(S200).
여기서, 뎁스 센서 카메라 n에서 추출된 임의의 관절의 위치 정보는 아래와 같은 수식으로 표현할 수 있다.
CAMn.PositionInfoJoint=(xn, yn, zn)
이어서, 상기 관절들 각각에서의 N개의 위치 정보들로부터 상기 관절들 각각에 대한 통합 위치 정보를 계산한다(S300).
예를 들어, 상기 관절들 각각에서의 N개의 위치 정보들의 단순 평균, 가중 평균 및 제곱평균제곱근 중 어느 하나의 값을 계산하여 상기 관절들 각각에 대한 통합 위치 정보를 추출할 수 있다. 이때, 상기 가중 평균값은 카메라와 사물 간의 거리가 가까운 것일수록 높은 가중치를 부여하여 평균을 구하는 계산 방법으로 추출될 수 있다.
여기서, 상기 관절들 각각에 대한 통합 위치 정보가 상기 관절들 각각에서의 N개의 위치 정보들의 단순 평균값으로 계산되어진다고 가정할 때, 임의의 관절에 대한 통합 위치 정보는 아래와 같은 수식으로 표현할 수 있다.
Calculated.PositionInfoJoint=(xc, yc, zc)
xc=(x1+x2+x3+...+xn)/n
yc=(y1+y2+y3+...+yn)/n
zc=(z1+z2+z3+...+zn)/n
이어서, 상기 관절들 각각에 대한 통합 위치 정보를 이용하여 상기 사람에 대한 스켈레톤(skeleton) 모형을 형성한다(S400). 즉, 상기 관절들의 좌표값들을 서로 연결하여 하나의 스켈레톤 모형을 형성할 수 있다.
이어서, 상기 스켈레톤 모형을 기준 모형과 비교하여 상기 두 모형 간의 스켈레톤 유사도를 계산한다(S500). 여기서, 상기 기준 모형은 상기 스켈레톤 모형과의 유사도를 평가하기 위한 기준 대상을 의미하며, 상기 관절들 각각 대응되는 기준 연결점들의 위치 정보들을 포함할 수 있다. 한편, 상기 스켈레톤 유사도를 계산하기 전에, 상기 기준 모형을 생성하는 단계가 더 수행될 수도 있다.
이어서, 상기 스켈레톤 유사도를 외부로 표시한다(S600). 이때, 상기 스켈레톤 유사도는 모니터를 통해 그래픽으로 표시할 수도 있지만, 종이로 인쇄되어 표시될 수도 있다. 한편, 상기 스켈레톤 유사도는 유선 또는 무선 통신 방법을 통해 외부의 다른 시스템으로 전송될 수도 있다.
도 5는 도 1의 스켈레톤 트래킹 방법 중 스켈레톤 유사도를 계산하는 과정을 설명하기 위한 순서도이다.
도 5를 참조하면, 상기 S500 단계에 따른 상기 스켈레톤 유사도를 계산하는 과정으로, 우선 상기 관절들의 위치 정보들 및 상기 기준 연결점들의 위치 정보들을 서로 대응되는 것들끼리 비교하여 관절 유사도들을 계산할 수 있다(S510).
구체적으로, 상기 S510 단계로, 우선 상기 관절 유사도들 각각을 계산하기 위해 필요한 설정값 k를 설정한다(S512). 이때, 상기 설정값 k는 사용자에 의해 자유롭게 입력된 값일 수도 있지만, 기저장된 임의의 값일 수도 있으며, 임의의 조건에 의해 자동으로 계산되어지는 값일 수도 있다.
예를 들어, 상기 설정값 k는 상기 뎁스 센서 카메라들의 개수 및 상기 뎁스 센서 카메라들 각각의 화각 중 적어도 하나를 인자로 하여 자동으로 계산되어질 수 있다. 또는, 사용자가 상기 설정값 k을 설정할 수 있는 범위가 상기 뎁스 센서 카메라들의 개수 및 상기 뎁스 센서 카메라들 각각의 화각 중 적어도 하나에 의해 결정될 수도 있다.
이어서, 상기 관절들의 위치 정보들 및 상기 기준 연결점들의 위치 정보들로부터 서로 대응되는 두 위치들 사이의 거리를 나타내는 유클리디안 디스턴스(Euclidean distance)들을 계산할 수 있다(S512).
예를 들어, 어느 하나의 관절 B가 기준 연결점 A와 서로 대응되고, 상기 기준 연결점 A의 위치 정보가 (xa, ya, za)이며, 상기 관절 B의 위치 정보가 (xb, yb, zb)이라고 할 때, 상기 관절 B 및 상기 기준 연결점 A 사이의 유클리디안 디스턴스는 다음과 같은 수식으로 표현될 수 있다.
Figure pat00001
이어서, 상기 유클리디안 디스턴스들을 이용하여 상기 관절 유사도들을 계산할 수 있다(S514). 이때, 상기 관절 유사도들 각각은 1을 상기 유클리디안 디스턴스들 각각을 설정값 k로 나눈 값으로 뺀 값일 수 있다.
여기서, 상기 관절 B 및 상기 기준 연결점 A 사이의 유클리디안 디스턴스에 따른 관절 유사도를 수식으로 표현하면 다음과 같다.
Figure pat00002
이어서, 상기 관절 유사도들이 계산되어지면, 상기 관절 유사도들을 이용하여 상기 스켈레톤 유사도를 계산할 수 있다(S520). 이때, 상기 스켈레톤 유사도는 상기 관절 유사도들의 단순 평균값일 수 있다.
예를 들어, 상기 스켈레톤 유사도를 도 4에 따른 20개의 관절들에 대응하는 관절 유사도들로 표현하면 다음과 같다.
Figure pat00003
한편, 본 실시예에서, 상기 설정값 k를 설정하는 단계(S512)는 상기 관절 유사도들을 계산하는 단계(S514) 이전이라면, 어느 시점에서도 수행될 수 있다. 예를 들어, 상기 설정값 k를 설정하는 단계(S512)는 상기 촬영 정보들을 생성하는 단계(S100) 이전에 이미 수행될 수도 있다. 이때, 상기 촬영 정보들을 생성하는 단계(S100) 이전에 상기 설정값 k를 설정하는 단계(S512)가 수행될 경우, 이전에 수행된 프로세스에 의해 도출된 스켈레톤 유사도의 값을 고려하여 상기 설정값 k이 설정될 수도 있다.
이하, 위에서 설명한 스켈레톤 트래킹 방법을 이용한 스켈레톤 트래킹 시스템의 일 예를 자세하게 설명하고자 한다.
도 6은 도 1의 스켈레톤 트래킹 방법을 이용한 스켈레톤 트래킹 시스템의 일 예를 설명하기 위한 블록도이다.
도 6을 참조하면, 본 실시예에 의한 스켈레톤 트래킹 시스템은 상기 뎁스 센서 카메라들(100)과, 스켈레톤 트래킹 모듈(200), 유사도 평가 모듈(300) 및 디스플레이 장치(400)을 포함할 수 있다.
상기 뎁스 센서 카메라들(100)은 복수의 관절들을 갖는 임의의 사람을 촬영하여 상기 사람에 대한 N개의 촬영 정보들을 각각 생성한다. 즉, 상기 뎁스 센서 카메라들(100)은 상기 S100 단계를 수행할 수 있다.
상기 스켈레톤 트래킹 모듈(200)은 상기 촬영 정보들로부터 상기 관절들 각각에서의 N개의 위치 정보들을 추출하고, 상기 관절들 각각에서의 N개의 위치 정보들로부터 상기 관절들 각각에 대한 통합 위치 정보를 계산하며, 상기 관절들 각각에 대한 통합 위치 정보를 이용하여 상기 사람에 대한 스켈레톤 모형을 형성한다. 즉, 상기 스켈레톤 트래킹 모듈(200)은 상기 S200, S300 및 S400 단계들을 수행할 수 있다.
구체적으로, 상기 스켈레톤 트래킹 모듈(200)은 상기 촬영 정보들로부터 상기 관절들 각각에서의 N개의 위치 정보들을 추출하는 관절 위치 정보 추출부(210), 상기 관절들 각각에서의 N개의 위치 정보들로부터 상기 관절들 각각에 대한 통합 위치 정보를 계산하는 통합 위치 정보 계산부(220), 및 상기 관절들 각각에 대한 통합 위치 정보를 이용하여 상기 사람에 대한 스켈레톤 모형을 형성하는 스켈레톤 모형 형성부(230)을 포함할 수 있다. 이때, 상기 관절 위치 정보 추출부(210), 상기 통합 위치 정보 계산부(220), 및 상기 스켈레톤 모형 형성부(230)는 물리적으로 분리된 프로세스 소자들일 수 있지만, 프로그램 상으로 분리되어 있을 뿐 하나의 프로세스 소자에서 수행되는 프로그램들일 수도 있다.
한편, 상기 관절 위치 정보 추출부(210)가 상기 촬영 정보들로부터 상기 관절들 각각에서의 N개의 위치 정보들을 추출하는 것은 상기 관절 위치 정보 추출부(210)가 상기 촬영 정보들을 각종 프로세싱을 수행하여 상기 관절들 각각에서의 N개의 위치 정보들을 뽑아내거나 새롭게 생성하는 것뿐만 아니라, 상기 뎁스 센서 카메라들(100)로부터 직접 상기 관절들 각각에서의 N개의 위치 정보들을 제공받아 그대로 사용하는 것을 포함하는 개념일 수 있다.
예를 들어, 상기 뎁스 센서 카메라들(100)에서 상기 관절 위치 정보 추출부(210)로 제공되는 상기 촬영 정보들은 상기 관절들 각각에서의 N개의 위치 정보들을 직접 포함할 수 있다. 즉, 상기 뎁스 센서 카메라들(100) 각각은 촬영된 영상 및 데이터를 자체 프로세싱을 수행하여 상기 관절들 각각에서의 N개의 위치 정보들을 생성하여 상기 관절 위치 정보 추출부(210)로 제공할 수도 있다.
상기 유사도 평가 모듈(300)은 상기 스켈레톤 모형을 상기 기준 모형과 비교하여 상기 두 모형 간의 스켈레톤 유사도를 계산할 수 있다.
구체적으로, 상기 유사도 평가 모듈(300)은 상기 관절들의 위치 정보들 및 상기 기준 연결점들의 위치 정보들로부터 서로 대응되는 두 위치들 사이의 거리를 나타내는 상기 유클리디안 디스턴스들을 계산하고, 상기 유클리디안 디스턴스들을 이용하여 상기 관절 유사도들을 계산하며, 상기 관절 유사도들을 이용하여 상기 스켈레톤 유사도를 계산할 수 있다. 즉, 상기 유사도 평가 모듈(300)은 상기 S500 단계를 수행할 수 있다.
예를 들어, 상기 유사도 평가 모듈(300)은 K값 설정부(310), 기준 모형 저장부(320) 및 유사도 계산부(330)을 포함할 수 있다. 여기서, 상기 K값 설정부(310), 상기 기준 모형 저장부(320) 및 상기 유사도 계산부(330)는 서로 물리적으로 분리된 프로세스 또는 메모리 소자들일 수 있지만, 프로그램 상으로 분리되어 있을 뿐 하나의 프로세스 소자에서 수행되는 프로그램들일 수도 있다.
상기 K값 설정부(310)는 상기 관절 유사도들 각각을 계산하기 위해 필요한 상기 설정값 k를 설정할 수 있다. 즉, 상기 K값 설정부(310)는 상기 S512 단계를 수행할 수 있다. 여기서, 상기 설정값 k가 사용자에 의해 자유롭게 입력된 값일 경우, 상기 K값 설정부(310)는 사용자으로부터 입력값을 제공받을 수 있는 입력 수단을 포함할 수 있다.
상기 기준 모형 저장부(320)는 상기 유클리디안 디스턴스들을 계산하기 위한 상기 기준 모형에 대한 정보를 저장하고 있다. 여기서, 상기 기준 모형에 대한 정보는 본 실시예에 의한 프로세스를 수행하기 이전에 상기 기준 모형 저장부(320)에 저장되어 있어야 한다.
상기 유사도 계산부(330)는 상기 스켈레톤 모형 형성부(230)에서 제공된 상기 스켈레톤 모형에 대한 정보, 상기 기준 모형 저장부(320)에서 제공된 상기 기준 모형에 대한 정보, 및 상기 K값 설정부(310)으로부터 제공된 상기 설정값 k을 이용하여, 상기 스켈레톤 유사도를 계산할 수 있다. 즉, 상기 유사도 계산부(330)는 상기 S514, S516 및 S520 단계들을 수행할 수 있다.
본 실시예에서, 상기 스켈레톤 트래킹 모듈(200) 및 상기 유사도 평가 모듈(300)는 서로 물리적으로 분리된 프로세스 소자들 또는 컴퓨터 장치들일 수도 있지만, 프로그램 상으로 분리되어 있을 뿐 하나의 프로세스 소자 또는 컴퓨터 장치에서 수행되는 프로그램들일 수도 있다.
상기 디스플레이 장치(400)는 상기 유사도 계산부(330)로부터 상기 스켈레톤 유사도를 제공받아 표시할 수 있다. 또한, 상기 디스플레이 장치(400)는 상기 스켈레톤 모형 형성부(230)로부터 상기 스켈레톤 모형을 제공받고, 상기 기준 모형 저장부(320)로부터 상기 기준 모형을 제공받아, 상기 스켈레톤 모형 및 상기 기준 모형을 동시에 또는 어느 하나만 표시할 수도 있다.
한편, 본 실시예서, 상기 스켈레톤 유사도의 최하값을 나타내는 상기 설정값 k가 조절될 경우, 상기 스켈레톤 유사도에 대한 변화율 또는 민감도가 조절될 수 있다. 구체적으로, 상기 설정값 k가 커질수록 유사도 변화의 폭은 줄어들고, 상기 설정값 k가 작아질수록 유사도 변화의 폭은 커질 수 있다. 이때, 상기 설정값 k로 결정되는 상기 스켈레톤 유사도에 대한 변화율 또는 민감도의 설정으로, 재활서비스에서 환자가 트레이너의 동작을 따라하는 재활 훈련을 수행할 때 난이도 설정 기능으로 활용될 수 있다.
이하, 상기 뎁스 센서 카메라의 대수가 증가됨에 따라 스켈레톤 모형의 정확도가 증가되는 것을 확인할 수 있는 실험 결과를 설명하고자 한다.
우선, 실험 환경의 하드웨어 스펙은 Windows 7 64bit Operating System, intel core i5-750 Lynnfield Quad-Core 2.66GHz CPU, 8 Gigabyte RAM이다. 뎁스 센서 카메라는 상용화 제품 중 가격 대비 성능이 우수한 Microsoft Kinect for Windows 4대를 사용한다. 뎁스 센서 카메라의 수가 4대인 이유는 스켈레톤 모형이 사용자 신체의 전면 모습을 기반으로 구성되므로 전면의 모든 부분을 추출할 수 있는 카메라 배치를 생각했을 때 최대 4대가 가장 효과적이기 때문이다.
실험의 목표는 뎁스 센서 카메라의 대수 증가에 따라 본 제안 방식을 이용하여 통합한 스켈레톤 모형의 정확도가 개선되는지 확인하는 것이다. 그렇기 때문에 뎁스 센서 카메라를 1대에서 4대까지 증가시키되 실험 방법은 동일해야 한다.
이어서, 유사도 변화의 민감도를 결정짓는 설정값 k를 설정한다. 상기 설정값 k(범위는 0.00m에서 1.00m)는 크게 설정할수록 스켈레톤 모형의 오차에 유사도 변화가 미미해지고, 작게 설정할수록 스켈레톤 모형의 작은 오차에도 민감하게 반응하여 확연한 유사도 변화를 보여준다. 유사도의 변화를 확인할 수 있으면서 극도로 민감하지 않는 임계값 k는 0.25m이다. 그렇기 때문에 본 실험에서는 임계값 k를 0.25m로 설정하여 유사도 측정에 사용한다.
기준 모형의 생성은 유사도 측정을 위한 기준값을 생성하는 과정으로 10초(30 frame per second)동안 본 제안 방식을 사용하여 사용자의 스켈레톤 모형을 통합하고 녹화 저장한다. 뎁스 센서 카메라를 1대에서 4대까지 증가시키면서 반복하고, 뎁스 센서 카메라 대수 n을 기반으로 기준 모형을 생성한다.
기준 모형과 실시간으로 측정하여 통합된 스켈레톤 모형 간의 유사도 측정, 즉 스켈레톤 유사도는 매초마다 계산한다. 기준 모형의 재생 시간이 10초이므로, 뎁스 센서 카메라들마다 10개의 스켈레톤 유사도가 출력된다.
도 7은 도 1의 스켈레톤 트래킹 방법에서 사용되는 평가 변수를 설명하기 위한 테이블이다.
본 실험의 평가 변수(evaluation parameters)는 설정값 k, 관절의 위치 정보, 시간, 유사도, 뎁스 센서 카메라의 대수이다. 각 평가 변수에 대한 개념은 도 7을 참조한다.
도 8은 뎁스 센서 카메라의 대수 변화에 따른 스켈레톤 유사도의 변화를 나타낸 그래프이다.
도 8을 참조하면, 뎁스 센서 카메라의 대수가 증가할수록 유사도가 증가하는 것을 확인할 수 있다. 즉, 본 제안 방식을 사용하면, 스켈레톤 트랙킹에 대한 정확도가 높아진다는 것을 의미한다. 키넥트 1개, 2개를 사용한 유사도 그래프를 보면 움직임이 있을 때 유사도가 급격하게 떨어지지만, 키넥트 3개, 4개를 사용한 유사도 그래프는 유사도의 변화가 크지 않다. 키넥트 3개를 사용한 것과 키넥트 4개를 사용한 것을 비교하면 키넥트 4개를 사용한 것이 유사도 변화의 변동 폭이 좁으므로 품질이 좋은 스켈레톤 모형을 추출할 수 있다.
도 9는 설정값 k의 변화에 따른 스켈레톤 유사도의 변화를 나타낸 그래프들이다.
도 9을 참조하면, 설정값 k의 설정에 따른 유사도 변화를 알 수 있다. 도 9의 (a)에서 (d)까지 각각 0.25(m), 0.50(m), 0.75(m), 1.00(m)로 설정값 k을 설정하였고, 설정값 k이 커질수록 유사도 변화의 폭이 줄어들고 설정값 k가 작아질수록 유사도 변화의 폭이 늘어나는 것을 확인할 수 있다.
한편, 본 실시예에 의한 스켈레톤 트래킹 방법 및 시스템은 사용자와 재활 트레이너의 재활 훈련 자세를 비교하여 유사도를 판정하고 올바른 자세를 취할 수 있도록 지원하는 재활 서비스에 적용할 수 있다.
사전에 저장해둔 트레이너의 참조 스켈레톤 데이터, 즉 기준 모형을 재생하고 사용자가 재활 동작을 따라하면 정확한 자세로 교정한다. 트레이너의 참조 스켈레톤 데이터를 기준으로 사용자의 재활 동작을 비교하여 유사도를 백분율로 나타낸다. 유사도 변화의 폭을 결정짓는 설정값 k를 설정하여 난이도 조절 기능을 부여할 수 있다. 지속적인 자세교정과 환자의 호전상태에 따라 재활 훈련의 난이도를 조절할 수 있다. 환자의 상태가 많이 나아졌다면, 설정값 k를 작게 설정하여 난이도를 올려서 재활 훈련의 효과를 높일 수 있다.
이와 같이 본 실시예에 따르면, N개의 뎁스 센서 카메라들에서 생성된 N개의 촬영 정보들로부터 관절들 각각에서의 N개의 위치 정보들이 추출되고, 이렇게 추출된 상기 관절들 각각에서의 N개의 위치 정보들로부터 상기 관절들 각각에 대한 통합 위치 정보가 계산됨에 따라, 보다 정확한 스켈레톤 모형이 형성될 수 있다.
즉, 상기 스켈레톤 트래킹 방법 또는 시스템이 상기 관절들 각각에서의 N개의 위치 정보들 중 가장 가까운 것 하나를 선택하여 스켈레톤 모형을 형성하는 것이 아니라, 상기 관절들 각각에서의 N개의 위치 정보들의 단순 평균, 가중 평균 및 제곱평균제곱근 중 어느 하나의 값을 계산하여 상기 관절들 각각에 대한 통합 위치 정보를 추출하고 이렇게 추출된 값들을 통해 스켈레톤 모형을 형성함에 따라, 상기 관절들 각각에서의 N개의 위치 정보들 중 일부에 오류가 발생되더라도 상기 오류가 상기 1/N로 감소되어 보다 정확한 스켈레톤 모형을 형성할 확률이 증가될 수 있다.
또한, 상기 스켈레톤 트래킹 방법 또는 시스템이 상기 스켈레톤 모형을 기준 모형과 비교하여 상기 두 모형 간의 스켈레톤 유사도를 계산함에 따라, 상기 스켈레톤 모형이 상기 기준 모형과 얼마나 유사한지를 평가할 수 있다.
또한, 상기 스켈레톤 유사도의 최하값을 나타내는 설정값 k가 조절될 경우, 유사도 변화율 또는 민감도가 조절될 수 있다. 그에 따라, 상기 스켈레톤 트래킹 방법 또는 시스템이 재활 훈련을 제공하는 재활 서비스에 적용될 경우, 상기 설정값 k는 상기 재활 서비스에서의 훈련 난이도를 결정하는 값이 될 수 있다.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : 뎁스 센서 카메라 200 : 스켈레톤 트래킹 모듈
210 : 관절 위치 정보 추출부 220 : 통합 위치 정보 계산부
230 : 스켈레톤 모형 형성부 300 : 유사도 평가 모듈
310 : K값 설정부 320 : 기준 모형 저장부
330 : 유사도 계산부 400 : 디스플레이 장치

Claims (20)

  1. N개의 뎁스(depth) 센서 카메라들로부터 복수의 관절들을 갖는 임의의 사람에 대한 N개의 촬영 정보들을 생성하는 단계(단, N은 2 이상의 정수임);
    상기 촬영 정보들로부터 상기 관절들 각각에서의 N개의 위치 정보들을 추출하는 단계;
    상기 관절들 각각에서의 N개의 위치 정보들로부터 상기 관절들 각각에 대한 통합 위치 정보를 계산하는 단계; 및
    상기 관절들 각각에 대한 통합 위치 정보를 이용하여 상기 사람에 대한 스켈레톤(skeleton) 모형을 형성하는 단계를 포함하는 스켈레톤 트래킹 방법.
  2. 제1항에 있어서, 상기 관절들 각각에 대한 통합 위치 정보는
    상기 관절들 각각에서의 N개의 위치 정보들의 단순 평균, 가중 평균 및 제곱평균제곱근 중 어느 하나의 값을 포함하는 것을 특징으로 하는 스켈레톤 트래킹 방법.
  3. 제1항에 있어서, 상기 스켈레톤 모형을 기준 모형과 비교하여 두 모형 간의 스켈레톤 유사도를 계산하는 단계를 더 포함하는 것을 특징으로 하는 스켈레톤 트래킹 방법.
  4. 제3항에 있어서, 상기 기준 모형은
    상기 관절들 각각 대응되는 기준 연결점들의 위치 정보들을 포함하는 것을 특징으로 하는 스켈레톤 트래킹 방법.
  5. 제4항에 있어서, 상기 스켈레톤 유사도를 계산하는 단계는
    상기 관절들의 위치 정보들 및 상기 기준 연결점들의 위치 정보들을 서로 대응되는 것들끼리 비교하여 관절 유사도들을 계산하는 단계; 및
    상기 관절 유사도들을 이용하여 상기 스켈레톤 유사도를 계산하는 단계를 포함하는 것을 특징으로 하는 스켈레톤 트래킹 방법.
  6. 제5항에 있어서, 상기 스켈레톤 유사도는
    상기 관절 유사도들의 단순 평균값을 포함하는 것을 특징으로 하는 스켈레톤 트래킹 방법.
  7. 제5항에 있어서, 상기 관절 유사도들을 계산하는 단계는
    상기 관절들의 위치 정보들 및 상기 기준 연결점들의 위치 정보들로부터 서로 대응되는 두 위치들 사이의 거리를 나타내는 유클리디안 디스턴스(Euclidean distance)들을 계산하는 단계; 및
    상기 유클리디안 디스턴스들을 이용하여 상기 관절 유사도들을 계산하는 단계를 포함하는 것을 특징으로 하는 스켈레톤 트래킹 방법.
  8. 제7항에 있어서, 상기 관절 유사도들 각각은
    1을 상기 유클리디안 디스턴스들 각각을 설정값 k로 나눈 값으로 뺀 값을 포함하는 것을 특징으로 하는 스켈레톤 트래킹 방법.
  9. 제8항에 있어서, 상기 뎁스 센서 카메라들의 개수 및 상기 뎁스 센서 카메라들 각각의 화각 중 적어도 하나를 고려하여 상기 설정값 k를 설정하는 단계를 더 포함하는 것을 특징으로 하는 스켈레톤 트래킹 방법.
  10. 제3항에 있어서, 상기 스켈레톤 유사도를 표시하는 단계를 더 포함하는 것을 특징으로 하는 스켈레톤 트래킹 방법.
  11. 복수의 관절들을 갖는 임의의 사람을 촬영하여 상기 사람에 대한 N개의 촬영 정보들을 각각 생성하는 N개의 뎁스(depth) 센서 카메라들(단, N은 2 이상의 정수임); 및
    상기 촬영 정보들로부터 상기 관절들 각각에서의 N개의 위치 정보들을 추출하고, 상기 관절들 각각에서의 N개의 위치 정보들로부터 상기 관절들 각각에 대한 통합 위치 정보를 계산하며, 상기 관절들 각각에 대한 통합 위치 정보를 이용하여 상기 사람에 대한 스켈레톤(skeleton) 모형을 형성하는 스켈레톤 트레킹 모듈을 포함하는 스켈레톤 트래킹 시스템.
  12. 제11항에 있어서, 상기 관절들 각각에 대한 통합 위치 정보는
    상기 관절들 각각에서의 N개의 위치 정보들의 단순 평균, 가중 평균 및 제곱평균제곱근 중 어느 하나의 값을 포함하는 것을 특징으로 하는 스켈레톤 트래킹 시스템.
  13. 제11항에 있어서, 상기 스켈레톤 모형을 기준 모형과 비교하여 두 모형 간의 스켈레톤 유사도를 계산하는 유사도 평가 모듈을 더 포함하는 것을 특징으로 하는 스켈레톤 트래킹 시스템.
  14. 제13항에 있어서, 상기 기준 모형은
    상기 관절들 각각 대응되는 기준 연결점들의 위치 정보들을 포함하는 것을 특징으로 하는 스켈레톤 트래킹 시스템.
  15. 제14항에 있어서, 상기 유사도 평가 모듈은
    상기 관절들의 위치 정보들 및 상기 기준 연결점들의 위치 정보들을 서로 대응되는 것들끼리 비교하여 관절 유사도들을 계산하고, 상기 관절 유사도들을 이용하여 상기 스켈레톤 유사도를 계산하는 것을 특징으로 하는 스켈레톤 트래킹 시스템.
  16. 제15항에 있어서, 상기 스켈레톤 유사도는
    상기 관절 유사도들의 단순 평균값을 포함하는 것을 특징으로 하는 스켈레톤 트래킹 시스템.
  17. 제15항에 있어서, 상기 유사도 평가 모듈은
    상기 관절들의 위치 정보들 및 상기 기준 연결점들의 위치 정보들로부터 서로 대응되는 두 위치들 사이의 거리를 나타내는 유클리디안 디스턴스(Euclidean distance)들을 계산하고, 상기 유클리디안 디스턴스들을 이용하여 상기 관절 유사도들을 계산하는 것을 특징으로 하는 스켈레톤 트래킹 시스템.
  18. 제17항에 있어서, 상기 관절 유사도들 각각은
    1을 상기 유클리디안 디스턴스들 각각을 설정값 k로 나눈 값으로 뺀 값을 포함하는 것을 특징으로 하는 스켈레톤 트래킹 시스템.
  19. 제18항에 있어서, 상기 유사도 평가 모듈은
    상기 뎁스 센서 카메라들의 개수 및 상기 뎁스 센서 카메라들 각각의 화각 중 적어도 하나를 고려하여 상기 설정값 k를 설정하는 것을 특징으로 하는 스켈레톤 트래킹 시스템.
  20. 제13항에 있어서, 상기 스켈레톤 유사도를 표시하는 디스플레이 장치를 더 포함하는 것을 특징으로 하는 스켈레톤 트래킹 시스템.
KR1020140183675A 2014-12-19 2014-12-19 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템 KR101636171B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140183675A KR101636171B1 (ko) 2014-12-19 2014-12-19 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140183675A KR101636171B1 (ko) 2014-12-19 2014-12-19 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템

Publications (2)

Publication Number Publication Date
KR20160075884A true KR20160075884A (ko) 2016-06-30
KR101636171B1 KR101636171B1 (ko) 2016-07-05

Family

ID=56352439

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140183675A KR101636171B1 (ko) 2014-12-19 2014-12-19 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템

Country Status (1)

Country Link
KR (1) KR101636171B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190013186A (ko) 2017-07-31 2019-02-11 모젼스랩(주) 가상공간상의 사용자 터치 인터렉션 제공 시스템
KR20200008400A (ko) 2018-07-16 2020-01-28 모젼스랩(주) 사용자 생성 콘텐츠를 포함하는 가상 체험공간 제공 시스템
KR20200008478A (ko) 2018-07-16 2020-01-28 모젼스랩(주) 실물도구를 포함하는 가상 체험공간 제공 시스템
KR20230068043A (ko) 2021-11-10 2023-05-17 (주)모션테크놀로지 광학식 마커 방식의 인체 스켈레톤 생성을 위한 칼리브레이션 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102195401B1 (ko) * 2020-10-07 2020-12-24 (주)멀틱스 Rgb 키포인트 매트릭스 이미지를 이용한 딥러닝 기반 실시간 수어 영상 스트림 인식 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012066026A (ja) * 2010-09-27 2012-04-05 Sony Corp 情報処理装置及び方法、並びにプログラム
KR20140142037A (ko) * 2013-06-03 2014-12-11 삼성전자주식회사 포즈 추정 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012066026A (ja) * 2010-09-27 2012-04-05 Sony Corp 情報処理装置及び方法、並びにプログラム
KR20140142037A (ko) * 2013-06-03 2014-12-11 삼성전자주식회사 포즈 추정 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
C. Schonauer, et al., "Wide area motion tracking using consumer hardware," ACM Advances in Computer Entertainment Technology conference (ACE 2011), Lisbon, Portugal. vol.8. 2011.* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190013186A (ko) 2017-07-31 2019-02-11 모젼스랩(주) 가상공간상의 사용자 터치 인터렉션 제공 시스템
KR20200008400A (ko) 2018-07-16 2020-01-28 모젼스랩(주) 사용자 생성 콘텐츠를 포함하는 가상 체험공간 제공 시스템
KR20200008478A (ko) 2018-07-16 2020-01-28 모젼스랩(주) 실물도구를 포함하는 가상 체험공간 제공 시스템
KR20230068043A (ko) 2021-11-10 2023-05-17 (주)모션테크놀로지 광학식 마커 방식의 인체 스켈레톤 생성을 위한 칼리브레이션 방법

Also Published As

Publication number Publication date
KR101636171B1 (ko) 2016-07-05

Similar Documents

Publication Publication Date Title
US10898755B2 (en) Method for providing posture guide and apparatus thereof
Zhang et al. Ergonomic posture recognition using 3D view-invariant features from single ordinary camera
JP7057959B2 (ja) 動作解析装置
CN110321754B (zh) 一种基于计算机视觉的人体运动姿态纠正方法及系统
US11763603B2 (en) Physical activity quantification and monitoring
KR101636171B1 (ko) 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템
US20180153445A1 (en) Measurement device and measurement method
US11403882B2 (en) Scoring metric for physical activity performance and tracking
JP7452016B2 (ja) 学習データ生成プログラム、及び学習データ生成方法
CN112434679B (zh) 康复运动的评估方法及装置、设备、存储介质
US11547324B2 (en) System and method for human motion detection and tracking
TWI704530B (zh) 注視度判斷裝置及方法
KR101913667B1 (ko) 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템 및 이를 이용한 골프 스윙 분석 방법
JP2008146583A (ja) 姿勢検知装置および挙動検知装置
US20240057946A1 (en) Sarcopenia evaluation method, sarcopenia evaluation device, and non-transitory computer-readable recording medium in which sarcopenia evaluation program is recorded
Hwang et al. Motion data acquisition method for motion analysis in golf
KR20170106737A (ko) 다방향 인식을 이용한 태권도 동작 평가 장치 및 방법
KR102310964B1 (ko) 근골격계 증상을 진단하기 위한 전자 장치, 방법, 및 시스템
US20230306636A1 (en) Object three-dimensional localizations in images or videos
KR20160035497A (ko) 스켈레톤 추출정보를 이용한 동작분석 기반의 체형분석 시스템
JP2021077218A (ja) 情報処理装置、情報処理方法、および情報処理プログラム
KR20140013662A (ko) 캘리브레이션 장치 및 방법
An Shen Marker-less motion capture for biomechanical analysis using the Kinect sensor
JP2021099666A (ja) 学習モデルの生成方法
JP6525180B1 (ja) 対象数特定装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190617

Year of fee payment: 4