KR20180110878A

KR20180110878A - 깊이센서를 이용한 자세 인식방법 및 장치

Info

Publication number: KR20180110878A
Application number: KR1020170040765A
Authority: KR
Inventors: 백성민; 김명규; 김우석; 김종성; 서상우; 홍성진
Original assignee: 한국전자통신연구원
Priority date: 2017-03-30
Filing date: 2017-03-30
Publication date: 2018-10-11

Abstract

본 발명은 한 대 혹은 다수의 깊이센서를 이용하여 사용자 신체 자세를 정확하게 분석하는 방법 및 장치에 관한 것이다. 본 발명의 한 측면에 따르면, 적어도 하나의 깊이센서로부터 획득된 깊이데이터로부터 객체에 관련된 포인트들이 포함된 객체 데이터와 목적 신체 부위에 관련된 포인트들이 포함된 신체 데이터를 추출하여 분류하는 단계; 상기 추출된 신체 데이터로부터 추출한 신체 데이터들로부터 목적 신체 부위의 방향을 찾아 자세를 계산하는 분석 단계를 포함하는, 깊이센서를 이용한 자세 인식방법이 제공된다. 여기서 객체는 축구 등의 구기스포츠에서는 공이나 경기용구 등을 의미화고 목적 신체 부위는 발, 손, 머리 등 해당 종목에서 주로 사용되는 신체 부위를 의미한다.

Description

깊이센서를 이용한 자세 인식방법 및 장치 {Posture recognizing method and apparatus by using depth sensor}

본 발명은 한 대 혹은 다수의 깊이센서(depth sensor)를 활용하여 깊이데이터를 획득하고, 획득된 깊이데이터로부터 사용자의 자세를 분석하여 축구 킥, 태권도 발차기와 같이 자세가 중요한 스포츠에서의 자세 훈련에 활용하는 방법에 관한 것이다.

스크린골프, 스크린야구, 스크린축구 등 실내에서 즐길 수 있는 가상스포츠에 대한 관심이 높아지고 있으며 이와 관련된 기술들도 많이 개발되고 있다. 그러나 스크린 스포츠 장치는 일반적으로 타격된 공을 다양한 장치(카메라, 레이저, 소리 등)로 추적하여 결과(이동 궤적 등)를 보여주는 등, 공을 중심으로 진행되며 신체 동작 분석에 대한 부분에서는 부족한 점이 많다.

등록특허 '스크린을 이용한 스포츠 연습 시뮬레이션 시스템(10-1677686)'에서는 사용자의 동작을 감지하는 동작 감지 센서와 이동체의 동적 정보를 감지하는 동적 정보 감지 센서를 이용하여 스포츠 게임이 가능하도록 구성하였다. 그러나 사용자 동작을 활용하는 것에 대한 구체적인 예는 개시되어 있지 않다.

등록특허 '축구게임을 이용한 인체의 균형감각 증진장치(10-1579382)'에서는 모션장치에서 좌/우 발의 가압을 통해 스크린 상에서 캐릭터의 이동과 연동되도록 구성하여 게임을 즐기거나 균형감각을 상승시키도록 하였다.

공개특허 '다면 센싱을 이용한 동작 인식방법 및 장치(10-2013-0092631)' 는 다면 감지를 이용하여 동작을 인식하는 것으로, 특히 압력 센서를 활용하여 접촉면의 위치, 면적, 압력을 추출하는 방법을 구성하였다.

공개특허 '발 또는 신발류 위의 힘의 검출(10-2014-0090135)'에서는 센서를 발 또는 신발에 배치하여 방향과 힘을 측정하도록 구성하였다.

이와 같이 여러 선행기술들이 있으나, 예컨대 축구의 킥 자세를 위해 압력센서를 지면에 설치하는 경우에는 넓은 범위에 설치해야 한다는 문제가 있으며, 반드시 발이 지면에 닿는 경우에만 인식이 된다는 문제도 발생하며, 또한 디딤발 외의 움직이는 발의 추적은 불가능하다. 또한, 깊이센서 등을 활용한 기술에서도 사용자의 자세는 찾지만 발의 정확한 방향을 찾는 기술은 없다. 기존 키넥트 센서가 사용자의 스켈레톤(skeleton)을 추출해 줄 수는 있지만, 발 부분에 노이즈가 많이 발생하여 발에 대한 방향이 정확하지 않고, 태권도 발차기와 같이 발이 높이 올라가는 경우는 다리의 동작을 추적하지 못하여 사용하기 어려운 점이 있다. 또한 신발 등에 설치하게 되면 사용자마다 다른 신발이 필요해지거나 매번 사용자 신발에 맞게 설치해야 하는 문제들이 발생한다.

본 발명의 목적은 전술한 종래 기술에서 시도하지 않았던, 넓은 범위에서 디딤발 및 움직이는 발 등 신체의 추적을 가능케 하고 불편한 센서 착용 등의 문제를 해결하기 위하여, 한 대 혹은 다수의 깊이센서를 이용하여 사용자 신체 자세를 정확하게 분석하는 방법 및 장치를 제안하는 것이다.

상기 과제를 해결하기 위하여 본 발명의 한 측면에 따르면, 적어도 하나의 깊이센서로부터 획득된 깊이데이터로부터 객체에 관련된 포인트들이 포함된 객체 데이터와 목적 신체 부위에 관련된 포인트들이 포함된 신체 데이터를 추출하여 분류하는 단계; 상기 추출된 신체 데이터로부터 추출한 신체 데이터들로부터 목적 신체 부위의 방향을 찾아 자세를 계산하는 분석 단계를 포함하는, 깊이센서를 이용한 자세 인식방법이 제공된다.

여기서 객체는 축구 등의 구기스포츠에서는 공이나 경기용구 등을 의미하고 목적 신체 부위는 발, 손, 머리 등 해당 종목에서 주로 사용되는 신체 부위를 의미한다.

또한 상기 과제를 해결하기 위한 본 발명의 다른 측면에 따르면, 적어도 하나의 깊이센서로부터 획득된 깊이데이터로부터 객체에 관련된 포인트들이 포함된 객체 데이터와 목적 신체 부위에 관련된 포인트들이 포함된 신체 데이터를 추출하여 분류하는 수단; 상기 추출된 신체 데이터로부터 추출한 신체 데이터들로부터 목적 신체 부위의 방향을 찾아 자세를 계산하는 분석 수단을 포함하는, 깊이센서를 이용한 자세 인식장치가 제공된다.

상기 깊이센서는 한 대 또는 다수 대를 사용할 수 있는데, 다수를 사용하는 경우에는 각 센서의 좌표계를 일치시키기 위한 캘리브레이션 단계(수단)가 추가로 포함되는 것이 바람직하다.

각 깊이센서로부터 획득된 깊이데이터에서 분석에 필요 없는 배경 및 노이즈를 제거하는 단계(수단)가 추가로 포함되는 것이 바람직하다.

또한 상기 분류 단계(수단)는 깊이데이터에 포함된 객체의 위치를 추적하여 객체 데이터를 추출하는 객체 데이터 분류 단계(수단)를 포함할 수 있다. 이 객체 데이터 분류 단계(수단)는, 객체의 실제 크기와 깊이데이터 내에 포함된 객체 데이터 크기를 비교하여 객체를 인식하고 인식된 객체 포인트들의 중심점을 계산하여 저장한 후, 깊이이미지의 다음 프레임에서 객체의 중심점을 계산하는 단계(수단); 이전 프레임에서의 중심점과 현재 프레임에서의 중심점의 차이를 구하고, 사전에 지정한 프레임 수 동안에 상기 중심점의 차이가 계속하여 사전에 지정한 임계값 이하가 될 때에 최종적으로 객체를 판단하는 단계(수단)를 포함할 수 있다.

또한 상기 분류 단계(수단)는 깊이데이터로부터 신체에 해당하는 부위를 추적하여 신체 데이터를 추출하는 신체 데이터 분류 단계(수단)를 포함할 수 있다. 이 신체 데이터 분류 단계(수단)는, 신체에 해당하는 깊이데이터로부터 3차원 볼륨을 구성하여 각 복셀에 포함되는 포인트들에 대한 대표값을 계산하는 볼륨 샘플링 단계(수단); 볼륨 샘플링 후에, 볼륨의 중심을 구하고 PCA를 통해 볼륨 포인트들의 배치 구조를 계산하여 신체의 기준 부위를 찾는 단계(수단); 기준 부위의 복셀에서부터 인접 복셀을 탐색하면서 복셀 대표값과의 거리값을 계산하는 단계(수단); 기준 부위부터 볼륨 중심점까지의 거리를 기준으로 목적 신체 부위의 신체 데이터를 추출하는 단계(수단)를 포함할 수 있다.

한 실시예에서, 상기 신체의 기준 부위는 머리이고, 상기 목적 신체 부위는 발이다. 이때에 상기 목적 신체 부위의 신체 데이터를 추출하는 단계(수단)는, 머리부터 볼륨 중심점까지의 거리를 기준으로 이 거리보다 멀리 있는 포인트들을 하반신으로, 하반신에서 기준 거리보다 멀리 떨어진 포인트들을 다리로 판단하여 다리 포인트들의 분포를 구하고, 주 축에서 가장 멀리 떨어져 있는 극점들을 구하여 각 극점으로부터 주변 복셀의 값을 탐색하며 이전에 구한 복셀의 누적 거리를 기준으로 발에 해당하는 복셀 주변에 해당하는 포인트들을 추출하여 최종적으로 발의 깊이데이터를 추출하는 단계(수단)를 포함할 수 있다.

한편, 본 발명의 상기 분석 단계(수단)는, 추출한 신체 데이터들에 대해 PCA를 수행하여 주 축을 찾고 이를 기반으로 목적 신체 부위의 위치 및 방향을 찾는 단계(수단)를 포함할 수 있다.

또한 본 발명에는, 상기 분석 단계(수단)에서 분석된 목적 신체 부위의 위치 및 방향을 시각적으로 출력하는 가시화부가 추가로 포함될 수 있다.

또한 상기 과제를 해결하기 위한 본 발명의 또다른 측면에 따르면, 적어도 하나의 깊이센서로부터 획득된 깊이데이터로부터 객체에 관련된 포인트들이 포함된 객체 데이터와 목적 신체 부위에 관련된 포인트들이 포함된 신체 데이터를 추출하여 분류하는 방법 및 장치가 제공된다. 이 분류방법(장치)은 신체에 해당하는 깊이데이터로부터 3차원 볼륨을 구성하여 각 복셀에 포함되는 포인트들에 대한 대표값을 계산하는 볼륨 샘플링 단계(수단); 볼륨 샘플링 후에, 볼륨의 중심을 구하고 PCA를 통해 볼륨 포인트들의 배치 구조를 계산하여 신체의 기준 부위를 찾는 단계(수단); 기준 부위의 복셀에서부터 인접 복셀을 탐색하면서 복셀 대표값과의 거리값을 계산하는 단계(수단); 기준 부위부터 볼륨 중심점까지의 거리를 기준으로 목적 신체 부위의 신체 데이터를 추출하는 단계(수단)를 포함한다.

본 발명의 구성에 따르면, 비착용식으로 깊이센서만 사용하기 때문에 자연스러운 상태에서의 동작이 가능하여 움직이는 신체에 대해서도 위치 및 방향을 용이하게 추적할 수 있다. 실시간으로 신체의 자세를 분석하는 것이 가능하므로 축구, 태권도, 피트니스 등 다양한 스포츠에서 활용이 가능하다. 한 대 혹은 다수의 깊이센서를 활용하여 실시간으로 신체 동작을 감지함으로써, 신체의 위치 및 방향을 추적하는 경우 쉽게 확인이 가능하다.

최근 스크린 기반 골프, 야구, 축구 등 다양한 가상스포츠 게임들이 출현하였으나 대부분 공의 움직임에 집중되어 있고, 사용자 자세 분석을 활용한 기술은 부족하여 이 부분에 대해 차별성을 두고 상용화를 할 경우 큰 상업적 효과를 얻을 수 있을 것이다. 또한 기존의 스포츠 시뮬레이터의 축구 킥 동작에서 중요한 디딤발에 대해서는 분석한 결과가 없는데, 본 발명을 통해 축구 훈련시 디딤발의 변화를 볼 수 있으므로 실제 훈련이 가능하다. 따라서 신체 특징점(발)을 찾는 본 발명의 기술은 태권도, 피트니스 등 다른 스포츠로 확장이 가능하므로 사업성이 높다.

도 1은 발명의 한 실시예에 따른 축구에서의 발자세 인식 방법 및 장치의 구성도
도 2는 깊이센서의 설치 및 추적 영역의 예시도
도 3은 객체(공)의 위치를 찾은 경우의 설명을 위한 그림
도 4는 볼륨 샘플링 후 각 복셀의 대표값 표시예
도 5는 주 축의 의미를 설명하는 그림
도 6은 다리 포인트 추출 및 PCA 기반 극점 추출의 설명을 위한 그림
도 7 (a)는 발에 해당하는 복셀 추출 결과, (b)는 복셀 연결을 찾지 못한 경우 가장 먼 극점을 선택하는 것을 설명
도 8은 스크린 축구에서 3차원 발자세(왼쪽) 및 2차원 발방향(오른쪽)의 가시화 예시도

이하에서는 축구의 경우의 구체적인 실시예를 통해 본 발명의 구성과 작용을 설명한다. 도 1은 한 실시예에 따른 축구에서의 발자세 인식 방법 및 장치의 구성도로서, 깊이센서로부터 깊이데이터를 수신하는 깊이데이터획득부(10), 획득된 깊이데이터를 신체의 발 데이터와 객체(축구의 경우, 공) 데이터로 분류하는 분류부(20), 분류된 발 데이터에서 발자세를 계산하는 분석부(30), 그리고 분석된 결과를 시각적으로 출력하는 가시화부(40)로 구성된다.

깊이데이터 획득부(10)는 깊이센서(12, 12')로부터 깊이데이터(깊이이미지)를 획득한다. 본 실시예에 따른 발자세 인식 시스템에서는 한 대 혹은 다수의 깊이센서(예: 키넥트(Kinect) 등)를 이용한다. 한 대의 깊이센서(12)를 사용할 수도 있고 다수의 깊이센서(12')를 사용할 수도 있다. 다수의 센서를 사용하는 경우에는 좌표계를 일치시키기 위해 캘리브레이션 과정 또는 모듈(14)이 포함될 수 있다.

깊이센서(12, 12')의 설치 위치에 있어서, 스크린 축구의 경우에 깊이센서는 최종 디딤발의 위치를 기준으로 그 왼쪽 혹은 오른쪽에 설치할 수 있다. 두 대의 깊이센서(12')를 설치할 경우에는 도 2와 같이 디딤발(18)의 좌우 양쪽에 설치할 수 있다. 발의 추적 영역을 넓히기 위해서 도 2에 나타낸 두 개의 센서보다 더 많은 센서를 추가할 수 있다. 다수의 센서를 사용하는 경우에는 디딤발의 좌/우 구분 없이 센서를 사용할 수 있다는 장점이 있다.

다시 도 1을 참조하면, 각 깊이센서(12, 12')로부터 깊이이미지를 획득하면 분석에 필요 없는 포인트 데이터들을 배경 및 노이즈 제거 과정 또는 모듈(16)을 통해 제거한다. 제거시에는 지면을 포함한 배경 데이터를 제거하기 위해 초기에 배경 및 지면 데이터를 저장한 후 이를 기반으로 주변 8개 픽셀들을 비교하여 임계치 이하인 데이터를 제거한다. 동시에 발 및 공 주변에서 발생할 수 있는 노이즈들도 역시 깊이값을 비교하여 주어진 값보다 차이가 크면 노이즈로 판단하여 제거한다.

배경 및 노이즈를 제거한 후에는 발과 공에 관련된 포인트 데이터만 남게 되며, 이 정보는 분류부(20)로 전달된다. 분류부(20)는 객체 데이터 분류부(22)와 신체 데이터 분류부(24)로 구분되는데, 객체 데이터 분류부(22)에서는 공에 대한 깊이데이터를 추출하고 신체 데이터 분류부(24)에서는 최종적으로 발에 대한 깊이데이터를 추출하게 된다.

배경 및 노이즈가 제거된 포인트 데이터가 분류부(20)에 들어오면 객체 데이터 분류부(22)에 의한 공 위치 추적부터 시작하는데, 공이 지면에 있다고 판단되고 실제 공의 크기(반지름 R)와 비교하여 유사하다고 판단되는 경우에 이 객체를 공으로 인식한다. 이후에, 인식된 공 포인트들의 중심점을 계산하여 저장한 후, 다음 프레임에서 동일한 과정을 거쳐 공의 중심점을 계산한다. 이전 프레임에서의 중심점과 현재 프레임에서의 중심점의 차이를 구하고, 사용자가 지정한 N 프레임 동안 중심점 사이의 거리 차가 계속 임계값 δ 이하가 될 때에 최종적으로 해당 객체는 공인 것으로 판단한다. 만약 차이가 발생하면 처음부터 과정을 반복하게 된다.

도 3은 공의 위치를 찾은 경우의 포인트 데이터 도면이다.

처음에 사용자가 객체, 즉, 공을 내려놓는다(왼쪽 그림). N-1 프레임 동안 공의 위치를 탐색한다(중간그림). 공의 중심점이 N 프레임동안(0 ~ N-1) 일정 위치에 있는지 확인하면, N번째 프레임부터는 공 탐색 결과(50)를 보여주면서 동시에 발을 탐색한다(오른쪽 그림에 발 위치 추적 시작을 표시하였음). 찾은 발은 오른쪽 그림에서 노란색(52)과 녹색(54)으로 표시하였고, 가운데 구 형태는 포인트들의 중심(56)이며, 각 발의 중심에 나타낸 파란색, 녹색, 빨간색 표시는 발 포인트의 주 축(PCA에 의해 계산한 포인트들의 방향)을 의미한다(도 4 참조).

이와 같이 객체(공)의 중심점 위치가 결정되면, 이후 프레임부터는 중심점을 기준으로 객체의 반지름 이내에 있는 포인트들은 객체 포인트로 결정하고 남은 포인트에 대해서는 신체로 인식하여 발을 찾는 과정을 진행한다. 만약 객체의 위치를 찾지 못한 경우에는 남은 포인트를 그대로 신체로 분류하여 발을 찾는 과정을 진행한다.

한편, 분류부(20)의 신체 데이터 분류부(22)는 발에 해당하는 부위를 찾는 과정을 수행한다. 신체에 해당하는 깊이데이터로부터 3차원 볼륨을 구성하여 각 복셀(voxel)에 포함되는 포인트들에 대한 대표값(평균 위치값)을 계산하는 볼륨 샘플링 과정을 거친다(25). 여기서 대표값은 각각 복셀에 저장되며, 지정된 K개 이하의 포인트를 포함한 복셀은 노이즈로 간주한다. 이렇게 하면 남아있는 노이즈를 제거할 수 있으며, 포인트 수를 줄여 계산 속도를 빠르게 할 수 있는 장점이 있다.

이 때 복셀에 포함되는 포인트의 수 K는 Z축(깊이값)에 따라 변할 수 있다. 깊이센서에서 멀어질수록 신체에 해당하는 깊이데이터의 수가 적어지고 깊이데이터 간 거리도 멀어지므로 초기 복셀 사이즈에 포함되는 K개의 포인트를 기준으로 깊이 값에 연동되어 비교 갯수가 변하도록 한다.

도 4는 볼륨 샘플링에 의한 평균 위치값 계산의 예를 나타내기 위하여 볼륨 샘플링 수행 후 각 복셀의 대표값 포인트들(빨간색 점들)을 표시하고 있는 예시도이다.

볼륨 샘플링 후에, 도 6에서와 같이 볼륨 중심(volume center: P_Center)을 구하고 PCA(principal component analysis: 주성분 분석)를 통해 볼륨 포인트들(volume points)이 어떻게 배치되어 있는지 계산(도 1의 25 단계 또는 모듈)한 후, 가장 큰 축을 기반으로 머리 위치(head position: P_Head)를 찾는다.

,

.

여기서 PCA₃.normal()은 PCA의 주 축(principal axis) 3개에 대한 평균 벡터의 노말 벡터를 의미하며, Max() 함수는 가장 큰 값을 구하는 함수이다. 평균 노말 벡터를 기준으로 (+)방향으로 가장 멀리 떨어져 있는 복셀 위치가 머리에 해당한다.

PCA(Principal Component Analysis)는 다수의 점들이 배치된 방향을 찾는 방법이며, 찾은 방향이 하나의 축이 된다. 다수의 점들이 나열된 방향을 3차원 좌표계에서 3개의 축으로 나타낼 수 있는데, PCA에 의해 찾은 다수의 점들이 배치된 방향의 하나의 축을 주 축(=주성분)이라고 한다. 본 발명에서는 3개의 방향을 찾으므로 3개의 주 축을 찾는 것이 된다. 도 5를 참조하면, 2차원에서 파란색 점(58)들이 배열되어 있을 때, 이것들이 어떻게 나열되어 있는지 방향(60, 62)을 찾은 결과의 두 방향(60, 62)을 주 축(=주성분)이라고 하는 것이다.

다음, 머리 복셀에서부터 인접 복셀을 탐색하면서 복셀 대표값과의 거리값을 계산하는데(도 1의 26 단계 또는 모듈), 머리로부터 각 복셀까지의 거리를 누적하여 누적 거리를 계산한다. 누적 거리의 계산은 다익스트라 알고리즘(Dijkstra algorithm) 등을 이용할 수 있다.

이어서, 다리 깊이데이터 추출 과정(도 1의 27 단계 또는 모듈)이 진행되는데, 머리부터 볼륨 중심점까지의 거리를 기준으로 이 거리 이내는 상반신이 되고 거리 이후는 하반신이 된다. 또한 하반신에서 기준 거리(L _REF ) 보다 멀리 떨어진 포인트들은 다리(Leg)가 된다.

즉,

.

,

.

여기서 L _REF 는 기준 거리(머리부터 넓적다리 정도까지 노란 점선으로 표시한 거리)이고, Volume은 볼륨 샘플링 데이터(복셀)를 의미한다. Length(a,b)는 a와 b의 거리를 계산하는 함수로, 기준 거리보다 먼 값을 Leg 변수에 저장하게 되는데 Ratio 값을 신장에 비례하여 적절히 선택하면 무릎 이하의 값을 추출할 수 있다.

Leg에 저장된 포인트 값으로 다시 PCA를 계산하게 되면 다리 포인트들의 분포를 얻을 수 있으며, 3개의 주 축에서 가장 멀리 떨어져 있는 6개의 포인트를 구할 수 있다. 가장 멀리 떨어져 있는 포인트 계산은 PCA에서 3개의 주 축 벡터의 노말과 다리 포인트(P_i)와 다리 중심(P_Leg)까지의 벡터의 내적(dot product)을 통해 가장 큰 값과 가장 작은 값을 갖는 데이터를 선택하면 된다. 즉,

,

여기서 PCA_n.normal()은 축 3개에 대한 각 노말 벡터를 의미하며, Max(), Min() 함수는 각 축에 대해 가장 큰 값과 가장 작은 값을 구하는 함수이다.

최종적으로 3개 축에서 최대, 최소 각 2개씩 구해져서 총 6개의 극점을 얻게 된다. 그러나 경우에 따라서는 중복되는 경우가 발생할 수 있다. 머리 위치(head position), 볼륨 중심 위치(volume center), 및 6개의 극점 포인트(6 points by PCA)를 구한 결과를 도 6에 나타내었다.

PCA를 적용하면 3차원 좌표계에서 3개의 축이 나온다(가장 큰 방향, 그 다음 큰 방향, 마지막으로 제일 작은 방향, 각 방향은 서로 직각을 이루고 있음). 3개 축에 대해 각각 큰 값, 작은 값 2개씩 추출하므로 6개가 추출되지만, 이들 중에는 중복되는 경우가 발생한다. 예를 들어 1번 축에서 맨 위와 아래를 찾았고, 2번 축에서는 맨 앞과 맨 뒤에 있는 점을 찾았는데, 1번 축 아래에 있는 점은 2번 축의 앞쪽 점과 같을 수가 있는 것이다. 즉 포인트는 6개를 찾았지만 중복에 의해 겹쳐 있으므로 도 6에서는 5개의 포인트만 보인다.

각 극점으로부터 주변 복셀의 값을 탐색하며 이전에 구한 복셀의 누적 거리를 이용하여 값이 커지는 방향으로 이동한다. 머리에서부터 누적된 거리이므로 각 발 부분에서 큰 값을 갖게 되며, 최종 복셀 위치는 발 끝 혹은 발 뒤꿈치 부분에 해당하는 복셀이 선택된다(도 7 (a) 참조). 도 7의 (a)는 발에 해당하는 복셀 추출 결과를 나타낸다(하단 빨간색 점, 64, 66). 도 7 (b)는 복셀 연결을 찾지 못한 경우에 가장 먼 극점을 선택하는 것을 나타낸다(우측 녹색 점, 68). 가려짐으로 인해 포인트가 추출되지 않아 복셀간 연결이 되지 않는 경우가 발생하는데, 이런 경우에는 연결을 찾지 못한 극점 중 볼륨의 중심에서부터 가장 먼 거리에 있는 복셀을 추가하는 것이다.

초기에 획득한 신체 깊이데이터에서 발에 해당하는 복셀 주변에 해당하는 포인트들을 추출하면 최종적으로 발에 대한 깊이데이터(발깊이데이터)를 얻을 수 있다(도 1의 28). 획득한 발깊이데이터는 분석부(30)로 넘겨진다.

분석부(30)에서는 추출한 발 데이터들에 대해 각각 PCA를 수행(32)하여 주 축을 찾고 이를 기반으로 발의 방향을 찾아 발 자세를 계산(34)한다. 이를 위해 앞에서 설명한 것과 유사하게 발 포인트들의 중심점을 구하고, 중심점과 PCA에서 얻은 주 축 중 가장 큰 축을 선택한 후 가장 앞에 있는 점(P_f)과 뒤에 있는 점(P_r)을 계산한다. 이 두 점을 잇는 벡터가 발의 방향이 되고, 벡터의 길이가 발의 크기가 된다.

마지막으로 가시화부(40)에서는 추출한 결과를 보여준다. 발 위치 및 방향은 3차원 값이며, 지면에 근접한 값에 대해서 지면으로 투영(projection)시키면 발의 방향을 2차원으로 가시화 할 수 있다(도 8 참고).

도 8에 축구 킥 자세에 있어서의 발 위치 및 방향을 추출한 결과를 가시화하고 있다. 도 8은 스크린 축구에서의 킥 자세를 나타낸 것으로 왼쪽 그림은 발 자세를 3차원으로, 오른쪽 그림은 발 방향(오른쪽)을 2차원으로 가시화하고 있다. 축구 킥의 경우 디딤발의 방향이 공이 날아가는 방향이 되므로 분석된 결과는 콘텐츠와 연동하여 사용자의 발자세를 보여줌으로써 이를 통해 자세를 교정할 수 있게 된다. 또한 킥 동작시의 디딤발 및 차는 발의 방향을 분석함으로써 축구 킥 자세 훈련에 도움을 줄 수 있다.

이상에서와 같이 본 발명에 따르면, 비착용식으로 깊이센서만 사용하기 때문에 자연스러운 상태에서 동작하는 것이 가능하며, 지면 압력 센서와 달리 움직이는 발에 대해서도 위치 및 방향을 추적할 수 있다. 실시간으로 발의 자세를 분석하는 것이 가능하므로 스크린 축구, 태권도, 피트니스 등 다양한 스포츠에서 활용이 가능하다. 한 대 혹은 다수의 깊이센서를 활용하여 실시간으로 발 동작을 감지함으로써, 발의 위치 및 방향을 추적하는 경우 쉽게 확인이 가능하다.

Claims

적어도 하나의 깊이센서로부터 획득된 깊이데이터로부터 객체에 관련된 포인트들이 포함된 객체 데이터와 목적 신체 부위에 관련된 포인트들이 포함된 신체 데이터를 추출하여 분류하는 단계,
상기 추출된 신체 데이터로부터 추출한 신체 데이터들로부터 목적 신체 부위의 방향을 찾아 자세를 계산하는 분석 단계를 포함하는, 깊이센서를 이용한 자세 인식방법.
제1항에 있어서, 다수의 깊이센서를 사용하는 경우에 좌표계를 일치시키기 위한 캘리브레이션 단계를 추가로 포함하는, 깊이센서를 이용한 자세 인식방법.
제1항에 있어서, 각 깊이센서로부터 획득된 깊이데이터에서 분석에 필요 없는 배경 및 노이즈를 제거하는 단계를 추가로 포함하는, 깊이센서를 이용한 자세 인식방법.
제1항에 있어서, 상기 분류 단계는 깊이데이터에 포함된 객체의 위치를 추적하여 객체 데이터를 추출하는 객체 데이터 분류 단계를 포함하는데, 이 객체 데이터 분류 단계는
객체의 실제 크기와 깊이데이터 내에 포함된 객체 데이터 크기를 비교하여 객체를 인식하고 인식된 객체 포인트들의 중심점을 계산하여 저장한 후, 깊이이미지의 다음 프레임에서 객체의 중심점을 계산하는 단계,
이전 프레임에서의 중심점과 현재 프레임에서의 중심점의 차이를 구하고, 사전에 지정한 프레임 수 동안에 상기 중심점의 차이가 계속하여 사전에 지정한 임계값 이하가 될 때에 최종적으로 객체를 판단하는 단계를 포함하는, 깊이센서를 이용한 자세 인식방법.
제1항에 있어서, 상기 분류 단계는 깊이데이터로부터 신체에 해당하는 부위를 추적하여 신체 데이터를 추출하는 신체 데이터 분류 단계를 포함하는데, 이 신체 데이터 분류 단계는
신체에 해당하는 깊이데이터로부터 3차원 볼륨을 구성하여 각 복셀에 포함되는 포인트들에 대한 대표값을 계산하는 볼륨 샘플링 단계,
볼륨 샘플링 후에, 볼륨의 중심을 구하고 PCA를 통해 볼륨 포인트들의 배치 구조를 계산하여 신체의 기준 부위를 찾는 단계,
기준 부위의 복셀에서부터 인접 복셀을 탐색하면서 복셀 대표값과의 거리값을 계산하는 단계,
기준 부위부터 볼륨 중심점까지의 거리를 기준으로 목적 신체 부위의 신체 데이터를 추출하는 단계를 포함하는, 깊이센서를 이용한 자세 인식방법.
제5항에 있어서,
상기 신체의 기준 부위는 머리이고, 상기 목적 신체 부위는 발이며,
상기 목적 신체 부위의 신체 데이터를 추출하는 단계는
머리부터 볼륨 중심점까지의 거리를 기준으로 이 거리보다 멀리 있는 포인트들을 하반신으로, 하반신에서 기준 거리보다 멀리 떨어진 포인트들을 다리로 판단하여 다리 포인트들의 분포를 구하고, 주 축에서 가장 멀리 떨어져 있는 극점들을 구하여 각 극점으로부터 주변 복셀의 값을 탐색하며 이전에 구한 복셀의 누적 거리를 기준으로 발에 해당하는 복셀 주변에 해당하는 포인트들을 추출하여 최종적으로 발의 깊이데이터를 추출하는 단계를 포함하는, 깊이센서를 이용한 자세 인식방법.
제1항에 있어서, 상기 분석 단계는
추출한 신체 데이터들에 대해 PCA를 수행하여 주 축을 찾고 이를 기반으로 목적 신체 부위의 위치 및 방향을 찾는 단계를 포함하는, 깊이센서를 이용한 자세 인식방법.
제1항에 있어서, 상기 분석 단계에서 분석된 목적 신체 부위의 위치 및 방향을 시각적으로 출력하는 가시화부를 추가로 포함하는, 깊이센서를 이용한 자세 인식방법.
적어도 하나의 깊이센서로부터 획득된 깊이데이터로부터 객체에 관련된 포인트들이 포함된 객체 데이터와 목적 신체 부위에 관련된 포인트들이 포함된 신체 데이터를 추출하여 분류하는 수단,
상기 추출된 신체 데이터로부터 추출한 신체 데이터들로부터 목적 신체 부위의 방향을 찾아 자세를 계산하는 분석 수단을 포함하는, 깊이센서를 이용한 자세 인식장치.
제9항에 있어서, 다수의 깊이센서를 사용하는 경우에 좌표계를 일치시키기 위해 캘리브레이션 수단을 추가로 포함하는, 깊이센서를 이용한 자세 인식장치.
제9항에 있어서, 각 깊이센서로부터 획득된 깊이데이터에서 분석에 필요 없는 배경 및 노이즈를 제거하는 수단을 추가로 포함하는, 깊이센서를 이용한 자세 인식장치.
제9항에 있어서, 상기 분류 수단은 깊이데이터에 포함된 객체의 위치를 추적하여 객체 데이터를 추출하는 객체 데이터 분류부를 포함하는데, 이 객체 데이터 분류부는
객체의 실제 크기와 깊이데이터 내에 포함된 객체 데이터 크기를 비교하여 객체를 인식하고 인식된 객체 포인트들의 중심점을 계산하여 저장한 후, 깊이이미지의 다음 프레임에서 객체의 중심점을 계산하는 수단,
이전 프레임에서의 중심점과 현재 프레임에서의 중심점의 차이를 구하고, 사전에 지정한 프레임 수 동안에 상기 중심점의 차이가 계속하여 사전에 지정한 임계값 이하가 될 때에 최종적으로 객체를 판단하는 수단을 포함하는, 깊이센서를 이용한 자세 인식장치.
제9항에 있어서, 상기 분류 수단은 깊이데이터로부터 신체에 해당하는 부위를 추적하여 신체 데이터를 추출하는 신체 데이터 분류부를 포함하는데, 이 신체 데이터 분류부는
신체에 해당하는 깊이데이터로부터 3차원 볼륨을 구성하여 각 복셀에 포함되는 포인트들에 대한 대표값을 계산하는 볼륨 샘플링 수단,
볼륨 샘플링 후에, 볼륨의 중심을 구하고 PCA를 통해 볼륨 포인트들의 배치 구조를 계산하여 신체의 기준 부위를 찾는 수단,
기준 부위의 복셀에서부터 인접 복셀을 탐색하면서 복셀 대표값과의 거리값을 계산하는 수단,
기준 부위부터 볼륨 중심점까지의 거리를 기준으로 목적 신체 부위의 신체 데이터를 추출하는 수단을 포함하는, 깊이센서를 이용한 자세 인식장치.
제13항에 있어서,
상기 신체의 기준 부위는 머리이고, 상기 목적 신체 부위는 발이며,
상기 목적 신체 부위의 신체 데이터를 추출하는 수단은
머리부터 볼륨 중심점까지의 거리를 기준으로 이 거리보다 멀리 있는 포인트들을 하반신으로, 하반신에서 기준 거리보다 멀리 떨어진 포인트들을 다리로 판단하여 다리 포인트들의 분포를 구하고, 주 축에서 가장 멀리 떨어져 있는 극점들을 구하여 각 극점으로부터 주변 복셀의 값을 탐색하며 이전에 구한 복셀의 누적 거리를 기준으로 발에 해당하는 복셀 주변에 해당하는 포인트들을 추출하여 최종적으로 발의 깊이데이터를 추출하는 수단을 포함하는, 깊이센서를 이용한 자세 인식장치.
제9항에 있어서, 상기 분석 수단은
추출한 신체 데이터들에 대해 PCA를 수행하여 주 축을 찾고 이를 기반으로 목적 신체 부위의 위치 및 방향을 찾는 수단을 포함하는, 깊이센서를 이용한 자세 인식장치.
제9항에 있어서, 상기 분석 수단에서 분석된 목적 신체 부위의 위치 및 방향을 시각적으로 출력하는 가시화부를 추가로 포함하는, 깊이센서를 이용한 자세 인식장치.
적어도 하나의 깊이센서로부터 획득된 깊이데이터로부터 객체에 관련된 포인트들이 포함된 객체 데이터와 목적 신체 부위에 관련된 포인트들이 포함된 신체 데이터를 추출하여 분류하는 방법으로서,
신체에 해당하는 깊이데이터로부터 3차원 볼륨을 구성하여 각 복셀에 포함되는 포인트들에 대한 대표값을 계산하는 볼륨 샘플링 단계,
볼륨 샘플링 후에, 볼륨의 중심을 구하고 PCA를 통해 볼륨 포인트들의 배치 구조를 계산하여 신체의 기준 부위를 찾는 단계,
기준 부위의 복셀에서부터 인접 복셀을 탐색하면서 복셀 대표값과의 거리값을 계산하는 단계,
기준 부위부터 볼륨 중심점까지의 거리를 기준으로 목적 신체 부위의 신체 데이터를 추출하는 단계를 포함하는, 깊이센서에 의한 자세 인식을 위한 신체 데이터 분류방법.
제17항에 있어서,
상기 신체의 기준 부위는 머리이고, 상기 목적 신체 부위는 발이며,
상기 기준 부위부터 볼륨 중심점까지의 거리를 기준으로 목적 신체 부위의 신체 데이터를 추출하는 단계는
머리부터 볼륨 중심점까지의 거리를 기준으로 이 거리보다 멀리 있는 포인트들을 하반신으로, 하반신에서 기준 거리보다 멀리 떨어진 포인트들을 다리로 판단하여 다리 포인트들의 분포를 구하고, 주 축에서 가장 멀리 떨어져 있는 극점들을 구하여 각 극점으로부터 주변 복셀의 값을 탐색하며 이전에 구한 복셀의 누적 거리를 기준으로 발에 해당하는 복셀 주변에 해당하는 포인트들을 추출하여 최종적으로 발의 깊이데이터를 추출하는 단계를 포함하는, 깊이센서를 이용한 자세 인식방법.
적어도 하나의 깊이센서로부터 획득된 깊이데이터로부터 객체에 관련된 포인트들이 포함된 객체 데이터와 목적 신체 부위에 관련된 포인트들이 포함된 신체 데이터를 추출하여 분류하는 장치로서,
신체에 해당하는 깊이데이터로부터 3차원 볼륨을 구성하여 각 복셀에 포함되는 포인트들에 대한 대표값을 계산하는 볼륨 샘플링 수단,
볼륨 샘플링 후에, 볼륨의 중심을 구하고 PCA를 통해 볼륨 포인트들의 배치 구조를 계산하여 신체의 기준 부위를 찾는 수단,
기준 부위의 복셀에서부터 인접 복셀을 탐색하면서 복셀 대표값과의 거리값을 계산하는 수단,
기준 부위부터 볼륨 중심점까지의 거리를 기준으로 목적 신체 부위의 신체 데이터를 추출하는 수단을 포함하는, 깊이센서에 의한 자세 인식을 위한 신체 데이터 분류장치.
제19항에 있어서,
상기 신체의 기준 부위는 머리이고, 상기 목적 신체 부위는 발이며,
상기 기준 부위부터 볼륨 중심점까지의 거리를 기준으로 목적 신체 부위의 신체 데이터를 추출하는 수단은
머리부터 볼륨 중심점까지의 거리를 기준으로 이 거리보다 멀리 있는 포인트들을 하반신으로, 하반신에서 기준 거리보다 멀리 떨어진 포인트들을 다리로 판단하여 다리 포인트들의 분포를 구하고, 주 축에서 가장 멀리 떨어져 있는 극점들을 구하여 각 극점으로부터 주변 복셀의 값을 탐색하며 이전에 구한 복셀의 누적 거리를 기준으로 발에 해당하는 복셀 주변에 해당하는 포인트들을 추출하여 최종적으로 발의 깊이데이터를 추출하는 수단을 포함하는, 깊이센서에 의한 자세 인식을 위한 신체 데이터 분류장치.