KR20120132281A - 골프 스윙 분석을 위한 신체 부위별 위치 추적 장치 및 방법 - Google Patents

Abstract

본 발명은 깊이 영상을 이용하여 사람의 신체 부위를 효과적으로 추적할 수 있는 위치 추적 장치 및 방법에 관한 것이다. 이를 위해 본 발명의 일실시예에 따른 위치 추적 장치는 깊이 영상을 획득하는 깊이 영상 획득부와, 깊이 영상 획득부로부터 수신된 깊이 영상을 수집하여 생성되는 데이터베이스와, 깊이 영상의 각 픽셀로부터 특징을 추출하는 특징 추출부와, 데이터베이스의 모든 깊이 영상으로부터 특징 추출부를 이용하여 추출한 신체 부위별 특징 집합을 입력으로 하여 신체 부위의 위치를 판별하는 분류기를 학습시키는 분류기 학습부와, 분류기 학습부가 분류기를 학습시킨 상태에서 특징 추출부를 이용하여 깊이 영상 획득부에 수신되는 깊이 영상으로푸버 픽셀별 특징을 추출하고, 상기 분류기를 통해 신체 부위별 3차원 위치를 검출하여 추적하는 위치 결정부를 포함한다.

Description

골프 스윙 분석을 위한 신체 부위별 위치 추적 장치 및 방법{Body Segments Localization Device and Method for Analyzing Motion of Golf Swing}

본 발명은 골프 스윙을 하는 사용자의 각 신체 부위별 위치를 추적하는 위치 추적 장치 및 방법에 관한 것이다.

골프는 전 세계에서 가장 빠르게 성장하고 있는 스포츠 중 하나로써 이와 관련된 산업, 예를 들어 실내 골프 연습장, 스크린 골프 연습장, 골프 게임 등의 수요 또한 증가하고 있다. 골프 스포츠 및 콘텐츠 인프라로 대표되는 관련 산업의 발전에도 불구하고, 골프는 실력 향상이 어려운 스포츠 중 하나이다. 이는 농구, 축구와 같이 신장이나 몸무게 등의 개인 신체적인 차이 때문이 아닌 시선의 고정, 무게중심 이동, 스윙 궤적 등으로 구성되는 골프 스윙의 복잡한 메커니즘이 그 원인이다.

골프 플레이어들은 자신의 스윙 메커니즘의 개선을 위해 스스로 반복적 연습을 하거나, 전문적인 코치를 통해 교정을 받는다. 하지만, 스스로의 연습을 통해서는 개선점을 파악하기 힘들다. 또한, 코치의 교정을 통한 방법 역시, 실제 스윙에서의 느낌이나 메커니즘과 연결시키기 어렵고, 교정 후에 적절한 스윙 메커니즘의 상태를 유지하지 못하여 다시 원래 상태로 돌아가게 되는 경우가 발생할 수 있다. 이를 극복하기 위해 스윙에 대한 자동적 분석과 수치화, 시각화된 정보를 통해 적절한 피드백을 사용자에게 제공하는 시스템의 필요성이 대두되고 있다.

자동 골프 스윙 분석 시스템의 실현을 위해 연속적으로 입력되는 사용자의 스윙에서 특정 신체 부위의 움직임을 추적하는 다양한 방법론이 제안되고 있다. 최근에 진행되고 있는 신체 부위 추적을 위한 연구는 크게 마커(Marker)의 유무에 따라 마커 기반 방법과 마커리스(Marker-less) 기반의 방법으로 나눠진다.

마커 기반 방법은 추적하고자 하는 사용자의 신체 부위에 마커를 붙이고 스윙 시에 마커의 움직임을 감지하여 분석하는 방법이다. 반면, 마커리스 기반 방법은 단일 또는 다수의 카메라를 설치하고 입력 받는 영상 분석을 통해 신체 부위를 추적하는 방법이다.

종래의 마커 기반의 골프 스윙 분석을 통한 신체 부위 추적 방법은 사용자의 신체에 부착된 마커를 추적하여 3차원 공간상에서의 신체 부위의 움직임을 감지할 수 있으나, 마커 추적을 위해 고가의 장비 설치를 필요로 하고, 마커의 부착으로 인해 스윙 시 이질감을 줄 수 있다.

최근에는 이러한 이러한 마커 기반 시스템의 단점을 극복하기 위해, 마커를 부착하지 않고 단일 또는 다수의 카메라를 통해 사용자의 스윙을 입력 받아 이를 분석하여 신체 부위를 추적하는 마커리스 기반 방법이 주목받고 있다. 사용되는 카메라의 종류에 화상 데이터를 이용하는 시스템과 깊이 데이터를 이용하는 시스템으로 나뉘어진다.

마커리스 기반 방법 중 화상 카메라를 통해 사용자의 스윙을 입력 받는 시스템의 경우는 최근에 화상 카메라의 대중화로 인해 스마트폰의 카메라를 이용한 골프 스윙 관련 앱(App)이 등장하는 등 그 관심이 증폭되고 있다. 하지만, 2차원의 화상 데이터를 통해 3차원 공간에서 움직이는 신체 부위 추적에 한계가 있고(예를 들어, 신체 부위간 중첩 발생 시), 잡음이나 조도의 변화에 대한 민감성으로 인해 신체 부위 추적시 불안정한 결과를 보인다.

화상 카메라 기반의 시스템의 단점을 극복하기 위해 깊이 카메라(depth camera)를 이용한 신체 부위 추적 방법이 대두되고 있다. 깊이 카메라는 화소(pixel)가 나타나는 위치까지의 거리 정보 즉, x,y,z축의 3차원 정보를 포함한 영상을 출력하는 기기이다. 이는 화상 카메라의 색상이나 조도 정보 등과는 달리 영상에서 물체의 구조에 대한 직관적인 정보를 제공해주며, 조도의 변화에 민감하지 않은 안정적인 데이터를 출력한다.

깊이 카메라 기반의 골프 스윙 분석을 위한 신체 부위 추적에 대한 기존 연구 및 방법은 제시되어 있지 않다. 하지만, 일반적인 동작에 대한 추적 방법은 활발히 연구되고 있다. 대표적으로는 마이크로 소프트사의 XBOX 360 Kinect Project와 프라임 센스(Prime Sense)사의 OpenNI를 들 수 있다. 마이크로소프트사의 Kinect는 확률적 모델에 기반한 시스템으로 추적해야 할 신체 부위의 특징을 통해 분류기를 학습하고, 임의의 깊이 영상(unknown depth image)가 입력되면 분류기를 통해 영상의 각 화소의 확률을 계산하여 신체 부위를 추정한다. 프라임 센스사의 OpenNI의 경우 입력된 깊이 영상 내 존재하는 사람의 구조적 분석을 통해 신체 부위를 추적한다. 상기 연구들은 일반적인 동작에 대해서 기존의 연구들에 비해 안정적인 신체 부위 추적 결과를 보여주지만, 골프 스윙 분석과 같은 특수한 동작에는 적합하지 않다. 예를 들어, 골프 자세의 어드레스 시에 손 추적을 실패할 경우가 많고, 백 스윙 시 머리와 손이 인접할 경우 두 부위를 혼동할 수 있다.

미국공개특허 US 2010/0034457 A1의 경우에도 깊이 영상을 이용하여 사람의 몸통과 머리 및 사지를 식별하는 발명을 개시하고 있으나, 일정 비율을 통한 몸통, 머리 및 사지를 판별하므로 불안정한 식별 결과를 나타낼 수 있다는 점에서 한계를 지닌다.

미국공개특허 US 2010/0034457

본 발명은 위와 같은 종래 기술의 문제점을 해결하기 위한 것으로서, 깊이 영상에서의 신체 부위 분류를 위한 영역적 히스토그램을 추출하여 분류기를 학습시키고, 학습된 분류기를 통해 새로운 깊이 영상이 입력되었을 때, 특정 신체 부위별 위치를 결정할 수 있는 골프 스윙 분석을 위한 신체 부위별 위치 추적 장치 및 방법을 제공하는 것을 목적으로 한다.

이를 위해 본 발명의 일실시예에 따른 위치 추적 장치는 깊이 영상을 획득하는 깊이 영상 획득부와, 상기 깊이 영상 획득부로부터 깊이 영상을 수신하고, 상기 수신된 깊이 영상으로부터 픽셀별 특징을 추출하여 사람의 신체 부위별로 특징 집합을 생성하는 특징 추출부와, 상기 특징 추출부에서 생성된 특징 집합을 이용하여 사람의 신체 부위별 위치를 판별하는 분류기를 학습시키는 분류기 학습부와, 상기 분류기 학습부가 상기 분류기를 학습시킨 상태에서 상기 깊이 영상 획득부에 수신되는 깊이 영상으로부터 픽셀별 특징을 추출하고, 상기 학습된 분류기를 통해 각 픽셀별 신체 부위를 판별하고, 신체 부위별 3차원 위치 정보를 추적하는 위치 결정 부를 포함한다.

이때, 상기 특징 추출부 및 상기 위치 결정 모듈은 깊이 영상의 각 픽셀과 해당 픽셀 주변 픽셀과의 거리 정보를 기초로 패턴을 추출하고, 상기 패턴을 미리 정의된 제1 유사도 기준에 따라 각 패턴 별로 군집화하여 지역적 패턴 사전을 생성하고, 상기 패턴 사전의 각 패턴 단어 별로 미리 정의된 제2 유사도 기준에 따라 깊이 영상의 각 픽셀에 반영하여 신체 부위별로 상기 특징 집합을 생성할 수 있다.

상기 분류기 학습부는 랜덤 포레스트(Randomized Forests) 알고리즘을 이용할 수 있다.

본 발명의 일실시예에 따른 위치 추적 방법은 깊이 영상 획득부로부터 깊이 영상을 획득하는 단계와, 특징 추출부를 이용하여 상기 획득된 깊이 영상 각 픽셀의 특징을 추출하여 신체 부위별 특징 집합을 생성하는 단계와, 분류기 학습부를 이용하여 상기 생성된 신체 부위별 특징 집합을 이용하여 신체 부위별 위치를 판별하는 분류기를 학습시키는 단계와, 상기 분류기 학습부가 상기 분류기를 학습시킨 상태에서 상기 특징 추출부를 이용하여 상기 깊이 영상 획득부에 수신되는 깊이 영상의 픽셀별 특징을 추출하는 단계와, 위치 결정 모듈이 상기 학습된 분류기와 상기 추출된 깊이 영상의 픽셀별 특징을 이용하여 신체 부위별 3차원 위치 정보를 추적하는 단계를 포함한다.

상기 특징 추출부를 이용하여 신체 부위별 특징 집합을 생성하는 단계는, 상기 깊이 영상의 각 픽셀과 해당 픽셀 주변 픽셀까지의 거리 정보를 기초로 패턴을 추출하는 단계와, 상기 패턴을 미리 정의된 제1 유사도 기준에 따라 각 패턴 별로 군집화하여 패턴 사전을 생성하는 단계와, 상기 패턴 사전의 각 패턴 단어 별로 미리 정의된 제2 유사도 기준에 따라 깊이 영상의 각 픽셀에 반영하는 단계와, 깊이 영상의 각 픽셀별로 주변 픽셀에 반영된 패턴 단어의 빈도수를 계산하여 특징을 추출하는 단계와, 상기 추출된 특징을 신체 부위별로 수집하여 신체 부위별 특징 집합을 생성하는 단계를 포함할 수 있다.

또한, 상기 분류기를 학습시키는 단계는 랜덤 포레스트(Randomized Forests) 알고리즘을 이용하여 수행할 수 있다.

본 발명에 따른 골프 스윙 분석을 위한 신체 부위별 위치 추적 장치 및 방법은 마커 기반 시스템과 달리 고가의 장비 없이, 보급형 깊이 카메라를 이용하여 골프 스윙에서의 머리와 손의 위치를 검출할 수 있으며, 기존의 화상 카메라 기반의 마커리스 기반 시스템과는 달리, 깊이 카메라를 사용하여 골프 스윙에서의 머리와 손의 3차원 공간상의 위치를 검출할 수 있다.

이를 이용하여 최근에 대두되고 있는, 골프 스윙의 분석 및 교정을 위한 시스템에 활용될 수 있다.

도 1은 본 발명의 일실시예에 따른 위치 추적 장치의 개략 구성도이다.
도 2는 본 발명의 위치 추적 장치의 학습 모듈과 테스트 모듈에서의 동작을 설명하는 흐름도이다.
도 3a 및 도 3b는 각각 테스트 모듈의 입력 데이터 영상과 출력 데이터 영상을 나타낸다.
도 4는 학습 모듈에서의 전처리 과정의 상세 흐름도이다.
도 5는 학습 모듈에서 전처리 과정을 통하여 획득한 전경 영상을 나타낸다.
도 6은 학습 모듈에서의 특징 추출 과정의 상세 흐름도이다.
도 7은 도 6의 패턴 추출의 예를 나타내는 도면이다.
도 8 도 6의 깊이 영상 각 픽셀에 패턴 단어가 할당된 영상을 나타낸다.
도 9는 학습 모듈에서 분류기 학습 과정의 상세 흐름도이다.
도 10은 학습 모듈에서 학습된 분류기의 Randomized Forests의 예를 나타내는 도면이다.
도 11은 테스트 모듈의 특징 추출 과정의 상세 흐름도이다.
도 12는 테스트 모듈이 각 픽셀별로 해당 픽셀이 사람의 머리, 손 또는 기타 신체 부위인지를 판별하는 방법에 대한 상세 흐름도이다.
도 13은 테스트 모듈에 입력된 깊이 영상에 대한 각 신체부위별 확률 분포를 나타내는 영상이다.
도 14는 테스트 모듈에서 출력되는 사람의 머리와 손의 공간상의 위치를 나타는 영상이다.

이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다. 그러나, 첨부도면 및 이하의 설명은 본 발명에 따른 위치 추적 장치 및 방법의 가능한 일실시예에 불과하며, 본 발명의 기술적 사상은 위 내용에 한정되지 아니한다.

도 1은 본 발명의 일실시예에 따른 위치 추적 장치의 개략 구성도이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 위치 추적 장치(1)는 깊이 영상 획득부(10)와, 데이터베이스(5)와, 특징 추출부(20)와, 분류기 학습부(30)와, 위치 결정부(40)를 포함하여 구성된다.

깊이 영상 획득부(10)는 깊이 영상을 획득하는 역할을 하며 깊이 카메라(Depth Camera) 등을 이용할 수 있다. 즉, 깊이 영상 획득부(10)는 사람이 골프를 스윙하고 있는 골프 모션 영상을 획득하고, 초음파 등을 이용하여 각 픽셀별 카메라로부터의 거리 정보를 포함하는 깊이 영상(depth image)을 획득한다.

데이터베이스(5)는 깊이 영상 획득부(10)로부터 수신된 깊이 영상과 이에 대응되는 스윙자의 머리와 손의 위치 정보의 집합을 담고 있다.

특징 추출부(20)는 데이터베이스(5)에 포함된 깊이 영상과 깊이 영상 획득부(10)의 픽셀에서 특징을 추출하는 역할을 한다. 특징 추출부(20)는 깊이 영상 획득부(10)와 데이터베이스(5)로부터 입력된 깊이 영상으로부터 추출된 특징 집합을 각각 분류기 학습부(30) 및 위치 결정부(40)로 전송하는 시스템의 흐름에 따라 작동이 상이할 수 있다. 따라서, 이하, 데이터베이스(5)로부터 수신되어 분류기 학습부(30)로 전송하기 위한 특징 추출부(20)를 ‘학습 특징 추출부’로 깊이 영상 획득부(10)로부터 수신되어 위치 결정부(40)로 전송하기 위한 특징 추출부(20)를 ‘테스트 측징 추출부’로 혼용하여 사용할 수 있다.

분류기 학습부(30)는 데이터베이스(5)에 포함된 깊이 영상으로부터 추출된 특징 집합을 통해 깊이 영상의 각 픽셀에 대응되는 신체 부위를 판별하도록 하는 분류기를 학습시키는 역할을 한다.

위치 결정부(40)는 깊이 영상 획득부(10)에 수신되는 깊이 영상으로부터 특징 추출부(20)를 통해 추출된 특징과 분류기 학습부(30)에서 학습된 분류기를 통해 수신된 깊이 영상의 각 픽셀에 대응되는 신체 부위를 판별하고 이를 기반으로 하여 신체 부위의 3차원 위치를 결정하는 역할을 한다.

도 2는 본 발명의 위치 추적 장치의 학습 모듈(100)과 테스트 모듈(200)에서의 동작을 설명하는 흐름도이다.

본 발명의 위치 추적 장치(1)는 단일 깊이 카메라로부터 획득된 골프 스윙에 대한 정보를 담고 있는 깊이 영상에서 사용자의 머리와 손의 위치를 추적하는 것을 목적으로 한다. 골프 이외의 다른 스포츠에 적용되는 경우에는 발 등 다른 측정 신체 부위의 위치를 추적하는데도 이용될 수 있음은 물론이다.

본 발명의 위치 추적 장치(1)는 미리 마련된 데이터베이스(5)로부터 수신된 학습 깊이 영상으로부터 특징 추출부(20)를 통해 특징을 추출하고, 추출된 특징 집합을 분류기 학습부(30)에 입력하여 손과 머리를 분류하기 위한 분류기를 학습하는 학습 모듈(100)과, 깊이 영상 획득부(10)로부터 수신된 깊이 영상에 대해 특징 추출부(20)를 통해 추출된 특징과 학습 모듈에서 학습된 분류기를 이용하여 위치 결정부(40)에서 손과 머리의 3차원 위치를 계산하는 테스트 모듈(200)을 포함한다.

도 2에서 볼 수 있듯이, 미리 마련된 데이터베이스(5)에서 샘플이 되는 학습 깊이 영상(120)을 수신하고, 전처리부(미도시)는 이를 전처리(pre-processing; 140)하여, 각 픽셀별 특징을 추출한다(160). 특징 추출을 위해 먼저 각 픽셀별 깊이값에 대한 패턴을 추출하고(160) 이를 군집화하여 패턴 사전(170)을 생성한 후, 각 픽셀에 미리 정의된 유사도 기준에 따라 패턴 사전에 포함된 패턴 단어를 할당한다. 특징 추출은 스윙자에 해당하는 픽셀 주변 영역에 할당된 패턴 단어의 빈도수를 계산하여 측정된다. 이때, ‘패턴 단어’라 함은 군집화된 패턴의 각 군집의 대표값을 의미하며, 스윙자의 신체로부터 획득한 픽셀 주변의 모양을 표현하는 개념이다. 자세한 내용은 후술한다. 또한, 분류기 학습부(30)는 데이터베이스(5)의 모든 깊이 영상으로부터 추출된 특징 집합을 이용하여 분류기를 학습시킨다(180).

한편, 테스트 모듈(200)은 깊이 영상 획득부(10)에 새롭게 입력되는 깊이 영상(220)을 수신하여, 이를 전처리(240)하고, 전처리된 깊이 영상의 각 픽셀에서 특징을 추출한다(260). 특징이 추출되면 분류기를 이용하여 각 픽셀별 해당 신체 부위를 분별하고(270), 분별된 각 픽셀별 신체 부위에 기반하여 골프 스윙자의 머리와 손의 2차원 위치를 결정한다(280). 머리와 손의 2차원 위치가 결정되면 깊이 영상과 매칭시켜서 최종적으로 머리와 손의 3차원 공간 좌표를 결정하게 된다(290).

도 3a 및 도 3b는 각각 테스트 모듈(200)의 입력 데이터 영상과 출력 데이터 영상을 나타낸다.

도 3a는 테스트 모듈(200)에 입력되는 깊이 영상을 나타낸다. 골프 스윙을 하는 사람과 배경 영상이 모두 표현되어 있다. 도 3b는 테스트 모듈(200)이 최종적으로 출력하는 데이터로서 배경 영상은 제거가 되었으며, 검출된 사람의 머리 위치와 손의 위치가 각각 파란색 원 및 빨간색 원으로 표시되어 있다. 이하 상기와 같은 처리를 수행하는 구체적인 방법을 설명한다.

도 4는 학습 모듈에서의 전처리 과정의 상세 흐름도이다.

전처리부는 학습 깊이 영상(120)이 입력되면 기본적인 이미지 프로세싱을 포함하여 필요가 없는 영상인 배경 영상을 제거하고(141), 잡음(noise)을 제거한다(142). 이렇게 하면 배경 영상이 제거되고 사람의 영상만 남겨진 전경 영상(foreground image; 143)이 획득된다. 획득된 전경 영상(143)의 예가 도 5에 나타나 있다.

도 6은 학습 모듈에서의 특징 히스토그램 추출 과정의 상세 흐름도이다.

데이터베이스(5)의 모든 전경 영상(143)이 획득되면 전경에 해당하는 픽셀로부터 특징을 추출한다(160). 학습 모듈(100)에서의 특징 추출과정은 먼저, 데이터베이스(5)에 포함된 모든 전경 영상의 전경 픽셀에서 주변 픽셀과의 깊이 정보 차를 통해 패턴을 추출한 후(161), 추출된 패턴들을 군집화하고(162), 각 군집의 대표값을 패턴 단어로 하는 패턴 사전(pattern dictionary; 170)을 생성한다. 데이터베이스(5)의 모든 깊이 영상의 픽셀에 미리 정의된 유사도 기준에 따라 패턴 단어를 할당하고(163), 각 픽셀의 주변 영역에서의 패턴 단어 빈도수를 기반으로 하는 히스토그램을 계산하여 특징을 추출하고(164), 각 신체 부위에 해당하는 픽셀에서 추출한 특징들끼리 수집하여 신체 부위별 특징 집합을 생성한다(165). 이때, 각 신체 부위에 해당하는 픽셀에 대한 정보는 데이터베이스(5) 생성시 미리 정의되어 있다.

도 7은 도 6의 지역적 특징 벡터의 추출의 예를 나타내는 도면이다.

패턴 추출은 깊이 영상의 임의의 픽셀(pixel)과 주변 픽셀들과의 깊이 정보 차이를 벡터로 저장함으로써 수행한다. 도 7은 지역적 특징 벡터 추출의 예로서, 빨간색 마크를 기준으로 특징 벡터를 추출하는데, 상하좌우의 반경 15 픽셀 거리에 위치하는 4개의 픽셀과 기준 픽셀의 깊이 정보의 차이를 이용하여 4차원의 벡터를 추출한다.

패턴 벡터 f를 추출하는 방법을 구체적으로 설명하면 다음과 같다. 깊이 영상의 (x,y)에 위치한 임의의 화소에서의 특징 벡터 f의 추출은 다음과 같은 식으로 표현된다.

수학식 1에서 d(x,y)는 깊이 영상에서 (x,y) 좌표에 해당하는 픽셀의 깊이 값이고, dims는 추출될 특징 벡터의 차수를 의미한다. 영상 내 좌표를 나타내는 offset_i(x,y)는 다음과 같이 정의된다.

수학식 2에서 rad는 (x,y)의 좌표에 위치한 픽셀과 주변 픽셀까지의 거리를 나타내는 변수로, 깊이 카메라와의 거리에 따른 전경의 무게 중심의 크기에 반비례한다. 따라서, 깊이 카메라로부터 전경이 멀어지면 rad는 작아지고, 가까워지면 rad는 커지게 된다.

이렇게 데이터베이스(5)에 포함된 깊이 영상의 모든 전경 픽셀로부터 패턴 벡터를 추출하면, 이로부터 특징을 추출하게 되는데 구체적 과정은 다음과 같다.

깊이 영상으로부터 추출된 패턴 벡터 집합을 군집화하여 패턴 사전(pattern dictionary)을 생성한다. 패턴 벡터 집합의 군집화 과정은 K 평균 군집화 알고리즘과 같은 군집화 알고리즘을 통해 수행된다. 군집화가 완료되면, 각 군집의 대표값을 패턴 단어로 하는 패턴 사전을 생성하고, 깊이 영상의 각 픽셀에서 추출한 패턴 벡터와 패턴 사전의 패턴 단어들을 비교하여 가장 유사한 패턴 단어를 해당 픽셀에 할당하는 과정을 수행한다.

이렇게 깊이 영상 각 픽셀에 패턴 사전의 패턴 단어가 할당된 샘플 영상이 도 8에 도시되어 있다. 유사한 패턴 단어가 같은 색깔로 분포되어 있음을 확인할 수 있다.

패턴 단어가 할당된 영상에서 임의의 픽셀과 주변 픽셀들에 할당된 패턴 단어의 빈도수를 기반으로 히스토그램을 계산하여 특징을 추출한다. 손, 머리 또는 그 이외의 부분에 해당하는 픽셀의 위치를 알고 있으므로, 최종 출력 데이터는 데이터베이스에 존재하는 깊이 영상에서 추출된 손, 머리, 그 외의 신체 부분별 특징 집합(165)에 해당한다.

특징 추출 단계에서 획득된 손, 머리, 그 이외의 신체 부분 각각의 특징 집합(165)이 획득되면 이를 기초로 분류기를 학습하게 된다. 도 9는 학습 모듈(100)에서 분류기 학습 과정의 상세 흐름도이다.

분류기 학습부(30)는 획득된 각 신체 부위별 특징 집합(165)을 입력으로 수신하여다수의 각 결정 트리(181, 182, 183, 184)를 학습시켜 학습된 분류기를 생성한다(190). 이때, 분류기의 학습은 랜덤 포레스트(Radomized Forest) 알고리즘을 이용하여 수행할 수 있으며, 각각 학습된 단일 결정 트리의 앙상블(ensemble)로 구성될 수 있다.

도 10은 학습 모듈에서 적용되는 랜덤 포레스트(Randomized Forests) 알고리즘을 나타내는 도면이다.

분류기를 학습하는 과정은 랜덤 포레스트를 구성하는 각 결정 트리를 학습함으로써 수행하게 되는데, 입력으로는 무작위로 샘플링된 특징 집합(각 신체 부위별 특징 집합에서 동일한 수로 샘플링)이며, 출력으로는 말단 노드가 각 신체 부위별 확률을 갖는 트리가 된다. 이때, 학습과정을 통해 학습된 분류기를 이용하여 분별하고자 하는 것이 신체 부위이기 때문에 이하, 신체부위와 ‘클래스’는 혼용될 수 있다. 또한, 상기 추출된 특징은 빈도수에 기반한 히스토그램의 성질을 갖기 때문에 이하, 특징과 ‘히스토그램’은 혼용될 수 있다.

결정 트리의 학습 방법을 구체적으로 설명하면, 샘플 집합이 노드에 입력되었을 때, 각 신체 부위별로 샘플 집합을 잘 분류하도록 하는, 즉, 동질의 샘플끼리 하위 노드로 이동하도록 하는 노드의 분기 조건을 찾고, 분기 조건에 따라 분류된 샘플 집합을 좌우 하위 노드에 각각 할당한다. 분기 시, 각 노드는 분기 조건을 저장하며, 최종 말단 노드는 각 클래스별 확률을 저장한다.

이때, 임의의 노드 T에 할당된 샘플 집합 S의 분기 조건 Ф를 결정하는 방법은 다음과 같다.

샘플 집합 S는 S={(hist,i)|hist = 패턴 단어의 빈도수에 기반한 히스토그램, i={머리, 손, 그 이외의 부분}}과 같이 정의되고, 분기 조건 Ф는 Ф=(ρ,τ), ρ: 분별력이 가장 큰 히스토그램의 계급, τ: 임계값)으로 정의될 때, Fisher’s discriminant criteria를 이용하여 히스토그램의 계급 중 클래스간 분별력이 가장 큰 계급 ρ를 선택하는 방법을 사용한다. ρ는 다음과 같이 표현된다.

다음, 샘플 집합 S를 동질성이 높은 부분집합으로 분류하는 히스토그램의 j q번째 계급의 값 τ’을 찾아 각 부분집합을 하위 노드로 전달한다. τ’의 결정 조건은 다음 식과 같다.

위의 수학식 4에서

im(S|τ)는 분류되는 샘플 집합 S의 불순도 감소량이고 다음과 같이 정의된다.

위의 수학식 5에서 im(S)는 샘플 집합 S의 오분류 불순도이고,, |S|는 샘플 집합 S의 크기이다. Im(S)는 다음과 같이 정의된다.

위의 수학식 6에서 P(w_i|S)는 샘플 집합 S에서 i 번째 클래스의 확률로 다음과 같이 계산된다.

또한, 수학식 5의 S_l(τ)와 S_r(τ)는 각각 τ에 의해 분류되어 하위 좌측, 우측 노드로 전달되는 샘플 집합 S의 부분 집합이고, 다음과 같이 정의된다.

상기와 같은 식에 의해 결정된 노드 T의 분기 조건(Ф=(ρ,τ))를 저장하고, 분기된 하위 노드에서도 동일한 작업을 재귀적으로 수행한다.

도 11은 테스트 모듈의 전처리 과정 및 특징 히스토그램 추출 과정의 상세 흐름도이다.

배경이 제거되고 사람의 영상만 포함하는 전경 영상(250)이 획득되면, 테스트 모듈(200)은 특징을 추출한다(260). 테스트 특징 추출은 전경 영상(250)의 각 전경 픽셀에서 패턴을 추출하고(261), 추출된 패턴과 학습 모듈(100)에서 생성된 패턴 사전(170)의 패턴 단어와 비교하여 유사한 패턴 단어를 해당 픽셀에 할당하고(262), 각 픽셀의 주변 영역에 할당된 패턴 단어의 빈도수에 기반한 히스토그램을 계산(263)하여 특징을 추출한다(264).

도 12는 테스트 모듈(200)이 사람의 머리와 손의 위치를 결정하는 방법을 설명하는 상세 흐름도이다.

픽셀 분류부(미도시)는 임의의 픽셀에 대한 특징(264)이 추출되면, 이를 입력으로 하여 각 클래스의 확률 및 픽셀의 분류 결과를 출력으로 제공한다. 구체적으로 픽셀 분류부는 학습 모듈(100)에서 학습된 분류기(19)를 구성하는 각 결정 트리에 특징을 입력하고, 트리 내 노드의 결정 조건에 따라 이동하여 도달한 말단 노드의 각 클래스 별 확률을 획득하고, 각 트리로부터 획득한 확률을 클래스 별로 평균하여(271), 최대 확률 값을 나타내는 클래스에 임의의 화소를 분류한다(272)

이렇게 입력된 깊이 영상에 대한 각 클래스별 확률 분포가 획득되면, 이를 이용하여 머리와 손 등의 구체적인 신체 부위의 3차원 위치를 결정한다. 구체적으로 테스트 모듈(200)은 Meanshift 알고리즘을 이용하여 각 신체 부위의 구체적인 위치를 결정하게 된다. Meanshift 알고리즘은 주어진 확률 분포에서 모드를 효율적으로 찾는 알고리즘으로서 초기 위치의 설정이 필요하다. 따라서, 각 클래스 별 확률이 가장 큰 픽셀의 위치를 초기값으로 지정한다. 결정된 각 클래스별 모드와 모드의 깊이 정보를 통해 머리와 손 등의 3차원 공간 위치 정보를 획득한다.

도 13은 테스트 모듈(200)에 입력된 깊이 영상에 대한 각 클래스 별 확률 분포를 나타내는 영상이며, 도 14는 테스트 모듈(200)에서 출력되는 사람의 머리와 손의 공간상의 위치를 나타는 영상이다.

도 13에서 볼 수 있듯이 머리 분포는 파란색으로 갈수록 높고 손 분포는 빨간 색으로 갈수록 높음을 알 수 있고, 확률 분포 영상에서도 이를 확인할 수 있다. 이를 이용하여 도 14와 같이 사람의 머리 및 손의 위치를 결정할 수 있게 된다.

본 발명은 이와 같은 방법으로 연속된 골프 스윙 깊이 영상이 입력되었을 때, 위의 과정을 매 프레임 수행함을 통해 머리와 손의 위치를 추적할 수 있다.

1 : 위치 추적 장치 5 : 데이터베이스
10 : 깊이 영상 획득부 20 : 특징 추출부
30 : 분류기 학습부 40 : 위치 결정부

Claims (6)

1. 깊이 영상을 획득하는 깊이 영상 획득부;
   상기 깊이 영상 획득부로부터 깊이 영상을 수신하고, 상기 수신된 깊이 영상으로부터 픽셀별 특징을 추출하여 사람의 신체 부위별로 특징 집합을 생성하는 특징 추출부;
   상기 특징 추출부에서 생성된 특징 집합을 이용하여 사람의 신체 부위별 위치를 판별하는 분류기를 학습시키는 분류기 학습부; 및
   상기 분류기 학습부가 상기 분류기를 학습시킨 상태에서 상기 깊이 영상 획득부에 수신되는 깊이 영상으로부터 픽셀별 특징을 추출하고, 상기 학습된 분류기를 통해 각 픽셀별 신체 부위를 판별하고, 신체 부위별 3차원 위치 정보를 추적하는 위치 결정부를 포함하는 위치 추적 장치.
2. 제1항에 있어서,
   상기 특징 추출부 및 상기 위치 결정 모듈은 깊이 영상의 각 픽셀과 해당 픽셀 주변 픽셀과의 거리 정보를 기초로 패턴을 추출하고,
   상기 패턴을 미리 정의된 제1 유사도 기준에 따라 각 패턴 별로 군집화하여 패턴 사전을 생성하고,
   상기 패턴 사전의 각 패턴 단어 별로 미리 정의된 제2 유사도 기준에 따라 깊이 영상의 각 픽셀에 반영하여 신체 부위별로 상기 특징 집합을 생성하는 것을 특징으로 하는 위치 추적 장치.
3. 제1항에 있어서,
   상기 분류기 학습부는 랜덤 포레스트(Randomized Forests) 알고리즘을 이용하는 것을 특징으로 하는 위치 추적 장치.
4. 깊이 영상 획득부로부터 깊이 영상을 획득하는 단계;
   상기 획득된 깊이 영상으로부터 각 픽셀별 해당 신체 부위에 대한 정보를 포함하는 데이터베이스를 생성하는 단계;
   특징 추출부를 이용하여 상기 획득된 데이터베이스의 깊이 영상 각 픽셀의 특징을 추출하여 신체 부위별 특징 집합을 생성하는 단계;
   분류기 학습부를 이용하여 상기 생성된 신체 부위별 특징 집합을 이용하여신체 부위별 위치를 판별하는 분류기를 학습시키는 단계;
   상기 분류기 학습부가 상기 분류기를 학습시킨 상태에서 상기 특징 추출부를 이용하여 상기 깊이 영상 획득부에 수신되는 깊이 영상의 픽셀별 특징을 추출하는 단계; 및
   위치 결정부가 상기 학습된 분류기와 상기 추출된 깊이 영상의 픽셀별 특징을 이용하여 신체 부위별 3차원 위치 정보를 추적하는 단계를 포함하는 위치 추적 방법.
5. 제4항에 있어서,
   상기 특징 추출부를 이용하여 신체 부위별 특징 집합을 생성하는 단계는,상기 깊이 영상의 각 픽셀과 해당 픽셀 주변 픽셀까지의 거리 정보를 기초로 패턴을 추출하는 단계;
   상기 패턴을 미리 정의된 제1 유사도 기준에 따라 각 패턴 별로 군집화하여 패턴 사전을 생성하는 단계; 및
   상기 패턴 사전의 각 패턴 단어 별로 미리 정의된 제2 유사도 기준에 따라 깊이 영상의 각 픽셀에 반영하는 단계;
   깊이 영상의 각 픽셀별로 주변 픽셀에 반영된 패턴 단어의 빈도수를 계산하여 특징을 추출하는 단계; 및
   상기 추출된 특징을 신체 부위별로 수집하여 신체 부위별 특징 집합을 생성하는 단계를 포함하는 것을 특징으로 하는 위치 추적 방법.
6. 제4항에 있어서,
   상기 분류기를 학습시키는 단계는 랜덤 포레스트(Randomized Forests) 알고리즘을 이용하여 수행하는 것을 특징으로 하는 위치 추적 방법.

Images