KR20140134803A

KR20140134803A - 다중 클래스 svm과 트리 분류를 이용한 제스처 인식 장치 및 방법

Info

Publication number: KR20140134803A
Application number: KR1020130054412A
Authority: KR
Inventors: 홍현기; 오주희; 김태협
Original assignee: 중앙대학교 산학협력단
Priority date: 2013-05-14
Filing date: 2013-05-14
Publication date: 2014-11-25
Also published as: KR101682268B1

Abstract

다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 장치가 개시된다. 3차원 정보 추출부는 키넥트 센서로부터 입력된 사용자의 제스처를 토대로 사용자 관절에 대한 3차원 정보를 추출한다. 제스처 분류 트리 설계부는 제스처의 기본 패턴에 따라 사전에 제스처 분류 트리를 설계하여, 추출한 3차원 정보를 제스처 분류 트리에 따라 분류한다. 체인 코드 특징 추출부는 제스처에 대한 체인 코드의 특징 벡터를 추출한다. 제스처 분류부는 제스처에 대한 체인 코드와 히스토그램 정보를 특징 벡터로 이용하여 다중 클래스 SVM(Supprot Vector machine)으로 학습시킨 후 제스처를 분류한다. 본 발명에 따르면, 자연스러운 사용자 인터페이스를 통해 제스처를 정확하게 인식할 수 있다.

Description

다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 장치 및 방법{Apparatus and method for gesture recognition using multiclass Support Vector Machine and tree classification}

본 발명은 다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 장치 및 방법에 관한 것으로, 더욱 상세하게는, 키넥트 카메라(kinect camera)로부터 입력되는 사용자의 3차원 관절(joint) 정보를 이용하여 제스처를 인식하는 다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 장치 및 방법에 관한 것이다.

제스처는 다양한 디바이스를 효과적으로 제어할 수 있는 가장 직관적이고 간단한 정보이다. 그리고 제스처 인식은 현재 인터렉티브 TV, 게임기, 로봇 제어 등 다양한 매체에서 활용되고 있다. 최근에는 간단한 제스처로 디바이스를 조종하는 것을 넘어, 자연스러운 인터페이스를 지향하는 지능형(intelligent) 시스템의 입력 및 출력의 개발이 활발하게 진행되고 있다.

제스처 인식 연구는 2차원 영상으로부터 사람의 피부색 정보나 시퀀스 상에서 차(difference) 영상을 이용하는 방식과 사용자에 대한 거리 정보를 동시에 해석하는 3차원 방식으로 크게 구분된다. 3차원 데이터는 적외선 센서 등의 능동형과 스테레오 카메라 등을 이용하는 수동형 센싱 방법이 개발되고 있다.

스킨 컬러 값을 이용한 방법은 차 영상이나 얼굴 검출기를 통하여 사람의 영역을 찾은 후에 사람의 얼굴을 제거한 후 손 영역만을 뽑아내어서 제스처를 검출한다. 그러나 차 영상이나 스킨 컬러 기반의 색상과 빛에 많이 민감하고 움직임에 의한 블러 현상에 많은 영향을 받으며, 얼굴 검출기는 얼굴 방향에 따라 성능이 영향을 많이 받는다.

스테레오 카메라를 이용한 방식은 2차원 입력 영상과 함께 거리 정보 값을 이용할 수 있다. 일반적으로 얼굴과 몸통에 비해 손을 앞으로 뻗어 제스처를 표현하기 때문에 거리 값을 이용하여 해당 영역을 효과적으로 추출할 수 있다. 하지만 컬러 정보를 이용하며, 스테레오 영상 간의 대응 관계를 기반으로 하므로 색상과 주변 조명 등에 의해 영향을 많이 받는다.

이와 관련된 선행기술을 구체적으로 살펴보면, 한국공개공보 제2009-0113084호(발명의 명칭 : 휴머노이드 로봇의 움직임 제어 시스템 및 그 방법)에는 휴머노이드 로봇의 움직임을 사용자가 직관적으로 실시간 제어할 수 있는 제어 시스템 및 방법을 개시하고 있다.

또한, 한국공개공보 제2009-0069704호(발명의 명칭 : 3차원 공간에서의 사람 움직임 추적 방법 및 장치)에는 입력 영상으로부터 3차원 인체 모델을 이용하여 사람의 움직임을 추정하는 방법 및 장치를 개시하고 있다.

본 발명이 이루고자 하는 기술적 과제는, 자연스러운 사용자 인터페이스를 통해 제스처를 정확하게 인식할 수 있는 다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 장치 및 방법을 제공하는 데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는, 자연스러운 사용자 인터페이스를 통해 제스처를 정확하게 인식할 수 있는 다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한 본 발명에 따른 다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 장치는, 키넥트 센서로부터 입력된 사용자의 제스처를 토대로 상기 사용자 관절에 대한 3차원 정보를 추출하는 3차원 정보 추출부; 제스처의 기본 패턴에 따라 사전에 제스처 분류 트리를 설계하여, 상기 추출한 3차원 정보를 상기 제스처 분류 트리에 따라 분류하는 제스처 분류 트리 설계부; 상기 제스처에 대한 체인 코드의 특징 벡터를 추출하는 체인 코드 특징 추출부; 및 상기 제스처에 대한 상기 체인 코드와 히스토그램 정보를 특징 벡터로 이용하여 다중 클래스 SVM(Supprot Vector machine)으로 학습시킨 후 상기 제스처를 분류하는 제스처 분류부;를 구비한다.

상기의 다른 기술적 과제를 달성하기 위한 본 발명에 따른 다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 방법은, (a) 키넥트 센서로부터 입력된 사용자의 제스처를 토대로 상기 사용자 관절에 대한 3차원 정보를 추출하는 3차원 정보 추출 단계; (b)제스처의 기본 패턴에 따라 사전에 제스처 분류 트리를 설계하여, 상기 추출한 3차원 정보를 상기 제스처 분류 트리에 따라 분류하는 제스처 분류 트리 설계 단계; (c) 상기 제스처에 대한 체인 코드의 특징 벡터를 추출하는 체인 코드 특징 추출 단계; 및 (d) 상기 제스처에 대한 상기 체인 코드와 히스토그램 정보를 특징 벡터로 이용하여 다중 클래스 SVM(Supprot Vector machine)으로 학습시킨 후 상기 제스처를 분류하는 제스처 분류 단계;를 갖는다.

상기의 다른 기술적 과제를 달성하기 위한 본 발명에 따른 컴퓨터로 읽을 수 있는 매체는 상기한 방법 중 어느 하나를 컴퓨터에서 실행시키기 위한 프로그램을 기록한다.

본 발명에 따른 다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 장치 및 방법에 의하면, 자연스러운 사용자 인터페이스를 통해 제스처를 정확하게 인식할 수 있다.

도 1은 본 발명에 따른 다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 장치의 구성을 도시한 블록도,
도 2는 본 발명에 따른 제스처 분류 트리 설계부의 구성을 도시한 블록도,
도 3은 본 발명의 일실시예에 따른 삼각형 제스처에 대한 리샘플링을 도시한 도면,
도 4는 구간을 균등하게 나눈 삼각형 제스처를 도시한 도면,
도 5는 제스처 패턴을 도시한 도면,
도 6은 패턴 구간별 인식률을 그래프로 도시한 도면,
도 7은 리샘플링 수에 따른 인식률을 그래프로 도시한 도면,
도 8은 기존 알고리즘을 도시한 블록도,
도 9는 본 발명에 따른 제스처 인식 방법의 학습 및 분류 과정을 도시한 도면,
도 10은 학습 알고리즘 별 인식률을 그래프로 도시한 도면,
도 11은 학습 알고리즘 별 인식률을 표로 도시한 도면, 그리고,
도 12는 잘못 인식된 제스처의 예를 도시한 도면이다.

이하에서 첨부의 도면들을 참조하여 본 발명에 따른 다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 장치 및 방법(이하, '제스처 인식 장치 및 방법'이라 함)의 바람직한 실시예에 대해 상세하게 설명한다.

제스처 인식은 2차원 영상으로부터 사람의 피부색 정보나 시퀀스 상에서 차(difference) 영상을 이용하는 방식과 사용자에 대한 거리 정보를 동시에 해석하는 3차원 방식으로 크게 구분된다. 3차원 데이터는 적외선 센서 등의 능동형과 스테레오 카메라 등을 이용하는 수동형 센싱 방법이 개발되고 있다.

스킨 컬러 값을 이용한 방법은 차 영상이나 얼굴검출기를 통해 사람의 영역을 찾은 후에 사람의 얼굴을 제거한 후 손 영역만을 뽑아내서 제스처를 검출한다. 그러나 차 영상이나 스킨 컬러 기반의 색상과 빛에 많이 민감하고 움직임에 의한 블러 현상에 영향을 많이 받으며, 얼굴 검출기는 얼굴 방향에 따라 성능이 달라진다.

스테레오 카메라를 이용한 방식은 2차원 입력 영상과 함께 거리 정보 값을 이용할 수 있다. 일반적으로 얼굴과 몸통에 비해 손을 앞으로 뻗어 제스처를 표현하기 때문에 거리 값을 이용하여 해당 영역을 효과적으로 추출할 수 있다. 그러나 컬러 정보를 이용하며 스테레오 영상 간의 대응 관계를 기반으로 하므로, 색상과 주변 조명 등에 의해 영향을 많이 받는다.

키넥트 카메라를 이용한 방식은 20개의 신체 관절에서 3차원 각 축의 좌표 값을 추출하며, 키넥트 카메라는 최대 두 명까지 관절 데이터를 추출할 수 있다. 그러나 이는 좁은 실내 영역에 제한적으로 사용되며, 유효 범위는 최대 8 m로 한정된다. 또한 반사되는 배경에서는 키넥트 센서의 적외선 패턴을 반사시키기 때문에 거리 값을 전혀 측정할 수가 없는 단점이 있다. 그러나 스킨 컬러 기반이나 차 영상 등의 방법에 비해 매우 정확하고 안정적으로 궤적 정보를 추출할 수 있다.

따라서 본 발명에 따른 제스처 인식 장치(100) 및 방법은 키넥트 센서, 즉 키넥트 카메라를 이용하여 사용자의 관절에 대한 3차원 정보를 추출한다. 그리고 제스처의 기본 패턴에 따라 사전에 분류 트리를 설계하고 각 제스처에 대한 체인 코드의 특징 벡터를 추출한 다음, 다중 클래스 SVM(MultiClass Support Vector Machine, 이하 멀티 클래스 SVM이라 함)으로 학습시킨 후 제스처를 분류하는 방법을 제안하고자 한다.

도 1은 본 발명에 따른 제스처 인식 장치(100)의 구성을 도시한 블록도이고, 도 2는 본 발명에 따른 제스처 분류 트리 설계부(300)의 구성을 도시한 블록도이다. 도 1을 참조하면, 본 발명에 따른 제스처 인식 장치(100)는 3차원 정보 추출부(200), 제스처 분류 트리 설계부(300), 체인 코드 특징 추출부(400) 및 제스처 분류부(500)를 포함한다.

3차원 정보 추출부(200)는 키넥트 센서로부터 입력된 사용자의 제스처를 토대로 사용자 관절에 대한 3차원 정보를 추출한다. 즉, 키넥트 카메라로부터 입력된 영상의 3차원 좌표값 중에서 몸통의 중심(spin)부터 좌, 우 손끝까지 데이터를 입력받는다. 이때, 손보다는 손목 부분이 튐 현상이 적고, 제스처의 궤적을 정확하게 표현하기 때문에 손목 관절값을 사용한다. 예를 들어, 오른쪽 손목의 입력 좌표값을 대상으로 특징별로 제스처를 트리 상에 분류한 다음, 체인 코드로 특징을 추출하고 멀티 클래스 SVM(Support Vector Machine)을 사용하여 제스처를 최종 인식하게 된다. 분류 트리를 일차적으로 사용하여 다중 클래스 분류기에서 고려되는 특징 파라미터를 조절함으로써 제스처 인식 성능을 향상시킬 수 있다.

제스처 분류 트리 설계부(300)는 제스처의 기본 패턴에 따라 사전에 제스처 분류 트리를 설계하여, 앞서 추출한 3차원 정보를 제스처 분류 트리에 따라 분류한다. 즉, 대상으로 하는 제스처의 특성을 고려하여 3개의 레벨로 구성된 이진(binary) 트리를 구성하며, 입력되는 3차원 제스처 궤적은 트리에 따라 분류한다. 각 단계별로 제스처의 시작 방향, 제스처의 시작과 끝이 일치하는지 여부, 그리고 각 제스처의 중점을 기준으로 최종 끝점의 높이를 이용하여 트리의 노드 분포를 판단한다.

구체적으로 도 2를 참조하면, 제스처 분류 트리 설계부(300)는 시작 방향 분류부(310), 점 일치 확인부(320) 및 높낮이 계산부(330)를 포함한다. 시작 방향 분류부(310)는 사용자가 취하는 제스처가 사전에 설정된 시작점에서부터 출발하여 왼쪽 또는 오른족으로 이동하는지 아래 수학식 1을 이용하여 판단한다.

여기서,

는 제스처의 시작점을 의미하며, 다음 프레임의

축 위치의 감소 또는 증가에 따라 참(오른쪽) 및 거짓(왼쪽) 노드로 판단한다. 제스처의 시작과 끝은 대기 상태이며, 시작과 끝의 경우 잡음이 심하기 때문에 본 발명에서는 첫 번째 프레임이 아닌 세 번째 프레임을 시작 프레임으로 결정할 수 있다. 또한, 잡음 등을 고려하기 위해 샘플링 구간도 적절하게 조절할 수 있다.

점 일치 확인부(320)는 제스처의 시작점과 끝점의 일치 여부를 확인하는데, 이는 아래 수학식 2를 통해 판단할 수 있다.

여기서,

는 제스처의 끝점을 의미하며, 상기 수학식 2는 제스처의 시작점(

)과 끝점(

)의 거리(

)를 계산한다. 계산된 거리값이 일정 임계값 이하이면, 시작점과 끝점이 일치하는 제스처로 판단한다.

각 제스처의 전체 프레임 개수를

개라고 할 때, 각 제스처의 중점은 아래 수학식 3과 같이 구할 수 있다.

그리고 계산된 중점의

좌표와 최종 끝점(

)의

성분을 비교하여 끝점의 높낮이를 높낮이 계산부(330)에 의해 아래 수학식 4로 판단한다.

구성된 분류 트리에서 중점보다 끝점이 높으면 참으로, 그렇지 않은 경우는 거짓으로 판단하여 제스처를 최종 리프 노드에 분류한다.

사용자가 하나의 제스처를 시작하는 부분과 끝내는 영역은 상대적으로 잡음이 심하며, 트리 분류 및 체인 코드 히스토그램 추출 단계에서 오차율이 높은 편이다. 따라서 각 제스처를 동일한 구간으로 리샘플링 하면서 제스처 궤적 위치를 보간(interpolation)하며, 최종 단계에서 전체 제스처 길이를 1로 정규화할 수 있다.

대상 제스처의 전체 길이를 구한 다음, 아래 수학식 5와 같이 리샘플링 구간의 개수(

)-1 값으로 나누어 리샘플링 세그먼트 길이(

)를 계산한다. 유클리디언 거리 함수(

)를 이용하여 손목의 이전 위치와 현재 위치의 좌표 간 거리(

)를 구한다. 궤적 시퀀스를 따라 진행하면서 거리(

)의 누적값(

)이 세그먼트 길이보다 커지는 경우, 바로 이전의 관절의 위치와 현재의 좌표 값을 구하여 선형 보간함으로써 리샘플링 구간의 위치를 구한다.

도 3에 도시된 바와 같이 제스처의 리샘플링 개수는 16, 32, 64, 128까지 구분하여 실험을 진행하였으며, 실험적으로 64인 경우에 상대적으로 높은 인식률이 얻어졌다. 즉, 리샘플링을 많이 한다고 해서 성능이 높은 것은 아니다. 이는 리샘플링 수치가 높으면 해석 구간이 지나치게 짧아지며, 이에 따라 체인코드가 지나치게 세분화되어 전체적인 제스처 궤적의 분포를 효과적으로 표현하기 어렵기 때문이다. 또한, X, Y, Z 축에서 대상 제스처의 길이를 구한 다음, 가장 길이가 긴 축을 기준으로 다른 축의 길이를 정규화한다.

체인 코드 특징 추출부(400)는 상술한 바와 같이 리샘플링된 제스처 세그먼트로부터 체인코드를 추출하며, 특징을 정확하게 기술하기 위해 전체 제스처 궤적을 도 4에 도시된 바와 같이 일정 간격으로 균등하게 분할한다. 분할된 구간은 리샘플링된 다수의 세그먼트로 구성되며, 각 구간에서 제스처의 체인코드와 히스토그램을 구하여 인식을 위한 특징 벡터로 사용한다.

먼저 대상 제스처의 전체 길이를 수학식 6을 이용해 구하고, 임의 개수의 간격으로 제스처 궤적을 분할한다.

본 발명에서는 최적의 체인코드 특징 벡터를 찾기 위해 구간을 3,6,9,12 구간 등으로 전체 궤적을 분할한 다음, 인식 성능을 확인하여 구간의 결정에 따른 결과를 분석하였다. 도 3을 참조하면, 삼각형 제스처 패턴을 9 구간으로 나눈 예가 도시되어 있다.

제스처 패턴을 기술하기 위한 체인 코드는 8방향의 체인 코드를 사용하였다. 일정하게 나눈 구간별로 제스처 패턴에 대한 체인 코드 분포를 정규화된 히스토그램으로 표현한다. 즉, 각 구간에서 체인 코드 분포에 대한 빈(bin) 수를 구하고 이를 정규화한다. 예를 들어, 9 구간으로 분할된 경우, 총 9개의 체인코드 히스토그램을 생성하여 해당 제스처를 기술한다.

제스처 분류부(500)는 대상 제스처에 대한 체인 코드와 히스토그램 정보를 특징 벡터로 이용하여 멀티 클래스 SVM(Support Vector Machine)을 학습한다. 세 개 이상의 특징 벡터를 분류하도록 고안된 멀티 클래스 SVM은 여러 클래스를 한꺼번에 학습 및 분류하기 때문에 다양한 클래스를 구분하는 적합한 분류 방법이다.

멀티 클래스 SVM(다중 클래스 SVM)은 이진 기반의 분류 방법인 one-against-all, one-against-one, DAGSVM 등이 있으며, 모든 분류를 한꺼번에 고려하는 방법인 Weston's multiclass SVM, Crammer's Multiclass SVM 등으로 구분된다. 본 발명에서는 분류 트리의 최종 리프 노드에 다수의 제스처가 존재하므로 one-against-all 방법을 구현하였다.

one-against-all 방법은 분류해야 하는 제스처 클래스가 M개 일 때 학습 데이터를 대상으로 M번 학습한 다음, 이후 입력 테스터 데이터를 비교하여 가장 높은 판별 함수값을 갖는 클래스 레이블을 할당한다. 이때의 판별함수는 아래 수학식 7과 같으며, 여기서

가

클래스 여부에 따라 판별 함수(

)가 출력값을 리턴한다.

대상 제스처를 분류하기 위해 너무 많은 특징을 이용하거나 구분해야 하는 패턴이 많은 경우, 일반적으로 선형 분류기는 정확한 인식 성능을 기대하기 어렵다. 따라서 본 발명에서는 대상으로 하는 제스처 분포에 따라 설계된 이진 트리로 제스처를 구분한 다음, 다중 클래스 SVM을 적용한다. 즉, 학습 단계에서 서로 다른 제스처이지만, 특징 벡터가 비슷하여 오인식될 경우, 먼저 트리로 이 제스처들을 다른 노드로 구분함으로써 다중 클래스 SVM의 인식 성능을 개선한다.

학습 단계에서 이진 트리를 이용하여 제스처를 분류한 다음, 리프 노드별로 다중 클래스 SVM을 적용한다. 그러나 실제 사용자의 입력 데이터를 분류하면서 학습되지 않은 제스처가 다중 클래스 SVM에 들어가면, 오인식이 발생한다는 단점이 발생한다. 따라서 상술한 단점을 보완하기 위해 다중 클래스의 최종 점수(score)를 확인하였다. 즉, 오인식되는 경우는 정확하게 분류하는 경우보다 일반적으로 점수 값이 상대적으로 낮다는 것을 확인하였다. 그러나 일정한 점수 이하에서는 전체 제스처를 대상으로 한꺼번에 학습시킨 다중 클래스 SVM으로 분류하는 방법과 결과를 다음에서 비교한다.

실험 환경은 Intel Core2 Quad Q8400, 메모리 4 기가, 32 비트 윈도우 7 Ultimate K Service Pack 1, Xbox 360용 키넥트 카메라 환경에서 실험하였다. 기존 알고리즘과 본 발명에 따른 방법 모두 훈련/비교 세트는 750개(15개 제스처에 대해 각 50개씩)이며, 테스트 세트는 450개(15개 제스처에 대해 각각 30개씩)를 사용하였다. 사용된 제스처 세트는 도 5에 도시되어 있고, 시작 지점을 검은 점으로 나타내었다. 각 파라미터 설정에 따라 다양한 비교 실험을 진행하였다.

도 6에 도시된 바와 같이 제스처의 구간을 3,6,9,12개로 나누어 실험을 진행하였으며, 각각 분류 소요 시간이 0.342228ms, 0.336068ms, 0.336453ms, 0.348387ms로 구간의 크기가 수행 속도에 크게 영향을 미치지 않음을 확인하였다. 또한 인식률 역시 구간별로 약간의 차이는 있었지만, 네 가지 경우에 대해 평균 98.33, 97.33, 99.00, 98.67%의 높은 인식 성공률을 확인하였다. 이후 실험에서는 전체 제스처 구간을 9개로 분할하고 인식 실험을 진행한다.

기존 방법에서 정확도를 높이기 위해 활용된 리샘플링별 실험을 다음과 같이 진행한다. 기존 연구에서 리샘플링 수를 16~256으로 설정하여 실험하였고, 32에서 가장 좋은 결과를 얻었다.

본 실험에서는 16,32,64,128개로 리샘플링을 하는 실험을 수행하였다. 연산 시간은 리샘플링 개수가 증가할수록 연산 시간이 오래 걸리지만, 최대 0.1 ms 이하의 미비한 속도 차이가 발생함을 확인하였다. 또한, 도 7에 도시된 바와 같이 리샘플링을 적게 할수록 인식률이 떨어지고, 특정 수치 이상이면 인식률이 오르다가 다시 감소하는 경향을 알 수 있다. 즉, 네 가지 경우에 대해 평균 93.67, 96.67, 99.00, 98.00%의 인식 성공률을 보인다. 총 4번의 실험 중 64로 리샘플링 하는 것이 가장 좋은 인식률을 보이는 것을 확인하였다.

제안된 방법의 성능을 비교하기 위해 기존 알고리즘을 함께 구현하였으며, 기존 알고리즘에 대한 블록도는 도 8에 도시되어 있다. 본 발명은 기존 알고리즘과 마찬가지로 리샘플링과 정규화 부분을 적용하였지만, 트리를 이용한 점과 분류 기준 특징을 추출하는 기존 알고리즘의 접근 방법과는 다르다. 본 발명에 따른 제스처 인식 방법의 블록도를 학습 및 분류 단계로 구분하면, 도 9와 같다.

기존 방법(알고리즘)과 함께 본 발명에 따른 제스처 인식 방법을 세 가지로 구분(Tree/NonTree/Tree+NonTree)하여 얻어진 인식 성공률을 도 11에 도시하였다. 분류 트리 없이 전체 제스처를 다중 클래스 SVM으로 학습하고 인식하는 경우(NonTree), 트리를 이용하여 분류하고 각 노드별로 할당된 제스처를 대상으로 다중 클래스 SVM을 적용한 경우(tree)를 실험하였다. 세 번째 경우(Tree+NonTree), 입력 제스처를 트리로 분류하고 다중 클래스 SVM에서 임의의 점수값 이하(실험에서는 80 이하)인 경우를 판단하여 첫 번째인 다중 클래스 SVM으로 분류하고, 이상인 경우는 트리로 분류된 다중 클래스 SVM을 적용하여 인식 성능을 확인하였다(도 10 참조).

실제 입력 제스처가 이진 트리에 의해 사전에 분류된 학습 데이터와 다른 경우에는 제스처의 인식률이 영향받을 수 있다. 도 11에 도시된 결과로부터 분류 트리와 다중 클래스 SVM을 적용하는 경우가 인식률이 상대적으로 높았다. 그러나 이후 다양한 사용자에 따라 학습되지 않은 제스처가 분류 트리에 입력된다면, 인식 성능이 낮아지는 단점이 있다. 따라서 제스처 특성에 따라 분류 트리를 보다 정확하게 설계해야 한다.

기존 알고리즘과의 비교 실험을 통해 본 발명에 따른 제스처 인식 방법의 인식 성능이 개선되었음을 확인하였다. 도 11에서 기존 알고리즘은 평균 92.67%의 인식률을 나타내는 반면, 본 발명에 따른 제스처 인식 방법은 99%의 인식률을 나타내는 것을 알 수 있다.

다만, 개별적인 제스처 패턴 중에는 서클(circle) 제스처에 대한 기존 방법의 인식률이 상대적으로 높았다. 그 이유는 기존 방법에서 제안한 알고리즘 역시 같은 시작점에서 같은 방향의 제스처로 그려진다는 전제 조건이 필요한데, 잘못 인식된 제스처는 도 12와 같이 12시 방향이 시작점이 아닌 2~3시 사이에 시작점이 존재하여 체인 코드의 히스토그램 분포상에 차이가 발생한다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 유무선 통신망으로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

100 : 다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 장치
200 : 3차원 정보 추출부
300 : 제스처 분류 트리 설계부
310 : 시작 방향 분류부
320 : 점 일치 확인부
330 : 높낮이 계산부
400 : 체인 코드 특징 추출부
500 : 제스처 분류부

Claims

키넥트 센서로부터 입력된 사용자의 제스처를 토대로 상기 사용자 관절에 대한 3차원 정보를 추출하는 3차원 정보 추출부;
제스처의 기본 패턴에 따라 사전에 제스처 분류 트리를 설계하여, 상기 추출한 3차원 정보를 상기 제스처 분류 트리에 따라 분류하는 제스처 분류 트리 설계부;
상기 사용자의 제스처를 리샘플링 및 정규화하여 일정 구간으로 분할하고 각 구간의 체인코드의 특징 벡터를 추출하는 체인 코드 특징 추출부; 및
상기 체인 코드의 특징 벡터와 상기 체인 코드의 히스토그램 정보를 이용하여 다중 클래스 SVM(Supprot Vector machine)으로 학습시킨 후 상기 사용자의 제스처를 분류하는 제스처 분류부;를 포함하는 것을 특징으로 하는 다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 장치.
제 1항에 있어서,
상기 제스처 분류 트리 설계부는,
상기 입력된 사용자의 제스처가 사전에 설정된 시작점(SP:Start Point)을 기준으로 왼쪽 또는 오른쪽으로 이동하는지 판단하는 시작 방향 분류부;
상기 제스처의 시작점과 끝점(EP:End Point)이 일치하는지 여부를 확인하는 점 일치 확인부; 및
상기 제스처의 중점을 계산하여 상기 중점의 y좌표와 상기 끝점의 y 좌표를 비교하여 상기 끝점의 높낮이를 판단하는 높낮이 계산부;를 포함하는 것을 특징으로 하는 다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 장치.
제 2항에 있어서,
상기 점 일치 확인부는 상기 시작점과 상기 끝점 사이의 거리를 계산하여 상기 거리가 사전에 설정한 임계값 이하이면 상기 시작점과 상기 끝점이 일치하는 것으로 판단하는 것을 특징으로 하는 다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 장치.
제 1항에 있어서,
상기 제스처 분류 트리 설계부는 상기 제스처를 동일한 구간으로 리샘플링하여 상기 제스처의 궤적 위치를 보간함으로서 전체 제스처의 길이를 1로 정규화하는 것을 특징으로 하는 다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 장치.
제 1항에 있어서,
상기 체인 코드 특징 추출부는 일정 간격으로 리샘플링된 제스처 세그먼트로부터 체인 코드를 추출하는 것을 특징으로 하는 다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 장치.
제 1항에 있어서,
상기 다중 클래스 SVM은 이진 기반의 분류 방법으로 제스처 클래스가 M개이면 학습 데이터를 대상으로 M번 학습한 다음, 이후 입력 테스터 데이터를 비교하여 가장 높은 판별 함수값을 갖는 클래스 레이블을 할당하는 것을 특징으로 하는 다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 장치.
다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 장치에 의해 수행되는 제스처 인식 방법에 있어서,
(a) 키넥트 센서로부터 입력된 사용자의 제스처를 토대로 상기 사용자 관절에 대한 3차원 정보를 추출하는 3차원 정보 추출 단계;
(b) 상기 사용자의 제스처의 기본 패턴에 따라 사전에 제스처 분류 트리를 설계하여, 상기 추출한 3차원 정보를 상기 제스처 분류 트리에 따라 분류하는 제스처 분류 트리 설계 단계;
(c) 상기 제스처에 대한 체인 코드의 특징 벡터를 추출하는 체인 코드 특징 추출 단계; 및
(d) 상기 제스처에 대한 상기 체인 코드와 히스토그램 정보를 특징 벡터로 이용하여 다중 클래스 SVM(Supprot Vector machine)으로 학습시킨 후 상기 사용자의 제스처를 분류하는 제스처 분류 단계;를 포함하는 것을 특징으로 하는 다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 방법.
제 7항에 있어서,
상기 (b) 단계는,
(b1) 상기 입력된 사용자의 제스처가 사전에 설정된 시작점(SP:Start Point)에서 왼쪽 또는 오른쪽으로 이동하는지 판단하는 시작 방향 분류 단계;
(b2) 상기 제스처의 시작점과 끝점(EP:End Point)이 일치하는지 여부를 확인하는 점 일치 확인 단계; 및
(b3) 상기 제스처의 중점을 계산하여 상기 중점의 y좌표와 상기 끝점의 y 좌표를 비교하여 상기 끝점의 높낮이를 판단하는 높낮이 계산 단계;를 포함하는 것을 특징으로 하는 다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 방법.
제 8항에 있어서,
상기 (b2) 단계는 상기 시작점과 상기 끝점 사이의 거리를 계산하여 상기 거리가 사전에 설정한 임계값 이하이면 상기 시작점과 상기 끝점이 일치하는 것으로 판단하는 것을 특징으로 하는 다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 방법.
제 7항에 있어서,
상기 (b) 단계는 상기 제스처를 동일한 구간으로 리샘플링하여 상기 제스처의 궤적 위치를 보간함으로서 전체 제스처의 길이를 1로 정규화하는 것을 특징으로 하는 다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 방법.
제 7항에 있어서,
상기 (c) 단계는 일정 간격으로 리샘플링된 제스처 세그먼트로부터 체인 코드를 추출하는 것을 특징으로 하는 다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 방법.
제 7항에 있어서,
상기 다중 클래스 SVM은 이진 기반의 분류 방법으로 제스처 클래스가 M개이면 학습 데이터를 대상으로 M번 학습한 다음, 이후 입력 테스터 데이터를 비교하여 가장 높은 판별 함수값을 갖는 클래스 레이블을 할당하는 것을 특징으로 하는 다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 방법.
제 7항 내지 제 12항 중 어느 한 항에 기재된 다중 클래스 SVM과 트리 분류를 이용한 제스처 인식 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.