KR20110139694A

KR20110139694A - 제스쳐 인식 방법 및 시스템

Info

Publication number: KR20110139694A
Application number: KR1020117021864A
Authority: KR
Inventors: 게르숌 쿠틀리로프; 아미트 블레이웨이스; 에란 에일라트
Original assignee: 오멕 인터랙티브, 리미티드.
Priority date: 2009-02-17
Filing date: 2010-02-04
Publication date: 2011-12-29
Also published as: CA2748037C; EP2399243A4; JP2012518236A; EP2399243A2; KR101738569B1; CA2748037A1; US8824802B2; WO2010096279A2; US20100208038A1; CN102317977A; WO2010096279A3

Abstract

이미지 획득 및 데이터 전처리 방법은 움직이는 대상에 대한 이미지를 센서로부터 획득하는 단계를 포함한다. 센서는 심도 카메라일 수 있다. 또한, 본 방법은, 이미지로부터 복수의 관심 특징을 선택하는 단계와, 복수의 관심 특징에 대응하는 복수의 심도값을 샘플링하는 단계와, 복수의 심도값을 이용하여 복수의 관심 특징을 모델에 투영하는 단계와, 제한 시스템을 이용하여 모델로의 복수의 관심 특징의 투영을 제한하는 단계를 포함한다. 제한 시스템은 역운동학 풀이기를 포함할 수 있다.

Description

제스쳐 인식 방법 및 시스템{METHOD AND SYSTEM FOR GESTURE RECOGNITION}

[관련 출원에 대한 교차 참조]

본 출원은 전문이 본 명세서에 참조로서 편입되는 2009년 2월 17일 출원된 "METHOD AND SYSTEM FOR GESTURE RECOGNITION"의 발명의 명칭을 갖는 미국 가출원 No. 61/153,229의 우선권의 효력을 주장한다.

컴퓨터 시스템의 플레이어 또는 사용자의 움직임을 해석하여, 플레이어 또는 사용자가 자연스럽고 직관적인 인터페이스를 통해 컴퓨터 시스템과 통신할 수 있는 많은 기술이 있다. 최근에 홈 엔터테인먼트 및 게임 마켓에 대한 이러한 인터페이스의 애플리케이션에 많은 관심이 있어 왔다. 이들 중에서도, 닌텐도 위(Wii)의 컨트롤러 및 위 피트(Wii fit) 밸런스 보드가 주목할 만하다. 닌텐도 컨트롤러는 가속도계에 의존하며, 또한 삼각 측량에 의해 컨트롤러의 위치를 계산한다. 이 대신에, 많은 인간-기계 인터페이스 기술은 상이한 종류의 카메라에 의존한다. 카메라 기반의 인터페이스 시스템의 초기 예는 일반적인 컬러 카메라를 사용하여 대략적인 움직임을 검출하고, 이를 사용자가 수행한 제스쳐로서 분류하는 소니의 아이토이(Eyetoy) 시스템이다.

컴퓨터 비디오 게임과 연계하여, 제스쳐 인식 시스템을 설계할 때 고려해야 할 여러 중요한 사항이 있으며, 그와 관련된 중요성은 게임 내에서 제스쳐 인식 시스템이 어떻게 사용되는가에 의존한다. 제스쳐 인식 시스템의 한 가지 용도는, 특정 제스쳐가 인식되면, 미리 기록된 에니메이션 시컨스가 시스템이 사용자가 무엇을 하였는지 이해한 것을 사용자에게 보여주도록 플레이될 수 있는 것과 같은 사용자 피드백을 허용하는 것이다. 제스쳐 인식 시스템의 2번째 용도는, 게임플레이 메카니즘으로서, 예를 들어 점수를 더하고, 플레이어가 다른 레벨로 진행하도록 하는 것과 같은 스코어링을 위한 것이다. 따라서, 게임에서 제스쳐 인식 시스템이 사용되는 방법은 시스템의 설계에 다른 제한 사항을 준다. 하나의 예로서, 사용자가 수행한 움직임에 따라 시스템이 사용자에게 피드백을 제공하도록 사용된다면, 제스쳐의 사용자의 수행과, 동일 제스쳐에 대한 시스템의 인식 사이의 지연을 최소화하는 것이 중요하다. 시스템 지연에 대한 민감도는 제스쳐 인식 시스템이 플레이어의 점수를 계산하기 위하여 사용되고 있는 것이라면 별로 중요하지 않다.

미국 특허 No. 7,340,077은 한 개인의 신체 부분의 복수의 개별 영역에 대한 심도를 나타내는 위치 정보를 획득하고, 그 다음 이 정보를 이용하여 제스쳐를 분류하는 제스쳐 인식 시스템을 설명한다. 이 특허에 따르면, 개별 영역을 언제 저장하기 시작할지를 나타내는 명확한 시작 시간 및 사용자가 제스쳐를 완료하였다는 것을 나타내는 명확한 종료 시간이 있다. 시작 및 종료 시간을 명확하게 식별한 후에, 제스쳐 라이브러리(gesture library)에 대한 비교가 수행된다. 결과적으로, 본질적인 지연(lag)이 이 방법에 의해 주어진다. 또한, 데이터 수집은 심도 데이터에 직접 수행된다. 즉, 데이터 지점은 바이너리 마스크에서의 "1"의 값에 대응하는 심도 데이터로부터만 샘플링될 수 있다. 심도 데이터로부터 데이터 지점을 샘플링하는 것으로부터 발생하는 일부 한계가 있다. 먼저, 심도 데이터 그 자체는 일반적으로 노이즈가 많으며, 이것은 샘플링된 값의 품질에 악영향을 미칠 수 있다. 둘째로, 심도 데이터로부터 데이터 지점을 샘플링하는 이 방법은 카메라의 시야에 필연적으로 제한된다.

본 발명은 심도 카메라 앞에서 플레이어에 의해 수행되는 제스쳐 및 운동을 인식하는 것에 관련되며, 또한, 일 실시예에서, 컴퓨터 비디오 게임에서 게임플레이를 구동하기 위한 이러한 제스쳐의 사용에 관련된다. 본 발명의 내용은 아래에 정의된 여러 용어로 시작한다.

제스쳐 인식 시스템 : 제스쳐 인식 시스템은 예를 들어 입력 장치의 앞에서 사용자에 의해 수행되는 미리 정해진 움직임을 인식하고 식별하는 시스템이다. 예는 사용자가 자신의 손을 닫는 것을 인식하도록 카메라로부터의 데이터를 해석하거나, 또는 왼쪽 손으로의 포워드 펀치를 인식하도록 데이터를 해석하는 것을 포함한다.

심도 카메라( Depth Camera ) : 본 발명은 3D 데이터를 생성하는 카메라인 심도 카메라로부터의 데이터를 이용하여 제스쳐 인식을 수행할 수 있다. 여러 가지 상이한 종류의 심도 카메라가 있다. 이러한 카메라 중에 스테레오 카메라뿐만 아니라 전파 시간(time-of-flight) 원리 또는 구조화된 광 기술에 의존하는 카메라가 있다. 이 카메라는 고정된 해상도의 픽셀로 이미지를 생성할 수 있으며, 각 픽셀은 정수값을 가지며, 이 값들은 카메라에 의해 그 이미지 영역으로 투영된 객체의 거리에 대응한다. 이 심도 데이터에 더하여, 심도 카메라는 일반적인 컬러 카메라가 생성하는 방법으로 컬러 데이터도 생성할 수 있으며, 이 데이터는 처리에서 사용하기 위한 심도 데이터와 결합될 수 있다.

바이너리 마스크( Binary Mask ) : 심도 데이터를 이용하여, 원 이미지와 동일한 해상도의 이미지인 바이너리 마스크를 생성하는 것도 자명하지만, 모든 픽셀은 0 또는 1 중 어느 하나에 대응하는 정수값을 갖는다. 일반적으로 모든 픽셀은 임계값을 가지며, 픽셀값이 임계값 아래에 있다면 바이너리 마스크에서 0의 값을 수신하고, 픽셀값이 임계값 위에 있다면 1의 값을 수신한다. 예를 들어, 심도 카메라 앞에 서있는 플레이어의 경우, 플레이어의 몸에 대응하는 픽셀이 1이고 다른 픽셀이 0이 되도록 바이너리 마스크가 생성된다(따라서, 임계값이 계산된다). 그 다음 유효하게, 바이너리 마스크는 카메라에 의해 캡쳐된 바와 같은 사용자의 실루엣이다.

관절체 ( Articulated Figure ) : 관절체는 소정의 고정된 방법으로 서로 연결되고 예를 들어 소정의 방법으로 이동이 제한된 인간의 골격인 관절(joint)의 집합이다.

역운동학 ( Inverse Kinematics ) 풀이기( Solver ) : 역운동학(IK) 풀이기가 본 발명에서 사용될 수 있다. 원하는 구성(예를 들어, 어떤 관절의 위치)의 관절체가 주어지면, 역운동학 풀이기는 관절체에서 선택된 관절의 주어진 위치를 산출하는 주어진 관절과 다른 관절 사이의 각도를 계산한다. 예를 들어, 손목과 어깨의 위치가 주어지면, IK 풀이기는 손목과 어깨의 위치를 산출하는 어깨와 팔꿈치 관절의 각도를 계산하여, 이에 의해 팔꿈치 관절의 위치를 효율적으로 계산한다.

"METHOD AND SYSTEM FOR GESTURE CLASSIFICATION"의 발명의 명칭을 갖는 미국 특허 출원 No. 11/866,280은 게임에서 게임 플레이를 구동하기 위하여 제스쳐 인식을 이용하는 방법 및 시스템을 설명하며, 그 전문이 참조로서 편입된다. 이러한 방법 및 시스템은, 아래에서 설명되는 바와 같이, 본 발명에 의해 활용될 수 있다. 일 실시예에서, 미국 특허 출원 No. 11/866,280에 설명된 방법은 IK 풀이기 모델로부터 생성된 데이터에 적용 가능하다.

오차 범위 내에서, 신체 부분들은 심도 카메라에 의해 생성된 데이터로부터 식별될 수 있다. 신체의 다양한 부분의 위치가 심도 이미지에서 식별된 후, 심도값이 이미지로부터 샘플링되어, 각 신체 부분의 3차원(3D) 위치가 획득될 수 있다. (이 단계는 트래킹 모듈(tracking module)"이라 한다) 그 다음, 제스쳐 인식 시스템은 사용자의 신체에서의 지점에 대응하는 이러한 3D 위치에서 훈련되고 구현될 수 있다.

본 발명에서, 신체 부분에 대응하는 3D 위치는 모델로 매핑될 수 있다. 일 실시예에서, 역운동학(IK) 풀이기가 심도 이미지로부터 획득된 데이터 지점을 인간의 관절이 취할 수 있는 가능한 구성으로 투영하는데 사용된다. IK 풀이기 모델은 본질적으로 제한(constraint)의 역할을 하며, 데이터는 자연스러운 인간의 움직임 모델의 프레임워크 내에 피팅되도록 필터링된다.

트래킹 모듈로부터의 데이터를 필터링하기 위하여 IK 풀이기를 이용하는 것에는 여러 가지 중요한 이점이 있다. 먼저, IK 풀이기 모델은 데이터를 효율적으로 간략하게 하고, 이에 의해 카메라 노이즈의 효과를 최소화한다. 두 번째로, 트래킹 모듈로부터 획득된 데이터 지점은 필연적으로 바이너리 마스크에서 값 "1"의 픽셀에 대응한다(즉, 사용자의 실루엣 상에 있다). IK 풀이기에 의해 획득된 데이터에 관한 이러한 제한은 없다. 특정 예로서, 플레이어는 카메라의 시야의 에지에 가까이 서 있을 수 있다. 이 경우에, 플레이어가 측면 밖에 이른다면, 플레이어의 팔의 끝부분은 카메라의 시야 밖에 있을 것이다. 그럼에도 불구하고, IK 풀이기는 시야를 벗어난 플레이어의 팔을 계산하고 손의 위치에 대하여 답하여야 한다. 분명하게, 트래킹 모듈로부터의 데이터만을 이용하는 것으로는 이를 수행할 수 있는 방법이 없다. IK 풀이기 모델을 이용하는데 있어서의 세 번째 이점은 폐색(occlusion)을 다룬다는 것에 있다. 예를 들어, 종종, 플레이어의 손은 팔꿈치에 대한 카메라의 뷰를 막을 수 있다. 결과적으로, 팔꿈치에 대응하는 데이터는 심도 이미지로부터 샘플링될 수 없다(그 위치를 알 수 없기 때문에). 그러나, 손과 어깨의 위치가 주어진다면, IK 풀이기 모델은 팔꿈치의 근사 위치도 계산할 수 있다.

본 발명의 추가 구성은 제스쳐 분류 방법이다. 미국 특허 출원 No. 11/866, 280에 설명된 방법은 제스쳐가 수행되었는지 여부에 관한 2진 분류기이다. 즉, 이 방법은 제스쳐가 수행되었는지 아닌지에 관한 2진의 "예" 또는 "아니오"의 표시를 생성한다. 미국 특허 출원 No. 11/866,280에서 설명된 방법의 특징은 제스쳐 라이브러리에서의 임의의 제스쳐가 수행되었는지를 결정하기 전에 제스쳐가 완료할 때까지 대기하여야만 한다. 제스쳐를 분류하기 위한 다른 방법이 본 발명에 포함된다. 제스쳐가 수행되었는지 여부를 2진("예" 또는 "아니오")으로 결정하기보다는, 본 발명에서 설명된 방법은 프레임별로 수행되는 제스쳐를 트래킹하고, 매 프레임 후에 수행되고 있는 제스쳐가 제스쳐 라이브러리에서의 주어진 제스쳐에 얼마나 가까운지를 나타낸다.

제스쳐 인식 시스템 및 방법의 예가 도면에 도시된다. 예 및 도면은 한정적인 것이 아니라 예시적인 것이다.
도 1은 제스쳐 인식 시스템의 일 실시예에 대한 전체 구조의 블록도(100A)를 도시한다.
도 2는, 본 개시 내용의 일 실시예에 따라, 카메라로부터 데이터를 획득하고, 특징 위치를 획득하도록 데이터를 처리하는 예시적인 과정(200A)을 도시하는 플로우차트이다.
도 3a는, 본 개시 내용의 일 실시예에 따라, 제스쳐 라이브러리를 구축하는 예시적인 과정(300A)을 도시하는 플로우차트이다.
도 3b는, 본 개시 내용의 일 실시예에 따라, 모션 캡쳐 장치를 이용하여 제스쳐 라이브러리를 생성하는 예시적인 과정(300B)을 도시하는 플로우차트이다.
도 3c는, 본 개시 내용의 일 실시예에 따라, 컬러 및 심도 이미지를 이용하여 제스쳐 라이브러리를 생성하는 예시적인 과정(300C)을 도시하는 플로우차트이다.
도 4a는, 본 개시 내용의 일 실시예에 따라, 검색되고 있는 제스쳐가 수행되었는지 아닌지를 판단하기 위하여 2진 제스쳐 인식 기술을 이용하는 예시적인 과정(400A)을 도시하는 플로우차트이다.
도 4b는, 본 개시 내용의 일 실시예에 따라, 이미지 시컨스로 캡쳐된 움직임으로부터 제스쳐를 식별하는 방법을 나타내는 예시적인 과정(400B)을 도시하는 플로우차트이다.
도 5는, 본 개시 내용에 따라, 플레이어가 소정의 시간 구간(즉, 프레임 시컨스)동안 특정 제스쳐를 수행하고 있는지 여부를 검증하고, 플레이어가 프롬프트된 제스쳐를 얼마나 정확하게 수행하고 있는지를 판단하는 예시적인 과정(500A)을 도시하는 플로우차트이다.
도 6은, 본 개시 내용에 따라, 쌍방향 프로그램에 포함된 제스쳐 분류 시스템의 일 실시예에 대한 블록도(600)이다.
도 7은, 본 개시 내용에 따라, 네트워크를 통해 다중 플레이어에 의해 액세스된 쌍방향 프로그램에 포함된 제스쳐 분류 시스템의 일 실시예에 대한 블록도(700)이다.

도 1은 제스쳐 인식 시스템의 일 실시예에 대한 전체 구조의 블록도(100A)를 도시한다. 이미지 획득 및 데이터 전처리 모듈(200)은 카메라로부터 데이터를 획득하고 이를 처리하여 처리된 데이터를 3개의 다른 모듈인 제스쳐 훈련 모듈(300), 2진 제스쳐 인식 모듈(400) 및 실시간 제스쳐 인식 모듈(500) 공급한다. 일 실시예에서, 제스쳐 훈련 모듈(300)은 그 모듈로 공급된 데이터로부터 특정 제스쳐를 특성화하기 위한 가장 효율적인 방법을 계산함으로써 제스쳐 인식 알고리즘을 훈련한다. 일 실시예에서, 제스쳐 훈련 모듈(300)은 오프라인 작업으로서 실행된다. 제스쳐 훈련 모듈(300)에 의해 생성된 데이터로부터의 제스쳐의 특성화는 2진 제스쳐 인식 모듈(400) 및 실시간 제스쳐 인식 모듈(500)로 전송된다. 또한, 이미지 획득 및 데이터 전처리 모듈(200)로부터의 데이터도 2진 제스쳐 인식 모듈(400) 및 실시간 제스쳐 인식 모듈(500)로 전송된다.

도 2는, 본 개시 내용의 일 실시예에 따라, 카메라로부터 데이터를 획득하고, 특징 위치를 획득하도록 데이터를 처리하는 예시적인 과정(200A)을 도시하는 플로우차트이다. 시스템의 이미지 획득 및 데이터 전처리 모듈(200)이 과정(200A)을 수행한다. 일 실시예에서, 특징 위치는 관절 위치이다. 획득된 특징 위치는 모듈(300, 400, 500)에 전송된다.

블록 210에서, 모듈(200)은 카메라로부터 2차원 이미지 데이터를 획득한다. 이 데이터는 심도 데이터 단독이거나, 또는 심도 데이터와 컬러 데이터이다.

블록 220에서, 모듈(200)은 카메라로부터의 데이터를 처리한다. 이것은 단지 심도 데이터만일 수 있거나, 또는 컬러 이미지와 관련된 심도 이미지일 수 있다. 이미지 처리 알고리즘이 트래킹되는 객체의 다양한 특징에 대응하는 카메라로부터 획득된 2차원(2D) 이미지에서의 지점을 가능한 한 정확하게 식별하는데 사용된다. 플레이어의 신체가 트래킹되고 있다면, 이러한 특징은 플레이어의 머리, 오른쪽 및 왼쪽 어깨 관절, 오른쪽 및 왼쪽 팔꿈치 관절, 오른쪽 및 왼쪽 손, 몸통, 골반, 오른쪽 및 왼쪽 무릎 관절을 포함한다. 관심 특징의 위치가 2D 이미지에서 식별된 후, 심도값이 심도 이미지로부터 샘플링되어, 각 특징의 3차원(3D) 위치를 획득할 수 있다. 일 실시예에서, 이는 각 관심 관절의 3D 위치(심도 이미지로부터의 심도를 포함하는)를 획득하는 것에 대응한다.

블록 230에서, 블록 220에서 획득된 관절의 3D 위치가 트래킹되고 있는 객체의 모델에 투영된다. 데이터가 매핑될 수 있는 모델에는 여러 종류가 있다. 일 실시예에서, 모델은 기하학적 형상일 수 있다. 예를 들어, 모델은 손바닥과 다섯 개의 손가락을 가지는 인간의 손의 간단한 기하학적 표현일 수 있다. 일 실시예에서, 모델은, 역운동학(Inverse Kinematics)(IK) 풀이기 또는 다른 제한 시스템의 사용을 통해 자연스러운 인간의 움직임과 일치하는 구성만을 명시하도록 제한되는 인간의 골격의 표현이다. 일 실시예에서, IK 풀이기는 인간의 골격의 가능한 관절 구성을 모델링하고 움직임에 대한 각 관절의 자유를 제한하는 역할을 효율적으로 하는 방정식 시스템을 풀이한다.

블록 220에서 획득된 관절 위치를 블록 230에서 모델에 제한하는 것은 여러 중요한 기능을 수행한다. 첫 번째로, 이는 카메라로부터의 노이즈를 필터링하고, 결과를 효율적으로 간략화한다. 두 번째로, 플레이어의 수족의 일부가 카메라의 시야 밖일 수 있다. 이 경우에, 블록 230의 모델은 카메라의 시야에 있지 않은 관절의 근사 위치를 계산할 수 있다. 세 번째로, 이는 카메라 데이터로부터 획득될 수 없는 관절의 위치를 완성시킨다. IK 풀이기는 다른 "인접한" 관절의 위치가 주어지면 일부 관절의 위치를 계산할 수 있다. 예를 들어, 플레이어의 손이 카메라를 바로 향하여 밖으로 뻗어진다면, 그의 팔꿈치 및 아마도 어깨는 시야에서 가려질 것이다. 이 경우에, 블록 220에서 이러한 관절의 3D 위치를 획득하는 것은 가능하지 않다. 그러나, 블록 230에서, 이러한 관절의 3D 위치는 다른 관절의 위치가 주어진다면 일부 관절의 위치를 계산할 수 있는 인간의 골격 모델로부터 획득된다.

일부 실시예는 선택 블록 240을 포함하며, 특징(또는 관절)의 위치 데이터는 표준 골격 또는 표준 모델로 스케일링된다. 이것은 일반적으로 "에니메이션 리타겟팅(animation retargeting)"이라 불린다. 훈련 데이터가 시험 데이터가 수집되는 사람과는 다른 신체 비율을 갖는 사용자로부터 수집되더라도 훈련 데이터 및 시험 데이터가 동일한 좌표 시스템을 참조하여야만 하기 때문에, 이 블록은, 필요하지는 않지만, 유용하다. 훈련된 제스쳐를 훈련 데이터에 포함되지 않은 사용자의 신체에 더 양호하게 적용하기 위하여, 트래킹 데이터는 적절하게 스케일링될 수 있다.

블록 250에서, 데이터는 에니메이션 리타겟팅용으로 사용된 표준 모델로부터 수집된다. 일 실시예에서, 이는 골격 모델로부터 관절의 3D 위치를 획득하는 것에 대응한다. 블록 260에서, 모델로부터 검색된 데이터는 제스쳐 분류 알고리즘을 훈련하기 위한 제스쳐 훈련 모듈(300) 및 제스쳐 인식 모듈들(400, 500)에 전송된다.

도 3a는 제스쳐 라이브러리(gesture library)를 구축하는 예시적인 과정(300A)을 나타내는 플로우차트를 도시한다. 시스템의 제스쳐 훈련 모듈(300)이 과정(300A)을 수행한다. 블록 310에서, 모듈(300)은 이미지 획득 및 데이터 전처리 모듈(200)로부터 생성된 특징 데이터를 수신한다. 그 다음, 블록 320에서, 모듈(300)은 특징 데이터로부터 제스쳐를 특성화한다. 그리고 블록 330에서, 모듈(300)은, 본 개시 내용의 일 실시예에 따라, 제스쳐를 특정의 사전에 정해진 제스쳐와 관련시킨다. 과정(300A)의 출력으로서, 블록 330에서, 각 제스쳐가 이미지 획득 및 데이터 전처리 모듈(200)에 의해 생성된 데이터에 의한 특정의 특성을 갖는 제스쳐 라이브러리가 구축된다.

도 3a의 블록 320 및 330은 아래에서 더욱 상세히 설명되고 미국 특허 출원 No. 11/866,280의 도 1에 있는 도 3b의 블록들을 포함할 수 있다. 이 대신에, 도 3a의 블록 310은 아래에서 더욱 상세히 설명되고 미국 특허 출원 No. 11/866,280의 도 2에 있는 도 3c의 블록들을 포함할 수 있다.

사용자의 움직임을 특정 제스쳐로서 분류하기 위하여, 사용자의 움직임은 제스쳐 라이브러리에 수록되고 저장된 알려진 제스쳐 세트에 비교된다. 라이브러리에서의 각 제스쳐에 대하여, 베이스라인 또는 "그라운드 트루쓰(ground truth)" 데이터가 각 제스쳐에 대한 전처리 단계에서 먼저 생성된다. 그 다음, "그라운드 트루쓰" 데이터는 움직임을 특정 제스쳐로 분류하기 위하여 사용자의 움직임이 비교되는 베이스라인으로서 사용된다. 시컨스에서의 여러 이미지에 대하여 관심 특징 지점의 상대 위치를 특성화하는 데이터가 비교용으로 사용된다. 도 3b는 "그라운드 트루쓰" 데이터가 제스쳐 라이브러리에 대하여 획득될 수 있게 하는 한 방법(300B)을 도시한다.

단계 110A에서, 관심 제스쳐를 여러 번 수행하는 적어도 하나의 대상이 기록된다. 센서는 대상의 신체에서 관심 특정 지점의 각각에 배치되고, 모션 캡쳐 장치가 이미지 시컨스에서 대상의 움직임을 기록하는데 사용된다. 관심 특징 지점은 예를 들어 대상의 왼손, 왼쪽 팔꿈치, 왼쪽 어깨 또는 머리에 대응하는 관절 및 위치를 포함할 수 있다. 대상의 신체에서 다른 많은 위치가 관심 특징 지점이 될 수 있다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명할 것이다. 단계 110A의 출력은 각 지점이 이미지 시컨스에서의 각 이미지에서의 한 특징 지점에 대응하는 3차원 지점 세트이다.

단계 120A에서, 모션 캡쳐 세션으로부터의 데이터는 모션 캡쳐 데이터를 처리하기 위한 표준 기술을 이용하여 데이터를 수동으로 정돈하고 간략화함으로써 후처리된다. 다른 후처리 단계도 수행될 수 있다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명할 것이다. 그 다음, 단계 125A에서 데이터는 바이어스를 최소화하기 위하여 제스쳐가 수행되는 여러 번에 대하여 평균화된다. 바람직한 실시예에서, 제스쳐를 수행하는 많은 상이한 대상이 기록되고, 한 사람에 대하여 그라운드 트루쓰 데이터를 과도하게 피팅하는 것을 방지하기 위하여, 상이한 대상의 제스쳐는 평균화된다.

유사성 측정(similarity measure)은 2개의 제스쳐 세트의 유사성을 서로 정량적으로 비교하는 기능이다. 유사성 측정값이 더 높을수록, 사람의 움직임이 움직임이 비교되고 있는 알려진 제스쳐에 더 유사하다. 단계 130A에서, 제스쳐를 사람의 움직임에 비교하는 유사성 측정값이 특정 제스쳐에 대한 임계값보다 더 크다면, 그 사람의 움직임이 그 제스쳐로서 식별되도록, 제스쳐에 대한 임계값이 계산된다.

단계 140A는 다른 제스쳐가 제스쳐 라이브러리에 추가될 것인지 질의된다. 그렇다면, 새로운 제스쳐를 수행하는 적어도 하나의 대상을 기록하는 단계 110A에서 시작하는 상기 단계들이 반복된다. 더 이상의 제스쳐가 라이브러리에 추가되지 않는다면, 제스쳐 라이브러리는 완료된다.

도 3c는 제스쳐에 대한 "그라운드 트루쓰" 데이터 및 이에 대응하는 제스쳐 임계값이 제스쳐 라이브러리에 대하여 획득될 수 있게 하는 다른 방법(300C)을 도시한다. 단계 210A에서, 컬러 및 심도 이미지를 기록할 수 있는 비디오 카메라가 관심 제스쳐를 여러 번 수행하는 적어도 하나의 대상을 기록하는데 사용된다. 단계 220A에서, 관심 특징 지점의 위치는 컬러 및 심도 이미지 시컨스에 수동으로 마킹된다. 다른 실시예에서, 관심 지점을 마킹하는 것은 자동화되거나 또는 반자동화될 수 있다. 예를 들어, 자동 트래킹이 관심 지점을 결정하기 위하여 비디오 카메라로부터의 심도 이미지에 실행될 수 있으며, 일부 실시예에서, 자동으로 식별된 관심 지점이 수동으로 보정될 수 있다. 단계 230A에서, 각 관심 특징 지점의 3차원 좌표가 제스쳐를 캡쳐하는 이미지 시컨스에서 각 컬러-심도 쌍의 이미지에 대하여 계산된다. 단계 240A에서 데이터의 후처리가 이루어진다. 수행될 수 있는 후처리 단계들은 시간적으로 그리고 공간적으로 데이터를 간략화하는 것을 포함한다. 다른 후처리 단계들도 수행될 수 있다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명할 것이다.

그 다음, 데이터는 바이어스를 최소화하기 위하여 제스쳐가 수행되는 여러 번에 대하여 단계 250A에서 평균화된다. 바람직한 실시예에서, 제스쳐를 수행하는 많은 상이한 대상이 기록되고, 한 사람에 대하여 그라운드 트루쓰 데이터를 과도하게 피팅하는 것을 방지하기 위하여, 상이한 대상의 제스쳐는 평균화된다.

단계 260A에서, 제스쳐를 사람의 움직임에 비교하는 유사성 측정값이 특정 제스쳐에 대한 임계값보다 더 크다면, 그 사람의 움직임이 그 제스쳐로서 식별되도록, 제스쳐에 대한 임계값이 계산된다.

단계 270A는 다른 제스쳐가 제스쳐 라이브러리에 추가될 것인지 질의된다. 그렇다면, 새로운 제스쳐를 수행하는 적어도 하나의 대상을 기록하는 단계 210A에서 시작하는 상기 단계들이 반복된다. 더 이상의 제스쳐가 라이브러리에 추가되지 않는다면, 제스쳐 라이브러리는 완료된다.

감독되지 않은 기계 학습 기술뿐만 아니라 감독된 기계 학습 기술을 포함하는, 데이터를 자동으로 분류하는데 사용되는 임의의 기술이 사용될 수 있다. 데이터 분류 기술은, SVM(support vector machine), HMM(Hidden Markov Model), 및 k-mean 클러스터링을 포함하지만 이에 한정되지 않는다. 예를 들어, SVM은 데이터 지점의 2가지 등급("원하는 제스쳐" 및 "원하지 않는 제스쳐") 사이에서의 "최적 분리(optimal separation)"를 찾는데 사용될 수 있으며, 유도된 결정 함수는 후보 제스쳐가 어느 등급에 속하는지를 판단하기 위하여 후보 제스쳐에 적용될 수 있다.

도 4a는, 본 개시 내용의 일 실시예에 따라, 검색되고 있는 제스쳐가 수행되었는지 아닌지를 판단하기 위하여 2진 제스쳐 인식 기술을 이용하는 예시적인 과정(400A)을 도시하는 플로우차트이다. 일 실시예에서, 2친 제스쳐 인식 기술은 제스쳐 라이브러리로부터의 제스쳐가 수행되었는지를 계산하기 전에 완전한 시간 종속 시컨스가 이미지 획득 및 데이터 전처리 모듈(200)로부터 수신될 때까지 대기함으로써 게임에서 지연을 줄 수 있다.

블록 410에서, 2진 제스쳐 인식 모듈(400)은 이미지 획득 및 데이터 전처리 모듈(200)로부터 특징을 설명하는 특징 데이터를 수신한다. 그 다음 블록 420에서, 제스쳐 라이브러리에서의 제스처에 대응하는 플레이어의 제스쳐가 모듈(400)에 의해 검출된다. 블록 420으로부터의 출력은 검출된 제스쳐이다. 일 실시예에서, 블록 420은 도 4b에서와 같이 미국 특허 출원 No. 11/866,280의 도 3의 블록들을 포함할 수 있다.

블록 430에서, 시스템의 게임 엔진 모듈은 블록 420에서 검출된 제스쳐에 기초하여 플레이어에 대한 피드백을 생성한다. 게임 엔진 모듈은 본질적으로 플레이어와 상호작용하는 게임 애플리케이션을 제어한다. 블록 440에서, 시스템은 플레이어용 디스플레이에 예를 들어 플레이어의 수행에 따른 플레이어의 점수를 조정하는 것과 같은, 생성된 피드백을 디스플레이한다.

도 5는, 본 개시 내용에 따라, 플레이어가 소정의 시간 구간(즉, 프레임 시컨스)동안 특정 제스쳐를 수행하고 있는지 여부를 검증하고, 플레이어가 프롬프트된 제스쳐를 얼마나 정확하게 수행하고 있는지를 판단하는 예시적인 과정(500A)을 도시하는 플로우차트이다.

블록 510에서, 실시간 제스쳐 인식 모듈(500)은 이미지 획득 및 데이터 전처리 모듈(200)로부터 특징 데이터를 수신한다. 실시간 제스쳐 인식 모듈은, 예를 들어 매 프레임 후에, 실시간으로 제스쳐를 수행하는 플레이어의 추이(progress)를 업데이트한다. 블록 520에서, 시스템의 게임 엔진 모듈은 관심 제스쳐를 선택하고, 사용자에게 제스쳐를 수행하도록 프롬프트한다(prompt).

블록 530에서, 누적 트래킹 점수(cumulative tracking score)(CTS)는 0으로 설정된다. 일 실시예에서, CTS는 매 프레임에서 업데이트된다. 그러나, CTS는 다른 간격으로, 예를 들어 2개 프레임마다 업데이트될 수 있다. 다음으로, 블록 510에서 수신된 특징 데이터는 블록 520에서 선택된 관심 제스쳐에 비교되고, 플레이어의 움직임이 관심 제스쳐에 얼마나 가까이 매칭하는지에 대응하는 수치가 계산된다. 블록 510으로부터의 데이터를 블록 520으로부터의 관심 제스쳐 데이터와 비교하는 한 방법은 유사성 측정이다.

하나의 예시적인 유사성 측정은 다음과 같다: 예를 들어, x(i, j)가 관심 제스쳐에 따른 시간 j에서의 관절 i의 미리 정해진 위치이고, y(i, j)가 시간 j에서의 관절 i에 대하여 블록 510으로부터 획득된 값, 즉, 관심 제스쳐에 대한 시간 j에서의 관절 i의 위치라고 하자. w(i)가 관절당 가중치이고, u(j)가 시간당 가중치라 하면, 예시적인 유사성 측정은 다음과 같다:

일 실시예에서, 가중치 u(j) 및 w(i)는 애드혹(ad hoc) 기반으로 할당될 수 있다. 블록 540에서, 유사성 측정(상기 예에서, S_u _,w(x,y))은 프레임마다 계산되고, 블록 545에서, 누적 트래킹 점수는 S_u _,w(x,y)의 값만큼 증분된다.

블록 550에서, 시스템은 누적 트래킹 점수가 주어진 임계값 내에 있는지 여부를 판단한다. CTS가 주어진 임계값 내에 있다면(블록 550 - 예), 이는 플레이어의 움직임이 관심 제스쳐에 의해 특성화된 것에 충분히 가까운 것을 나타내고, 과정은 플레이어가 관심 제스처를 수행하고 있다는 정보가 게임 엔진 모듈에 전송되는 블록 555로 진행한다. 블록 570에서, 게임 엔진 모듈은 공급된 정보에 기초하여 디스플레이를 통해 플레이어에게 피드백을 제공한다.

그 다음, 판단 블록 575에서, 시스템은 블록 510에서 모듈(200)로부터 수신된 특징 데이터에서 분석할 다른 프레임이 있는지 판단한다. 다른 프레임이 있다면(블록 575 - 예), 과정은 다음 프레임에 대한 유사성 측정을 계산하기 위하여 블록 540으로 복귀한다. 분석할 다른 프레임이 없다면(블록 575 - 아니오), 과정은 블록 510으로 복귀하여, 모듈(200)로부터 특정 데이터를 더 수신한다.

CTS가 주어진 임계값 내에 있지 않다면(블록 550 - 아니오), 블록 560에서, CTS는 0으로 설정된다. 그 다음, 블록 565에서, 플레이어가 관심 제스쳐를 수행하고 있지 않다는 정보가 게임 엔진 모듈에 전송되고, 과정은 전술한 바와 같이 블록 570으로 진행한다.

도 6은 쌍방향 프로그램에 포함된 제스쳐 분류 시스템의 일 실시예에 대한 블록도(600)이다. 비디오 카메라 장치(610)는 사용자의 움직임을 캡쳐한다. 비디오 카메라 장치(60)는 사용자의 컬러 및 심도 이미지를 동시에 찍으며, 이미지는 처리를 위하여 프로세서(620)로 전송된다.

프로세서(620)는 컬러 및 심도 이미지에서 관심 특징 지점의 위치를 찾고, 함께 획득된 컬러 및 심도 이미지에서 각 특징 지점에 대한 3차원 좌표를 계산하고, 처리를 위하여 메모리(630)에 좌표를 저장하고, 최소 개수의 이미지가 획득되었다는 것을 확실하게 하고, 움직임을 데이터베이스(640)에서의 각 제스쳐에 비교함으로써 유사성 측정을 계산하고, 움직임이 비교된 데이터베이스 제스쳐에 대한 임계값보다 더 큰 유사성 측정값을 갖는 제스쳐를 식별하고, 획득된 가장 높은 유사성 측정을 식별하고, 비디오 카메라 장치(610)가 추가 이미지를 획득하도록 프롬프트하고, 메모리(630)를 제어하여 처리된 이미지를 삭제하고, 식별된 제스쳐를 디스플레이(650)에 출력하여 사용자에게 피드백을 제공한다. 또한, 프로세서(620)는 사용자가 디스플레이(650)를 통해 가상적으로 경험하는 쌍방향 프로그램을 실행한다.

디스플레이(650)는 프로세서(620)에 의해 식별된 제스쳐를 수행하는 사용자의 이미지를 제공한다. 사용자의 이미지는 디스플레이(650)에 의해 역시 제공되는 쌍방향 프로그램의 가상 환경에 포함된다.

도 7은 네트워크를 통해 다중 플레이어에 의해 액세스된 쌍방향 프로그램에 포함된 제스쳐 분류 시스템의 일 실시예에 대한 블록도(700)이다.

다중 플레이어는 상이한 위치에서 동일한 쌍방향 프로그램을 액세스할 수 있다. 도 7은 사용자가 동일한 가상 환경을 액세스하는 3개의 분리된 지점(740, 750, 760)을 도시하지만, 임의의 수의 지점으로부터의 임의의 수의 사용자가 쌍방향 프로그램에 참여할 수 있다. 각 지점(740, 750, 760)은 그 지점에서의 사용자의 컬러 및 심도 이미지를 동시에 찍는 비디오 카메라 장치(742, 752, 762)를 포함하며, 이미지는 처리를 위하여 프로세서(720)에 전송된다. 한 명 이상의 사용자가 동일한 지점에 있다면, 그 지점에서 각 사용자 전용의 비디오 카메라 장치가 사용가능하여야 한다. 동일한 지점에서의 모든 사용자는 디스플레이를 공유하거나 또는 자신의 개별 디스플레이(744, 754, 764)를 가질 수 있다. 그러나, 모든 디스플레이는 동일한 가상 환경에 참여하는 다른 지점에서의 모든 사용자의 이미지를 나타낼 수 있다.

상이한 지점(740, 750, 760)에서 비디오 카메라 장치(742, 752, 762)에 의해 획득된 이미지는 네트워크(770)를 통해 프로세서(720)로 전송된다. 프로세서(720), 메모리(730) 및 제스쳐 데이터베이스(710)는 도 6에서 전술한 것과 동일한 방법으로 기능한다. 그러나, 다중 사용자가 동일한 쌍방향 프로그램에 참여하기 때문에, 프로세서(720)는 각 사용자에 대하여 캡쳐된 이미지를 처리하여야만 한다. 대신에, 프로세서(720)는 각 사용자 전용의 서브 프로세서를 가질 수 있으며, 각 서브 프레세스는 메모리(730) 내에서 독립된 메모리를 액세스할 수 있다. 상이한 하드웨어 구조가 응답 시간을 최적화하기 위하여 프로세서(720) 및 메모리(730)의 기능을 포함할 수 있다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확할 것이다.

또한, 프로세스(720)는 사용자가 디스플레이(744, 754, 764)를 통해 가상적으로 경험하는 쌍방향 프로그램을 실행한다. 모든 사용자의 이미지는 각 디스플레이(744, 754, 764)에 의해 제공되는 쌍방향 프로그램의 가상 환경으로 포함된다. 신호는 프로세서(720)에 의해 네트워크(770)를 따라 디스플레이(744, 754, 764)로 전송된다.

Claims

관심 제스쳐를 수행하도록 대상을 프롬프트하는(prompt) 단계;
움직이는 상기 대상에 대한 복수의 이미지를 센서로부터 획득하는 단계;
상기 복수의 이미지의 각각이 획득될 때 상기 복수의 이미지의 각각을 상기 관심 제스쳐에 비교하는 단계;
상기 비교하는 단계에 기초하여 트래킹 점수(tracking score)를 결정하는 단계; 및
상기 트래킹 점수가 주어진 임계값 내에 있는 경우 상기 대상이 상기 관심 제스쳐를 수행하고 있다고 판단하는 단계
를 포함하는,
관심 제스쳐 인식 방법.
제1항에 있어서,
상기 비교하는 단계 동안 역운동학 풀이기(inverse kinematics solver)를 이용하여 상기 복수의 이미지의 각각을 모델로 제한하는 단계
를 더 포함하는,
관심 제스쳐 인식 방법.
제1항에 있어서,
제스쳐 라이브러리(gesture library)로부터 상기 관심 제스쳐를 선택하는 단계
를 더 포함하는,
관심 제스쳐 인식 방법.
제1항에 있어서,
상기 비교하는 단계는, 유사성 측정을 계산하는 단계를 포함하는,
관심 제스쳐 인식 방법.
제1항에 있어서,
상기 센서는 심도 카메라를 포함하는,
관심 제스쳐 인식 방법.
움직이는 대상에 대한 이미지를 센서로부터 획득하는 단계;
상기 이미지로부터 복수의 관심 특징을 선택하는 단계;
상기 복수의 관심 특징에 대응하는 복수의 심도값을 샘플링하는 단계;
상기 복수의 심도값을 이용하여 상기 복수의 관심 특징을 모델로 투영하는 단계; 및
제한 시스템을 이용하여 상기 모델로의 상기 복수의 관심 특징의 투영을 제한하는 단계
를 포함하는,
이미지 획득 및 데이터 전처리 방법.
제6항에 있어서,
상기 제한 시스템은 역운동학 풀이기인,
이미지 획득 및 데이터 전처리 방법.
제6항에 있어서,
상기 센서는 심도 카메라를 포함하는,
이미지 획득 및 데이터 전처리 방법.
제6항에 있어서,
상기 모델을 표준 모델로 스케일링하기 위하여 에니메이션 리타겟팅(animation retargeting)을 수행하는 단계
를 더 포함하는,
이미지 획득 및 데이터 전처리 방법.
다중 프레임의 이미지 심도 데이터를 획득하는 카메라;
다중 프레임의 상기 이미지 심도 데이터를 상기 카메라로부터 수신하고, 상기 이미지 심도 데이터를 처리하여 대상의 특징 위치를 판단하도록 구성된 이미지 획득 모듈;
상기 대상의 상기 특징 위치를 상기 이미지 획득 모듈로부터 수신하고, 상기 특징 위치를 미리 정해진 제스쳐에 관련시키도록 구성된 제스쳐 훈련 모듈;
상기 대상의 상기 특징 위치를 상기 이미지 획득 모듈로부터 수신하고, 상기 특징 위치가 특정 제스쳐와 매칭하는지를 판단하도록 구성된 2진 제스쳐 인식 모듈; 및
상기 대상의 상기 특징 위치를 상기 이미지 획득 모듈로부터 수신하고, 상기 특정 제스쳐가 하나 이상의 프레임의 상기 이미지 심도에 대하여 수행되고 있는지 판단하도록 구성된 실시간 제스쳐 인식 모듈
을 포함하는,
제스쳐 인식 시스템.
제10항에 있어서,
상기 특정 제스쳐를 선택하고 상기 대상에게 상기 특정 제스쳐를 수행하게 프롬프트하도록 구성된 게임 엔진 모듈
을 더 포함하는,
제스쳐 인식 시스템.
제10항에 있어서,
상기 미리 정해진 제스쳐를 포함하는 제스쳐 라이브러리
를 더 포함하는,
제스쳐 인식 시스템.
제10항에 있어서,
상기 대상에게 상기 대상에 의해 수행된 제스쳐에 관하여 피드백을 제공하는 디스플레이
를 더 포함하는,
제스쳐 인식 시스템.
제10항에 있어서,
상기 카메라는 컬러 이미지 데이터를 더 포함하는,
제스쳐 인식 시스템.
제10항에 있어서,
상기 실시간 제스쳐 인식 모듈은 유사성 측정과 누적 트래킹 점수를 계산하도록 더 구성되고,
상기 유사성 측정 및 상기 누적 트래킹 점수는 각 프레임마다 업데이트되고,
상기 특정 제스쳐가 수행되고 있는지 여부를 판단하는 것은 각 프레임에 대하여 상기 누적 트래킹 점수를 상기 특정 제스쳐에 대한 임계값에 비교한 것에 기초하는,
제스쳐 인식 시스템.
제10항에 있어서,
상기 이미지 획득 모듈은 상기 이미지 심도 데이터를 모델로 매핑하는,
제스쳐 인식 시스템.
제16항에 있어서,
상기 이미지 획득 모듈은, 상기 다중 프레임 중 적어도 하나에서 보이지 않는 특징 위치에 대한 상기 모델의 움직임을 제한하기 위하여 역운동학 풀이기를 사용하는,
제스쳐 인식 시스템.
제10항에 있어서,
상기 이미지 획득 모듈은 상기 특징 위치를 표준 모델로 스케일링하는,
제스쳐 인식 시스템.
제10항에 있어서,
상기 제스쳐 훈련 모듈은 상기 특징 위치가 특정 제스쳐와 매칭하는지 여부를 판단하기 위하여 기계 학습 기술을 이용하는,
제스쳐 인식 시스템.
다중 프레임의 이미지 심도 데이터를 획득하는 수단;
다중 프레임의 상기 이미지 심도 데이터를 상기 카메라로부터 수신하고, 상기 이미지 심도 데이터를 처리하여 대상의 특징 위치를 판단하는 수단;
상기 대상의 상기 특징 위치를 상기 이미지 획득 모듈로부터 수신하고, 상기 특징 위치를 미리 정해진 제스쳐에 관련시키는 수단;
상기 대상의 상기 특징 위치를 상기 이미지 획득 모듈로부터 수신하고, 상기 특징 위치가 특정 제스쳐와 매칭하는지를 판단하는 수단;
상기 대상의 상기 특징 위치를 상기 이미지 획득 모듈로부터 수신하고, 상기 특정 제스쳐가 하나 이상의 프레임의 상기 이미지 심도에 대하여 수행되고 있는지 판단하는 수단; 및
상기 대상에게 상기 대상에 의해 수행된 제스쳐에 관하여 피드백을 제공하는 수단
을 포함하는,
제스쳐 인식 시스템.
제1항에 있어서,
상기 트래킹 점수를 결정하는 단계는, 상기 관심 제스쳐에 SVM(suppor vector machine)을 이용하는 단계를 포함하는,
관심 제스쳐 인식 방법.
제1항에 있어서,
상기 트래킹 점수를 결정하는 단계는, 유사성 측정을 이용하는 단계를 포함하는,
관심 제스쳐 인식 방법.