KR20050065198A - 사용자의 움직임을 이용한 3차원 동작명령 인식기 - Google Patents

Abstract

본 발명은 사용자의 움직임을 이용한 3차원 동작명령 인식기에 관한 것으로, 컴퓨터 시스템을 대상으로 말이나 몸 동작과 같은 사람 사이의 자연스러운 상호작용 방법을 인터페이스로 사용하는 것이다.

본 발명은 스테레오 카메라 또는 모션 캡쳐 데이터로부터 사용자의 움직임을 획득하는 사용자 동작 수집부와, 상기 사용자 동작 수집부에 의해 획득된 정보를 이용하여 3차원 동작데이터를 추출하는 3차원 동작 데이터 추출부와, 상기 3차원 동작 데이터를 추적 물체의 위치 기준으로 정지상태 및 방사형으로 뻗어나간 27가지 방향에서 정형화 과정을 통해 한가지 방향으로 결정하는 동작 데이터 정형화부 및 상기 동작 데이터 정형화부에 의해 결정된 동작 데이터를 3차원 동작명령 저작부에 의해 형성된 데이터와 비교하여, 일치도가 높은 동작을 인식결과로 출력하는 동작 명령 인식부로 구성된다.

Description

사용자의 움직임을 이용한 3차원 동작명령 인식기{Three-Dimensional Motion Command Recognizer Using Motion of User}

본 발명은 3차원 동작명령 인식기에 관한 것으로, 더욱 상세하게는 사용자와 컴퓨터 사이의 상호작용 상황에 있어서, 상기 사용자의 신체적 움직임을 명령입력의 수단으로 사용함으로써 동작인식을 통한 실감 있는 게임 환경을 사용자에게 제공하고, 언어 장애인의 대체 인터페이스 수단 등으로 사용될 수 있도록 한다.

사용자의 의도를 컴퓨터 시스템에 전달하기 위한 방법은 '컴퓨터-사용자-인터페이스' 기술분야에서 중요한 문제이다.

상기 컴퓨터 시스템을 대상으로는 말이나 몸 동작과 같은 사람 사이의 자연스러운 상호작용 방법을 그대로 사용할 수 없기 때문에 현재는 키보드나 마우스 같은 간접 명령입력 인터페이스 장치를 사용하고 있다.

최근에는 관련기술의 발달로 사용자의 특정 동작행위를 개별적인 방법으로 인식하여 명령 인터페이스로 활용하려는 연구가 시도 되고있으나, 기존의 연구분야는 수화인식과 같이 특수한 목적의 동작만을 높은 정확도를 가지고 인식하는 것에 목표를 두고 있으므로, 범용적인 명령 인터페이스로 활용하기에는 한계가 있다.

또한, 세부적인 동작행위를 추적하기 위한 동작 데이터 추출시스템은 높은 투자비용을 요구하게 됨으로, 동작 인터페이스의 대중화에 걸림돌이 되고있다.

따라서, 본 발명은 상술한 종래의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 사람의 동작 데이터를 취득하는 사용자 동작입력 수집부와, 전처리 과정을 통하여 동작 데이터를 정형화된 입력 데이터베이스로 구축하는 동작 데이터 정형화부와, 학습용 3차원 동작 데이터 및 3차원 동작 명령 저작부로부터 생성된 동작명령과 실시간으로 입력되는 사용자의 동작 데이터를 비교하는 동작명령 인식부 와 동작의 일치도가 높은 동작을 출력하는 출력부로 구성되어 자연스러운 사용자의 동작행위를 컴퓨터 명령으로 연동할 수 있도록 하는 사용자의 움직임을 이용한 3차원 동작명령 인식기를 제공하는데 있다.

상기와 같은 본 발명의 목적을 달성하기 위한 사용자의 움직임을 이용한 3차원 동작명령 인식기는, 테레오 카메라 또는 모션 캡쳐 데이터로부터 사용자의 움직임을 획득하는 사용자 동작 수집부와, 상기 사용자 동작 수집부에 의해 획득된 정보를 이용하여 3차원 동작데이터를 추출하는 3차원 동작 데이터 추출부와, 상기 3차원 동작 데이터를 추적 물체의 위치 기준으로 정지상태 및 방사형으로 뻗어나간 27가지 방향에서 정형화 과정을 통해 한가지 방향으로 결정하는 동작 데이터 정형화부 및 상기 동작 데이터 정형화부에 의해 결정된 동작 데이터를 3차원 동작명령 저작부에 의해 형성된 데이터와 비교하여, 일치도가 높은 동작을 인식결과로 인식하여 출력부로 전달하는 동작 명령 인식부로 구성된다.

이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명에 따른 3차원 동작명령 인식기의 구성도이고, 도 2는 본 발명의 일실시예에 따른 3차원 동작명령 인식기 인터페이스의 활용 예시도로서, 첨부된 도면을 이용하여 본 발명의 설명을 보다 상세하게 하면 다음과 같다

먼저, 도 1에 도시된 바와 같이 3차원 동작명령 인식기의 사용자 동작 수집부(10)는 동작 명령 인식을 위한 3차원 동작 데이터를 수집하기 위하여 스테레오 카메라를 이용한 방법과 기존의 모션 데이터에서 필요한 신체 부분의 정보를 추출하는 방법을 사용한다.

보급형 스테레오카메라를 이용하는 방법에서는 초당 30프레임 이상의 화상 캡쳐 기능을 가진 PC 카메라 2대를 이용하고, 카메라 캘리브레이션 과정을 거쳐서 목표 물체의 3차원 좌표 복원을 위한 파라미터를 얻어, 신체의 주요 부분에 추적용 칼라 마커를 부착한다.

그리하여, 3차원 동작 영상을 얻고, 영상으로부터 마커의 위치를 분리하고, 앞의 과정에서 얻은 카메라 관련 파라미터를 이용하여 신체 부착된 목표 물체의 3차원 위치를 복원한다.

기존의 모션 캡쳐 데이터를 활용하는 경우에는 추적의 목표가 되는 관절의 데이터(채널 데이터)를 추출하여 3차원 곡선의 값을 입력 데이터로 활용한다.

입력 데이터의 형태는 미리 정해진 의미가 부여된 3차원(x, y, z) 운동정보이다.

3차원 동작 데이터 추출부(20)는 상기 사용자 동작 수집부(10)에 의해 획득된 정보를 이용하여 3차원 동작데이터를 추출한다.

동작 데이터 정형화부(30)는 상기 3차원 동작 데이터를 추적 물체의 위치 기준으로 정지상태 및 방사형으로 뻗어나간 27가지 방향에서 정형화 과정을 통해 한가지 방향으로 결정한다.

상기 27가지 방향은 추적 물체의 위치를 기준으로, 정지 상태를 포함하여, 방사형으로 뻗어 나가는 26가지 방향으로 정의된다.

즉, 지구 좌표계로 표현하면, 경도와 위도를 45도 간격으로 균등 분할했을 때 정의되는 26개의 지점을 지구 중심에서 뻗어 나가는 방향으로 비유할 수 있다. 상기 정형화 과정은 3차원 동작 데이터를 일정한 시간 샘플링 값을 기준으로 자르고, 각각 샘플링 된 구간의 동작 데이터의 주요 방향 성분을 앞에서 정의 된 27가지 방향 측면에서 분석해서 한가지로 결정한다.

이때, 각각의 입력 데이터는 본 과정을 통해서 일련의 방향 성분을 가진 형태로 출력된다.

또한, 상기 3차원 동작 명령저작부(90)에 의해 생성된 동작 명령과 실시간으로 추적된 사용자의 동작 데이터를 정형화시켜서 비교하는 동작 명령 인식부(40)는, HMM(히든 마르코프 모델)을 사용한 NN(뉴럴네트워크, 인공신경망)을 중심으로 구성되어 있으며, 사용 단계 이전에 앞 단계에서 미리 정의된 데이터베이스를 기준으로 인식이 가능한 동작에 대한 학습 단계를 거친다.

또한, 상기 동작 명령 인식부(40)는 상기 동작 데이터 정형화부(80)에 의해 결정된 동작 데이터를 3차원 동작명령 저작부(90)에 의해 형성된 데이터와 비교하여, 일치도가 높은 동작을 인식결과로 인식하여 출력부(50)로 전달한다.

또한, 임의의 3차원 동작 명령을 저작할 수 있는 3차원 동작 명령 저작부(90)는 다양한 3차원 동작 명령에 대한 인식기의 활용성을 높이기 위하여, 사용자의 필요에 따라서 모션캡쳐 시스템을 사용하지 않고, 직접 입력용 동작 데이터를 저작할 수 있는 도구를 제시한다.

상기 동작 데이터 저작 도구는 가상 캐릭터 표시 장치와 제어 장치 그리고 동작 데이터를 관리하는 데이터베이스와 사용자와의 상호작용을 위한 인터페이스 부분으로 구성되어 있다.

사용자는 범용 인터페이스 장치(예; 키보드, 마우스)를 사용하여 가상 캐릭터의 주요 동작을 정의하고, 저작 프로그램은 키 프레임 데이터를 기준으로 연속 동작을 생성한다.

이렇게, 생성된 동작 데이터는 상기 3차원 동작 데이터 추출부로 입력되고, 상기 사용자는 저작도구를 사용하여 27가지 방향 성분을 기준으로 동작 패턴을 설계하고, 이를 직접 동작 명령 인식기의 학습 단계에 입력 값으로 넣을 수 있다.

이와 같이, 상기 3차원 동작 명령 저작부(90)에 의해 생성된 동작 데이터는 상기 사용자의 움직임에 의해 실시간으로 획득된 동작 데이터와 상기 동작 명령 인식부(40)에 의해 비교되어, 정의된 동작 명령에서 가장 일치도가 높은 것을 동작명령으로 인식하여 결과를 출력하게 된다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 또한 설명하였으나, 본 발명은 상기한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것을 물론이고, 그와 같은 변경은 기재된 청구범위 내에 있게 된다.

이상에 설명한 바와 같이 본 발명에 의하면, 자연스러운 사용자의 동작행위를 임의의 시스템 명령으로 연동할 수 있으므로, 활동적인 오락시스템이나 언어장애인의 대체 인터페이스 수단 등으로 폭넓게 활용할 수 있는 장점이 있고, 보급형 동작 추출시스템을 기반으로 함으로써 3차원 동작명령 인터페이스의 대중화를 유도할 수 있다.

도 1은 본 발명에 따른 3차원 동작명령 인식기의 구성도,

도 2는 본 발명의 일실시예에 따른 3차원 동작명령 인식기 인터페이스의 활용 예시도이다.

<도면의 주요 부분에 대한 부호의 설명>

10 : 사용자 동작 수집부 20, 70 : 3차원 동작 데이터 추출부

30, 80 : 동작 데이터 정형화부 40 : 동작 명령 인식부

50 : 동작 명령 인식 결과 출력부 60 : 학습용 3차원 동작 데이터 입력부

90 : 3차원 동작 명령 저작부

Claims (2)

1. 스테레오 카메라 또는 모션 캡쳐 데이터로부터 사용자의 움직임을 획득하는 사용자 동작 수집부;

   상기 사용자 동작 수집부에 의해 획득된 정보를 이용하여 3차원 동작데이터를 추출하는 3차원 동작 데이터 추출부;

   상기 3차원 동작 데이터를 추적 물체의 위치 기준으로 정지상태 및 방사형으로 뻗어나간 27가지 방향에서 정형화 과정을 통해 한가지 방향으로 결정하는 동작 데이터 정형화부; 및

   상기 동작 데이터 정형화부에 의해 결정된 동작 데이터를 3차원 동작명령 저작부에 의해 형성된 데이터와 비교하여, 일치도가 높은 동작을 결과로 인식하여 출력부로 출력하는 동작 명령 인식부로 구성되는 것을 특징으로 하는 사용자의 움직임을 이용한 3차원 동작명령 인식기.
2. 제 1항에 있어서, 상기 동작 데이터 정형화부는

   3차원 동작 데이터를 일정한 시간 샘플링 값으로 분할하고, 각각 샘플링 된 구간의 동작 데이터의 방향성분을 기 정의된 27가지 방향 측면에서 분석하는 것을 특징으로 하는 사용자의 움직임을 이용한 3차원 동작명령 인식기.