KR101962464B1 - 손동작 매크로 기능을 이용하여 다중 메뉴 및 기능 제어를 위한 제스처 인식 장치 - Google Patents

Abstract

본 발명에 따른 손동작 매크로 기능을 이용하여 다중 메뉴 및 기능 제어를 위한 제스처 인식 장치는 사용자의 제스처를 검출하는 하나 이상의 검출 디바이스, 상기 검출된 제스처에 대응하는 기능을 콘텐츠 상에서 실행시키는 제어 서버 및 상기 콘텐츠를 출력하는 디바이스를 포함한다.

Description

손동작 매크로 기능을 이용하여 다중 메뉴 및 기능 제어를 위한 제스처 인식 장치{GESTURE RECOGNITION APPARATUS FOR FUNCTIONAL CONTROL}

본 발명은 손동작 매크로 기능을 이용하여 다중 메뉴 및 기능 제어를 위한 제스처 인식 장치에 관한 것이다.

최근 VR(Virtual Reality) 기술의 발전으로 인해 각종 VR 장치들이 등장하고 있다. 이러한 VR 장치들은 주로 사용자의 머리에 착용되는 HMD 디바이스로 구현되고 있다.

HMD 디바이스를 통해 사용자는 눈과 귀, 또는 진동과 같은 여러 방법이 복합적으로 제공되는 다양한 가상현실 콘텐츠를 경험할 수 있으며, 특히 콘텐츠는 사용자의 시야 전체를 통해 제공되므로 사용자는 보다 실감있는 가상현실을 체감할 수 있다.

한편, 종래 기술의 경우 가상현실 콘텐츠 상에서의 기능 제어를 위한 사용자의 제스처의 입력이 부자연스럽거나 매우 제한적이라는 문제가 있었다.

따라서, 다양한 사용자의 제스처 입력을 지원하며, 특히 복수의 신체 부위를 이용함으로써 가상현실 상에서 보다 다양한 기능 제어를 가능하게 하는 제스처 인식 방법이 필요한 실정이다.

이와 관련하여, 한국공개특허공보 제10-2013-0117553호(발명의 명칭: 제스처를 인식하는 사용자 인터페이스 제공 장치 및 제공 방법)는 가상현실을 3차원 영역에 제공하는 영상 제공부, 상기 3차원 영역에 표현되고 시각적 접촉 효과를 통한 사용자 경험에 기반하여 제스처를 인식하는 조작 인식부 및 상기 제스처를 인식하여 적어도 하나의 버블 클라우드를 조작하는 처리부를 포함하는 기술을 개시하고 있다.

본 발명의 실시예는 디바이스를 이용하는 사용자가 콘텐츠 상에서 제스처를 통해 객체 및 기능을 제어할 수 있으며, 다중 제스처를 이용하여 복수의 기능을 동시에 실행시킬 수 있는 손동작 매크로 기능을 이용하여 다중 메뉴 및 기능 제어를 위한 제스처 인식 장치를 제공하고자 한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 손동작 매크로 기능을 이용하여 다중 메뉴 및 기능 제어를 위한 제스처 인식 장치는 사용자의 제스처를 검출하는 하나 이상의 검출 디바이스, 상기 검출된 제스처에 대응하는 기능을 콘텐츠 상에서 실행시키는 제어 서버 및 상기 콘텐츠를 출력하는 디바이스를 포함한다.

상기 검출 디바이스는 사용자의 제 1 제스처 및 제 2 제스처가 동시에 또는 연속되는 다중 제스처를 검출하고, 상기 제어 서버는 상기 다중 제스처의 정보에 기초하여 상기 제 1 제스처 및 제 2 제스처에 각각 대응하는 제 1 기능 및 제 2 기능을 동시에 실행시킬 수 있다.

상기 제어 서버는 상기 검출 디바이스의 기 설정된 하나의 검출 주기동안 상기 다중 제스처가 검출되는 경우, 상기 제 1 제스처 및 제 2 제스처에 각각 대응하는 제 1 기능 및 제 2 기능을 동시에 실행시킬 수 있다.

상기 제 1 제스처와 제 2 제스처는 사용자의 제 1 신체부위 및 제 2 신체부위에서 수행되는 제스처이고, 상기 제어 서버는 상기 제 1 신체부위 및 제 2 신체부위에서 동시에 상기 제 1 및 제 2 제스처가 수행되는 경우 상기 제 1 기능 및 제 2 기능을 동시에 실행시킬 수 있다.

상기 제어 서버는 상기 다중 제스처가 검출되어 상기 제 1 기능과 제 2 기능을 동시에 실행시킨 경우, 상기 제 1 및 제 2 기능을 동시에 실행시키기 위한 단일 제스처를 설정 가능하도록 상기 검출 디바이스를 활성화시키고, 사용자로부터의 상기 단일 제스처 입력이 검출됨에 따라 상기 제 1 및 제 2 기능을 동시에 실행시킬 수 있다.

상기 제어 서버는 상기 검출 디바이스를 통해 다중 제스처의 입력이 시작되는 것으로 판단한 경우, 상기 검출 디바이스의 검출 영역과 대응되는 인식 영역을 상기 콘텐츠 상에 출력시킬 수 있다.

상기 검출 디바이스는 사용자의 제 1 제스처 및 제 2 제스처가 각각 최초 검출되는 지점을 기준으로, 상기 제 1 제스처 및 제 2 제스처가 인식되는 지점을 동적으로 트래킹하고, 상기 제어 서버는 상기 트래킹 정보에 기초하여 상기 콘텐츠 상에서의 인식 영역을 동적으로 변경시킬 수 있다.

상기 제어 서버는 상기 사용자의 제 1 제스처 및 제 2 제스처 중 하나 이상이 상기 콘텐츠 상에 출력된 인식 영역을 벗어나는 것으로 판단한 경우, 상기 다중 제스처가 인식되지 않음을 사용자에게 알리기 위하여 상기 출력된 인식 영역의 현재 상태를 변경시킬 수 있다.

상기 제어 서버는 상기 검출 디바이스의 검출 영역상에서, 손바닥 또는 손등을 향하는 제스처나 기 설정된 모양을 만드는 제스처가 검출되는 경우 상기 콘텐츠 상의 메뉴를 온오프하기 위한 기능을 실행시키고, 특정 손의 엄지손가락만 펼친 상태에서 상하좌우로 향하게 하는 제스처가 검출되는 경우 상기 콘텐츠 상의 상기 메뉴의 상하좌우 이동을 제어하는 기능을 실행시키며, 특정 손의 검지손가락만 펼친 상태에서 클릭하는 제스처가 검출되는 경우 상기 콘텐츠 상의 상기 메뉴를 선택하는 기능을 실행시키고, 푸쉬 제스처 또는 상기 푸쉬 제스처를 해제하거나 슬라이딩하는 제스처가 검출되는 경우 상기 콘텐츠 상의 객체를 푸쉬, 푸쉬 해제 및 슬라이딩시키는 기능을 실행시킬 수 있다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 다중 제스처를 이용하여 콘텐츠 상에서의 복수 개의 기능을 동시에 실행시킬 수 있으며, 보다 다양하고 복합적인 기능을 동시에 실행시킬 수 있다.

또한, VR 디바이스와 같은 사용자 디바이스를 이용하는 복수의 사용자들은 동일한 콘텐츠를 동시에 체감할 수 있다.

이때, 각 사용자의 제스처 동작을 통한 상호작용은 동일하게 시뮬레이션 중인 콘텐츠 상에 반영되도록 함으로써, 사용자들은 콘텐츠 상에서 서로 협업이 가능하다.

또한, 복수의 사용자들의 디바이스들을 각각 사용자 단위로 구분한 제어 서버에서 연동되도록 함으로써, 콘텐츠를 시뮬레이션하여 제공하는 통합 관리 서버에서의 처리 부하를 낮출 수 있는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 제스처 인식 장치를 도시한 도면이다.
도 2는 가상현실 콘텐츠 상에서의 인식 영역을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 콘텐츠 제공 시스템을 도시한 도면이다.
도 4는 다중 사용자간 상호작용이 가능한 솔라 시스템 콘텐츠를 설명하기 위한 도면이다.
도 5는 통합 관리 서버를 통해 솔라 시스템 콘텐츠가 시뮬레이션되는 일 예시를 도시한 도면이다.
도 6은 제어 서버를 통해 솔라 시스템 콘텐츠가 시뮬레이션되는 일 예시를 도시한 도면이다.
도 7은 천체를 분할하는 제스처에 대응하여 시뮬레이션되는 일 예시를 도시한 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

도 1은 본 발명의 일 실시예에 따른 제스처 인식 장치(100)를 도시한 도면이다. 도 2는 가상현실 콘텐츠 상에서의 인식 영역(P1’, P2’)을 설명하기 위한 도면이다.

한편, 본 발명의 명세서 상에서 설명의 편이상 콘텐츠는 가상현실 콘텐츠이고, 디바이스는 VR 디바이스인 것으로 설명하도록 한다. 하지만, 본 발명에서의 콘텐츠는 가상현실 콘텐츠로 한정되는 것이 아니라 현실 세계에서의 콘텐츠를 포함하는 개념이며, 디바이스는 VR 디바이스뿐만 아니라 스마트폰, TV, 모니터 등을 포함하는 개념이다.

본 발명의 일 실시예에 따른 제스처 인식 장치(100)는 검출 디바이스(110), 제어 서버(120) 및 디바이스(130)를 포함한다.

검출 디바이스(110)는 하나 이상이 구비되어 사용자의 제스처를 검출한다. 즉, 검출 디바이스(110)는 센싱 모듈을 통해 사용자의 신체 부위 중 일부를 이용한 제스처 정보를 센싱할 수 있다.

이때, 센싱 모듈을 통해 검출되는 사용자의 제스처 정보는 신체 부위 중 손동작 정보가 이에 해당할 수 있으며, 손동작 정보 외에 안면 인식 정보를 제스처 정보로 활용할 수 있음은 물론이다.

이러한 센싱 모듈은 디바이스(130)가 VR 디바이스인 경우 헤드셋에 부착되어 있어, 사용자는 손에 별도의 장치를 쥐거나 착용하지 않아도 되는 장점이 있다.

그밖에 검출 디바이스(110)는 사용자의 위치 정보나 자세 정보를 포함하는 움직임 정보를 센싱하는 모듈을 더 포함할 수 있다.

제어 서버(120)는 검출 디바이스(110)에 의해 검출된 제스처에 대응하는 기능을 가상현실 콘텐츠 상에서 실행시킨다. 그리고 디바이스(130)는 제어 서버(120)로부터 제공받은 콘텐츠를 출력한다.

디바이스(130)는 예를 들어 HMD 디바이스일 수 있으나 반드시 이에 한정되는 것은 아니며 글래스형 단말기와 같은 웨어러블 디바이스(Wearable device) 등이 포함될 수 있다.

이러한 디바이스(130)는 제어 서버(120)와 디바이스(130) 사이, 디바이스(130)와 디바이스(130) 사이, 디바이스(130)와 통합 관리 서버(200) 사이, 그밖에 무선 통신 단말 간의 무선통신을 가능하게 하는 하나 이상의 통신 모듈을 포함할 수 있다.

또한, 디바이스(130)는 입력부를 포함할 수 있다. 입력부는 제어 서버(120)로부터 가상현실 콘텐츠를 제공받아 출력하는 영상 입력부, 오디오 신호를 입력받기 위한 마이크로 폰, 또는 오디오 입력부, 사용자로부터 사용자 입력(예를 들어, 터치키, 푸쉬키 등)을 입력받기 위한 사용자 입력부 등을 포함할 수 있다. 이와 같은 다양한 입력 신호는 제어 서버(120)를 통해 제공받거나 제어 서버(120)로 제공될 수 있다.

디바이스(130)는 콘텐츠를 출력시키는 출력부를 포함할 수 있다. 출력부는 시각, 청각 또는 촉각과 같은 다양한 출력을 발생시키기 위한 것으로, 디스플레이부, 음향 출력부, 햅틱 모듈, 광 출력부 중 적어도 하나를 포함할 수 있다.

그밖에, 제스처 인식 장치(100)는 콘텐츠를 디바이스(130)가 아닌 별도의 모니터나 단말을 통해 확인할 수 있도록 출력시키는 디스플레이부(140)를 더 포함할 수 있다.

한편, 본 발명의 일 실시예에서 검출 디바이스(110)는 다중 제스처를 검출할 수 있다.

이때, 다중 제스처란 사용자의 제 1 제스처 및 제 2 제스처가 동시에 수행되거나, 제 1 제스처 및 제 2 제스처가 연속되는 것을 의미한다. 그리고 다중 제스처는 반드시 손동작에 국한될 필요는 없는바, 제 1 제스처와 제 2 제스처는 사용자의 제 1 신체부위 및 제 2 신체부위에서 수행되는 제스처를 의미한다. 또한, 다중 제스처는 반드시 제 1 제스처와 제 2 제스처로 국한되는 것이 아니며, 두 개 이상의 제스처가 동시에 또는 연속적으로 수행되는 것을 의미한다.

이러한 다중 제스처가 검출됨에 따라, 제어 서버(120)는 다중 제스처의 정보에 기초하여 제 1 제스처 및 제 2 제스처에 각각 대응하는 제 1 기능과 제 2 기능을 동시에 실행시킬 수 있다.

예를 들어, 가상현실 콘텐츠 상에서 제 1 제스처는 메뉴를 팝업시키는 제 1 기능을 위한 제스처이고, 제 2 제스처는 메뉴 팝업 상태에서 최하단 항목을 선택하는 제 2 기능을 위한 제스처인 경우, 검출 디바이스(110)가 사용자의 다중 제스처를 인식하면 제어 서버(120)는 메뉴를 팝업시킴과 동시에 최하단 항목을 선택하여 해당 항목을 실행시킬 수 있다.

즉, 종래 기술의 경우 제 1 기능과 제 2 기능을 실행시키기 위해서는 먼저 제 1 제스처를 통해 제 1 기능을 실행시킨 다음, 제 2 제스처를 통해 제 2 기능을 실행하는 순서로만 가능하였다.

특히, 가상현실 콘텐츠의 경우 사용자의 손동작 인식은 일반적인 컴퓨터 상에서의 마우스 커서와 같은 빠른 인식이 불가하기 때문에, 사용자는 메뉴의 특정 항목을 선택하기 위해 매우 느린 제스처 동작을 순차적으로 인식시킨 후 진행해야만 하여 현실세계와 유사한 가상현실 체감이 불가하였다.

이와 달리, 본 발명의 일 실시예는 복수의 제스처를 동시에 인식되도록 하는 다중 제스처 인식 기능을 통해 복수의 기능을 빠르고 간편하게 실행시킬 수 있다는 장점이 있다.

이러한 다중 제스처 인식을 위해, 제어 서버(120)는 검출 디바이스(110)의 기 설정된 하나의 검출 주기동안 다중 제스처가 검출되는 경우, 제 1 제스처 및 제 2 제스처에 각각 대응하는 제 1 기능과 제 2 기능을 동시에 실행시킬 수 있다.

이 경우, 제어 서버(120)는 사용자가 검출 주기를 인지할 수 있도록 가상현실 콘텐츠 상의 소정 영역에 상기 검출 주기를 별도로 표시할 수 있다. 예를 들어, 제어 서버(120)는 제 1 제스처와 제 2 제스처 중 적어도 하나가 인식되는 시점을 기준으로 다중 제스처가 인식 가능한 시간인 검출 주기를 표시할 수 있다.

한편, 상술한 예시인 제 1 제스처에 대응하는 제 1 기능이 메뉴를 팝업시키는 기능이고, 제 2 제스처에 대응하는 제 2 기능이 최하단의 항목을 선택하는 기능인 경우와 같이, 제 2 기능은 반드시 제 1 기능 이후에 실행되어야만 하는 기능일 수 있다.

이때, 하나의 검출 주기동안 제 2 제스처가 먼저 인식되거나 제 1 제스처와 동시에 인식될 경우, 제어 서버(120)는 어느 제스처에 해당하는 기능을 먼저 실행시켜야 하는지에 대한 정보를 알고 있어야 한다.

이를 위해, 본 발명의 일 실시예는 각 제스처에 대응하는 기능들 간의 연결 트리 정보가 미리 저장되어 있을 수 있다.

연결 트리 정보는 하나의 상위 기능에 대하여 복수 개의 하부 기능이 서로 트리 구조로 연결되어 있을 수 있다. 이에 따라 제어 서버(120)는 연결 트리 정보에 기초하여, 제 1 제스처와 제 2 제스처가 동시에 또는 검출 주기 동안 순서에 상관없이 인식되는 경우라 하더라도, 제 1 기능을 실행시킨 후 하위 기능인 제 2 기능을 실행시킬 수 있다.

한편, 본 발명의 일 실시예는 디바이스(130)를 이용 중인 사용자가 자신이 수행하는 다중 제스처가 올바르게 인식되는지 여부를 확인할 수 있도록 하기 위하여, 제어 서버(120)는 검출 디바이스(110)를 통해 사용자의 다중 제스처의 입력이 시작되는 것으로 판단한 경우, 현실 세계에서의 검출 디바이스(110)의 검출 영역(A)과 대응되는 인식 영역(P1’, P2’)을 가상현실 콘텐츠 상에 출력시킬 수 있다.

예를 들어 디바이스(130)가 VR 디바이스인 경우, VR 디바이스를 착용 중인 사용자는 가상현실 콘텐츠만 볼 수 있는 상태이므로, 자신의 제스처가 검출 디바이스(110)의 검출 영역(A)에 올바르게 인식되는지 여부를 확인하기 어렵다.

따라서, 본 발명의 일 실시예는 실제 검출 영역(A)과 대응되는 인식 영역(P1’, P2’)을 가상현실 콘텐츠 상에 표시하여, 사용자가 해당 영역 내에서 다중 제스처를 수행할 수 있도록 가이드할 수 있다.

이때, 검출 디바이스(110)는 사용자의 제 1 제스처와 제 2 제스처가 각각 최초 검출되는 지점(P1)을 미리 인식한 다음, 제 1 제스처와 제 2 제스처가 인식되는 지점(P2)을 동적으로 트래킹할 수 있다. 제어 서버(120)는 동적 트래킹 정보에 기초하여 가상현실 콘텐츠 상에서의 인식 영역(P1’, P2’)을 동적으로 변경시킬 수 있다.

예를 들어, 도 2에서 사용자가 현실 세계에서 왼손과 오른손이 제 1 지점, 제 2 지점(P1)에 각각 위치한 상태에서 검출 디바이스(110)가 이를 최초 인식함에 따라, 제어 서버(120)는 가상현실 콘텐츠 상에서 제 1 지점 및 제 2 지점(P1)에 대응되는 하나의 인식 영역(P1’)을 설정하여 사용자의 제스처를 가이드할 수 있다.

이때, 사용자의 왼손과 오른손이 제 3 지점, 제 4 지점(P2)으로 각각 이동한 것을 검출 디바이스(110)가 검출한 경우, 제어 서버(120)는 상기 가상현실 콘텐츠 상에서의 인식 영역을 제 3 지점과 제 4 지점(P2’)으로 동적으로 변경되도록 설정하여 사용자의 제스처를 가이드할 수 있다.

이 경우 가상현실 콘텐츠 상에서의 도 2의 (a)와 같이 인식 영역은 반드시 하나의 영역(P1’)으로 통합되어 제공될 수 있을 뿐만 아니라, 도 2의 (b)와 같이 인식되는 신체부위의 개수에 대응되도록 복수 개의 인식 영역(P2’)으로 구분되어 제공될 수도 있다.

이를 위해 검출 디바이스(110)는 사용자의 복수 개의 신체 부위를 개별적으로 트래킹하는 수단을 더 구비할 수 있다.

또한, 제어 서버(120)는 사용자의 제 1 제스처와 제 2 제스처 중 하나 이상이 콘텐츠 상에서 출력되는 인식 영역(P1’, P2’)을 벗어나는 것으로 판단한 경우, 다중 제스처가 인식될 수 없음을 사용자에게 알리기 위하여 콘텐츠 상에 출력된 인식 영역(P1’, P2’)의 현재 상태를 변경되도록 표시할 수 있다.

즉, 사용자가 검출 디바이스(110)의 검출 영역을 벗어나는 경우, 콘텐츠 상에 표시된 인식 영역(P1’, P2’)을 빨간색이나 깜빡꺼림으로 변경되도록 표시함으로써 사용자에게 다중 제스처가 인식되고 있지 않음을 알릴 수 있다.

한편, 본 발명의 일 실시예에서 제어 서버(120)는 제 1 및 제 2 제스처에 따른 다중 제스처가 검출되어 상기 제 1 기능과 제 2 기능을 동시에 실행시킨 경우, 제 1 및 제 2 기능을 동시에 실행시키기 위한 단일 제스처를 설정 가능하도록 검출 디바이스(110)를 활성화시킬 수 있다. 그리고 제어 서버(120)는 검출 디바이스(110)가 활성화된 상태에서 사용자로부터의 단일 제스처의 입력이 검출됨에 따라 제 1 및 제 2 기능을 동시에 실행시킬 수 있다.

즉, 다중 제스처가 인식되어 복수의 기능이 동시에 실행된 경우, 동일한 복수의 기능을 다음에도 다중 제스처를 이용하여 실행시킬 수 있음은 물론이나, 금번 실행된 복수의 기능에 대하여 단일 제스처로 설정이 가능하도록 함으로써 사용자 편의성을 보다 제고시킬 수 있다.

이와 같은 제스처 인식 장치(100)를 통해 사용자는 표 1, 표 2와 같이 다양한 제스처를 이용하여 다양한 기능을 실행시킬 수 있다.

[표 1]

[표 2]

즉, 제어 서버(120)는 검출 디바이스(110)의 검출 영역 상에서, 손바닥 또는 손등을 향하는 제스처나 알파벳, 숫자와 같이 기 설정된 모양을 만드는 제스처가 검출되는 경우 콘텐츠 상의 메뉴 창을 생성하거나 소멸시키는 기능을 실행시킬 수 있다.

또한, 제어 서버(120)는 특정 손의 엄지손가락만 펼친 상태에서 상하좌우로 향하게 하는 제스처가 검출되는 경우 콘텐츠 상의 메뉴의 상하좌우 이동을 제어하는 기능을 실행시키며, 특정 손의 검지손가락만 펼친 상태에서 클릭하는 제스처가 검출되는 경우 메뉴를 선택하는 기능을 실행시킬 수 있다.

또한, 제어 서버(120)는 푸쉬 제스처나 푸쉬 제스처를 해제하는 제스처, 슬라이딩하는 제스처가 검출되는 경우, 콘텐츠 상의 객체를 푸쉬, 푸쉬 해제 및 슬라이딩시키는 기능을 실행시킬 수 있다.

뿐만 아니라, 예를 들어 메인 메뉴창이 없는 상태에서 1인칭 슈팅 게임이 실행되는 동안 제어 서버(120)는 사용자가 ‘ㄱ’ 모양의 손동작을 취하는 것을 검출할 경우, ‘메뉴창 ON →내 무기창 메뉴로 이동 및 선택→3번째 무기고로 이동 및 선택→메뉴 OFF’와 같이 다중 UI 기능을 일괄적으로 실행되게끔 할 수 있다.

이하에서는, 상술한 제스처 인식 장치(100)가 복수 개가 구비되어 여러 사용자의 상호작용이 함께 콘텐츠 상에 반영되도록 하는 콘텐츠 제공 시스템(1)에 대해 설명하도록 한다.

도 3은 본 발명의 일 실시예에 따른 콘텐츠 제공 시스템(1)을 도시한 도면이다.

본 발명의 일 실시예에 따른 콘텐츠 제공 시스템(1)은 복수의 제스처 인식 장치(100) 및 통합 관리 서버(200)를 포함한다.

구체적으로 통합 관리 서버(200)는 콘텐츠를 복수의 제어 서버(120)로 제공하며, 별도의 디스플레이부(210)를 통해 제공 중인 콘텐츠를 출력시킬 수 있다.

그리고 통합 관리 서버(200)는 복수의 사용자들의 센싱 정보를 콘텐츠 상에 반영하여 복수의 사용자들에게 중개할 수 있다.

제어 서버(120)는 복수의 사용자가 이용하고 있는 디바이스(130)와 대응되도록 복수 개가 구비될 수 있으며, 통합 관리 서버(200)로부터 콘텐츠를 제공받아 디바이스(130)로 출력되도록 제어한다.

이와 같이 본 발명의 일 실시예는 사용자 단위로 디바이스(130)와 제어 서버(120)가 구비되므로, 복수의 사용자가 동시에 동일한 콘텐츠를 이용할 수 있으면서, 통합 관리 서버(200)에서의 처리 부하를 낮출 수 있는 장점이 있다.

한편, 통합 관리 서버(200)와 제어 서버(120) 그리고 디바이스(130)에서 콘텐츠가 제공되는 과정을 설명하면 다음과 같다.

통합 관리 서버(200)는 자신과 통신 연결된 복수의 제어 서버(120)로 동시에 디폴트 상태의 콘텐츠를 제공하고, 복수의 제어 서버(120)는 각각 대응되는 디바이스(130)로 디폴트 상태의 콘텐츠가 출력되도록 제어한다. 이때, 디폴트 상태라 함은 콘텐츠에 있어서 사용자의 움직임 정보나 제스처 정보가 반영되지 않은 초기 실행 상태를 의미한다.

이후, 복수의 사용자 중 하나 이상의 사용자에 대응하는 디바이스(130)로부터 센싱 정보가 수집되면, 제어 서버(120)는 해당 센싱 정보를 통합 관리 서버(200)로 전송한다. 이때, 센싱 정보는 사용자의 자세 정보나 위치 정보를 포함하는 움직임 정보와 손동작, 머리 등을 이용한 제스처 정보를 의미한다.

여기에서 제스처 정보 중 손동작은 디바이스(130)에 부착된 센서 모듈을 통해 인식될 수 있으며, 손의 움직임은 손가락 마디 단위, 예를 들어 좌우 각각 25개의 관절점으로 셋팅하여 측정할 수 있다. 손가락 관절점의 경우 각 지점에 대하여 x, y, z 좌표로 표현이 가능하기 때문에, 이후 통합 관리 서버(200)는 해당 좌표 정보에 기초하여 손의 움직임을 콘텐츠 상에 정확하게 반영할 수 있다.

또한, 제스처 정보는 도 1 내지 도 2에서 설명한 다중 제스처의 개념을 포함한다.

이러한 센싱 정보는 둘 이상의 사용자로부터 동시에 센싱되어 통합 관리 서버(200)로 제공될 수 있다.

즉, 제 1 사용자에 대응하는 디바이스(130)에서의 제 1 센싱 정보와, 제 2 사용자에 대응하는 디바이스(130)에서의 제 2 센싱 정보가 각각 제어 서버(120)를 통해 수집되면, 통합 관리 서버(200)는 각 제어 서버(120)로부터 이를 수신한다.

통합 관리 서버(200)는 제어 서버(120)로부터 수신한 센싱 정보를 각각 구분하여 저장한다. 이때, 여러 제어 서버(120)에서 센싱 정보를 동시에 전송하는 경우에도, 통합 관리 서버(200)는 제어 서버의 IP나 디바이스의 ID 등을 통해 식별하여 저장할 수 있다.

그 다음 통합 관리 서버(200)는 디폴트 상태의 콘텐츠에 대하여 센싱 정보를 반영하여 시뮬레이션하고, 시뮬레이션된 콘텐츠를 복수의 제어 서버(120)로 동시에 제공한다.

이때, 둘 이상의 사용자로부터 제 1 및 제 2 센싱 정보를 수신한 경우, 통합 관리 서버(200)는 제 1 센싱 정보와 제 2 센싱 정보를 콘텐츠 상에 동시에 반영하여 시뮬레이션한 다음, 시뮬레이션되는 콘텐츠를 자신과 통신 연결된 복수의 제어 서버(120)로 제공할 수 있다.

또한, 시뮬레이션하는 과정에서 통합 관리 서버(200)는 제 1 및 제 2 센싱 정보에 대응하는 사용자의 제스처 이미지를 콘텐츠 상에 동시에 반영하여 제공할 수 있다. 즉, 센싱 정보에 따른 사용자의 손 이미지나 커서 이미지 등을 콘텐츠 상에 반영되도록 함으로써 사용자로 하여금 자신의 제스처를 콘텐츠 상에서 확인하게끔 할 수 있다.

복수의 제어 서버(120)들은 모두 동일하게 시뮬레이션된 콘텐츠를 수신하고, 각 제어 서버(120)들은 자신과 연결된 디바이스(130)로 콘텐츠가 출력되도록 제어한다.

이때, 본 발명의 일 실시예에 따른 콘텐츠 제공 시스템(1)은 통합 관리 서버(200)와 통신 연결된 모든 제어 서버(120)가 디바이스(130)로 동일한 시점의 콘텐츠를 출력시키는 것이 아니라, 각 사용자에 대응하는 표시 시점으로 조정하여 콘텐츠를 출력시킬 수 있다.

즉, 각각의 제어 서버(120)는 통합 관리 서버(200)로부터 시뮬레이션된 콘텐츠를 수신하면, 자신과 연결된 디바이스(130)의 움직임 정보 또는 사용자 입력부를 통해 수신되는 시점 이동 명령에 기초하여 표시 시점을 조정한 후 콘텐츠를 디바이스(130)로 제공할 수 있다.

이에 따라, 복수의 사용자들은 콘텐츠 상에서 서로 동일한 위치에서 콘텐츠를 체감할 수 있을뿐만 아니라, 표시 시점이 조정됨에 따라 서로 상이한 위치 및 시점에서 콘텐츠를 체감할 수도 있다.

한편, 본 발명의 일 실시예에 따른 제스처 인식 장치(100)에서의 제스처 인식은 전술한 바와 같이 연이은 복수 개의 제스처 또는 복수 개의 신체부위를 이용한 다중 동작의 인식을 통해 사용자 명령을 파악하는 방식이다.

그런데, 이와 같은 인식을 위해서는 종래의 손가락 끝점 검출 방식 등과 같은 제한적 특징점 검출 방식에 의하면 오동작의 경우가 많다.

따라서, 본 발명의 일 실시예에서는 검출 디바이스(110)가 각 신체부위의 관절부위의 위치와 움직임도 함께 파악하는 것을 특징으로 한다.

예를 들어, 검출 디바이스(110)는 각 손마다 다섯 손가락 끝, 엄지의 1개 마디, 검지 내지 약지의 2개 마디, 각 손가락과 손바닥이 연결되는 마디, 손목 관절에 대한 20개의 특징점의 위치와 움직임을 모두 파악한다.

또한, 3차원 공간에서 40개 마디 위치와 움직임 검출은 한 방향에서 센싱하는 센서에 의하여는 각 마디의 오클루전 현상으로 오동작 확률이 높고 각 마디 간의 깊이 인식도 용이하지 않다.

따라서, 본 발명의 일 실시예는 적어도 두 개 이상의 방향에 위치한 검출 디바이스(110)에 의하여 제스처 인식을 하되, 바람직하게는 각 검출 디바이스(110)의 위치는 90도 이상의 간격으로 이격됨이 바람직하고, 180도에 근접할수록 더욱 바람직하다.

예컨대, VR 환경에서는 헤드셋에 검출 디바이스(110)를 두고(즉, 손의 후방에 센싱 모듈이 위치함), 손의 측면이나 전방에 적어도 하나 이상의 센싱 모듈을 추가로 배치하여 각 센싱 모듈이 연동하여 손의 모든 마디에 대한 위치와 움직임을 파악하는 것이 좋다.

실제 환경이라면 TV 등의 이용자의 전방의 피제어기기에 검출 디바이스(110)를 두고(즉, 손의 전방에 센싱 모듈이 위치함), 손의 측면이나 후방에 적어도 하나 이상의 센싱 모듈을 추가로 배치하여 각 센싱 모듈이 연동하여 손의 모든 마디에 대한 위치와 움직임을 파악하는 것이 좋다.

또한, 사용자의 손 모양과 크기, 손가락의 길이가 모두 상이하므로, 이용 전 검출 디바이스(110)의 사전 학습 단계를 선행하는 것이 바람직하다.

예컨대, 3개 내지 5개의 기본 명령어 세트를 제시하고 사용자가 이를 따라할 때, 사용자의 신체부위의 각 마디의 움직임을 검출하여 사용자의 손 모양, 크기, 마디 위치, 손가락 길이 등의 손 모양 정보를 파악한 후 사용자 DB에 저장해 놓고, 이후의 실제 명령을 위한 제스처를 파악할 때 기 파악된 사용자의 손 모양 정보를 고려하여 해석하면, 각 명령 제스처에 대한 보다 정확한 해석이 가능하다.

아울러, 사전 학습 단계에서 손 모양 정보 뿐 아니라 각 마디의 움직임에 대한 손 동작 정보를 파악하여 저장해 놓고, 실제 이용시의 제스처 파악에 이용하면 더욱 정확한 해석이 가능할 것이다.

사용자의 손 모양 정보 및/또는 손 동작 정보는 실제 명령을 위한 제스처를 검출할 때마다 지속적으로 학습하여 저장된 사용자의 손 모양 정보 및/또는 손 동작 정보를 갱신한다.

한편, 사람의 손 모양 및 손 동작은 각 개인별로 고유한 특징이 있다. 즉, 타고난 손모양에 더하여 오랜 시간에 걸쳐 형성된 습관에 따라 손 모양이 변형되어 고착되고 또한 손 동작의 특이한 버릇이나 각 관절의 이동범위가 모두 상이하다.

따라서, 손 모양 및 손 동작을 파악한 이후에는 별도의 인증 절차 없이, 주어진 하나 이상의 제스처 확인을 통해 본 발명에 따른 제스처 인식 장치(100)에 의하여 사용자 인증이 가능하다.

이하에서는 도 4 내지 도 7을 참조하여 본 발명의 일 실시예에서 가상현실 콘텐츠로 제공되는 솔라 시스템 콘텐츠(P3)에 대해 보다 상세히 설명하도록 한다.

도 4는 다중 사용자간 상호작용이 가능한 솔라 시스템 콘텐츠(P3)를 설명하기 위한 도면이다. 도 5는 통합 관리 서버(200)를 통해 솔라 시스템 콘텐츠(P4)가 시뮬레이션되는 일 예시를 도시한 도면이다. 도 6은 제어 서버(120)를 통해 솔라 시스템 콘텐츠(P5)가 시뮬레이션되는 일 예시를 도시한 도면이다. 도 7은 천체를 분할하는 제스처에 대응하여 시뮬레이션되는 일 예시를 도시한 도면이다.

먼저 도 4를 참조하면, 본 발명의 일 실시예에서 제공되는 가상현실 콘텐츠는 태양계의 각 천체와 이들의 공전 주기, 자전 주기, 질량, 내외부 정보 등을 포함하는 솔라 시스템 콘텐츠(P3)일 수 있다.

이러한 솔라 시스템 콘텐츠(P3)가 시뮬레이션됨에 따라 각 천체들은 상대적인 크기를 갖도록 표시되며, 자신의 자전 주기와 공전 주기에 따라 움직이게 된다.

그리고 솔라 시스템 콘텐츠(P3)가 시뮬레이션됨에 따라 각 천체들은 독립적으로 제어 가능한 하나의 객체로 제공될 수 있다. 즉, 사용자들은 자전, 공전 중인 천체를 잡아서 다른 위치로 이동시키거나, 다른 궤도를 가지도록 변형시키거나 사이즈를 늘리거나 줄이는 등의 액션을 가상현실 콘텐츠 상에서 수행할 수 있다.

이때, 가상현실 콘텐츠로 제공되는 솔라 시스템 콘텐츠(P3)에 포함된 객체는 천체로 한정되는 것이 아니라, 공전 및 자전 주기와 궤도, 각 천체간의 위치 등이 모두 객체로 제공될 수 있음은 물론이다.

도 5를 참조하면, 통합 관리 서버(200)는 복수의 제어 서버(120)와 연동된 상태에서 솔라 시스템 콘텐츠(P4)를 시뮬레이션시킴에 따라, 복수의 제어 서버(120)에 연결된 디바이스(130)의 정보를 솔라 시스템 콘텐츠(P4) 상에 출력시킬 수 있다.

이때, 도 5에서는 HMD 헤드셋(H1~H4)이 직접 표시되는 것으로 도시되어 있으나 반드시 이에 한정되는 것은 아니다. 즉, 오큘러스 타입의 형태가 출력될 수도 있으며, 손모양이나 포인터의 모양, 눈모양 등 다양한 형태로 디바이스(130)를 사용 중이 사용자를 솔라 시스템 콘텐츠(P4) 상에 표시되도록 할 수 있다.

한편, 도 5에서 관리자는 화면을 마우스로 드래그하고 휠을 돌려 시점을 이동함으로써 전체 시뮬레이션 상황을 용이하게 관찰할 수 있다. 또한, 필요에 따라 x축, y축 및 z축이 표시되도록 함으로써 사용자들의 위치 관계를 용이하게 확인할 수 있다.

도 6은 개별 사용자의 디바이스(130) 상에서 출력되는 화면(P5)을 나타낸 것으로서, 개별 사용자들은 출력되는 솔라 시스템 콘텐츠(P5)를 통해 천체들의 자전, 공전을 확인할 수 있다.

또한, 사용자가 두 손을 앞으로 뻗을 경우, 두 손의 모양이 디바이스(130) 상에 출력되는 화면에 나타나게 된다. 이 경우 양 손을 용이하게 구별하기 위해 오른손과 왼손을 색깔로 구분하여 표시되도록 할 수 있다.

이때, 솔라 시스템 콘텐츠(P5) 상에 출력되는 어느 한 사용자의 양 손 모양이나 디바이스(130)의 모양은 다른 사용자의 디바이스(130) 상에 출력되는 화면을 통해 제공될 수 있다.

이와 같이 본 발명의 일 실시예에 따른 가상현실 콘텐츠 제공 시스템(1)은 도 4 내지 도 6에서 출력되는 솔라 시스템 콘텐츠(P3, P4, P5)를 통해 다중 사용자들 간 상호작용이 가능하게끔 할 수 있다. 즉, 어느 한 사용자는 천체를 회전, 이동, 변형시킬 수 있으며, 이 경우 다른 사용자도 변경된 상태를 자신의 표시 시점에 따라 체감할 수 있다.

이러한 기능을 위해 통합 관리 서버(200)는 사용자의 제스처 정보를 제어 서버(120)로부터 수신하면, 사용자의 제스처 정보에 따라 상기 시뮬레이션된 솔라 시스템 콘텐츠(P3) 상에서의 손의 위치 정보를 산출할 수 있다. 일 예로 통합 관리 서버(200)는 손가락의 관절점 좌표 정보를 이용하여 손의 위치 정보를 산출할 수 있다.

그리고 통합 관리 서버(200)는 산출된 손의 위치 정보와 솔라 시스템 콘텐츠(P3) 상에서의 천체의 위치 간의 상대 거리를 산출한 다음, 이에 기초하여 천체와의 접촉 및 제어 동작이 반영되도록 시뮬레이션할 수 있다.

예를 들어, 사용자의 움직임 정보와 제스처 정보가 센싱되어 통합 관리 서버(200)로 제공되면, 통합 관리 서버(200)는 센싱 정보에 기초하여 솔라 시스템 콘텐츠(P3) 상에서의 사용자의 위치 및 표시 시점을 결정한다. 그리고 해당 위치 및 표시 시점에서의 좌표 정보와 천체의 좌표 정보를 비교하여 상대거리를 산출한 다음, 산출된 상대거리만큼 사용자의 손이 이동된 경우 사용자의 손과 천체가 접촉되는 것으로 확인할 수 있다.

또한, 본 발명의 일 실시예는 다중 사용자간 상호작용을 제공할 수 있다. 이는 어느 한 사람이 가상 환경을 변화시키면 다른 사용자도 변화된 가상 환경을 제공받을 수 있는 것을 의미한다.

즉, 복수의 사용자 중 하나 이상의 사용자로부터 시뮬레이션 중인 솔라 시스템 콘텐츠(P3) 상의 천체를 제 1 위치에서 제 2 위치로 이동시키려는 제스처 정보에 따라, 통합 관리 서버(200)는 솔라 시스템 콘텐츠(P3) 상에서의 천체가 제 1 위치에서 제 2 위치로 이동되도록 시뮬레이션 할 수 있다.

그리고 각 제어 서버(120)는 복수의 사용자의 각 표시 시점에 대응되도록 솔라 시스템 콘텐츠(P3)를 조정하여, 제 2 위치로 이동된 천체를 디바이스(130)로 출력할 수 있다.

예를 들어, 어느 한 사람이 지구 행성을 손으로 집어 다른 공간으로 던져 놓을 경우 다른 사용자는 이를 확인할 수 있고, 다시 다른 사용자가 지구 행성을 집어 원래의 공전 위치로 가져다 놓을 수 있는 협업이 가능할 수 있다.

이뿐만 아니라, 본 발명의 일 실시예는 변경된 위치에 따른 새로운 가상환경이 생성되도록 시뮬레이션할 수 있다.

즉, 통합 관리 서버(200)는 솔라 시스템 콘텐츠(P3) 상에서의 제 1 위치 대비 제 2위치와의 상대 거리를 산출하고, 산출된 상대거리와 기 저장된 나머지 천체의 정보에 기초하여 제 2 위치에서의 천체의 궤도 정보를 새롭게 시뮬레이션할 수 있다.

이를 위해 통합 관리 서버(200)는 솔라 시스템 콘텐츠(P3)에서의 각 객체인 천체들의 초기 위치 정보, 상대 위치 정보, 자전 및 공전 궤도 정보, 질량 정보 등을 저장하고 있으며, 사용자가 어느 하나의 천체를 제 1 위치에서 제 2위치로 이동시킨 경우, 제 2 위치에서의 다른 천체들과의 상대 위치 정보, 질량 정보 등에 기초하여 제 2 위치에서의 해당 천체의 새로운 자전 및 공전 궤도를 시뮬레이션할 수 있다.

예를 들어, 솔라 시스템 콘텐츠(P3) 상에서 금성과 화성 사이에서 태양을 중심으로 자전 및 공전을 하고 있는 지구를 어느 한 사용자가 잡은 후, 목성과 토성 사이의 위치로 이동시킨 경우, 통합 관리 서버(200)는 해당 위치에서의 목성, 토성, 태양 등의 천체들 간의 상대 거리, 그리고 해당 위치에서의 공전 궤도 등을 산출한 후 해당 위치에서 자전 및 공전되도록 시뮬레이션할 수 있다.

이때, 새롭게 시뮬레이션되는 가상현실 콘텐츠는 상술한 바와 같이 다른 사용자들에게도 동시에 제공되고 있음은 물론이다.

또한, 본 발명의 일 실시예에 따른 통합 관리 서버(200)는 천체가 제 1 위치에서 제 2 위치로 이동됨에 따라, 시뮬레이션 중인 솔라 시스템 콘텐츠(P3)의 전체 또는 사용자에 의해 설정된 일부 공간 영역에 포함된 천체들의 궤도 정보를 새롭게 시뮬레이션할 수 있다.

즉, 어느 하나의 천체의 해당 위치가 변경될 경우, 통합 관리 서버(200)는 해당 천체와 주변 천체와의 상대거리, 새로운 궤도 정보, 그리고 주변 천체의 질량, 중력, 궤도와 같은 기본 정보에 기초하여 변경된 위치에서 해당 천체뿐만 아니라 주변 천체들에 대해서도 변경된 자전 및 공전 주기를 갖도록 설정할 수 있다. 그리고 이러한 천체들의 변경 사항은 특정 공간 영역만을 대상으로 수행되게끔 설정할 수도 있으며, 시뮬레이션 중인 전체 콘텐츠를 대상으로 수행되도록 설정도 가능하다.

상술한 예시에서 솔라 시스템 콘텐츠(P3) 상의 지구가 목성과 토성 사이에 위치하도록 배치된 경우, 지구의 공전 및 자전 궤도만 새롭게 생성되는 것뿐만 아니라, 목성과 토성 그리고 주변 행성 및 위성과의 관계 정보에 따라 주변 행성들의 공전 및 자전 궤도 정보가 수정되도록 시뮬레이션될 수 있다. 그리고 전체 천체들을 대상으로 변경 사항이 적용되도록 할 수 있으며, 또는 목성과 토성, 지구 행성에 대해서만 적용되도록 공간 영역을 설정하여 시뮬레이션할 수도 있다.

이와 같이, 본 발명의 일 실시예는 솔라 시스템 콘텐츠(P3) 상의 다양한 천체들을 대상으로 새로운 위치에서의 가상의 공전 궤도를 형성하도록 하여, 다양한 가상의 환경에 대한 시뮬레이션이 가능하게끔 할 수 있다.

한편, 제 2 위치에 위치한 천체를 대상으로, 사용자는 다시 제 3의 위치로 이동시키거나 원래의 위치로 이동시키는 것도 가능하다.

또한, 본 발명의 일 실시예는 사용자의 제스처 동작으로 솔라 시스템 콘텐츠(P3) 상에서의 천체들을 터치하는 입력을 통해, 해당 천체의 설명이 정보창(P6)으로 표시되도록 할 수 있다.

즉, 제어 서버(120)가 사용자의 제스처 정보로 솔라 시스템 콘텐츠(P3) 상에 포함된 천체 중 하나 이상을 선택하는 입력을 센싱함에 따라 통합 관리 서버(200)로 전송하면, 통합 관리 서버(200)는 선택된 천체에 대한 정보를 시뮬레이션 중이 솔라 시스템 콘텐츠(P3) 상에 정보창(P6)으로 표시할 수 있다.

그리고 사용자가 다시 한번 터치 등을 통한 선택 입력을 하게 되면, 표시된 정보창(P6)은 사라지게 된다.

이때, 가상현실 콘텐츠 상에서 사용자에 대응하는 제스처 이미지가 천체를 터치하게 되는 경우, 해당 천체는 밝은색과 같이 다른 천체와 구별되는 색상으로 표시될 수 있다.

한편, 해당 정보창(P6)은 어느 하나의 사용자에 의해 천체가 선택되어 표시되는 것인바, 해당 기능은 통합 관리 서버(200)가 아닌 제어 서버(120)에서도 직접 처리할 수 있으며, 이 경우 해당 정보창(P6)은 다른 사용자의 디바이스(130) 화면에는 표시되지 않을 수 있다.

또한, 제어 서버(120)가 사용자의 제스처로 솔라 시스템 콘텐츠(P3) 상에서의 천체를 분할하는 입력을 센싱하여 통합 관리 서버(200)로 전송하면, 통합 관리 서버(200)는 선택된 천체의 대기 구조 정보 및 내부 구조 정보 중 하나 이상을 솔라 시스템 콘텐츠(P3) 상에 표시되도록 시뮬레이션 할 수 있다.

예를 들어, 사용자가 손바닥을 편채로 특정 천체를 자르거나 마치 케?을 손으로 파는 등의 제스처를 하는 경우, 해당 천체에 대한 대기 구조와 내부 구조가 도 5와 같이 4분의 1등분이나 2분의 1등분된 모양으로 표시되어 사용자들이 직관적으로 해당 천체의 구조 정보를 확인할 수 있다.

이를 통해 사용자들은 각 천체들의 기본 정보를 용이하게 확인할 수 있다.

이 경우, 상술한 예시에서 어느 특정 공간 영역을 대상으로 또는 전체 영역을 대상으로 어느 하나의 천체의 위치가 변경된 경우, 위치가 변경된 천체나 해당 천체의 주변에 위치하는 천체들의 변경된 공전 및 자전 궤도 정보 등이 시뮬레이션되면, 시뮬레이션 중에 해당 천체를 선택하는 입력을 통해 변경된 천체의 정보도 정보창(P6)을 통해 확인할 수도 있다.

한편, 본 발명의 일 실시예에 따른 통합 관리 서버(200)는 가상환경 콘텐츠인 솔라 시스템 콘텐츠(P3) 상의 공간 영역, 시간 영역 및 천체들을 로그 스케일로 변환하여 시뮬레이션할 수 있다.

만약 솔라 시스템을 실제 크기 및 공간 비율로 반영하여 콘텐츠를 구성할 경우, 콘텐츠 상에는 태양, 목성, 토성 정도만 보이고 나머지는 너무 작고 멀게 보여서 관찰하는 것이 거의 불가능하다.

따라서, 본 발명의 일 실시예는 콘텐츠 상의 공간 영역, 시간 영역 및 천체들을 리니어 스케일이 아닌 로그 스케일로 변환하여 시뮬레이션할 수 있다. 다만, 사용자의 선택에 따라 리니어 스케일로 표시하는 것도 가능하다.

그밖에 통합 관리 서버(200)는 솔라 시스템 상에 시간 주기를 조절하는 조절탭을 생성하여 제어 서버(120)로 제공할 수 있다.

제어 서버(120)가 사용자로부터 시뮬레이션 중인 솔라 시스템 콘텐츠(P3) 상에 포함된 천체의 전부 또는 일부에 대한 조절탭의 입력값을 센싱하여 전송하면, 통합 관리 서버(200)는 시뮬레이션을 통해 제공 중인 천체의 공전 주기 및 자전 주기 중 하나 이상을 조절탭의 입력값에 기초하여 변경되도록 시뮬레이션할 수 있다.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

1: 콘텐츠 제공 시스템
100: 제스처 인식 장치
110: 검출 디바이스
120: 제어 서버
130: 디바이스
200: 통합 관리 서버

Claims (9)

1. 손동작 매크로 기능을 이용하여 다중 메뉴 및 기능 제어를 위한 제스처 인식 장치에 있어서,
   사용자의 제스처를 검출하는 하나 이상의 검출 디바이스,
   상기 검출된 제스처에 대응하는 기능을 콘텐츠 상에서 실행시키는 제어 서버 및
   상기 콘텐츠를 출력하는 디바이스를 포함하되,
   상기 콘텐츠는 태양계의 각 천체 및 이들의 정보를 포함하는 솔라 시스템 콘텐츠이고, 시뮬레이션된 솔라 시스템 콘텐츠 상에 포함된 각 천체들은 각각 독립적으로 제어 가능한 객체이며,
   상기 콘텐츠를 제공하는 통합 관리 서버는 상기 사용자의 제스처 정보에 따라 상기 시뮬레이션된 솔라 시스템 콘텐츠 상에서의 손의 위치 정보를 산출하고, 상기 손의 위치 정보와 상기 솔라 시스템 콘텐츠 상에서의 천체의 위치 간의 상대 거리에 기초하여 상기 천체와의 접촉 및 제어 동작이 반영되도록 시뮬레이션하는 것인 제스처 인식 장치.
2. 제 1 항에 있어서,
   상기 검출 디바이스는 사용자의 제 1 제스처 및 제 2 제스처가 동시에 또는 연속되는 다중 제스처를 검출하고,
   상기 제어 서버는 상기 다중 제스처의 정보에 기초하여 상기 제 1 제스처 및 제 2 제스처에 각각 대응하는 제 1 기능 및 제 2 기능을 동시에 실행시키는 것인 제스처 인식 장치.
3. 제 2 항에 있어서,
   상기 제어 서버는 상기 검출 디바이스의 기 설정된 하나의 검출 주기동안 상기 다중 제스처가 검출되는 경우, 상기 제 1 제스처 및 제 2 제스처에 각각 대응하는 제 1 기능 및 제 2 기능을 동시에 실행시키는 것인 제스처 인식 장치.
4. 제 2 항에 있어서,
   상기 제 1 제스처와 제 2 제스처는 사용자의 제 1 신체부위 및 제 2 신체부위에서 수행되는 제스처이고,
   상기 제어 서버는 상기 제 1 신체부위 및 제 2 신체부위에서 동시에 상기 제 1 및 제 2 제스처가 수행되는 경우 상기 제 1 기능 및 제 2 기능을 동시에 실행시키는 것인 제스처 인식 장치.
5. 제 2 항에 있어서,
   상기 제어 서버는 상기 다중 제스처가 검출되어 상기 제 1 기능과 제 2 기능을 동시에 실행시킨 경우, 상기 제 1 및 제 2 기능을 동시에 실행시키기 위한 단일 제스처를 설정 가능하도록 상기 검출 디바이스를 활성화시키고, 사용자로부터의 상기 단일 제스처 입력이 검출됨에 따라 상기 제 1 및 제 2 기능을 동시에 실행시키는 것인 제스처 인식 장치.
6. 제 2 항에 있어서,
   상기 제어 서버는 상기 검출 디바이스를 통해 다중 제스처의 입력이 시작되는 것으로 판단한 경우, 상기 검출 디바이스의 검출 영역과 대응되는 인식 영역을 상기 콘텐츠 상에 출력시키는 것인 제스처 인식 장치.
7. 제 6 항에 있어서,
   상기 검출 디바이스는 사용자의 제 1 제스처 및 제 2 제스처가 각각 최초 검출되는 지점을 기준으로, 상기 제 1 제스처 및 제 2 제스처가 인식되는 지점을 동적으로 트래킹하고,
   상기 제어 서버는 상기 트래킹 정보에 기초하여 상기 콘텐츠 상에서의 인식 영역을 동적으로 변경시키는 것인 제스처 인식 장치.
8. 제 6 항에 있어서,
   상기 제어 서버는 상기 사용자의 제 1 제스처 및 제 2 제스처 중 하나 이상이 상기 콘텐츠 상에 출력된 인식 영역을 벗어나는 것으로 판단한 경우, 상기 다중 제스처가 인식되지 않음을 사용자에게 알리기 위하여 상기 출력된 인식 영역의 현재 상태를 변경시키는 것인 제스처 인식 장치.
9. 제 1 항에 있어서,
   상기 제어 서버는 상기 검출 디바이스의 검출 영역상에서,
   손바닥 또는 손등을 향하는 제스처나 기 설정된 모양을 만드는 제스처가 검출되는 경우 상기 콘텐츠 상의 메뉴를 온오프하기 위한 기능을 실행시키고,
   특정 손의 엄지손가락만 펼친 상태에서 상하좌우로 향하게 하는 제스처가 검출되는 경우 상기 콘텐츠 상의 상기 메뉴의 상하좌우 이동을 제어하는 기능을 실행시키며,
   특정 손의 검지손가락만 펼친 상태에서 클릭하는 제스처가 검출되는 경우 상기 콘텐츠 상의 상기 메뉴를 선택하는 기능을 실행시키고,
   푸쉬 제스처 또는 상기 푸쉬 제스처를 해제하거나 슬라이딩하는 제스처가 검출되는 경우 상기 콘텐츠 상의 객체를 푸쉬, 푸쉬 해제 및 슬라이딩시키는 기능을 실행시키는 것인 제스처 인식 장치.

Images