KR101800182B1

KR101800182B1 - 가상 객체 제어 장치 및 방법

Info

Publication number: KR101800182B1
Application number: KR1020110023551A
Authority: KR
Inventors: 한승주; 한재준; 박두식; 최창규; 유병인
Original assignee: 삼성전자주식회사
Priority date: 2011-03-16
Filing date: 2011-03-16
Publication date: 2017-11-23
Also published as: US9563277B2; US20120235899A1; KR20120105864A

Abstract

가상 객체 제어 장치 및 방법이 개시된다. 본 발명의 실시예들에 따르면, 사용자의 손 동작을 감지하고, 손 동작에 대응하는 이벤트를 생성하여 가상 객체를 제어함으로써, 사용자는 3차원 그래픽 유저 인터페이스 상에 표시되는 가상 객체를 보다 직관적이고 손 쉽게 제어 및 조정할 수 있다.

Description

가상 객체 제어 장치 및 방법{Apparatus and Method for Controlling Virtual Object}

본 발명은 가상 객체 제어 장치 및 방법에 관한 것으로서, 보다 구체적으로는 사용자의 동작을 대응하여 가상 객체를 제어하는 장치 및 방법에 관한 것이다.

최근 인간과 컴퓨터 사이에 자연스러우면서도 상호작용이 강화된 직관적인 인터페이스 기술(Natural Interface)들이 부상하고 있다. 인간과 컴퓨터의 상호작용을 위한 사용자의 의도 및 행위 인식에 관한 연구가 활발히 진행되고 있으며, 대표적인 유저 인터페이스 기술인 키보드나 마우스를 대체해 보다 자연스러운 컴퓨팅 환경을 제공할 수 있는 상호적인 디스플레이(Interactive Display) 등의 분야가 급성장하고 있다.

종래의 상호적인 디스플레이(Interactive Display)는 일반적으로 디스플레이 표면에서 멀티 터치 및 근접 터치(Hovering)를 통한 UI를 조작하는 방법을 제공한다. 마우스나 키보드가 시선과 조작 공간이 불일치 하는 간접적인 상호작용(Indirect Interaction)인데 반해, 멀티터치 및 근접 터치(Hovering)는 조작 대상을 바라보는 시선과 조작 공간이 일치하는 직접적인 상호작용(Direct interaction)을 제공함으로써, 더 자연스러운 조작을 가능하게 한다. 하지만 멀티터치의 경우 디스플레이 표면에서만 조작이 가능한 2차원 상호작용 방법이고, 따라서 UI 등의 조작 대상이 3차원인 경우에도 실제 물체를 조작하는 듯한 직관적인 조작이 불가능하다. 근접 터치의 경우 손의 정보만을 이용해 몰입감 및 일체감 있는 객체의 조작을 제공하지 못한다.

한편, 최근 3D 영상을 제공 하는 디스플레이 장치가 범용화 되고 있다. 인간이 입체를 느끼는 방식은 크게 좌/우 양안에 각각 영상을 입력을 제공해주는 입체(Stereoscopic) 방식과, 인간의 시점에 따라 물체의 원근 및 좌/우 상 이동양이 달라지는 운동 시차(Motion Parallax) 방식이 있다. 이러한 3D 영상의 제공에 대한 수요는 계속하여 증가하고 있는 추세이다.

본 명세서에서는 더욱 몰입감 및 일체감을 제공할 수 있는 3D UI 및 3D UI를 제어하는 새로운 장치 및 방법에 대해서 제안한다.

본 발명의 일실시예에 따른 가상 객체 제어 장치는 센서로부터 사용자에 대한 감지 정보를 수신하는 수신부; 상기 수신된 감지 정보로부터 상기 사용자의 손 동작에 대한 손 동작 정보를 추출하는 처리부; 상기 추출된 손 동작 정보에 대응하는 이벤트를 생성하는 생성부; 및 상기 생성된 이벤트에 기반하여, 3차원 그래픽 유저 인터페이스 상에 표시되는 가상 객체를 제어하는 제어부를 포함한다.

본 발명의 일실시예에 따른 센서로부터 사용자의 동작에 대한 감지 정보를 수신하는 단계; 상기 수신된 감지 정보로부터 상기 사용자의 손 동작에 대한 손 동작 정보를 추출하는 단계; 상기 추출된 손 동작 정보에 대응하는 이벤트를 생성하는 단계; 및 상기 생성된 이벤트에 기반하여, 3차원 그래픽 유저 인터페이스 상에 표시되는 가상 객체를 제어하는 단계를 포함한다.

사용자의 손 동작을 감지하고, 손 동작에 대응하는 이벤트를 생성하여 가상 객체를 제어함으로써, 사용자는 3차원 그래픽 유저 인터페이스 상에 표시되는 가상 객체를 보다 직관적이고 손 쉽게 제어 및 조정할 수 있다.

도 1은 본 발명의 일실시예에 따른 가상 객체 제어 장치가 사용자의 동작을 감지하여 가상 객체를 제어하는 동작을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 가상 객체 제어 장치의 구성을 나타내는 도면이다.
도 3a는 본 발명의 일실시예에 따른 자세 이벤트의 실시예를 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 제스처 이벤트의 실시예를 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 가상 객체 제어 장치가 적용되는 전체 시스템을 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따른 가상 객체 제어 방법을 나타내는 흐름도이다.

이하에서, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일실시예에 따른 가상 객체 제어 장치가 사용자의 동작을 감지하여 가상 객체를 제어하는 동작을 나타내는 도면이다.

도 1을 참조하면, 사용자는 3차원 그래픽 유저 인터페이스 상에 표시되는 가상 객체를 제어하기 위하여, 센서 앞에서 가상 객체를 제어하기 위한 손 동작을 취할 수 있다(110). 예를 들어, 사용자는 주먹을 쥔 상태에서 엄지 손가락을 위로 치켜드는 썸-업(Thumb-Up) 자세를 취할 수 있다.

이 때, 센서는 사용자의 동작을 감지(Sensing)할 수 있다(120). 일실시예에 따른 센서는 모션 센서(Motion Sensor), 카메라(Camera) 등을 포함할 수 있다. 예를 들어, 카메라는 사용자가 썸-업 자세를 취하고 있는 모습을 촬영함으로써, 사용자에 대한 동작을 감지할 수 있다.

센서는 사용자의 동작에 대한 감지 정보를 가상 객체 제어 장치로 전송할 수 있다. 사용자의 동작에 대한 감지 정보를 수신한 가상 객체 제어 장치는 수신된 감지 정보로부터 사용자의 손 동작에 대한 손 동작 정보를 추출할 수 있다(130).

예를 들어, 카메라를 통하여 촬영된 사용자에 대한 감지 정보를 수신하는 경우, 가상 객체 제어 장치는 감지 정보로부터 사용자의 손이 썸-업 자세를 취하고 있음을 인지할 수 있다.

손 동작 정보가 추출되면, 가상 객체 제어 장치는 추출된 손 동작 정보에 대응하는 이벤트(Event)를 생성할 수 있다(140). 예를 들어, 사용자의 손 동작인 썸-업 자세에 대응하는 이벤트가 가상 객체를 실행(Run)하는 이벤트인 경우, 가상 객체 제어 장치는 썸-업 자세 및 가상 객체를 실행하는 동작에 대한 이벤트를 생성할 수 있다.

손 동작 정보에 대응하는 이벤트가 생성되면, 가상 객체 제어 장치는 이벤트에 기반하여 3차원 그래픽 유저 인터페이스 상에 표시되는 가상 객체를 제어할 수 있다(150). 예를 들어, 가상 객체 제어 장치는 썸-업 자세에 대응하는 이벤트에 따라서, 가상 객체에 대한 프로그램을 실행할 수 있다.

이하, 본 발명의 일실시예에 따른 가상 객체 제어 장치의 구성에 대해서 상세히 설명한다.

도 2는 본 발명의 일실시예에 따른 가상 객체 제어 장치의 구성을 나타내는 도면이다.

도 2를 참조하면, 본 발명의 일실시예에 따른 가상 객체 제어 장치(200)는 수신부(210), 처리부(220), 생성부(230) 및 제어부(240)를 포함한다.

수신부(210)는 센서(201, 202)로부터 사용자에 대한 감지 정보를 수신한다.

일실시예에 따른 센서는 모션 센서(201), 카메라(202), 밴드 센서 등을 포함할 수 있다.

처리부(220)는 수신된 감지 정보로부터 사용자의 손 동작에 대한 손 동작 정보를 추출한다. 자세히 설명하면, 처리부(220)는 감지 정보로부터 사용자의 손 자세 및 동작이 어떠한 자세(Posture) 또는 제스처(Gesture)를 취하고 있는지를 인지하고, 사용자의 손 동작에 대한 손 동작 정보를 감지 정보로부터 추출할 수 있다.

생성부(230)는 추출된 손 동작 정보에 대응하는 이벤트를 생성한다. 일실시예에 따른, 생성부(230)는, 추출된 손 자세 및 동작에 대한 정보의 오류를 최소화하기 위하여, 신뢰도, 속도/가속도 등에 기반하여 손 동작 정보를 처리함으로써, 손의 자세 및 동작 이벤트를 생성할 수 있다.

제어부(240)는 생성된 이벤트에 기반하여, 3차원 그래픽 유저 인터페이스 상에 표시되는 가상 객체를 제어한다.

본 발명의 일측에 따르면, 가상 객체는 BIFS(Binary Format for Scenes), LASeR(Light Application Scene Representation) 및 Widget 중 어느 하나의 장면 표현(Scene Representation)에 의해서 기술될 수 있다.

본 발명의 일측에 따르면, 가상 객체 제어 장치(200)는 출력부를 더 포함할 수 있다. 출력부는 디스플레이 장치에 가상 객체를 출력할 수 있다.

본 발명의 일측에 따르면, 이벤트는 사용자의 손의 자세에 대한 자세 이벤트(Posture Event) 및 사용자의 손의 제스처에 대한 제스처 이벤트(Gesture Event)를 포함할 수 있다. 즉, 일실시예에 따른 생성부(230)는 손 동작 정보에 따라서, 손의 자세 또는 제스처를 구별하여, 자세 이벤트 또는 제스처 이벤트를 생성할 수 있다.

이하, 본 발명의 일실시예에 따른 자세 이벤트 및 제스처 이벤트에 대해서 상세히 설명한다.

일실시예에 따른 자세 이벤트는 유저ID(UserID), 왼손 자세(LH_Posture), 왼손 위치(LH_Position), 오른손 자세(RH_Posture) 및 오른손 위치(RH_Position)의 구성 요소(Element)를 포함할 수 있다.

표 1은 일실시예에 따른 자세 이벤트의 신택스(Syntax)를 나타내는 표이다.

표 1

표 2는 자세 이벤트의 각 구성 요소에 대한 세만틱(Semantics)을 나타내는 표이다.

표 2

일실시예에 따른 왼손 자세의 구성 요소 및 오른손 자세의 구성 요소 각각은 오픈 팜(Open Plam), 피스트(Fist), 포인팅(Pointing), 썸-업(Thumb-Up), 썸-다운(Thumb-Down) 및 그랩(Grab)을 포함할 수 있다. 도 3을 참조하여 왼손 자세/오른손 자세의 구성 요소에 대하여 상세히 설명한다.

도 3a는 본 발명의 일실시예에 따른 자세 이벤트의 실시예를 나타내는 도면이다.

도 3a를 참조하면, 본 발명의 일실시예에 따른 자세 이벤트의 구성 요소 중 왼손 자세 및 오른손 자세에 대한 구성 요소는 오픈 팜(Open Plam)(311), 피스트(Fist)(321), 포인팅(Pointing)(331), 썸-업(Thumb-Up)(341), 썸-다운(Thumb-Down)(351) 및 그랩(Grab)(361)을 포함할 수 있다.

예를 들어, 센서로부터 수신된 감지 정보로부터 추출된 손 동작 정보가 사용자 손의 자세가 주먹을 쥔 상태인 경우, 가상 객체 제어 장치의 생성부는 피스트(321)를 포함하는 자세 이벤트를 생성할 수 있다.

실시예에 따라서는, 오픈 팜(311)을 포함하는 자세 이벤트는 가상 객체 또는 프로그램을 시작 또는 선택 해지하는 제어 명령(312)을 포함할 수 있다. 또한, 피스트(321)을 포함하는 자세 이벤트는 가상 객체 또는 프로그램을 정지 또는 선택하는 제어 명령(322)을 포함할 수 있다. 또한, 포인팅(331)을 포함하는 자세 이벤트는 가상 객체 또는 프로그램을 포인팅하는 제어 명령(332)을 포함할 수 있다. 또한, 썸-업(341)을 포함하는 자세 이벤트는 가상 객체 또는 프로그램을 실행하는 제어 명령(342)을 포함할 수 있다. 또한, 썸-다운(351)을 포함하는 자세 이벤트는 가상 객체 또는 프로그램을 취소하는 제어 명령(352)을 포함할 수 있다. 또한, 그랩(361)을 포함하는 자세 이벤트는 가상 객체 또는 프로그램을 실행 또는 스크롤링(Scrolling)하는 제어 명령(362)을 포함할 수 있다.

본 발명의 일실시예에 따른 개별적인 자세 이벤트(311 내지 361)에 대응하는 제어 명령(312 내지 362)은 사용자가 직접 설정할 수 있다. 따라서, 도 3에 나타난 자세 이벤트에 대응하는 제어 명령은 일실시예이고, 본 발명이 이에 제한되는 것은 아니다.

표 1-2는 일실시예에 따른 자세 이벤트의 또 다른 신택스(Syntax)를 나타내는 표이다.

표 1-2

<!- Hand Posture Information -->

</sequence>

</complexType>

표 2-2는 또 다른 자세 이벤트의 각 구성 요소에 대한 세만틱(Semantics)을 나타내는 표이다.

표 2-2

표 1-3은 또 다른 일실시예에 따른 자세 이벤트의 신택스(Syntax)를 나타내는 표이다.

표 1-3

</sequence>

</complexType>

</restriction>

</simpleType>

</sequence>

</complexType>

표 2-3은 또 다른 자세 이벤트의 각 구성 요소에 대한 세만틱(Semantics)을 나타내는 표이다.

표 2-3

본 발명의 일측에 따르면, 생성부(230)는 처리부(220)에서 인식된 손 동작 정보에 포함된 손 자세에 대한 손 자세 정보(예를 들어, 표 1-2의 신택스 또는 표 1-3의 신택스)를 입력으로 하여 자세 이벤트를 생성할 수 있다. 이때, 손 자세 정보에 포함된 신뢰도(Confidence) 데이터가 미리 설정된 임계값(Threshold value)보다 높은 경우에 한하여, 생성부(230)는 인식된 손 자세 정보를 유효한 데이터로 판단하고, 유효한 손 자세 정보에 기반하여 자세 이벤트를 생성할 수 있다.

또 다른 실시예에 따라서는, 신뢰도 데이터가 미리 설정된 임계값보다 높은 값을 일정 기간 동안 유지되는 경우에 한하여, 생성부(230)는 인식된 손 자세 정보를 유효한 데이터로 판단하고, 유효한 손 자세 정보에 기반하여 자세 이벤트를 생성할 수 있다.

또 다른 실시예에 따라서는, 신뢰도 데이터가 미리 설정된 임계값보다 높은 값을 일정 기간(T) 동안 일정 비율(x %) 이상 유지되는 경우에 한하여, 생성부(230)는 인식된 손 자세 정보를 유효한 데이터로 판단하고, 유효한 손 자세 정보에 기반하여 자세 이벤트를 생성할 수 있다.

일실시예에 따른 신뢰도 데이터는 퍼센트(%)의 값으로 표현될 수 있다. 또한, 신뢰도 데이터는 변화량(Variance)의 역수로 표현될 수 있다. 또한, 신뢰도 데이터는 손 자세 정보의 정확도를 측정할 수 있는 어떠한 정보일 수 있다.

도 3b는 사용자의 손 자세에 대한 자세 이벤트의 상태 변화 흐름도를 나타내는 도면이다.

도 3b를 참조하면, 본 발명의 일실시예에 따른 사용자의 손 자세에 대한 자세 이벤트의 상태는 정의되지 않은 상태(undetermined posture)(371) 및 정의된 자세(372) 사이에서 변화할 수 있다.

도 3c는 본 발명의 일실시예에 따른 사용자의 손 자세의 시간에 따른 변화 흐름도를 나타내는 도면이다.

도 3c를 참조하면, 사용자의 손 자세는 시간의 흐름에 따라 변화할 수 있다. 예를 들어, 사용자는 손바닥을 편 상태(381)에서, 정의되지 않은 상태(382)로 손 자세를 변화시키고, 다시 썸-업 자세(383)로 손 자세를 변화시키고, 손을 위로 올리는 제스처(384)로 손 동작을 변화시키고, 주먹쥔 상태(385)로 손 자세를 변화시킬 수 있다.

이 때, 매 시간에 인식된 손 자세 정보를 보내는 경우 및 손의 자세 정보가 바뀐 시간에 정보를 보내는 경우가 모두 포함될 수 있다.

다시 도 2를 참조하면, 일실시예에 따른 제스처 이벤트는 유저ID(UserID), 왼손 제스처(LH_Gesture), 왼손 시작위치(LH_StartPosition), 왼손 종료위치(LH_EndPosition), 왼손 속도(LH_Velocity), 왼손 가속도(LH_Acceleration), 오른손 제스처(RH_Gesture), 오른손 시작위치(RH_StartPosition), 오른손 종료위치(RH_EndPosition), 오른손 속도(RH_Velocity) 및 오른손 가속도(RH_Acceleration)의 구성 요소를 포함할 수 있다.

표 3은 일실시예에 따른 제스처 이벤트의 신택스(Syntax)를 나타내는 표이다.

표 3

표 4는 제스처 이벤트의 각 구성 요소에 대한 세만틱(Semantics)을 나타내는 표이다.

표 4

일실시예에 따른 왼손 자세의 구성 요소 및 오른손 자세의 구성 요소 각각은 푸쉬(push), 풀(pull), 슬랩 레프트(slap left), 슬랩 라이트(slap right), 슬랩 탑(slap top), 슬랩 바텀(slap bottom), 시계 방향 써클(circle clockwise), 반시계 방향 써클(circle anti-clockwise), 웨이빙(waving) 및 체크(check)를 포함할 수 있다. 도 4을 참조하여 왼손 제스처/오른손 제스처의 구성 요소에 대하여 상세히 설명한다.

도 4는 본 발명의 일실시예에 따른 제스처 이벤트의 실시예를 나타내는 도면이다.

도 4를 참조하면, 본 발명의 일실시예에 따른 제스처 이벤트의 구성 요소 중 왼손 제스처 및 오른손 제스처에 대한 구성 요소는 푸쉬(push)(401), 풀(pull)(411), 슬랩 레프트(slap left)(421), 슬랩 라이트(slap right)(431), 슬랩 탑(slap top)(441), 슬랩 바텀(slap bottom)(451), 시계 방향 써클(circle clockwise)(461), 반시계 방향 써클(circle anti-clockwise)(471), 웨이빙(waving)(481) 및 체크(check)(491)를 포함할 수 있다.

예를 들어, 센서로부터 수신된 감지 정보로부터 추출된 손 동작 정보가 사용자 손의 제스처가 손을 전방으로 내미는 동작인 경우, 가상 객체 제어 장치의 생성부는 푸쉬(401)를 포함하는 제스처 이벤트를 생성할 수 있다.

실시예에 따라서는, 푸쉬(401)를 포함하는 제스처 이벤트는 가상 객체 또는 프로그램을 줌 인 또는 선택하는 제어 명령(402)을 포함할 수 있다. 또한, 풀(411)를 포함하는 제스처 이벤트는 가상 객체 또는 프로그램을 줌 아웃 또는 취소하는 제어 명령(412)을 포함할 수 있다. 또한, 슬램 레프트(421)를 포함하는 제스처 이벤트는 가상 객체 또는 프로그램을 오른쪽에서 왼쪽으로 수평 방향으로 스크롤하는 제어 명령(422)을 포함할 수 있다. 또한, 슬램 라이트(431)를 포함하는 제스처 이벤트는 가상 객체 또는 프로그램을 왼쪽에서 오른쪽으로 수평 방향으로 스크롤하는 제어 명령(432)을 포함할 수 있다. 또한, 슬랩 탑(441)를 포함하는 제스처 이벤트는 가상 객체 또는 프로그램을 아래에서 위쪽으로 수직 방향으로 스크롤하는 제어 명령(442)을 포함할 수 있다. 또한, 슬랩 바텀(451)를 포함하는 제스처 이벤트는 가상 객체 또는 프로그램을 위에서 아래쪽으로 수직 방향으로 스크롤하는 제어 명령(452)을 포함할 수 있다. 또한, 시계 방향 써클(461)를 포함하는 제스처 이벤트는 가상 객체 또는 프로그램을 확대하는 제어 명령(462)을 포함할 수 있다. 또한, 반시계 방향 써클(461)를 포함하는 제스처 이벤트는 가상 객체 또는 프로그램을 축소하는 제어 명령(472)을 포함할 수 있다. 또한, 웨이빙(481)를 포함하는 제스처 이벤트는 가상 객체 또는 프로그램을 웨이크-업 또는 컨텍스트 메뉴(Context Menu)를 실행하는 제어 명령(482)을 포함할 수 있다. 또한, 체크(491)를 포함하는 제스처 이벤트는 가상 객체 또는 프로그램을 허용하는 제어 명령(492)을 포함할 수 있다.

본 발명의 일실시예에 따른 개별적인 제스처 이벤트(401 내지 491)에 대응하는 제어 명령(402 내지 492)은 사용자가 직접 설정할 수 있다. 따라서, 도 4에 나타난 제스처 이벤트에 대응하는 제어 명령은 일실시예이고, 본 발명이 이에 제한되는 것은 아니다.

표 3-2은 또 다른 일실시예에 따른 제스처 이벤트의 신택스(Syntax)를 나타내는 표이다.

표 3-2

<!- Hand Gesture Information -->

</sequence>

</complexType>

표 4-2는 또 다른 제스처 이벤트의 각 구성 요소에 대한 세만틱(Semantics)을 나타내는 표이다.

표 4-2

표 3-3은 또 다른 일실시예에 따른 제스처 이벤트의 신택스(Syntax)를 나타내는 표이다.

표 3-3

</sequence>

</complexType>

</sequence>

</complexType>

표 4-3는 또 다른 제스처 이벤트의 각 구성 요소에 대한 세만틱(Semantics)을 나타내는 표이다.

표 4-3

본 발명의 일측에 따르면, 생성부(230)는 처리부(220)에서 인식된 손 동작 정보에 포함된 손 제스처에 대한 손 제스처 정보(예를 들어, 표 3-2의 신택스 또는 표 3-3의 신택스)를 입력으로 하여 제스처 이벤트를 생성할 수 있다. 이때, 손 제스처 정보에 포함된 신뢰도(Confidence) 데이터가 미리 설정된 임계값(Threshold value)보다 높은 경우에 한하여, 생성부(230)는 인식된 손 제스처 정보를 유효한 데이터로 판단하고, 유효한 손 제스처 정보에 기반하여 제스처 이벤트를 생성할 수 있다.

또 다른 실시예에 따라서는, 신뢰도(Confidence) 데이터가 미리 설정된 임계값보다 높은 경우로서, 속도 값이 속도 임계값보다 높은 경우에 한하여, 생성부(230)는 인식된 손 제스처 정보를 유효한 데이터로 판단하고, 유효한 손 제스처 정보에 기반하여 제스처 이벤트를 생성할 수 있다.

또 다른 실시예에 따라서는, 신뢰도(Confidence) 데이터가 미리 설정된 임계값보다 높은 경우로서, 가속도 값이 가속도 임계값보다 높은 경우에 한하여, 생성부(230)는 인식된 손 제스처 정보를 유효한 데이터로 판단하고, 유효한 손 제스처 정보에 기반하여 제스처 이벤트를 생성할 수 있다.

또 다른 실시예에 따라서는, 신뢰도(Confidence) 데이터가 미리 설정된 임계값보다 높은 경우로서, 최대 가속도 값이 가속도 임계값보다 높은 경우이며, 평균 속도 값이 속도 임계값보다 높은 경우에 한하여, 생성부(230)는 인식된 손 제스처 정보를 유효한 데이터로 판단하고, 유효한 손 제스처 정보에 기반하여 제스처 이벤트를 생성할 수 있다.

도 5는 본 발명의 일실시예에 따른 가상 객체 제어 장치가 적용되는 전체 시스템을 나타내는 도면이다.

도 5를 참조하면, 물리적 상호 장치(Physical Interaction Devices)(504)(즉, 현실 세계)와 장면 표현(Scene Representation)(501)(즉, 가상 세계, 가상 객체) 사이의 상호 작용이 나타난다.

가상 객체의 실시예로 장면 표현(Scene Representation)을 들 수 있다. 장면 표현은 BIFS(Binary Format for Scenes), LASeR(Light Application Scene Representation), 위젯(Widget) 등을 포함할 수 있다. BIFS는 모든 멀티미디어 콘텐츠에 대한 장면 기술 표준이며, LASeR는 휴대폰과 같이 디스플레이 크기가 작고, 네트워크 대역폭도 작은 멀티미디어 콘텐츠에 대한 장면 기술 표준이다.

영역(510)은 위젯 매니저(Widget Manager)(502)와 장면 표현(501) 사이의 상호 호환 영역을 나타내는 것으로서, MPEG-U Part 1이 적용될 수 있다. MPEG-U Part 1은 IPTV, 휴대폰 등의 CE 단말간 위젯 포맷을 상호 호환하게 하는 기술 표준이다.

영역(520)은 세만틱 생성기(Sematics Generator)(503)와 장면 표현(501) 사이, 위젯 매니저(502)와 세만틱 생성기(503) 사이 및 위젯 매니저(502)와 물리적 상호 장치(504) 사이의 상호 호환 영역을 나타내는 것으로서, MPEG-U Part 2가 적용될 수 있다. MPEG-U Part 2는 CE 기기에서 리치 미디어(Rich Media)와의 상호 작용을 위하여 BIFS, LASeR 등의 장면 표현 엔진과 센서/엑츄에이터(Actuator)를 연계하는 기술 표준이다.

영역(530)은 장면 표현(501)과 물리적 상호 장치(504) 사이, 위젯 매니저(502)와 물리적 상호 장치(504) 사이 및 세만틱 생성기(503)와 물리적 상호 장치(504) 사이의 상호 호환 영역을 나타내는 것으로서, MPEG-V Part 5가 적용될 수 있다. MPEG-V는 3D MR, 3D 인터넷(Internet), 체감형 게임 상에서 인터페이스(Interface) 정보 교환을 위한 3D 인터페이스 표준이며, MPEG-V part 5는 센서/엑츄에이터(Actuator)의 감지 정보를 기술한 분야이다.

실시예에 따라서는, 도 1 내지 도 4에서 설명한 본 발명의 일실시예에 따른 가상 객체 제어 장치는 영역(520)에 적용될 수 있다.

도 6은 본 발명의 일실시예에 따른 가상 객체 제어 방법을 나타내는 흐름도이다.

도 6을 참조하면, 본 발명의 일실시예에 따른 가상 객체 제어 방법은 센서로부터 사용자에 대한 감지 정보를 수신한다(610).

일실시예에 따른 센서는 모션 센서, 카메라 등을 포함할 수 있다.

가상 객체 제어 방법은 수신된 감지 정보로부터 사용자의 손 동작에 대한 손 동작 정보를 추출한다(620). 자세히 설명하면, 가상 객체 제어 방법은 감지 정보로부터 사용자의 손 동작이 어떠한 자세(Posture) 또는 제스처(Gesture)를 취하고 있는지를 인지하고, 사용자의 손 동작에 대한 손 동작 정보를 감지 정보로부터 추출할 수 있다.

가상 객체 제어 방법은 추출된 손 동작 정보에 대응하는 이벤트를 생성한다(630).

가상 객체 제어 방법은 생성된 이벤트에 기반하여, 3차원 그래픽 유저 인터페이스 상에 표시되는 가상 객체를 제어한다(640).

본 발명의 일측에 따르면, 가상 객체 제어 방법은 디스플레이 장치에 가상 객체를 출력하는 단계를 더 포함할 수 있다.

본 발명의 일측에 따르면, 이벤트는 사용자의 손의 자세에 대한 자세 이벤트(Posture Event) 및 사용자의 손의 제스처에 대한 제스처 이벤트(Gesture Event)를 포함할 수 있다. 즉, 일실시예에 따른 가상 객체 제어 방법은 손 동작 정보에 따라서, 손의 자세 또는 제스처를 구별하여, 자세 이벤트 또는 제스처 이벤트를 생성할 수 있다.

일실시예에 따른 왼손 자세의 구성 요소 및 오른손 자세의 구성 요소 각각은 오픈 팜(Open Plam), 피스트(Fist), 포인팅(Pointing), 썸-업(Thumb-Up), 썸-다운(Thumb-Down) 및 그랩(Grab)을 포함할 수 있다.

일실시예에 따른 제스처 이벤트는 유저ID(UserID), 왼손 제스처(LH_Gesture), 왼손 시작위치(LH_StartPosition), 왼손 종료위치(LH_EndPosition), 왼손 속도(LH_Velocity), 왼손 가속도(LH_Acceleration), 오른손 제스처(RH_Gesture), 오른손 시작위치(RH_StartPosition), 오른손 종료위치(RH_EndPosition), 오른손 속도(RH_Velocity) 및 오른손 가속도(RH_Acceleration)의 구성 요소를 포함할 수 있다.

일실시예에 따른 왼손 자세의 구성 요소 및 오른손 자세의 구성 요소 각각은 푸쉬(push), 풀(pull), 슬랩 레프트(slap left), 슬랩 라이트(slap right), 슬랩 탑(slap top), 슬랩 바텀(slap bottom), 시계 방향 써클(circle clockwise), 반시계 방향 써클(circle anti-clockwise), 웨이빙(waving) 및 체크(check)를 포함할 수 있다.

본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

200: 가상 객체 제어 장치
210: 수신부
220: 처리부
230: 생성부
240: 제어부

Claims

센서로부터 사용자에 대한 감지 정보를 수신하는 수신부;
상기 수신된 감지 정보로부터 상기 사용자의 손 동작에 대한 손 동작 정보를 추출하는 처리부;
상기 추출된 손 동작 정보에 대응하는 이벤트를 생성하는 생성부; 및
상기 생성된 이벤트에 기반하여, 3차원 그래픽 유저 인터페이스 상에 표시되는 가상 객체를 제어하는 제어부
를 포함하고,
상기 가상 객체는
BIFS(Binary Format for Scenes), LASeR(Light Application Scene Representation) 및 Widget 중 어느 하나의 장면 표현(Scene Representation)에 의해서 기술되는,
가상 객체 제어 장치.
삭제
제1항에 있어서,
상기 이벤트는
상기 사용자의 손의 자세에 대한 자세 이벤트 및 상기 손의 제스처에 대한 제스처 이벤트를 포함하는 가상 객체 제어 장치.
제3항에 있어서,
상기 자세 이벤트는
유저ID, 왼손 자세, 왼손 위치, 오른손 자세 및 오른손 위치의 구성 요소
를 포함하는 가상 객체 제어 장치.
제4항에 있어서,
상기 자세 이벤트는
왼손 자세 신뢰도 및 오른손 자세 신뢰도의 속성
을 더 포함하는 가상 객체 제어 장치.
제3항에 있어서,
상기 자세 이벤트는
손 자세, 손 종류, 손 위치 및 자세 신뢰도의 손 자세 정보; 및
유저ID의 구성 요소
를 포함하는 가상 객체 제어 장치.
제4항에 있어서,
상기 왼손 자세의 구성 요소 및 상기 오른손 자세의 구성 요소는
오픈 팜(Open Plam), 피스트(Fist), 포인팅(Pointing), 썸-업(Thumb-Up), 썸-다운(Thumb-Down) 및 그랩(Grab)을 포함하는 가상 객체 제어 장치.
제3항에 있어서,
상기 제스처 이벤트는
왼손 제스처 및 오른손 제스처 중 적어도 하나의 구성 요소
를 포함하는 가상 객체 제어 장치.
제8항에 있어서,
상기 제스처 이벤트는
유저ID, 왼손 제스처, 왼손 시작위치, 왼손 종료위치, 왼손 속도, 왼손 가속도, 오른손 제스처, 오른손 시작위치, 오른손 종료위치, 오른손 속도 및 오른손 가속도의 구성 요소
를 더 포함하는 가상 객체 제어 장치.
제8항에 있어서,
상기 제스처 이벤트는
왼손 제스처 신뢰도 및 오른손 제스처 신뢰도의 속성
을 더 포함하는 가상 객체 제어 장치.
제8항에 있어서,
상기 왼손 제스처의 구성 요소 및 상기 오른손 제스처의 구성 요소는
푸쉬(push), 풀(pull), 슬랩 레프트(slap left), 슬랩 라이트(slap right), 슬랩 탑(slap top), 슬랩 바텀(slap bottom), 시계 방향 써클(circle clockwise), 반시계 방향 써클(circle anti-clockwise), 웨이빙(waving) 및 체크(check)를 포함하는 가상 객체 제어 장치.
제1항에 있어서,
디스플레이 장치에 상기 가상 객체를 출력하는 출력부
를 더 포함하는 가상 객체 제어 장치.
센서로부터 사용자의 동작에 대한 감지 정보를 수신하는 단계;
상기 수신된 감지 정보로부터 상기 사용자의 손 동작에 대한 손 동작 정보를 추출하는 단계;
상기 추출된 손 동작 정보에 대응하는 이벤트를 생성하는 단계; 및
상기 생성된 이벤트에 기반하여, 3차원 그래픽 유저 인터페이스 상에 표시되는 가상 객체를 제어하는 단계
를 포함하고,
상기 가상 객체는
BIFS(Binary Format for Scenes), LASeR(Light Application Scene Representation) 및 Widget 중 어느 하나의 장면 표현(Scene Representation)에 의해서 기술되는,
가상 객체 제어 방법.
제13항의 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.