KR20180006563A - 동작 인식 기반 사용자 인터페이스 장치와 이를 이용한 동작 인식방법 - Google Patents

Abstract

본 발명은, 음파 또는 전자기파 신호를 송출하는 송신기를 구비하는 컨트롤러; 모션센서와, 상기 송신기에서 송출된 신호를 수신하는 다수의 수신기와, 상기 다수의 수신기에서 각각 수신된 신호를 이용하여 상기 컨트롤러의 위치변동값을 산출하는 위치값산출수단과, 상기 모션센서의 검출값을 이용하여 상기 위치변동값을 보정하는 위치값보정수단을 구비하는 제어대상기기를 포함하는 동작 인식 기반 사용자 인터페이스 장치를 제공한다.
본 발명에 따르면 제어대상 기기가 고정되어 있지 않은 경우에도 제어대상 기기에 설치된 모션센서를 이용하여 컨트롤러의 위치변동값을 보정함으로써 사용자의 동작을 보다 정확하게 인식할 수 있다.

Description

동작 인식 기반 사용자 인터페이스 장치와 이를 이용한 동작 인식방법{User interface device based on motion recognition and motion recognition method using the same}

본 발명은 사용자의 동작을 기반으로 전자기기를 제어하는 사용자 인터페이스에 관한 것으로서, 구체적으로는 고정되지 않은 제어대상기기의 움직임을 고려하여 보다 정확하게 사용자의 동작을 인식할 수 있는 동작 인식 기반 사용자 인터페이스에 관한 것이다.

종래에는 전자기기에 명령 또는 정보를 입력하기 위하여 키보드, 마우스, 조이스틱, 터치스크린 등과 같은 전통적인 입력장치가 주로 사용되었으나, 최근에는 사용자의 동작을 인식하여 전자기기를 제어하는 동작 인식 기반의 사용자 인터페이스가 주목 받고 있다.

종래의 동작 인식 기반 사용자 인터페이스에는 사용자가 손에 쥐거나 착용하는 컨트롤러에 모션센서 또는 근전도센서를 장착하여 동작을 인식하는 방법이나, 카메라에서 획득한 영상데이터를 분석하여 동작을 인식하는 방법이 주로 사용되고 있다.

그런데 모션센서는 사용자의 동작을 세밀하게 검출하기 어려운 단점이 있고, 근전도센서는 사용자의 신체에 항상 접촉되어 있어야 하므로 사용이 불편한 단점이 있으며, 카메라를 사용하는 경우에는 사용자가 항상 카메라의 화각 내에 위치해야 하는 한계가 있다.

이러한 종래의 문제를 해결하기 위하여 최근에는 무선신호를 이용하여 사용자가 휴대하거나 착용한 컨트롤러의 움직임을 검출하는 동작 인식 기술이 소개되고 있다.

즉, 도 1에 예시한 바와 같이, 제어대상기기(10)에 3개 이상의 송신기(11,12,13)를 설치하고, 사용자가 휴대하거나 착용하는 컨트롤러(20)에 수신기를 설치하면, TOA(Time Of Arrival), TDOA(Time Difference Of Arrival) 등의 측위기술을 적용하여 컨트롤러(20)의 위치와 움직임을 인식할 수 있는 것으로 알려져 있다.

그런데 이 방식은 제어대상기기(10)가 고정되어 있지 않으면 사용자의 의도를 정확하게 검출할 수 없는 문제가 있다.

특히 최근 주목을 받고 있는 가상현실 기기나 증강현실 기기는 헤드마운트 타입 또는 안경 타입이 많으므로 사용자가 컨트롤러를 조작하는 중에 머리를 움직이면 사용자의 동작을 정확하게 인식할 수 없게 된다.

예를 들어 사용자가 머리에 가상현실 기기를 착용한 상태에서 손에 쥔 컨트롤러를 오른쪽으로 움직이면서 동시에 머리를 오른쪽으로 돌리면 컨트롤러의 움직임을 정확하게 인식할 수 없고, 극단적인 경우에는 가상현실 기기와 컨트롤러의 상대위치가 변하지 않아 사용자 동작이 전혀 검출되지 않는 경우도 발생할 수도 있다.

한국공개특허 제10-2011-0123441호(2011.11.15 공개) 한국공개특허 제10-2012-0056698호(2012.06.04 공개)

본 발명은 전술한 문제를 해결하기 위한 것으로서, 제어대상기기가 고정되어 있지 않은 경우에 제어대상기기의 움직임을 고려하여 사용자의 동작을 보다 정확하게 인식할 수 있는 동작 인식 기반 사용자 인터페이스를 제공하는데 그 목적이 있다.

이러한 목적을 달성하기 위하여, 본 발명의 제1 양상은, 음파 또는 전자기파 신호를 송출하는 송신기를 구비하는 컨트롤러; 모션센서와, 상기 송신기에서 송출된 신호를 수신하는 다수의 수신기와, 상기 다수의 수신기가 각각 수신한 신호를 이용하여 상기 컨트롤러의 위치데이터를 산출하는 위치값산출수단과, 상기 모션센서의 검출값을 이용하여 상기 위치데이터를 보정하는 위치값보정수단을 구비하는 제어대상기기를 포함하는 동작 인식 기반 사용자 인터페이스 장치를 제공한다.

본 발명의 제2 양상은, 음파 또는 전자기파 신호를 송출하는 송신기와, 모션센서를 구비하는 컨트롤러; 상기 송신기에서 송출된 신호를 수신하는 다수의 수신기와, 상기 다수의 수신기가 각각 수신한 신호를 이용하여 상기 컨트롤러의 위치데이터를 산출하는 위치값산출수단과, 상기 모션센서의 검출값을 이용하여 상기 위치데이터를 보정하는 위치값보정수단을 구비하는 제어대상기기를 포함하는 동작 인식 기반 사용자 인터페이스 장치를 제공한다.

본 발명의 제1 또는 제2 양상에 따른 동작 인식 기반 사용자 인터페이스 장치에서, 상기 컨트롤러는 사용자의 팔에 착용하는 착용밴드를 포함하고, 상기 송신기는 상기 착용밴드의 둘레를 따라 하나 이상 설치될 수 있다.

또한 본 발명의 제1 또는 제2 양상에 따른 동작 인식 기반 사용자 인터페이스 장치에서, 상기 송신기는 다수 개이고, 상기 컨트롤러는 상기 컨트롤러에 설치된 모션센서의 검출값을 이용하여 상기 다수의 송신기 중에서 적어도 하나의 송신기를 선택하고, 선택된 송신기를 활성화시키는 송신기 선택수단을 포함할 수 있다.

본 발명의 제3 양상은, 모션센서와, 음파 또는 전자기파 신호를 송출하는 다수의 송신기를 구비하는 제어대상기기; 상기 다수의 송신기에서 송출된 신호를 수신하는 수신기와, 상기 수신기가 수신한 상기 다수의 송신기의 신호를 이용하여 위치데이터를 산출하는 위치값산출수단과, 상기 모션센서의 검출값을 이용하여 상기 위치데이터를 보정하는 위치값보정수단을 구비하는 컨트롤러를 포함하는 동작 인식 기반 사용자 인터페이스 장치를 제공한다.

본 발명의 제4 양상은, 음파 또는 전자기파 신호를 송출하는 다수의 송신기를 구비하는 제어대상기기; 모션센서와, 상기 다수의 송신기에서 송출된 신호를 수신하는 수신기와, 상기 수신기가 수신한 상기 다수의 송신기의 신호를 이용하여 위치데이터를 산출하는 위치값산출수단과, 상기 모션센서의 검출값을 이용하여 상기 위치데이터를 보정하는 위치값보정수단을 구비하는 컨트롤러를 포함하는 동작 인식 기반 사용자 인터페이스 장치를 제공한다.

본 발명의 제3 또는 제4 양상에 따른 동작 인식 기반 사용자 인터페이스 장치에서, 상기 컨트롤러는 사용자의 팔에 착용하는 착용밴드를 포함하고, 상기 수신기는 상기 착용밴드의 둘레를 따라 하나 이상 설치될 수 있다.

또한 본 발명의 제3 또는 제4 양상에 따른 동작 인식 기반 사용자 인터페이스 장치에서, 상기 수신기는 다수 개이고, 상기 컨트롤러는 상기 컨트롤러에 설치된 모션센서의 검출값을 이용하여 상기 다수의 수신기 중에서 적어도 하나의 수신기를 선택하고, 선택된 수신기를 활성화시키는 수신기 선택수단을 포함할 수 있다.

본 발명의 제1, 제2, 제3 또는 제4 양상에 따른 동작 인식 기반 사용자 인터페이스 장치에서, 상기 컨트롤러 또는 상기 제어대상기기는, 위치확인모드를 활성화 또는 해제하는 검출모드선택수단과, 보정모드를 활성화 또는 해제하는 보정모드선택수단 중에서 적어도 하나를 포함할 수 있다. 이때 상기 검출모드선택수단 또는 상기 보정모드선택수단은, 사용자가 손으로 조작하는 입력장치이거나 사용자의 생체신호를 검출하는 생체신호센서일 수 있다.

또한 본 발명의 제1, 제2, 제3 또는 제4 양상에 따른 동작 인식 기반 사용자 인터페이스 장치에서, 상기 제어대상기기는 헤드 마운트 타입의 가상현실 기기일 수 있다.

본 발명의 제5 양상은, 컨트롤러에 구비된 송신기가 송출하는 음파 또는 전자기파 신호를 다수의 수신기에서 수신하는 신호수신단계; 상기 다수의 수신기가 각각 수신한 신호를 이용하여 상기 컨트롤러의 위치데이터를 산출하는 위치데이터 산출단계; 모션센서의 검출값을 이용하여 상기 위치데이터를 보정하는 보정단계를 포함하는 동작 인식 방법을 제공한다.

본 발명의 제5 양상에 따른 동작 인식 방법에서, 상기 위치데이터 산출단계에서는 2개의 수신기에서 각각 수신된 신호를 이용하여 2차원 위치데이터를 산출하고, 상기 보정단계는 상기 컨트롤러에 설치된 모션센서의 검출값을 이용하여 3차원 위치데이터를 추정하는 과정을 포함할 수 있다.

본 발명의 제6 양상은, 제어대상기기의 다수의 송신기가 각각 송출하는 음파 또는 전자기파 신호를 컨트롤러에 구비된 수신기에서 수신하는 신호수신단계; 상기 수신기가 수신한 신호를 이용하여 상기 컨트롤러의 위치데이터를 산출하는 위치데이터 산출단계; 상기 제어대상기기에 구비된 모션센서의 검출값을 이용하여 상기 위치데이터를 보정하는 보정단계를 포함하는 동작 인식 방법을 제공한다.

본 발명의 제6 양상에 따른 동작 인식 방법에서, 상기 위치데이터 산출단계에서는 2개의 송신기에서 각각 송출한 신호를 이용하여 2차원 위치데이터를 산출하고, 상기 보정단계는 상기 컨트롤러에 설치된 모션센서의 검출값을 이용하여 3차원 위치데이터를 추정하는 과정을 포함할 수 있다.

본 발명의 제7 양상은, 모션센서; 상기 카메라를 통해 획득한 영상데이터를 분석하여 사용자 손의 위치데이터를 산출하는 위치값산출수단; 상기 모션센서의 검출값을 이용하여 상기 위치데이터를 보정하는 위치값보정수단을 포함하는 동작 인식 기반 사용자 인터페이스 장치를 제공한다.

본 발명의 제8 양상은, 모션센서를 구비하는 제어대상기기; 카메라와, 상기 카메라를 통해 획득한 상기 제어대상기기의 영상데이터를 분석하여 위치데이터를 산출하는 위치값산출수단과, 상기 모션센서의 검출값을 이용하여 상기 위치데이터를 보정하는 위치값보정수단을 구비하는 컨트롤러를 포함하는 동작 인식 기반 사용자 인터페이스 장치를 제공한다.

본 발명에 따르면 제어대상 기기가 고정되어 있지 않은 경우에도 제어대상 기기에 설치된 모션센서를 이용하여 컨트롤러의 위치변동값을 보정함으로써 사용자의 동작을 보다 정확하게 인식할 수 있다.

도 1은 종래의 동작 인식 기반 사용자 인터페이스 장치를 예시한 도면
도 2는 본 발명의 제1 실시예에 따른 동작 인식 기반 사용자 인터페이스 장치의 사용상태도
도 3은 본 발명의 제1 실시예에 따른 동작 인식 기반 사용자 인터페이스 장치의 블록도
도 4는 본 발명의 제1 실시예에 따른 동작 인식 기반 사용자 인터페이스 장치를 이용한 동작 인식 방법을 나타낸 흐름도
도 5는 컨트롤러의 3차원 위치를 산출하는 방법을 나타낸 개념도
도 6은 컨트롤러의 2차원 위치를 산출하는 방법을 나타낸 개념도
도 7은 착용형 컨트롤러에 송신기가 다수 개 설치된 모습을 예시한 도면
도 8은 본 발명의 제1 실시예에 따른 동작 인식 기반 사용자 인터페이스 장치의 변형 예를 나타낸 블록도
도 9는 본 발명의 제2 실시예에 따른 동작 인식 기반 사용자 인터페이스 장치의 사용상태도
도 10은 본 발명의 제2 실시예에 따른 동작 인식 기반 사용자 인터페이스 장치의 블록도
도 11은 본 발명의 제2 실시예에 따른 동작 인식 기반 사용자 인터페이스 장치를 이용한 동작 인식 방법을 나타낸 흐름도
도 12는 본 발명의 제2 실시예에 따른 동작 인식 기반 사용자 인터페이스 장치의 변형 예를 나타낸 사용상태도
도 13은 본 발명의 제2 실시예에 따른 동작 인식 기반 사용자 인터페이스 장치의 변형 예를 블록도
도 14는 제어대상기기에 모션센서가 없는 경우의 동작 인식 기반 사용자 인터페이스 장치를 예시한 블록도

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.

참고로 본 명세서에서 하나의 구성요소(element)가 다른 구성요소와 연결, 결합, 또는 통신하는 경우는, 다른 구성요소와 직접적으로 연결, 결합, 또는 통신하는 경우뿐만 아니라 중간에 다른 요소를 사이에 두고 간접적으로 연결, 결합 또는 통신하는 경우도 포함한다.

또한 하나의 구성요소가 다른 구성요소와 직접 연결 또는 직접 결합되는 경우는 중간에 다른 요소가 개재되지 않는 것을 의미한다. 또한 어떤 부분이 어떤 구성요소를 포함 또는 구비하는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함하거나 구비할 수 있는 것을 의미한다.

제 1 실시예

도 2와 도 3은 각각 본 발명의 제1 실시예에 따른 동작 인식 기반 사용자 인터페이스 장치의 사용상태도 및 블록도를 나타낸 것이다.

도면에 나타낸 바와 같이, 본 발명의 제1 실시예에 따른 사용자 인터페이스 장치는 제어대상기기(100)와 컨트롤러(200)를 포함한다.

본 발명의 제1 실시예에서는 제어대상기기(100)가 사용자의 머리에 착용할 수 있는 가상현실기기 또는 증강현실 기기인 것으로 가정한다. 그리고 본 명세서에서는 설명의 편의를 위하여 일반적인 가상현실 기기뿐만 아니라 증강현실 기기를 총칭하여 가상현실 기기로 정의하기로 한다. 이러한 가상현실 기기는 헤드마운트 타입의 기기뿐만 아니라 안경 타입의 기기일 수도 있고, 사용자의 다른 신체부위에 착용하는 기기일 수도 있다.

다만 제어대상기기(100)가 반드시 가상현실 기기로 한정되어야 하는 것은 아니므로 사용자가 착용 또는 휴대하는 컨트롤러(200)에 의해 제어되는 다른 종류의 전자기기도 제어대상기기(100)에 포함될 수 있다. 이는 후술하는 제2 실시예의 경우도 마찬가지이다.

제어대상기기(100)는 도 3에 나타낸 바와 같이, 수신기(110), 위치값산출수단(120), 모션센서(130), 위치값보정수단(140), 콘텐츠실행수단(150), 디스플레이(160), 저장수단(170), 통신수단(180) 등을 포함할 수 있다.

수신기(110)는 컨트롤러(200)의 송신기(210)에서 주기적으로 송출되는 무선신호(예, 음파, 전자기파 등)를 수신한다. 수신기(110)는 예를 들어, 도 2에 나타낸 바와 같이 제어대상기기(100)에 서로 이격되어 설치된 제1 내지 제3수신기(111,112,113)를 포함할 수 있다. 다만 수신기(110)의 개수가 3개로 한정되는 것은 아니므로 경우에 따라서는 수신기가 2개만 설치되거나, 4개 이상 설치될 수도 있다.

위치값산출수단(120)은 제1 내지 제3수신기(111,112,113)에서 수신된 무선신호를 이용하여 컨트롤러(200)의 위치값을 주기적으로 산출한다. 컨트롤러(200)의 위치값은 TOA, TDOA 등의 공지된 측위기술을 이용하여 산출될 수 있다.

또한 위치값산출수단(120)은 주기적으로 산출한 위치값을 이용하여 컨트롤러(200)의 위치변동 여부를 확인하고, 위치변동이 있는 경우에는 위치변동값을 산출할 수 있다.

모션센서(130)는 제어대상기기(100)의 움직임을 검출하기 위한 것으로서, 3축 가속도센서(accelerometer), 3축 각속도센서(gyroscope), 지자계 센서, 또는 이들의 조합으로 구성될 수 있다.

위치값보정수단(140)은 모션센서(130)의 검출값을 주기적으로 확인하고, 모션센서(130)의 검출값이 설정기준 이상이면 제어대상기기(100)가 움직인 것으로 판단하고 위치값산출수단(140)에서 산출된 위치값 또는 위치변동값을 보정한다.

콘텐츠실행수단(150)은 저장수단(170)에 저장된 콘텐츠 또는 별도의 서버로부터 제공되는 콘텐츠를 사용자의 명령에 의해 또는 미리 설정된 바에 따라 실행시키고, 콘텐츠 영상을 디스플레이(160)를 통해 표시한다.

또한 콘텐츠실행수단(150)은 위치값산출수단(120)에서 산출한 위치값 또는 위치변동값을 기반으로 콘텐츠 영상을 표시하는 디스플레이(160)의 동작을 제어하거나, 디스플레이(160)에 표시된 오브젝트를 제어하거나, 오브젝트와 사용자의 상호작용을 제어할 수 있다. 또한 콘텐츠실행수단(150)은 콘텐츠 영상의 배경화면 뷰(view)가 모션센서(130)의 검출값에 따라 변하도록 제어할 수 있다.

또한 콘텐츠실행수단(150)은 위치값보정수단(140)에서 보정한 컨트롤러(200)의 위치값 또는 위치변동값을 기반으로 콘텐츠 영상을 표시하는 디스플레이(160)의 동작을 제어하거나, 디스플레이(160)에 표시된 오브젝트를 제어하거나, 오브젝트와 사용자의 상호작용을 제어할 수 있다.

또한 콘텐츠실행수단(150)은 피드백제공수단(도면에는 나타내지 않았음)을 제어하여 청각, 촉각, 후각 등으로 감지될 수 있는 다양한 피드백을 사용자에게 제공할 수 있다.

디스플레이(160)는 콘텐츠 영상을 시각적으로 표시하는 장치이며, 디스플레이(160)의 종류나 크기는 특별히 제한되지 않는다.

저장수단(170)에는 제어대상기기(100)의 제어프로그램, 콘텐츠실행수단(150)에 의해 실행될 콘텐츠, 콘텐츠에 포함된 오브젝트와 관련된 정보 등이 저장될 수 있다.

통신수단(180)은 컨트롤러(200)에 구비된 통신수단(230)과의 유선 또는 무선의 데이터 통신을 지원하며, 다른 전자기기와의 데이터통신을 지원할 수도 있다.

한편 컨트롤러(200)는 송신기(210), 모션센서(220), 통신수단(230), 검출모드선택수단(270), 보정모드선택수단(280) 등을 포함할 수 있다.

송신기(210)는 음파, 전자기파 등의 무선신호를 주기적으로 송출한다. 음파는 가청대역의 음파일 수도 있고 초음파일 수도 있다. 전자기파의 종류도 제한되지 않으며, 적외선, 마이크로파, 라디오파 등이 제한 없이 사용될 수 있다.

송신기(210)가 음파를 송출하는 경우에는 기준시점을 확인할 수 있는 무선신호를 함께 송출할 수도 있다.

모션센서(220)는 컨트롤러(200)의 움직임을 검출하는 것으로서, 모션센서(220)의 검출값은 제어대상기기(100)에 수신기(110)가 2개만 설치된 경우에 컨트롤러(200)의 3차원 위치를 추정하는데 이용될 수 있다. 따라서 제어대상기기(100)에 수신기(110)가 3개 이상 설치된 경우에는 모션센서(220)는 생략될 수도 있다.

통신수단(230)은 제어대상기기(100)와의 유선 또는 무선의 데이터통신을 지원한다.

검출모드선택수단(270)은 제어대상기기(100)에서 컨트롤러(200)의 위치를 검출하는 위치검출모드를 활성화하거나 해제하는 명령을 입력하는 수단이다. 즉, 제어대상기기(100)는 검출모드선택수단(270)에 의해 위치확인모드 활성화 명령이 입력되어야만 위치값산출수단(120)과 위치값보정수단(140)을 통해 컨트롤러(200)의 위치값 또는 위치변동값을 산출 및 보정할 수 있다.

검출모드선택수단(270)에 의해 위치확인모드가 활성화되면 송신기(210)가 동작하여 음파, 전자기파 등의 무선신호를 송출하도록 설정할 수도 있다.

다만, 검출모드선택수단(270)은 생략될 수도 있다. 예를 들어 컨트롤러(200)의 전원이 온(on)되면 자동으로 위치확인모드 활성화 명령을 제어대상기기(100)로 전송하거나, 제어대상기기(100)가 소정의 이벤트(콘텐츠 실행, 전원 온(on), 등)가 발생할 때 자동으로 위치확인모드를 활성화시킬 수도 있기 때문이다.

만일 위치확인모드가 해제된 상태이면, 사용자가 컨트롤러(200)를 움직이지 않는 상태에서 제어대상기기(100)를 착용한 머리를 움직이더라도 디스플레이에 표시되는 배경화면의 뷰(view)는 사용자의 머리 움직임에 의한 모션센서(130)의 검출값에 따라 변할 수 있지만 사용자가 컨트롤러(200)로 조작하는 오브젝트는 배경화면과 상관없이 디스플레이(160)의 고정된 위치에 표시될 수 있다.

보정모드선택수단(280)은 위치값산출수단(120)에서 산출한 컨트롤러(200)의 위치값 또는 위치변동값을 모션센서(130)의 검출값을 이용하여 보정하는 보정모드를 활성하거나 해제하는 명령을 입력하는 수단이다. 즉, 제어대상기기(100)는 보정모드선택수단(280)에 의해 보정모드 활성화 명령이 입력되어야만 위치값산출수단(120)에서 산출한 위치값 또는 위치변동값을 모션센서(130)의 검출값을 이용하여 보정할 수 있다.

구체적으로 살펴보면, 예를 들어 위치확인모드와 보정모드가 모두 활성화된 상태이면, 사용자가 컨트롤러(200)는 움직이지 않고 제어대상기기(100)를 착용한 머리만 움직이는 경우에 상대위치의 변경으로 인해 컨트롤러(200)의 위치값이 산출되기는 하지만 보정을 통해 컨트롤러(200)의 움직임이 없는 것으로 처리할 수 있다.

다른 예로서, 위치확인모드는 활성화되었는데 보정모드가 해제된 상태이면, 사용자가 컨트롤러(200)는 움직이지 않고 제어대상기기(100)를 착용한 머리만 움직이더라도 상대위치의 변경으로 인해 컨트롤러(200)의 위치값이 산출되므로 사용자는 머리만 움직여서 디스플레이 상에서 오브젝트의 위치를 변경시킬 수 있다.

검출모드선택수단(270)과 보정모드선택수단(280)은 예를 들어 컨트롤러(200)에 구비된 키, 스위치, 터치키, 터치패드 등의 입력장치의 형태로 제공될 수 있다. 즉, 사용자가 컨트롤러(200)에 구비된 키, 스위치, 터치키, 터치패드 등을 조작하면 위치확인모드 또는 보정모드의 활성화명령 또는 해제명령이 제어대상기기(100)로 전송되고, 제어대상기기(100)는 이에 따라 위치확인모드 또는 보정모드를 활성화하거나 해제할 수 있다.

또한 검출모드선택수단(270)과 보정모드선택수단(280)은 근전도센서 등과 같이 사용자의 동작이나 상태를 인식하는 생체신호센서일 수도 있다. 예를 들어 착용형 컨트롤러(200)에 설치된 근전도센서에서 위치확인모드/보정모드의 활성화/ 해제명령에 대응하는 근전도신호가 검출되면 컨트롤러(200)가 해당 명령을 제어대상기기(100)로 전송하고, 제어대상기기(100)는 이에 따라 위치확인모드 또는 보정모드를 활성화하거나 해제한다.

위치확인모드 또는 보정모드의 활성화 또는 해제명령에 대응하는 근전도신호는 특별히 제한되지 않으며, 예를 들어 손가락을 펴는 동작, 주먹을 쥐는 동작, 특정 손가락을 움직이는 동작 등에 대응하는 근전도 신호일 수 있다.

한편 도면에는 컨트롤러(200)가 사용자의 손목에 착용되는 것으로 나타내었으나, 이에 한정되지 않으며 팔뚝 등 다른 신체부위에 착용되는 것일 수도 있고, 사용자가 손에 쥐고 사용하는 것일 수도 있다.

또한 도면에는 사용자가 양쪽 손목에 각각 컨트롤러(200)를 착용한 것으로 나타나 있으나, 이에 한정되는 것은 아니므로 한쪽 손목에만 컨트롤러(200)를 착용할 수도 있다.

사용자가 양쪽 손목에 각각 컨트롤러(200)를 착용한 경우에는, 2개의 컨트러(200)에 모두 검출모드선택수단(270) 또는 보정모드선택수단(280)을 설치하여 각 컨트롤러(200)에 대한 위치확인모드 또는 보정모드를 서로 독립적으로 설정할 수 있다.

즉, 제어대상기기(100)는 한쪽 컨트롤러(200)에 대한 위치확인모드가 해제된 상태이면 해당 컨트롤러(200)의 위치값 또는 위치변동값을 아예 산출하지 않을 수 있고, 보정모드가 해제된 상태이면 제어대상기기(100)의 움직임이 검출되더라도 해당 컨트롤러(200)의 위치값 또는 위치변동값을 보정하지 않을 수 있다.

또한 사용자가 양쪽 손목에 각각 컨트롤러(200)를 착용한 경우에는, 한쪽 컨트롤러(200)에는 검출모드선택수단(270)만 설치하고 다른쪽 컨트롤러(200)에는 보정모드선택수단(280)을 설치할 수도 있다.

이하에서는 도 4를 참조하여 본 발명의 제1실시예에 따른 사용자 인터페이스 장치를 이용한 동작 인식 방법의 일 예를 설명한다.

먼저 제어대상기기(100)는, 사용자가 컨트롤러(200)에 구비된 검출모드선택수단(270)을 조작하거나 전술한 여러 방법에 의해 위치확인모드가 활성화된 상태인 것으로 가정한다.

이 상태에서 컨트롤러(200)에 구비된 송신기(210)가 설정된 주기마다 음파, 전자기파 등의 무선신호를 송출하면, 제어대상기기(100)에 구비된 수신기(110)가 송출된 무선신호를 수신한다. (ST11, ST12)

이어서 제어대상기기(100)에 구비된 위치값산출수단(120)은 수신기(110)에서 수신한 무선신호를 이용하여 컨트롤러(200)의 위치값을 산출한다.

만일 도 2에 나타낸 바와 같이 수신기(110)가 서로 이격되어 설치된 제1 내지 제3 수신기(111,112,113)를 포함하는 경우에는 TOA, TDOA 등의 측위기술을 이용하여 컨트롤러(200)의 3차원 위치값을 산출할 수 있다.

즉, 제1 내지 제3 수신기(111,112,113)는 각각의 위치와 서로 간의 거리가 고정되어 있으므로, 위치값산출수단(120)은 각 수신기(111,112,113)가 수신한 신호를 이용하여 도 5에 나타낸 바와 같이 제1시점에서의 컨트롤러(200)의 위치값(P1(x1,y1,z1))과 제2시점에서의 컨트롤러(200)의 위치값(P2(x2,y2,z2))을 산출할 수 있다.(ST13)

또한 위치값산출수단(120)은 이와 같이 제1 시점의 위치값(P1)과 제2 시점의 위치값(P2)을 산출한 이후에 컨트롤러(200)의 위치값이 변동되었는지 여부를 확인한다. (ST14)

위치값산출수단(120)은 위치값 변동이 확인되는 경우에 위치변동값을 산출할 수 있다. 이때 위치값의 변경 정도가 설정 기준 이상이면 컨트롤러(200)의 위치변동이 있는 것으로 판단하여 위치변동값을 산출하고, 설정 기준 미만이면 컨트롤러(200)의 위치변동이 없는 것으로 판단할 수 있다. (ST15)

위 단계에서 컨트롤러(200)의 위치변동값이 산출되면, 위치값보정수단(140)은 보정모드가 활성화된 상태인지 여부를 확인할 수 있다. 보정모드는 컨트롤러(200)에 구비된 보정모드선택수단(280)에 의해 활성화될 수 있음은 전술한 바와 같다. (ST16)

만일 보정모드가 활성화된 상태이면, 위치값보정수단(140)은 제1 시점과 제2 시점의 사이에 모션센서(130)에서 신호가 검출되었는지 여부를 확인한다. (ST17)

ST17단계에서 모션센서(130)의 신호가 검출된 것으로 확인되면 위치값보정수단(140)은 모션센서(130)의 검출값을 이용하여 위치값산출수단(120)에서 산출한 위치값 또는 위치변동값을 보정한다.

일 예로서, 컨트롤러(200)의 위치변동값이 (+)x축 방향 20cm 로 산출된 경우에 모션센서(130)의 검출값을 통해 제어대상기기(100)가 (-)x축 방향으로 10cm 이동한 것으로 확인되면, 컨트롤러(200)의 실제 위치변동값을 (+)x축 방향 10cm 로 보정할 수 있다.

다른 예로서, 컨트롤러(200)의 위치변동값이 사용자를 중심으로 오른쪽으로 45도 회전한 것으로 산출된 경우에 모션센서(130)의 검출값을 통해 제어대상기기(100)가 왼쪽으로 15도 회전한 것으로 확인되면, 컨트롤러(200)의 실제 위치변동값을 오른쪽으로 30도 회전한 것으로 보정할 수 있다. (ST18)

이와 같이 컨트롤러(200)의 위치값 또는 위치변동값이 보정되면, 콘텐츠 실행수단(150)은 보정된 위치값 또는 위치변동값을 기반으로 디스플레이(160)의 동작을 제어하거나, 디스플레이에 표시된 오브젝트를 제어하거나, 오브젝트와 사용자의 상호작용을 제어한다.

만일 위 ST16단계에서 보정모드가 해제된 상태이거나. ST17 단계에서 모션센서(130)의 신호가 검출되지 않은 것으로 확인되면, 위치값산출수단(120)에서 산출한 위치값 또는 위치변동값을 보정할 필요가 없으므로 콘텐츠 실행수단(150)은 산출된 위치값 또는 위치변동값을 기반으로 디스플레이(160)의 동작을 제어하거나, 디스플레이에 표시된 오브젝트를 제어하거나, 오브젝트와 사용자의 상호작용을 제어한다. (ST19)

한편 ST14단계에서, 컨트롤러(200)의 위치값 변동이 없는 경우는, 컨트롤러(200)와 제어대상기기(100)가 모두 정지한 경우이거나 컨트롤러(200)와 제어대상기기(100)가 동일한 속도와 방향으로 움직이는 경우이므로 각 경우에 따라 다른 방식으로 제어대상기기(100)를 제어할 필요가 있다.

이를 위해 ST14 단계에서 컨트롤러(200)의 위치값 변동이 없는 것으로 확인되면, 모션센서(130)의 신호를 확인하는 ST20 단계를 수행한다.

ST20 단계에서, 모션센서(130)의 신호가 없거나 검출값이 무시될 정도이면, 컨트롤러(200)가 전혀 움직이지 않은 것이므로 위 ST12 내지 ST14를 다시 수행해야 함은 물론이다.

만일 ST20 단계에서, 모션센서(130)의 신호가 검출되면 제어대상기기(100)와 컨트롤러(200)가 동일한 방향과 속도로 움직였다는 것을 의미하므로 이 경우에는 제어대상기기(100)에서 실행되는 콘텐츠의 종류, 특성 등을 감안하여 오브젝트 등을 제어하는 방법을 다음에 예시한 여러 방법 중에서 설정해 둘 필요가 있다.

일 예로서, 사용자 입력이 없는 것으로 처리하도록 설정할 수 있다.

다른 예로서, 모션센서(130)의 검출값을 기반으로 디스플레이(160)에 표시되는 오브젝트, 뷰 등을 제어하도록 설정할 수 있다.

또 다른 예로서, 컨트롤러(200)에 구비된 모션센서(220)의 신호를 이용하여 컨트롤러(200)의 움직임 정보를 산출하고 이를 기반으로 디스플레이(160)에 표시되는 오브젝트, 뷰 등을 제어하도록 설정할 수 있다. 이와 다른 방법을 설정할 수도 있음은 물론이다.

이상에서 설명한 본 발명의 제1 실시예에 따른 사용자 인터페이스 장치는 다양한 형태로 변형 또는 수정되어 실시될 수 있다.

일 예로서, 이상에서는 제어대상기기(100)에 3개의 수신기(111,112,113)를 설치하여 컨트롤러(200)의 3차원 위치값 또는 위치변동값을 산출하고 이를 기반으로 제어대상기기(100)를 제어하는 것으로 설명하였는데 반드시 이에 한정되는 것은 아니다.

즉, 제어대상기기(100)에서 실행되는 콘텐츠의 종류에 따라서는 2차원 위치값 또는 위치변동값만 산출하고 이에 대응하는 입력신호를 생성할 수도 있다.

도 6에 나타낸 바와 같이 제어대상기기(100)에 2개의 수신기(111,112)를 설치하거나 3개의 수신기 중에서 2개의 수신기에서 수신되는 신호만 이용하면, 제1시점에서의 컨트롤러(200)의 위치값(P1(x1,z1))과 제2시점에서의 컨트롤러(200)의 위치값(P2(x2,z2))을 산출할 수 있고, x-z 평면 상에서의 컨트롤러(200)의 2차원 위치변동값을 산출할 수 있다.

한편 컨트롤러(200)에 모션센서(220)가 설치되어 있다면, 이와 같이 산출된 x-z 평면 상의 2차원 위치변동값과 모션센서(220)의 검출값을 이용하여 컨트롤러(200)의 y축 방향 변위를 추정할 수 있고, 이를 통해 컨트롤러(200)의 3차원 위치값 또는 위치변동값을 추정할 수 있다. 이렇게 하면 3개의 수신기(111,112,113)를 이용하는 경우에 비하여 위치값의 정확도는 다소 낮지만 수신기의 개수가 줄어들기 때문에 위치값 산출에 소요되는 시간을 단축하고 비용을 절감할 수 있는 이점이 있다.

다른 예로서, 도 3에는 검출모드선택수단(270)과 보정모드선택수단(280)이 컨트롤러(200)에 설치되는 것으로 나타내었으나, 검출모드선택수단과 보정모드선택수단 중에서 적어도 하나는 제어대상기기(100)에 설치될 수도 있다. 제어대상기기(100)에 설치되는 검출모드선택수단 또는 보정모드선택수단도 키, 스위치, 터치키, 터치패드 등의 입력장치의 형태로 제공될 수 있다. 또한 헤드마운트 장치 등에 안전도센서 또는 뇌전도센서를 설치하고, 안전도신호 또는 뇌전도신호를 이용하여 위치확인모드 또는 보정모드를 활성화하거나 해제하도록 구성할 수도 있다.

또 다른 예로서, 도 3에는 컨트롤러(200)에 1개의 송신기(210)가 설치되는 것으로 나타내었으나 이에 한정되는 것은 아니므로 컨트롤러(200)에 하나 이상의 송신기(210)가 설치될 수도 있다.

특히, 도 7에 나타낸 바와 같이 컨트롤러(200)가 사용자의 손목 또는 팔뚝에 착용하는 타입인 경우에는 착용밴드(202)의 주변을 따라 다수 개의 송신기(210)를 설치할 수 있다. 이렇게 하면 사용자의 손목 자세에 따라 특정 송신기(210)가 제어대상기기(100)를 향하지 못하는 경우에도 다른 송신기(210)에서 송출되는 신호를 이용하여 컨트롤러(200)의 위치를 확인할 수 있다.

한편 컨트롤러(200)에 설치된 다수의 송신기(210)가 각각 음파 또는 전자기파 등의 무선신호를 송출하는 경우에는 제어대상기기(100)의 위치값산출수단(120)이 어떤 송신기(210)에서 송출된 신호를 이용하여 위치값을 산출해야 하는지 미리 설정해 둘 필요가 있다.

첫째, 다수의 송신기(210)는 서로 동일한 주파수의 신호를 송출하고, 위치값산출수단(120)은 송신기(210)를 구분하지 않고 기준 시점에 각 수신기(111,112,113)에서 수신되는 임의의 송신기(210)의 신호를 이용하여 컨트롤러(200)의 위치값을 산출하도록 설정할 수 있다.

즉, 다수의 송신기(210)에서 동시에 신호를 송출하더라도 수신기(111,112,113)와의 거리에 따라 도달시간이 다르므로 위치값산출수단(120)은 기준 시점에 수신된 임의의 송신기(210)의 신호를 이용하여 위치값을 산출할 수 있다. 만일 기준 시점에 다수 송신기(210)의 신호가 동시에 수신되면 하나의 신호를 임의로 선택하여 위치값을 산출하도록 설정할 수 있다.

둘째, 다수의 송신기(210)가 동일한 주파수의 신호를 시간차를 두고 순차적으로 송출하면, 위치값산출수단(120)은 각 수신기(111,112,113)에서 수신되는 신호를 이용하여 컨트롤러(200)의 위치값을 산출할 수 있다.

셋째. 각 송신기(210)는 각각 다른 주파수의 신호를 송출하고 제어대상기기(100)의 위치값산출수단(120)은 동일한 주파수의 신호만을 이용하여 컨트롤러(200)의 위치값을 산출할 수 있다.

넷째, 각 송신기(210)는 고유식별정보를 포함하는 신호를 송출하고, 제어대상기기(100)의 위치값산출수단(120)은 동일한 고유식별정보를 포함하는 신호만을 이용하여 컨트롤러(200)의 위치값을 산출할 수 있다.

한편, 이와 같이 컨트롤러(200)에 다수의 송신기(210)가 설치되는 경우에는 모든 송신기(210)가 신호를 송출하는 대신 일부 송신기(210)만을 활성화시켜 신호를 송출하도록 하면 전력소비를 크게 줄일 수 있다. 예를 들어 다수의 송신기(210) 중에서 제어대상기기(100)를 향하는 송신기(210) 또는 제어대상기기(100)와 가장 가까은 송신기(210)를 확인하여 해당 송신기(210)만 활성화시킬 수 있다.

이를 위해 컨트롤러(200)는 송신기 선택수단(도면에는 나타내지 않았음)을 구비할 수 있다. 송신기 선택수단은 컨트롤러(200)에 구비된 모션센서(220)의 검출값을 이용하여 사용자의 손 움직임에 따른 컨트롤러(200)의 자세를 주기적으로 확인하고. 이를 통해 컨트롤러(200)에 장착된 다수의 송신기(210) 중에서 제어대상기기(100)를 향하고 있는 송신기(210) 또는 제어대상기기(100)와 가장 가까운 송신기(210)를 확인하며, 확인된 송신기(210)만 활성화시켜서 음파 또는 전자기파의 무선신호를 송출하도록 제어할 수 있다.

제어대상기기(100)를 향하고 있거나 제어대상기기(100)와 가장 가까운 송신기(210)가 2 이상이면 이 중에서 임의로 하나를 선택하여 활성화시키거나 모두 활성화시킬 수 있다.

송신기 선택수단은 이와 같은 방식으로 다수의 송신기(210) 중에서 적어도 하나를 활성화시킨 이후에도 컨트롤러(200)의 자세를 지속적으로 확인하고, 제어대상기기(100)를 향하거나 가장 가까운 송신기(210)가 변경되면 새로운 송신기(210)를 선택하여 활성화시키는 한편 이전에 활성화된 송신기는 대기모드로 전환시킬 수 있다.

한편 전술한 제1 실시예에서는 수신기(110)와 송신기(210)가 각각 제어대상기기(100)와 컨트롤러(200)에 설치되는 것으로 설명하였으나 이와 반대로 설치될 수도 있다.

즉, 도 8에 나타낸 바와 같이, 제어대상기기(100a)는 서로 이격 설치된 다수의 송신기(190), 모션센서(130), 콘텐츠 실행수단(150) 등을 포함하고, 컨트롤러(200a)는 수신기(240), 위치값산출수단(250), 위치값보정수단(260)을 포함할 수 있다.

따라서 제어대상기기(100a)에 구비된 다수의 송신기(190)가 설정된 주기마다 음파, 전자기파 등의 무선신호를 송출하면, 컨트롤러(200a)의 위치값산출수단(250)이 수신기(240)에서 수신되는 무선신호를 이용하여 컨트롤러(200a)의 위치값을 산출하고, 제1 시점과 제2 시점 사이의 위치변동값을 산출할 수 있다.

또한 위치값보정수단(260)은 제어대상기기(100a)의 모션센서(130)의 검출값을 수신하여 위치값 또는 위치변동값을 보정할 수 있다. 한편 위치값보정수단(260)을 컨트롤러(200a)에 설치하는 대신 제어대상기기(100a)에 설치할 수도 있으며, 이 경우 제어대상기기(100a)는 컨트롤러(200a)의 위치값산출수단(250)에서 산출된 위치값 또는 위치변동값을 수신한 후에 모션센서(130)의 검출값을 이용하여 위치값 또는 위치변동값을 보정하고, 이를 기반으로 디스플레이(160) 등을 제어하게 된다.

만일 제어대상기기(100a)가 2개의 송신기만 구비하거나 3개의 송신기 중에서 2개의 송신기에서만 신호를 송출하면, 컨트롤러(200a)의 위치값산출수단(250)은 2차원 위치변동값을 산출할 수 있다. 이 경우 컨트롤러(200)에 모션센서(220)를 설치하고, 산출된 2차원 위치변동값과 모션센서(220)의 검출값을 이용하여 컨트롤러(200)의 3차원 위치변동값을 추정할 수 있다.

제어대상기기(100a)의 콘텐츠 실행수단(150)은 컨트롤러(200a)에서 산출되거나 보정된 위치변동값을 수신하여 이를 기반으로 디스플레이(160) 등의 동작을 제어할 수 있다.

한편 컨트롤러(200a)에 수신기(240)를 설치하는 경우에는 착용밴드의 둘레를 따라 하나 또는 다수 개의 수신기(240)를 설치할 수 있다. 컨트롤러(200a)에 다수의 수신기(240)가 설치되는 경우에도 컨트롤러(200a)의 위치값산출수단(250)이 위치값을 산출하는 방식을 미리 설정해 둘 필요가 있다.

첫째, 제어대상기기(100a)에 구비된 다수의 송신기(190)가 서로 시간차를 두고 각각 다른 기준시점에 동일 주파수의 신호를 송출하면, 컨트롤러(200a)의 수신기(240) 중에서 각 기준시점마다 송신기(190)의 신호를 수신한 수신기(240)의 신호를 이용하여 위치값을 산출할 수 있다. 각 기준시점마다 송신기(190)의 신호를 수신한 수신기(240)가 다수 개이면 임의로 선택된 수신기(240)의 수신신호를 이용하여 위치값을 산출할 수 있다.

둘째. 제어대상기기(100a)에 구비된 다수의 송신기(190)는 각각 다른 주파수의 신호를 송출하고 컨트롤러(200a)의 다수의 수신기(240) 중에서 모든 주파수의 신호를 수신한 수신기(240)의 수신신호를 이용하여 컨트롤러(200a)의 위치값을 산출할 수 있다.

셋째, 제어대상기기(100a)에 구비된 다수의 송신기(190)는 고유식별정보를 포함하는 신호를 송출하고, 컨트롤러(200a)의 다수의 수신기(240) 중에서 모든 신호를 수신한 수신기(240)의 수신신호를 이용하여 컨트롤러(200a)의 위치값을 산출할 수 있다.

또한 컨트롤러(200a)는 모션센서(220)의 검출값을 이용하여 컨트롤러(200a)의 자세를 확인하고 이를 통해 다수 개의 수신기(240) 중에서 제어대상기기(100a)를 향하는 수신기(240) 또는 제어대상기기(100a)와 가장 가까운 수신기(240)를 확인하고, 확인된 수신기(240)만 활성화시켜서 신호를 수신하도록 하는 수신기 선택수단(도면에는 나타내지 않았음)을 포함할 수도 있다.

제 2 실시예

본 발명의 제1 실시예는 제어대상기기(100)와 컨트롤러(200)에 각각 수신기(110)와 송신기(210)를 설치하여 컨트롤러(200)의 위치와 움직임을 산출하는 방식인데 반하여, 본 발명의 제2 실시예는 카메라를 이용하여 사용자의 손 동작을 인식하는 방식에 관한 것이다.

먼저 도 9와 도 10은 각각 본 발명의 제2 실시예에 따른 동작 인식 기반 사용자 인터페이스 장치의 사용상태도 및 블록도를 나타낸 것이다.

본 발명의 제2 실시예에 따른 사용자 인터페이스 장치를 구성하는 제어대상기기(300)는, 도 10에 나타낸 바와 같이, 카메라(310), 위치값산출수단(320), 모션센서(330), 위치값보정수단(340), 콘텐츠실행수단(350), 디스플레이(360), 저장수단(370), 통신수단(380) 등을 포함할 수 있다.

카메라(310)는 사용자 동작을 검출하기 위하여 사용자의 손을 촬영하는 수단이다.

위치값산출수단(320)은 카메라(310)에서 획득한 영상을 분석하여 사용자의 손 위치의 위치값을 산출하거나 위치값이 변동한 경우에 위치변동값을 산출한다.

위치값보정수단(340)은 위치값산출수단(320)에서 산출한 위치값 또는 위치변동값을 모션센서(330)의 검출값을 이용하여 보정한다.

모션센서(330), 콘텐츠실행수단(350), 디스플레이(360), 저장수단(370), 및 통신수단(380)은 제 1 실시예의 모션센서(130), 콘텐츠실행수단(150), 디스플레이(160), 저장수단(170), 및 통신수단(180)과 각각 실질적으로 동일하므로 설명을 생략한다.

도면에는 나타내지 않았지만, 본 발명의 제2 실시예에 따른 제어대상기기(300)는 위치확인모드를 활성화 또는 해제하는 검출모드선택수단과, 모션센서(330)의 검출값을 이용하여 위치값 또는 위치변동값을 보정하는 보정모드선택수단을 포함할 수 있다.

한편 본 발명의 제2 실시예에서는 제어대상기기(300)에 설치된 카메라(310)를 이용하여 사용자의 동작을 검출하므로 사용자가 착용하거나 휴대하는 컨트롤러를 사용하지 않아도 된다.

그러나 카메라를 이용하는 동작 인식 기반 사용자 인터페이스와 함께 사용자가 착용 또는 휴대하는 컨트롤러를 추가로 이용하여 제어대상기기(300)를 제어할 수도 있고, 컨트롤러를 통해 사용자에게 촉각 피드백을 제공할 수도 있다.

따라서 본 발명의 제2 실시예에 따른 사용자 인터페이스 장치에도 제어대상기기(300)의 통신수단(380)과 유선 또는 무선으로 통신하는 통신수단을 구비하는 컨트롤러가 포함될 수 있다.

이하에서는 도 11을 참조하여 본 발명의 제2실시예에 따른 사용자 인터페이스 장치를 이용한 동작 인식 방법의 일 예를 설명한다.

먼저 제어대상기기(300)에 구비된 카메라(310)는 설정된 주기마다 동작하여 영상데이터를 획득한다. (ST31)

그리고 위치값산출수단(320)은 제1 시점과 제2 시점의 영상데이터를 대비하여 사용자 손의 위치변동 여부를 확인하여, 위치변동이 있다고 판단되는 경우에는 위치변동값을 산출한다. (ST32, ST33)

위치변동값이 산출되면, 보정모드가 활성화된 상태인지 여부를 확인한다.(ST34)

위 단계에서 보정모드가 활성화된 상태이면, 위치값보정수단(340)은 제1 시점과 제2 시점의 사이에 모션센서(330)에서 신호가 검출되었는지 여부를 확인한다. (ST35)

모션센서(330)에서 신호가 검출된 것으로 확인되면 위치값보정수단(340)은 모션센서(330)의 검출값을 이용하여 위치값산출수단(320)에서 산출된 사용자 손의 위치변동값을 보정한다. (ST36)

이와 같이 사용자 손의 위치변동값을 보정한 이후에는 콘텐츠 실행수단(350)은 보정된 위치변동값을 기반으로 콘텐츠를 실행하거나 디스플레이상의 오브젝트를 제어한다. (ST37)

만일 ST34단계에서 보정모드가 해제된 상태이거나, ST35단계에서 모션센서(230)의 신호가 검출되지 않은 것으로 확인되면, 위치값보정수단(340)은 산출된 위치변동값을 보정할 필요가 없으며, 따라서 콘텐츠 실행수단(350)은 산출된 위치변동값을 기반으로 제어대상기기(300)의 동작을 제어한다.

한편 ST32단계에서, 사용자 손의 위치변동이 없다고 판단된 경우에도, 위치값보정수단(340)은 모션센서(330)에서 신호가 검출되는지 여부를 확인하고(ST38), 모션센서(330)에서 신호가 검출되었다면 위치값보정수단(340)은 설정된 기준에 따라 위치변동값을 산출하고 콘텐츠 실행수단(350)은 산출된 위치변동값을 기반으로 제어대상기기(300)의 동작을 제어할 수 있다.

위치값산출수단(320)에서도 위치변동이 검출되지 않고 모션센서(330)에서도 설정 기준 이상의 신호가 검출되지 않았다면 사용자 손이 전혀 움직이지 않은 것이므로 위 ST31 단계부터 다시 수행해야 함은 물론이다.

이상에서는 제어대상기기(300)에 카메라(310)가 설치되는 것으로 설명하였으나, 이와 반대로 도 12에 나타낸 바와 같이 사용자가 착용 또는 휴대하는 컨트롤러(500)에 카메라(510)를 설치하고 카메라(510)를 통해 획득한 제어대상기기(400)의 영상데이터를 분석하여 사용자 손의 위치를 확인할 수도 있다.

즉, 도 13의 블록도에 나타낸 바와 같이, 제어대상기기(400)는 다수의 마커(410,420), 모션센서(430), 콘텐츠 실행수단(440), 디스플레이(450), 저장수단(460), 통신수단(470) 등을 포함할 수 있고, 컨트롤러(500)는 카메라(510), 위치값산출수단(520), 위치값보정수단(530), 통신수단(540), 검출모드선택수단(550), 보정모드선택수단(560) 등을 포함할 수 있다.

마커(410,420)는 제어대상기기(400)의 외부에 부착 또는 결합되며, 카메라(510)에서 획득한 영상을 분석할 때 특징점 역할을 한다. 도면에는 제어대상기기(400)에 2개의 마커(410,420)가 부착된 것으로 나타나 있으나 그 개수는 이에 한정되지 않으며 하나 또는 3개 이상일 수도 있다. 또한 경우에 따라서는 마커(410,420)를 생략할 수도 있다.

컨트롤러(500)에 구비된 위치값산출수단(520)은 카메라(510)를 통해 주기적으로 획득한 영상을 분석하여 마커(410,420)의 위치값을 산출하고, 위치값의 변동이 있는 경우에 위치변동값을 산출한다. 마커(410,420)를 사용하지 않는 경우에는 제어대상기기(400)의 이미지 또는 제어대상기기(400)에 미리 부여된 특징점을 기준으로 위치값을 산출할 수도 있다.

위치값보정수단(530)은 제어대상기기(400)로부터 수신한 모션센서(430)의 검출값을 이용하여 위치값산출수단(520)에서 산출된 위치변동값을 보정한다.

검출모드선택수단(550)은 위치확인모드를 활성화하거나 해제하는 명령을 입력하는 수단이고, 보정모드선택수단(560)은 보정모드를 활성화하거나 해제하는 명령을 입력하는 수단이다. 검출모드선택수단(550)과 보정모드선택수단(560)의 구체적인 기능 및 유형은 제1 실시예에서 설명한 바와 같다. 또한 제1 실시예와 마찬가지로 검출모드선택수단(550)과 보정모드선택수단(560) 중에서 적어도 하나는 컨트롤러(500)가 아닌 제어대상기기(400)에 설치될 수도 있다.

제어대상기기(400)의 콘텐츠 실행수단(440)은 컨트롤러(500)에서 산출된 또는 보정된 위치변동값을 수신하여 이를 기반으로 디스플레이(450) 등의 동작을 제어할 수 있다.

전술한 여러 실시예에서 제어대상기기(100, 100a, 300, 400) 또는 컨트롤러(200, 200a, 500)에 구비되는 위치값산출수단(120,250,320,520), 위치값보정수단(140,260,340,530), 콘텐츠실행수단(150,350) 등은 소프트웨어 또는 하드웨어도 구현되거나, 소프트웨어와 하드웨어의 조합으로 구현될 수 있다.

이상에서는 본 발명의 바람직한 실시예를 설명하였으나 본 발명은 전술한 실시예에 한정되지 않고 다양하게 변형 또는 수정되어 실시될 수 있다.

예를 들어 전술한 제1 및 제2 실시예에서는 제어대상기기(100, 100a, 300, 400)에 모션센서(130,330,430)가 설치되고, 컨트롤러(200, 200a, 500)의 위치값 등을 모션센서의 검출값을 이용하여 보정하였다.

그러나 실행되는 콘텐츠의 종류에 따라서는, 제어대상기기(100, 100a, 300, 400)에는 모션센서(130,330,430)를 설치하지 않고, 컨트롤러(200, 200a, 500)에 설치된 모션센서를 이용하여 컨트롤러(200, 200a, 500)의 위치값 또는 위치변동값을 보정할 수도 있다.

예를 들어, 도 14에 나타낸 바와 같이, 제어대상기기(100b)는 수신기(110), 위치값산출수단(120), 위치값보정수단(130), 콘텐츠 실행수단(150), 디스플레이(160), 저장수단(170), 통신수단(180)을 포함하고, 컨트롤러(200b)는 송신기(210), 모션센서(220), 통신수단(230), 검출모드선택수단(270), 보정모드선택수단(280) 을 포함할 수 있다.

이 경우 제어대상기기(100b)의 보정모드가 활성화 상태이면, 위치값보정수단(120)은 위치값산출수단(120)에서 산출된 위치값 또는 위치변동값을 컨트롤러(200b)의 모션센서(220)의 검출값을 수신하여 보정할 수 있다.

구체적으로 살펴보면, 컨트롤러(200b)가 고정된 상태에서 사용자가 제어대상기기(100b)(예, 헤드마운트 장치)를 움직이는 경우이면, 컨트롤러(200b)의 모션센서(220)의 검출값이 없으므로 위치값 또는 위치변동값을 보정하지 않고 위치값산출수단(120)에서 산출된 위치값 또는 위치변동값을 기반으로 제어대상기기(100b)를 제어할 수 있다.

만일 컨트롤러(200b)의 움직임에 의해 위치값 변동이 발생하는 경우이면, 제어대상기기(100b)의 움직임을 간접적으로 확인하여 산출된 위치값 또는 위치변동값을 보정할 수도 있다.

예를 들어, 모션센서(220)의 검출값을 기반으로 컨트롤러(200b)의 위치변동값을 어느 정도 추론할 수 있으므로 위치산출수단(120)에서 산출된 위치변동값을 컨트롤러(200b)의 모션센서(220)의 검출값으로부터 추론되는 위치변동값과 대비하여 설정 기준 이상의 차이가 있는 경우에는 제어대상기기(100b)의 움직임이 있었던 것으로 판단하여 산출된 위치값 또는 위치변동값을 보정할 수 있다.

이와 같이 본 발명은 구체적인 적용 과정에서 다양하게 변형 또는 수정되어 실시될 수 있으며, 변형 또는 수정된 실시예도 후술하는 특허청구범위에 개시된 본 발명의 기술적 사상을 포함한다면 본 발명의 권리범위에 속함은 당연하다 할 것이다.

100: 제어대상기기 110: 수신기
120: 위치값산출수단 130: 모션센서
140: 위치값보정수단 150: 콘텐츠실행수단
160: 디스플레이 170: 저장수단
180: 통신수단 190: 송신기
200: 컨트롤러 210: 송신기
220: 모션센서 230: 통신수단
240: 수신기 250: 위치값산출수단
260: 위치값보정수단 270: 검출모드선택수단
280: 보정모드선택수단 300: 제어대상기기
310: 카메라 320: 위치값산출수단
330: 모션센서 340: 위치값보정수단
350: 콘텐츠실행수단

Claims (18)

1. 음파 또는 전자기파 신호를 송출하는 송신기를 구비하는 컨트롤러;
   모션센서와, 상기 송신기에서 송출된 신호를 수신하는 다수의 수신기와, 상기 다수의 수신기가 각각 수신한 신호를 이용하여 상기 컨트롤러의 위치데이터를 산출하는 위치값산출수단과, 상기 모션센서의 검출값을 이용하여 상기 위치데이터를 보정하는 위치값보정수단을 구비하는 제어대상기기
   를 포함하는 동작 인식 기반 사용자 인터페이스 장치
2. 음파 또는 전자기파 신호를 송출하는 송신기와, 모션센서를 구비하는 컨트롤러;
   상기 송신기에서 송출된 신호를 수신하는 다수의 수신기와, 상기 다수의 수신기가 각각 수신한 신호를 이용하여 상기 컨트롤러의 위치데이터를 산출하는 위치값산출수단과, 상기 모션센서의 검출값을 이용하여 상기 위치데이터를 보정하는 위치값보정수단을 구비하는 제어대상기기
   를 포함하는 동작 인식 기반 사용자 인터페이스 장치
3. 제1항 또는 제2항에 있어서,
   상기 컨트롤러는 사용자의 팔에 착용하는 착용밴드를 포함하고, 상기 송신기는 상기 착용밴드의 둘레를 따라 하나 이상 설치된 것을 특징으로 하는 동작 인식 기반 사용자 인터페이스 장치
4. 제1항 또는 제2항에 있어서
   상기 송신기는 다수 개이고,
   상기 컨트롤러는 상기 컨트롤러에 설치된 모션센서의 검출값을 이용하여 상기 다수의 송신기 중에서 적어도 하나의 송신기를 선택하고, 선택된 송신기를 활성화시키는 송신기 선택수단을 포함하는 것을 특징으로 하는 동작 인식 기반 사용자 인터페이스 장치
5. 모션센서와, 음파 또는 전자기파 신호를 송출하는 다수의 송신기를 구비하는 제어대상기기;
   상기 다수의 송신기에서 송출된 신호를 수신하는 수신기와, 상기 수신기가 수신한 상기 다수의 송신기의 신호를 이용하여 위치데이터를 산출하는 위치값산출수단과, 상기 모션센서의 검출값을 이용하여 상기 위치데이터를 보정하는 위치값보정수단을 구비하는 컨트롤러
   를 포함하는 동작 인식 기반 사용자 인터페이스 장치
6. 음파 또는 전자기파 신호를 송출하는 다수의 송신기를 구비하는 제어대상기기;
   모션센서와, 상기 다수의 송신기에서 송출된 신호를 수신하는 수신기와, 상기 수신기가 수신한 상기 다수의 송신기의 신호를 이용하여 위치데이터를 산출하는 위치값산출수단과, 상기 모션센서의 검출값을 이용하여 상기 위치데이터를 보정하는 위치값보정수단을 구비하는 컨트롤러
   를 포함하는 동작 인식 기반 사용자 인터페이스 장치
7. 제5항 또는 제6항에 있어서,
   상기 컨트롤러는 사용자의 팔에 착용하는 착용밴드를 포함하고, 상기 수신기는 상기 착용밴드의 둘레를 따라 하나 이상 설치된 것을 특징으로 하는 동작 인식 기반 사용자 인터페이스 장치
8. 제5항 또는 제6항에 있어서,
   상기 수신기는 다수 개이고,
   상기 컨트롤러는 상기 컨트롤러에 설치된 모션센서의 검출값을 이용하여 상기 다수의 수신기 중에서 적어도 하나의 수신기를 선택하고, 선택된 수신기를 활성화시키는 수신기 선택수단을 포함하는 것을 특징으로 하는 동작 인식 기반 사용자 인터페이스 장치
9. 제1항, 제2항, 제5항, 제6항 중 어느 한 항에 있어서,
   상기 컨트롤러 또는 상기 제어대상기기는, 위치확인모드를 활성화 또는 해제하는 검출모드선택수단과, 보정모드를 활성화 또는 해제하는 보정모드선택수단 중에서 적어도 하나를 포함하는 것을 특징으로 하는 동작 인식 기반 사용자 인터페이스 장치
10. 제9항에 있어서,
    상기 검출모드선택수단 또는 상기 보정모드선택수단은, 사용자가 손으로 조작하는 입력장치이거나 사용자의 생체신호를 검출하는 생체신호센서인 것을 특징으로 하는 동작 인식 기반 사용자 인터페이스 장치
11. 제1항, 제2항, 제5항, 제6항 중 어느 한 항에 있어서
    상기 제어대상기기는 헤드 마운트 타입의 가상현실 기기인 것을 특징으로 하는 동작 인식 기반 사용자 인터페이스 장치
12. 컨트롤러에 구비된 송신기가 송출하는 음파 또는 전자기파 신호를 다수의 수신기에서 수신하는 신호수신단계;
    상기 다수의 수신기가 각각 수신한 신호를 이용하여 상기 컨트롤러의 위치데이터를 산출하는 위치데이터 산출단계;
    모션센서의 검출값을 이용하여 상기 위치데이터를 보정하는 보정단계
    를 포함하는 동작 인식 방법
13. 제12항에 있어서,
    상기 위치데이터 산출단계에서는 2개의 수신기에서 각각 수신된 신호를 이용하여 2차원 위치데이터를 산출하고,
    상기 보정단계는 상기 컨트롤러에 설치된 모션센서의 검출값을 이용하여 3차원 위치데이터를 추정하는 과정을 포함하는 것을 특징으로 하는 동작 인식 방법
14. 제어대상기기의 다수의 송신기가 각각 송출하는 음파 또는 전자기파 신호를 컨트롤러에 구비된 수신기에서 수신하는 신호수신단계;
    상기 수신기가 수신한 신호를 이용하여 상기 컨트롤러의 위치데이터를 산출하는 위치데이터 산출단계;
    상기 제어대상기기에 구비된 모션센서의 검출값을 이용하여 상기 위치데이터를 보정하는 보정단계
    를 포함하는 동작 인식 방법
15. 제14항에 있어서,
    상기 위치데이터 산출단계에서는 2개의 송신기에서 각각 송출한 신호를 이용하여 2차원 위치데이터를 산출하고,
    상기 보정단계는 상기 컨트롤러에 설치된 모션센서의 검출값을 이용하여 3차원 위치데이터를 추정하는 과정을 포함하는 것을 특징으로 하는 동작 인식 방법
16. 카메라;
    모션센서;
    상기 카메라를 통해 획득한 영상데이터를 분석하여 사용자 손의 위치데이터를 산출하는 위치값산출수단;
    상기 모션센서의 검출값을 이용하여 상기 위치데이터를 보정하는 위치값보정수단
    을 포함하는 동작 인식 기반 사용자 인터페이스 장치
17. 모션센서를 구비하는 제어대상기기;
    카메라와, 상기 카메라를 통해 획득한 상기 제어대상기기의 영상데이터를 분석하여 위치데이터를 산출하는 위치값산출수단과, 상기 모션센서의 검출값을 이용하여 상기 위치데이터를 보정하는 위치값보정수단을 구비하는 컨트롤러
    를 포함하는 동작 인식 기반 사용자 인터페이스 장치
18. 제17항에 있어서
    상기 컨트롤러 또는 상기 제어대상기기는, 위치확인모드를 활성화 또는 해제하는 검출모드선택수단과, 보정모드를 활성화 또는 해제하는 보정모드선택수단 중에서 적어도 하나를 포함하는 것을 특징으로 하는 동작 인식 기반 사용자 인터페이스 장치

Images