KR102476128B1

KR102476128B1 - 길이변형 및 무게중심 이동이 가능한 컨트롤러와 vr 애플리케이션 간의 인터랙션 방법 및 시스템

Info

Publication number: KR102476128B1
Application number: KR1020210101837A
Authority: KR
Inventors: 김태훈; 정성원; 고현우; 김성호; 김상연
Original assignee: 한국기술교육대학교 산학협력단
Priority date: 2021-08-03
Filing date: 2021-08-03
Publication date: 2022-12-08
Also published as: US20230041922A1; US11714484B2

Abstract

본 발명은 컨트롤러와 VR애플리케이션 간의 인터랙션 시스템을 개시한다. 본 발명에 따른 인터랙션 시스템은, 질량체를 이동시키는 제1 액츄에이터와, 제1 액츄에이터의 동작을 제어하는 제1 프로세서를 구비하는 컨트롤러; 컨트롤러로부터 수신한 제어신호에 따라 애플리케이션을 실행하는 한편 애플리케이션 실행 중에 가상객체 변경 이벤트가 발생하면 피드백 신호를 생성하여 컨트롤러로 전송하는 제2 프로세서를 구비하는 콘텐츠 실행장치를 포함하며, 컨트롤러의 제1 프로세서는 피드백 신호가 수신되면 제1 액츄에이터를 제어하여 질량체를 이동시켜 무게중심을 이동시킬 수 있다.
본 발명에 따르면, VR애플리케이션 실행 중에 디스플레이에 나타나는 가상객체의 변화에 동기되어 사용자가 현실에서 조작하는 컨트롤러의 무게중심과 길이를 변화시킬 수 있으므로 사용자의 몰입감과 사용감을 크게 향상시킬 수 있다.

Description

길이변형 및 무게중심 이동이 가능한 컨트롤러와 VR 애플리케이션 간의 인터랙션 방법 및 시스템{Method and system for interaction between VR application and controller capable of changing length and center of gravity}

본 발명은 사람과 컴퓨터 간의 인터랙션에 관한 것으로서, 구체적으로는 가상현실(VR) 애플리케이션에 의해 표현되는 가상객체의 형상에 대응하여 사용자가 현실에서 조작하는 컨트롤러의 무게중심과 길이를 변화시킴으로써 사용감과 몰입감을 향상시킬 수 있는 인터랙션 방법 및 시스템에 관한 것이다.

최근 게임기, VR(Virtual Reality)기기 등을 중심으로 사용자의 동작을 인식하여 기기의 동작을 제어하거나 디스플레이에 표시된 가상의 객체(object)를 제어하는 동작 인식 기반의 입력장치가 많이 사용되고 있다.

동작 인식 기반의 입력장치는 핸드헬드(handheld)형, 착용형, 모션캡쳐형 등으로 구분되며, 2개 이상의 유형이 함께 적용되는 경우도 있다.

핸드헬드형은 사용자가 손에 쥐고 사용하는 것으로서, 주로 모션감지센서(가속도센서, 각속도센서 등)와 입력버튼을 포함하며 사용자의 손 움직임에 대한 센서의 측정값을 이용하여 전자기기의 제어신호를 생성한다.

착용형 입력장치는 사용자의 신체(머리, 팔, 팔뚝 등)에 착용하는 것으로서 모션감지센서, 근전도센서 등의 측정값을 이용하여 사용자의 손 또는 손가락의 움직임을 판단하고, 이를 이용하여 전자기기의 제어신호를 생성한다.

모션캡쳐형은 카메라로 촬영한 영상을 이용하여 사용자의 신체(팔, 다리, 손, 손가락 등) 또는 컨트롤러의 움직임을 판단하고 이를 이용하여 전자기기의 제어신호를 생성한다.

한편 도 1은 일반적인 핸드헬드형 컨트롤러(20)의 사용 예를 나타낸 것으로서, 사용자가 컨트롤러(20)를 손에 쥐고 움직이면, 전자기기(10)는 컨트롤러(20)로부터 수신한 모션감지센서의 측정값으로부터 소정의 제어신호를 생성하여 전자기기(10)의 동작을 제어하거나 디스플레이에 표시된 가상객체의 위치, 방향, 속도 등을 제어한다.

그런데 종래의 핸드헬드형 컨트롤러(20)는 형상이 고정되어 있는 반면에 제어해야 하는 가상객체의 종류는 다양하므로 모든 가상객체에 대해 적합한 사용감을 제공하는 컨트롤러를 개발하는 것은 매우 어렵다.

이러한 단점을 개선하기 위하여, 대한민국 등록특허 제10-2248934호에서는 컨트롤러의 움직임을 모션감지센서로 검출하고 설정조건이 충족되면 가동부를 이동시킴으로써 전체 길이를 변화시킬 수 있는 컨트롤러를 제안하고 있다.

그런데 위 등록특허에 따른 컨트롤러는, 실행중인 콘텐츠나 디스플레이에 표시되는 가상객체의 형상에 상관없이 사용자가 컨트롤러를 흔들기만 하면 컨트롤러의 길이나 형상이 변할 수 있으므로 컨트롤러의 길이나 형상이 가상객체와 미스매치(mismatch)되어 오히려 사용자의 몰입감과 사용감을 저하시키는 경우가 발생할 수도 있다.

또한 위 등록특허에 따른 컨트롤러는 길이 변화를 통해 사용감과 재미를 향상시킨 장점은 있지만, 사용자가 컨트롤러를 쥔 손으로 느끼는 감각 중에서 매우 큰 비중을 차지하는 무게감을 변화시키지는 못하는 한계가 있다.

대한민국 등록특허 제10-2248934호(2021.05.04 공고)

본 발명은 이러한 배경에서 고안된 것으로서, 디스플레이에 표현되는 가상객체의 형상에 동기되어 사용자가 현실에서 조작하는 컨트롤러의 무게중심과 길이를 변화시킴으로써 사용자의 몰입감과 사용감을 향상시킬 수 있는 인터랙션 방법과 시스템을 제공하는데 그 목적이 있다.

이러한 목적을 달성하기 위하여, 본 발명의 일 양상은, 질량체를 이동시키는 제1 액츄에이터와, 제1 액츄에이터의 동작을 제어하는 제1 프로세서를 구비하는 컨트롤러; 컨트롤러로부터 수신한 제어신호에 따라 애플리케이션을 실행하는 한편 애플리케이션 실행 중에 가상객체 변경 이벤트가 발생하면 피드백 신호를 생성하여 컨트롤러로 전송하는 제2 프로세서를 구비하는 콘텐츠 실행장치를 포함하며, 컨트롤러의 제1 프로세서는 피드백 신호가 수신되면 제1 액츄에이터를 제어하여 질량체를 이동시켜 무게중심을 이동시키는 것을 특징으로 하는 인터랙션 시스템을 제공한다.

본 발명의 일 양상에 따른 인터랙션 시스템에서, 상기 컨트롤러는, 하우징에 이동 가능하게 결합된 가동부와 가동부를 이동시키는 제2 액츄에이터를 포함하고, 상기 제1 프로세서는 피드백 신호가 수신되면 제2 액츄에이터를 제어하여 가동부를 이동시킬 수 있다.

본 발명의 다른 양상은, 콘텐츠 실행장치가 애플리케이션 실행 중에 가상객체 변경 이벤트를 검출하는 이벤트 검출 단계; 가상객체 변경 이벤트가 검출되면 콘텐츠 실행장치가 피드백 신호를 생성하여 컨트롤러로 전송하는 피드백 단계; 컨트롤러가 피드백 신호에 대응하여 내부에 설치된 질량체를 이동시키는 무게중심 이동단계를 포함하는 것을 특징으로 하는 인터랙션 방법을 제공한다.

본 발명의 양상에 따른 인터랙션 방법에서, 상기 피드백 신호는 길이변경 명령을 포함하고, 상기 무게중심 이동 단계에서는 컨트롤러가 하우징에 이동 가능하게 결합된 가동부를 이동시킬 수 있다.

본 발명에 따르면, VR애플리케이션 실행 중에 디스플레이에 나타나는 가상객체의 변화에 동기되어 사용자가 현실에서 조작하는 컨트롤러의 무게중심과 길이를 변화시킬 수 있으므로 사용자의 몰입감과 사용감을 크게 향상시킬 수 있다.

도 1은 종래의 무선 컨트롤러의 사용 예를 나타낸 도면
도 2는 본 발명의 실시예에 따른 인터랙션 시스템의 구성도
도 3은 본 발명의 실시예에 따른 인터랙션 시스템의 적용 예를 나타낸 도면
도 4는 본 발명의 제1 실시예에 따른 컨트롤러와 그 동작을 예시한 도면
도 5는 본 발명의 제1 실시예에 따른 컨트롤러의 제어계통을 나타낸 블록도
도 6은 본 발명의 제1 실시예에 따른 컨트롤러의 액츄에이터 배치를 나타낸 도면
도 7은 본 발명의 제1 실시예에 따른 컨트롤러의 여러 동작을 나타낸 도면
도 8은 콘텐츠 실행장치의 제어계통을 나타낸 블록도
도 9는 본 발명의 제1 실시예에 따른 인터랙션 방법을 나타낸 흐름도
도 10은 본 발명의 제2 실시예에 따른 인터랙션 방법을 나타낸 흐름도
도 11 및 도 12는 가상객체의 변화에 대응하여 컨트롤러의 길이와 무게중심이 변하는 모습을 예시한 도면
도 13은 본 발명의 제2 실시예에 따른 컨트롤러의 액츄에이터 배치를 나타낸 도면
도 14는 본 발명의 제2 실시예에 따른 컨트롤러의 여러 동작을 나타낸 도면
도 15는 본 발명의 제3 실시예에 따른 컨트롤러의 액츄에이터 배치를 나타낸 도면
도 16 및 도 17은 본 발명의 제3 실시예에 따른 컨트롤러의 여러 동작을 나타낸 도면
도 18은 본 발명의 제3 실시예에 따른 컨트롤러의 변형 예를 나타낸 도면
도 19는 본 발명의 제4 실시예에 따른 컨트롤러의 액츄에이터 배치를 나타낸 도면
도 20 및 도 21은 본 발명의 제4 실시예에 따른 컨트롤러의 여러 동작을 나타낸 도면
도 22 및 도 23은 제1 및 제2 액츄에이터가 모두 리니어 스크류 액츄에이터인 컨트롤러를 예시한 도면
도 24 및 도 25는 제1 및 제2 액츄에이터가 각각 리니어 스크류 액츄에이터와 리니어 압전 액츄에이터인 컨트롤러를 예시한 도면
도 26 내지 도 28은 리니어 압전 액츄에이터의 동작원리를 나타낸 도면

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.

참고로 본 명세서에 첨부된 도면에는 실제와 다른 치수 또는 비율로 표시된 부분이 있으나 이는 설명과 이해의 편의를 위한 것이므로 이로 인해 본 발명의 범위가 제한적으로 해석되어서는 아니됨을 미리 밝혀 둔다. 또한 본 명세서에서 하나의 구성요소(element)가 다른 구성요소와 연결, 결합 또는 전기적으로 연결되는 경우는 다른 구성요소와 직접적으로 연결, 결합 또는 전기적으로 연결되는 경우뿐만 아니라 중간에 다른 요소를 사이에 두고 간접적으로 연결, 결합 또는 전기적으로 연결되는 경우도 포함한다. 또한 하나의 구성요소(element)가 다른 구성요소와 직접 연결 또는 결합되는 경우는 중간에 다른 요소 없이 연결 또는 결합되는 것을 의미한다. 또한 어떤 부분이 어떤 구성요소를 포함하는 것은 특별히 반대되는 기재가 없다면 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한 본 명세서에서 전, 후, 좌, 우, 위, 아래 등의 표현은 보는 위치에 따라 달라질 수 있는 상대적인 개념이므로 본 발명의 범위가 반드시 해당 표현으로 제한되어서는 아니된다.

본 발명의 실시예에 따른 인터랙션 시스템은, 도 2의 개략 구성도에 나타낸 바와 같이, 컨트롤러(100)와, 컨트롤러(100)에서 송출한 제어신호에 따라 소정의 동작을 수행하는 콘텐츠 실행장치(200)를 포함한다.

특히, 본 발명의 실시예에서는, 콘텐츠 실행장치(200)는 콘텐츠 실행에 의해 디스플레이에 표시되는 가상객체의 변화에 대응하여 소정의 피드백신호를 컨트롤러(100)로 전송하고, 컨트롤러(100)는 수신한 피드백신호에 따라 내부에 설치된 질량체(mass)(M)를 이동시켜 무게중심을 변화시키거나 가동부를 이동시켜 자신의 길이나 형상을 변화시킨다.

도 3은 본 발명의 실시예에 따른 인터랙션 시스템의 구체적인 사례를 나타낸 것으로서, 핸드헬드(handheld) 타입의 컨트롤러(100)와 HMD(Head Mounted Display) 타입의 콘텐츠 실행장치(200)를 포함하는 시스템을 나타내고 있다.

콘텐츠 실행장치(200)는 VR, AR(Augmented Reality) 등의 콘텐츠 애플리케이션을 실행하고 실행된 콘텐츠를 디스플레이를 통해 출력한다. 도 3에는 콘텐츠 실행장치(200)가 HMD 타입인 것으로 나타나 있으나 이에 한정되는 것은 아니며, 도 1에 나타낸 바와 같이 사용자와 이격되어 설치된 디스플레이와 컴퓨터장치로 이루어질 수도 있다.

콘텐츠 실행장치(200)가 HMD 타입의 VR 기기인 경우에는, 사용자는 디스플레이를 통해 가상 공간만을 볼 수 있고 손에 쥔 컨트롤러(100)는 볼 수 없으므로 인터랙션 방법은 컨트롤러(100)의 무게 중심을 이동시키거나 진동을 발생시키는 등의 비시각적인 방식이 주로 적용된다.

이와 달리, 콘텐츠 실행장치(200)가 AR 글래스이거나 디스플레이가 사용자로부터 떨어져 있는 경우에는, 사용자가 콘텐츠 실행 중에 손에 쥔 컨트롤러(100)를 볼 수 있으므로 컨트롤러(100)의 무게 중심을 이동시키거나 진동을 발생시키는 비시각적인 인터랙션뿐만 아니라 컨트롤러(100)의 길이나 형상을 적절하게 변화시키는 시각적인 인터랙션도 중요한 요소가 될 수 있다.

도 4는 본 발명의 제1 실시예에 따른 컨트롤러(100)의 외형을 나타낸 것으로서, 컨트롤러(100)는 하우징(110)과 하우징(110)에 이동 가능하게 결합된 가동부(112)를 포함한다. 본 발명의 실시예에 따른 컨트롤러(100)는 가동부(112)가 이동함에 따라 길이가 늘어나거나 줄어들 수 있다. 또한 내부에 설치된 질량체(M)가 이동함에 따라 무게중심(CG)의 위치가 변할 수도 있다.

또한, 도 5는 본 발명의 제1 실시예에 따른 컨트롤러(100)의 제어 계통을 나타낸 블록도이다. 이를 참조하면, 본 발명의 제1 실시예에 따른 컨트롤러(100)는, 컨트롤러(100)의 동작 전반을 제어하는 MCU(Micro Controller Unit)(120)와, 질량체(M)를 이동시켜 무게중심을 변화시키는 제1 액츄에이터(130)와, 가동부(112)를 이동시켜 컨트롤러(100)의 길이를 변화시키는 제2 액츄에이터(140)와, 컨트롤러(100)의 움직임이나 자세를 검출하는 모션감지센서(150)와, 사용자에게 햅틱 피드백을 제공하기 위한 진동발생부(160)와, 사용자가 소정의 명령을 입력하기 위한 입력부(170)와, 콘텐츠 실행장치(200)와 통신하는 제1 통신부(180)와, 컨트롤러(100)의 각 구성요소에 전력을 공급하는 전원공급부(190) 등을 포함한다.

하우징(110)은 내부에 중공을 구비하며, 일단은 막혀 있고 타단에는 개방부가 형성된 통 형상일 수 있다. 하우징(110)의 형상은 한정되지 않는다. 하우징(110)의 내부에는 가동부(112)의 이동을 가이드하는 레일 등이 설치될 수도 있다.

가동부(112)의 형상은 한정되지 않는다. 가동부(112)는 대기상태일 때 하우징(110)의 내부에 완전히 삽입되도록 설치될 수도 있고 일부분이 하우징(110)의 외부로 돌출되도록 설치될 수도 있다. 또한 도면에는 가동부(112)가 하우징(110)의 내부로 삽입되는 것으로 나타나 있으나, 이와 반대로 하우징(110)의 일부가 가동부(112)의 내부로 삽입되도록 구성할 수도 있다.

MCU(120)는 입력부(170)를 통한 입력이나 모션감지센서(150)의 측정값을 이용하여 소정의 제어신호를 생성하고, 생성된 제어신호를 제1 통신부(180)를 통해 콘텐츠 실행장치(200)로 전송할 수 있다.

또한 MCU(120)는 콘텐츠 실행장치(200)로부터 피드백신호를 수신하면, 제1 액츄에이터(130)를 제어하여 질량체(M)를 이동시켜 컨트롤러(100)의 무게중심(CG)을 변화시키거나, 제2 액츄에이터(140)를 제어하여 가동부(112)를 이동시켜 컨트롤러(100)의 길이나 형상을 변화시킬 수 있다.

MCU(120)는 프로세서(122)와 메모리(124)를 포함할 수 있다. 프로세서(122)는 메모리(124)에 저장된 컴퓨터프로그램을 실행하여 소정의 연산을 수행한다. 프로세서(122)와 메모리(124)는 단일 칩(one chip)으로 패키징될 수도 있다.

메모리(124)에는 컨트롤러(100)의 동작을 위한 컴퓨터프로그램, 각종 파라미터, 데이터 등이 저장될 수 있다. 메모리(124)는 플래쉬 메모리 등의 비휘발성 메모리와 RAM 등의 휘발성메모리를 포함할 수 있다. 메모리(124)는 HDD, SSD 등의 대용량 저장장치를 포함할 수도 있다.

메모리(124)에 저장되는 컴퓨터 프로그램은, 모션감지센서(150)의 측정값이나 입력부(170)를 통해 입력된 명령을 이용하여 콘텐츠 실행장치(200)로 전송할 제어신호를 생성하는 제어신호 생성 프로그램을 포함할 수 있다.

제1 액츄에이터(130)는 하우징(110) 또는 가동부(112)의 내부에 설치된 질량체(M)를 이동시키는 역할을 하고, 제2 액츄에이터(140)는 하우징(110)에 대해 가동부(112)를 이동시키는 역할을 한다.

제1 액츄에이터(130)와 제2 액츄에이터(140)의 종류는 특별히 한정되지 않으며, 컨트롤러(100)의 크기, 무게 등을 고려하여 적절히 선택될 수 있다.

일 예로서, 볼스크류 액츄에이터, 리드스크류 액츄에이터, 공압실린더, 유압실린더 등의 일반적인 리니어 액츄에이터가 사용될 수 있다. 다른 예로서, 전기활성고분자(EAP), 형상기억합금(SMA), 압전소자 등의 스마트 소재를 기반으로 하는 리니어 액츄에이터가 사용될 수도 있다.

또한 제1 액츄에이터(130)와 제2 액츄에이터(140)는 동일한 종류일 수도 있고, 서로 다른 종류일 수도 있다.

본 발명의 제1 실시예에 따른 컨트롤러(100)에서는, 도 6의 배치도에 나타낸 바와 같이, 제1 액츄에이터(130)와 질량체(M)는 가동부(112)의 내부에 설치되고 제2 액츄에이터(140)는 하우징(110)의 내벽과 가동부(112)의 사이 공간에 설치될 수 있다. 이때, 제1 액츄에이터(130)는 가동부(112)에 대해 고정되고, 제2 액츄에이터(140)는 하우징(110)에 대해 고정될 수 있다.

이와 같이 배치하면, 제1 액츄에이터(130)와 제2 액츄에이터(140)를 선택적으로 구동시킴으로써 도 7에 나타낸 바와 같이 다양한 동작을 수행할 수 있다.

먼저 도 7의 (a)에 나타낸 바와 같이, 제1 액츄에이터(130)만을 구동하여 가동부(112)의 일단 부근에 위치한 질량체(M)를 가동부(112)의 타단 부근으로 이동시킴으로써 컨트롤러(100)의 무게중심을 변화시킬 수 있다.

또한, 도 7의 (b)에 나타낸 바와 같이, 제2 액츄에이터(140)만을 구동하여 가동부(112)를 하우징(120)의 외부로 밀어 냄으로써 컨트롤러(100)의 길이를 크게 변화시킬 수 있다. 다만, 이 경우에는, 가동부(112)의 내부에 설치된 질량체(M)와 제1 액츄에이터(130)도 가동부(112)와 함께 이동하므로 컨트롤러(100)의 무게중심도 변화된다.

또한, 도 7의 (c)에 나타낸 바와 같이, 제1 액츄에이터(130)와 제2 액츄에이터(140)를 모두 구동하여 가동부(112)를 하우징(120)의 외부로 밀어 내는 한편 가동부(112)의 내부에 설치된 질량체(M)를 가동부(112)의 타단 부근으로 이동시킬 수 있다. 이 경우에는, 컨트롤러(100)의 길이가 변하는 것은 물론이고, 질량체(M)가 초기 위치로부터 최대로 이동하게 되므로 무게중심의 위치도 매우 크게 변하게 된다.

모션감지센서(150)는 컨트롤러(100)가 움직이는 방향, 속도, 자세 등을 검출하기 위한 것으로서, 예를 들어 가속도센서, 3축 각속도센서(자이로 센서) 중에서 적어도 하나를 포함할 수 있다.

진동발생부(160)는 입력부(170)를 통한 입력, 컨트롤러(100)의 움직임, 콘텐츠 실행장치(200)로부터 수신한 피드백신호 등에 대응하여 소정의 진동을 발생시켜 햅틱 피드백을 제공하는 역할을 한다. 진동발생부(160)의 종류, 개수, 진동 방법 등은 한정되지 않는다.

입력부(170)는 사용자가 엄지손가락 등으로 누르거나 터치할 수 있도록 하우징(110)에 설치된다. 도면에는 입력부(170)가 하나의 버튼으로 나타나 있으나 이는 예시에 불과하다. 예를 들어 입력부(170)는 다수의 버튼을 포함할 수도 있고, 조이스틱을 포함할 수도 있고, 회전식 다이얼을 포함할 수도 있고, 햅틱 다이얼이나 햅틱 휠을 포함할 수도 있고, 터치패드 또는 터치스크린을 포함할 수도 있다.

제1 통신부(180)는 컨트롤러(100)와 콘텐츠 실행장치(200)의 유선 및/또는 무선통신을 지원한다. 무선통신방식은 특별히 한정되지 않으며, 블루투스(Bluetooth), 지그비(Zigbee), 와이파이(Wi-Fi), 적외선데이터통신(IrDA), UWB(Ultra-Wide Band) 등의 공지된 통신방식이나 향후 개발될 근거리 무선통신 방식 중에서 적절히 선택될 수 있다.

전원공급부(190)는 MCU(120)의 제어에 따라 제1 및 제2 액츄에이터(130,140)에 대한 전원공급을 제어하는 스위칭 회로와 배터리를 포함할 수 있다. 전원공급부(190)는 배터리를 대신하여 AC-DC 변환회로를 포함할 수도 있다.

도면에는 나타내지는 않았지만, 하우징(110)에서 사용자가 손으로 잡는 부분에는 쥐는 힘을 감지할 수 있는 압력감지센서가 설치될 수도 있다.

한편, MCU(120), 모션감지센서(150), 진동발생부(160), 제1 통신부(180), 전원공급부(190) 등은 하우징(110)의 내벽과 가동부(112)의 사이 공간에 설치될 수 있다. 이와 달리 이 중에서 적어도 하나는 가동부(112)의 내부에 설치될 수도 있다.

도 8은 콘텐츠 실행장치(200)의 제어 계통을 나타낸 개략 구성도이다. 도면에 나타낸 바와 같이, 콘텐츠 실행장치(200)는, 프로세서(210), 메모리(220), 디스플레이(230), 제2 통신부(240), 전원공급부(250) 등을 포함할 수 있다.

프로세서(210)는 메모리(220)에 저장된 컴퓨터 프로그램을 실행하여 소정의 연산을 수행한다.

메모리(220)에는 콘텐츠 실행장치(200)의 동작을 위한 컴퓨터프로그램, 각종 파라미터, 데이터 등이 저장될 수 있다. 메모리(220)는 플래쉬 메모리 등의 비휘발성 메모리와 RAM 등의 휘발성메모리를 포함할 수 있다. 메모리(220)는 HDD, SSD 등의 대용량 스토리지를 포함할 수도 있다.

또한 메모리(220)에 저장되는 컴퓨터 프로그램은, 스토리지에 저장되어 있거나 외부 서버로부터 수신한 VR 콘텐츠, AR 콘텐츠 등을 실행하는 애플리케이션(260)을 포함할 수 있다.

본 발명의 실시예에 따른 애플리케이션(260)은, 기능적으로 구분하면, 객체제어부(262), 피드백 판단부(264), 피드백신호 생성부(266) 등을 포함할 수 있다.

객체제어부(262)는 컨트롤러(100)로부터 수신한 제어신호를 기반으로 콘텐츠 영상을 표시하는 디스플레이(230)의 동작을 제어하거나, 디스플레이(230)에 표시된 가상객체의 생성, 소멸, 위치, 자세, 속도, 가속도, 방향 등을 제어한다.

피드백 판단부(264)는 VR 콘텐츠, AR 콘텐츠 등을 실행하는 중에 디스플레이(230)에 표시되는 가상객체의 형상이나 종류가 달라지는 변경 이벤트가 발생하는지 여부를 감시하고, 가상객체 변경 이벤트가 발생한 경우에는 설정된 피드백 조건을 충족하는지 여부를 판단한다.

본 명세서에서는, 화면에 표시되는 가상객체의 형상이나 종류가 변하는 경우는 물론이고 다수의 가상객체 중에서 하나의 가상객체가 선택되는 경우에도 가상 객체 변경 이벤트가 발생한 것으로 정의한다.

일 예로서, 피드백 판단부(264)는 디스플레이(230에 표시되고 컨트롤러(100)에 의해 제어되는 가상객체의 형상이나 종류가 변하면 즉시 가상객체 변경 이벤트가 발생한 것으로 판단할 수 있다.

다만 이 경우에, 피드백 판단부(264)는 가상객체 변경 이벤트가 발생하더라도 피드백 조건이 충족되는지 여부를 추가로 판단할 수도 있다. 예를 들어, 가상객체가 스틱에서 해머로 변경되더라도 해머가 일정 크기 이상인 경우에만 피드백 조건을 충족한 것으로 판단할 수 있다.

다른 예로서, 피드백 판단부(264)는 디스플레이(230)에 표시된 가상객체가 사전에 등록된 가상객체로 변경된 경우에 한하여 가상객체 변경 이벤트가 발생한 것으로 판단할 수 있다. 이 경우에는 가상객체 변경 이벤트가 발생하면 피드백 조건도 충족된 것으로 판단할 수 있다.

예를 들어, 스틱, 해머, 짧은 스틱, 긴 스틱, 큰 해머, 작은 해머 등이 피드백을 위해 사전 등록된 가상객체라고 가정하면, 콘텐츠 실행 중에 디스플레이(230)에 표시되어 있던 가상객체가 등록된 가상객체 중에서 어느 하나로 변경되거나 선택되면 가상객체 변경 이벤트가 발생하고 피드백 조건이 충족된 것으로 판단할 수 있다.

또 다른 예로서, 피드백 판단부(264)는 디스플레이(230)에 표시되어 있는 다수의 가상객체 중에서 컨트롤러(100)로부터 송출된 선택신호나 기타 방식으로 하나의 가상객체가 선택되면 가상객체 변경 이벤트가 발생한 것으로 판단할 수 있다.

이 경우에는 가상객체 변경 이벤트가 발생하면 피드백 조건도 자동 충족된 것으로 판단할 수도 있고, 사전에 등록된 가상객체를 선택한 경우에 한하여 피드백 조건이 충족된 것으로 판단할 수도 있다.

또 다른 예로서, 피드백 판단부(264)는 현재 디스플레이(230)에 표시된 가상객체의 형상이나 종류가 변경될 시점을 미리 파악하고, 변경될 시점을 기준으로 설정시간(예, 1초) 전에 가상객체 변경 이벤트가 발생한 것으로 판단할 수 있다.

이렇게 하면, 디스플레이(230)에 표시된 가상객체가 변경되기 직전에 컨트롤러(100)로 피드백 신호를 전송함으로써 디스플레이(230)에서 가상객체가 변경되는 시점과 컨트롤러(100)의 무게중심 및/또는 길이가 변경되는 시점을 일치시킬 수 있고 이를 통해 사용자는 보다 생생한 사용감과 몰입감을 느낄 수 있다.

이 경우에도 가상객체 변경 이벤트가 발생하면 피드백 조건도 자동 충족된 것으로 판단할 수도 있고, 사전에 등록된 가상객체로 변경될 예정인 경우에 한하여 피드백 조건이 충족된 것으로 판단할 수도 있다.

피드백신호 생성부(266)는, 피드백 판단부(264)가 가상객체 변경 이벤트가 발생하고 피드백 조건이 충족된 것으로 판단한 경우에 적절한 피드백신호를 생성하여 컨트롤러(100)로 전송하는 역할을 한다.

일 예로서, 가상객체가 스틱에서 해머로 변경되거나 해머에서 스틱으로 변경된 경우에는 무게 중심 변경을 위한 질량체(M) 이동 명령을 포함하는 피드백 신호를 생성하여 전송할 수 있다. 이 경우에는 질량체(M)의 이동 거리를 피드백 신호에 포함시킬 수도 있다. 또한 예를 들어 해머의 크기에 따라 질량체(M)의 이동 거리를 차등화하여 피드백 신호를 생성할 수도 있다.

다른 예로서, 가상객체가, 예를 들어, 짧은 스틱에서 긴 스틱으로 변경된 경우에는, 길이 변경을 위한 가동부 이동 명령을 포함하는 피드백 신호를 생성하여 전송할 수 있다. 이 경우에는 가동부(112)의 이동 거리를 피드백 신호에 포함시킬 수도 있다. 또한 예를 들어 스틱의 길이에 따라 가동부(112)의 이동 거리를 차등화하여 피드백 신호를 생성할 수도 있다.

한편 객체제어부(262), 피드백 판단부(264) 및 피드백신호 생성부(266)가 반드시 소프트웨어로 구현되어야 하는 것은 아니며, 이들 중의 적어도 하나 또는 일부 기능은 하드웨어로 구현될 수도 있고, 소프트웨어와 하드웨어의 조합으로 구현될 수도 있다. 이때 하드웨어는 주문형 반도체(ASIC, Application Specific Integrated Circuit) 일 수도 있다.

다시 도 8을 참조하면, 디스플레이(230)는 콘텐츠 영상을 시각적으로 표시하는 장치로서, 종류나 크기는 특별히 제한되지 않는다.

제2 통신부(240)는 컨트롤러(100)에 구비된 제1 통신부(180)와의 유선 및/또는 무선통신을 지원한다. 무선통신방식은 특별히 한정되지 않으며, 블루투스(Bluetooth), 지그비(Zigbee), 와이파이(Wi-Fi), 적외선데이터통신(IrDA), UWB(Ultra-Wide Band) 등의 공지된 통신방식이나 향후 개발될 근거리 통신방식 중에서 선택될 수 있다.

제2 통신부(240)는 외부의 서버나 다른 전자기기와의 데이터통신을 지원할 수도 있다.

전원공급부(250)는 콘텐츠 실행장치(200)의 각 구성요소에 필요한 구동전원을 제공한다.

이하에서는 도 9를 참조하여 본 발명의 제1 실시예에 따른 인터랙션 방법을 설명한다. 본 발명의 제1 실시예에 따른 인터랙션 방법은 콘텐츠 실행장치(200)에서 실행되는 애플리케이션에 대응하여 컨트롤러(100)의 무게중심을 이동시키는 인터랙션 방법에 관한 것이다.

먼저 컨트롤러(100)의 MCU(120)는 입력부(170)를 통한 입력이나 모션감지센서(150)의 측정값을 기반으로 소정의 제어신호를 생성하고, 생성된 제어신호를 제1 통신부(180)를 통해 콘텐츠 실행장치(200)로 전송한다. (ST11)

콘텐츠 실행장치(200)는 수신한 제어신호에 따라 대응하는 애플리케이션을 실행하고 디스플레이(230)에 가상객체를 포함하는 영상을 표시한다. 또한 객체제어부(262)는 수신한 제어신호에 대응하여 가상객체의 생성, 소멸, 위치, 자세, 속도, 가속도, 방향 등을 제어한다. (ST12)

이와 같이 애플리케이션이 실행되면, 콘텐츠 실행장치(200)의 피드백 판단부(264)는 콘텐츠 실행 중에 가상객체 변경 이벤트가 발생하는지 여부를 감시하고, 피드백조건을 충족하는지 여부를 판단한다. (ST13)

만일 가상객체 변경 이벤트가 발생하고 피드백 조건이 충족된 것으로 판단되면, 콘텐츠 실행장치(200)의 피드백신호 생성부(266)는 무게중심 이동 명령을 포함하는 피드백신호를 생성하여 컨트롤러(100)로 전송한다. (ST14, ST15)

무게중심 이동 명령을 수신한 컨트롤러(100)의 MCU(120)는 질량체(M)를 설정된 거리만큼 이동시킨다. 만일 수신한 피드백신호에 질량체(M)의 이동 거리에 대한 정보가 포함되어 있으면 해당 거리만큼 질량체(M)를 이동시킬 수 있다.

한편, 무게중심 이동명령을 수신한 컨트롤러(100)는, 도 7의 (a)에 나타낸 바와 같이 제1 액츄에이터(130)만을 구동하여 질량체(M)을 이동시킬 수도 있고, 도 7의 (b)에 나타낸 바와 같이 제2 액츄에이터(140)만을 구동하여 가동부(112)를 이동시킴으로써 질량체(M)를 간접적으로 이동시킬 수도 있고, 도 7의 (c)에 나타낸 바와 같이 제1 액츄에이터(130)와 제2 액츄에이터(140)를 모두 구동하여 가동부(112)와 질량체(M)를 모두 이동시킴으로써 질량체(M)의 이동거리를 최대화할 수도 있다. (ST16)

이상의 과정을 거쳐 컨트롤러(100)의 무게중심이 이동한 이후에도 콘텐츠 실행장치(200)의 피드백 판단부(264)는 가상객체 변경 이벤트가 발생하는지 여부를 감시하고 피드백조건을 충족하는지 여부를 판단하는 ST13 단계를 계속 수행할 수 있다.

다음으로 도 10을 참조하여 본 발명의 제2 실시예에 따른 인터랙션 방법을 설명한다. 본 발명의 제2 실시예에 따른 인터랙션 방법은 콘텐츠 실행장치(200)에서 실행되는 애플리케이션에 대응하여 컨트롤러(100)의 길이를 변화시키는 인터랙션 방법에 관한 것이다.

먼저 ST21 내지 ST23 은 도 9의 ST11 내지 ST13과 동일하므로 설명을 생략한다.

ST23에서, 가상객체 변경 이벤트가 발생하고 피드백 조건이 충족된 것으로 판단되면, 콘텐츠 실행장치(200)의 피드백신호 생성부(266)는 길이변경 명령을 포함하는 피드백신호를 생성하여 컨트롤러(100)로 전송한다. (ST24, ST25)

길이변경 명령을 수신한 컨트롤러(100)의 MCU(120)는 제2 액츄에이터(140)를 제어하여 가동부(112)를 설정된 거리만큼 이동시킨다. 만일 수신한 피드백신호에 가동부(112)의 이동 거리에 대한 정보가 포함되어 있으면 해당 거리만큼 가동부(112)를 이동시킬 수 있다. (ST26)

이상의 과정을 거쳐 컨트롤러(100)의 길이가 변경된 이후에도 콘텐츠 실행장치(200)의 피드백 판단부(264)는 가상객체 변경 이벤트가 발생하는지 여부를 감시하고 피드백조건을 충족하는지 여부를 판단하는 ST23 단계를 계속 수행할 수 있다.

도 9 및 도 10에는 가상객체 변경 이벤트가 발생하고 피드백조건이 충족되면 콘텐츠 실행장치(200)의 피드백 판단부(264)가 무게중심 이동명령 또는 길이변경 명령 중에서 어느 하나만을 전송하는 것으로 설명하였으나 이에 한정되는 것은 아니므로 무게중심 이동명령과 길이변경 명령을 함께 전송할 수도 있다.

일 예로서, 도 11에 나타낸 바와 같이, 콘텐츠 실행장치(200)의 디스플레이(230)에 표시된 다수의 가상객체(234) 중에서 해머가 선택되면, 콘텐츠 실행장치(200)는 무게중심 이동명령과 길이변경 명령을 컨트롤러(100)로 전송할 수 있다.

이 경우 컨트롤러(100)는 질량체(M)와 가동부(112)를 모두 이동시켜 무게중심(CG)을 컨트롤러(100)의 상단에 위치시키며, 이로 인해 컨트롤러(100)를 쥔 사용자는 해머와 비슷한 무게감을 느끼게 된다.

다른 예로서, 무게중심(CG)이 상단으로 이동한 컨트롤러(100)를 사용하는 중에 도 12에 나타낸 바와 같이 디스플레이(230)에 표시된 가상객체(234)가 해머에서 스틱으로 변경되면, 콘텐츠 실행장치(200)는 무게중심 이동명령과 길이변경 명령을 컨트롤러(100)로 전송할 수 있다.

이 경우 컨트롤러(100)는 질량체(M)와 가동부(112)를 모두 이동시켜 무게중심(CG)을 컨트롤러(100)의 하단에 위치시키며, 이로 인해 컨트롤러(100)를 쥔 사용자는 스틱과 비슷한 무게감을 느끼게 된다.

이하에서는 본 발명의 실시예에 따른 인터랙션 시스템에 사용되는 컨트롤러의 다른 실시예를 설명한다.

본 발명의 제2 실시예에 따른 컨트롤러(100a)는, 도 13의 배치도에 나타낸 바와 같이, 질량체(M)를 이동시키는 제1 액츄에이터(130)와 가동부(112)를 이동시키는 제2 액츄에이터(140)를 포함하되, 제1 액츄에이터(130)와 제2 액츄에이터(140)가 모두 하우징(110)에 대해 고정된 점에서 제1 실시예와 차이가 있다.

본 발명의 제2 실시예에 따른 컨트롤러(100a)는, 제1 및 제2 액츄에이터(130,140)를 선택적으로 구동시킴으로써 도 14에 나타낸 바와 같이 다양한 동작을 수행할 수 있다.

먼저 도 14의 (a)에 나타낸 바와 같이, 제1 액츄에이터(130)만을 구동하여 컨트롤러(100a)의 손잡이 부근에서 상단쪽으로 질량체(M)를 이동시킴으로써 컨트롤러(100a)의 무게중심을 변화시킬 수 있다.

또한, 도 14의 (b)에 나타낸 바와 같이, 제2 액츄에이터(140)만을 구동하여 가동부(112)를 하우징(120)의 외부로 밀어 냄으로써 컨트롤러(100a)의 길이를 크게 변화시킬 수 있다. 이 경우에는 질량체(M)는 이동하지 않으므로 컨트롤러(100a)의 무게중심은 거의 변하지 않게 된다.

또한, 도 14의 (c)에 나타낸 바와 같이, 제1 액츄에이터(130)와 제2 액츄에이터(140)를 모두 구동하여 가동부(112)를 하우징(120)의 외부로 밀어 내는 한편 컨트롤러(100a)의 손잡이 부근에서 상단쪽으로 질량체(M)를 이동시킨다. 이로 인해 컨트롤러(100a)의 길이가 변하는 것은 물론이고, 질량체(M)의 이동으로 인해 컨트롤러(100a)의 무게중심도 변하게 된다.

본 발명의 제3 실시예에 따른 컨트롤러(100b)는, 도 15의 배치도에 나타낸 바와 같이, 하우징(110)과, 하우징(110)에 대해 이동 가능하게 설치된 가동부(112)와, 가동부(112)의 내부에 설치된 가이드관(136)과, 가이드관(136)의 내부에 설치된 질량체(M)와, 가동부(112)와 하우징(110)의 내벽 사이의 공간에 설치된 액츄에이터(140)를 포함한다.

즉, 본 발명의 제3 실시예에 따른 컨트롤러(100b)는, 질량체(M)를 이동시키는 제1 액츄에이터(130)를 생략하고, 가동부(112)의 내부에 질량체(M)를 중력으로 이동시키는 가이드관(136)을 설치한 점에서 제1 실시예와 차이가 있다.

가이드관(136)은 양단이 막힌 파이프 형상으로서 내부공간을 통해 질량체(M)를 이동시키는 통로 역할을 한다. 가이드관(136)의 일단과 타단에는 질량체(M)의 위치를 고정하기 위한 제1 고정장치(137)와 제2 고정장치(138)가 설치될 수 있다.

제1 고정장치(137)와 제2 고정장치(138)는 각각, 스토퍼(139)와, 스토퍼(139)를 가이드관(136)의 내부로 진입시키거나 후퇴시키는 모터, 실린더 등의 액츄에이터를 포함할 수 있다.

본 발명의 제3 실시예에 따른 컨트롤러(100b)는, 제1 고정장치(137), 제2 고정장치(138) 및 액츄에이터(140)를 선택적으로 구동시킴으로써 도 16 및 도 17에 나타낸 바와 같이 다양한 동작을 수행할 수 있다.

일 예로서, 도 16의 (a)에 나타낸 바와 같이, 컨트롤러(100b)를 기울인 상태에서 제1 고정장치(137)와 제2 고정장치(138)의 스토퍼(139)를 모두 후퇴시키면, 질량체(M)가 가이드관(136)의 내부에서 중력에 의해 아래쪽으로 이동하게 된다.

이 상태에서, 도 16의 (b)에 나타낸 바와 같이, 제1 고정장치(137)의 스토퍼(139)를 가이드관(136)의 내부로 진입시키면 컨트롤러(100b)를 세워도 질량체(M)의 위치가 고정되므로 컨트롤러(100b)의 무게중심이 변하게 된다.

다른 예로서, 도 17의 (a)에 나타낸 바와 같이, 컨트롤러(100b)를 기울인 상태에서 액츄에이터(140)를 구동하여 가동부(112)를 하우징(110)의 외부로 밀어 내는 한편 제1 고정장치(137)와 제2 고정장치(138)의 스토퍼(139)를 모두 후퇴시키면, 질량체(M)가 가이드관(136)의 내부에서 중력에 의해 아래쪽으로 이동하게 된다.

이 상태에서, 도 17의 (b)에 나타낸 바와 같이, 제1 고정장치(137)의 스토퍼(139)를 가이드관(136)의 내부로 진입시키면 컨트롤러(100b)를 세워도 질량체(M)의 위치가 고정되며, 질량체(M)가 최대로 이동하였으므로 컨트롤러(100b)의 무게중심이 크게 변하게 된다. 또한 가동부(112)가 이동하였으므로 컨트롤러(100b)의 길이가 변하게 된다.

한편 본 발명의 제3 실시예에 따른 컨트롤러(100b)의 가이드관(136)은, 도 18에 나타낸 바와 같이, 가이드봉(136a)으로 대체될 수도 있다. 즉, 질량체(M)가 삽입되는 가이드관(136)을 대신하여 질량체(M)를 관통하여 이동을 가이드하는 가이드봉(136a)을 설치할 수도 있다. 이 경우, 제1 및 제2 고정장치(137,138)의 스토퍼(139)는 가이드봉(136a)을 향해 접근하거나 후퇴하도록 설치된다.

본 발명의 제4 실시예에 따른 컨트롤러(100c)는, 도 19의 배치도에 나타낸 바와 같이, 하우징(110)과, 하우징(110)에 대해 이동 가능하게 설치된 가동부(112)와, 하우징(110)의 내부에 설치된 가이드관(136)과, 가이드관(136)의 내부에 설치된 질량체(M)와, 가동부(112)와 하우징(110)의 내벽 사이의 공간에 설치된 액츄에이터(140)를 포함한다.

즉, 본 발명의 제4 실시예에 따른 컨트롤러(100c)는 하우징(110)의 내부에 질량체(M)를 이동시키는 가이드관(136)을 설치하고, 제1 액츄에이터(130)를 생략한 점에서 제1 내지 제3 실시예와 차이가 있다.

가이드관(136)의 형상과 가이드관(136)의 일단과 타단에 설치되는 제1 고정장치(137) 및 제2 고정장치(138)는 제3 실시예와 동일하므로 설명을 생략한다.

본 발명의 제4 실시예에 따른 컨트롤러(100c)는, 제1 고정장치(137), 제2 고정장치(138) 및 액츄에이터(140)를 선택적으로 구동시킴으로써 도 20 및 도 21에 나타낸 바와 같이 다양한 동작을 수행할 수 있다.

일 예로서, 도 20의 (a)에 나타낸 바와 같이, 컨트롤러(100c)를 기울인 상태에서 제1 고정장치(137)와 제2 고정장치(138)의 스토퍼(139)를 모두 후퇴시키면, 질량체(M)가 가이드관(136)의 내부에서 중력에 의해 아래쪽으로 이동하게 된다.

이 상태에서, 도 20의 (b)에 나타낸 바와 같이, 제1 고정장치(137)의 스토퍼(139)를 가이드관(136)의 내부로 진입시키면 컨트롤러(100c)를 세워도 질량체(M)의 위치가 고정되므로 컨트롤러(100c)의 무게중심이 변하게 된다.

다른 예로서, 도 21의 (a)에 나타낸 바와 같이, 컨트롤러(100c)를 기울인 상태에서 액츄에이터(140)를 구동하여 가동부(112)를 하우징(110)의 외부로 밀어 내는 한편 제1 고정장치(137)와 제2 고정장치(138)의 스토퍼(139)를 모두 후퇴시키면, 질량체(M)가 가이드관(136)의 내부에서 중력에 의해 아래쪽으로 이동하게 된다.

이 상태에서, 도 21의 (b)에 나타낸 바와 같이, 제1 고정장치(137)의 스토퍼(139)를 가이드관(136)의 내부로 진입시키면 컨트롤러(100c)를 세워도 질량체(M)의 위치가 고정되므로 컨트롤러(100c)의 무게중심이 크게 변하게 된다. 또한 가동부(112)가 이동하였으므로 컨트롤러(100c)의 길이가 변하게 된다.

본 발명의 제4 실시예에 따른 컨트롤러(100c)의 가이드관(136)도 도 18의 가이드봉(136a)으로 대체될 수 있다.

한편, 본 발명의 제3 및 제4 실시예에 따른 컨트롤러(100b, 100c)에서 제1 및 제2 고정장치(137,138)의 동작은 MCU(120)에 의해 제어될 수 있다. 이를 위하여 가이드관(136)이나 가이드봉(136a)의 주변에는 질량체(M)를 감지할 수 있는 질량체 감지센서(도면에는 나타내지 않았음)가 설치될 수 있다.

예를 들어, 컨트롤러(100b, 100c)의 MCU(120)는 무게중심 이동 명령을 수신한 이후에 질량체 감지센서를 통해 질량체(M)가 설정 위치에 도달한 것이 확인되면, 해당 위치의 고정장치(137,138)를 제어하여 스토퍼(139)를 이동시켜 질량체(M)의 위치를 고정시킬 수 있다.

이하에서는 본 발명의 실시예에 따른 컨트롤러(100, 100a, 100b, 100c)에 설치된 제1 및 제2 액츄에이터(130, 140)의 구체적인 실시예를 설명한다.

도 22에 나타낸 컨트롤러(100d)는 제1 및 제2 액츄에이터(130, 140)가 리니어 스크류 액츄에이터인 경우를 나타낸 것이다.

제1 액츄에이터(130)는 가동부(112)에 고정된 모터이고, 가동부(112)의 내부에는 가동부(112)의 이동방향을 따라 스크류(131)가 설치되고, 스크류(131)의 단부는 모터 회전축에 결합된다. 또한 스크류(131)에는 질량체(M)가 나사 결합되고, 가동부(M)의 내부에는 질량체(M)의 이동을 가이드하는 한편 회전을 방지하는 레일(114)이 설치된다.

따라서 제1 액츄에이터(130)가 스크류(131)를 회전시키면, 스크류(131)에 나사 결합된 질량체(M)가 스크류(131)와 레일(114)을 따라 이동하게 되고, 이로 인해 컨트롤러(100d)의 무게중심이 변하게 된다.

제2 액츄에이터(140)는 하우징(110)에 고정된 모터이고, 모터 회전축에는 스크류(141)가 설치되고, 스크류(141)는 가동부(112)에 설치된 고정너트(142)에 나사 결합된다.

따라서 제2 액츄에이터(140)가 스크류(141)를 회전시키면, 스크류(141)에 나사 결합된 고정너트(142)로 인해 가동부(M)가 스크류(141)를 따라 이동하게 된다.

도 23은 제1 및 제2 액츄에이터(130, 140)가 모두 동작함에 따라 질량체(M)와 가동부(112)가 각각 스크류(131,141)를 따라 이동한 상태를 나타낸 것이다.

이와 달리 제1 및 제2 액츄에이터(130, 140) 중에서 어느 하나만을 구동하여 질량체(M)와 가동부(112) 중에서 어느 하나만 이동시킬 수도 있음은 물론이다.

도 22 및 도 23에는 제1 액츄에이터(130)가 가동부(112)에 고정된 것으로 나타내었으나, 이와 달리 제1 액츄에이터(130)를 하우징(110)에 고정시킬 수도 있음은 물론이다.

도 24에 나타낸 컨트롤러(100e)는, 제1 액츄에이터(130)가 앞서 설명한 바와 같은 리니어 스크류 액츄에이터이고, 제2 액츄에이터가 리니어 압전 액츄에이터(140a)인 경우를 나타낸 것이다.

리니어 압전 액츄에이터(140a)는, 도 26의 개략 구성도에 나타낸 바와 같이, 액츄에이터 하우징(145)과, 액츄에이터 하우징(145)의 내부에 설치되고 전기적 연결을 위한 다양한 도전라인을 구비하는 베이스(146)와, 하단이 베이스(146)에 고정된 상태에서 도전라인과 전기적으로 연결된 다수의 압전 바이모프(147)와, 다수의 압전 바이모프(147)의 상부에 설치되고 액츄에이터 하우징(145)을 관통하도록 설치된 가동막대(144)를 포함한다.

압전 바이모프(147)는 서로 같은 방향으로 배치된 제1 압전소자(147a) 및 제2 압전소자(147b)와, 제1 압전소자(147a) 및 제2 압전소자(147b)의 상단에 결합되는 접촉부(147c)를 포함한다.

제1 압전소자(147a)와 제2 압전소자(147b)는 서로 접촉될 수도 있고 미세하게 이격될 수도 있다.

압전 바이모프(147)는 제1 압전소자(147a) 또는 제2 압전소자(147b)에 선택적으로 전기장을 인가함으로써 전체 형상을 다양하게 변화시킬 수 있다. 예를 들어, 제1 압전소자(147a)를 팽창시키면 제2 압전소자(147b)쪽으로 굽힘 변형이 발생하고, 제2 압전소자(147b)를 팽창시키면 제1 압전소자(147a)쪽으로 굽힘 변형이 발생한다.

리니어 압전 액츄에이터(140a)는 이러한 원리를 이용하여 압전 바이모프(147)의 상부에 설치된 가동막대(144)를 이동시킨다.

즉, 도 27 및 도 28에 나타낸 바와 같이, 다수의 압전 바이모프(147) 중에서 일부를 선택하여 좌측으로 굽힘 변형시키는 과정을 반복하면 가동막대(144)를 좌측으로 이동시킬 수 있다. 이와 반대로 다수의 압전 바이모프(147) 중에서 일부를 선택하여 우측으로 굽힘 변형시키는 과정을 반복하면 가동막대(144)를 우측으로 이동시킬 수 있다.

다시 도 24를 참조하면, 리니어 압전 액츄에이터(140a)의 액츄에이터 하우징(145)은 컨트롤러(100e)의 하우징(110)에 고정되고, 가동막대(144)의 일단은 가동부(112)에 고정될 수 있다.

따라서 리니어 압전 액츄에이터(140a)가 구동하면, 도 25에 나타낸 바와 같이, 가동막대(144)가 직선운동을 하고, 이로 인해 가동부(112)가 가동막대(144)에 밀려서 이동하게 된다.

도 24 및 도 25에는 제2 액츄에이터가 리니어 압전 액츄에이터(140a)인 경우를 나타내었으나 이에 한정되는 것은 아니므로 제1 액츄에이터가 리니어 압전 액츄에이터로 대체될 수도 있다.

한편 본 발명의 실시예에 따른 컨트롤러(100, 100a, 100b, 100c, 100d, 100e)에서 액츄에이터(130,140,140a), 고정장치(137,138) 등의 동작을 제어하는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다.

다만 액츄에이터(130,140,140a), 고정장치(137,138) 등의 동작 제어가 반드시 소프트웨어로 구현되어야 하는 것은 아니며, 전부 또는 일부 기능은 하드웨어로 구현될 수도 있고, 소프트웨어와 하드웨어의 조합으로 구현될 수도 있다.

이상에서는 본 발명의 바람직한 실시예를 설명하였으나, 본 발명은 앞서 설명한 실시예에 한정되지 않고 구체적인 적용 과정에서 다양하게 변형 또는 수정되어 실시될 수 있다.

예를 들어 컨트롤러의 질량체(M)를 이동시키는 제1 액츄에이터(130)와 가동부(120)를 이동시키는 제2 액츄에이터(140)는 앞서 설명한 예에 한정되지 않는다. 예를 들어, 전기활성고분자(EAP), 자기유변탄성체(MRE), 형상기억합금(SMA) 등의 스마트 소재의 변형에 기반한 액츄에이터를 이용하여 질량체(M) 또는 가동부(120)를 이동시킬 수도 있다.

이와 같이 본 발명은 다양한 형태로 변형 또는 수정되어 실시될 수 있으며, 변형 또는 수정된 실시예도 후술하는 특허청구범위에 개시된 본 발명의 기술적 사상을 포함한다면 본 발명의 권리범위에 속함은 당연하다 할 것이다.

100: 컨트롤러 110: 하우징 112: 가동부
114: 레일 120: MCU 122: 프로세서
124: 메모리 130: 제1 액츄에이터 131: 스크류
136: 가이드관 136a: 가이드봉 137: 제1 고정장치
138: 제2 고정장치 139: 스토퍼 140: 제2 액츄에이터
141: 스크류 142: 고정너트 144: 가동막대
145: 액츄에이터 하우징 146: 베이스 147: 압전 바이모프
150: 모션감지센서 160: 진동발생부 170: 입력부
180: 제1 통신부 190: 전원공급부 200: 콘텐츠 실행장치
210: 프로세서 220: 메모리 230: 디스플레이
234: 가상객체 240: 제2 통신부 250: 전원공급부
260: 애플리케이션 262: 객체제어부 264: 피드백판단부
266: 피드백신호 생성부 M: 질량체 CG: 무게중심

Claims

하우징과, 하우징에 이동 가능하게 결합된 가동부와, 가동부의 내부에 설치된 질량체와, 가동부의 내부에서 질량체를 선형 운동시키는 제1 액츄에이터와, 가동부를 선형 운동시키는 제2 액츄에이터와, 제1 액츄에이터 및 제2 액츄에이터의 동작을 제어하는 제1 프로세서를 구비하는 컨트롤러;
컨트롤러로부터 수신한 제어신호에 따라 애플리케이션을 실행하는 한편 애플리케이션 실행 중에 가상객체 변경 이벤트가 발생하면 피드백 신호를 생성하여 컨트롤러로 전송하는 제2 프로세서를 구비하는 콘텐츠 실행장치
를 포함하며, 컨트롤러의 제1 프로세서는 피드백 신호가 수신되면 제1 액츄에이터와 제2 액츄에이터 중에서 적어도 하나를 제어하여 질량체를 이동시킴으로써 무게중심을 이동시키는 것을 특징으로 하는 인터랙션 시스템
제1항에 있어서,
상기 제1 액츄에이터는 상기 가동부에 설치된 모터와 스크류를 포함하고,
상기 스크류에는 상기 질량체가 결합되고,
상기 가동부의 내부에는 상기 질량체의 이동을 가이드하는 한편 회전을 방지하는 레일이 설치된 것을 특징으로 하는 인터랙션 시스템.
제1항에 있어서,
상기 제2 액츄에이터는 상기 하우징에 설치된 모터와 일단이 모터에 결합된 스크류를 포함하고, 상기 스크류는 상기 가동부에 구비된 고정너트에 나사 결합된 것을 특징으로 하는 인터랙션 시스템.
제1항에 있어서,
상기 제2 액츄에이터는, 상기 하우징에 고정된 액츄에이터 하우징과, 액츄에이터 하우징의 내부에 설치되고 다수의 도전라인을 구비하는 베이스와, 하단이 베이스에 고정된 상태에서 상기 다수의 도전라인과 전기적으로 연결된 다수의 압전 바이모프와, 일단이 상기 가동부에 결합된 상태에서 액츄에이터 하우징을 관통하도록 설치되고 상기 다수의 압전 바이모프의 상부에 배치되는 가동막대를 포함하며,
상기 다수의 압전바이모프 중에서 적어도 하나가 굽힘 변형되면서 상기 가동막대를 이동시키면 상기 가동부가 이동하는 것을 특징으로 하는 인터랙션 시스템.
제1항의 인터랙션 시스템에서 이루어지는 콘텐츠 실행장치와 컨트롤러 간의 인터랙션 방법에 있어서,
콘텐츠 실행장치가 애플리케이션 실행 중에 가상객체 변경 이벤트를 검출하는 이벤트 검출 단계;
가상객체 변경 이벤트가 발생하면 콘텐츠 실행장치가 길이변경 명령을 포함하는 피드백 신호를 생성하여 컨트롤러로 전송하는 피드백 단계;
컨트롤러가 피드백 신호에 대응하여 제1 액츄에이터와 제2 액츄에이터 중에서 적어도 하나를 제어하여 내부에 설치된 질량체를 이동시키는 무게중심 이동단계
를 포함하는 것을 특징으로 하는 인터랙션 방법
제5항에 있어서
상기 이벤트 검출 단계에서, 상기 콘텐츠 실행장치는 디스플레이에 표시되는 가상객체의 형상 또는 종류가 변하는 경우에 가상객체 변경 이벤트가 검출된 것으로 판단하는 것을 특징으로 하는 인터랙션 방법
제5항에 있어서,
상기 이벤트 검출 단계에서, 상기 콘텐츠 실행장치는 디스플레이에 표시된 가상객체가 변경될 시점을 미리 파악하고 변경될 시점을 기준으로 설정시간 전에 가상객체 변경 이벤트가 검출된 것으로 판단하고,
상기 피드백 단계에서, 상기 콘텐츠 실행장치는 디스플레이에서 가상객체가 변경되기 전에 미리 피드백 신호를 생성하여 컨트롤러로 전송하는 것을 특징으로 하는 인터랙션 방법