KR102526843B1

KR102526843B1 - 증강현실 기반의 시촉각 ar 매체

Info

Publication number: KR102526843B1
Application number: KR1020210052274A
Authority: KR
Inventors: 김상연; 허용해
Original assignee: 한국기술교육대학교 산학협력단
Priority date: 2021-04-22
Filing date: 2021-04-22
Publication date: 2023-04-27
Also published as: US11786811B2; US20220339534A1; JP7428402B2; JP2022167765A; EP4080330A1; KR20220145555A

Abstract

사용자가 신체 일부에 연결될 수 있는 AR 매체(medium)를 통해 증강현실을 경험할 때 증강된 현실에 맞는 시촉각 정보를 전달해주는 시촉각 AR 매체로서, 사용자의 신체 일부에 촉각적으로 증강현실을 체감하도록 하는 촉각증강부재; 상기 AR 매체에 그래픽으로 덧 씌워서 시각적으로 변형시킬 수 있는 시각증강부재; 및 상기 AR 매체와 송수신하는 제어부재;를 포함하고, 상기 제어부재는, 상기 사용자 및/또는 상기 AR 매체로부터의 입력에 대응하여 상기 촉각증강부재 또는 상기 시각증강부재의 출력을 제어하는 것을 특징으로 하는 증강현실 기반의 시촉각 AR 매체를 제공한다.

Description

증강현실 기반의 시촉각 AR 매체{AR medium based on augmented reality}

본 발명은 증강현실 기반의 시촉각 AR 매체에 대한 것으로, 사용자가 AR 매체(mediunm)를 신체일부에 연결한 채로 증강현실을 즐길 때, 사용자의 AR 매체에 시각적 증강환경을 제공하고 그와 동시에 시각적 증강환경과 맞는 촉각을 생성하여 사용자에게 전달해주는 시촉각 AR 매체를 제공함으로써, 사용자에게 다양한 사용감을 느끼도록 하는 것이다.

가상현실(VR)과 달리 현실 세계에 가상정보를 더해 보여주는 증강현실(AR; augmented reality)은 모두 실제로 존재하지 않은 환경을 구현함으로써, 사용자가 이를 인지할 수 있는 기술이라는 점에서 공통점이 있다. 하지만, 사용자의 관점에서, AR은 실제 현실에 가상의 정보를 더한 방식이고, VR은 사용자에게 모두 허구의 상황이 제시된다는 점에서 차이가 있다.

특히, 이러한 차이는 VR 기반에서의 스틱과 같은 컨트롤러 사용자 경험방식과 AR 기반에서의 컨트롤러 사용자 경험방식의 차이로 이루어지는데, AR 기반에서는 실제 사용자가 사용하고 있는 컨트롤러의 실제 모습에 일부 증강현실 기반의 가상 객체(object)가 더해지는 형태로 사용자에게 보여지게 된다. 그러므로, AR 기반에서는 사용자에게 컨트롤러의 실질적인 여러 변화(길이, 촉각, 무게중심 등)을 실감하게 해줄 수 있도록 하는 필요성이 높아지고 있다.

한국공개특허 제10-2019-0131436호(공개일: 2019년11월26일) 한국공개특허 제10-2020-0003841호(공개일: 2020년01월10일)

본 발명이 이루고자 하는 기술적 과제는, 사용자가 AR 매체(mediunm)를 신체일부에 연결한 채로 증강현실을 즐길 때, 사용자의 AR 매체에 시각적 증강환경을 제공하고 그와 동시에 시각적 증강환경과 맞는 촉각을 생성하여 사용자에게 전달해주는 시촉각 AR 매체를 제공하는 것에 목적이 있다.

또한, 본 발명의 시촉각 AR 매체는, 증강현실을 즐기려는 사용자가 AR 글래스나 AR 카메라를 통해, 사용자가 착용한 컨트롤러(AR 매체)를 바라볼 때, 시각적으로 상기 컨트롤러가 변화하면서 거기에 상응하는 햅틱감각을 사용자에게 제공할 수 있는 시촉각 AR 매체를 제공하는 것에 목적이 있다.

또한, 본 발명의 시촉각 AR 매체는 시각적 증강 환경을 제공하고 그와 동시에 부피와 형상 및 저항력을 변화시킴으로써 사용자에게 다양한 사용감을 제공할 수 있는 증강현실 기반의 시촉각 AR 매체를 제공하는 것에 목적이 있다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기의 문제를 해결하기 위하여 본 발명은 사용자가 신체 일부에 연결될 수 있는 AR 매체(medium)를 통해 증강현실을 경험할 때 증강된 현실에 맞는 시촉각 정보를 전달해주는 시촉각 AR 매체로서, 사용자의 신체 일부에 촉각적으로 증강현실을 체감하도록 하는 촉각증강부재; 상기 AR 매체에 그래픽으로 덧 씌워서 시각적으로 변형시킬 수 있는 시각증강부재; 및 상기 AR 매체와 송수신하는 제어부재;를 포함하고, 상기 제어부재는, 상기 사용자 및/또는 상기 AR 매체로부터의 입력에 대응하여 상기 촉각증강부재 또는 상기 시각증강부재의 출력을 제어하는 것을 특징으로 하는 증강현실 기반의 시촉각 AR 매체를 제공할 수 있다.

상기 촉각증강부재는, 상기 시촉각 AR 매체에 진동을 발생시키는 진동발생모듈을 더 포함하며, 상기 진동발생모듈은 진동자 및/또는 진동모터를 포함하는 것일 수 있다.

상기 촉각증강부재는, 상기 진동자를 구동하여 상기 촉각증강부재를 떨리게 하여 사용자에게 진동촉감을 생성하는 것일 수 있다.

상기 진동발생모듈이 상기 진동모터를 포함하는 경우, 상기 진동모터는 복수 개를 사용하되, 상기 복수의 진동모터를 순차적으로 구동하여 진동의 흐름을 발생시키는 것일 수 있다.

상기 진동발생모듈이 복수 개의 진동모터를 포함하는 경우, 상기 복수의 진동모터의 구동순서와 크기를 제어하여 진동의 흐름을 발생시키는 것일 수 있다.

상기 진동발생모듈이 복수 개의 진동모터를 포함하는 경우, 상기 복수의 진동모터의 구동순서와 구동주파수를 제어하여 진동의 흐름을 발생시키는 것일 수 있다.

상기 진동발생모듈이 상기 진동자를 포함하는 경우, 상기 진동자는 사용자가 가상의 물체를 AR 매체를 통하여 조작할 때 구동하여 상기 가상의 물체로 인해 발생하는 충격량을 전달하는 것일 수 있다.

상기 진동발생모듈이 상기 진동자를 포함하는 경우, 사용자에게 경고 또는 알람을 전달할 수 있는 것일 수 있다.

상기 촉각증강부재는, 상기 시촉각 AR 매체의 실제 길이를 변화하는 것일 수 있다.

상기 시촉각 AR 매체는, 내부에 질량체가 움직일 수 있는 수용공간을 포함하며 상기 수용공간을 따라서 상기 질량체가 움직여서 무게중심이 변화하는 것일 수 있다.

상기 시촉각 AR 매체는, 상기 시촉각 AR 매체의 실제 길이를 변화시키되, 내부에 질량체가 움직일수 있는 수용공간을 포함하고, 상기 수용공간을 따라서 상기 질량체가 움직여서 무게중심이 변화하는 것일 수 있다.

상기 촉각증강부재는, 상기 시촉각 AR 매체의 실제 길이를 연장시킬 수 있는 길이연장부재를 포함하되, 상기 길이연장부재는, 상기 시촉각 AR 매체의 일단부와 견합된 고정모듈과, 상기 고정모듈의 내부에 일부 또는 전부가 중첩되도록 구비되며 상기 시촉각 AR 매체의 타단부를 향하여 돌출 연장되는 연장모듈을 포함하는 것일 수 있다.

상기 길이연장부재는 상기 연장모듈의 일단부와 연결되어, 상기 연장모듈을 일방향으로 이동시킬 수 있는 구동모듈을 더 포함하는 것일 수 있다.

상기 촉각증강부재는, 상기 시촉각 AR 매체의 무게중심을 변화시킬 수 있는 무게중심이동 부재를 포함하되, 상기 무게중심 이동부재는, 상기 시촉각 AR 매체의 외면을 이루고, 내부에 수용공간을 마련하는 하우징의 중심축과 평행하도록 상기 하우징 내부에 형성된 이동레일과, 상기 이동레일을 따라 이동하는 질량체를 포함하는 것일 수 있다.

상기 무게중심 이동부재는, 상기 질량체가 연장모듈의 내부를 따라 일방향으로 이동할 때, 그 이동의 거리를 제약하도록 구속하는 걸림부를 더 포함하는 것일 수 있다.

상기 무게중심 이동부재는 상기 질량체를 일방향으로 이동시킬 수 있는 질량체 구동모듈을 더 포함하는 것일 수 있다.

상기 질량체 구동모듈은 단수 또는 복수개의 리니어 모터 또는 복수개의 전자석을 이용하는 것일 수 있다.

상기 촉각증강부재는, 상기 시촉각 AR 매체에 촉감을 발생시키는 햅틱 구동부재를 더 포함하는 것일 수 있다.

상기 햅틱 구동부재는, 햅틱휠의 형태로 구현되어, 사용자에게 휠의 움직임에 대한 햅틱 피드백을 제공하는 것일 수 있다.

상기 촉각증강부재는, 상기 시촉각 AR 매체에 부피를 변화시켜 공기 저항을 변화시켜주는 공기저항모듈을 더 포함하는 것일 수 있다.

상기 제어부재는, 상기 시촉각 AR 매체의 동작을 제어하며, 프로세서와 메모리를 포함하는 MCU(Micro Controller Unit), 외부의 AR 기기와 통신하는 통신부, 상기 AR 매체에 전원을 공급하는 전원공급부, 사용자로부터의 센싱 정보를 획득할 수 있는 센서부를 더 포함하는 것일 수 있다.
또한, 사용자가 신체 일부에 연결될 수 있는 AR 매체(medium)를 통해 증강현실을 경험할 때 증강된 현실에 맞는 시촉각 정보를 전달해주는 시촉각 AR 매체로서, 사용자의 신체 일부에 촉각적으로 증강현실을 체감하도록 하는 촉각증강부재; 상기 AR 매체에 그래픽으로 덧 씌워서 시각적으로 변형시킬 수 있는 시각증강부재; 및 상기 AR 매체와 송수신하는 제어부재;를 포함하고, 상기 제어부재는, 상기 사용자 및/또는 상기 AR 매체로부터의 입력에 대응하여 상기 촉각증강부재 또는 상기 시각증강부재의 출력을 제어하고, 상기 촉각증강부재는, 상기 시촉각 AR 매체의 실제 길이를 연장시킬 수 있는 길이연장부재를 포함하고, 상기 길이연장부재는, 상기 시촉각 AR 매체의 일단부와 결합된 고정모듈과, 상기 고정모듈의 내부에 일부 또는 전부가 중첩되도록 구비되며 상기 시촉각 AR 매체의 타단부를 향하여 돌출 연장되는 연장모듈과, 상기 연장모듈을 일방향으로 이동시킬 수 있는 구동모듈을 포함하고, 상기 촉각증강부재는, 시촉각 AR 매체에 부피를 변화시켜 공기 저항을 변화시켜주는 공기저항모듈을 더 포함하고, 상기 공기저항모듈은 상기 연장모듈에 결합되어 연장모듈의 부피를 확장하는 것;을 특징으로 한다.

본 발명의 실시예에 따른 증강현실 기반의 시촉각 AR 매체는 시각증강부재를 구비하여 시각적 증강 환경을 제공하고, 그와 동시에 부피 또는 형상이 가변할 수 있는 구동부재를 포함하는 촉각증강부재를 통하여 부피와 형상 및 저항력을 변화시킴으로써 사용자에게 증강현실과 관련되어, 실감나는 사용감을 제공할 수 있는 장점이 있다.

도 1은 본 발명의 실시예에 따른 증강현실 기반의 시촉각 AR 매체를 이용한 것을 나타낸 도면,
도 2는 본 발명의 실시예에 따른 증강현실 기반의 시촉각 AR 매체를 나타낸 블록 다이어그램,
도 3은 본 발명의 실시예에 따른 증강현실 기반의 시촉각 AR 매체의 시각 증강을 나타낸 도면,
도 4는 본 발명의 실시예에 따른 증강현실 기반의 시촉각 AR 매체의 길이연장부재를 나타낸 도면,
도 5a 및 5b는 본 발명의 실시예에 따른 증강현실 기반의 시촉각 AR 매체의 무게중심 이동부재를 나타낸 도면,
도 6은 본 발명의 다른 실시예에 따른 증강현실 기반의 시촉각 AR 매체의 무게중심 이동부재를 나타낸 도면,
도 7은 본 발명의 또 다른 실시예에 따른 증강현실 기반의 시촉각 AR 매체의 무게중심 이동부재를 나타낸 도면,
도 8a 및 도 8b는 본 발명의 실시예에 따른 증강현실 기반의 시촉각 AR 매체의 길이연장부재와 무게중심 이동부재를 나타낸 도면,
도 9는 본 발명의 실시예에 따른 증강현실 기반의 시촉각 AR 매체의 햅틱 구동부재와 진동발생모듈을 나타낸 도면,
도 10은 본 발명의 실시예에 따른 증강현실 기반의 시촉각 AR 매체의 시각 및 촉각 변형이 모두 일어난 것을 나타낸 도면,
도 11은 본 발명의 실시예에 따른 증강현실 기반의 시촉각 AR 매체의 공기저항모듈을 나타낸 도면,
도 12는 본 발명의 다른 실시예에 따른 증강현실 기반의 시촉각 AR 매체의 시각 및 촉각 변형이 모두 일어난 것을 나타낸 도면,
도 13은 본 발명의 실시예에 따른 증강현실 기반의 시촉각 AR 매체의 제어부재를 나타낸 블록 다이어그램이다.

이하, 첨부한 도면들을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 다음에 소개되는 실시예들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되어지는 것이다. 따라서, 본 발명은 이하 설명되어지는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 그리고, 도면들에 있어서, 층 및 영역의 길이, 두께 등은 편의를 위하여 과장되어 표현될 수도 있다. 명세서 전체에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.

본 발명에서, 사용되는 AR 기기(device)란 사용자로 하여금 AR 컨텐츠를 즐기도록 하는 기기로 예를 들어, 예시적으로, 도 1과 같이 사용자에게 장착된 AR 글라스 또는 증강현실 카메라 기능을 제공하는 다양한 모바일 기기(AR 카메라를 가진 휴대폰이나 패드) 등의 형태일 수 있다. 다만, 이에 한정하는 것은 아니다.

또한, 본 발명에서, 사용되는 AR 매체(medium)란 사용자가 착용하여, 증강된 현실을 즐길 수 있는 다양한 장치들로서, 상기 AR 매체는 사용자의 신체 일부에 연결되어 사용자에게 여러 감각적인 피드백을 줄 수 있는 장치를 의미한다.

일 실시예로, 상기 AR 매체는 도1 또는 도3과 같이, 사용자가 손에 잡는 형태의 스틱형 컨트롤러일 수도 있다. 또한, 다른 실시예로 사용자가 팔에 걸칠 수 있는 형태의 컨트롤러이거나, 사용자가 발에 신을 수 있는 부츠의 형태의 컨트롤러일 수도 있다. 다만, 상기 AR 매체가 상술한 형태들에만 한정하는 것은 아니며, 사용자에게 촉각적인 피드백을 직접 줄 수 있으면서 사용자에게 착용되어, 맞닿는 형태의 다양한 실시예들을 포함할 수 있다.

또한, 상술한 휴대폰, 패드와 같이 사용자가 카메라를 가지고 있으며, 시각장치를 포함하고 있으면서, 진동모터를 포함한 손으로 잡을수 있는 장치는 상기 AR 매체가 되면서 동시에 상기 AR 기기가 될 수 있다.

본 발명의 실시예에 따른 증강현실 기반의 시촉각 AR 매체(1)는 사용자가 신체 일부에 연결될 수 있는 AR 매체(medium)를 통해 증강현실을 경험할 때 증강된 현실에 맞는 시촉각 정보를 전달해주는 시촉각 AR 매체로서, 사용자의 신체 일부에 촉각적으로 증강현실을 체감하도록 하는 촉각증강부재(20); 상기 AR 매체에 그래픽으로 덧 씌워서 시각적으로 변형시킬 수 있는 시각증강부재(30); 및 상기 AR 매체와 송수신하는 제어부재(40);를 포함하고, 상기 제어부재(40)는, 상기 사용자 및/또는 상기 AR 매체로부터의 입력에 대응하여 상기 촉각증강부재(20) 또는 상기 시각증강부재(30)의 출력을 제어하는 것일 수 있다.

상기 그래픽으로 덧씌운다는 것의 의미는, 상기 AR 매체에 추가적인 증강현실 컨텐츠가 시각적으로 덧대어져서, AR 글래스와 같은 AR 기기를 통해 상기 AR 매체를 통해 바라볼 때, 상기 추가된 증강현실 컨텐츠가 시각적으로 보여지는 것(33, 35, 37)을 의미한다.

예로써, 도 3은 시촉각 증강 AR 매체(1)에 상기 시각증강부재(30)가 적용된 것을 예시적으로 도시한 것으로, 사용자는 상기 시각증강부재(30)가 적용되면, 상기 AR 매체(1)에 추가적인 증강현실 컨텐츠가 시각적으로 덧대어져서, AR 글래스와 같은 AR 기기를 통해 상기 AR 매체(1)를 통해 바라볼 때, 상기 추가된 증강현실 컨텐츠(33)가 시각적으로 보여지게 된다. 즉, 상기 시각증강부재(30)는 상기 시촉각 AR 매체(1)를 사용자가 다양한 AR 기기를 통해(예를 들어 AR 글래스) 바라보았을 때, 가상의 정보(증강현실 기반의 가상 객체(object))가 상기 시촉각 AR 매체(1)에 더해져서 보여지도록 하는 기능을 수행한다. 이러한 시각증강부재(30)는 다양한 방식으로 실시될 수 있으며, 후술되는 실시예에만 한정되는 것은 아니다.

일 실시예로, 상기 시각증강부재(30)는 마커의 형태로 구현될 수 있다. 구체적으로, 하우징(100)의 일단부에 마커가 구현되어, 사용자가 AR 기기(AR 글라스 혹은 증강현실 카메라 기능을 제공하는 모바일 기기)로 상기 하우징(100)의 마커를 보게 되면, 상기 마커를 통해 사용자는 여러 다양한 시각적 증강 객체를 볼 수 있게 된다. 예로써, 증강현실 기반의 시촉각 AR 매체(1)가 운동에 관련한 게임 증강현실을 제공하는 경우 상기 시각증강부재는 도1과 같은 골프채 형상, 야구배트 또는 도 12와 같은 탁구채 형상(37) 등의 여러 형태로 AR 글래스 등의 AR 기기를 통해, 사용자에게 시각적 증강현실을 제공할 수 있고, 다른 예로써, 격투 게임에 적용되는 경우 상기 시각증강부재(30)는 도 10의 검 형상(35)과 같은 시각적 형상을 제공할 수 있다.

상기 시촉각 AR 매체(1)는 촉각증강부재(20), 시각증강부재(30) 및 제어부재(40)를 포함하며, 상기 시촉각 AR 매체(1)의 외면을 이루는 하우징(100)을 포함할 수 있다. 상기 하우징(100)은 상기 시촉각 AR 매체(1)의 외면을 이루면서, 내부에 수용공간을 마련할 수 있다.

상기 촉각증강부재(20)는, 상기 시촉각 AR 매체의 실제 길이를 변화하는 것일 수 있다.

예로써, 상기 촉각증강부재(20)는, 상기 시촉각 AR 매체(1)의 실제 길이를 연장시킬 수 있는 길이연장부재(200)를 포함하되, 상기 길이연장부재(200)는, 상기 시촉각 AR 매체의 일단부와 견합된 고정모듈(205)과, 상기 고정모듈(205)의 내부에 일부 또는 전부가 중첩되도록 구비되며 상기 시촉각 AR 매체의 타단부를 향하여 돌출 연장되는 연장모듈(201)을 포함하는 것일 수 있다. 즉, 길이 연장 부재(200)는 상기 시촉각 AR 매체(1)를 특정한 방향(예를 들어 사용자가 착용하였을 때, 사용자의 신체 바깥 방향인 길이 방향)으로 연장시키는 기능을 수행할 수 있다.

또한, 상기 길이연장부재(200)는 상기 연장모듈(201)의 일단부와 연결되어, 상기 연장모듈(201)을 일방향으로 이동시킬 수 있는 구동모듈(203)을 더 포함하는 것일 수 있다. 상기 구동모듈(203)과 관련되어, 일 실시예로, 상기 구동모듈(203)은 리니어 모터로 구성되어, 상기 연장모듈(201)을 길이 방향으로 연장시키거나, 연장된 연장모듈(201)을 다시 축소시키는 기능을 수행할 수 있다. 또한, 상기 리니어 모터는 단수 또는 복수개로 이루어질 수 있으며, 상기 하우징(100)의 일방향에만 설치되거나 상기 하우징의 일방향에 복수개 배치되거나, 상기 하우징의 양방향에 복수개 배치되도록 구현될 수도 있다. 또한, 상기 구동모듈(203)은 반드시 필요한 것은 아니며, 사용자가 별도의 에너지원 없이, 수동으로 상기 연장모듈(201)을 상기 고정모듈(205)로부터 당기도록 하여, 길이를 연장시키거나 연장된 길이를 다시 줄이도록 동작할 수도 있다.

상기 시촉각 AR 매체(1)는, 도 5a 내지 도7과 같이, 내부에 질량체(301)가 움직일 수 있는 수용공간을 포함하며 상기 수용공간을 따라서 상기 질량체(301)가 움직여서 무게중심이 변화하는 것일 수 있다.

또한, 상기 촉각증강부재(20)는, 상기 시촉각 AR 매체(1)의 무게중심을 변화시킬 수 있는 무게중심 이동부재(300)를 포함하되, 상기 무게중심 이동부재(300)는, 상기 시촉각 AR 매체(1)의 외면을 이루고, 내부에 수용공간을 마련하는 하우징의 중심축과 평행하도록 상기 하우징 내부에 형성된 이동레일(303)과, 상기 이동레일(303)을 따라 이동하는 질량체(301)를 포함하는 것일 수 있다. 보다 구체적으로, 상기 질량체(301)는 무게추 등으로 이루어질 수도 있다.

이 경우, 상기 무게중심 이동부재(300)는, 상기 질량체(301)가 상기 연장모듈(201)의 내부를 따라 일방향으로 이동할 때, 그 이동의 거리를 제약하도록 구속하는 걸림부(305)를 더 포함하는 것일 수 있다. 예로써 상기 걸림부(305)는 사용자가 상기 하우징(100)의 내부 방향을 따라 압력을 가하게 되면, 상기 질량체(301)의 구속을 해제하여, 상기 질량체(301)가 이동하도록 할 수 있다. 나아가서, 상기 질량체(301)와 상기 이동레일(303)은 사용자에게 복합적인 무게중심 이동을 실감하도록 하기위해, 상기 하우징(100)의 중심축을 기준으로 서로 다른 위치에 복수개(예를 들어, 중심축과 평행하도록 상면과 하면에 각각 형성됨)가 형성되도록 할 수도 있다.

상기 무게중심 이동부재(300)는 상기 질량체를 일방향으로 이동시킬 수 있는 질량체 구동모듈(307)을 더 포함하는 것일 수 있다. 즉, 상기 질량체(301)의 이동은 사용자가 상기 걸림부(305)를 통한 수동적인 이동 뿐만 아니라, 도 6 또는 도 7에 도시된 것처럼, 추가적인 질량체 구동모듈(307, 307a)을 포함하여, 이루어질 수도 있다.

예를 들어, 상기 질량체 구동모듈(307)은 단수 또는 복수개의 리니어 모터(307) 또는 복수개의 전자석(307a)을 이용하는 것일 수 있다.

도 6과 같이 리니어 모터를 이용하는 경우, 상기 질량체(301)의 이동은 후술되는 제어부재(40)의 제어를 통해 이동하도록 하여, 증강현실의 체험 중에 질량체(301)의 실시간으로 다이나믹하게 이동하도록 할 수도 있다. 또한, 상기 질량체 구동모듈(307)은 별도의 구동모듈로 구현될 수 있을 뿐 아니라, 길이연장부재(200)의 구동모듈(203)을 활용하여, 동작할 수도 있다.

도 7과 같이 상기 질량체(301)가 자성을 띈 소재인 경우, 상기 질량체 구동모듈(307a)는 리니어 모터와 같이 질량체(301)를 물리적으로 밀어내거나 당기는 기계적인 구성이 아니라, 상기 질량체(301)가 이동하는 상기 이동레일(303)에 형성된 복수개의 전자석으로 구현될 수도 있다. 즉, 후술되는 제어부재(40)를 통해, 상기 이동레일(303)에 형성된 복수 개의 전자석에 선택적으로 전류를 공급하여, 특정 전자석에서 상기 질량체(301)를 자성을 통해 달라붙게 함으로써, 상기 질랑체(301)의 위치를 이동시키거나 고정하도록 구현될 수 있다.

도 8a 및 도 8b를 참조하면, 본 발명의 다양한 촉각 증강 방법 중, 길이연장부재(200)와 무게중심이동 부재(300)를 다양하게 적용한 실시예를 도시한 것으로, 상기 시촉각 증강 AR 매체(1)의 초기화 모드에서, 상기 연장모듈(201)을 상기 시촉각 증강 AR 매체(1)의 길이를 연장시키는 방향으로 이동시켜, 상기 연장모듈(201)의 이동을 통한 상기 시촉각 증강 AR 매체(1)의 실제 길이를 연장시키고, 이후, 상기 질량체(301)를 상기 연장모듈(201)의 상기 길이를 연장시키는 방향으로 이동시켜, 결과적으로 사용자는 상기 질량체(301)의 이동과 상기 연장모듈(201)의 길이 연장으로 인해, 상기 시촉각 증강 AR 매체(1)의 길이 변화와 동시에 무게중심의 이동을 실감할 수 있게 된다.

도 10을 참조하면, 본 발명의 다양한 촉각 증강 방법 중, 상기 시촉각 증강 AR 매체(1)에서 시각 및 촉각 변형이 모두 일어난 실시예를 도시한 것이다. 도 10에 도시된 것과 같이, 사용자는 AR 글래스 등과 같은 AR 기기를 통해 상기 시촉각 증강 AR 매체(1)를 보게 되는 경우, 상술한 시각증강부재(30)를 통해 칼의 형상을 가상으로 상기 시촉각 증강 AR 매체(1)에 구현하고, 실제 시촉각 증강 AR 매체(1)의 길이를 상기 길이연장부재(200)의 상기 연장모듈(201)을 이동시킴으로써, 길이를 증가시키고, 상기 무게중심 이동부재(300)의 상기 질량체(301)를 상기 연장모듈(201)의 사용자로부터 먼 방향의 일단으로 이동시켜, 결과적으로 사용자는 상기 시촉각 증강 AR 매체(1)의 길이가 늘어나고 무게의 중심이 사용자로부터 먼 방향으로 이동되며, 시각적으로는 가상의 검(35)이 보여지기 때문에, 실제 긴 칼을 휘두른다는 실감을 느낄 수 있게 된다.

즉, 상기 촉각증강부재(20)가 길이연장부재(200)와 무게중심이동 부재(300)를 모두 활용하는 경우, 질량체 구동모듈(307)에 의해, 질량체(301)의 위치가 이동하고, 상기 연장모듈(201)을 통해 실제 시촉각 AR 매체(1)의 길이가 실제로 연장되게 되면, 사용자에게는 상기 시촉각 AR 매체(1)의 무게중심과 길이가 모두 변화되어 회전 시에, 이전과는 다른 회전 관성을 가지게 되고, 이를 응용하면, 예시적으로 사용자는 증강 현실을 통해 표현되는 검(35)의 길이감과 무게감을 동시에 구별하여 느낄 수 있다.

상기 촉각증강부재(20)는, 도 9와 같이, 상기 시촉각 AR 매체에 진동을 발생시키는 진동발생모듈(500)을 더 포함하며, 상기 진동발생모듈(500)은 진동자 및/또는 진동모터를 포함하는 것일 수 있다. 예로써, 상기 고정모듈(205)에 단수 혹은 복수개의 진동발생모듈(500)을 장착하여, 사용자에게 즐기고 있는 증강 현실에 적합한 진동을 제공할 수 있다.

상기 촉각증강부재(20)는, 상기 진동자를 구동하여 상기 촉각증강부재(20)를 떨리게 하여 사용자에게 진동촉감을 생성하는 것일 수 있다.

상기 진동발생모듈(500)이 상기 진동자를 포함하는 경우, 상기 진동자는 사용자가 가상의 물체를 AR 매체(1)를 통하여 조작할 때 구동하여 상기 가상의 물체로 인해 발생하는 충격량을 전달하는 것일 수 있다.

또한, 상기 진동발생모듈(500)이 상기 진동모터를 포함하는 경우, 상기 진동모터는 복수 개를 사용하되, 상기 복수의 진동모터를 순차적으로 구동하여 진동의 흐름을 발생시키는 것일 수 있다.

상기 진동발생모듈(500)이 복수 개의 진동모터를 포함하는 경우, 상기 복수의 진동모터의 구동순서와 크기를 제어하여 진동의 흐름을 발생시키는 것일 수 있다.

상기 진동발생모듈(500)이 복수 개의 진동모터를 포함하는 경우, 상기 복수의 진동모터의 구동순서와 구동주파수를 제어하여 진동의 흐름을 발생시키는 것일 수 있다. 구체적으로, 상기 고정모듈(205)의 내부에 복수 개의 진동발생모듈(500)을 장착하여, 목표물이 맞거나 부딪히는 경우, 진동이 발생하여 촉각 증강현실을 더욱 다양하게 구현할 수 있다. 보다 구체적으로, 사용자가 증강현실 내에서 가상의 객체를 타격한다고 가정한다면, 상기 복수 개의 진동발생모듈(500) 중, 상기 가상의 객체와 거리가 가까운 진동발생모듈(500)에서 먼저 진동을 발생하여, 사용자로 하여금 타격감을 실감하도록 할 수 있다. 또한, 더 나아가, 상기 복수 개의 진동발생모듈(500) 간에 시간차를 두고 진동을 발생하거나 도는 펄스구동을 적용하여 사용자에게 진동의 이동 방향 또한 실감할 수 있도록, 조절하여 이동진동을 제공할 수 있다.

결과적으로, 상술한 것과 같은 이동진동(진동의 흐름)을 이용하여, 사용자가 시촉각 증강 AR 매체(1)로 표현된 증강현실상의 칼을 휘둘러서 가상의 객체를 타격하는 경우, 객체의 타격에 따른 진동이 상기 시촉각 증강 AR 매체(1)의 연장모듈(201)에 가까운 진동발생모듈(500)로부터 진동이 시작되어 점차 손에 가까운 진동발생모듈(500)로 진동이 옮겨지도록 구현할 수 있다.

상기 촉각증강부재(20)는, 상기 시촉각 AR 매체(1)에 촉감을 발생시키는 햅틱 구동부재(600)를 더 포함하는 것일 수 있다. 상기 햅틱 구동부재는, 햅틱휠의 형태로 구현되어, 사용자에게 휠의 움직임에 대한 햅틱 피드백을 제공하는 것일 수 있다. 또한, 본 발명에서 사용하는 햅틱(haptic)이란 촉각이라는 의미 뿐 아니라, 촉각, 힘, 운동감, 관성 등을 느끼게 하는 것을 의미한다.

일 실시예로써, 증강현실 기반의 시촉각 AR 매체(1)는 하우징(100)의 일단부에 마우스 휠 형태와 같은 햅틱 구동부재(600)를 구비하여 증강현실에서 제한된 영역을 감지하는 촉각을 제공할 수 있다. 구체적으로, 상기 햅틱 구동부재(600)는 햅틱휠의 형태로 구현되어, 사용자는 상기 시각증강부재(30)에서 덧씌워진 증강현실 컨텐츠에 대해서 상기 햅틱휠를 통해 여러가지 조정 기능(예를 들어, 휠을 돌리는 행위) 등을 수행하다가, 상기 조정 기능의 상위 임계치나 하위 임계치에 다달아, 더 이상 조정 기능을 수행하지 못하는 경우(예를 들어, 햅틱휠을 좌방향 또는 우방향 끝까지 돌리는 경우), 상기 햅틱휠를 통해, 상기 조정 기능을 더이상 수행하기 어렵다는 의미를 포함하는 햅틱 피드백을 받을 수 있다.

상기 촉각증강부재(20)는, 상기 시촉각 AR 매체(1)에 부피를 변화시켜 공기 저항을 변화시켜주는 공기저항모듈(700)을 더 포함하는 것일 수 있다.

도 11은 본 발명의 다양한 촉각 증강 방법 중, 길이연장 및 무게중심의 이동 이외에 추가적으로 공기저항모듈(700)을 이용하여 상기 시촉각 AR 매체(1)의 부피를 변화시켜, 공기의 저항을 변화시키는 실시예를 도시한 것이다. 도시된 것과 같이, 상기 하우징(100)의 상기 연장모듈(201)에는 단수 혹은 복수개의 공기저항모듈(700)을 장착하여, 사용자에게 즐기고 있는 증강 현실에 적합한 공기 저항감을 제공할 수 있다. 구체적으로, 상기 공기저항모듈(700)은 상기 연장모듈(201)이 돌출 연장된 후 연장모듈(201)의 외주면을 관통하며 외부로 전개 가능한 형태로 구현될 수 있다. 보다 구체적으로 상기 공기저항모듈(700)은 사용자가 해당 모듈을 잡아당기면 전개되어 펼쳐지는 형태일 수도 있지만 이에 한정되는 것은 아니다.

결과적으로, 상기 공기저항모듈(700)의 전개 길이 또는 전개 폭과 같은 전개 정도에 따라 시촉각 AR 매체(1)를 휘두를 때 받게 되는 공기 저항은 서로 다르게 제공될 수 있다. 예를 들어 검을 사용할 때, 탁구채 또는 야구 배트를 휘두를 때와 같이 증강현실에서 제공된 상황에 따라 공기의 저항은 다르게 설계될 수 있는데, 상기 공기저항모듈(700)을 조절함으로써 사용자가 실감하는 공기저항이 서로 다르도록 다양하게 제공될 수 있다.

도 12의 경우, 본 발명의 다양한 촉각 증강 방법 중, 상기 시촉각 증강 AR 매체(1)에서 시각 및 촉각 변형(길이, 무게중심, 공기저항 등)이 모두 일어난 실시예를 도시한 것이다. 도 12에 도시된 것과 같이, 사용자는 AR 글래스 등과 같은 AR 기기를 통해 상기 시촉각 증강 AR 매체(1)로 탁구를 즐긴다고 가정하면, 상술한 시각증강부재(30)를 통해 탁구채의 형상(37)을 가상으로 상기 시촉각 증강 AR 매체(1)에 구현하고, 실제 시촉각 증강 AR 매체(1)의 길이를 상기 길이연장부재(200)의 상기 연장모듈(201)를 이동시킴으로써, 탁구채의 실제 길이만큼 길이를 증가시키고, 상기 무게중심 이동부재(300)의 상기 질량체(301)를 탁구채에 해당하는 정도만큼, 일단으로 이동시킬 수 있다. 그리고 상기 공기저항모듈(700)을 전개하여, 결과적으로 사용자는 상기 시촉각 증강 AR 매체(1)의 길이가 늘어나고 무게의 중심이 사용자로부터 먼 방향으로 이동되며, 공기저항모듈(700)이 전개로 휘두를 때, 바람을 가르는 저항감이 늘어나며, 시각적으로는 가상의 탁구채로 보여지기 때문에, 실제 탁구채를 이용하여 탁구를 하고 있다는 실감을 느낄 수 있게 된다. 또한, 도면에 도시되시는 않았지만, 전술한 진동발생모듈(500)을 활용하여, 사용자가 탁구채를 이용해 탁구공을 타격하는 경우의 진동감을 구현할 수도 있다.

상술한 시촉각 AR 매체(1)의 촉각증강부재들(길이연장부재(200), 무게중심이동부재(300), 공기저항모듈(700), 진동발생모듈(500), 햅틱 구동부재(600) 등), 시각증강부재(30)의 다양한 구성들을 모두 같이 사용되거나 필요에 따라 조합되어 구성될 수도 있으며, 상술한 실시예에만 한정되지 않는다.

사용자 및/또는 상기 AR 매체로부터의 입력에 대응하여 상기 촉각증강부재(20) 또는 상기 시각증강부재(30)의 출력을 제어하는 제어부재(40)는, 상기 시촉각 AR 매체의 동작을 제어하며, 프로세서와 메모리를 포함하는 MCU(Micro Controller Unit;41), 외부의 AR 기기와 통신하는 통신부(47), 상기 AR 매체에 전원을 공급하는 전원공급부(45), 사용자로부터의 센싱 정보(압력, 가속도, 지자계)를 획득할 수 있는 센서부(43)를 더 포함하는 것일 수 있다.

상기 제어부재(40)는 상기 시촉각 AR 매체(1)의 다양한 구성들에 대한 동작을 제어하거나, 외부와의 통신을 통한 데이터의 송/수신 등을 제어하는 기능을 제공한다. 보다 구체적으로, 상기 AR 기기와 같은 외부 장치와 송수신하는 제어부재(40)는 상술한 것과 같이 촉각증강부재(20) 및/또는 시각증강부재(30)의 출력을 제어할 수 있다.

보다 구체적으로, 상기 센서부를 통해 획득된 여러 센싱 정보들(예를 들어 사용자가 시촉각 AR 매체(1)에 실제 압력을 가하는 정도를 압력 센서를 통해 획득할 수 있음)과, 이를 제어부재를 통해 외부의 AR 기기를 포함한 다양한 외부 장치에 전송하고, 전송된 센싱 정보들에 따른 피드백을 다시 상기 시촉각 AR 매체(1)에 반영(예를 들어, 사용자가 높은 압력을 가하는 경우, 이를 반영해 촉각증강부재(20)에서 부피가 변화된 시촉각 AR 매체(1)를 만들 수 있음)함으로써, 사용자와 상기 시촉각 AR 매체(1) 간에 좀 더 실감나는 상호작용이 가능할 수 있다.

또한, 증강현실 기반의 시촉각 AR 매체(1)는 제어부재(40)를 통하여 게임 시스템과 통신 상태에 있는 AR 기기를 포함한 외부장치와 연결됨으로써, 사용자에게 가상 환경과 환경 내의 객체들과 상호작용하는 것이 허용될 수 있다. 즉, 가상증강현실 또는 혼합현실 시스템에서 사용자는 제어부재(40)를 통하여 객체들을 조작함으로써 입력할 수 있으며, 입력된 신호에 대응하여 제어부재가 출력되어 촉각증강부재(20), 시각증강부재(30)가 구동되어 사용자에게 입력에 대한 시촉각을 제공할 수 있다.

그리고, 상기 통신부(47)는 상기 시촉각 AR 매체(1)와 AR 기기를 포함한 다양한 외부의 기기들과의 유선 및/또는 무선통신을 지원한다. 무선통신방식은 특별히 한정되지 않으며, 블루투스(Bluetooth), 지그비(Zigbee), 와이파이(Wi-Fi), 적외선데이터통신(IrDA), UWB(Ultra-Wide Band) 등의 다양한 통신방식 중에서 선택될 수 있다.

상기 전원공급부(45)는 상기 MCU의 제어에 따라, 촉각증강부재(20), 햅틱 구동부재(600), 통신부(47), 센서부(43) 등 상술한 다양한 구성들에 대한 전원공급을 제공하며, 온/오프 스위칭 회로와 배터리로 구성되거나, AC-DC 변환회로를 포함하는 형태로 구현될 수도 있다.

결과적으로, 본 발명의 실시예에 따른 증강현실 기반의 시촉각 AR 매체(1)는 시각증강부재를 구비하여 시각적 증강 환경을 제공하고, 그와 동시에 시각적 증강환경과 맞는 촉각을 생성하여 사용자에게 전달해주는 것으로, 가상의 정보가 상기 시촉각 AR 매체(1)에 더해져서 보여지도록 하는 기능을 수행하는 시각증강부재(30)와, 길이를 가변하거나, 무게중심, 진동의 흐름, 공기의 저항이 가변되는 촉각증강부재(20)를 구비함으로써 사용자가 증강현실 환경하에서 보다 실감나는 다양한 사용감을 제공할 수 있는 장점이 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

1; 증강현실 기반의 시촉각 AR 매체
20: 촉각증강부재
30: 시각증강부재
40: 제어부재
41; MCU
43; 센서부
45; 전원공급부
47; 통신부
100; 하우징
200; 길이연장부재
201; 연장모듈
203; 구동모듈
205; 고정모듈
300; 무게중심 이동부재
301; 질량체
303; 이동레일
305; 걸림부
307; 질량체 구동모듈
500; 진동발생모듈
600; 햅틱 구동부재
700; 공기저항모듈

Claims

사용자가 신체 일부에 연결될 수 있는 AR 매체(medium)를 통해 증강현실을 경험할 때 증강된 현실에 맞는 시촉각 정보를 전달해주는 시촉각 AR 매체 장치로서,
사용자의 신체 일부에 촉각적으로 증강현실을 체감하도록 하는 촉각증강부재;
상기 AR 매체에 그래픽으로 덧 씌워서 시각적으로 변형시킬 수 있는 시각증강부재; 및
상기 AR 매체와 송수신하는 제어부재;를 포함하고,
상기 제어부재는, 상기 사용자 및/또는 상기 AR 매체로부터의 입력에 대응하여 상기 촉각증강부재 또는 상기 시각증강부재의 출력을 제어하고,
상기 촉각증강부재는, 상기 시촉각 AR 매체의 실제 길이를 연장시킬 수 있는 길이연장부재를 포함하고,
상기 길이연장부재는, 상기 시촉각 AR 매체의 일단부와 결합된 고정모듈과, 상기 고정모듈의 내부에 일부 또는 전부가 중첩되도록 구비되며 상기 시촉각 AR 매체의 타단부를 향하여 돌출 연장되는 연장모듈과, 상기 연장모듈을 일방향으로 이동시킬 수 있는 구동모듈을 포함하고,
상기 촉각증강부재는, 시촉각 AR 매체에 부피를 변화시켜 공기 저항을 변화시켜주는 공기저항모듈을 더 포함하고,
상기 공기저항모듈은 상기 연장모듈에 결합되어 연장모듈의 부피를 확장하는 것;을 특징으로 하는 증강현실 기반의 시촉각 AR 매체 장치.
제1항에 있어서,
상기 촉각증강부재는, 상기 시촉각 AR 매체에 진동을 발생시키는 진동발생모듈을 더 포함하며, 상기 진동발생모듈은 진동자 및/또는 진동모터를 포함하는 것을 특징으로 하는 증강현실 기반의 시촉각 AR 매체 장치.
제2항에 있어서,
상기 촉각증강부재는, 상기 진동자를 구동하여 상기 촉각증강부재를 떨리게 하여 사용자에게 진동촉감을 생성하는 것을 특징으로 하는 증강현실 기반의 시촉각 AR 매체 장치.
제2항에 있어서,
상기 진동발생모듈이 상기 진동모터를 포함하는 경우, 상기 진동모터는 복수 개를 사용하되, 상기 복수의 진동모터를 순차적으로 구동하여 진동의 흐름을 발생시키는 것을 특징으로 하는 증강현실 기반의 시촉각 AR 매체 장치.
제2항에 있어서,
상기 진동발생모듈이 복수 개의 진동모터를 포함하는 경우, 상기 복수의 진동모터의 구동순서와 크기를 제어하여 진동의 흐름을 발생시키는 것을 특징으로 하는 증강현실 기반의 시촉각 AR 매체 장치.
제2항에 있어서,
상기 진동발생모듈이 복수 개의 진동모터를 포함하는 경우, 상기 복수의 진동모터의 구동순서와 구동주파수를 제어하여 진동의 흐름을 발생시키는 것을 특징으로 하는 증강현실 기반의 시촉각 AR 매체 장치.
제2항에 있어서,
상기 진동발생모듈이 상기 진동자를 포함하는 경우, 상기 진동자는 사용자가 가상의 물체를 AR 매체를 통하여 조작할 때 구동하여 상기 가상의 물체로 인해 발생하는 충격량을 전달하는 것을 특징으로 하는 증강현실 기반의 시촉각 AR 매체 장치.
제2항에 있어서,
상기 진동발생모듈이 상기 진동자를 포함하는 경우, 사용자에게 경고 또는 알람을 전달할 수 있는 것을 특징으로 하는 증강현실 기반의 시촉각 AR 매체 장치.
삭제
제1항에 있어서,
상기 시촉각 AR 매체는, 내부에 질량체가 움직일 수 있는 수용공간을 포함하며 상기 수용공간을 따라서 상기 질량체가 움직여서 무게중심이 변화하는 것을 특징으로 하는 증강현실 기반의 시촉각 AR 매체 장치.
제1항에 있어서,
상기 시촉각 AR 매체는, 상기 시촉각 AR 매체의 실제 길이를 변화시키되, 내부에 질량체가 움직일수 있는 수용공간을 포함하고, 상기 수용공간을 따라서 상기 질량체가 움직여서 무게중심이 변화하는 것을 특징으로 하는 증강현실 기반의 시촉각 AR 매체 장치.
삭제
삭제
제1항에 있어서,
상기 촉각증강부재는, 상기 시촉각 AR 매체의 무게중심을 변화시킬 수 있는 무게중심이동 부재를 포함하되,
상기 무게중심 이동부재는, 상기 시촉각 AR 매체의 외면을 이루고, 내부에 수용공간을 마련하는 하우징의 중심축과 평행하도록 상기 하우징 내부에 형성된 이동레일과, 상기 이동레일을 따라 이동하는 질량체를 포함하는 것을 특징으로 하는 증강현실 기반의 시촉각 AR 매체 장치.
제14항에 있어서,
상기 무게중심 이동부재는, 상기 질량체가 연장모듈의 내부를 따라 일방향으로 이동할 때, 그 이동의 거리를 제약하도록 구속하는 걸림부를 더 포함하는 것을 특징으로 하는 증강현실 기반의 시촉각 AR 매체 장치.
제14항에 있어서,
상기 무게중심 이동부재는 상기 질량체를 일방향으로 이동시킬 수 있는 질량체 구동모듈을 더 포함하는 것을 특징으로 하는 증강현실 기반의 시촉각 AR 매체 장치.
제16항에 있어서,
상기 질량체 구동모듈은 단수 또는 복수개의 리니어 모터 또는 복수개의 전자석을 이용하는 것을 특징으로 하는 증강현실 기반의 시촉각 AR 매체 장치.
제1항에 있어서,
상기 촉각증강부재는, 상기 시촉각 AR 매체에 촉감을 발생시키는 햅틱 구동부재를 더 포함하는 것을 특징으로 하는 증강현실 기반의 시촉각 AR 매체 장치.
제18항에 있어서,
상기 햅틱 구동부재는, 햅틱휠의 형태로 구현되어, 사용자에게 휠의 움직임에 대한 햅틱 피드백을 제공하는 것을 특징으로 하는 증강현실 기반의 시촉각 AR 매체 장치.
삭제
제1항에 있어서,
상기 제어부재는, 상기 시촉각 AR 매체의 동작을 제어하며, 프로세서와 메모리를 포함하는 MCU(Micro Controller Unit), 외부의 AR 기기와 통신하는 통신부, 상기 AR 매체에 전원을 공급하는 전원공급부, 사용자로부터의 센싱 정보를 획득할 수 있는 센서부를 더 포함하는 것을 특징으로 하는 증강현실 기반의 시촉각 AR 매체 장치.