KR102251308B1 - 햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법 - Google Patents

햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법 Download PDF

Info

Publication number
KR102251308B1
KR102251308B1 KR1020200098012A KR20200098012A KR102251308B1 KR 102251308 B1 KR102251308 B1 KR 102251308B1 KR 1020200098012 A KR1020200098012 A KR 1020200098012A KR 20200098012 A KR20200098012 A KR 20200098012A KR 102251308 B1 KR102251308 B1 KR 102251308B1
Authority
KR
South Korea
Prior art keywords
haptic
controller
main terminal
user
unit
Prior art date
Application number
KR1020200098012A
Other languages
English (en)
Inventor
고기남
Original Assignee
플레이스비 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 플레이스비 주식회사 filed Critical 플레이스비 주식회사
Priority to KR1020200098012A priority Critical patent/KR102251308B1/ko
Application granted granted Critical
Publication of KR102251308B1 publication Critical patent/KR102251308B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템에 기반한 햅틱 피드백 제공 방법이 제공된다. 본 발명의 일면에 따른 제1 햅틱 컨트롤러 및 제2 햅틱 컨트롤러를 포함하는 햅틱 컨트롤러; 및 상기 햅틱 컨트롤러와 유/무선 통신을 통해 신호를 송수신하는 메인 단말기를 포함하는 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템에 기반한 햅틱 피드백 제공 방법은, 상기 메인 단말기가 상기 유/무선 통신을 통해 상기 제1 햅틱 컨트롤러의 제1 위치 및 상기 제2 햅틱 컨트롤러의 제2 위치를 감지하는 단계; 상기 메인 단말기가 상기 제1 위치 및 상기 제2 위치를 각각 미리 결정된 위치와 비교하는 단계; 상기 비교 결과에 기반하여, 상기 미리 결정된 위치의 임계 거리 이내에 위치하는 햅틱 컨트롤러가 존재할 경우에 상기 메인 단말기가 상기 임계 거리 이내에 위치하는 햅틱 컨트롤러에 미리 결정된 강도보다 강한 세기의 제1 햅틱 피드백을 전송하고, 상기 미리 결정된 위치의 상기 임계 거리를 초과하는 지점에 위치하는 햅틱 컨트롤러가 존재할 경우에 상기 메인 단말기가 상기 임계 거리를 초과하는 지점에 위치하는 햅틱 컨트롤러에 상기 미리 결정된 강도보다 약한 세기의 제1 햅틱 피드백을 전송하는 단계;를 포함할 수 있다. 다른 실시예들도 가능하다.

Description

햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법{HAPTIC CONTROLLER AND SYSTEM AND METHOD FOR PROVIDING HAPTIC FEEDBACK USING THE SAME}
본 발명은 햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법에 관한 것으로서, 더 상세하게는 햅틱 컨트롤러를 파지한 사용자에게 모니터 화면 상의 객체/콘텐츠와의 상호 작용에 따라 객체를 쥐거나 누르는 등의 다양한 강성의 감각을 입체적으로 제공할 수 있는 햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법에 관한 것이다.
가상 현실(virtual reality)과 연계하여 가상 현실 환경에서의 몰입감과 실재감을 높이기 위해, 양 손을 이용한 자연스러운 사용자 인터페이스 기술과, 이를 통해 촉감각, 근감각 등과 같은 햅틱 피드백을 제공하기 위한 다양한 기술이 연구 및 개발되고 있다.
진동 소자를 탑재한 사용자 인터페이스의 경우 상호작용의 개시/종료 또는 종료를 알리거나 인터페이스의 조작 여부를 알리는 등 진동의 패턴을 변조하여 햅틱 피드백을 제공한다. 그러나 이 방식은 근감각 피드백의 부재로 인한 실감있는 피드백 제공이 어려운 단점이 있다.
가상 현실 상의 객체를 파지하는 감각, 힘을 주어 쥐거나 누르는 등의 근감각을 제공하기 위해 장갑 또는 외골격 형태의 사용자 인터페이스가 제시되고 있으나, 이 경우는 착용의 복잡성 및 외부 장치의 크기 등의 문제로 사용 상의 제약이 따른다.
한편, 한국 공개특허공보 제10-2017-0016695호(특허문헌1)에는 "상호작용 컨트롤러, 상호작용 컨트롤러를 이용한 햅틱 피드백 제공 시스템 및 방법"이 개시되어 있는 바, 이에 따른 상호작용 컨트롤러는 자이로센서와 가속도센서를 포함하는 센서부; 및 손잡이 부분에 일정한 간격으로 배열되며 상기 센서부에 의해 감지된 움직임에 따라 작동하는 다수의 햅틱 액츄에이터를 포함하는 햅틱부를 포함하는 것을 특징으로 한다.
이상과 같은 특허문헌 1의 경우, 2차원으로 배열된 다수의 햅틱 액츄에이터를 통해 상호작용 컨트롤러의 움직임에 따른 다양한 공간적인 촉각 피드백을 제공할 수는 있으나, 여기에서는 단순히 상호작용 컨트롤러와 사용자의 손(손가락 및 손바닥)이 닿는 면에서 촉각 피드백을 제공하는 상황만을 전제 조건으로 하고 있어, 손으로 물체를 힘을 주어 쥐거나 누르는 상황 등에서 발생하는 물리적 변위 및 근감각 피드백 제공에 있어서는 제대로 대응할 수 없는 문제점이 있었다.
(특허문헌 0001) KR 10-2017-0016695
본 발명은 상기와 같은 사항을 종합적으로 감안하여 창출된 것으로서, 햅틱 컨트롤러를 파지한 사용자에게 모니터 화면 상의 객체/콘텐츠와의 상호 작용에 따라 객체를 쥐거나 누르는 등의 다양한 강성의 감각을 입체적으로 제공할 수 있을 뿐만 아니라 손가락으로 물체를 쥐거나 잡는 상황이 아닌 물체와의 접촉, 부딪힘과 같은 정보 또는 특정 이벤트의 발생 정보 등을 진동을 통해 전달할 수 있는 햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법을 제공함에 그 목적이 있다.
또한, 본 발명은 햅틱 컨트롤러를 양손으로 사용하는 경우에 가상공간에서 양손 중 적어도 하나의 충돌에 따른 햅틱 효과를 제공하며, 사용자의 손의 자세와 연계하여 햅틱 효과 강도를 조절함으로써 보다 정확한 사실감을 구현하는 햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법을 제공함에 그 목적이 있다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 햅틱 컨트롤러는, 사용자의 손에 의한 파지를 위한 장소를 제공하는 주몸체부; 상기 주몸체부의 일측에 주몸체부와 분해/조립이 가능하게 결합되며, 주몸체부와 함께 하나의 전체적인 몸체를 이루는 보조 몸체부; 상기 주몸체부의 상단부에 마련되며, 주몸체부를 쥐고 있는 사용자의 손의 위치와 자세를 검출하는 모션 센서부; 사용자가 상기 주몸체부를 쥐었을 때 사용자의 각 손가락이 놓이는 위치의 주몸체부의 내부에 마련되며, 사용자의 손가락의 파지력에 따라 발생하는 변위에 대응하는 햅틱 피드백(haptic feedback)을 제공하는 제1 햅틱부; 상기 주몸체부의 내부에 마련되며, 사용자가 주몸체부를 쥔 상태에서 사용자가 외부의 메인 단말기의 화면 상의 객체와 상호 작용할 때 사용자의 제스처나 콘텐츠에 따라 그에 상응하는 패턴의 진동을 제공하는 제2 햅틱부; 및 상기 보조 몸체부의 내부에 마련되며, 상기 모션 센서부 및 상기 제1 햅틱부에 구비된 센서로부터 검출된 정보를 상기 메인 단말기로 전송하고, 메인 단말기로부터 사용자와 가상 객체 간의 상호 작용에 따른 피드백을 수신하여 상기 제1, 제2 햅틱부를 작동시키는 제어부를 포함하는 점에 그 특징이 있다.
또한, 본 발명의 일면에 따른 제1 햅틱 컨트롤러 및 제2 햅틱 컨트롤러를 포함하는 햅틱 컨트롤러; 및 상기 햅틱 컨트롤러와 유/무선 통신을 통해 신호를 송수신하는 메인 단말기를 포함하는 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템에 기반한 햅틱 피드백 제공 방법은, 상기 메인 단말기가 상기 유/무선 통신을 통해 상기 제1 햅틱 컨트롤러의 제1 위치 및 상기 제2 햅틱 컨트롤러의 제2 위치를 감지하는 단계; 상기 메인 단말기가 상기 제1 위치 및 상기 제2 위치를 각각 미리 결정된 위치와 비교하는 단계; 상기 비교 결과에 기반하여, 상기 미리 결정된 위치의 임계 거리 이내에 위치하는 햅틱 컨트롤러가 존재할 경우에 상기 메인 단말기가 상기 임계 거리 이내에 위치하는 햅틱 컨트롤러에 미리 결정된 강도보다 강한 세기의 제1 햅틱 피드백을 전송하고, 상기 미리 결정된 위치의 상기 임계 거리를 초과하는 지점에 위치하는 햅틱 컨트롤러가 존재할 경우에 상기 메인 단말기가 상기 임계 거리를 초과하는 지점에 위치하는 햅틱 컨트롤러에 상기 미리 결정된 강도보다 약한 세기의 제1 햅틱 피드백을 전송하는 단계;를 포함할 수 있다.
또한, 본 발명의 일면에 따른 제1 햅틱 컨트롤러 및 제2 햅틱 컨트롤러를 포함하는 햅틱 컨트롤러; 및 상기 햅틱 컨트롤러와 유/무선 통신을 통해 신호를 송수신하는 메인 단말기를 포함하는 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템에 기반한 햅틱 피드백 제공 방법은, 상기 햅틱 컨트롤러가 사용자의 손의 움직임, 손가락의 위치 또는 압력을 감지하는 단계; 상기 햅틱 컨트롤러가 감지된 정보를 상기 메인 단말기로 전송하는 단계; 상기 메인 단말기가 상기 감지된 정보에 기반하여 가상 손의 자세를 렌더링하는 단계; 상기 메인 단말기가 상기 가상 손의 자세와 미리 정해진 타겟 입력간 유사도를 판단하는 단계; 및 상기 유사도가 미리 설정한 임계 값을 초과할 경우에 상기 메인 단말기가 상기 제1 햅틱 컨트롤러 및 상기 제2 햅틱 컨트롤러 중 적어도 하나로 제어신호 및/또는 제3 햅틱 피드백을 전송하는 단계;를 포함할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기와 같은 본 발명에 따르면, 아래와 같은 다양한 효과들을 가진다.
본 발명에 따르면, 햅틱 컨트롤러를 파지한 사용자에게 모니터 화면 상의 객체/콘텐츠와의 상호 작용에 따라 객체를 쥐거나 누르는 등의 다양한 강성의 감각을 입체적으로 제공할 수 있을 뿐만 아니라 손가락으로 물체를 쥐거나 잡는 상황이 아닌 물체와의 접촉, 부딪힘과 같은 정보 또는 특정 이벤트의 발생 정보 등을 진동을 통해 전달할 수 있는 장점이 있다.
또한, 본 발명에 따르면, 가상 공간에서의 충돌을 감지하여 햅틱 효과를 제공하며 사용자의 손의 자세와 연계하여 햅틱 효과 강도를 조절함으로써 가상현실 컨텐츠의 보다 정확한 사실감을 구현할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명에 따른 햅틱 컨트롤러의 전체적인 외관을 나타낸 도면이다.
도 2는 도 1에 도시된 햅틱 컨트롤러를 사용자가 파지한 상태를 나타낸 도면이다.
도 3은 본 발명에 따른 햅틱 컨트롤러의 제1 햅틱부 내부에 마련되는 햅틱 액츄에이터를 나타낸 도면이다.
도 4는 본 발명에 따른 햅틱 컨트롤러의 보조 몸체부의 내부에 마련되는 제어부의 구성을 개략적으로 나타낸 도면이다.
도 5는 본 발명에 따른 햅틱 컨트롤러의 주몸체부와 보조 몸체부가 분해된 상태를 나타낸 도면이다.
도 6은 본 발명에 따른 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템의 구성을 개략적으로 나타낸 도면이다.
도 7은 본 발명에 따른 제1 햅틱 컨트롤러와 제2 햅틱 컨트롤러의 위치에 따른 제1 햅틱 피드백 제공 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명에 따른 제2 햅틱 피드백 제공 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명에 따른 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템의 메인 단말기의 화면상에 디스플레이되는 가상 손의 움직임 및 가상 객체의 변화, 진동 피드백을 나타낸 도면이다.
도 10은 본 발명에 따른 가상 손의 자세와 미리 정해진 타겟 입력간 유사도를 이용하여 제3 햅틱 피드백을 제공하는 방법을 설명하기 위한 흐름도이다.
도 11은 본 발명에 따른 제1 햅틱 컨트롤러와 제2 햅틱 컨트롤러의 이격 거리에 따른 제1 햅틱 피드백 제공 방법을 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1 및 도 2는 본 발명의 실시예에 따른 햅틱 컨트롤러를 나타낸 것으로서, 도 1은 전체적인 외관을 나타낸 도면이고, 도 2는 사용자가 파지한 상태를 나타낸 도면이다. 도 2에서 (A)는 사용자의 손에 의한 일반적인 파지 상태, (B)는 엄지 손가락으로 모션 센서부를 접촉한 상태, (C)는 제1 햅틱부의 엄지 손가락위치부에 엄지 손가락을 위치시킨 상태를 각각 나타낸 것이다.
도 1 및 도 2를 참조하면, 본 발명에 따른 햅틱 컨트롤러(100)는 크게 사용자의 손에 의한 파지를 위한 장소를 제공하는 주몸체부(110)와, 주몸체부(110)의 일측에 주몸체부(110)와 분해/조립이 가능하게 결합되며(도 5 참조), 주몸체부 (110)와 함께 하나의 전체적인 몸체를 이루는 보조 몸체부(120)를 포함하여 구성된다.
상기 주몸체부(110)의 상단부에는 주몸체부(110)를 쥐고 있는 사용자의 손의 위치와 자세를 검출하는 모션 센서부(111)가 마련된다. 이와 같은 모션 센서부(111)는 상기 주몸체부(110) 및 보조 몸체부(120)로 이루어지는 전체 몸체의 위치 및 자세를 검출하기 위한 센서로서의 IMU(Inertial Measurement Unit)를 포함하여 구성될 수 있다.
또한, 주몸체부(110)의 내부에는 사용자가 주몸체부(110)를 쥐었을 때 사용자의 각 손가락이 놓이는 위치에 대응하여, 사용자의 손가락의 파지력에 따라 발생하는 변위에 대응하는 햅틱 피드백(haptic feedback)을 제공하는 제1 햅틱부(112a)(112b)가 마련된다. 여기서, 이와 같은 제1 햅틱부(112a)(112b)는, 사용자의 손가락의 파지력을 검출하기 위한 압력 센서(미도시) 또는 사용자의 손가락의 파지력에 따라 발생하는 변위를 검출하기 위한 변위 센서(미도시)와; 사용자가 주몸체부(110)를 쥐는 압력에 따라 변위를 발생하거나, 발생하는 변위에 따라 사용자의 손가락을 밀어내는 힘(반발력)을 발생하는 햅틱 액츄에이터를 포함하여 구성될 수 있다. 이때, 이와 같은 햅틱 액츄에이터(300)는, 도 3에 도시된 바와 같이, 사용자가 주몸체부 (110)를 쥐었을 때, 사용자의 손가락 부분과 접촉되는 접촉부(310)와; 사용자의 손가락의 파지력에 따라 상기 접촉부(310)의 후진 및 전진의 직선 이동력을 제공하는 액츄에이터부(320)와; 상기 접촉부(310)와 액츄에이터부(320)를 내부에 수납하되, 상기 접촉부(310)가 몸체 내외부로 일정 거리 전진 및 후진 가능하도록 수납하는 하우징(330)을 포함하여 구성될 수 있다. 여기서, 상기 액츄에이터부(320) 내부에는 변위 센서 또는 압력 센서가 내장될 수 있다. 도 3에서 (A)는 접촉부(310)가 반발력을 받아 전진하여 돌출한 상태, (B)는 접촉부(310)가 손가락의 누름력을 받아 후진된 상태를 각각 나타낸 것이다.
또한, 주몸체부(110)의 내부에는 사용자가 주몸체부(110)를 쥔 상태에서 사용자가 외부의 메인 단말기(410)(도 4, 도 6 참조)의 화면상의 객체와 상호 작용할 때 사용자의 제스처나 콘텐츠에 따라 그에 상응하는 패턴의 진동을 제공하는 제2 햅틱부(113)가 마련된다. 이러한 제2 햅틱부(113)는 사용자가 주몸체부(110)를 쥔 상태에서 외부의 메인 단말기(410)의 화면상의 객체와 상호 작용할 때 사용자의 제스처나 콘텐츠에 상응하여 주몸체부(110) 전체를 진동시키는 진동을 발생하는 진동 소자(미도시)를 포함하여 구성될 수 있다. 이때, 진동 소자로는 압전형 진동자(piezoelectric vibrator) 등이 사용될 수 있다.
또한, 상기 주몸체부(110)에는 사용자가 주몸체부(110)를 쥐었을 때 사용자의 손등 부분을 감싸주어 사용자의 손의 파지 상태를 견고하게 해주기 위한 고정용 밴드(114)가 더 설치될 수 있다.
상기 보조 몸체부(120)의 내부에는 상기 모션 센서부(111) 및 상기 제1 햅틱부(112a)(112b)에 구비된 센서로부터 검출된 정보를 상기 메인 단말기(410)로 전송하고, 메인 단말기(410)로부터 사용자와 가상 객체 간의 상호 작용에 따른 피드백을 수신하여 상기 제1 햅틱부(112a)(112b) 및 제2 햅틱부(113)를 작동시키는 제어부(121)가 마련된다. 여기서, 이와 같은 제어부(121)는, 도 4에 도시된 바와 같이,상기 모션 센서부(111) 및 상기 제1 햅틱부(112a)(112b)의 내부에 각각 마련되어 있는 센서로부터 수집된 신호를 처리하여 상기 메인 단말기(410)로 전송하고, 메인 단말기(410)로부터 수신된 정보에 따라 상기 제1, 제2 햅틱부(112a)(112b)(113)를 구동하기 위한 신호를 출력하는 제어기(121a)와; 제어기(121a)로부터 상기 제1, 제2 햅틱부(112a)(112b)(113)를 구동하기 위한 신호를 수신하여 구동하는 드라이버 모듈(121b)과; 상기 제어기(121a)로부터 신호를 전달받아 상기 메인 단말기(410)로 전송하고, 상기 메인 단말기(410)로부터 신호를 수신하여 상기 제어기(121a)로 전달하는 통신 모듈(121c); 및 상기 모션 센서부(111) 및 제1 햅틱부(112a)(112b)의 센서, 제어기(121a), 드라이버 모듈(121b), 통신 모듈(121c)과, 상기 제1 햅틱부 (112a)(112b) 내부에 마련되어 있는 햅틱 액츄에이터(300) 및 상기 제2 햅틱부 (113) 내부에 마련되어 있는 진동 소자에 구동 전원을 각각 공급하는 전원 공급장치(121d)를 포함하여 구성될 수 있다.
여기서, 상기 제어기(121a)로는 마이크로 컨트롤러가 사용될 수 있다. 또한, 전원공급장치(121d)로는 건전지, 배터리, 충전식 전지 등이 사용될 수 있다.
도 5는 본 발명에 따른 햅틱 컨트롤러의 주몸체부와 보조 몸체부가 분해된 상태를 나타낸 도면이다.
도 5를 참조하면, 햅틱 컨트롤러(100)는 전술한 바와 같이 주몸체부(110)와 보조 몸체부(120)가 분해/조립이 가능하도록 구성된다. 이와 같은 분해/조립을 위해, 도시된 바와 같이, 보조 몸체부(120)에는 결합용 돌기(120t)가 형성되고, 주몸체부(110)의 하단부에는 상기 결합용 돌기(120t)에 대응하는 결합용 홀(110h)이 형성될 수 있다. 그러나 경우에 따라서는 이와 반대로 주몸체부(110)의 하단부에 결합용 돌기가 형성되고, 보조 몸체부에 결합용 홀이 형성될 수도 있다. 여기서, 또한 주몸체부(110)와 보조 몸체부(120)를 분리했을 경우, 주몸체부(110)(또는 보조몸체부(120))를 외부의 게임 컨트롤러 등과 결합하여 사용할 수도 있다.
도 6은 본 발명의 실시예에 따른 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템의 구성을 개략적으로 나타낸 도면이다.
도 6을 참조하면, 본 발명에 따른 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템(600)은 전술한 바와 같은 햅틱 컨트롤러(100)와 메인 단말기(410)를 포함하여 구성된다.
햅틱 컨트롤러(100)는 전술한 바와 같이, 사용자의 손에 의한 파지를 위한 장소를 제공하는 주몸체부(110)와; 주몸체부(110)의 일측에 주몸체부(110)와 분해/조립이 가능하게 결합되며, 주몸체부(110)와 함께 하나의 전체적인 몸체를 이루는 보조 몸체부(120)와; 상기 주몸체부(110)의 상단부에 마련되며, 주몸체부(110)를 쥐고 있는 사용자의 손의 위치와 자세를 검출하는 모션 센서부(111)와; 사용자가 상기 주몸체부(110)를 쥐었을 때 사용자의 각 손가락이 놓이는 위치의 주몸체부(110)의 내부에 마련되며, 사용자의 손가락의 파지력에 따라 발생하는 변위에 대응하는 햅틱 피드백(haptic feedback)을 제공하는 제1 햅틱부(112a)(112b)와; 상기 주몸체부(110)의 내부에 마련되며, 사용자가 주몸체부(110)를 쥔 상태에서 사용자가 외부의 메인 단말기(410)의 화면상의 객체와 상호 작용할 때 사용자의 제스처나 콘텐츠에 따라 그에 상응하는 패턴의 진동을 제공하는 제2 햅틱부(113)와; 상기 보조 몸체부(120)의 내부에 마련되며, 상기 모션 센서부(111) 및 상기 제1 햅틱부 (112a)(112b)에 구비된 센서로부터 검출된 정보를 상기 메인 단말기(410)로 전송하고, 메인 단말기(410)로부터 사용자와 가상 객체 간의 상호 작용에 따른 피드백을 수신하여 상기 제1, 제2 햅틱부(112a)(112b)(113)를 작동시키는 제어부(121)를 포함하여 구성된다. 또한, 상기 주몸체부(110)에는 사용자가 주몸체부(110)를 쥐었을 때 사용자의 손등 부분을 감싸주어 사용자의 손의 파지 상태를 견고하게 해주기 위한 고정용 밴드(114)가 더 설치될 수 있다.
메인 단말기(410)는 햅틱 컨트롤러(100)와 유/무선 통신을 통해 신호를 송수신하며, 상기 햅틱 컨트롤러(100)로부터 햅틱 컨트롤러의 모션 센서부(111) 및 제1 햅틱부(112a)(112b)에 구비된 센서로부터 검출된 정보를 수신하고, 사용자와 가상 객체 간의 상호 작용에 따른 피드백을 상기 햅틱 컨트롤러(100)로 전송한다. 여기서, 이와 같은 메인 단말기(410)는 일반적인 PC 또는 HMD(Head Mounted Device)로 구성될 수 있다.
또한, 상기 햅틱 컨트롤러(100)의 모션 센서부(111)는 상기 주몸체부(110) 및 보조 몸체부(120)로 이루어지는 전체 몸체의 위치 및 자세를 검출하기 위한 센서로서의 IMU(Inertial Measurement Unit)를 포함하여 구성될 수 있다.
또한, 상기 제1 햅틱부(112a)(112b)는 사용자의 손가락의 파지력을 검출하기 위한 압력 센서 또는 사용자의 손가락의 파지력에 따라 발생하는 변위를 검출하기 위한 변위 센서와; 사용자가 주몸체부(110)를 쥐는 압력에 따라 변위를 발생하거나, 발생하는 변위에 따라 사용자의 손가락을 밀어내는 힘(반발력)을 발생하는 햅틱 액츄에이터(300)를 포함하여 구성될 수 있다.
이때, 상기 햅틱 액츄에이터(300)는, 도 3에 도시된 바와 같이, 사용자가 주몸체부(110)를 쥐었을 때, 사용자의 손가락 부분과 접촉되는 접촉부(310)와; 사용자의 손가락의 파지력에 따라 상기 접촉부(310)의 후진 및 전진의 직선 이동력을 제공하는 액츄에이터부(320)와; 상기 접촉부(310)와 액츄에이터부(320)를 내부에 수납하되, 상기 접촉부(310)가 몸체 내외부로 일정 거리 전진 및 후진 가능하도록 수납하는 하우징(330)을 포함하여 구성될 수 있다.
또한, 상기 제2 햅틱부(113)는 사용자가 주몸체부(110)를 쥔 상태에서 외부의 메인 단말기(410)의 화면상의 객체와 상호 작용할 때 사용자의 제스처나 콘텐츠에 상응하여 주몸체부 전체를 진동시키는 진동을 발생하는 진동 소자를 포함하여 구성될 수 있다. 이때, 이와 같은 진동 소자로는 압전형 진동자(piezoelectric vibrator) 등이 사용될 수 있다.
또한, 상기 제어부(121)는, 도 4에 도시된 바와 같이, 상기 모션 센서부 (111) 및 상기 제1 햅틱부(112a)(112b)의 내부에 각각 마련되어 있는 센서(예컨대, 변위 센서 또는 압력 센서)로부터 수집된 신호를 처리하여 상기 메인 단말기(410)로 전송하고, 메인 단말기(410)로부터 수신된 정보에 따라 상기 제1, 제2 햅틱부 (112a)(112b)(113)를 구동하기 위한 신호를 출력하는 제어기(121a)와; 제어기(121a)로부터 상기 제1, 제2 햅틱부(112a)(112b)(113)를 구동하기 위한 신호를 수신하여 구동하는 드라이버 모듈(121b)과; 상기 제어기(121a)로부터 신호를 전달받아 상기 메인 단말기(410)로 전송하고, 상기 메인 단말기(410)로부터 신호를 수신하여 상기 제어기(121a)로 전달하는 통신 모듈(121c); 및 상기 센서(즉, 모션 센서부(111) 및 제1 햅틱부(112a)(112b)의 내부에 각각 마련되어 있는 센서), 제어기(121a), 드라이버 모듈(121b), 통신 모듈(121c)과, 상기 제1 햅틱부(112a)(112b) 내부에 마련되어 있는 햅틱 액츄에이터(300) 및 상기 제2 햅틱부(113) 내부에 마련되어 있는 진동 소자에 구동 전원을 공급하는 전원 공급장치(121d)를 포함하여 구성될 수 있다.
도 7은 본 발명에 따른 제1 햅틱 컨트롤러와 제2 햅틱 컨트롤러의 위치에 따른 제1 햅틱 피드백 제공 방법을 설명하기 위한 흐름도이다. 도 7의 동작들은 도 1 내지 도 6에 개시된 햅틱 컨트롤러(100) 및 메인 단말기(410)에 의해 수행될 수 있다. 또한, 햅틱 컨트롤러(100)는 도면에 도시되지 않았지만 제1 햅틱 컨트롤러와 제2 햅틱 컨트롤러를 포함할 수 있으며, 이는 사용자의 양손을 위하여 2개가 구비된 경우일 수 있다.
도 7을 참조하면, 일 실시 예에서, 메인 단말기(410)는 동작 71에서, 유/무선 통신을 통해 제1 햅틱 컨트롤러의 제1 위치 및 제2 햅틱 컨트롤러의 제2 위치를 감지할 수 있다. 예를 들어, 제1 햅틱 컨트롤러의 제1 위치와 제2 햅틱 컨트롤러의 위치란 현실 세계에서의 메인 단말기(410) 기준의 상대적인 위치를 의미하거나, 가상현실 컨텐츠에 구현된 가상현실 공간에서의 위치를 의미할 수 있다.
일 실시 예에서, 메인 단말기(410)는 동작 72에서, 제1 위치 및 상기 제2 위치를 각각 미리 결정된 위치와 비교할 수 있다. 예를 들어, 미리 결정된 위치는 가상현실 공간에서 특정 객체(예: 권투 연습을 구현한 가상현실 공간일 경우에 샌드백)가 설치된 위치일 수 있다.
일 실시 예에서, 메인 단말기(410)는 동작 73에서, 제1 위치 및 제2 위치가 각각 미리 결정된 위치의 임계 거리 이내인 지 확인할 수 있다. 예를 들어, 임계 거리는 미리 결정된 위치에 놓여진 객체와 햅틱 컨트롤러(100)에 의해 구현된 가상의 손이 충돌할 가능성이 높은 거리를 의미할 수 있다. 예를 들어, 권투 연습이 구현된 가상현실 공간에서 샌드백이 놓여진 위치에서 몇십mm 이내의 거리가 임계 거리가 될 수 있다.
일 실시 예에서, 메인 단말기(410)는 동작 74에서, 비교 결과에 기반하여, 미리 결정된 위치의 임계 거리 이내에 위치하는 햅틱 컨트롤러(100)가 존재할 경우에 메인 단말기(410)가 임계 거리 이내에 위치하는 햅틱 컨트롤러(100)에 미리 결정된 강도보다 강한 세기의 제1 햅틱 피드백을 전송할 수 있다. 예를 들어, 임계 거리 이내에 위치한다는 것은 미리 결정된 위치에 놓여진 객체와 충돌 가능성이 높다는 것이므로 충돌 효과를 구현하기 위해 미리 결정된 강도보다 강한 세기의 제1 햅틱 피드백을 전송할 수 있다.
일 실시 예에서, 메인 단말기(410)는 동작 75에서, 미리 결정된 위치의 임계 거리를 초과하는 지점에 위치하는 햅틱 컨트롤러(100)가 존재할 경우에 메인 단말기(410)가 임계 거리를 초과하는 지점에 위치하는 햅틱 컨트롤러(100)에 미리 결정된 강도보다 약한 세기의 제1 햅틱 피드백을 전송할 수 있다. 예를 들어, 임계 거리를 초과하는 지점에 위치한다는 것은 미리 결정된 위치에 놓여진 객체와 충돌할 가능성이 낮다는 것이므로 약한 세기의 제1 햅틱 피드백을 제공하거나 아예 제공하지 않을 수도 있다.
일 실시 예에서, 메인 단말기(410)는 햅틱 컨트롤러(100)는 동작 76에서, 제1 햅틱 피드백을 실행할 수 있다. 예를 들어, 햅틱 컨트롤러(100)는 메인 단말기(410)에서 전송한 세기에 기초하여 사용자에게 제1 햅틱 피드백을 제공할 수 있다.
한편, 메인 단말기(410)는 상기 비교 결과에 기반하여, 미리 결정된 위치의 최소 임계 거리 이내에 위치하는 햅틱 컨트롤러(100)가 존재할 경우에 최소 임계 거리 이내에 위치하는 햅틱 컨트롤러(100)에 미리 지정된 기능을 실행하는 제어 신호를 전송할 수 있다. 여기서, 미리 결정된 위치에 위치한 객체는 가상현실 공간에서 권투 연습장의 현관문 손잡이가 될 수 있고, 최소 임계 거리는 객체의 터치 직전의 거리를 의미할 수 있으며, 미리 지정된 기능은 햅틱 컨트롤러(100)의 ON/OFF 기능일 수 있다.
도 8은 본 발명에 따른 제2 햅틱 피드백 제공 방법을 설명하기 위한 흐름도이다. 도 9는 본 발명에 따른 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템의 메인 단말기의 화면상에 디스플레이되는 가상 손의 움직임 및 가상 객체의 변화, 진동 피드백을 나타낸 도면이다. 도 8의 동작들은 도 1 내지 도 6에 개시된 햅틱 컨트롤러(100) 및 메인 단말기(410)에 의해 수행될 수 있다.
도 8 및 도 9를 참조하면, 일 실시 예에서, 먼저 사용자가 손으로 햅틱 컨트롤러(100)의 주몸체부(110)를 쥐었을 경우, 모션 센서부(111) 및 제1 햅틱부(112a)(112b)는 동작 81에서, 사용자의 손의 움직임, 손가락의 위치 또는 압력을 감지할 수 있다.
일 실시 예에서, 제어부(121)는 동작 82에서, 모션 센서부(111) 및 제1 햅틱부(112a)(112b)에 의해 감지된 정보를 메인 단말기(410)로 전송할 수 있다. 이때, 메인 단말기(410)의 화면상에는 도 9의 (A) 및 (B)와 같이 가상 손의 움직임 및 가상 객체의 변화가 디스플레이된다. 도 9의 (A)는 엄지를 포함한 4개 손가락의 움켜쥠(grab)에 따른 가상 손의 움직임 및 가상 객체의 변화를 나타낸 것이고, (B)는 엄지 손가락의 누름(press)에 따른 가상 손의 움직임 및 가상 객체의 변화를 나타낸 것이다.
일 실시 예에서, 메인 단말기(410)는 동작 83에서, 감지된 정보에 기반하여 사용자에게 제공할 압력 또는 변위, 진동을 포함하는 제2 햅틱 피드백을 연산하고 제어부(121)로 전송할 수 있다. 여기서, 메인 단말기(410)에 의해 사용자에게 제공할 압력 또는 변위를 계산함에 있어서, 상기 제1 햅틱부(112a)(112b)를 쥐는 압력을 감지하는 경우에는 사용자가 손가락으로 제1 햅틱부(112a)(112b)를 쥐는 압력을 감지하여 메인 단말기(410)로 전송하면, 메인 단말기(410)는 가상 환경상에서 임의의 대상 물체에 해당 압력이 가해질 경우 발생하는 변위를 계산하고, 상기 제1 햅틱부(112a)(112b)를 쥘 때 발생하는 변위를 감지하는 경우에는 사용자가 손가락으로 제1 햅틱부(112a)(112b)를 쥠에 따라 발생하는 변위를 감지하여 메인 단말기(410)로 전송하면, 메인 단말기(410)는 가상 환경상에서 임의의 대상 물체가 해당 변위만큼 변형될 경우의 반발력(압력)을 계산함으로써 사용자에게 제공할 압력 또는 변위를 계산할 수 있다.
일 실시 예에서, 이렇게 하여 메인 단말기(410)가 사용자에게 제공할 압력 또는 변위, 진동을 계산하여 햅틱 컨트롤러(100)의 제어부(121)로 전송하면, 제어부(121)는 동작 84에서, 제2 햅틱 피드백에 기반하여 구동 신호를 생성하여 드라이버 모듈을 통해 제1 햅틱부(112a)(112b) 및 제2 햅틱부(113)로 전송할 수 있다.
제1 햅틱부((112a)(112b)가 동작 85에서, 햅틱 액츄에이터를 통해 사용자의 손가락을 밀어내는 힘(반발력)을 발생 및/또는 제2 햅틱부(113)가 진동 소자를 통해 진동을 발생할 수 있다. 도 9의 (C)는 메인 단말기(410)의 화면상에 디스플레이되는 가상 객체의 속성에 따른 진동 피드백을 나타낸 것이다. 이와 같이 햅틱 액츄에이터(300)에 의한 반발력 및 진동 소자에 의한 진동을 발생함으로써, 사용자는 실제 사물과 상호작용할 때와 유사한 역감, 파지감, 진동 등의 실감을 느낄 수 있게 된다.
이상의 설명과 같이, 본 발명에 따른 햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법은 햅틱 컨트롤러를 파지한 사용자에게 모니터 화면 상의 객체/콘텐츠와의 상호 작용에 따라 객체를 쥐거나 누르는 등의 다양한 강성의 감각을 입체적으로 제공할 수 있을 뿐만 아니라 손가락으로 물체를 쥐거나 잡는 상황이 아닌 물체와의 접촉, 부딪힘과 같은 정보 또는 특정 이벤트의 발생 정보 등을 진동을 통해 전달할 수 있는 장점이 있다.
도 10은 본 발명에 따른 가상 손의 자세와 미리 정해진 타겟 입력간 유사도를 이용하여 제3 햅틱 피드백을 제공하는 방법을 설명하기 위한 흐름도이다. 도 10의 동작들은 도 1 내지 도 6에 개시된 햅틱 컨트롤러(100) 및 메인 단말기(410)에 의해 수행될 수 있다.
도 10을 참조하면, 일 실시 예에서, 햅틱 컨트롤러(100)는 동작 101에서, 사용자의 손의 움직임, 손가락의 위치 또는 압력을 감지할 수 있으며, 햅틱 컨트롤러(100)는 동작 102에서, 감지된 정보를 메인 단말기(410)로 전송할 수 있으며, 메인 단말기(410)는 동작 103에서, 감지된 정보에 기반하여 가상 손의 자세를 렌더링할 수 있으며, 메인 단말기(410)는 동작 104에서, 가상 손의 자세와 미리 정해진 타겟 입력간 유사도를 판단할 수 있으며, 메인 단말기(410)는 동작 105에서, 유사도가 미리 설정한 임계 값을 초과할 경우에 메인 단말기(410)가 제1 햅틱 컨트롤러 및 제2 햅틱 컨트롤러 중 적어도 하나로 제어신호 및/또는 제3 햅틱 피드백을 전송할 수 있으며, 햅틱 컨트롤러(100)는 동작 106에서, 제어신호에 대응하는 기능 및/또는 제3 햅틱 피드백을 제공 할 수 있다.
예를 들어, 가상현실 공간에서, 권투 게임을 할 때, 사용자의 양 손이 얼굴을 막다가 한 손이 살짝 뻗어나가는 자세가 입력되면 가상 손의 자세를 렌더링하고, 미리 정해진 잽에 해당하는 입력(타겟 입력)과의 유사도를 비교하고, 유사도가 일치 또는 미리 설정한 임계 값을 초과하면 가상 세계에서도 잽이 나가는 기술이 구현되며, 햅틱 컨트롤러(100)는 잽에 대응하는 반발력 또는 진동을 제공(제3 햅틱 피드백)할 수 있다.
또한, 예를 들어, 가상현실 공간에서 사용자가 컵을 들고 있는 상태에서, 사용자가 손을 세게 쥐는 듯한 자세가 입력되면, 미리 정해진 깡통이 일그러지는 입력(타겟 입력)과의 유사도가 일치하거나 미리 설정한 임계 값을 초과하면, 가상 손이 세게 쥐는 자세, 깡통이 일그러지는 모습 등이 렌더링되며 깡통이 일그러지는 것에 대한 반발력 또는 진공을 제공(제3 햅틱 피드백)할 수 있다.
또한, 예를 들어, 가상현실 공간에서 사용자가 “X”자 표시를 하는 자세가 입력되면, 미리 정해진 “X”자 입력(타겟 입력)과의 유사도가 일치하거나 미리 설정한 임계 값을 초과하면, 타겟 입력에 대응하는 기능(예: 햅틱 컨트롤러 OFF)에 대응하는 제어신호를 햅틱 컨트롤러(100)가 수신하여 대응하는 기능을 실행할 수 있다.
도 11은 본 발명에 따른 제1 햅틱 컨트롤러와 제2 햅틱 컨트롤러의 이격 거리에 따른 제1 햅틱 피드백 제공 방법을 설명하기 위한 흐름도이다. 도 11의 동작들은 도 1 내지 도 6에 개시된 햅틱 컨트롤러(100) 및 메인 단말기(410)에 의해 수행될 수 있다.
도 11을 참조하면, 일 실시 예에서, 메인 단말기(410)는 동작 111에서, 유/무선 통신을 통해 제1 햅틱 컨트롤러의 제1 위치 및 상기 제2 햅틱 컨트롤러의 제2 위치를 감지할 수 있다. 예를 들어, 제1 햅틱 컨트롤러의 제1 위치와 제2 햅틱 컨트롤러의 위치란 현실 세계에서의 메인 단말기(410) 기준의 상대적인 위치를 의미하거나, 가상현실 컨텐츠에 구현된 가상현실 공간에서의 위치를 의미할 수 있다.
일 실시 예에서, 메인 단말기(410)는 동작 112에서, 제1 위치 및 제2 위치간 이격 거리를 연산할 수 있다. 예를 들어, 이격 거리는 가상현실 공간 또는 현실 세계에서의 제1 햅틱 컨트롤러와 제2 햅틱 컨트롤러간 거리일 수 있다.
일 실시 예에서, 메인 단말기(410)는 동작 113에서, 연산 결과에 기반하여, 이격 거리가 임계 값보다 작을 경우에 메인 단말기(410)가 햅틱 컨트롤러(100)로 미리 결정된 강도보다 강한 세기의 제1 햅틱 피드백을 전송할 수 있다. 예를 들어, 이격 거리가 임계 값보다 작다는 의미는 양손이 서로 충돌할 가능성이 높다는 것이므로 이러한 양손 충돌 효과에 해당하는 반발력 또는 진동에 대응하는 제1 햅틱 피드백을 전송할 수 있다.
일 실시 예에서, 메인 단말기(410)는 동작 114에서, 이격 거리가 임계 값과 같거나 클 경우에 메인 단말기(410)가 햅틱 컨트롤러(100)로 미리 결정된 강도보다 약한 세기의 제1 햅틱 피드백을 전송할 수 있다. 예를 들어, 이격 거리가 임계 값과 같거나 크다는 의미는 양손이 충돌할 가능성이 낮다는 것이므로 약한 세기의 제1 햅틱 피드백을 제공하거나 아예 제공하지 않을 수도 있다.
일 실시 예에서, 햅틱 컨트롤러는 동작 115에서, 제1 햅틱 피드백을 실행할 수 있다. 예를 들어, 햅틱 컨트롤러(100)는 메인 단말기(410)에서 전송한 세기에 기초하여 사용자에게 제1 햅틱 피드백을 제공할 수 있다.
한편, 메인 단말기(410)는 연산 결과에 기반하여, 이격 거리가 최소 임계 값보다 작을 경우에 메인 단말기(410)가 햅틱 컨트롤러(100)로 미리 지정된 기능을 실행하는 제어 신호를 전송할 수 있다. 예를 들어, 이격 거리가 최소 임계 값보다 작다는 것은 양손이 충돌 또는 접촉하였다는 것을 의미하고, 양손이 서로 맞잡는 자세 내지는 접촉하는 자세가 타겟 입력일 경우에 타겟 입력에 대응하는 미리 지정된 기능(예: 햅틱 컨트롤러(100)의 ON/OFF 기능)이 실행될 수 있다.
본 발명의 일면에 따른 제1 햅틱 컨트롤러 및 제2 햅틱 컨트롤러를 포함하는 햅틱 컨트롤러; 및 상기 햅틱 컨트롤러와 유/무선 통신을 통해 신호를 송수신하는 메인 단말기를 포함하는 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템에 기반한 햅틱 피드백 제공 방법은, 상기 메인 단말기가 상기 유/무선 통신을 통해 상기 제1 햅틱 컨트롤러의 제1 위치 및 상기 제2 햅틱 컨트롤러의 제2 위치를 감지하는 단계; 상기 메인 단말기가 상기 제1 위치 및 상기 제2 위치를 각각 미리 결정된 위치와 비교하는 단계; 상기 비교 결과에 기반하여, 상기 미리 결정된 위치의 임계 거리 이내에 위치하는 햅틱 컨트롤러가 존재할 경우에 상기 메인 단말기가 상기 임계 거리 이내에 위치하는 햅틱 컨트롤러에 미리 결정된 강도보다 강한 세기의 제1 햅틱 피드백을 전송하고, 상기 미리 결정된 위치의 상기 임계 거리를 초과하는 지점에 위치하는 햅틱 컨트롤러가 존재할 경우에 상기 메인 단말기가 상기 임계 거리를 초과하는 지점에 위치하는 햅틱 컨트롤러에 상기 미리 결정된 강도보다 약한 세기의 제1 햅틱 피드백을 전송하는 단계;를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 컨트롤러는 모션 센서부, 제1 햅틱부, 제2 햅틱부 및 제어부를 포함하고, 상기 모션 센서부 및 상기 제1 햅틱부가 사용자의 손의 움직임, 손가락의 위치 또는 압력을 감지하는 단계; 상기 모션 센서부 및 상기 제1 햅틱부에 의해 감지된 정보를 상기 제어부가 상기 메인 단말기로 전송하는 단계; 상기 메인 단말기가 상기 감지된 정보에 기반하여 사용자에게 제공할 압력 또는 변위, 진동을 포함하는 제2 햅틱 피드백을 연산하고 상기 제어부로 전송하는 단계; 상기 제어부가 상기 제2 햅틱 피드백에 기반하여 구동 신호를 생성하여 드라이버 모듈을 통해 상기 제1 햅틱부 및 상기 제2 햅틱부로 전송하는 단계; 및 상기 제1 햅틱부가 햅틱 액츄에이터를 통해 사용자의 손가락을 밀어내는 힘(반발력)을 발생 및/또는 상기 제2 햅틱부가 진동 소자를 통해 진동을 발생하는 단계;를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 제2 햅틱 피드백을 연산하는 단계는, 상기 제1 햅틱부가 사용자가 손가락으로 상기 제1 햅틱부를 쥐는 압력을 감지하여 상기 메인단말기로 전송할 경우에 상기 메인 단말기는 가상 환경 상에서 가상 객체에 해당 압력이 가해질 경우 발생하는 변위를 계산 및/또는 상기 제1 햅틱부가 사용자가 손가락으로 상기 제1 햅틱부를 쥠에 따라 발생하는 변위를 감지하여 상기 메인 단말기로 전송할 경우에 상기 메인 단말기는 가상 환경상에서 가상 객체가 해당 변위만큼 변형될 경우의 반발력(압력)을 계산함으로써 사용자에게 제공할 압력 또는 변위를 계산하는 단계;를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 비교 결과에 기반하여, 상기 미리 결정된 위치의 최소 임계 거리 이내에 위치하는 햅틱 컨트롤러가 존재할 경우에 상기 메인 단말기가 상기 최소 임계 거리 이내에 위치하는 햅틱 컨트롤러에 미리 지정된 기능을 실행하는 제어 신호를 전송하는 단계;를 포함할 수 있다.
본 발명의 일면에 따른 제1 햅틱 컨트롤러 및 제2 햅틱 컨트롤러를 포함하는 햅틱 컨트롤러; 및 상기 햅틱 컨트롤러와 유/무선 통신을 통해 신호를 송수신하는 메인 단말기를 포함하는 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템에 기반한 햅틱 피드백 제공 방법은, 상기 햅틱 컨트롤러가 사용자의 손의 움직임, 손가락의 위치 또는 압력을 감지하는 단계; 상기 햅틱 컨트롤러가 감지된 정보를 상기 메인 단말기로 전송하는 단계; 상기 메인 단말기가 상기 감지된 정보에 기반하여 가상 손의 자세를 렌더링하는 단계; 상기 메인 단말기가 상기 가상 손의 자세와 미리 정해진 타겟 입력간 유사도를 판단하는 단계; 및 상기 유사도가 미리 설정한 임계 값을 초과할 경우에 상기 메인 단말기가 상기 제1 햅틱 컨트롤러 및 상기 제2 햅틱 컨트롤러 중 적어도 하나로 제어신호 및/또는 제3 햅틱 피드백을 전송하는 단계;를 포함할 수 있다.
본 발명의 일면에 따른 제1 햅틱 컨트롤러 및 제2 햅틱 컨트롤러를 포함하는 햅틱 컨트롤러; 및 상기 햅틱 컨트롤러와 유/무선 통신을 통해 신호를 송수신하는 메인 단말기를 포함하는 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템에 기반한 햅틱 피드백 제공 방법은, 상기 메인 단말기가 상기 유/무선 통신을 통해 상기 제1 햅틱 컨트롤러의 제1 위치 및 상기 제2 햅틱 컨트롤러의 제2 위치를 감지하는 단계; 상기 메인 단말기가 상기 제1 위치 및 상기 제2 위치간 이격 거리를 연산하는 단계; 상기 연산 결과에 기반하여, 상기 이격 거리가 임계 값보다 작을 경우에 상기 메인 단말기가 상기 햅틱 컨트롤러로 미리 결정된 강도보다 강한 세기의 제1 햅틱 피드백을 전송하고, 상기 이격 거리가 상기 임계 값과 같거나 클 경우에 상기 메인 단말기가 상기 햅틱 컨트롤러로 상기 미리 결정된 강도보다 약한 세기의 제1 햅틱 피드백을 전송하는 단계;를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 햅틱 컨트롤러는 모션 센서부, 제1 햅틱부, 제2 햅틱부 및 제어부를 포함하고, 상기 모션 센서부 및 상기 제1 햅틱부가 사용자의 손의 움직임, 손가락의 위치 또는 압력을 감지하는 단계; 상기 모션 센서부 및 상기 제1 햅틱부에 의해 감지된 정보를 상기 제어부가 상기 메인 단말기로 전송하는 단계; 상기 메인 단말기가 상기 감지된 정보에 기반하여 사용자에게 제공할 압력 또는 변위, 진동을 포함하는 제2 햅틱 피드백을 연산하고 상기 제어부로 전송하는 단계; 상기 제어부가 상기 제2 햅틱 피드백에 기반하여 구동 신호를 생성하여 드라이버 모듈을 통해 상기 제1 햅틱부 및 상기 제2 햅틱부로 전송하는 단계; 및 상기 제1 햅틱부가 햅틱 액츄에이터를 통해 사용자의 손가락을 밀어내는 힘(반발력)을 발생 및/또는 상기 제2 햅틱부가 진동 소자를 통해 진동을 발생하는 단계;를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 제2 햅틱 피드백을 연산하는 단계는, 상기 제1 햅틱부가 사용자가 손가락으로 상기 제1 햅틱부를 쥐는 압력을 감지하여 상기 메인단말기로 전송할 경우에 상기 메인 단말기는 가상 환경 상에서 가상 객체에 해당 압력이 가해질 경우 발생하는 변위를 계산 및/또는 상기 제1 햅틱부가 사용자가 손가락으로 상기 제1 햅틱부를 쥠에 따라 발생하는 변위를 감지하여 상기 메인 단말기로 전송할 경우에 상기 메인 단말기는 가상 환경상에서 가상 객체가 해당 변위만큼 변형될 경우의 반발력(압력)을 계산함으로써 사용자에게 제공할 압력 또는 변위를 계산하는 단계;를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 연산 결과에 기반하여, 상기 이격 거리가 최소 임계 값보다 작을 경우에 상기 메인 단말기가 상기 햅틱 컨트롤러로 미리 지정된 기능을 실행하는 제어 신호를 전송하는 단계;를 포함할 수 있다.
본 발명의 일면에 따른 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템은 사용자의 손에 의한 파지를 위한 장소를 제공하는 주몸체부; 상기 주몸체부의 일측에 주몸체부와 분해/조립이 가능하게 결합되며, 주몸체부와 함께 하나의 전체적인 몸체를 이루는 보조 몸체부; 상기 주몸체부의 상단부에 마련되며, 주몸체부를 쥐고 있는 사용자의 손의 위치와 자세를 검출하는 모션 센서부; 사용자가 상기 주몸체부를 쥐었을 때 사용자의 각 손가락이 놓이는 위치의 주몸체부의 내부에 마련되며, 사용자의 손가락의 파지력에 따라 발생하는 변위에 대응하는 햅틱 피드백(haptic feedback)을 제공하는 제1 햅틱부; 상기 주몸체부의 내부에 마련되며, 사용자가 주몸체부를 쥔 상태에서 사용자가 외부의 메인 단말기의 화면 상의 객체와 상호 작용할 때 사용자의 제스처나 콘텐츠에 따라 그에 상응하는 패턴의 진동을 제공하는 제2 햅틱부; 상기 보조 몸체부의 내부에 마련되며, 상기 모션 센서부 및 상기 제1 햅틱부에 구비된 센서로부터 검출된 정보를 상기 메인 단말기로 전송하고, 메인 단말기로부터 사용자와 가상 객체 간의 상호 작용에 따른 피드백을 수신하여 상기 제1, 제2 햅틱부를 작동시키는 제어부를 포함하는 햅틱 컨트롤러; 및 상기 햅틱 컨트롤러와 유/무선 통신을 통해 신호를 송수신하며, 상기 햅틱 컨트롤러로부터 상기 모션 센서부 및 상기 제1 햅틱부에 구비된 센서로부터 검출된 정보를 수신하고, 사용자와 가상 객체 간의 상호 작용에 따른 피드백을 상기 햅틱 컨트롤러로 전송하는 메인 단말기를 포함하고, 상기 햅틱 컨트롤러는 제1 햅틱 컨트롤러 및 제2 햅틱 컨트롤러를 포함하고, 상기 메인 단말기는, 상기 유/무선 통신을 통해 상기 제1 햅틱 컨트롤러의 제1 위치 및 상기 제2 햅틱 컨트롤러의 제2 위치를 감지하고, 상기 제1 위치 및 상기 제2 위치를 각각 미리 결정된 위치와 비교하고, 상기 비교 결과에 기반하여, 상기 미리 결정된 위치의 임계 거리 이내에 위치하는 햅틱 컨트롤러가 존재할 경우에 상기 임계 거리 이내에 위치하는 햅틱 컨트롤러에 미리 결정된 강도보다 강한 세기의 제1 햅틱 피드백을 전송하고, 상기 미리 결정된 위치의 상기 임계 거리를 초과하는 지점에 위치하는 햅틱 컨트롤러가 존재할 경우에 상기 임계 거리를 초과하는 지점에 위치하는 햅틱 컨트롤러에 상기 미리 결정된 강도보다 약한 세기의 제1 햅틱 피드백을 전송할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100 : 햅틱 컨트롤러
300 : 햅틱 액츄에이터
410 : 메인 단말기
600 : 햅틱 피드백 제공 시스템

Claims (10)

  1. 제1 햅틱 컨트롤러 및 제2 햅틱 컨트롤러를 포함하는 햅틱 컨트롤러; 및 상기 햅틱 컨트롤러와 유/무선 통신을 통해 신호를 송수신하는 메인 단말기를 포함하는 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템에 기반한 햅틱 피드백 제공 방법에 있어서,
    상기 메인 단말기가 상기 유/무선 통신을 통해 상기 제1 햅틱 컨트롤러의 제1 위치 및 상기 제2 햅틱 컨트롤러의 제2 위치를 감지하는 단계;
    상기 메인 단말기가 상기 제1 위치 및 상기 제2 위치를 각각 가상현실 공간에서 특정 객체가 설치된 위치에 해당하는 미리 결정된 위치와 비교하는 단계;
    상기 비교 결과에 기반하여, 상기 미리 결정된 위치의 임계 거리 이내에 상기 햅틱 컨트롤러가 존재하는지 여부에 기초하여 상기 메인 단말기가 상기 햅틱 컨트롤러에 전송하는 제1 햅틱 피드백의 세기가 결정되는 단계;
    를 포함하고,
    상기 햅틱 컨트롤러는 모션 센서부, 제1 햅틱부, 제2 햅틱부 및 제어부를 포함하고,
    상기 모션 센서부 및 상기 제1 햅틱부가 사용자의 손의 움직임, 손가락의 위치 또는 압력을 감지하는 단계;
    상기 모션 센서부 및 상기 제1 햅틱부에 의해 감지된 정보를 상기 제어부가 상기 메인 단말기로 전송하는 단계;
    상기 메인 단말기가 상기 감지된 정보에 기반하여 사용자에게 제공할 압력 또는 변위, 진동을 포함하는 제2 햅틱 피드백을 연산하고 상기 제어부로 전송하는 단계;
    상기 제어부가 상기 제2 햅틱 피드백에 기반하여 구동 신호를 생성하여 드라이버 모듈을 통해 상기 제1 햅틱부 및 상기 제2 햅틱부로 전송하는 단계; 및
    상기 제1 햅틱부가 햅틱 액츄에이터를 통해 사용자의 손가락을 밀어내는 힘(반발력)을 발생 및/또는 상기 제2 햅틱부가 진동 소자를 통해 진동을 발생하는 단계;를 포함하는 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 방법.
  2. 삭제
  3. 제1 항에 있어서, 상기 제2 햅틱 피드백을 연산하는 단계는,
    상기 제1 햅틱부가 사용자가 손가락으로 상기 제1 햅틱부를 쥐는 압력을 감지하여 상기 메인단말기로 전송할 경우에 상기 메인 단말기는 가상 환경 상에서 가상 객체에 해당 압력이 가해질 경우 발생하는 변위를 계산 및/또는 상기 제1 햅틱부가 사용자가 손가락으로 상기 제1 햅틱부를 쥠에 따라 발생하는 변위를 감지하여 상기 메인 단말기로 전송할 경우에 상기 메인 단말기는 가상 환경상에서 가상 객체가 해당 변위만큼 변형될 경우의 반발력(압력)을 계산함으로써 사용자에게 제공할 압력 또는 변위를 계산하는 단계;를 포함하는 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 방법.
  4. 제1 항에 있어서,
    상기 비교 결과에 기반하여, 상기 미리 결정된 위치의 최소 임계 거리 이내에 위치하는 햅틱 컨트롤러가 존재할 경우에 상기 메인 단말기가 상기 최소 임계 거리 이내에 위치하는 햅틱 컨트롤러에 미리 지정된 기능을 실행하는 제어 신호를 전송하는 단계;를 포함하는 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 사용자의 손에 의한 파지를 위한 장소를 제공하는 주몸체부; 상기 주몸체부의 일측에 주몸체부와 분해/조립이 가능하게 결합되며, 주몸체부와 함께 하나의 전체적인 몸체를 이루는 보조 몸체부; 상기 주몸체부의 상단부에 마련되며, 주몸체부를 쥐고 있는 사용자의 손의 위치와 자세를 검출하는 모션 센서부; 사용자가 상기 주몸체부를 쥐었을 때 사용자의 각 손가락이 놓이는 위치의 주몸체부의 내부에 마련되며, 사용자의 손가락의 파지력에 따라 발생하는 변위에 대응하는 햅틱 피드백(haptic feedback)을 제공하는 제1 햅틱부; 상기 주몸체부의 내부에 마련되며, 사용자가 주몸체부를 쥔 상태에서 사용자가 외부의 메인 단말기의 화면 상의 객체와 상호 작용할 때 사용자의 제스처나 콘텐츠에 따라 그에 상응하는 패턴의 진동을 제공하는 제2 햅틱부; 상기 보조 몸체부의 내부에 마련되며, 상기 모션 센서부 및 상기 제1 햅틱부에 구비된 센서로부터 검출된 정보를 상기 메인 단말기로 전송하고, 메인 단말기로부터 사용자와 가상 객체 간의 상호 작용에 따른 피드백을 수신하여 상기 제1, 제2 햅틱부를 작동시키는 제어부를 포함하는 햅틱 컨트롤러; 및
    상기 햅틱 컨트롤러와 유/무선 통신을 통해 신호를 송수신하며, 상기 햅틱 컨트롤러로부터 상기 모션 센서부 및 상기 제1 햅틱부에 구비된 센서로부터 검출된 정보를 수신하고, 사용자와 가상 객체 간의 상호 작용에 따른 피드백을 상기 햅틱 컨트롤러로 전송하는 메인 단말기를 포함하고,
    상기 햅틱 컨트롤러는 제1 햅틱 컨트롤러 및 제2 햅틱 컨트롤러를 포함하고,
    상기 메인 단말기는,
    상기 유/무선 통신을 통해 상기 제1 햅틱 컨트롤러의 제1 위치 및 상기 제2 햅틱 컨트롤러의 제2 위치를 감지하고,
    상기 제1 위치 및 상기 제2 위치를 각각 가상현실 공간에서 특정 객체가 설치된 위치에 해당하는 미리 결정된 위치와 비교하고,
    상기 비교 결과에 기반하여, 상기 미리 결정된 위치의 임계 거리 이내에 상기 햅틱 컨트롤러가 존재하는지 여부에 기초하여 상기 메인 단말기가 상기 햅틱 컨트롤러에 전송하는 제1 햅틱 피드백의 세기가 결정되는 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템.
KR1020200098012A 2020-08-05 2020-08-05 햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법 KR102251308B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200098012A KR102251308B1 (ko) 2020-08-05 2020-08-05 햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200098012A KR102251308B1 (ko) 2020-08-05 2020-08-05 햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102251308B1 true KR102251308B1 (ko) 2021-05-12

Family

ID=75918651

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200098012A KR102251308B1 (ko) 2020-08-05 2020-08-05 햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102251308B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023234823A1 (en) * 2022-05-31 2023-12-07 Flatfrog Laboratories Ab A virtual-reality interaction system with haptic feedback

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101738870B1 (ko) * 2016-12-12 2017-05-23 주식회사 디플즈 Vr글러브 기반 게임 시스템 및 이를 이용한 게임 진행 방법
KR20180058209A (ko) * 2016-11-23 2018-05-31 임머숀 코퍼레이션 햅틱 효과를 변경하기 위한 디바이스 및 방법
KR20180108100A (ko) * 2017-03-24 2018-10-04 엘지전자 주식회사 헤드 마운티드 디스플레이를 포함하는 시스템 및 그 제어 방법
KR20190040897A (ko) * 2017-10-11 2019-04-19 임머숀 코퍼레이션 복수의 주변 디바이스들을 이용한 햅틱 효과들
KR20200024221A (ko) * 2017-06-09 2020-03-06 아이비큐티 디지털 코포레이션 음향 감지 및 알림
KR20200041384A (ko) * 2017-09-08 2020-04-21 나이앤틱, 인크. 충돌 검출, 추정 및 회피

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180058209A (ko) * 2016-11-23 2018-05-31 임머숀 코퍼레이션 햅틱 효과를 변경하기 위한 디바이스 및 방법
KR101738870B1 (ko) * 2016-12-12 2017-05-23 주식회사 디플즈 Vr글러브 기반 게임 시스템 및 이를 이용한 게임 진행 방법
KR20180108100A (ko) * 2017-03-24 2018-10-04 엘지전자 주식회사 헤드 마운티드 디스플레이를 포함하는 시스템 및 그 제어 방법
KR20200024221A (ko) * 2017-06-09 2020-03-06 아이비큐티 디지털 코포레이션 음향 감지 및 알림
KR20200041384A (ko) * 2017-09-08 2020-04-21 나이앤틱, 인크. 충돌 검출, 추정 및 회피
KR20190040897A (ko) * 2017-10-11 2019-04-19 임머숀 코퍼레이션 복수의 주변 디바이스들을 이용한 햅틱 효과들

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
(특허문헌 0001) KR 10-2017-0016695

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023234823A1 (en) * 2022-05-31 2023-12-07 Flatfrog Laboratories Ab A virtual-reality interaction system with haptic feedback

Similar Documents

Publication Publication Date Title
JP5969626B2 (ja) 高められたジェスチャ・ベースの対話のためのシステム及び方法
KR102225783B1 (ko) 햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법
CN111638801B (zh) 用于手势辨识的控制器及其手势辨识的方法
US9927869B2 (en) Apparatus for outputting virtual keyboard and method of controlling the same
CN107949818B (zh) 信息处理设备、方法和计算机程序
EP3425481B1 (en) Control device
KR100742029B1 (ko) 휴대용 컴퓨터 대화형 장치
US20100277428A1 (en) Touch panel input assisting device, computer operating method using the device, and tactile sense interlocking program
WO2012048325A2 (en) A multidirectional controller with shear feedback
EP3489804A1 (en) Haptic accessory apparatus
KR102251308B1 (ko) 햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법
TWI674134B (zh) 沉浸式系統、控制方法及非暫態電腦可讀取媒體
Sanfilippo et al. A low-cost multi-modal auditory-visual-tactile framework for remote touch
CN108367428A (zh) 用于自移动平台的控制系统
US20230142242A1 (en) Device for Intuitive Dexterous Touch and Feel Interaction in Virtual Worlds
Ryu et al. Gamesbond: Bimanual haptic illusion of physically connected objects for immersive vr using grip deformation
KR102394769B1 (ko) 햅틱 컨트롤러와 근전도 센서를 이용한 햅틱 피드백 제공 시스템 및 방법
US11003247B1 (en) Deployable controller
KR101768629B1 (ko) 젓가락형 포인팅 장치 및 포인팅 시스템
JP5342354B2 (ja) 力覚提示装置及び力覚提示プログラム
CN117251058B (zh) 一种多信息体感交互系统的控制方法
JP7319813B2 (ja) 力覚提示システム、力覚提示装置、及びプログラム
CN117572965A (zh) 一种用于虚拟现实系统的多信息体感交互手套系统
EP2625589A2 (en) A multidirectional controller with shear feedback

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant