KR102225783B1 - 햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법 - Google Patents
햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법 Download PDFInfo
- Publication number
- KR102225783B1 KR102225783B1 KR1020190028840A KR20190028840A KR102225783B1 KR 102225783 B1 KR102225783 B1 KR 102225783B1 KR 1020190028840 A KR1020190028840 A KR 1020190028840A KR 20190028840 A KR20190028840 A KR 20190028840A KR 102225783 B1 KR102225783 B1 KR 102225783B1
- Authority
- KR
- South Korea
- Prior art keywords
- haptic
- user
- controller
- main body
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000006073 displacement reaction Methods 0.000 claims abstract description 74
- 230000033001 locomotion Effects 0.000 claims abstract description 61
- 230000003993 interaction Effects 0.000 claims abstract description 20
- 238000004891 communication Methods 0.000 claims description 19
- 238000005259 measurement Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims 1
- 230000035807 sensation Effects 0.000 abstract description 4
- 210000003811 finger Anatomy 0.000 description 40
- 230000008878 coupling Effects 0.000 description 7
- 238000010168 coupling process Methods 0.000 description 7
- 238000005859 coupling reaction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 210000003813 thumb Anatomy 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 238000004148 unit process Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
- H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
- H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
- H02N2/04—Constructional details
Abstract
본 발명은 햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법에 관한 것이다. 본 발명에 따른 햅틱 컨트롤러는, 사용자의 손에 의한 파지를 위한 장소를 제공하는 주몸체부; 주몸체부와 분해/조립이 가능하게 결합되며, 주몸체부와 함께 하나의 전체적인 몸체를 이루는 보조 몸체부; 주몸체부를 쥐고 있는 사용자의 손의 위치와 자세를 검출하는 모션 센서부; 주몸체부를 쥐었을 때, 사용자의 손가락의 파지력에 따라 발생하는 변위에 대응하는 햅틱 피드백을 제공하는 제1 햅틱부; 사용자가 외부의 메인 단말기의 화면상의 객체와 상호 작용할 때 사용자의 제스처나 콘텐츠에 따라 그에 상응하는 패턴의 진동을 제공하는 제2 햅틱부; 및 모션 센서부 및 제1 햅틱부에 구비된 센서로부터 검출된 정보를 메인 단말기로 전송하고, 메인 단말기로부터 사용자와 가상 객체 간의 상호 작용에 따른 피드백을 수신하여 제1, 제2 햅틱부를 작동시키는 제어부를 포함한다.
이와 같은 본 발명에 의하면, 햅틱 컨트롤러를 파지한 사용자에게 모니터 화면상의 객체/콘텐츠와의 상호 작용에 따라 객체를 쥐거나 누르는 등의 다양한 강성의 감각을 입체적으로 제공할 수 있고, 손가락으로 물체를 쥐거나 잡는 상황이 아닌 물체와의 접촉, 부딪힘과 같은 정보 또는 특정 이벤트의 발생 정보 등을 진동을 통해 전달할 수 있다.
이와 같은 본 발명에 의하면, 햅틱 컨트롤러를 파지한 사용자에게 모니터 화면상의 객체/콘텐츠와의 상호 작용에 따라 객체를 쥐거나 누르는 등의 다양한 강성의 감각을 입체적으로 제공할 수 있고, 손가락으로 물체를 쥐거나 잡는 상황이 아닌 물체와의 접촉, 부딪힘과 같은 정보 또는 특정 이벤트의 발생 정보 등을 진동을 통해 전달할 수 있다.
Description
본 발명은 햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법에 관한 것으로서, 더 상세하게는 햅틱 컨트롤러를 파지한 사용자에게 모니터 화면 상의 객체/콘텐츠와의 상호 작용에 따라 객체를 쥐거나 누르는 등의 다양한 강성의감각을 입체적으로 제공할 수 있는 햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법에 관한 것이다.
가상 현실(virtual reality)과 연계하여 가상 현실 환경에서의 몰입감과 실재감을 높이기 위해, 양 손을 이용한 자연스러운 사용자 인터페이스 기술과, 이를 통해 촉감각, 근감각 등과 같은 햅틱 피드백을 제공하기 위한 다양한 기술이 연구 및 개발되고 있다.
진동 소자를 탑재한 사용자 인터페이스의 경우 상호작용의 개시/종료 또는 종료를 알리거나 인터페이스의 조작 여부를 알리는 등 진동의 패턴을 변조하여 햅틱 피드백을 제공한다. 그러나 이 방식은 근감각 피드백의 부재로 인한 실감 있는 피드백 제공이 어려운 단점이 있다.
가상 현실 상의 객체를 파지하는 감각, 힘을 주어 쥐거나 누르는 등의 근감각을 제공하기 위해 장갑 또는 외골격 형태의 사용자 인터페이스가 제시되고 있으나, 이 경우는 착용의 복잡성 및 외부 장치의 크기 등의 문제로 사용 상의 제약이 따른다.
한편, 한국 공개특허공보 제10-2017-0016695호(특허문헌 1)에는 "상호작용 컨트롤러, 상호작용 컨트롤러를 이용한 햅틱 피드백 제공 시스템 및 방법"이 개시되어 있는 바, 이에 따른 상호작용 컨트롤러는 자이로센서와 가속도센서를 포함하는 센서부; 및 손잡이 부분에 일정한 간격으로 배열되며 상기 센서부에 의해 감지된 움직임에 따라 작동하는 다수의 햅틱 액츄에이터를 포함하는 햅틱부를 포함하는 것을 특징으로 한다.
이상과 같은 특허문헌 1의 경우, 2차원으로 배열된 다수의 햅틱 액츄에이터를 통해 상호작용 컨트롤러의 움직임에 따른 다양한 공간적인 촉각 피드백을 제공할 수는 있으나, 여기에서는 단순히 상호작용 컨트롤러와 사용자의 손(손가락 및 손바닥)이 닿는 면에서 촉각 피드백을 제공하는 상황만을 전제 조건으로 하고 있어, 손으로 물체를 힘을 주어 쥐거나 누르는 상황 등에서 발생하는 물리적 변위 및 근감각 피드백 제공에 있어서는 제대로 대응할 수 없는 문제점이 있다.
본 발명은 상기와 같은 사항을 종합적으로 감안하여 창출된 것으로서, 햅틱 컨트롤러를 파지한 사용자에게 모니터 화면 상의 객체/콘텐츠와의 상호 작용에 따라 객체를 쥐거나 누르는 등의 다양한 강성의 감각을 입체적으로 제공할 수 있을 뿐만 아니라 손가락으로 물체를 쥐거나 잡는 상황이 아닌 물체와의 접촉, 부딪힘과 같은 정보 또는 특정 이벤트의 발생 정보 등을 진동을 통해 전달할 수 있는 햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법을 제공함에 그 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 햅틱 컨트롤러는,
사용자의 손에 의한 파지를 위한 장소를 제공하는 주몸체부;
상기 주몸체부의 일측에 주몸체부와 분해/조립이 가능하게 결합되며, 주몸체부와 함께 하나의 전체적인 몸체를 이루는 보조 몸체부;
상기 주몸체부의 상단부에 마련되며, 주몸체부를 쥐고 있는 사용자의 손의 위치와 자세를 검출하는 모션 센서부;
사용자가 상기 주몸체부를 쥐었을 때 사용자의 각 손가락이 놓이는 위치의 주몸체부의 내부에 마련되며, 사용자의 손가락의 파지력에 따라 발생하는 변위에 대응하는 햅틱 피드백(haptic feedback)을 제공하는 제1 햅틱부;
상기 주몸체부의 내부에 마련되며, 사용자가 주몸체부를 쥔 상태에서 사용자가 외부의 메인 단말기의 화면 상의 객체와 상호 작용할 때 사용자의 제스처나 콘텐츠에 따라 그에 상응하는 패턴의 진동을 제공하는 제2 햅틱부; 및
상기 보조 몸체부의 내부에 마련되며, 상기 모션 센서부 및 상기 제1 햅틱부에 구비된 센서로부터 검출된 정보를 상기 메인 단말기로 전송하고, 메인 단말기로부터 사용자와 가상 객체 간의 상호 작용에 따른 피드백을 수신하여 상기 제1, 제2 햅틱부를 작동시키는 제어부를 포함하는 점에 그 특징이 있다.
여기서, 상기 모션 센서부는 상기 주몸체부 및 보조 몸체부로 이루어지는 전체 몸체의 위치 및 자세를 검출하기 위한 센서로서의 IMU(Inertial Measurement Unit)를 포함하여 구성될 수 있다.
또한, 상기 제1 햅틱부는 사용자의 손가락의 파지력을 검출하기 위한 압력 센서 또는 사용자의 손가락의 파지력에 따라 발생하는 변위를 검출하기 위한 변위 센서와; 사용자가 주몸체부를 쥐는 압력에 따라 변위를 발생하거나, 발생하는 변위에 따라 사용자의 손가락을 밀어내는 힘(반발력)을 발생하는 햅틱 액츄에이터를 포함하여 구성될 수 있다.
이때, 상기 햅틱 액츄에이터는, 사용자가 주몸체부를 쥐었을 때, 사용자의 손가락 부분과 접촉되는 접촉부와; 사용자의 손가락의 파지력에 따라 상기 접촉부의 후진 및 전진의 직선 이동력을 제공하는 액츄에이터부와; 상기 접촉부와 액츄에이터부를 내부에 수납하되, 상기 접촉부가 몸체 내외부로 일정 거리 전진 및 후진 가능하도록 수납하는 하우징을 포함하여 구성될 수 있다.
또한, 상기 제2 햅틱부는 사용자가 주몸체부를 쥔 상태에서 외부의 메인 단말기의 화면 상의 객체와 상호 작용할 때 사용자의 제스처나 콘텐츠에 상응하여 주몸체부 전체를 진동시키는 진동을 발생하는 진동 소자를 포함하여 구성될 수 있다.
이때, 상기 진동 소자로는 압전형 진동자(piezoelectric vibrator) 등이 사용될 수 있다.
또한, 상기 제어부는, 상기 모션 센서부 및 상기 제1 햅틱부의 내부에 각각 마련되어 있는 센서로부터 수집된 신호를 처리하여 상기 메인 단말기로 전송하고, 메인 단말기로부터 수신된 정보에 따라 상기 제1, 제2 햅틱부를 구동하기 위한 신호를 출력하는 제어기와; 상기 제어기로부터 상기 제1, 제2 햅틱부를 구동하기 위한 신호를 수신하여 구동하는 드라이버 모듈과; 상기 제어기로부터 신호를 전달받아 상기 메인 단말기로 전송하고, 상기 메인 단말기로부터 신호를 수신하여 상기 제어기로 전달하는 통신 모듈; 및 상기 센서, 제어기, 드라이버 모듈, 통신 모듈과, 상기 제1 햅틱부 내부에 마련되어 있는 햅틱 액츄에이터 및 상기 제2 햅틱부 내부에 마련되어 있는 진동 소자에 구동 전원을 공급하는 전원 공급장치를 포함하여 구성될 수 있다.
또한, 상기 주몸체부에는 사용자가 주몸체부를 쥐었을 때 사용자의 손등 부분을 감싸주어 사용자의 손의 파지 상태를 견고하게 해주기 위한 고정용 밴드가 더 설치될 수 있다.
또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템은,
사용자의 손에 의한 파지를 위한 장소를 제공하는 주몸체부; 상기 주몸체부의 일측에 주몸체부와 분해/조립이 가능하게 결합되며, 주몸체부와 함께 하나의 전체적인 몸체를 이루는 보조 몸체부; 상기 주몸체부의 상단부에 마련되며, 주몸체부를 쥐고 있는 사용자의 손의 위치와 자세를 검출하는 모션 센서부; 사용자가 상기 주몸체부를 쥐었을 때 사용자의 각 손가락이 놓이는 위치의 주몸체부의 내부에 마련되며, 사용자의 손가락의 파지력에 따라 발생하는 변위에 대응하는 햅틱 피드백(haptic feedback)을 제공하는 제1 햅틱부; 상기 주몸체부의 내부에 마련되며, 사용자가 주몸체부를 쥔 상태에서 사용자가 외부의 메인 단말기의 화면 상의 객체와 상호 작용할 때 사용자의 제스처나 콘텐츠에 따라 그에 상응하는 패턴의 진동을 제공하는 제2 햅틱부; 상기 보조 몸체부의 내부에 마련되며, 상기 모션 센서부 및 상기 제1 햅틱부에 구비된 센서로부터 검출된 정보를 상기 메인 단말기로 전송하고, 메인 단말기로부터 사용자와 가상 객체 간의 상호 작용에 따른 피드백을 수신하여 상기 제1, 제2 햅틱부를 작동시키는 제어부를 포함하는 햅틱 컨트롤러; 및
상기 햅틱 컨트롤러와 유/무선 통신을 통해 신호를 송수신하며, 상기 햅틱 컨트롤러로부터 햅틱 컨트롤러의 모션 센서부 및 제1 햅틱부에 구비된 센서로부터 검출된 정보를 수신하고, 사용자와 가상 객체 간의 상호 작용에 따른 피드백을 상기 햅틱 컨트롤러로 전송하는 메인 단말기를 포함하는 점에 그 특징이 있다.
여기서, 상기 모션 센서부는 상기 주몸체부 및 보조 몸체부로 이루어지는 전체 몸체의 위치 및 자세를 검출하기 위한 센서로서의 IMU(Inertial Measurement Unit)를 포함하여 구성될 수 있다.
또한, 상기 제1 햅틱부는 사용자의 손가락의 파지력을 검출하기 위한 압력 센서 또는 사용자의 손가락의 파지력에 따라 발생하는 변위를 검출하기 위한 변위 센서와; 사용자가 주몸체부를 쥐는 압력에 따라 변위를 발생하거나, 발생하는 변위에 따라 사용자의 손가락을 밀어내는 힘(반발력)을 발생하는 햅틱 액츄에이터를 포함하여 구성될 수 있다.
이때, 상기 햅틱 액츄에이터는, 사용자가 주몸체부를 쥐었을 때, 사용자의 손가락 부분과 접촉되는 접촉부와; 사용자의 손가락의 파지력에 따라 상기 접촉부의 후진 및 전진의 직선 이동력을 제공하는 액츄에이터부와; 상기 접촉부와 액츄에이터부를 내부에 수납하되, 상기 접촉부가 몸체 내외부로 일정 거리 전진 및 후진 가능하도록 수납하는 하우징을 포함하여 구성될 수 있다.
또한, 상기 제2 햅틱부는 사용자가 주몸체부를 쥔 상태에서 외부의 메인 단말기의 화면 상의 객체와 상호 작용할 때 사용자의 제스처나 콘텐츠에 상응하여 주몸체부 전체를 진동시키는 진동을 발생하는 진동 소자를 포함하여 구성될 수 있다.
이때, 상기 진동 소자로는 압전형 진동자(piezoelectric vibrator) 등이 사용될 수 있다.
또한, 상기 제어부는, 상기 모션 센서부 및 상기 제1 햅틱부의 내부에 각각 마련되어 있는 센서로부터 수집된 신호를 처리하여 상기 메인 단말기로 전송하고, 메인 단말기로부터 수신된 정보에 따라 상기 제1, 제2 햅틱부를 구동하기 위한 신호를 출력하는 제어기와; 상기 제어기로부터 상기 제1, 제2 햅틱부를 구동하기 위한 신호를 수신하여 구동하는 드라이버 모듈과; 상기 제어기로부터 신호를 전달받아 상기 메인 단말기로 전송하고, 상기 메인 단말기로부터 신호를 수신하여 상기 제어기로 전달하는 통신 모듈; 및 상기 센서, 제어기, 드라이버 모듈, 통신 모듈과, 상기 제1 햅틱부 내부에 마련되어 있는 햅틱 액츄에이터 및 상기 제2 햅틱부 내부에 마련되어 있는 진동 소자에 구동 전원을 공급하는 전원 공급장치를 포함하여 구성될 수 있다.
또한, 상기 주몸체부에는 사용자가 주몸체부를 쥐었을 때 사용자의 손등 부분을 감싸주어 사용자의 손의 파지 상태를 견고하게 해주기 위한 고정용 밴드가 더 설치될 수 있다.
또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 방법은,
모션 센서부, 제1 햅틱부, 제2 햅틱부, 제어부를 구비하는 햅틱 컨트롤러; 및 상기 햅틱 컨트롤러와 유/무선 통신을 통해 신호를 송수신하는 메인 단말기를 포함하는, 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템에 기반한 햅틱 피드백 제공 방법으로서,
a) 상기 햅틱 컨트롤러의 모션 센서부 및 제1 햅틱부에 의해 사용자의 손의 움직임과 손가락의 위치 또는 압력을 감지하는 단계;
b) 상기 모션 센서부 및 제1 햅틱부에 의해 감지된 정보를 상기 햅틱 컨트롤러의 제어부에 의해 상기 메인 단말기로 전송하는 단계;
c) 상기 메인 단말기에 의해 사용자에게 제공할 압력 또는 변위, 진동을 계산하여 상기 햅틱 컨트롤러의 제어부로 전송하는 단계;
d) 상기 제어부에 의해 상기 메인 단말기로부터의 압력 또는 변위, 진동 정보를 수신하고, 그를 바탕으로 구동 신호를 생성하여 드라이버 모듈을 통해 상기 제1, 제2 햅틱부로 전송하는 단계; 및
e) 상기 제1 햅틱부의 햅틱 액츄에이터에 의해 사용자의 손가락을 밀어내는 힘(반발력)을 발생 및/또는 상기 제2 햅틱부의 진동 소자에 의해 진동을 발생하는 단계를 포함하는 점에 그 특징이 있다.
여기서, 상기 단계 c)에서 상기 메인 단말기에 의해 사용자에게 제공할 압력 또는 변위를 계산함에 있어서, 상기 제1 햅틱부를 쥐는 압력을 감지하는 경우에는 사용자가 손가락으로 제1 햅틱부를 쥐는 압력을 감지하여 메인 단말기로 전송하면, 메인 단말기는 가상 환경상에서 임의의 대상 물체에 해당 압력이 가해질 경우 발생하는 변위를 계산하고, 상기 제1 햅틱부를 쥘 때 발생하는 변위를 감지하는 경우에는 사용자가 손가락으로 제1 햅틱부를 쥠에 따라 발생하는 변위를 감지하여 메인 단말기로 전송하면, 메인 단말기는 가상 환경상에서 임의의 대상 물체가 해당 변위만큼 변형될 경우의 반발력(압력)을 계산함으로써 사용자에게 제공할 압력 또는 변위를 계산할 수 있다.
이와 같은 본 발명에 의하면, 햅틱 컨트롤러를 파지한 사용자에게 모니터 화면 상의 객체/콘텐츠와의 상호 작용에 따라 객체를 쥐거나 누르는 등의 다양한 강성의 감각을 입체적으로 제공할 수 있을 뿐만 아니라 손가락으로 물체를 쥐거나 잡는 상황이 아닌 물체와의 접촉, 부딪힘과 같은 정보 또는 특정 이벤트의 발생 정보 등을 진동을 통해 전달할 수 있는 장점 있다.
도 1은 본 발명에 따른 햅틱 컨트롤러의 전체적인 외관을 나타낸 도면이다.
도 2는 도 1에 도시된 햅틱 컨트롤러를 사용자가 파지한 상태를 나타낸 도면이다.
도 3은 본 발명에 따른 햅틱 컨트롤러의 제1 햅틱부 내부에 마련되는 햅틱 액츄에이터를 나타낸 도면이다.
도 4는 본 발명에 따른 햅틱 컨트롤러의 보조 몸체부의 내부에 마련되는 제어부의 구성을 개략적으로 나타낸 도면이다.
도 5는 본 발명에 따른 햅틱 컨트롤러의 주몸체부와 보조 몸체부가 분해된 상태를 나타낸 도면이다.
도 6은 본 발명에 따른 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템의 구성을 개략적으로 나타낸 도면이다.
도 7은 본 발명에 따른 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 방법의 실행 과정을 나타낸 흐름도이다.
도 8은 본 발명에 따른 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템의 메인 단말기의 화면상에 디스플레이되는 가상 손의 움직임 및 가상 객체의 변화, 진동 피드백을 나타낸 도면이다.
도 2는 도 1에 도시된 햅틱 컨트롤러를 사용자가 파지한 상태를 나타낸 도면이다.
도 3은 본 발명에 따른 햅틱 컨트롤러의 제1 햅틱부 내부에 마련되는 햅틱 액츄에이터를 나타낸 도면이다.
도 4는 본 발명에 따른 햅틱 컨트롤러의 보조 몸체부의 내부에 마련되는 제어부의 구성을 개략적으로 나타낸 도면이다.
도 5는 본 발명에 따른 햅틱 컨트롤러의 주몸체부와 보조 몸체부가 분해된 상태를 나타낸 도면이다.
도 6은 본 발명에 따른 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템의 구성을 개략적으로 나타낸 도면이다.
도 7은 본 발명에 따른 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 방법의 실행 과정을 나타낸 흐름도이다.
도 8은 본 발명에 따른 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템의 메인 단말기의 화면상에 디스플레이되는 가상 손의 움직임 및 가상 객체의 변화, 진동 피드백을 나타낸 도면이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어 해석되지 말아야 하며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "장치" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1 및 도 2는 본 발명의 실시예에 따른 햅틱 컨트롤러를 나타낸 것으로서, 도 1은 전체적인 외관을 나타낸 도면이고, 도 2는 사용자가 파지한 상태를 나타낸 도면이다. 도 2에서 (A)는 사용자의 손에 의한 일반적인 파지 상태, (B)는 엄지 손가락으로 모션 센서부를 접촉한 상태, (C)는 제1 햅틱부의 엄지 손가락 위치부에 엄지 손가락을 위치시킨 상태를 각각 나타낸 것이다.
도 1 및 도 2를 참조하면, 본 발명에 따른 햅틱 컨트롤러(100)는 크게 사용자의 손에 의한 파지를 위한 장소를 제공하는 주몸체부(110)와, 주몸체부(110)의 일측에 주몸체부(110)와 분해/조립이 가능하게 결합되며(도 5 참조), 주몸체부 (110)와 함께 하나의 전체적인 몸체를 이루는 보조 몸체부(120)를 포함하여 구성된다.
상기 주몸체부(110)의 상단부에는 주몸체부(110)를 쥐고 있는 사용자의 손의 위치와 자세를 검출하는 모션 센서부(111)가 마련된다. 이와 같은 모션 센서부(111)는 상기 주몸체부(110) 및 보조 몸체부(120)로 이루어지는 전체 몸체의 위치 및 자세를 검출하기 위한 센서로서의 IMU(Inertial Measurement Unit)를 포함하여 구성될 수 있다.
또한, 주몸체부(110)의 내부에는 사용자가 주몸체부(110)를 쥐었을 때 사용자의 각 손가락이 놓이는 위치에 대응하여, 사용자의 손가락의 파지력에 따라 발생하는 변위에 대응하는 햅틱 피드백(haptic feedback)을 제공하는 제1 햅틱부(112a)(112b)가 마련된다. 여기서, 이와 같은 제1 햅틱부(112a)(112b)는, 사용자의 손가락의 파지력을 검출하기 위한 압력 센서(미도시) 또는 사용자의 손가락의 파지력에 따라 발생하는 변위를 검출하기 위한 변위 센서(미도시)와; 사용자가 주몸체부(110)를 쥐는 압력에 따라 변위를 발생하거나, 발생하는 변위에 따라 사용자의 손가락을 밀어내는 힘(반발력)을 발생하는 햅틱 액츄에이터를 포함하여 구성될 수 있다. 이때, 이와 같은 햅틱 액츄에이터(300)는, 도 3에 도시된 바와 같이, 사용자가 주몸체부 (110)를 쥐었을 때, 사용자의 손가락 부분과 접촉되는 접촉부(310)와; 사용자의 손가락의 파지력에 따라 상기 접촉부(310)의 후진 및 전진의 직선 이동력을 제공하는 액츄에이터부(320)와; 상기 접촉부(310)와 액츄에이터부(320)를 내부에 수납하되, 상기 접촉부(310)가 몸체 내외부로 일정 거리 전진 및 후진 가능하도록 수납하는 하우징(330)을 포함하여 구성될 수 있다. 여기서, 상기 액츄에이터부(320) 내부에는 변위 센서 또는 압력 센서가 내장될 수 있다. 도 3에서 (A)는 접촉부(310)가 반발력을 받아 전진하여 돌출한 상태, (B)는 접촉부(310)가 손가락의 누름력을 받아 후진된 상태를 각각 나타낸 것이다.
또한, 주몸체부(110)의 내부에는 사용자가 주몸체부(110)를 쥔 상태에서 사용자가 외부의 메인 단말기(410)(도 4, 도 6 참조)의 화면상의 객체와 상호 작용할 때 사용자의 제스처나 콘텐츠에 따라 그에 상응하는 패턴의 진동을 제공하는 제2 햅틱부(113)가 마련된다. 이러한 제2 햅틱부(113)는 사용자가 주몸체부(110)를 쥔 상태에서 외부의 메인 단말기(410)의 화면상의 객체와 상호 작용할 때 사용자의 제스처나 콘텐츠에 상응하여 주몸체부(110) 전체를 진동시키는 진동을 발생하는 진동 소자(미도시)를 포함하여 구성될 수 있다. 이때, 진동 소자로는 압전형 진동자(piezoelectric vibrator) 등이 사용될 수 있다.
또한, 상기 주몸체부(110)에는 사용자가 주몸체부(110)를 쥐었을 때 사용자의 손등 부분을 감싸주어 사용자의 손의 파지 상태를 견고하게 해주기 위한 고정용 밴드(114)가 더 설치될 수 있다.
상기 보조 몸체부(120)의 내부에는 상기 모션 센서부(111) 및 상기 제1 햅틱부(112a)(112b)에 구비된 센서로부터 검출된 정보를 상기 메인 단말기(410)로 전송하고, 메인 단말기(410)로부터 사용자와 가상 객체 간의 상호 작용에 따른 피드백을 수신하여 상기 제1 햅틱부(112a)(112b) 및 제2 햅틱부(113)를 작동시키는 제어부(121)가 마련된다. 여기서, 이와 같은 제어부(121)는, 도 4에 도시된 바와 같이,상기 모션 센서부(111) 및 상기 제1 햅틱부(112a)(112b)의 내부에 각각 마련되어 있는 센서로부터 수집된 신호를 처리하여 상기 메인 단말기(410)로 전송하고, 메인 단말기(410)로부터 수신된 정보에 따라 상기 제1, 제2 햅틱부(112a)(112b)(113)를 구동하기 위한 신호를 출력하는 제어기(121a)와; 제어기(121a)로부터 상기 제1, 제2 햅틱부(112a)(112b)(113)를 구동하기 위한 신호를 수신하여 구동하는 드라이버 모듈(121b)과; 상기 제어기(121a)로부터 신호를 전달받아 상기 메인 단말기(410)로 전송하고, 상기 메인 단말기(410)로부터 신호를 수신하여 상기 제어기(121a)로 전달하는 통신 모듈(121c); 및 상기 모션 센서부(111) 및 제1 햅틱부(112a)(112b)의 센서, 제어기(121a), 드라이버 모듈(121b), 통신 모듈(121c)과, 상기 제1 햅틱부 (112a)(112b) 내부에 마련되어 있는 햅틱 액츄에이터(300) 및 상기 제2 햅틱부 (113) 내부에 마련되어 있는 진동 소자에 구동 전원을 각각 공급하는 전원 공급장치(121d)를 포함하여 구성될 수 있다. 여기서, 상기 제어기(121a)로는 마이크로 컨트롤러가 사용될 수 있다. 또한, 전원 공급장치(121d)로는 건전지, 배터리, 충전식 전지 등이 사용될 수 있다.
도 5는 본 발명에 따른 햅틱 컨트롤러의 주몸체부와 보조 몸체부가 분해된 상태를 나타낸 도면이다.
도 5를 참조하면, 햅틱 컨트롤러(100)는 전술한 바와 같이 주몸체부(110)와 보조 몸체부(120)가 분해/조립이 가능하도록 구성된다. 이와 같은 분해/조립을 위해, 도시된 바와 같이, 보조 몸체부(120)에는 결합용 돌기(120t)가 형성되고, 주몸체부(110)의 하단부에는 상기 결합용 돌기(120t)에 대응하는 결합용 홀(110h)이 형성될 수 있다. 그러나 경우에 따라서는 이와 반대로 주몸체부(110)의 하단부에 결합용 돌기가 형성되고, 보조 몸체부에 결합용 홀이 형성될 수도 있다. 여기서, 또한 주몸체부(110)와 보조 몸체부(120)를 분리했을 경우, 주몸체부(110)(또는 보조몸체부(120))를 외부의 게임 컨트롤러 등과 결합하여 사용할 수도 있다.
도 6은 본 발명의 실시예에 따른 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템의 구성을 개략적으로 나타낸 도면이다.
도 6을 참조하면, 본 발명에 따른 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템(600)은 전술한 바와 같은 햅틱 컨트롤러(100)와 메인 단말기(410)를 포함하여 구성된다.
햅틱 컨트롤러(100)는 전술한 바와 같이, 사용자의 손에 의한 파지를 위한 장소를 제공하는 주몸체부(110)와; 주몸체부(110)의 일측에 주몸체부(110)와 분해/조립이 가능하게 결합되며, 주몸체부(110)와 함께 하나의 전체적인 몸체를 이루는 보조 몸체부(120)와; 상기 주몸체부(110)의 상단부에 마련되며, 주몸체부(110)를 쥐고 있는 사용자의 손의 위치와 자세를 검출하는 모션 센서부(111)와; 사용자가 상기 주몸체부(110)를 쥐었을 때 사용자의 각 손가락이 놓이는 위치의 주몸체부(110)의 내부에 마련되며, 사용자의 손가락의 파지력에 따라 발생하는 변위에 대응하는 햅틱 피드백(haptic feedback)을 제공하는 제1 햅틱부(112a)(112b)와; 상기 주몸체부(110)의 내부에 마련되며, 사용자가 주몸체부(110)를 쥔 상태에서 사용자가 외부의 메인 단말기(410)의 화면상의 객체와 상호 작용할 때 사용자의 제스처나 콘텐츠에 따라 그에 상응하는 패턴의 진동을 제공하는 제2 햅틱부(113)와; 상기 보조 몸체부(120)의 내부에 마련되며, 상기 모션 센서부(111) 및 상기 제1 햅틱부 (112a)(112b)에 구비된 센서로부터 검출된 정보를 상기 메인 단말기(410)로 전송하고, 메인 단말기(410)로부터 사용자와 가상 객체 간의 상호 작용에 따른 피드백을 수신하여 상기 제1, 제2 햅틱부(112a)(112b)(113)를 작동시키는 제어부(121)를 포함하여 구성된다. 또한, 상기 주몸체부(110)에는 사용자가 주몸체부(110)를 쥐었을 때 사용자의 손등 부분을 감싸주어 사용자의 손의 파지 상태를 견고하게 해주기 위한 고정용 밴드(114)가 더 설치될 수 있다.
메인 단말기(410)는 햅틱 컨트롤러(100)와 유/무선 통신을 통해 신호를 송수신하며, 상기 햅틱 컨트롤러(100)로부터 햅틱 컨트롤러의 모션 센서부(111) 및 제1 햅틱부(112a)(112b)에 구비된 센서로부터 검출된 정보를 수신하고, 사용자와 가상 객체 간의 상호 작용에 따른 피드백을 상기 햅틱 컨트롤러(100)로 전송한다. 여기서, 이와 같은 메인 단말기(410)는 일반적인 PC 또는 HMD(Head Mounted Device)로 구성될 수 있다.
또한, 상기 햅틱 컨트롤러(100)의 모션 센서부(111)는 상기 주몸체부(110) 및 보조 몸체부(120)로 이루어지는 전체 몸체의 위치 및 자세를 검출하기 위한 센서로서의 IMU(Inertial Measurement Unit)를 포함하여 구성될 수 있다.
또한, 상기 제1 햅틱부(112a)(112b)는 사용자의 손가락의 파지력을 검출하기 위한 압력 센서 또는 사용자의 손가락의 파지력에 따라 발생하는 변위를 검출하기 위한 변위 센서와; 사용자가 주몸체부(110)를 쥐는 압력에 따라 변위를 발생하거나, 발생하는 변위에 따라 사용자의 손가락을 밀어내는 힘(반발력)을 발생하는 햅틱 액츄에이터(300)를 포함하여 구성될 수 있다.
이때, 상기 햅틱 액츄에이터(300)는, 도 3에 도시된 바와 같이, 사용자가 주몸체부(110)를 쥐었을 때, 사용자의 손가락 부분과 접촉되는 접촉부(310)와; 사용자의 손가락의 파지력에 따라 상기 접촉부(310)의 후진 및 전진의 직선 이동력을 제공하는 액츄에이터부(320)와; 상기 접촉부(310)와 액츄에이터부(320)를 내부에 수납하되, 상기 접촉부(310)가 몸체 내외부로 일정 거리 전진 및 후진 가능하도록 수납하는 하우징(330)을 포함하여 구성될 수 있다.
또한, 상기 제2 햅틱부(113)는 사용자가 주몸체부(110)를 쥔 상태에서 외부의 메인 단말기(410)의 화면상의 객체와 상호 작용할 때 사용자의 제스처나 콘텐츠에 상응하여 주몸체부 전체를 진동시키는 진동을 발생하는 진동 소자를 포함하여 구성될 수 있다. 이때, 이와 같은 진동 소자로는 압전형 진동자(piezoelectric vibrator) 등이 사용될 수 있다.
또한, 상기 제어부(121)는, 도 4에 도시된 바와 같이, 상기 모션 센서부 (111) 및 상기 제1 햅틱부(112a)(112b)의 내부에 각각 마련되어 있는 센서(예컨대, 변위 센서 또는 압력 센서)로부터 수집된 신호를 처리하여 상기 메인 단말기(410)로 전송하고, 메인 단말기(410)로부터 수신된 정보에 따라 상기 제1, 제2 햅틱부 (112a)(112b)(113)를 구동하기 위한 신호를 출력하는 제어기(121a)와; 제어기 (121a)로부터 상기 제1, 제2 햅틱부(112a)(112b)(113)를 구동하기 위한 신호를 수신하여 구동하는 드라이버 모듈(121b)과; 상기 제어기(121a)로부터 신호를 전달받아 상기 메인 단말기(410)로 전송하고, 상기 메인 단말기(410)로부터 신호를 수신하여 상기 제어기(121a)로 전달하는 통신 모듈(121c); 및 상기 센서(즉, 모션 센서부(111) 및 제1 햅틱부(112a)(112b)의 내부에 각각 마련되어 있는 센서), 제어기(121a), 드라이버 모듈(121b), 통신 모듈(121c)과, 상기 제1 햅틱부(112a)(112b) 내부에 마련되어 있는 햅틱 액츄에이터(300) 및 상기 제2 햅틱부(113) 내부에 마련되어 있는 진동 소자에 구동 전원을 공급하는 전원 공급장치(121d)를 포함하여 구성될 수 있다.
그러면, 이하에서는 이상과 같은 구성을 가지는 본 발명에 따른 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템을 바탕으로 한 햅틱 피드백 제공 방법에 대해 간략히 설명해 보기로 한다.
도 7은 본 발명의 실시예에 따른 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 방법의 실행 과정을 나타낸 흐름도이다.
도 6 및 도 7을 참조하면, 본 발명에 따른 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 방법은, 전술한 바와 같은 모션 센서부(111), 제1 햅틱부(112a)(112b), 제2 햅틱부(113), 제어부(121)를 구비하는 햅틱 컨트롤러(100); 및 햅틱 컨트롤러 (100)와 유/무선 통신을 통해 신호를 송수신하는 메인 단말기(410)를 포함하는, 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템(600)에 기반한 햅틱 피드백 제공 방법으로서, 먼저 사용자가 손으로 햅틱 컨트롤러(100)의 주몸체부(110)를 쥐었을 경우, 상기 햅틱 컨트롤러(100)의 모션 센서부(111) 및 제1 햅틱부(112a)(112b)에 의해 사용자의 손의 움직임과 손가락의 위치 또는 압력을 감지한다(단계 S701).
그러면, 상기 햅틱 컨트롤러(100)의 제어부(121)는 상기 모션 센서부(111) 및 제1 햅틱부(112a)(112b)에 의해 감지된 정보를 상기 메인 단말기(410)로 전송한다(단계 S702). 이때, 메인 단말기(410)의 화면상에는 도 8의 (A) 및 (B)와 같이 가상 손의 움직임 및 가상 객체의 변화가 디스플레이된다. 도 8의 (A)는 엄지를 포함한 4개 손가락의 움켜쥠(grab)에 따른 가상 손의 움직임 및 가상 객체의 변화를 나타낸 것이고, (B)는 엄지 손가락의 누름(press)에 따른 가상 손의 움직임 및 가상 객체의 변화를 나타낸 것이다.
이에 따라, 메인 단말기(410)는 사용자에게 제공할 압력 또는 변위, 진동을 계산하여 상기 햅틱 컨트롤러의 제어부(121)로 전송한다(단계 S703). 여기서, 메인 단말기(410)에 의해 사용자에게 제공할 압력 또는 변위를 계산함에 있어서, 상기 제1 햅틱부(112a)(112b)를 쥐는 압력을 감지하는 경우에는 사용자가 손가락으로 제1 햅틱부(112a)(112b)를 쥐는 압력을 감지하여 메인 단말기(410)로 전송하면, 메인 단말기(410)는 가상 환경상에서 임의의 대상 물체에 해당 압력이 가해질 경우 발생하는 변위를 계산하고, 상기 제1 햅틱부(112a)(112b)를 쥘 때 발생하는 변위를 감지하는 경우에는 사용자가 손가락으로 제1 햅틱부(112a)(112b)를 쥠에 따라 발생하는 변위를 감지하여 메인 단말기(410)로 전송하면, 메인 단말기(410)는 가상 환경상에서 임의의 대상 물체가 해당 변위만큼 변형될 경우의 반발력(압력)을 계산함으로써 사용자에게 제공할 압력 또는 변위를 계산할 수 있다.
이렇게 하여 메인 단말기(410)가 사용자에게 제공할 압력 또는 변위, 진동을 계산하여 햅틱 컨트롤러(100)의 제어부(121)로 전송하면, 제어부(121)는 상기 메인 단말기(410)로부터의 압력 또는 변위, 진동 정보를 수신하고, 그를 바탕으로 구동 신호를 생성하여 드라이버 모듈(121b)을 통해 상기 제1, 제2 햅틱부(112a)(112b) (113)로 전송한다(단계 S704).
그러면, 제1 햅틱부(112a)(112b)의 햅틱 액츄에이터(300)에 의해 사용자의 손가락을 밀어내는 힘(반발력)을 발생 및/또는 상기 제2 햅틱부(113)의 진동 소자에 의해 진동을 발생한다(단계 S705). 도 8의 (C)는 메인 단말기(410)의 화면상에 디스플레이되는 가상 객체의 속성에 따른 진동 피드백을 나타낸 것이다. 이와 같이 햅틱 액츄에이터(300)에 의한 반발력 및 진동 소자에 의한 진동을 발생함으로써, 사용자는 실제 사물과 상호작용할 때와 유사한 역감, 파지감, 진동 등의 실감을 느낄 수 있게 된다.
이상의 설명과 같이, 본 발명에 따른 햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법은 햅틱 컨트롤러를 파지한 사용자에게 모니터 화면 상의 객체/콘텐츠와의 상호 작용에 따라 객체를 쥐거나 누르는 등의 다양한 강성의 감각을 입체적으로 제공할 수 있을 뿐만 아니라 손가락으로 물체를 쥐거나 잡는 상황이 아닌 물체와의 접촉, 부딪힘과 같은 정보 또는 특정 이벤트의 발생 정보 등을 진동을 통해 전달할 수 있는 장점 있다.
이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 햅틱 컨트롤러 110: 주몸체부
111: 모션 센서부 112a,112b: 제1 햅틱부
113: 제2 햅틱부 114: 고정용 밴드
120: 보조 몸체부 120t: 결합용 돌기
110h: 결합용 홀 121: 제어부
121a: 제어기 121b: 드라이버 모듈
121c: 통신 모듈 121d: 전원 공급장치
300: 햅틱 액츄에이터 310: 접촉부
320: 액츄에이터부 330: 하우징
410: 메인 단말기
600: 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템
111: 모션 센서부 112a,112b: 제1 햅틱부
113: 제2 햅틱부 114: 고정용 밴드
120: 보조 몸체부 120t: 결합용 돌기
110h: 결합용 홀 121: 제어부
121a: 제어기 121b: 드라이버 모듈
121c: 통신 모듈 121d: 전원 공급장치
300: 햅틱 액츄에이터 310: 접촉부
320: 액츄에이터부 330: 하우징
410: 메인 단말기
600: 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템
Claims (18)
- 사용자의 손에 의한 파지를 위한 장소를 제공하는 주몸체부;
상기 주몸체부의 일측에 주몸체부와 분해/조립이 가능하게 결합되며, 주몸체부와 함께 하나의 전체적인 몸체를 이루는 보조 몸체부;
상기 주몸체부의 상단부에 마련되며, 주몸체부를 쥐고 있는 사용자의 손의 위치와 자세를 검출하는 모션 센서부;
사용자가 상기 주몸체부를 쥐었을 때 사용자의 각 손가락이 놓이는 위치의 주몸체부의 내부에 마련되며, 사용자의 손가락의 파지력에 따라 발생하는 변위에 대응하는 햅틱 피드백(haptic feedback)을 제공하는 제1 햅틱부;
상기 주몸체부의 내부에 마련되며, 사용자가 주몸체부를 쥔 상태에서 사용자가 외부의 메인 단말기의 화면상의 객체와 상호 작용할 때 사용자의 제스처나 콘텐츠에 따라 그에 상응하는 패턴의 진동을 제공하는 제2 햅틱부; 및
상기 보조 몸체부의 내부에 마련되며, 상기 모션 센서부 및 상기 제1 햅틱부에 구비된 센서로부터 검출된 정보를 상기 메인 단말기로 전송하고, 메인 단말기로부터 사용자와 가상 객체 간의 상호 작용에 따른 피드백을 수신하여 상기 제1, 제2 햅틱부를 작동시키는 제어부를 포함하고,
상기 메인 단말기는 상기 모션 센서부 및 제1 햅틱부에 의해 감지된 정보를 바탕으로 사용자에게 제공할 압력 또는 변위, 진동을 계산하여 상기 제어부로 전송하며,
상기 메인 단말기는 사용자에게 제공할 압력 또는 변위를 계산함에 있어서, 상기 제1 햅틱부를 쥐는 압력을 감지하는 경우에는 사용자가 손가락으로 제1 햅틱부를 쥐는 압력을 감지하여 메인 단말기로 전송하면, 메인 단말기는 가상 환경상에서 임의의 대상 물체에 해당 압력이 가해질 경우 발생하는 변위를 계산하고, 상기 제1 햅틱부를 쥘 때 발생하는 변위를 감지하는 경우에는 사용자가 손가락으로 제1 햅틱부를 쥠에 따라 발생하는 변위를 감지하여 메인 단말기로 전송하면, 메인 단말기는 가상 환경상에서 임의의 대상 물체가 해당 변위만큼 변형될 경우의 반발력(압력)을 계산함으로써 사용자에게 제공할 압력 또는 변위를 계산하는 햅틱 컨트롤러.
- 제1항에 있어서,
상기 모션 센서부는 상기 주몸체부 및 보조 몸체부로 이루어지는 전체 몸체의 위치 및 자세를 검출하기 위한 센서로서의 IMU(Inertial Measurement Unit)를 포함하여 구성되는 햅틱 컨트롤러.
- 제1항에 있어서,
상기 제1 햅틱부는,
사용자의 손가락의 파지력을 검출하기 위한 압력 센서 또는 사용자의 손가락의 파지력에 따라 발생하는 변위를 검출하기 위한 변위 센서; 및
사용자가 주몸체부를 쥐는 압력에 따라 변위를 발생하거나, 발생하는 변위에 따라 사용자의 손가락을 밀어내는 힘(반발력)을 발생하는 햅틱 액츄에이터를 포함하여 구성되는 햅틱 컨트롤러.
- 제3항에 있어서,
상기 햅틱 액츄에이터는,
사용자가 주몸체부를 쥐었을 때, 사용자의 손가락 부분과 접촉되는 접촉부와;
사용자의 손가락의 파지력에 따라 상기 접촉부의 후진 및 전진의 직선 이동력을 제공하는 액츄에이터부; 및
상기 접촉부와 액츄에이터부를 내부에 수납하되, 상기 접촉부가 몸체 내외부로 일정 거리 전진 및 후진 가능하도록 수납하는 하우징을 포함하여 구성되는 햅틱 컨트롤러.
- 제1항에 있어서,
상기 제2 햅틱부는 사용자가 주몸체부를 쥔 상태에서 외부의 메인 단말기의 화면 상의 객체와 상호 작용할 때 사용자의 제스처나 콘텐츠에 상응하여 주몸체부 전체를 진동시키는 진동을 발생하는 진동 소자를 포함하여 구성되는 햅틱 컨트롤러.
- 제5항에 있어서,
상기 진동 소자는 압전형 진동자(piezoelectric vibrator)를 포함하여 구성되는 햅틱 컨트롤러.
- 제1항에 있어서,
상기 제어부는,
상기 모션 센서부 및 상기 제1 햅틱부의 내부에 각각 마련되어 있는 센서로부터 수집된 신호를 처리하여 상기 메인 단말기로 전송하고, 메인 단말기로부터 수신된 정보에 따라 상기 제1, 제2 햅틱부를 구동하기 위한 신호를 출력하는 제어기와;
상기 제어기로부터 상기 제1, 제2 햅틱부를 구동하기 위한 신호를 수신하여 구동하는 드라이버 모듈과;
상기 제어기로부터 신호를 전달받아 상기 메인 단말기로 전송하고, 상기 메인 단말기로부터 신호를 수신하여 상기 제어기로 전달하는 통신 모듈; 및
상기 센서, 제어기, 드라이버 모듈, 통신 모듈과, 상기 제1 햅틱부 내부에 마련되어 있는 햅틱 액츄에이터 및 상기 제2 햅틱부 내부에 마련되어 있는 진동 소자에 구동 전원을 공급하는 전원 공급장치를 포함하여 구성되는 햅틱 컨트롤러.
- 제1항에 있어서,
상기 주몸체부에는 사용자가 주몸체부를 쥐었을 때 사용자의 손등 부분을 감싸주어 사용자의 손의 파지 상태를 견고하게 해주기 위한 고정용 밴드가 더 설치되는 햅틱 컨트롤러.
- 사용자의 손에 의한 파지를 위한 장소를 제공하는 주몸체부; 상기 주몸체부의 일측에 주몸체부와 분해/조립이 가능하게 결합되며, 주몸체부와 함께 하나의 전체적인 몸체를 이루는 보조 몸체부; 상기 주몸체부의 상단부에 마련되며, 주몸체부를 쥐고 있는 사용자의 손의 위치와 자세를 검출하는 모션 센서부; 사용자가 상기 주몸체부를 쥐었을 때 사용자의 각 손가락이 놓이는 위치의 주몸체부의 내부에 마련되며, 사용자의 손가락의 파지력에 따라 발생하는 변위에 대응하는 햅틱 피드백(haptic feedback)을 제공하는 제1 햅틱부; 상기 주몸체부의 내부에 마련되며, 사용자가 주몸체부를 쥔 상태에서 사용자가 외부의 메인 단말기의 화면 상의 객체와 상호 작용할 때 사용자의 제스처나 콘텐츠에 따라 그에 상응하는 패턴의 진동을 제공하는 제2 햅틱부; 상기 보조 몸체부의 내부에 마련되며, 상기 모션 센서부 및 상기 제1 햅틱부에 구비된 센서로부터 검출된 정보를 상기 메인 단말기로 전송하고, 메인 단말기로부터 사용자와 가상 객체 간의 상호 작용에 따른 피드백을 수신하여 상기 제1, 제2 햅틱부를 작동시키는 제어부를 포함하는 햅틱 컨트롤러; 및
상기 햅틱 컨트롤러와 유/무선 통신을 통해 신호를 송수신하며, 상기 햅틱 컨트롤러로부터 햅틱 컨트롤러의 모션 센서부 및 제1 햅틱부에 구비된 센서로부터 검출된 정보를 수신하고, 사용자와 가상 객체 간의 상호 작용에 따른 피드백을 상기 햅틱 컨트롤러로 전송하는 메인 단말기를 포함하고,
상기 메인 단말기는 상기 모션 센서부 및 제1 햅틱부에 의해 감지된 정보를 바탕으로 사용자에게 제공할 압력 또는 변위, 진동을 계산하여 상기 제어부로 전송하며,
상기 메인 단말기는 사용자에게 제공할 압력 또는 변위를 계산함에 있어서, 상기 제1 햅틱부를 쥐는 압력을 감지하는 경우에는 사용자가 손가락으로 제1 햅틱부를 쥐는 압력을 감지하여 메인 단말기로 전송하면, 메인 단말기는 가상 환경상에서 임의의 대상 물체에 해당 압력이 가해질 경우 발생하는 변위를 계산하고, 상기 제1 햅틱부를 쥘 때 발생하는 변위를 감지하는 경우에는 사용자가 손가락으로 제1 햅틱부를 쥠에 따라 발생하는 변위를 감지하여 메인 단말기로 전송하면, 메인 단말기는 가상 환경상에서 임의의 대상 물체가 해당 변위만큼 변형될 경우의 반발력(압력)을 계산함으로써 사용자에게 제공할 압력 또는 변위를 계산하는 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템.
- 제9항에 있어서,
상기 모션 센서부는 상기 주몸체부 및 보조 몸체부로 이루어지는 전체 몸체의 위치 및 자세를 검출하기 위한 센서로서의 IMU(Inertial Measurement Unit)를 포함하여 구성되는 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템.
- 제9항에 있어서,
상기 제1 햅틱부는,
사용자의 손가락의 파지력을 검출하기 위한 압력 센서 또는 사용자의 손가락의 파지력에 따라 발생하는 변위를 검출하기 위한 변위 센서; 및
사용자가 주몸체부를 쥐는 압력에 따라 변위를 발생하거나, 발생하는 변위에 따라 사용자의 손가락을 밀어내는 힘(반발력)을 발생하는 햅틱 액츄에이터를 포함하여 구성되는 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템.
- 제11항에 있어서,
상기 햅틱 액츄에이터는,
사용자가 주몸체부를 쥐었을 때, 사용자의 손가락 부분과 접촉되는 접촉부와;
사용자의 손가락의 파지력에 따라 상기 접촉부의 후진 및 전진의 직선 이동력을 제공하는 액츄에이터부; 및
상기 접촉부와 액츄에이터부를 내부에 수납하되, 상기 접촉부가 몸체 내외부로 일정 거리 전진 및 후진 가능하도록 수납하는 하우징을 포함하여 구성되는 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템.
- 제9항에 있어서,
상기 제2 햅틱부는 사용자가 주몸체부를 쥔 상태에서 외부의 메인 단말기의 화면 상의 객체와 상호 작용할 때 사용자의 제스처나 콘텐츠에 상응하여 주몸체부 전체를 진동시키는 진동을 발생하는 진동 소자를 포함하여 구성되는 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템.
- 제13항에 있어서,
상기 진동 소자는 압전형 진동자(piezoelectric vibrator)를 포함하여 구성되는 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템.
- 제9항에 있어서,
상기 제어부는,
상기 모션 센서부 및 상기 제1 햅틱부의 내부에 각각 마련되어 있는 센서로부터 수집된 신호를 처리하여 상기 메인 단말기로 전송하고, 메인 단말기로부터 수신된 정보에 따라 상기 제1, 제2 햅틱부를 구동하기 위한 신호를 출력하는 제어기와;
상기 제어기로부터 상기 제1, 제2 햅틱부를 구동하기 위한 신호를 수신하여 구동하는 드라이버 모듈과;
상기 제어기로부터 신호를 전달받아 상기 메인 단말기로 전송하고, 상기 메인 단말기로부터 신호를 수신하여 상기 제어기로 전달하는 통신 모듈; 및
상기 센서, 제어기, 드라이버 모듈, 통신 모듈과, 상기 제1 햅틱부 내부에 마련되어 있는 햅틱 액츄에이터 및 상기 제2 햅틱부 내부에 마련되어 있는 진동 소자에 구동 전원을 공급하는 전원 공급장치를 포함하여 구성되는 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템.
- 제9항에 있어서,
상기 주몸체부에는 사용자가 주몸체부를 쥐었을 때 사용자의 손등 부분을 감싸주어 사용자의 손의 파지 상태를 견고하게 해주기 위한 고정용 밴드가 더 설치되는 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템.
- 모션 센서부, 제1 햅틱부, 제2 햅틱부, 제어부를 구비하는 햅틱 컨트롤러; 및 상기 햅틱 컨트롤러와 유/무선 통신을 통해 신호를 송수신하는 메인 단말기를 포함하는, 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 시스템에 기반한 햅틱 피드백 제공 방법으로서,
a) 상기 햅틱 컨트롤러의 모션 센서부 및 제1 햅틱부에 의해 사용자의 손의 움직임과 손가락의 위치 또는 압력을 감지하는 단계;
b) 상기 모션 센서부 및 제1 햅틱부에 의해 감지된 정보를 상기 햅틱 컨트롤러의 제어부에 의해 상기 메인 단말기로 전송하는 단계;
c) 상기 메인 단말기에 의해 사용자에게 제공할 압력 또는 변위, 진동을 계산하여 상기 햅틱 컨트롤러의 제어부로 전송하는 단계;
d) 상기 제어부에 의해 상기 메인 단말기로부터의 압력 또는 변위, 진동 정보를 수신하고, 그를 바탕으로 구동 신호를 생성하여 드라이버 모듈을 통해 상기 제1, 제2 햅틱부로 전송하는 단계; 및
e) 상기 제1 햅틱부의 햅틱 액츄에이터에 의해 사용자의 손가락을 밀어내는 힘(반발력)을 발생 및/또는 상기 제2 햅틱부의 진동 소자에 의해 진동을 발생하는 단계를 포함하고,
상기 단계 c)에서 상기 메인 단말기에 의해 사용자에게 제공할 압력 또는 변위를 계산함에 있어서, 상기 제1 햅틱부를 쥐는 압력을 감지하는 경우에는 사용자가 손가락으로 제1 햅틱부를 쥐는 압력을 감지하여 메인 단말기로 전송하면, 메인 단말기는 가상 환경상에서 임의의 대상 물체에 해당 압력이 가해질 경우 발생하는 변위를 계산하고, 상기 제1 햅틱부를 쥘 때 발생하는 변위를 감지하는 경우에는 사용자가 손가락으로 제1 햅틱부를 쥠에 따라 발생하는 변위를 감지하여 메인 단말기로 전송하면, 메인 단말기는 가상 환경상에서 임의의 대상 물체가 해당 변위만큼 변형될 경우의 반발력(압력)을 계산함으로써 사용자에게 제공할 압력 또는 변위를 계산하는 햅틱 컨트롤러를 이용한 햅틱 피드백 제공 방법. - 삭제
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190028840A KR102225783B1 (ko) | 2019-03-13 | 2019-03-13 | 햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법 |
| PCT/KR2019/003515 WO2020184769A1 (ko) | 2019-03-13 | 2019-03-26 | 햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190028840A KR102225783B1 (ko) | 2019-03-13 | 2019-03-13 | 햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200110502A KR20200110502A (ko) | 2020-09-24 |
| KR102225783B1 true KR102225783B1 (ko) | 2021-03-15 |
Family
ID=72427437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190028840A KR102225783B1 (ko) | 2019-03-13 | 2019-03-13 | 햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102225783B1 (ko) |
| WO (1) | WO2020184769A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240035137A (ko) | 2022-09-08 | 2024-03-15 | 경희대학교 산학협력단 | 메타버스 인터페이스 장치 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102394769B1 (ko) * | 2020-10-27 | 2022-05-06 | 플레이스비 주식회사 | 햅틱 컨트롤러와 근전도 센서를 이용한 햅틱 피드백 제공 시스템 및 방법 |
| KR102355274B1 (ko) * | 2020-11-20 | 2022-02-07 | 플레이스비 주식회사 | 햅틱 컨트롤러를 이용한 온도 피드백 제공 시스템 및 방법 |
| KR102483285B1 (ko) * | 2021-04-26 | 2022-12-29 | 한국기술교육대학교 산학협력단 | 유압식 정전기력 액츄에이터 기반 굽힘 변형 컨트롤러 |
| KR102611530B1 (ko) * | 2021-12-28 | 2023-12-07 | 플레이스비 주식회사 | 햅틱 컨트롤러 장치 |
| KR102480022B1 (ko) * | 2022-06-07 | 2022-12-22 | 주식회사 씨케이머티리얼즈랩 | 자기유변유체 회전부하 장치 및 그 제어 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130321262A1 (en) | 2012-06-05 | 2013-12-05 | Stuart O. Schecter | Operating system with haptic interface for minimally invasive, hand-held surgical instrument |
| US20180361234A1 (en) * | 2017-06-16 | 2018-12-20 | Valve Corporation | Electronic controller with finger motion sensing |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9643705B2 (en) * | 2014-04-19 | 2017-05-09 | Fox I Steven | Integrated grab bar and navigation controller |
| JP6483364B2 (ja) * | 2014-07-09 | 2019-03-13 | ユニバーシティ・オブ・タンペレＵｎｉｖｅｒｓｉｔｙ ｏｆ Ｔａｍｐｅｒｅ | 触覚型デバイス |
| US9870052B2 (en) * | 2015-06-11 | 2018-01-16 | Oculus Vr, Llc | Hand-held controller with pressure-sensing switch for virtual-reality systems |
| KR20170016695A (ko) | 2015-08-04 | 2017-02-14 | 한국전자통신연구원 | 상호작용 컨트롤러, 상호작용 컨트롤러를 이용한 햅틱 피드백 제공 시스템 및 방법 |
| US10078370B2 (en) * | 2016-11-23 | 2018-09-18 | Immersion Corporation | Devices and methods for modifying haptic effects |
| US20180369691A1 (en) * | 2017-06-22 | 2018-12-27 | Immersion Corporation | Device having a plurality of segments for outputting a rotational haptic effect |
-
2019
- 2019-03-13 KR KR1020190028840A patent/KR102225783B1/ko active IP Right Grant
- 2019-03-26 WO PCT/KR2019/003515 patent/WO2020184769A1/ko active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130321262A1 (en) | 2012-06-05 | 2013-12-05 | Stuart O. Schecter | Operating system with haptic interface for minimally invasive, hand-held surgical instrument |
| US20180361234A1 (en) * | 2017-06-16 | 2018-12-20 | Valve Corporation | Electronic controller with finger motion sensing |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240035137A (ko) | 2022-09-08 | 2024-03-15 | 경희대학교 산학협력단 | 메타버스 인터페이스 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020184769A1 (ko) | 2020-09-17 |
| KR20200110502A (ko) | 2020-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102225783B1 (ko) | 햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법 | |
| US10191549B2 (en) | Multidirectional controller with shear feedback | |
| JP5969626B2 (ja) | 高められたジェスチャ・ベースの対話のためのシステム及び方法 | |
| EP1523725B1 (en) | Hand-held computer interactive device | |
| WO2017033381A1 (ja) | ロボットシステム | |
| JP5725603B2 (ja) | 側面設置型力覚提示インターフェイス | |
| CN104991650A (zh) | 一种手势控制器及一种虚拟现实系统 | |
| US20230142242A1 (en) | Device for Intuitive Dexterous Touch and Feel Interaction in Virtual Worlds | |
| JP2005293512A (ja) | 指装着型データ入力装置 | |
| KR102251308B1 (ko) | 햅틱 컨트롤러 및 이를 이용한 햅틱 피드백 제공 시스템 및 방법 | |
| KR101004259B1 (ko) | 진동촉각장치 및 이를 이용한 진동 방법 | |
| CN112867979B (zh) | 触觉呈现装置和触觉呈现控制方法 | |
| KR102394769B1 (ko) | 햅틱 컨트롤러와 근전도 센서를 이용한 햅틱 피드백 제공 시스템 및 방법 | |
| WO2019224994A1 (ja) | 動き検出装置 | |
| JP7079757B2 (ja) | 指点字システム及び指点字装置 | |
| KR102225769B1 (ko) | 손가락 단위 단방향 움직임을 갖는 햅틱 컨트롤러의 가상 물체 파지 제어 시스템 및 방법 | |
| KR20180019470A (ko) | 인터페이스 디바이스 | |
| WO2006070495A1 (ja) | インタフェース装置 | |
| JPH04291289A (ja) | ３次元物体接触体感方式 | |
| EP2625589A2 (en) | A multidirectional controller with shear feedback | |
| CN117572965A (zh) | 一种用于虚拟现实系统的多信息体感交互手套系统 | |
| CN115644539A (zh) | 一种联合触觉与力反馈的操作感知手套及其人机交互方法 | |
| Leon et al. | An add-on device to perform dexterous grasping tasks with a haptic feedback system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |