KR102547683B1 - 가상현실 콘텐츠와 연계하여 온도를 출력 및 제어하는 햅틱 컨트롤러 및 그 동작 방법 - Google Patents
가상현실 콘텐츠와 연계하여 온도를 출력 및 제어하는 햅틱 컨트롤러 및 그 동작 방법 Download PDFInfo
- Publication number
- KR102547683B1 KR102547683B1 KR1020220173110A KR20220173110A KR102547683B1 KR 102547683 B1 KR102547683 B1 KR 102547683B1 KR 1020220173110 A KR1020220173110 A KR 1020220173110A KR 20220173110 A KR20220173110 A KR 20220173110A KR 102547683 B1 KR102547683 B1 KR 102547683B1
- Authority
- KR
- South Korea
- Prior art keywords
- temperature
- user
- haptic controller
- virtual object
- emg
- Prior art date
Links
- 238000011017 operating method Methods 0.000 title abstract 2
- 238000012545 processing Methods 0.000 claims abstract description 50
- 238000004891 communication Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000012546 transfer Methods 0.000 claims description 60
- 230000033001 locomotion Effects 0.000 claims description 27
- 230000036760 body temperature Effects 0.000 claims description 24
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 9
- 238000004088 simulation Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000035807 sensation Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000001816 cooling Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000005679 Peltier effect Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004519 grease Substances 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003155 kinesthetic effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F25—REFRIGERATION OR COOLING; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS; MANUFACTURE OR STORAGE OF ICE; LIQUEFACTION SOLIDIFICATION OF GASES
- F25B—REFRIGERATION MACHINES, PLANTS OR SYSTEMS; COMBINED HEATING AND REFRIGERATION SYSTEMS; HEAT PUMP SYSTEMS
- F25B21/00—Machines, plants or systems, using electric or magnetic effects
- F25B21/02—Machines, plants or systems, using electric or magnetic effects using Peltier effect; using Nernst-Ettinghausen effect
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
- G01K1/00—Details of thermometers not specially adapted for particular types of thermometer
- G01K1/02—Means for indicating or recording specially adapted for thermometers
- G01K1/024—Means for indicating or recording specially adapted for thermometers for remote indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
- G01K13/00—Thermometers specially adapted for specific purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
- G01K7/00—Measuring temperature based on the use of electric or magnetic elements directly sensitive to heat ; Power supply therefor, e.g. using thermoelectric elements
- G01K7/02—Measuring temperature based on the use of electric or magnetic elements directly sensitive to heat ; Power supply therefor, e.g. using thermoelectric elements using thermoelectric elements, e.g. thermocouples
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10N—ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10N10/00—Thermoelectric devices comprising a junction of dissimilar materials, i.e. devices exhibiting Seebeck or Peltier effects
- H10N10/80—Constructional details
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Signal Processing (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Computer Networks & Wireless Communication (AREA)
- Thermal Sciences (AREA)
- Mechanical Engineering (AREA)
- User Interface Of Digital Computer (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
Abstract
본 발명의 다양한 실시 예에 따르면, 적어도 하나의 외부 장치와 통신하는 통신부; 배터리; 지정된 온도를 출력하는 열전소자; 상기 열전소자와 접촉된 상태에서 냉기 또는 온기를 상기 햅틱 컨트롤러 외부로 전달하도록 구성된 열전도부재; 상기 열전도부재와 접촉된 온도센서; 및 연결된 외부 장치로부터 수신한 데이터에 기반하여 소자제어 온도를 결정하고, 상기 소자제어 온도에 대응하도록 열전소자의 온도를 제어하고, 상기 온도센서를 통하여 상기 열전도부재의 온도를 측정하며, 및 상기 측정한 온도와 상기 소자제어 온도가 동일하도록 상기 열전소자의 온도를 수정하도록 처리하는 처리부;를 포함하는, 가상현실 콘텐츠와 연계하여 온도를 출력 및 제어하는 햅틱 컨트롤러 및 그 동작 방법을 개시한다.
Description
본 발명은 가상현실 콘텐츠와 연계하여 온도를 출력 및 제어하는 햅틱 컨트롤러 및 그 동작 방법에 관한 것으로서, 보다 상세하게는, 가상현실을 통하여 제공하는 콘텐츠에서 온도와 관련된 사용자의 감각 신경을 자극하도록 열전소자를 통하여 온기 또는 냉기를 출력하는 햅틱 컨트롤러 및 그 동작 방법에 관한 것이다.
가상 현실(virtual reality)과 연계하여 가상 현실 환경에서의 몰입감과 실재감을 높이기 위해, 양 손을 이용한 자연스러운 사용자 인터페이스 기술과, 이를 통해 촉감각, 근감각 등과 같은 햅틱 피드백을 제공하기 위한 다양한 기술이 연구 및 개발되고 있다.
더하여, 대한민국 등록특허공보 제10-2355274호와 같이 가상 현실 공간에서 사용자 캐릭터를 통하여 접촉하는 가상 객체의 온도를 사용자에게 전달하기 위한 다양한 기술이 개발되고 있다.
하지만, 이러한 기술은 단순히 가상 현실에 구현된 가상 객체의 특정에 따른 온도를 사용자에게 전달할 뿐, 사용자의 동작에 따라서 다르게 느껴지는 감각을 사용자가 체험하도록 사실적으로 구현하는 데는 여전히 한계가 있다.
본 발명은, 햅틱 컨트롤러를 통하여 가상 현실 시뮬레이션에서 사용자 캐릭터를 통하여 접촉한 가상 객체의 표면 온도를 정확하게 사용자에게 전달하는 것을 목적으로 한다.
본 발명은, 햅틱 컨트롤러를 통하여 가상 현실 시뮬레이션의 사용자 캐릭터의 신체가 가상 객체에 접촉하는 세기에 따라 동일한 온도를 다르게 체감하는 감각을 현실성 있게 구현하는 것을 목적으로 한다.
본 발명의 다양한 실시 예를 통하여 해결하려는 과제들은 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시 예에 따르면, 적어도 하나의 외부 장치와 통신하는 통신부; 배터리; 지정된 온도를 출력하는 열전소자; 상기 열전소자와 접촉된 상태에서 냉기 또는 온기를 상기 햅틱 컨트롤러 외부로 전달하도록 구성된 열전도부재; 상기 열전도부재와 접촉된 온도센서; 및 연결된 외부 장치로부터 수신한 데이터에 기반하여 소자제어 온도를 결정하고, 상기 소자제어 온도에 대응하도록 열전소자의 온도를 제어하고, 상기 온도센서를 통하여 상기 열전도부재의 온도를 측정하며, 및 상기 측정한 온도와 상기 소자제어 온도가 동일하도록 상기 열전소자의 온도를 수정하도록 처리하는 처리부;를 포함하는, 가상현실 콘텐츠와 연계하여 온도를 출력 및 제어하는 햅틱 컨트롤러를 제공할 수 있다.
여기서, 상기 처리부는, 상기 소자제어 온도 및 상기 측정한 온도의 차이값을 획득하고, 상기 차이값이 기 설정된 값 이상인 경우 상기 열전소자의 온도를 수정할 수 있다.
여기서, 상기 처리부는, 상기 측정한 온도가 기 설정된 최대 온도 초과이면 상기 소자제어 온도를 기 설정된 사용자의 체온 이하의 제1 안정 온도로 변경하고, 상기 측정한 온도가 기 설정된 최저 온도 미만이면 상기 소자제어 온도를 상기 사용자의 체온 이상의 제2 안정 온도로 변경할 수 있다.
여기서, 상기 처리부는, 사용자의 신체 적어도 일부에 부착된 적어도 하나의 근전도 센서로부터 근전도 센싱값을 획득하고, 상기 근전도 센싱값에 기반하여 상기 소자제어 온도를 제어할 수 있다.
여기서, 연결된 외부 장치로부터 수신한 데이터는, 상기 외부 장치를 통해서 제공하는 가상 현실 내에서 상기 햅틱 컨트롤러에 대응되는 상기 사용자 캐릭터의 신체가 접촉된 특정 객체의 표면 온도를 포함하고, 상기 처리부는, 상기 특정 객체의 표면 온도에 기반하여 상기 특정 객체에 접촉한 상기 사용자 캐릭터의 신체에 전달되는 온도를 상기 소자제어 온도로 결정할 수 있다.
여기서, 상기 처리부는, 상기 사용자 캐릭터의 신체가 상기 특정 객체에 접촉된 시점에 상기 특정 객체의 표면 온도와 상기 사용자의 체온 사이의 제1 전달 온도를 상기 소자제어 온도로 결정하고, 상기 근전도 센싱값의 증가에 따라서 비례적으로 상기 제1 전달 온도를 상기 특정 객체의 표면 온도 방향으로 변경할 수 있다.
여기서, 상기 처리부는, 상기 접촉된 시점의 상기 근전도 센싱값과 상기 제1 온도, 상기 사용자에 대하여 기 설정된 상기 근전도 센싱값의 최대값과 상기 특정 객체의 표면 온도를 대응시켜 상기 비례적으로 변경된 제2 전달 온도의 값을 결정할 수 있다.
본 발명의 다른 실시 예에 따르면, (a) 연결된 외부 장치로부터 수신한 데이터에 기반하여 소자제어 온도를 결정하고, 상기 소자제어 온도에 대응하도록 열전소자의 온도를 제어하는 단계; (b) 상기 열전소자와 접촉된 상태에서 냉기 또는 온기를 상기 햅틱 컨트롤러 외부로 전달하도록 구성된 열전도부재의 온도를 상기 열전도부재와 접촉된 온도 센서를 통하여 측정하는 단계; 및 (c) 상기 측정한 온도와 상기 소자제어 온도가 동일하도록 상기 열전소자의 온도를 수정하는 단계;를 포함하는, 가상현실 콘텐츠와 연계하여 온도를 출력 및 제어하는 햅틱 컨트롤러의 동작 방법을 제공할 수 있다.
다양한 실시 예에 따르면, 햅틱 컨트롤러는, 열전소자의 온도와 열전달부재를 통하여 사용자에게 전달되는 온도를 비교하고, 열전소자의 출력 온도를 보정함으로써 가상 객체의 표면 온도를 정확하게 사용자에게 전달할 수 있다.
다양한 실시 예에 따르면, 햅틱 컨트롤러는, 근전도 센서의 센싱값이 증가함에 따라서 가상 객체의 표면 온도 방향으로 열전소자의 온도를 제어함으로써, 가상 현실 시뮬레이션의 사용자 캐릭터의 신체가 가상 객체에 접촉하는 세기에 따라 동일한 온도를 다르게 체감하는 감각을 현실성 있게 구현할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 햅틱 컨트롤러의 구성을 나타내는 도면이다.
도 2 및 도 3은 본 발명의 일 실시 예에 따른 햅틱 컨트롤러의 대략적인 외부 구성을 도시하는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 햅틱 컨트롤러에 대응되는 사용자 캐릭터의 손이 가상 객체에 접촉된 상태를 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 햅틱 컨트롤러가 사용자의 손에 가상 객체의 온도를 전달하는 동작의 흐름을 도시한다.
도 2 및 도 3은 본 발명의 일 실시 예에 따른 햅틱 컨트롤러의 대략적인 외부 구성을 도시하는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 햅틱 컨트롤러에 대응되는 사용자 캐릭터의 손이 가상 객체에 접촉된 상태를 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 햅틱 컨트롤러가 사용자의 손에 가상 객체의 온도를 전달하는 동작의 흐름을 도시한다.
이하에서, 첨부된 도면을 참조하여 실시 예들을 상세하게 설명한다. 그러나, 실시 예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 실시 예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시 예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안 된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시 예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시 예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 실시 예의 구성요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성요소 사이에 또 다른 구성요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.
전자장치 및/또는 햅틱 컨트롤러에서 처리되는 '데이터'는 '정보'의 용어로 표현할 수 있다. 여기서, 정보는 데이터를 포함하는 개념으로 사용될 수 있다.
본 발명은, 가상현실 콘텐츠와 연계하여 온도를 출력 및 제어하는 햅틱 컨트롤러에 관한 것으로서, 특히, 온도와 관련된 사용자의 감각 신경을 자극하기 위하여 열전소자를 통하여 온기 또는 냉기를 출력하는 햅틱 컨트롤러에 대하여 설명한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시 예들을 설명하며, 본 명세서에 첨부되는 도면들은 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.
도 1은 본 발명의 일 실시 예에 따른 햅틱 컨트롤러의 구성을 나타내는 도면이다.
도 1을 참조하면, 햅틱 컨트롤러(100)는 처리부(110), 저장부(120), 통신부(130), 및 온도조절부(140)를 포함할 수 있다.
햅틱 컨트롤러(100)의 처리부(110)는 인공지능(artificial intelligence, AI)을 통해 사용자의 터치 입력을 처리할 수 있다. 또한, 햅틱 컨트롤러(100)의 처리부(110)는 인공지능을 통해 인식한 사용자의 터치 입력에 기반하여 햅틱 컨트롤러(100)의 기능 및/또는 주변 기기(예: 조명, 빔프로젝터, 스피커, 및/또는 다른 전자장치)를 제어하는 사물인터넷(Internet of Things, IoT) 기술이 적용될 수도 있다.
처리부(110)는 적어도 하나의 프로그램(앱, 어플, 툴, 플러그인 등, 이하 제어명령 처리 프로그램)을 통하여 터치스크린 패널에 입력되는 터치 입력 및 이에 기반하는 제어명령을 처리할 수 있다. 이때, 제어명령 처리 프로그램은 햅틱 컨트롤러(100)의 저장부(120) 및/또는 햅틱 컨트롤러(100)과 연결된 외부 장치의 저장부에 저장될 수 있다.
처리부(110)는, 제어명령 처리 프로그램을 통하여 햅틱 컨트롤러(100)과 연결된 적어도 하나의 장치(예: 사용자 장치)와 데이터 처리를 공유할 수 있다.
이하, 다양한 실시 예들에서, 햅틱 컨트롤러(100)이 제어명령에 따른 이벤트를 수행하는 것은, 햅틱 컨트롤러(100)의 적어도 하나의 제어명령 처리 관련 프로그램을 통하여 지정된 이벤트들을 수행하는 것으로 이해될 수 있다.
여기서, 제어명령 처리는 햅틱 컨트롤러(100)에 설치된 제어명령 처리 프로그램을 통해서 제공되는 것으로 설명하고 있지만, 이에 한정하지 않고, 기 설치된 다른 프로그램 또는 임시 설치 프로그램을 통하여 제공될 수도 있다.
일 실시 예에 따르면, 제어명령 처리는 햅틱 컨트롤러(100) 외부 장치에서 무료 또는 유로로 제공되는 데이터베이스의 적어도 일부를 통하여 수행될 수 있다.
햅틱 컨트롤러(100)의 동작은 처리부(110)의 데이터 처리 및 장치 제어에 기반하여 수행되며, 처리부(110)는 터치스크린 패널에 대한 터치 입력으로부터 확인되는 제어명령에 기반하여 지정된 기능을 수행할 수 있다.
또한, 처리부(110)는 터치스크린 패널을 통해서 입력되는 터치 입력에 기반하는 제어명령을 처리함에 있어서, 식별된 사용자에 기반하여 지정된 우선순위에 따라 처리할 수 있다.
예를 들면, 처리부(110)는 터치스크린 패널을 통하여 멀티터치(multi-touch) 입력을 확인할 수 있다. 일 실시 예에 따르면, 처리부(110)는 터치스크린 패널을 통하여 획득하는 터치 입력에 기반하여 사용자를 식별하거나, 및/또는 식별된 사용자의 설정 정보에 따라서 터치 입력을 처리할 수 있다.
처리부(110)는 터치스크린 패널을 통해서 입력되는 터치 입력의 사용자를 식별함에 있어서, 적어도 하나의 인공지능 알고리즘에 기반하여 수행할 수 있다. 이때, 처리부(110)는 저장부(120)에 저장된 터치 입력 처리를 위한 학습된 알고리즘을 이용하여 회귀분석을 수행할 수도 있다.
저장부(120)는 햅틱 컨트롤러(100)의 적어도 하나의 구성요소(예: 처리부(110) 또는 통신부(130)에 의해 처리되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 제어명령 처리를 위한 프로그램(또는 소프트웨어), 데이터, 데이터에 기반하여 생성된 다양한 카테고리, 및 이와 관련된 입력 데이터 또는 출력 데이터를 포함할 수 있다.
저장부(120)는 터치 입력의 식별 및 처리를 위한 인공신경망 알고리즘, 블록체인 알고리즘, 딥러닝 알고리즘, 회귀분석 알고리즘, 및 이와 관련된 메커니즘, 연산자, 언어모델, 빅데이터 중 적어도 일부를 포함하는 인공지능 알고리즘을 포함할 수 있다.
예를 들면, 저장부(120)는 터치스크린 패널을 통하여 입력되는 터치 입력에 기반하여 사용자를 식별하기 위한 알고리즘, 및/또는 이와 관련하여 지정된 동작을 수행하기 위한 알고리즘을 포함할 수 있다.
또한, 저장부(120)는 터치 패턴 인식 알고리즘, 터치 사용자 구분 알고리즘 등, 터치스크린 패널을 통해서 입력되는 터치를 처리하기 위한 적어도 하나의 알고리즘을 포함할 수 있다.
저장부(120)는 입출력부에 포함된 각각의 장치들을 통해 수신하는 신호를 통하여 지정된 제어 및 동작을 확인하고 처리하기 위한 데이터를 포함할 수 있다.
저장부(120)를 통하여 설명한 동작들은 처리부(110)에 의하여 처리되며, 관련된 동작들을 처리하기 위한 데이터, 처리 중인 데이터, 처리된 데이터, 기 설정된 데이터 등은 데이터베이스로서 저장부(120)에 저장될 수 있다.
저장부(120)에 저장된 데이터는 햅틱 컨트롤러(100)의 관리자 입력 또는 사용자 장치의 사용자 입력에 기반하여 처리부(110)가 변경, 수정, 삭제, 및/또는 새로운 데이터를 생성할 수 있다.
저장부(120)는, 햅틱 컨트롤러(100)의 장치 설정 정보가 저장될 수 있다. 장치 설정 정보는 햅틱 컨트롤러(100)의 기능 적어도 일부에 대한 설정 정보일 수 있다.
저장부(120)는, 적어도 하나의 사용자에 대한 사용자 정보가 저장될 수 있다. 각각의 사용자 정보는, 사용자 식별정보(예: identification, ID) 및 패스워드(password), 사용자 맞춤형 설정 정보 중 적어도 일부 정보가 저장될 수 있다. 사용자 맞춤형 설정 정보는 햅틱 컨트롤러(100)의 기능 적어도 일부에 대한 설정 정보로서, 사용자 입력에 따라서 설정 및 저장될 수 있다.
저장부(120)에는, 복수의 가상 객체에 대한 가상 객체 정보가 저장될 수 있다. 여기서, 가상 객체 정보는 햅틱 컨트롤러(100)와 연결된 사용자 장치에서 제공하는 가상 현실 시뮬레이션을 통하여 구현되는 가상 객체에 대한 정보일 수 있다.
예를 들면, 저장부(120)에 저장된 가상 객체 정보는 복수의 가상 객체들과 가상 객체들 각각의 속성, 표면 온도에 대한 정보를 포함할 수 있다. 여기서, 가상 객체의 속성은, 가상 객체의 형상, 재질, 표면 질감 중 적어도 일부를 포함할 수 있다. 또한, 가상 객체 정보는, 가상 객체의 온도 및/또는 표면 온도에 대한 정보를 포함할 수 있다. 여기서, 가상 객체 정보의 적어도 일부는, 룩업 테이블 형태로 저장부(120)에 저장될 수 있다.
저장부(120)에 저장된 가상 객체 정보는, 해당 가상 객체들이 구현되는 가상 현실 시뮬레이션의 정보와 동일 또는 유사한 것으로서, 가상 현실 시뮬레이션을 제공하는 사용자 장치 또는 가상 현실 시뮬레이션과 관련된 서버로부터 수신한 것일 수 있다.
저장부(120)는, 휘발성 메모리 또는 비휘발성 메모리를 포함하여 구성될 수 있다.
통신부(130)는 햅틱 컨트롤러(100)와 적어도 하나의 다른 전자장치(예: 사용자 장치, 또는 서버)의 유선 통신 채널의 수립, 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다.
통신부(130)는 처리부(110)에 종속적 또는 독립적으로 운영되고, 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신부(130)는 무선 통신 모듈(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다.
통신부(130)는 블루투스, BLE(Bluetooth Low Energy), WiFi, WiFi direct, IrDA(infrared data association), ZigBee, UWB, RF(Radio Frequency) 같은 근거리 통신 네트워크 및/또는 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자장치와 통신할 수 있다.
통신부(130)를 구성하는 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다.
온도조절부(140) 가상 객체의 표면 온도에 따라 온도 피드백을 제공할 수 있다. 예를 들어, 온도조절부(140)는, 온도 피드백을 제공하기 위한 가열원과 냉각원을 구비할 수 있다.
일 실시 예에 따르면, 가열원 및/또는 냉각원으로서 적어도 하나의 열전소자를 포함할 수 있다. 여기서, 열전소자는, 펠티어(peltier effect) 소자, PTC(positive temperature coefficient) 전류의 흐름에 따라서 냉기 또는 온기를 출력하도록 구성된 소자 적어도 일부를 포함하여 구성될 수 있다.
더하여, 온도조절부(140)는, 열전소자와 접촉된 열전달부재, 및 열전달부재와 접촉된 온도센서를 더 포함하여 구성될 수 있다. 온도조절부(140)는 도 2 및 도 3을 통하여 상세하게 설명한다.
본 발명의 다양한 실시 예들을 설명함에 있어서, 냉기 또는 온기는 사람의 체온을 기준으로 설명할 수 있다. 하지만, 이에 한정하지 않고, 냉기 또는 온기의 기준이 되는 온도는 설정에 따라서 변경될 수 있을 것이다.
더하여, 햅틱 컨트롤러(100)는, 햅틱 컨트롤러의 위치, 자세, 및/또는 움직임과 관련된 데이터를 측정하는 모션센서부를 포함할 수 있다.
모션센서부는, 압력 센서, 속도센서, 중력센서, 적외선센서, 초음파센서 중 적어도 하나를 포함하여 구성되며, 측정된 모션 센싱값을 햅틱 컨트롤러(100)와 연결된 사용자 장치에 송신할 수 있다.
더하여, 햅틱 컨트롤러(100)는, 입출력부를 더 포함하여 구성될 수 있다.
입출력부의 입력부는 적어도 하나의 버튼을 포함할 수 있고, 출력부는 오디오를 입력하는 마이크를 더 포함할 수 있다.
더하여 입출력부는 키보드, 마우스, 터치 패드 등 데이터를 입력하는 입력부(미도시)와 표시부(예: 디스플레이), 스피커, 구동부 등 데이터를 출력하는 출력부(미도시) 중 적어도 일부를 더 포함할 수 있다.
마이크는 외부의 음향신호를 전기적인 음성 데이터로 변환할 수 있다. 변환된 음향신호는 PCM(pulse code modulation) 상태 또는 압축된 형태의 오디오 파형의 형태를 가질 수 있다. 이를 위하여, 마이크는 음향을 디지털로 변환하는 A/D변환부를 포함할 수 있다. 변환된 오디오 데이터는 처리부(110)에서 수행 중인 기능에 따라 다양하게 활용될 수 있다.
표시부는, 터치 패널과 디스플레이 패널이 결합된 터치스크린 패널을 포함하여 구성될 수 있다.
터치스크린 패널은, 손가락, 손바닥 등 사용자의 신체 일부 및/또는 터치를 위한 수단(예: 스타일러스(펜) 등의 전자펜) 등을 통하여 입력되는 터치를 센싱할 수 있다. 이때, 터치스크린 패널은 동시에 둘 이상의 터치를 센싱하는 멀티 터치 기능을 구비할 수 있다.
본 발명의 다양한 실시 예에 따르면, 햅틱 컨트롤러(100) 또는 사용자 장치는 이동통신단말기, 멀티미디어 단말기, 유선 단말기, 고정형 단말기 및 internet protocol(IP) 단말기 등을 비롯한 모든 정보통신기기의 범위의 기능 적어도 일부를 포함할 수 있다.
햅틱 컨트롤러(100)은 제어명령 처리를 위한 장치로서 워크스테이션(workstation), 또는 대용량의 데이터베이스(database) 중 적어도 일부 기능을 포함하거나 또는 통신을 통하여 연결되도록 구성될 수 있다.
햅틱 컨트롤러(100)와 연결되는 사용자 장치는 휴대폰, 피씨(personal computer, PC), 피엠피(portable multimedia player, PMP), 엠아이디(mobile internet device, MID), 스마트폰(smartphone), 태블릿 PC, 패블릿 PC, 노트북(notebook) 등을 예시할 수 있다.
본 발명의 다양한 실시 예에 따르면, 사용자 장치는 햅틱 컨트롤러(100)의 제어명령을 처리하는 장치로 설명할 수 있다. 예를 들면, 사용자 장치는 가상 현실 시뮬레이션을 사용자에게 제공하며, 입력 장치로서 햅틱 컨트롤러(100)와 연결되어 햅틱 컨트롤러(100)를 통해서 입력된 제어명령을 처리할 수 있다.
서버는 네트워크 상에 존재하는 하나의 엔티티로, 웹 서버(web server), 데이터베이스 서버(database server) 및 애플리케이션 서버(application server)의 역할을 수행한다. 바람직한 일 실시 예에 따르면, 서버는 햅틱 컨트롤러(100)의 처리에 기반하여 다양한 컨텐츠를 햅틱 컨트롤러(100) 및/또는 사용자 장치에 제공할 수 있다.
도 2 및 도 3은 본 발명의 일 실시 예에 따른 햅틱 컨트롤러의 대략적인 외부 구성을 도시하는 도면이다.
햅틱 컨트롤러(100)는 햅틱 컨트롤러(100)를 파지한 사용자에게 사용자 장치를 통하여 제공되는 가상의 콘텐츠, 예를 들면, 가살현실 시뮬레이션을 통하여 제공되는 가상현실 공간, 객체, 동작 및 기능 적어도 일부에 대하여 사용자 캐릭터를 통하여 상호 작용함으로써 객체를 쥐거나 누르는 등의 다양한 동작에 대한 감각을 입체적으로 제공할 수 있다.
이때, 보다 다양하고 상세한 경험을 위해서 햅틱 컨트롤러(100)는, 사용자 장치와 통신부(130)를 통하여 연결되며, 사용자 장치를 통해서 제공되는 가상 현실 시뮬레이션의 입력장치로 동작할 수 있다.
햅틱 컨트롤러(100)의 외부는 하우징(201), 버튼부, 및 온도조절부(140)의 열전달부재를 포함하여 구성될 수 있다. 여기서, 도 2 및 도 3에 도시된 바와 같이, 햅틱 컨트롤러(100)는, 사용자가 햅틱 컨트롤러(100)를 파지한 상태에서 사용자의 손바닥에 열전달부재가 접촉되도록 열전달부재의 적어도 일부가 노출된 상태로 구성될 수 있다.
보다 상세하게 설명하면, 햅틱 컨트롤러(100)는 사용자가 햅틱 컨트롤러(100)를 파지한 상태에서 손가락들의 위치에 대응되도록 적어도 하나의 버튼들(211, 212, 213, 214, 215, 및/또는 217)이 구성될 수 있다.
버튼들(212, 213, 214, 215)이 위치한 부분을 전면으로 가정하였을 때, 열전소자에서 발생된 온기 또는 냉기를 외부로 전달하는 열전달부재(221, 321)는 햅틱 컨트롤러(100)의 후면에 구성될 수 있다.
도 2를 참고하면, 열전달부재(221)는, 햅틱 컨트롤러(100)의 외부로 노출된 면을 포함하여 구성되며, 열전달부재(221)가 배치된 햅틱 컨트롤러(100)의 후면의 외형을 따라서 곡면으로 형성될 수 있다.
반면, 도 3을 참고하면, 열전달부재(321)는 일면에 패턴을 가지는 핀, 기둥, 돌기, 및/또는 파이프 형상의 돌출부가 형성될 수 있다. 열전달부재(321)의 돌출부는, 햅틱 컨트롤러(100)의 후면에 형성된 홀들을 통하여 외부에 노출되도록 구성될 수 있다.
햅틱 컨트롤러(100)의 내부에 위치한 열전달부재(221, 321)의 일면은 온도조절부(140)를 구성하는 열전소자의 일면과 접촉될 수 있다.
열전소자와 열전도부재는 열전도 패드 또는 열전도 시트, 열전도 필름, 열전도 그리스 중 적어도 일부 접합부재를 통하여 접촉될 수 있다. 접합부재는 적어도 일면에 접착성을 가지는 접착제가 도포된 상태일 수 있다.
즉, 열전달부재(221, 321)는 열전소자에서 발생된 냉기 또는 온기를 햅틱 컨트롤러(100)의 외부로 전달할 수 있다. 예를 들면, 사용자가 손을 이용하여 햅틱 컨트롤러(100)를 파지한 상태에서 열전도부재는, 열전소자가 방출하는 냉기 또는 온기를 사용자 손의 접촉면에 전달할 수 있다.
더하여, 온도조절부(140)는, 열전도부재의 온도를 측정할 수 있는 적어도 하나의 온도 센서를 더 포함할 수 있다. 온도 센서는, 햅틱 컨트롤러(100)의 내부에서 열전도부재의 일면에 접촉된 상태에서 열전도부재의 온도를 측정하도록 구성될 수 있다.
도 4는 본 발명의 일 실시 예에 따른 햅틱 컨트롤러에 대응되는 사용자 캐릭터의 손이 가상 객체에 접촉된 상태를 도시한 도면이다.
일 실시 예에 따르면, 햅틱 컨트롤러(100)는 사용자의 손의 위치, 자세, 및/또는 움직임 등을 검출할 수 있다. 예를 들어, 햅틱 컨트롤러(100)는 모션센서부를 통해서 획득한 모션 센싱값을 햅틱 컨트롤러와 연동 중인 사용자 장치에 송신할 수 있다.
사용자 장치는 제공하는 가상 현실 시뮬레이션에서 사용자 캐릭터 신체 일부(예: 손)의 위치, 자세, 및/또는 움직임 등을 판단하고 판단 결과를 가상 현실 시뮬레이션에 적용할 수 있다.
즉, 가상 현실 시뮬레이션에서 사용자 캐릭터의 동작은 햅틱 컨트롤러(100)의 모션 센싱값에 기반하여 결정되는 것일 수 있다.
이때, 사용자 장치는, 가상 현실 시뮬레이션에서 사용자 캐릭터 신체 일부에 접촉된 가상 객체에 대한 정보를 햅틱 컨트롤러(100)에 송신하며, 햅틱 컨트롤러(100)는, 수신한 가상 객체의 정보에 기반하여 온도 피드백을 수행할 수 있다.
예를 들면, 햅틱 컨트롤러(100)는 햅틱 컨트롤러(100)는, 사용자 장치로부터 수신한 가상 객체의 정보에 기반하여 가상 객체의 표면 온도를 획득하고, 획득한 온도에 대응하는 냉기 또는 온기를 사용자에게 전달할 수 있다.
보다 상세하기 설명하면, 햅틱 컨트롤러(100)는, 사용자 장치로부터 가상 현실 시뮬레이션에서 사용자 캐릭터 신체 일부(예: 손)가 가상 객체에 접촉한 시점 및 가상 객체에 대한 정보를 수신할 수 있다.
햅틱 컨트롤러(100)는, 수신한 가상 객체에 대한 정보에 기반하여 가상 객체의 표면 온도를 획득하고, 획득한 온도의 냉기 또는 온기를 출력하도록 열전소자를 제어할 수 있다. 열전소자에서 출력된 냉기 또는 온기는 열전달부재를 통해서 열전달부재에 접촉된 사용자의 신체에 전달될 수 있다.
도 2(또는 도 3), 및 도 4를 참고하여 보다 상세하게 설명하면, 햅틱 컨트롤러(100)는, 사용자 장치로부터 가상 현실 시뮬레이션에서 사용자 캐릭터 손(401)에 얼음(411)이 올려진 시점 및 얼음에 대한 정보를 수신할 수 있다.
햅틱 컨트롤러(100)는, 수신한 가상 객체에 대한 정보에 기반하여 가상 객체의 표면 온도를 획득하고, 상기 얼음(411)이 올려진 시점에 상기 획득한 온도를 열전소자를 통해서 출력하도록 열전소자를 제어할 수 있다.
열전소자에서 출력된 냉기는, 열전달부재(221, 또는 321)를 통해서, 열전달부재(221, 또는 321)와 접촉된 사용자의 손바닥에 전달될 수 있다.
상술한 바에 따르면, 햅틱 컨트롤러(100)는, 가상 현실 시뮬레이션에서 사용자 캐릭터의 손(401)에 올려진 얼음(411)에 대응하여 햅틱 컨트롤러(100)를 파지한 사용자의 손에 얼음의 온도가 전달할 수 있다.
더하여, 햅틱 컨트롤러(100)는, 얼음 뿐만 아니라 가상 현실 시뮬레이션에서 사용자 캐릭터 신체 일부와 접촉하는 다양한 가상 객체의 표면 온도를 열전달부재와 접촉된 사용자의 손으로 전달할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 햅틱 컨트롤러가 사용자의 손에 가상 객체의 온도를 전달하는 동작의 흐름을 도시한다.
501(a) 단계에서, 햅틱 컨트롤러(100)는, 연결된 외부 장치로부터 수신한 데이터에 기반하여 소자제어 온도를 결정하고, 상기 소자제어 온도에 대응하도록 열전소자의 온도를 제어할 수 있다.
여기서, 외부 장치는 상술한 바와 같이, 햅틱 컨트롤러(100)와 연결된 상태에서 사용자에게 가상 현실 시뮬레이션을 제공하는 사용자 장치(예: PC)일 수 있다. 더하여, 사용자 장치는 햅틱 컨트롤러(100)로부터 수신하는 모션 센싱값에 기반하여 사용자 캐릭터 신체 일부(예: 손)의 위치, 자세, 및/또는 움직임을 판단 및 구현할 수 있다.
보다 상세하게 설명하면, 햅틱 컨트롤러(100)는, 모션센서부를 통해서 측정한 모션 센싱값을 사용자 장치로 송신할 수 있다. 사용자 장치는 햅틱 컨트롤러(100)로부터 수신한 모션 센싱값에 기반하여 가상 현실에서 사용자 캐릭터의 움직임을 구현할 수 있다.
사용자 장치는, 모션 센싱값에 기반하는 사용자 캐릭터의 움직임에 따라서 가상 현실 시뮬레이션에 구현된 가상 객체에 사용자 캐릭터의 신체 일부(예: 손)가 접촉된 것을 확인할 수 있다.
사용자 장치는, 가상 객체에 사용자 캐릭터의 신체 일부가 접촉한 시점 및 상기 가상 객체 정보를 햅틱 컨트롤러(100)에 송신할 수 있다. 이때, 사용자 장치는 사용자 캐릭터가 접촉된 가상 객체의 표면 온도를 포함하는 가상 객체 정보를 햅틱 컨트롤러(100)에 송신할 수 있다.
햅틱 컨트롤러(100)는, 수신한 가상 객체 정보에 기반하여 가상 객체의 표면 온도를 획득할 수 있다. 햅틱 컨트롤러(100)는, 획득한 가상 객체의 표면 온도에 기반하여 열전소자의 온도를 제어할 수 있다.
일 실시 예에 따르면, 햅틱 컨트롤러(100)는, 가상 객체의 표면 온도를 소자제어 온도로 결정할 수 있다.
다른 실시 예에 따르면, 햅틱 컨트롤러(100)는, 가상 객체의 표면 온도에서 사용자의 체온 방향으로 표면 온도의 최초 보정 비율만큼 이동한 제1 전달 온도를 소자제어 온도로 결정할 수 있다.
보다 상세하게 설명하면, 햅틱 컨트롤러(100)는 설정 정보에 저장된 최초 보정 비율에 기반하여 소자제어 온도를 결정할 수 있다. 예를 들면, 최초 보정 비율이 1%로 설정된 상태에서, 가상 객체의 표면 온도가 섭씨 30도인 경우, 햅틱 컨트롤러(100)는, 섭씨 30도의 1%인 섭씨 0.3도만큼 사용자의 체온 방향으로 변경하여 섭씨 30.3도를 사용자에게 전달하기 위한 제1 전달 온도로서 결정할 수 있다.
반면, 가상 표면 온도가 사용자의 체온 보다 높은, 예를 들면, 섭씨 40도인 경우, 햅틱 컨트롤러(100)는, 섭씨 40도의 1%인 0.4도를 사용자의 체온 방향으로 변경하여, 섭씨 39.6도를 사용자에게 전달하기 위한 제1 전달 온도로서 결정할 수 있다.
햅틱 컨트롤러(100)는, 가상 객체의 표면 온도 또는 제1 전달 온도를 소자제어 온도로 결정하고, 소자제어 온도에 대응되도록 열전소자의 온도를 제어할 수 있다.
여기서, 최초 보정 비율은 1%로 가정하여 설명하고 있지만, 사용자 입력에 따라서 변경될 수 있다.
여기서, 사용자의 체온은 사람의 정상 체온으로서 섭씨 36.5도를 가정할 수 있다. 하지만, 이에 한정하지 않고, 사용자의 체온은 사용자 입력 또는 사용자의 체온 측정에 따라서 변경될 수 있다.
503(b) 단계에서, 햅틱 컨트롤러(100)는, 상기 열전소자와 접촉된 상태에서 냉기 또는 온기를 상기 햅틱 컨트롤러(100) 외부로 전달하도록 구성된 열전도부재의 온도를 상기 열전도부재와 접촉된 온도 센서를 통하여 측정할 수 있다.
즉, 햅틱 컨트롤러(100)는, 501(a) 단계를 통하여 열전소자의 온도를 제어하면, 503(b) 단계를 통하여 열전달부재의 온도를 측정할 수 있다.
505(c) 단계에서, 햅틱 컨트롤러(100)는, 상기 측정한 온도와 상기 소자제어 온도가 동일하도록 상기 열전소자의 온도를 수정할 수 있다.
이를 위하여, 햅틱 컨트롤러(100)는, 측정한 열전달부재의 온도와 소자제어 온도의 차이값을 획득하고, 차이값이 기 설정된 값 이상인 경우, 열전소자의 온도를 수정할 수 있다.
즉, 햅틱 컨트롤러(100)는, 기 설정된 값과 차이값을 비교하고, 차이값이 기 설정된 값 이상이 되는 시점에 열전소자의 온도를 제어할 수 있다.
햅틱 컨트롤러(100)는, 505(c) 단계를 수행하면, 503(b) 단계를 수행하거나, 또는 도 5의 실시 예를 종료할 수 있다.
더하여, 햅틱 컨트롤러(100)는, 측정한 열전달부재의 온도가 기 설정된 최대 온도 초과이면, 상기 소자제어 온도를 상기 사용자의 체온 이하의 제1 안정 온도로 변경할 수 있다. 햅틱 컨트롤러(100)는, 측정한 열전달부재의 온도가 제1 안정 온도와 동일하도록 열전소자의 온도를 제어할 수 있다.
더하여, 햅틱 컨트롤러(100)는, 측정한 열전달부재의 온도가 기 설정된 최소 온도 미만이면, 상기 소자제어 온도를 상기 사용자의 체온 이상의 제2 안정 온도로 변경할 수 있다. 햅틱 컨트롤러(100)는, 측정한 열전달부재의 온도가 제2 안정 온도와 동일하도록 열전소자의 온도를 제어할 수 있다.
햅틱 컨트롤러(100)는, 505(c) 단계에서, 측정한 열전달부재의 온도가 기 설정된 최대 온도 초과 또는 기 설정된 최대 온도 미안인 경우, 소자제어 온도와의 차이값이 기 설정된 값 미만이라도 제1 안정 온도 또는 제2 안정 온도로 열전소자의 온도를 제어할 수 있다.
사람의 신체가 객체에 접촉하는 경우, 예를 들면, 손가락으로 얼음을 누르는 경우, 살짝 접촉만 할 때와 강하게 누를 때 얼음의 동일한 온도라도 얼음에 접촉한 손가락의 표면적이나 압력의 차이에 따라서 사용자가 느끼는 온도에 대한 감각은 차이를 가지게 된다.
햅틱 컨트롤러(100)는, 이를 구현하여 가상 객체에 접촉한 사용자 캐릭터 신체 일부의 변화에 따라서 햅틱 컨트롤러(100)를 파지한 사용자의 손에 온도의 차이를 제공할 수 있다.
이를 위하여, 햅틱 컨트롤러(100)는, 사용자의 신체 일부, 예를 들면, 사용자의 손등, 손목, 팔, 어깨, 등 신체의 적어도 일부에 착용된 근전도 센서(또는 센서 모듈, 이하 근전도 센서)과 통신부(130)를 통하여 연결된 상태일 수 있다.
햅틱 컨트롤러(100)는, 실시간 또는 지정된 시간 간격마다 근전도 센서로부터 근전도 센싱값을 수신할 수 있다. 햅틱 컨트롤러(100)는, 획득한 근전도 센싱값에 기반하여 소자제어 온도를 제어할 수 있다.
보다 상세하게 설명하면, 501(a) 단계를 통하여 설명한 바와 같이, 햅틱 컨트롤러(100)는, 가상 객체의 표면 온도와 사용자의 체온 사이의 제1 전달 온도에 따라서 열전소자의 온도를 제어할 수 있다.
이때, 햅틱 컨트롤러(100)는, 사용자 장치로부터 수신한 사용자 캐릭터 신체 일부가 가상 객체에 접촉한 시점에 제1 전달 온도를 소자제어 온도로서 열전소자의 온도를 제어할 수 있다. 또한, 햅틱 컨트롤러(100)는, 근전도 센서로부터 사용자 캐릭터 신체 일부가 가상 객체에 접촉한 시점의 제1 근전도 센싱값을 수신할 수 있다.
여기서 근전도 센싱값의 증가는, 근전도 센서가 위치한 사용자의 근육이 수축하는 것, 및/또는 사용자가 근육에 힘을 주는 것으로 설명할 수 있다. 즉, 근전도 센싱값의 증가는 가상 객체에 가해지는 압력의 증가로 설명할 수 있다.
햅틱 컨트롤러(100)는, 사용자 캐릭터의 신체 일부가 가상 객체에 접촉한 상태에서, 근전도 센서로부터 수신한 근전도 센싱값이 제1 근전도 센싱값보다 증가하는 경우, 비례적으로 제1 전달 온도를 가상 객체의 표면 온도 방향으로 변경할 수 있다.
보다 상세하게 설명하면, 햅틱 컨트롤러(100)는, 사용자 캐릭터 신체 일부가 가상 객체에 접촉한 시점의 제1 근전도 센싱값을 제1 전달 온도에 대응시키고, 사용자에 대하여 기 설정된 근전도 센싱값의 최대값을 가상 객체의 표면 온도에 대응시킬 수 있다.
예를 들어, 제1 근전도 센싱값이 제1값, 사용자에 대하여 기 설정된 근전도 센싱값의 최대값이 제5값이고, 가상 객체의 표면 온도가 40도, 제1 전달온도가 섭씨 39.6도로 결정된 상태일 수 있다. 이때, 햅틱 컨트롤러(100)는, 제2 근전도 센싱값으로 제3값을 획득하는 경우, 비례적으로 매칭되는 섭씨 39.8도의 온도를 제2 전달 온도로 결정할 수 있다.
반면, 제1 근전도 센싱 값이 제1 값, 사용자에 대하여 기 설정된 근전도 센싱값의 최대값이 제5값이고, 가상 객체의 표면 온도가 섭씨 30도, 제1 전달 온도가 섭씨 30.4도로 결정된 상태일 수 있다. 이때, 햅틱 컨트롤러(100)는, 제2 근전도 센싱값으로 제4값을 획득하는 경우, 비례적으로 매칭되는 섭씨 30.1도의 온도를 제2 전달 온도로 결정할 수 있다.
상술한 바에 따르면, 제1 근전도 센싱값과 기 설정된 센싱값의 최대값을 제1 값과 제5값의 자연수(또는 정수)로, 제2 근전도 센싱값을 자연수(또는 정수)로 설명하고 있지만, 실수 값으로 적용될 수 있다. 이에 따라서, 전자장치(100)는, 비례적으로 매칭되는 실수 값의 온도를 제2 전달 온도로 결정할 수 있을 것이다.
상술한 바에 따라서, 햅틱 컨트롤러(100)는, 제1 근전도 센싱값보다 큰 제2 근전도 센싱값을 근전도 센서로부터 획득한 경우, 제2 근전도 센싱값에 대응하는 제2 전달 온도를 제1 전달 온도와 가상 객체의 표면 온도 사이에서 비례적으로 결정할 수 있다.
햅틱 컨트롤러(100)는 근전도 센싱값, 가상 객체의 표면 온도, 및 기 설정된 사용자의 체온 중 적어도 일부에 기반하여 결정된 적어도 하나의 비례식을 통하여 상술한 바와 같이 제2 전달 온도를 계산할 수 있다.
보다 상세하게 설명하면, 적어도 하나의 비례식은, 제1 근전도 센싱값, 제1 전달 온도, 사용자에 대하여 기 설정된 근전도 센싱값의 최대값, 가상 객체의 표면 온도, 기 설정된 사용자의 체온, 및 제2 근전도 센싱값 중 적어도 일부에 기반하여 제2 전달 온도를 계산하도록 설정된 상태일 수 있다.
제2 전달 온도를 계산하기 위한 적어도 하나의 비례식은 햅틱 컨트롤러(100)의 저장부(120)에 저장된 상태일 수 있다.
햅틱 컨트롤러(100)는, 제2 전달 온도를 소자제어 온도로서 열전소자의 온도를 제어할 수 있다.
상술한 바와 같이, 햅틱 컨트롤러(100)는, 사용자 캐릭터 신체 일부가 가상 객체에 접촉하는 시점의 근전도 센싱값을 기준으로, 사용자 캐릭터 신체 일부가 가상 객체에 접촉한 상태에서 근전도 센싱값이 증가하는 경우, 제1 전달 온도를 가상 객체의 표면 온도 방향으로 수정할 수 있다.
그럼으로써, 햅틱 컨트롤러(100)는, 사용자의 신체가 객체에 더 강하게 접촉함에 따라서 사용자가 가상 객체의 표면 온도를 더욱 강하게 느끼는 사용자의 감각을 구현할 수 있다.
본 발명의 다양한 실시 예에 따르면, 사용자 장치는 햅틱 컨트롤러(100)로부터 수신한 검출 정보에 기반하여 사용자 캐릭터와 가상 객체의 접촉 또는 가상 객체에 대한 사용자 캐릭터의 근접을 검출할 수 있다.
예를 들어, 햅틱 컨트롤러(100)가 수행하는 온도 피드백은 사용자 장치의 가상 현실 시뮬레이션을 통해서 수행되는 사용자 캐릭터와 가상 객체간 위치 관계, 접촉 또는 근접에 따라 달라질 수 있다. 사용자 장치는 온도 피드백을 결정하기 전에 햅틱 컨트롤러(100)로부터 수신하는 모션 센싱값에 기반하여 사용자 캐릭터의 손의 위치와 자세를 검출할 수 있다.
사용자 장치는, 가상 현실 시뮬레이션에서 햅틱 컨트롤러(100)의 모션 센싱값에 따라서 사용자 캐릭터의 손과 가상 객체가 근접하거나, 사용자 캐릭터의 손과 가상 객체가 접촉하는 상황을 검출할 수 있다. 사용자 장치는, 검출한 상황 정보를 햅틱 컨트롤러(100)에 송신할 수 있다.
햅틱 컨트롤러(100)는 검출한 가상 객체 정보를 확인할 수 있다. 햅틱 컨트롤러(100)는 획득한 가상 객체 정보 및 사용자 장치로부터 수신한 상황 정보에 기반하여 온도 레벨 정보를 결정할 수 있다. 예를 들어, 온도 레벨 정보는 초기 온도, 최종 온도, 최종 온도 도달 시간 및 온도 가변 범위를 포함할 수 있다.
예를 들어, 가상 객체가 불이고 설정 온도가 매우 높을 경우, 햅틱 컨트롤러(100)는 온도 레벨 정보의 초기 온도와 최종 온도를 높게 결정할 수 있고, 불의 크기에 따라 최종 온도 도달 시간 및 온도 가변 범위를 결정할 수 있다.
한편, 예를 들어, 햅틱 컨트롤러(100)는 상황 정보에 기반하여 가상 객체와 사용자 캐릭터간 위치 관계를 추가로 고려하여 온도 레벨 정보를 결정할 수 있다. 예를 들어, 햅틱 컨트롤러(100)는, 가상 객체와 사용자 캐릭터의 손이 접촉하는 상황 정보를 사용자 장치로부터 수신한 경우, 최종 온도 도달 시간을 짧게 설정하고 초기 온도를 높게 설정할 수 있다. 반면, 햅틱 컨트롤러(100)는, 가상 객체와 사용자 캐릭터의 손이 근접한 상황 정보를 사용자 장치로부터 수신한 경우, 최종 온도 도달 시간을 길게 설정하고 초기 온도를 낮게 설정할 수 있다.
가상 객체와 사용자 캐릭터가 접촉할 경우에는 햅틱 컨트롤러(100)는 가상 객체의 재질을 추가로 고려하여 최종 온도 도달 시간을 설정할 수 있다. 즉, 재질이 열전도율이 높은 물질이면 최종 온도 도달 시간을 짧게 설정하고, 재질이 열전도율이 낮은 물질이면 최종 온도 도달 시간을 길게 설정할 수 있다.
한편, 예를 들어, 햅틱 컨트롤러(100)는 사용자 조작 정보를 추가로 고려하여 온도 레벨 정보를 결정할 수 있다. 여기서 사용자 조작 정보는 가상 객체와 맞닿는 면적, 부위, 가상객체를 조작하는 손의 자세에 대한 상황 정보를 포함할 수 있다.
사용자 조작 정보를 추가로 고려할 경우, 햅틱 컨트롤러(100)는, 검출 정보에 기초하여 가상 객체와 사용자 캐릭터의 손이 접촉하는 면적, 접촉하는 위치, 및/또는 손의 자세에 대한 상황 정보와 근전도 센싱값을 확인하고, 가상 객체 설정 온도, 접촉하는 면적, 접촉하는 위치 및/또는 손의 자세에 대한 상황 정보와 근전도 센싱값에 기반하여 초기 온도 및 최종 온도 도달 시간을 설정할 수 있다.
예를 들어, 접촉 면적이 작고 접촉 위치가 가상 객체의 단부이고 손가락 하나만 접촉하는 자세의 상황 정보에 대하여, 햅틱 컨트롤러(100)는, 초기 온도를 낮게 설정하고 최종 온도 도달 시간도 길게 설정할 수 있다, 반면, 접촉 면적이 크고 가상 객체 대부분을 움켜지는 자세의 상황 정보에 대하여, 햅틱 컨트롤러(100)는, 초기 온도를 높게 설정하고 최종 온도 도달 시간도 짧게 설정할 수 있다.
여기서, 상황 정보에 포함되는 사용자 캐릭터의 손의 자세는 예를 들어, 햅틱 컨트롤러(100)로부터 수신한 모션 센싱값에 따라서 잡는 동작, 놓는 동작, 비틀기 동작, 쥐기, 들기 등 다양하게 결정할 수 있으며, 손의 자세에 따라 정밀하게 온도 레벨 정보를 설정될 수 있다.
한편, 햅틱 컨트롤러(100)는 사용자 온도 정보를 추가로 고려하여 온도 레벨 정보를 결정할 수 있다. 예를 들어, 사용자 온도 정보는 사용자 피드백에 따라 결정된 최고 허용 온도 및 최저 허용 온도, 생체 신호에 따라 획득한 사용자의 체온 등을 포함할 수 있다.
얘를 들어, 사용자가 햅틱 컨트롤러(100)를 파지한 상태에서, 햅틱 컨트롤러(100)는, 미리 결정된 온도를 단계적으로 높여가며 열전소자를 제어함으로써 열전도부재를 통하여 온기를 사용자에게 전달하고, 사용자의 피드백을 받아 사용자의 최고 허용 온도를 설정할 수 있다.
마찬가지로, 햅틱 컨트롤러(100)는, 미리 설정된 온도를 단계적으로 낮춰가며 열전소자를 제어함으로써 열전도부재를 통하여 냉기를 사용자에게 전달하고, 사용자의 피드백을 받아 사용자의 최저 허용 온도를 설정할 수 있다.
사용자 온도 정보를 추가로 고려할 경우, 햅틱 컨트롤러(100)는, 사용자 피드백에 따라 미리 저장된 최고 허용 온도 및 최저 허용 온도를 확인하고, 상기 최고 허용 온도, 상기 최저 허용 온도, 상기 가상 객체의 속성 정보 및 가상 객체와 사용자간 위치 관계에 기반하여 온도 레벨 정보를 결정할 수 있다.
한편, 햅틱 컨트롤러(100)는 컨텐츠 상황 정보를 추가로 고려하여 온도 레벨 정보를 결정할 수 있다. 여기서, 컨텐츠 상황 정보는 사용자 캐릭터가 위치한 가상 현실 공간의 설정 온도를 포함할 수 있다.
컨텐츠 상황 정보를 추가로 고려할 경우, 햅틱 컨트롤러(100)는, 사용자 장치가 제공하는 가상 현실 시뮬레이션에서 구현된 가상 현실 컨텐츠의 상황 정보를 수신할 수 있다. 햅틱 컨트롤러(100)는, 수신한 상황 정보에서 사용자 캐릭터가 위치한 가상 현실 공간의 설정 온도를 획득하고, 가상 객체의 표면 온도 및 가상현실 공간의 설정 온도에 기반하여 초기 온도, 최종 온도 도달 시간 및 온도 가변 범위를 설정할 수 있다. 예컨대, 사용자 캐릭터가 차가운 외부 공간 또는 따뜻한 집에 위치하고 있을 경우, 햅틱 컨트롤러(100)는 공간의 온도를 반영하여 온도 레벨 정보를 설정할 수 있다.
햅틱 컨트롤러(100)는, 온도 레벨 정보에 기반하여 결정된 온도를 소자제어 온도로서 열전소자의 온도를 제어할 수 있다. 햅틱 컨트롤러(100)는, 온도 레벨 정보에 기반하여 열전소자의 온도를 제어함에 있어서, 도 3의 실시 예 적어도 일부를 수행할 수 있다.
다양한 실시 예에 따르면, 햅틱 컨트롤러(100)는, 가상 객체 설정 온도, 최고 허용 온도 및 최저 허용 온도를 비교할 수 있다. 예를 들어, 최고 허용 온도 및 최저 허용 온도는 사용자의 피드백을 통해 미리 설정된 값일 수 있으며 사용자 별로 다르게 설정될 수 있다.
일 실시 예에서, 햅틱 컨트롤러(100)는, 최고 허용 온도 및 최저 허용 온도 중 가상 객체 설정 온도와 가까운 온도를 한계 온도로 결정할 수 있다. 예를 들어, 가상 객체가 불일 경우에는 최고 허용 온도를 한계 온도로 설정할 수 있고, 가상 객체가 얼음일 경우에는 최저 허용 온도를 한계 온도로 설정할 수 있다.
일 실시 예에서, 햅틱 컨트롤러(100)는, 최고 허용 온도를 한계 온도로 설정할 경우에는 가상 객체 설정 온도 및 한계 온도 중 온도 값이 작은 온도를 최종 온도로 결정할 수 있다. 예를 들어, 가상 객체 설정 온도가 섭씨 40도이고 한계 온도가 섭씨 38도일 경우, 햅틱 컨트롤러(100)는, 섭씨 38도를 최종 온도로 설정할 수 있다.
한편, 햅틱 컨트롤러(100)는, 최저 허용 온도를 한계 온도로 설정할 경우에는 가상 객체 설정 온도 및 한계 온도 중 온도 값이 큰 온도를 최종 온도로 결정할 수 있다. 예를 들어, 가상 객체 설정 온도가 섭씨 10도이고 한계 온도가 섭씨 12도일 경우, 햅틱 컨트롤러(100)는, 섭씨 12도를 최종 온도로 설정할 수 있다.
다양한 실시 예에 따르면, 햅틱 컨트롤러는, 열전소자의 온도와 열전달부재를 통하여 사용자에게 전달되는 온도를 비교하고, 열전소자의 출력 온도를 보정함으로써 가상 객체의 표면 온도를 정확하게 사용자에게 전달할 수 있다.
다양한 실시 예에 따르면, 햅틱 컨트롤러는, 근전도 센서의 센싱값이 증가함에 따라서 가상 객체의 표면 온도 방향으로 열전소자의 온도를 제어함으로써, 가상 현실 시뮬레이션의 사용자 캐릭터의 신체가 가상 객체에 접촉하는 세기에 따라 동일한 온도를 다르게 체감하는 감각을 현실성 있게 구현할 수 있다.
상술한 바와 같이, 햅틱 컨트롤러(100)는, 사용자 장치를 통해서 사용자에게 제공하는 가상 현실 시뮬레이션과 연동하여 가상 객체의 표면 온도를 사용자에게 보다 사실적으로 전달할 수 있다.
본 발명의 상세한 설명에 따르면, 햅틱 컨트롤러(100)이 수행하는 것으로 설명하는 다양한 실시 예의 기능들은 햅틱 컨트롤러(100)의 처리부(110)를 통하여 처리되는 동작으로 햅틱 컨트롤러(100) 및/또는 햅틱 컨트롤러(100)과 연결된 장치의 구성요소들과 유기적으로 연결되어 수행될 수 있다.
이상과 같이 실시 예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다.
예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시 예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다 해야 할 것이다.
100: 햅틱 컨트롤러
110: 처리부
120: 저장부
130: 통신부
140: 온도조절부
110: 처리부
120: 저장부
130: 통신부
140: 온도조절부
Claims (8)
- 가상현실 콘텐츠와 연계하여 온도를 출력 및 제어하는 햅틱 컨트롤러에 있어서,
적어도 하나의 외부 장치 및 적어도 하나의 근전도 센서와 통신하는 통신부;
배터리;
지정된 온도를 출력하는 열전소자;
상기 열전소자와 접촉된 상태에서 냉기 또는 온기를 상기 햅틱 컨트롤러 외부로 전달하도록 구성된 열전도부재;
상기 열전도부재와 접촉된 온도센서; 및
연결된 외부 장치로부터 수신한 데이터에 기반하여 소자제어 온도를 결정하고, 상기 소자제어 온도에 대응하도록 열전소자의 온도를 제어하고, 상기 온도센서를 통하여 상기 열전도부재의 온도를 측정하며, 및 상기 측정한 온도와 상기 소자제어 온도가 동일하도록 상기 열전소자의 온도를 수정하도록 처리하는 처리부;를 포함하되,
상기 처리부는, 사용자의 신체 적어도 일부에 부착된 상기 적어도 하나의 근전도 센서로부터 근전도 센싱값을 획득하고, 상기 근전도 센싱값에 기반하여 상기 소자제어 온도를 제어하며,
상기 처리부는, 상기 외부 장치를 통해서 제공하는 가상 현실 내에서 상기 햅틱 컨트롤러의 모션 센싱값에 대응되는 사용자 캐릭터의 동작에 기반하여 상기 사용자 캐릭터의 신체가 접촉한 특정 가상 객체의 표면 온도, 및 상기 사용자 캐릭터의 신체가 상기 특정 가상 객체에 접촉한 시점을 상기 수신한 데이터로부터 획득하고,
상기 처리부는, 상기 접촉한 시점에 상기 특정 가상 객체의 표면 온도와 상기 사용자의 체온 사이의 제1 전달 온도를 상기 소자제어 온도로 결정하고,
상기 처리부는, 상기 특정 가상 객체의 표면 온도에 기 설정된 최초 보정 비율을 적용한 값을 상기 특정 가상 객체의 표면 온도에서 상기 사용자의 체온 방향으로 이동한 온도를 상기 접촉한 시점의 상기 제1 전달 온도로 결정하며,
상기 처리부는, 상기 접촉한 시점 이후 상기 사용자 캐릭터의 신체가 상기 특정 가상 객체에 접촉한 상태에서 수신하는 상기 근전도 센싱값이 증가하는 경우, 상기 근전도 센싱값의 증가에 따라서 비례적으로 상기 제1 전달 온도를 상기 특정 가상 객체의 표면 온도 방향으로 변경하고,
상기 사용자 캐릭터의 신체가 상기 특정 가상 객체에 접촉한 상태에서 상기 근전도 센싱값의 증가는 상기 사용자 캐릭터의 신체가 상기 특정 가상 객체에 가하는 압력의 증가인, 가상현실 콘텐츠와 연계하여 온도를 출력 및 제어하는 햅틱 컨트롤러.
- 제1항에 있어서,
상기 처리부는,
상기 소자제어 온도 및 상기 측정한 온도의 차이값을 획득하고, 상기 차이값이 기 설정된 값 이상인 경우 상기 열전소자의 온도를 수정하는, 가상현실 콘텐츠와 연계하여 온도를 출력 및 제어하는 햅틱 컨트롤러.
- 제1항에 있어서,
상기 처리부는, 상기 측정한 온도가 기 설정된 최대 온도 초과이면 상기 소자제어 온도를 기 설정된 사용자의 체온 이하의 제1 안정 온도로 변경하고, 상기 측정한 온도가 기 설정된 최저 온도 미만이면 상기 소자제어 온도를 상기 사용자의 체온 이상의 제2 안정 온도로 변경하는, 가상현실 콘텐츠와 연계하여 온도를 출력 및 제어하는 햅틱 컨트롤러.
- 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 처리부는, 상기 접촉한 시점의 상기 근전도 센싱값과 상기 제1 전달 온도, 상기 사용자에 대하여 기 설정된 상기 근전도 센싱값의 최대값과 상기 특정 가상 객체의 표면 온도를 대응시켜 상기 비례적으로 변경된 제2 전달 온도의 값을 결정하는, 가상현실 콘텐츠와 연계하여 온도를 출력 및 제어하는 햅틱 컨트롤러.
- 가상현실 콘텐츠와 연계하여 온도를 출력 및 제어하는 햅틱 컨트롤러의 동작 방법에 있어서,
(a) 연결된 외부 장치로부터 수신한 데이터에 기반하여 소자제어 온도를 결정하고, 상기 소자제어 온도에 대응하도록 열전소자의 온도를 제어하는 단계;
(b) 상기 열전소자와 접촉된 상태에서 냉기 또는 온기를 상기 햅틱 컨트롤러 외부로 전달하도록 구성된 열전도부재의 온도를 상기 열전도부재와 접촉된 온도 센서를 통하여 측정하는 단계; 및
(c) 상기 측정한 온도와 상기 소자제어 온도가 동일하도록 상기 열전소자의 온도를 수정하는 단계;를 포함하되,
상기 햅틱 컨트롤러는, 사용자의 신체 적어도 일부에 부착된 적어도 하나의 근전도 센서로부터 근전도 센싱값을 획득하고, 상기 근전도 센싱값에 기반하여 상기 소자제어 온도를 제어하며,
상기 햅틱 컨트롤러는, 상기 외부 장치를 통해서 제공하는 가상 현실 내에서 상기 햅틱 컨트롤러의 모션 센싱값에 대응되는 사용자 캐릭터의 동작에 기반하여 상기 사용자 캐릭터의 신체가 접촉한 특정 가상 객체의 표면 온도, 및 상기 사용자 캐릭터의 신체가 상기 특정 가상 객체에 접촉한 시점을 상기 수신한 데이터로부터 획득하고,
상기 햅틱 컨트롤러는, 상기 접촉한 시점에 상기 특정 가상 객체의 표면 온도와 상기 사용자의 체온 사이의 제1 전달 온도를 상기 소자제어 온도로 결정하고,
상기 햅틱 컨트롤러는, 상기 특정 가상 객체의 표면 온도에 기 설정된 최초 보정 비율을 적용한 값을 상기 특정 가상 객체의 표면 온도에서 상기 사용자의 체온 방향으로 이동한 온도를 상기 접촉한 시점의 상기 제1 전달 온도로 결정하며,
상기 햅틱 컨트롤러는, 상기 접촉한 시점 이후 상기 사용자 캐릭터의 신체가 상기 특정 가상 객체에 접촉한 상태에서 수신하는 상기 근전도 센싱값이 증가하는 경우, 상기 근전도 센싱값의 증가에 따라서 비례적으로 상기 제1 전달 온도를 상기 특정 가상 객체의 표면 온도 방향으로 변경하고,
상기 사용자 캐릭터의 신체가 상기 특정 가상 객체에 접촉한 상태에서 상기 근전도 센싱값의 증가는 상기 사용자 캐릭터의 신체가 상기 특정 가상 객체에 가하는 압력의 증가인, 가상현실 콘텐츠와 연계하여 온도를 출력 및 제어하는 햅틱 컨트롤러의 동작 방법.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220173110A KR102547683B1 (ko) | 2022-12-12 | 2022-12-12 | 가상현실 콘텐츠와 연계하여 온도를 출력 및 제어하는 햅틱 컨트롤러 및 그 동작 방법 |
| KR1020230071790A KR102547702B1 (ko) | 2022-12-12 | 2023-06-02 | 온도를 컨트롤하는 햅틱 컨트롤러 및 그 동작 방법 |
| KR1020230071789A KR102547695B1 (ko) | 2022-12-12 | 2023-06-02 | 근전도 센싱값에 기초하여 온도를 출력 및 제어하는 햅틱 컨트롤러 및 그 동작 방법 |
| PCT/KR2023/020452 WO2024128765A1 (ko) | 2022-12-12 | 2023-12-12 | 가상현실 콘텐츠와 연계하여 온도를 출력 및 제어하는 햅틱 컨트롤러 및 그 동작 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220173110A KR102547683B1 (ko) | 2022-12-12 | 2022-12-12 | 가상현실 콘텐츠와 연계하여 온도를 출력 및 제어하는 햅틱 컨트롤러 및 그 동작 방법 |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230071790A Division KR102547702B1 (ko) | 2022-12-12 | 2023-06-02 | 온도를 컨트롤하는 햅틱 컨트롤러 및 그 동작 방법 |
| KR1020230071789A Division KR102547695B1 (ko) | 2022-12-12 | 2023-06-02 | 근전도 센싱값에 기초하여 온도를 출력 및 제어하는 햅틱 컨트롤러 및 그 동작 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102547683B1 true KR102547683B1 (ko) | 2023-06-26 |
Family
ID=86947349
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220173110A KR102547683B1 (ko) | 2022-12-12 | 2022-12-12 | 가상현실 콘텐츠와 연계하여 온도를 출력 및 제어하는 햅틱 컨트롤러 및 그 동작 방법 |
| KR1020230071789A KR102547695B1 (ko) | 2022-12-12 | 2023-06-02 | 근전도 센싱값에 기초하여 온도를 출력 및 제어하는 햅틱 컨트롤러 및 그 동작 방법 |
| KR1020230071790A KR102547702B1 (ko) | 2022-12-12 | 2023-06-02 | 온도를 컨트롤하는 햅틱 컨트롤러 및 그 동작 방법 |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230071789A KR102547695B1 (ko) | 2022-12-12 | 2023-06-02 | 근전도 센싱값에 기초하여 온도를 출력 및 제어하는 햅틱 컨트롤러 및 그 동작 방법 |
| KR1020230071790A KR102547702B1 (ko) | 2022-12-12 | 2023-06-02 | 온도를 컨트롤하는 햅틱 컨트롤러 및 그 동작 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (3) | KR102547683B1 (ko) |
| WO (1) | WO2024128765A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024128765A1 (ko) * | 2022-12-12 | 2024-06-20 | 플레이스비 주식회사 | 가상현실 콘텐츠와 연계하여 온도를 출력 및 제어하는 햅틱 컨트롤러 및 그 동작 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180048206A (ko) * | 2016-10-31 | 2018-05-10 | 주식회사 테그웨이 | 피드백 디바이스, 콘텐츠 재생 디바이스, 열적 경험 제공 시스템 및 열적 경험 제공 방법 |
| KR102355274B1 (ko) | 2020-11-20 | 2022-02-07 | 플레이스비 주식회사 | 햅틱 컨트롤러를 이용한 온도 피드백 제공 시스템 및 방법 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3179335B1 (en) * | 2015-12-10 | 2020-03-04 | Nxp B.V. | Haptic feedback controller |
| US20190391647A1 (en) * | 2018-06-25 | 2019-12-26 | Immersion Corporation | Real-world haptic interactions for a virtual reality user |
| KR20220030641A (ko) * | 2020-09-03 | 2022-03-11 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 동작 방법 |
| KR102547683B1 (ko) * | 2022-12-12 | 2023-06-26 | 플레이스비 주식회사 | 가상현실 콘텐츠와 연계하여 온도를 출력 및 제어하는 햅틱 컨트롤러 및 그 동작 방법 |
-
2022
- 2022-12-12 KR KR1020220173110A patent/KR102547683B1/ko active IP Right Grant
-
2023
- 2023-06-02 KR KR1020230071789A patent/KR102547695B1/ko active IP Right Grant
- 2023-06-02 KR KR1020230071790A patent/KR102547702B1/ko active IP Right Grant
- 2023-12-12 WO PCT/KR2023/020452 patent/WO2024128765A1/ko unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180048206A (ko) * | 2016-10-31 | 2018-05-10 | 주식회사 테그웨이 | 피드백 디바이스, 콘텐츠 재생 디바이스, 열적 경험 제공 시스템 및 열적 경험 제공 방법 |
| KR20180048202A (ko) * | 2016-10-31 | 2018-05-10 | 주식회사 테그웨이 | 피드백 디바이스, 콘텐츠 재생 디바이스, 열적 경험 제공 시스템 및 열적 경험 제공 방법 |
| KR102355274B1 (ko) | 2020-11-20 | 2022-02-07 | 플레이스비 주식회사 | 햅틱 컨트롤러를 이용한 온도 피드백 제공 시스템 및 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024128765A1 (ko) * | 2022-12-12 | 2024-06-20 | 플레이스비 주식회사 | 가상현실 콘텐츠와 연계하여 온도를 출력 및 제어하는 햅틱 컨트롤러 및 그 동작 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102547702B1 (ko) | 2023-06-26 |
| KR102547695B1 (ko) | 2023-06-26 |
| WO2024128765A1 (ko) | 2024-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10437411B2 (en) | Reconfigurable clip-on modules for mobile computing devices | |
| KR100793079B1 (ko) | 손목착용형 사용자 명령 입력 장치 및 그 방법 | |
| JP6249316B2 (ja) | 情報処理の方法、装置、およびデバイス | |
| US20150084900A1 (en) | Removable input module | |
| KR20170069936A (ko) | 위치 기반 햅틱 효과를 위한 시스템 및 방법 | |
| KR102547695B1 (ko) | 근전도 센싱값에 기초하여 온도를 출력 및 제어하는 햅틱 컨트롤러 및 그 동작 방법 | |
| US20110234488A1 (en) | Portable engine for entertainment, education, or communication | |
| WO2015024252A1 (zh) | 一种遥控器、信息处理方法及系统 | |
| KR20140003639A (ko) | 사용자 컴퓨터 기기와 데이터를 교환하기 위한 방법 및 장치 | |
| EP3598273A1 (en) | Adaptive haptic effect rendering based on dynamic system identification | |
| WO2018010021A1 (en) | Pointer control in a handheld computer by way of hid commands | |
| US20240028129A1 (en) | Systems for detecting in-air and surface gestures available for use in an artificial-reality environment using sensors at a wrist-wearable device, and methods of use thereof | |
| WO2015153690A1 (en) | Wearable motion sensing computing interface | |
| KR102355274B1 (ko) | 햅틱 컨트롤러를 이용한 온도 피드백 제공 시스템 및 방법 | |
| WO2018039914A1 (zh) | 一种数据复制方法及用户终端 | |
| Bowers et al. | Making it simple: expanding access and lowering barriers to novel interaction devices for virtual and augmented reality | |
| JP2004127173A (ja) | 位置検出入出力装置 | |
| CN104808791A (zh) | 用手指在皮肤表面触动对电子设备进行输入或控制的方法 | |
| KR20110075700A (ko) | Ｚ값을 이용한 터치 인터페이스 장치 및 방법 | |
| US20190041997A1 (en) | Pointer control in a handheld computer by way of hid commands | |
| WO2016165225A1 (zh) | 一种智能鞋垫及其工作方法 | |
| KR101748570B1 (ko) | 웨어러블 데이터 입력장치 | |
| KR20160111880A (ko) | 착용가능한 3차원 입력 장치와 외부 기기와의 연동 방법 | |
| KR20160149403A (ko) | 웨어러블 데이터 입력장치 및 이를 이용한 데이터 입력방법 | |
| KR20150087821A (ko) | 특이 터치 및 정전식 센서를 이용한 디바이스 간 컨텐츠 이동 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |