KR20240072102A - 멀티모달 인터페이스 기반의 햅틱 장치 - Google Patents

멀티모달 인터페이스 기반의 햅틱 장치 Download PDF

Info

Publication number
KR20240072102A
KR20240072102A KR1020240056809A KR20240056809A KR20240072102A KR 20240072102 A KR20240072102 A KR 20240072102A KR 1020240056809 A KR1020240056809 A KR 1020240056809A KR 20240056809 A KR20240056809 A KR 20240056809A KR 20240072102 A KR20240072102 A KR 20240072102A
Authority
KR
South Korea
Prior art keywords
user
haptic device
pressure
foot
haptic
Prior art date
Application number
KR1020240056809A
Other languages
English (en)
Inventor
배영식
Original Assignee
주식회사 후본
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 후본 filed Critical 주식회사 후본
Publication of KR20240072102A publication Critical patent/KR20240072102A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015—By temperature mapping of body part
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B17/00—Insoles for insertion, e.g. footbeds or inlays, for attachment to the shoe after the upper has been joined
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B17/00—Insoles for insertion, e.g. footbeds or inlays, for attachment to the shoe after the upper has been joined
    • A43B17/02—Insoles for insertion, e.g. footbeds or inlays, for attachment to the shoe after the upper has been joined wedge-like or resilient
    • A43B17/03—Insoles for insertion, e.g. footbeds or inlays, for attachment to the shoe after the upper has been joined wedge-like or resilient filled with a gas, e.g. air
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00—Footwear characterised by the shape or the use
    • A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
    • A—HUMAN NECESSITIES
    • A43—FOOTWEAR
    • A43B—CHARACTERISTIC FEATURES OF FOOTWEAR; PARTS OF FOOTWEAR
    • A43B3/00—Footwear characterised by the shape or the use
    • A43B3/34—Footwear characterised by the shape or the use with electrical or electronic arrangements
    • A43B3/44—Footwear characterised by the shape or the use with electrical or electronic arrangements with sensors, e.g. for detecting contact or position
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1036—Measuring load distribution, e.g. podologic studies
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6804—Garments; Clothes
    • A61B5/6806—Gloves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6804—Garments; Clothes
    • A61B5/6807—Footwear
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6825—Hand
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6829—Foot or ankle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Multimedia (AREA)

Abstract

사용자로부터 사용자 입력을 입력 받는 입력 장치, 상기 사용자의 손의 움직임을 센싱하는 9축 센서, 상기 사용자에게 촉각을 전달하는 진동자, 상기 사용자가 상기 파지형 햅틱 장치를 파지했는지 여부를 센싱하는 모션 센서, 상기 파지형 햅틱 장치와 확장현실(XR) 처리 장치 사이에서 데이터를 송수신하는 통신 모듈, 및 상기 파지형 햅틱 장치에 전력을 공급하는 전원을 포함하는 파지형 햅틱 장치와, 상기 사용자로부터 사용자 입력을 입력 받는 입력 장치, 상기 사용자의 발의 움직임을 센싱하는 복수의 9축 센서, 상기 사용자의 발바닥에 촉각을 전달하는 진동자, 상기 깔창형 햅틱 장치에 균일하게 배치되며 상기 사용자의 발바닥에 가해지는 위치별 압력을 센싱하는 복수의 압력 센서, 상기 깔창형 햅틱 장치와 확장현실(XR) 처리 장치 사이에서 데이터를 송수신하는 통신 모듈, 및 상기 깔창형 햅틱 장치에 전력을 공급하는 전원을 포함하는 깔창형 햅틱 장치가 제공된다.

Description

멀티모달 인터페이스 기반의 햅틱 장치{HAPTIC DEVICE BASED ON MULTIMODAL INTERFACES}
본 발명은 멀티모달 인터페이스 기반의 햅틱 장치에 관한 것이고, 더 구체적으로는 장갑 및 깔창 형태의 멀티모달 인터페이스 기반의 햅틱 장치에 관한 것이다.
확장현실(eXtended Reality, XR)은 컴퓨터 기술과 웨어러블 장치에 의해 생성된 모든 가상의 결합을 의미하는 것으로서 가상현실(Virtual Reality, VR), 증강현실(Augmented Reality, AR), 혼합현실(Mixed Reality, MR)을 모두 포함하는 개념이다. 확장현실(XR) 시장의 성장에 따라 인간의 오감에 관한 데이터를 입력하고 재현하는 멀티모달 시스템에 대한 수요가 증가하고 있다. 특히 멀티모달 시스템은 외과수술과 같은 의료 분야, 사격 훈련 또는 파일럿 훈련과 같은 국방 분야, 운전이나 악기 연주와 같은 교육 분야 등 다양한 가상 훈련 시스템에서 효과적으로 활용될 수 있다.
멀티모달 시스템은 인간의 오감을 사용자에게 전달하기 위해 햅틱 장치를 필요로 한다. 햅틱 장치로는 사용자가 손에 쥐고 사용하는 핸드 그립 형태의 장치가 대표적이다. 그러나 핸드 그립 형태의 장치는 사용자가 손으로 컨트롤러를 계속해서 쥐고 있어야 한다는 단점이 있으며, 기능적으로도 사용자의 모션을 감지하는 수준에 그치며, 촉각 재현이 가능한 경우에는 가격이 매우 높다는 문제점이 있다.
한편, 발에 착용할 수 있는 햅틱 장치로서 신발의 형태를 갖는 장치도 있다. 그러나 신발의 형태는 부피가 커 휴대성이 떨어지고, 각각의 사용자의 발의 형태에 맞도록 제작할 수 없으며, 기능적으로도 사용자의 모션을 감지하는 수준에 그친다는 문제점이 있다.
한국 공개특허공보 제10-2020-0129484호(2020.11.18.)
전술한 문제점을 해결하기 위한 본 발명의 목적은 핸드 그립 형태의 햅틱 장치의 사용성 불편함을 해소하고, 사용자 모션 감지 기능과 더불어 촉각과 같은 감각을 재현할 수 있는 햅틱 장치를 제공하는 것이다.
본 발명의 다른 목적은 사용자의 목적에 따라 장치의 장착을 선택할 수 있고, 부피가 작아 휴대 편리성을 가지며 정밀한 사용자 모션 감지 기능 및 상태 확인, 촉각과 같은 감각을 재현할 수 있는 깔창형 햅틱 장치를 제공하는 것이다.
다만, 본 발명의 해결하고자 하는 과제는 이에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
전술한 문제점을 해결하기 위한 본 발명의 일 실시예에 따른 장갑 또는 사용자의 손에 부착되어 확장현실(XR) 콘텐츠에 따라 상기 사용자에게 촉각을 전달하는 파지형 햅틱 장치는 상기 사용자로부터 사용자 입력을 입력 받는 입력 장치, 상기 사용자의 손의 움직임을 센싱하는 9축 센서, 상기 사용자에게 촉각을 전달하는 진동자, 상기 사용자가 상기 파지형 햅틱 장치를 파지했는지 여부를 센싱하는 모션 센서, 상기 파지형 햅틱 장치와 확장현실(XR) 처리 장치 사이에서 데이터를 송수신하는 통신 모듈, 및 상기 파지형 햅틱 장치에 전력을 공급하는 전원을 포함한다.
일 측면에 따르면, 상기 입력 장치는 상기 파지형 햅틱 장치에 부착된 버튼일 수 있다.
일 측면에 따르면, 상기 진동자는 상기 확장현실(XR) 콘텐츠에 따라 진동의 세기, 패턴, 및 주기 중 적어도 하나를 달리하여 상기 사용자에게 촉각을 전달할 수 있다.
일 측면에 따르면, 상기 모션 센서는 상기 사용자의 손가락과 상기 파지형 햅틱 장치 사이의 거리를 측정하는 거리 센서일 수 있다.
일 측면에 따르면, 상기 전원은 배터리 및 신체 에너지 하베스팅 장치 중 적어도 하나를 포함할 수 있다.
일 측면에 따르면, 상기 파지형 햅틱 장치는 상기 사용자가 파지할 수 있도록 원기둥 형태일 수 있다.
일 측면에 따르면, 상기 파지형 햅틱 장치는 상기 사용자에게 온도를 전달하는 온도 재현 장치를 더 포함할 수 있다.
전술한 문제점을 해결하기 위한 본 발명의 일 실시예에 따른 확장현실(XR) 콘텐츠에 따라 사용자에게 촉각을 전달하기 위하여 신발에 삽입하여 착용할 수 있는 깔창형 햅틱 장치는 상기 사용자로부터 사용자 입력을 입력 받는 입력 장치, 상기 사용자의 발의 움직임을 센싱하는 복수의 9축 센서, 상기 사용자의 발바닥에 촉각을 전달하는 진동자, 상기 깔창형 햅틱 장치에 균일하게 배치되며 상기 사용자의 발바닥에 가해지는 위치별 압력을 센싱하는 복수의 압력 센서, 상기 깔창형 햅틱 장치와 확장현실(XR) 처리 장치 사이에서 데이터를 송수신하는 통신 모듈, 및 상기 깔창형 햅틱 장치에 전력을 공급하는 전원을 포함한다.
일 측면에 따르면, 상기 진동자는 복수 개의 진동 소자를 포함하는 진동 매트릭스일 수 있다.
일 측면에 따르면, 깔창형 햅틱 장치는 압력 재현 장치를 더 포함하고, 상기 압력 센서가 센싱한 위치별 압력 정보에 기초하여 상기 압력 재현 장치에 가압용 매개체를 주입할 수 있다.
일 측면에 따르면, 상기 압력 센서가 센싱한 위치별 압력 정보에 기초하여 상기 압력 재현 장치에 가압용 매개체를 주입하는 것은, 상기 사용자의 발바닥 위치별 압력을 센싱하는 단계, 상기 센싱한 위치별 압력 정보를 그래프화하는 단계, 상기 그래프화된 위치별 압력 정보를 이용하여 상기 사용자의 발의 압력 균형도를 계산하는 단계, 사용자의 의료 정보를 이용하여 상기 압력 재현 장치에 가압용 매개체 주입 여부를 판단하는 단계, 및 상기 압력 재현 장치에 가압용 매개체를 주입하는 단계를 포함할 수 있다.
일 측면에 따르면, 상기 센싱한 위치별 압력 정보를 그래프화하는 단계는 상기 센싱한 위치별 압력 정보를 시간에 따라 구분하여 그래프화하는 것일 수 있다.
일 측면에 따르면, 상기 사용자의 발의 압력 균형도를 계산하는 단계는 상기 사용자의 동작 - 상기 동작은 상기 사용자가 서 있는 경우 및 상기 사용자가 걷는 경우를 포함함 - 별로 상기 압력 균형도를 계산하는 것일 수 있다.
일 측면에 따르면, 상기 사용자의 의료 정보는 상기 사용자의 발의 형태, 보복, 및 보행 자세 중 적어도 하나를 포함하고, 상기 위치별 압력 정보를 분석함으로써 획득되는 것일 수 있다.
일 측면에 따르면, 사용자의 의료 정보를 이용하여 상기 압력 재현 장치에 가압용 매개체 주입 여부를 판단하는 단계는 상기 사용자의 균형도를 개선할 수 있도록 상기 가압용 매개체를 주입할 위치 및 주입량을 결정하는 단계를 포함할 수 있다.
일 측면에 따르면, 상기 압력 센서가 센싱한 위치별 압력 정보에 기초하여 상기 압력 재현 장치에 가압용 매개체를 주입하는 것은, 상기 가압용 매개체 주입 후 사용자의 균형도가 개선되었는지 여부를 확인하는 단계를 더 포함할 수 있다.
일 측면에 따르면, 상기 전원은 배터리, 열전 하베스팅 장치, 및 압전 하베스팅 장치 중 적어도 하나를 포함할 수 있다.
일 측면에 따르면, 상기 깔창형 햅틱 장치는 상기 신발 내부의 온도 및 습도를 측정하는 온도/습도 센서를 더 포함할 수 있다.
일 측면에 따르면, 상기 깔창형 햅틱 장치는 상기 사용자에게 온도를 전달하는 온도 재현 장치를 더 포함할 수 있다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
전술한 본 발명의 실시예들에 따른 파지형 햅틱 장치에 따르면, 핸드 그립 형태의 햅틱 장치의 사용성 불편함을 해소하고, 사용자 모션 감지 기능과 더불어 촉각과 같은 감각을 재현할 수 있다.
또한 전술한 본 발명의 실시예들에 따른 깔창형 햅틱 장치에 따르면, 사용자의 목적에 따라 장치의 장착을 선택할 수 있고, 부피가 작아 휴대 편리성을 가지며 정밀한 사용자 모션 감지 기능 및 상태 확인, 촉각과 같은 감각을 재현할 수 있으며, 발바닥 위치별 압력 정보를 이용하여 사용자의 균형을 개선할 수 있다.
도 1은 확장현실 시스템을 위한 NFXM(NUI/NUX Format for XR Machine)을 개략적으로 나타낸 것이다.
도 2a 및 도 2b는 본 발명의 실시예들에 따른 멀티모달 인터페이스 기반의 햅틱 장치가 사용될 수 있는 확장현실 시스템에서의 프로토콜 포맷을 나타낸 것이다.
도 3은 도 2a 및 도 2b의 프로토콜 포맷의 일 예시로서 입력 데이터 포맷을 나타낸 것이다.
도 4는 도 2a 및 도 2b의 프로토콜 포맷의 일 예시로서 출력 데이터 포맷을 나타낸 것이다.
도 5a는 본 발명의 일 실시예에 따른 거치형 햅틱 장치의 구성도이다.
도 5b는 본 발명의 일 실시예에 따른 거치형 햅틱 장치를 장갑에 부착한 예시도이다.
도 6a는 본 발명의 일 실시예에 따른 깔창형 햅틱 장치의 구성도이다.
도 6b는 깔창형 햅틱 장치에서 압력 센서의 예시적인 배치를 나타낸 것이다.
도 7은 본 발명의 일 실시예에 따른 깔창형 햅틱 장치가 압력 정보를 이용하여 사용자의 균형도를 개선하는 방법의 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람이 본 발명을 쉽게 실시할 수 있도록 명확하고 상세하게 설명하기로 한다.
먼저, 본 발명의 실시예들에 따른 멀티모달 인터페이스 기반의 햅틱 장치가 사용될 수 있는 확장현실 시스템에 관하여 설명하기로 한다.
도 1은 확장현실 시스템을 위한 NFXM(NUI/NUX Format for XR Machine)을 개략적으로 나타낸 것이다.
도 1을 참조하면, NFXM은 음성인식, 제스처인식, 공간인식, 파지(Grasp)인식, 모션 트래킹, 헤드 트래킹 등을 통해 사람의 오감에 관한 입력 데이터를 처리하며, 오디오, 비디오, 햅틱 등을 통해 사람의 오감을 재현하여 사용자에게 확장현실(XR)을 제공한다.
예를 들어, NFXM을 통한 사용자의 행동 데이터 수집은 다음과 같은 방법으로 수행될 수 있다. 음성인식은 마이크를 통해 입력된 사용자의 음성 데이터를 음성 분석 알고리즘을 이용하여 처리될 수 있고, 제스처인식은 카메라를 통해 입력된 사용자의 움직임을 제스처 알고리즘을 이용하여 처리될 수 있다. 공간인식은 카메라와 공간 알고리즘을 이용하여 분석 및 처리될 수 있고, 파지인식은 MEMS(Micro Electro Mechanical System)와 파지 알고리즘을 이용하여 분석 및 처리될 수 있다. 모션 트래킹(motion tracking)은 자이로센서를 통해 수집된 데이터를 모션 트래킹 알고리즘을 통해 분석 및 추적될 수 있고, 헤드 트래킹(head tracking)은 자이로센서와 콤파스센서를 통해 사용자 머리의 움직임에 대한 수신 데이터를 헤드 트래킹 알고리즘을 이용하여 처리될 수 있다.
NFXM을 통한 오감의 재현은 다음과 같은 방법으로 수행될 수 있다. 오디오를 통한 청각 재현은 듀얼 스피커를 통해 출력되는 바이노럴 효과(binaural effect)를 통해 입체감, 공간감 있는 사운드를 사용자에게 제공할 수 있으며, 화면을 통한 시각 재현은 HMD(Head Mounted Display)와 확장현실(XR) 기술을 통하여 실제감, 현실감을 느낄 수 있는 화면을 제공할 수 있다. 촉각은 햅틱 디바이스를 통한 물리적인 힘과 바이브레이션, 압력 등의 기술, 그리고 객체 햅틱 알고리즘을 통해 사용자에게 객체의 물성, 형태, 크기 등에 따른 촉감을 제공할 수 있다.
도 2a 및 도 2b는 본 발명의 실시예들에 따른 멀티모달 인터페이스 기반의 햅틱 장치가 사용될 수 있는 확장현실 시스템에서의 프로토콜 포맷을 나타낸 것이다.
도 2a 및 도 2b를 참조하면, 프로토콜 포맷의 형태는 거울 구조(Command MSB - Device Count MSB - Device Count LSB - Command LSB, Device ID - Packet size - Packets - Packet size - Device ID)를 갖는다. 거울 구조는 동일한 데이터를 2번 보내는 것과 같은 형태이며, 컴퓨터와 확장현실(XR) 출력 장치 사이의 비동기 통신 시 전달받은 데이터에서 쌍을 이루는 데이터를 비교하여 자체적으로 데이터 유효성 검사를 수행하여 높은 수준의 데이터 통신 안정성과 신뢰성을 제공한다.
커맨드(Command)는 데이터의 종류에 관한 정보를 나타내는 것으로서 1바이트가 할당된다. I/O는 해당 데이터가 입력 데이터인지 출력 데이터인지 여부를 나타내며, 입력 데이터인 경우 1, 출력 데이터인 경우 0으로 표시될 수 있다. 다음 5개의 비트는 해당 데이터가 시각(Sight), 청각(Hearing), 촉각(Touch), 냄새(Smell), 미각(Taste) 중 어떤 감각에 관한 재현 데이터를 포함하는지를 나타낸다. 리저브(Reserve) 비트는 필요에 따라 사용할 수 있는 예비 비트이다. 예를 들어, 상기 오감 이외에 다른 감각에 관한 재현 데이터를 포함하는 경우 리저브(Reserve) 비트를 사용할 수 있다.
커맨드 플래그(CmdFlag)는 재현 데이터의 재현 여부를 나타내는 정보를 포함한다. 확장현실(XR) 시스템은 적용 분야에 따라 안전이나 보안을 목적으로 확장현실(XR) 출력 장치가 재현 데이터를 수신하고도 재현하지 않도록 제한하거나 특정 사용자만 재현 데이터를 재현할 수 있도록 제한할 필요가 있다. 또는 특정 사용자가 다른 사용자의 출력 장치에서 재현 데이터가 재현되지 않도록 제한할 필요도 있을 수 있다. 예를 들어, 확장현실(XR) 시스템이 외과수술 교육을 위해 사용되는 경우 교수는 학생이 착용한 햅틱 장갑에서 특정 위치를 벗어나는 움직임이 발생하지 않도록 제한할 필요가 있다. 이를 구현하기 위하여 커맨드 플래그(CmdFlag)는 재현 데이터의 재현 여부를 나타내는 정보를 포함하여 확장현실(XR) 출력 장치가 커맨드 플래그(CmdFlag)에 기초하여 재현 데이터를 재현하거나 재현하지 않도록 할 수 있다.
디바이스 카운트(Device Count)는 데이터를 송신한/수신할 장치의 수를 나타내는 것으로서 1바이트가 할당된다.
디바이스 식별자(Device ID)는 데이터가 어떤 확장현실(XR) 출력 장치에게 해당되는 것인지를 나타내는 것으로서 2바이트가 할당된다.
패킷 사이즈(Packet Size)는 패킷의 크기를 나타내는 것으로서 4바이트가 할당된다.
패킷(Packet)은 측정 데이터 또는 재현 데이터, 제한시간을 포함한다. 입력 데이터인 경우(즉, 커맨드(Command)의 I/O 비트가 1인 경우)에는 측정 장치(예컨대, 마이크, 카메라, MEMS 등)가 컴퓨터에 전송하는 측정 데이터를 포함하고, 출력 데이터인 경우(즉, 커맨드(Command)의 I/O 비트가 0인 경우)에는 출력 장치가 재현해야 할 재현 데이터를 포함한다.
도 3 및 도 4의 두 가지 예를 들어 프로토콜 포맷에 관하여 설명하기로 한다.
도 3은 도 2a 및 도 2b의 프로토콜 포맷의 일 예시로서 입력 데이터 포맷을 나타낸 것이다. 도 3을 참조하면, 표시된 입력 데이터 포맷은 시각, 청각, 촉각에 관한 측정 데이터를 포함하는 입력 데이터이고(0x90), 2개의 장치로부터 전송된 것이며(0x02), 9축 센서(0x7001)로부터 3가지의 측정 데이터 및 시간 정보가 전송되었고, 햅틱 장갑(0x1001)으로부터 1가지의 측정 데이터 및 시간 정보가 전송되었음을 나타낸다.
도 4는 도 2a 및 도 2b의 프로토콜 포맷의 일 예시로서 출력 데이터 포맷을 나타낸 것이다. 도 4를 참조하면, 표시된 출력 데이터 포맷은 시각, 청각, 촉각에 관한 재현 데이터를 포함하는 출력 데이터이고(0x70), 3개의 장치에 전송되는 것이며(0x03), 디스플레이(0x4001)가 시각에 관한 재현 데이터를 제한시간 내에 재현하고, 헤드폰(0x2001)이 청각에 관한 재현 데이터를 제한시간 내에 재현하고, 햅틱 장갑(0x1001)이 촉각에 관한 재현 데이터를 제한시간 내에 재현하도록 하는 데이터임을 나타낸다.
도 5a는 본 발명의 일 실시예에 따른 거치형 햅틱 장치의 구성도이고, 도 5b는 본 발명의 일 실시예에 따른 거치형 햅틱 장치를 장갑에 부착한 예시도이다.
도 5a를 참조하면, 본 발명의 일 실시예에 따른 파지형 햅틱 장치(500)는 입력 장치(501), 9축 센서(503), 진동자(505), 모션 센서(507), 온도 재현 장치(509), 통신 모듈(511), 및 전원(513)을 포함한다.
입력 장치(501)는 사용자로부터 사용자 입력을 입력 받는다. 예를 들어, 입력 장치(501)는 파지형 햅틱 장치(500)의 상단에 부착된 버튼일 수 있다. 사용자는 버튼을 누름으로써 현재의 확장현실(XR) 콘텐츠 내용에 따른 적절한 입력을 할 수 있다.
9축 센서(503)는 사용자의 손의 움직임을 센싱한다. 예를 들어, 9축 센서(503)는 사용자의 손의 회전각도 및 위치 변화를 센싱할 수 있다.
진동자(505)는 사용자에게 촉각을 전달한다. 진동자(505)는 물리적 또는 전기적인 방법으로 촉각을 전달하는 장치로서, 예를 들어, 진동 모터, 초음파를 이용한 진동 소자, 또는 전기신호를 이용한 진동 소자일 수 있다. 진동자(505)는 확장현실(XR) 콘텐츠의 내용에 따라 진동의 세기, 패턴, 및/또는 주기를 달리하여 사용자에게 촉각을 전달할 수 있다.
모션 센서(507)는 사용자가 파지형 햅틱 장치(500)를 파지했는지 여부를 센싱한다. 모션 센서(507)는 사용자의 손가락과 파지형 햅틱 장치(500) 사이의 거리에 따라 파지 여부를 센싱하는 거리 센서일 수 있다. 예를 들어, 확장현실(XR)을 이용하여 테니스 강습 또는 요리 강습과 같은 가상훈련을 하는 경우 사용자가 파지형 햅틱 장치(500)를 파지하면 모션 센서(507)가 이를 센싱하여 사용자가 가상환경에서 테니스 라켓을 파지하거나 요리 도구를 파지한 것으로 인식할 수 있다.
온도 재현 장치(509)는 사용자에게 온도를 전달한다. 온도 재현 장치(509)는 발열반응을 통해 파지형 햅틱 장치(500)를 가열할 수 있고, 흡열반응을 통해 파지형 햅틱 장치(500)를 냉각할 수 있다. 온도 재현 장치(509)는 확장현실(XR) 콘텐츠에 따라 필요한 온도를 재현할 수 있다. 예를 들어, 온도 재현 장치(509)는 열전 효과(thermoelectric effect)를 갖는 소자일 수 있고, 확장현실(XR) 처리 장치의 결정에 따른 온도를 발생시킬 수 있는 임의의 소자일 수 있다.
통신 모듈(511)은 파지형 햅틱 장치(500)와 확장현실(XR) 처리 장치 사이에서 데이터를 송수신한다. 통신 모듈(511)은 무선 통신 방식을 이용하여 입력 장치(501)로부터의 사용자 입력, 9축 센서(503)로부터의 사용자의 손의 움직임, 모션 센서(507)로부터의 파지 여부 등을 확장현실(XR) 처리 장치에 전송할 수 있으며, 확장현실(XR) 처리 장치로부터 확장현실(XR) 콘텐츠에 따른 촉각 데이터를 수신할 수 있다. 확장현실(XR) 처리 장치는 파지형 햅틱 장치(500)로부터 수신한 사용자 입력, 손의 움직임, 파지 여부에 따라 확장현실(XR) 콘텐츠를 처리하여 사용자에게 전달할 촉각 데이터를 생성하고 파지형 햅틱 장치(500)에 전송할 수 있다.
전원(513)은 파지형 햅틱 장치(500)에 전력을 공급한다. 전원(513)은 배터리 및 신체 에너지 하베스팅 장치 중 적어도 하나일 수 있다. 신체 에너지 하베스팅 장치는 사용자의 움직임을 통해 발생하는 온도차 또는 위치차를 이용하여 에너지를 생성하는 장치로서, 신체 에너지 하베스팅 장치에 의해 배터리가 없는 경우에도 파지형 햅틱 장치(500)가 작동할 수 있다.
도 5b를 참조하면, 파지형 햅틱 장치(500)는 원기둥 형태로 제작되어 장갑에 부착된 형태로 사용될 수 있다. 사용자는 파지형 햅틱 장치(500)가 부착된 장갑을 착용하고 확장현실(XR) 콘텐츠에 따라 입력 장치(501)를 통해 사용자 입력을 입력하거나 파지형 햅틱 장치(500)가 전달하는 촉각을 느낄 수 있다. 종래의 핸드 그립 형태의 장치는 사용자가 손으로 컨트롤러를 계속해서 쥐고 있어야 한다는 문제점이 있으나, 본 발명의 일 실시예에 따른 파지형 햅틱 장치(500)를 장갑에 부착하여 사용함으로써 사용자가 항상 파지형 햅틱 장치(500)를 움켜쥘 필요 없이 필요한 순간에만 파지하면 되므로 사용자가 불편함을 느끼지 않고 사용자 경험(UX)이 향상될 수 있다.
한편, 도 5a에서 모션 센서(507)가 파지형 햅틱 장치(500)에 포함된 것과 달리, 도 5b의 장갑에 복수의 센서를 부착하여 사용자의 손 상태(예: 손가락을 모두 편 상태, 손가락을 굽혀 파지형 햅틱 장치(500)를 파지한 상태 등)를 센싱하도록 할 수 있다.
도 6a는 본 발명의 일 실시예에 따른 깔창형 햅틱 장치의 구성도이고, 도 6b는 깔창형 햅틱 장치에서 압력 센서의 예시적인 배치를 나타낸 것이다.
도 6a를 참조하면, 본 발명의 일 실시예에 따른 깔창형 햅틱 장치(600)는 입력 장치(601), 9축 센서(603), 진동자(605), 압력 센서(607), 온도/습도 센서(609), 온도 재현 장치(611), 압력 재현 장치(613), 통신 모듈(615), 및 전원(617)을 포함한다. 깔창형 햅틱 장치(600)에서 파지형 햅틱 장치(500)의 대응되는 구성들과 동일하게 동작하는 구성들에 대해서는 설명을 생략하기로 한다.
9축 센서(603)는 사용자의 발의 움직임을 센싱한다. 예를 들어, 깔창형 햅틱 장치(600)는 깔창의 앞 부분과 뒤 부분에 각각 위치하는 2개의 9축 센서(603)를 포함할 수 있으며, 이를 이용하여 사용자의 발의 위치, 움직이는 방향을 센싱할 수 있다.
진동자(605)는 사용자의 발바닥에 촉각을 전달한다. 진동자(605)는 물리적 또는 전기적인 방법으로 촉각을 전달하는 장치로서, 예를 들어, 진동 모터, 초음파를 이용한 진동 소자, 또는 전기신호를 이용한 진동 소자일 수 있다. 진동자(605)는 복수 개의 진동 소자를 포함하는 진동 매트릭스일 수 있다. 진동자(605)는 확장현실(XR) 콘텐츠의 내용에 따라 진동의 세기, 패턴, 위치, 및/또는 주기를 달리하여 사용자에게 촉각을 전달할 수 있다. 사용자는 진동자(605)로부터 전달되는 촉각에 의해 지면의 재질, 흔들림, 기울기 등을 체험할 수 있다.
압력 센서(607)는 사용자의 발바닥에 가해지는 압력을 센싱한다. 깔창형 햅틱 장치(600)는, 도 6b와 같이, 깔창에 전체적으로 배치된 복수 개의 압력 센서(607)를 포함할 수 있다. 압력 센서(607)가 센싱한 압력 및 9축 센서(603)가 센싱한 발의 움직임을 이용하여 사용자의 발이 움직이는 방향, 발의 위치를 감지할 수 있다. 깔창형 햅틱 장치(600)는 압력 센서(607)가 측정한 위치별 압력을 이용하여 사용자의 발 형태에 적합하도록 압력 재현 장치(613)에 가압용 매개체를 주입하여 사용자의 편안한 보행, 피로도 감소 및 자세 교정 등의 효과를 제공할 수 있다. 사용자의 균형도 개선에 관하여는 도 7을 참조하여 후술하기로 한다.
온도/습도 센서(609)는 신발 내부의 온도와 습도를 측정한다. 깔창형 햅틱 장치(600)는 온도/습도 센서(609)가 측정한 온도와 습도 정보를 이용하여 사용자의 발의 상태를 확인할 수 있고, 온도 또는 습도가 높은 경우 사용자에게 신발을 벗고 휴식을 취하도록 경고 신호를 보낼 수 있다.
온도 재현 장치(611)는 사용자에게 온도를 전달한다. 온도 재현 장치(611)는 발열반응을 통해 깔창형 햅틱 장치(600)를 가열할 수 있고, 흡열반응을 통해 깔창형 햅틱 장치(600)를 냉각할 수 있다. 온도 재현 장치(611)는 확장현실(XR) 콘텐츠에 따라 필요한 온도를 재현할 수 있고, 온도/습도 센서(609)가 측정한 신발 내부의 온도에 따라 필요한 온도를 재현할 수도 있다. 예를 들어, 온도 재현 장치(509)는 열전 효과(thermoelectric effect)를 갖는 소자일 수 있고, 확장현실(XR) 처리 장치의 결정에 따른 온도를 발생시킬 수 있는 임의의 소자일 수 있다.
압력 재현 장치(613)는 가압용 매개체가 주입됨으로써 사용자의 발바닥에 압력을 전달한다. 가압용 매개체는 압력 재현 장치(613)에 주입되었을 때 사용자의 발바닥에 압력을 가할 수 있는 물질로서 기체(예: 공기) 또는 액체(예: 물, 기름)일 수 있다. 압력 재현 장치(613)는 일체형으로 구성될 수도 있고, 매트릭스 형태로 구성되어 사용자의 압력 균형도에 따라 가압용 매개체를 주입할 위치를 결정하도록 할 수도 있다.
전원(617)은 깔창형 햅틱 장치(600)에 전원을 공급한다. 전원(617)은 배터리, 열전 하베스팅 장치, 및 압전 하베스팅 장치 중 적어도 하나일 수 있다. 열전 하베스팅 장치는 신발 내에서 발생하는 온도에 의해 에너지를 생성하는 장치이고, 압전 하베스팅 장치는 사용자의 발에 의해 가해지는 압력에 의해 에너지를 생성하는 장치이다. 열전 하베스팅 장치와 압전 하베스팅 장치에 의해 배터리가 없는 경우에도 깔창형 햅틱 장치(600)가 작동할 수 있다.
도 7은 본 발명의 일 실시예에 따른 깔창형 햅틱 장치가 압력 정보를 이용하여 사용자의 균형도를 개선하는 방법의 순서도이다.
도 7을 참조하면, 단계 S701에서는 사용자의 발바닥 위치별 압력을 센싱한다. 상술한 바와 같이, 깔창형 햅틱 장치(600)는 깔창에 전체적으로 배치된 복수 개의 압력 센서(607)를 이용하여 사용자의 발바닥 위치별 압력을 센싱할 수 있다.
단계 S703에서는 센싱한 위치별 압력 정보를 그래프화한다. 여기서 그래프는 3차원 이미지의 형태일 수 있다. 이때 위치별 압력 정보를 시간에 따라 구분하여 그래프화 함으로써 사용자가 서 있을 때 또는 걸을 때 발바닥의 압력 변화를 그래프로 확인할 수 있다.
단계 S705에서는 단계 S703의 그래프를 이용하여 사용자의 발의 압력 균형도를 계산한다. 압력 균형도는 사용자의 발의 위치별로 적합한 압력이 가해지고 있는지를 나타내는 것으로서, 압력 균형도를 이용하여 사용자가 서 있는 자세가 올바른지 또는 사용자의 걸음걸이가 균형을 유지하는지를 확인할 수 있다. 이때 단계 S703에서 압력 정보를 시간에 따라 구분하여 그래프화 하였다면 사용자의 동작(예: 서 있는 경우, 걷는 경우 등)에 따라 사용자가 균형을 유지하고 있는지를 확인할 수 있다.
단계 S707에서는 사용자의 의료 정보를 이용하여 압력 재현 장치(613)에 가압용 매개체 주입 여부를 판단한다. 여기서 사용자의 의료 정보는 사용자의 발의 형태(예: 정상발, 평발, 오목발 등), 보폭, 보행 자세 등일 수 있다. 사용자의 의료 정보는 단계 S701에서 센싱한 위치별 압력 정보를 분석함으로써 획득될 수 있다. 단계 S707에서, 가압용 매개체 주입이 필요하다고 판단되는 경우 사용자의 균형도를 개선할 수 있도록 가압용 매개체를 주입할 위치 및 주입량을 함께 결정할 수 있다.
단계 S709에서는 단계 S707에서의 판단 결과에 따라 압력 재현 장치(613)에 가압용 매개체를 주입하고, 단계 S711에서는 가압용 매개체 주입 후 사용자의 균형도가 개선되었는지 여부를 확인한다. 가압용 매개체 주입 후에도 균형도가 개선되지 않은 경우 단계 S701로 돌아가 가압용 매개체가 주입된 상태에서 발바닥 위치별 압력을 다시 센싱하여 이하의 단계를 반복할 수 있다.
이상에서 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
500: 파지형 햅틱 장치
600: 깔창형 햅틱 장치
501, 601: 입력 장치
503, 603: 9축 센서
505, 605: 진동자
509, 611: 온도 재현 장치
511, 615: 통신 모듈
513, 617: 전원
507: 모션 센서
607: 압력 센서
609: 온도/습도 센서
613: 압력 재현 장치

Claims (12)

  1. 햅틱 장치에 있어서, 상기 햅틱 장치는
    깔창에 전체적으로 배치되며, 사용자의 발바닥 위치별 압력을 센싱하는 복수 개의 압력 센서; 및
    가압용 매개체가 주입됨으로써 상기 사용자의 발바닥에 압력을 전달하는 압력 재현 장치를 포함하되,
    상기 햅틱 장치는 상기 센싱한 발바닥 위치별 압력 정보를 분석함으로써 상기 사용자의 의료 정보를 획득하는 것을 특징으로하는 햅틱 장치.
  2. 제1항에 있어서, 상기 햅틱 장치는 상기 압력 센서가 측정한 발바닥 위치별 압력을 이용하여 상기 사용자의 발 형태에 적합하도록 상기 압력 재현 장치에 가압용 매개체를 주입하여 상기 사용자의 편안한 보행, 피로도 감소 및 자세 교정 중 적어도 하나의 효과를 제공하는 것을 특징으로하는 햅틱 장치.
  3. 제1항에 있어서, 상기 햅틱 장치는 상기 사용자의 의료 정보를 이용하여 상기 압력 재현 장치에 가압용 매개체 주입 여부를 판단하는 것을 특징으로 하는 햅틱 장치.
  4. 제3항에 있어서, 상기 사용자의 의료 정보는 상기 사용자의 발의 형태-상기 발의 형태는 정상발, 평발, 및 오목발 중 하나를 포함함-, 보폭, 보행 자세를 포함하는 것을 특징으로하는 햅틱 장치.
  5. 제3항에 있어서, 상기 햅틱 장치는 상기 가압용 매개체 주입이 필요하다고 판단되는 경우 상기 압력 재현 장치에 상기 가압용 매개체를 주입하고, 상기 가압용 매개체 주입 후 상기 사용자의 균형도가 개선되었는지 여부를 확인하는 것을 특징으로하는 햅틱 장치.
  6. 제1항에 있어서, 상기 가압용 매개체는 압력 재현 장치에 주입되었을 때 사용자의 발바닥에 압력을 가할 수 있는 물질로서 기체 또는 액체인 것을 특징으로하는 햅틱 장치.
  7. 제1항에 있어서, 상기 햅틱 장치는 상기 센싱한 발바닥 위치별 압력 정보를 시간에 따라 구분하여 그래프화 함으로써 상기 사용자가 서 있을 때 또는 걸을 때 발바닥의 압력 변화를 그래프로 확인하는 것을 특징으로하는 햅틱 장치.
  8. 제7항에 있어서, 상기 햅틱 장치는 상기 그래프를 이용하여 사용자의 발의 압력 균형도를 계산하고 상기 압력 균형도를 이용하여 상기 사용자가 서 있는 자세가 올바른지 또는 상기 사용자의 걸음걸이가 균형을 유지하는지를 확인하는 것을 특징으로하는 햅틱 장치.
  9. 제1항에 있어서, 상기 압력 재현 장치는 일체형 또는 매트릭스 형태로 구성되어 사용자의 압력 균형도에 따라 가압용 매개체를 주입할 위치를 결정하는 것을 특징으로하는 햅틱 장치.
  10. 제1항에 있어서, 상기 햅틱 장치는 상기 햅틱 장치에 전원을 공급하는 전원을 더 포함하는 것을 특징으로하는 햅틱 장치.
  11. 제10항에 있어서, 상기 전원은 배터리, 열전 하베스팅 장치, 및 압전 하베스팅 장치 중 적어도 하나인 것을 특징으로하는 햅틱 장치.
  12. 제11항에 있어서, 상기 열전 하베스팅 장치는 신발 내에서 발생하는 온도에 의해 에너지를 생성하는 장치이고, 상기 압전 하베스팅 장치는 사용자의 발에 의해 가해지는 압력에 의해 에너지를 생성하는 장치인 것을 특징으로하는 햅틱 장치.
KR1020240056809A 2019-12-23 2024-04-29 멀티모달 인터페이스 기반의 햅틱 장치 KR20240072102A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR1020190173509 2019-12-23
KR20190173507 2019-12-23
KR1020190173507 2019-12-23
KR20190173509 2019-12-23
KR1020220175778A KR20230002197A (ko) 2019-12-23 2022-12-15 멀티모달 인터페이스 기반의 햅틱 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020220175778A Division KR20230002197A (ko) 2019-12-23 2022-12-15 멀티모달 인터페이스 기반의 햅틱 장치

Publications (1)

Publication Number Publication Date
KR20240072102A true KR20240072102A (ko) 2024-05-23

Family

ID=76573200

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020200182590A KR102481067B1 (ko) 2019-12-23 2020-12-23 멀티모달 인터페이스 기반의 햅틱 장치
KR1020220175778A KR20230002197A (ko) 2019-12-23 2022-12-15 멀티모달 인터페이스 기반의 햅틱 장치
KR1020240056809A KR20240072102A (ko) 2019-12-23 2024-04-29 멀티모달 인터페이스 기반의 햅틱 장치

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020200182590A KR102481067B1 (ko) 2019-12-23 2020-12-23 멀티모달 인터페이스 기반의 햅틱 장치
KR1020220175778A KR20230002197A (ko) 2019-12-23 2022-12-15 멀티모달 인터페이스 기반의 햅틱 장치

Country Status (4)

Country Link
US (1) US12118147B2 (ko)
KR (3) KR102481067B1 (ko)
CN (1) CN114868100A (ko)
WO (1) WO2021133073A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4354259A4 (en) * 2021-10-19 2024-10-23 Samsung Electronics Co Ltd WEARABLE DEVICE WITH MULTIMODALITY AND METHOD OF OPERATING THE SAME
CN118001019B (zh) * 2024-03-07 2024-08-13 哈尔滨工业大学 一种用于引导盲人抓握的振动触觉阵列装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200129484A (ko) 2019-05-08 2020-11-18 한국기술교육대학교 산학협력단 햅틱 휠을 이용한 vr 또는 게임 컨트롤러 및 그 제어 방법, 이를 구비한 vr 시스템

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006090197A1 (en) * 2005-02-24 2006-08-31 Nokia Corporation Motion-input device for a computing terminal and method of its operation
KR100639066B1 (ko) * 2005-07-22 2006-10-30 한국과학기술원 열전달이 가능한 컴퓨터용 마우스 시스템
US9173596B1 (en) * 2014-06-28 2015-11-03 Bertec Limited Movement assessment apparatus and a method for providing biofeedback using the same
CN106575164B (zh) * 2014-09-10 2020-10-09 索尼公司 检测装置、检测方法、控制装置和控制方法
WO2017037504A1 (en) * 2015-08-31 2017-03-09 Ghahramani Barandagh Alireza Smart shoes with analyser mechanism
KR101853295B1 (ko) * 2016-11-15 2018-04-30 최은지 가상현실 보조 깔창 및 가상현실 시스템
KR20180056998A (ko) * 2016-11-21 2018-05-30 엘지전자 주식회사 디바이스 컨트롤러 및 그 데이터 처리 방법
US10078370B2 (en) * 2016-11-23 2018-09-18 Immersion Corporation Devices and methods for modifying haptic effects
US10775941B2 (en) * 2016-12-30 2020-09-15 Jason Francesco Heath Sensorized spherical input and output device, systems, and methods
KR102599441B1 (ko) 2017-06-16 2023-11-10 밸브 코포레이션 손가락 움직임 감지 기능을 갖춘 전자 제어기
US20180369691A1 (en) * 2017-06-22 2018-12-27 Immersion Corporation Device having a plurality of segments for outputting a rotational haptic effect
KR101913104B1 (ko) * 2018-03-15 2018-10-31 곽현호 인체 감응형 압력 분산 인솔 및 그의 제조방법
GB201812080D0 (en) * 2018-07-24 2018-09-05 Kano Computing Ltd Motion sensing controller
WO2021040106A1 (ko) * 2019-08-30 2021-03-04 엘지전자 주식회사 Ar 장치 및 그 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200129484A (ko) 2019-05-08 2020-11-18 한국기술교육대학교 산학협력단 햅틱 휠을 이용한 vr 또는 게임 컨트롤러 및 그 제어 방법, 이를 구비한 vr 시스템

Also Published As

Publication number Publication date
US20220326769A1 (en) 2022-10-13
KR20210081300A (ko) 2021-07-01
KR102481067B1 (ko) 2022-12-27
WO2021133073A1 (ko) 2021-07-01
CN114868100A (zh) 2022-08-05
KR20230002197A (ko) 2023-01-05
US12118147B2 (en) 2024-10-15

Similar Documents

Publication Publication Date Title
KR20240072102A (ko) 멀티모달 인터페이스 기반의 햅틱 장치
US11347311B2 (en) Systems and methods for providing haptic feedback for remote interactions
US11382383B2 (en) Smart footwear with wireless charging
KR101541082B1 (ko) 손 재활 운동 시스템 및 방법
US9013264B2 (en) Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
US9901816B2 (en) Interactive game system with an HMD and a ground pad
KR101666096B1 (ko) 강화된 제스처 기반 상호작용 시스템 및 방법
KR20140062892A (ko) 운동 서비스를 제공하기 위한 웨어러블 디바이스와 디스플레이 장치 및 이를 포함하는 운동 서비스 제공 시스템과 그 방법
JP2017534985A (ja) 足ジェスチャに基づく制御装置
US20140243710A1 (en) Posture training system and control method thereof
CN103077633A (zh) 一种立体虚拟培训系统和方法
WO2010018485A1 (en) Motion detection system
JP2003337963A (ja) 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体
KR20120133321A (ko) 손가락 재활 운동 장치 및 재활 운동 보조 방법
KR102162922B1 (ko) 촉각 피드백이 가능한 가상현실 기반의 손 재활 시스템
KR20170041537A (ko) 착용 및 부착형 웨어러블 디바이스 및 이를 이용한 운동 서비스 시스템
JPH0546587A (ja) 仮想環境データ提示装置
US11488361B1 (en) Systems and methods for calibrating wearables based on impedance levels of users' skin surfaces
US11550397B1 (en) Systems and methods for simulating a sensation of expending effort in a virtual environment
US11353966B1 (en) Handheld controllers and artificial-reality systems
US11490669B1 (en) Lockable beams for haptics applications and related systems and methods
KR20140106309A (ko) 포스피드백 기능을 구비한 가상현실 입력장치
KR102119570B1 (ko) 가상현실에서의 변조를 이용한 사용자 맞춤형 운동 방법 및 시스템
US20240338081A1 (en) Wearable Device For Adjusting Haptic Responses Based On A Fit Characteristic
US20230368478A1 (en) Head-Worn Wearable Device Providing Indications of Received and Monitored Sensor Data, and Methods and Systems of Use Thereof

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal