KR102655149B1 - 가상 현실 시스템에서의 사용을 위한 장치 - Google Patents

가상 현실 시스템에서의 사용을 위한 장치 Download PDF

Info

Publication number
KR102655149B1
KR102655149B1 KR1020207014513A KR20207014513A KR102655149B1 KR 102655149 B1 KR102655149 B1 KR 102655149B1 KR 1020207014513 A KR1020207014513 A KR 1020207014513A KR 20207014513 A KR20207014513 A KR 20207014513A KR 102655149 B1 KR102655149 B1 KR 102655149B1
Authority
KR
South Korea
Prior art keywords
rod
wand
brake mechanism
virtual
sensor
Prior art date
Application number
KR1020207014513A
Other languages
English (en)
Other versions
KR20200089675A (ko
Inventor
에드워드 커트렐
크리스티안 홀츠
흐르보예 벤코
마이클 제이 싱클레어
메레디스 준 모리스
유항 자오
신시아 린 베넷
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20200089675A publication Critical patent/KR20200089675A/ko
Application granted granted Critical
Publication of KR102655149B1 publication Critical patent/KR102655149B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45B—WALKING STICKS; UMBRELLAS; LADIES' OR LIKE FANS
    • A45B3/00—Sticks combined with other objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F4/00—Methods or devices enabling patients or disabled persons to operate an apparatus or a device not forming part of the body 
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/066—Installations on the floor, e.g. special surfaces, to guide blind persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/068—Sticks for blind persons
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • A63F13/245—Constructional details thereof, e.g. game controllers with detachable joystick handles specially adapted to a particular type of game, e.g. steering wheels
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H2003/007—Appliances for aiding patients or disabled persons to walk about secured to the patient, e.g. with belts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5007—Control means thereof computer controlled
    • A61H2201/501—Control means thereof computer controlled connected to external computer devices or networks
    • A61H2201/5012—Control means thereof computer controlled connected to external computer devices or networks using the internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A61H2201/5025—Activation means
    • A61H2201/5028—Contact activation, i.e. activated at contact with a surface of the user to be treated
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5064—Position sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5092—Optical sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5092—Optical sensor
    • A61H2201/5094—Optical sensor with patient markers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • User Interface Of Digital Computer (AREA)
  • Rehabilitation Tools (AREA)

Abstract

가상 현실 시스템이 본 문서에 기술된다. 가상 현실 시스템은 지팡이 제어기 및 컴퓨팅 시스템을 포함한다. 지팡이 제어기는 막대, 센서 및 브레이크 메커니즘을 포함하는데, 센서는 막대의 포지션과, 움직임의 방향과, 속도를 나타내는 신호를 생성하도록 구성되고, 브레이크 메커니즘은 막대에 힘을 인가하도록 구성된다. 컴퓨팅 시스템은 신호를 수신하고, 가상 공간 내의 가상 막대의 포지션과, 움직임의 방향과, 속도를 계산하며, 그러한 계산에 기반하여 브레이크 메커니즘에 제어 신호를 출력한다. 브레이크 메커니즘은 제어 신호 내에 나타내어진 크기를 가진, 그리고 어떤 방향에서 막대에 힘을 인가하는바, 이로써 사용자가 가상 막대로 하여금 가상 공간 내의 가상 장애물을 꿰뚫게 하지 못하게 한다.

Description

가상 현실 시스템에서의 사용을 위한 장치
가상 현실(Virtual Reality: VR) 기술이 종래에 엔터테인먼트(entertainment)(가령, 게이밍(gaming)), 교육 및 사교 활동과 같은 분야에 적용되었다. 또한, 장애가 있는 사람들, 예컨대 난독증이 있는 이들, 뇌졸중을 겪은 사람들, 주의력 결핍 과잉활동 장애(Attention-Deficit Hyperactivity Disorder: ADHD)가 있는 사람들 등을 위한 훈련 및 재활에 관해서 VR의 잠재력이 인식되었다.
VR 애플리케이션은 갖가지 사용 사례에서 큰 잠재력을 갖지만, 종래의 VR 애플리케이션은 시감(visual sense)이 지배적인, 시력이 있는(sighted) 사람들에게 몰입형(immersive) 경험을 제공하기 위해 현실적인 시각적 피드백(feedback)에 의존한다. 그러나, 이들 기존의 VR 애플리케이션은 일반적으로 시각적 장애를 가진 사람들한테는 액세스가능한(accessible) 것이 아닌 까닭에, 그러한 사람들이 VR 기술로부터 혜택을 받지 못하게 한다.
시각적 장애를 가진 사람들에 의한 사용을 위해 개발된 VR에서의 선행 작업은 청각적(auditory) VR을 창출하는 것에 주안점을 두었는데 - 예를 들면, 눈이 먼 사용자가 청각적 피드백을 통해서 가상 장면(virtual scene)과 상호작용할 수 있게 하는 것을 수월하게 하는 오디오 기반 환경 시뮬레이터(simulator) 게임이 개발되었다. 그러한 게임에서, 객체(object)의 존재는 소리 렌더링(sound rendering)을 통해서 식별된다. 예를 들어, 종래의 VR 시스템은 음향 VR 공간(acoustic VR space)을 이용하는데, 가상 장면 내의 객체가 그것의 물리적 특성(가령, 색깔(color), 질감(texture) 등)에 따라서 소리를 발하는(emitting) 스피커로써 커버된다(covered)는 환각(illusion)을 창출하기 위해 휴대가능(portable) 시스템이 공간적 오디오(spatial audio)를 생성한다. 다른 예시적인 종래의 VR 시스템에서, 시각적 장애를 가진 사람들의 실세계 행로(navigation) 전략이 가상 공간(virtual space)에 통합되는데, 사용자가 가상 공간을 더 잘 이해하는 것을 돕기 위해 가상 공간 내에서 반향정위(echolocation)(객체의 지점을 알아내기 위해(localize) 그것에 반사되는 소리의 사용)가 모의된다(simulated).
다른 종래의 VR 시스템은 시각적 장애를 가진 사람들에게 VR의 혜택을 제공하기 위해 햅틱 감각(haptic sensation)을 도입하였다. 흰 지팡이(white cane)를 통한 햅틱 감각은 시각적 장애를 가진 사람들이 물리적인 공간을 이해하는 주된 채널인데, 오디오가 상보적인 정보를 위한 채널로서의 역할을 한다. 실세계를 행로하는(navigating) 경우에, 흰 지팡이는 환경의 저 분해능 스캐닝(low resolution scanning)을 위해, 그리고 방해물을 검출하고 거리를 식별하기 위해 흔히 사용된다. 유사하게, 지표면을 느끼는 데에 다리와 발이 사용되고, 손바닥이나 손가락은 객체의 형상과 질감을 정확히 인식하는 데에 사용된다. 예시적인 종래의 VR 시스템에서, 사용자에 의해 조이스틱(joystick)이 이용되는데, 조이스틱의 움직임은 가상 공간에서의 움직임에 대응하고, 또한 조이스틱은 가상 공간의 경계와 가상 공간 내의 가상 객체에 대해 사용자에게 단서(cue)를 제시하기 위해 진동된다. 그러나, 이 시스템은 사용자가 가상 공간을 거쳐서 행로할 때 사용자의 자연스러운 움직임을 가능케 하지는 못한다.
또 다른 예시적인 종래의 VR 시스템에서, 햅틱 글러브(haptic glove)가 사용자에 의해 착용되고, 사용자가 가상 공간을 지나갈 때 사용자의 손가락에 힘 피드백(force feedback)을 생성하는바, 이로써 사용자가 지팡이로써 가상 공간을 행로하고 있다는 환각을 제공한다. 사용자는 실제의 지팡이를 쥘 수 있고, 사용자의 파지 자세(grasp posture)가 검출될 수 있으며, (지팡이의 첨단부(tip)가 가상 공간 내의 가상 객체에 부딪치는(impacting) 것에 기반하여 느껴질 진동을 모의하기 위해) 햅틱 글러브를 통해서 힘 피드백이 제공될 수 있다. 그러나, 이 실제의 지팡이는 가상 공간 내의 가상 객체를 꿰뚫는바(penetrate), 이로써 사용자가 가상 공간을 행로하기 위해 지팡이를 이용할 때 사실적인 고유수용성(proprioceptive) 피드백을 사용자에게 제공하는 데에 실패한다.
다음은 본 문서에서 더 상세히 기술된 주제(subject matter)의 간결한 개요이다. 이 개요는 청구항의 범위에 관해 한정적인 것으로 의도되지 않는다.
가상 현실(Virtual Reality: VR) 시스템에 관한 다양한 기술이 본 문서에 기술되는데, VR 시스템은 시각적 장애를 가진 사람들에 의한 사용에 적정하다(well-suited). VR 시스템은 가상 공간을 행로하는 경우에 VR 시스템의 사용자에 의해 조작되는(manipulated) 장치 및 컴퓨팅 시스템을 포함한다. 컴퓨팅 시스템은 VR 애플리케이션을 실행하는데, VR 환경(가상 공간)은 VR 애플리케이션을 통하여서 정의될 수 있다. 가상 공간은 (벽과 같은) 장애물, (테이블, 의자, 쓰레기통 등과 같은) 객체, 계단 및 기타 등등을 포함할 수 있다. 가상 공간 내의 경계는 거기에 배정된(assigned) 소재, 거기에 배정된 소재 두께, 거기에 배정된 색깔, 거기에 배정된 질감 등을 또한 가질 수 있다. 예를 들면, 가상 공간 내의 바닥(floor)에 카펫이 깔릴 수 있고, 따라서 카펫에 대응하는 질감이 배정되고; 유사하게, 가상 공간 내의 바닥에 타일이 깔릴 수 있고, 따라서 세라믹(ceramic)에 대응하는 질감이 배정된다. 더 나아가, 가상 공간 내의 소재 및 질감에 오디오 특성이 배정된다. 본 문서에서 더 상세히 기술될 바와 같이, 컴퓨팅 시스템은 실세계에서의 사용자에 의한 앞서 참조된 장치의 조작에 기반하여 가상 공간을 지나는 사용자의 움직임(movement) 및 가상 공간과의 사용자의 상호작용(interaction)을 추적하도록(track) 구성된다.
(본 문서에서 지팡이 제어기(cane controller)로 지칭되는) 장치는 근위 말단(proximal end) 및 원위 말단(distal end)을 포함하는 막대(rod)를 포함한다. 예에서, 막대는 12 인치와 36 인치 사이의 길이를 가질 수 있다. 막대의 근위 말단은 사용자의 손에 의해 파지되도록(grasped) 구성되고, 센서가 막대에 커플링되는데(coupled), 센서는 (사용자가 지팡이 제어기를 조작함에 따라) 실세계에서의 막대의 원위 말단의 속도(velocity)와, 움직임의 방향(direction)과, 포지션(position) 및 배향(orientation)을 나타내는 센서 신호를 출력한다. 장치는 막대에 동작가능하게 커플링된(operably coupled) 브레이크 메커니즘(brake mechanism)을 또한 포함하는데, 브레이크 메커니즘은 막대에 저항력(resistive force)을 인가하도록(apply) 구성되되, 저항력의 크기와 방향은 컴퓨팅 시스템으로부터 수신된 제어 신호에 기반한다. 컴퓨팅 시스템은 막대에 커플링된 센서에 의해 출력된 신호에 기반하여 그러한 제어 신호를 생성한다.
예시적인 애플리케이션에서, 컴퓨팅 시스템은 가상 환경에서의 사용을 위해 임의적인 길이의 가상 지팡이(virtual cane)를 구축할 수 있는데, 가상 공간에서의 가상 지팡이의 포지션, 속도 및 움직임의 방향은 실세계에서의 막대의 포지션, 속도 및 움직임의 방향에 대응한다. 구체적으로, 막대 상의 센서의 위치가 알려져 있으므로, 컴퓨팅 시스템은 센서에 의해 출력된 신호를 수신하고 센서에 의해 출력된 센서 신호에 기반하여 (가상 지팡이의 원위 말단을 포함하는) 가상 지팡이의 임의의 부분의 포지션과, 움직임의 방향과, 속도를 계산할 수 있다. VR 애플리케이션이 (가상 공간의 경계 및 센서에 의해 출력된 신호에 기반하여) 가상 지팡이가 가상 공간 내의 표면(가령, 벽, 가상 객체 등)에 부딪침을 판정하는 경우에, VR 애플리케이션은 제어 신호가 브레이크에 지향되도록(directed) 할 수 있는데, 브레이크는 (실세계 내의) 사용자가 막대를 더 움직이지 못하도록 저항력을 인가한다. 다시 말해, 가상 지팡이는 가상 공간 내의 경계를 꿰뚫지 못하도록 된다. 그러므로, 가상 공간을 행로하는 시각적 장애를 가진 사용자는 사용자가 실세계에서 이리저리 막대를 움직일 때 (가령, 설사 가상의 막대가 실제의 물리적 경계에 결코 부딪치지 않더라도) 물리적 경계를 지각할(perceive) 것이다.
본 문서에 기술된 VR 시스템은, 청각적 피드백을 포함하여(가령, 3차원(three-dimensional) 공간적 오디오가 헤드폰을 통하여서 사용자에게 제공될 수 있음), 사용자에 피드백의 다른 채널을 또한 제공할 수 있고, 사용자가 가상 환경을 행로할 때 진동성(vibratory) 피드백이 사용자에게 주어지도록 막대에 햅틱 메커니즘이 커플링될 수 있다. 예를 들면, 가상 환경이 카펫이 깔린 바닥을 포함하고, VR 애플리케이션이 가상 지팡이의 원위 말단이 가상 공간 내의 카펫 위를 쓸고 있고(sweeping) 이와 접촉함을 판정하는 경우에(가령, 사용자에 의한 막대의 실세계 조작에 기반하여 그 판정이 행해지는 경우), 진동성 메커니즘은 막대를 따라 진동성 피드백을 제공할 수 있는데, 진동성 피드백은 실제의 지팡이가 실제의 카펫 깔린 바닥 위에서 움직여지고 있다는 감각을 사용자에게 제공하도록 구성된다. 브레이크 메커니즘은 원위 말단이 카펫과의 마찰과 맞닥뜨릴 때 힘 피드백을 또한 제공할 수 있다.
당 기술이 시각적 장애를 가진 사람들에 의한 사용에 적정한 것으로 기술되나, 본 문서에 기술된 기술은 그러한 응용에 한정되지 않음이 이해되어야 한다. 예를 들어, 본 문서에 기술된 기술은 물리적 재활, 엔터테인먼트(게이밍) 등과의 사용에 적정할 수 있다. 예를 들면, 가상 공간은 강(river)을 포함할 수 있는데, 사용자에게 카약(kayak) 내에서 강을 행로하는 일이 주어진다. 사용자는 거기에 부가된(attached) 하나 이상의 장치를 가질 수 있는데, 가상 공간 내의 노(oar)의 (배향을 포함하는) 포지션과, 움직임의 방향과, 속도가 실세계에서 사용자에 의해 조작되는 막대의 (배향을 포함하는) 포지션과, 움직임의 방향과, 속도에 의해 제어된다. (막대의 움직임에 기반하여 제어되는) 노가 가상 공간 내의 물에 부닥칠 때, 브레이크 메커니즘은 점성(viscous) 저항력을 제공하도록 구성될 수 있는바, 이로써 사용자가 가상의 강을 관통하여 노 저으려고 시도하고 있을 때 추가적인 저항의 감각을 사용자에게 준다.
다른 예시적인 애플리케이션에서, 본 문서에 기술된 기술은 의료 수련에 적정하다. 예를 들면, 외과의가 가상 환경에서 수술을 실행할 수 있는데, 막대의 원위 말단의 포지션과 움직임은 가상 수술실에서 외과의가 쥐고 있는 가상 수술칼(scalpel)에 맵핑될 수 있다. 수술칼이 가상의 환자의 피부에 부딪치도록, 외과의가 실세계에서 막대를 움직임에 따라, 브레이크 메커니즘은 막대에 저항력을 발하도록 구성될 수 있는바, 이로써 수술이 집도되면서 저항에서의 변화의 지각(perception)을 외과의에게 준다. 이들 애플리케이션 중 하나 이상에서, 가상 환경에서의 경험을 향상시키기 위해 시각적 피드백이 또한 제공될 수 있다.
이상의 개요는 본 문서에서 논의된 시스템 및/또는 방법의 몇몇 측면의 기본적인 이해를 제공하기 위해서 단순화된 개요를 제시한다. 이 개요는 본 문서에서 논의된 시스템 및/또는 방법의 광범위한 개관이 아니다. 그것은 핵심적/결정적인 요소를 식별하도록 또는 그러한 시스템 및/또는 방법의 범위를 상술하도록 의도되지 않는다. 그것의 유일한 목적은 단순화된 형태로 몇몇 개념을 나중에 제시되는 더욱 상세한 설명에 대한 서두로서 제시하는 것이다.
도 1은 시각적 장애를 가진 사람들에 의한 사용에 적정한 가상 현실(Virtual Reality: VR) 시스템을 묘사하는 도식이다.
도 2는 VR 시스템의 사용자에 의해 이용될 예시적인 장치를 보여준다.
도 3은 예시적인 VR 애플리케이션의 기능적 블록도이다.
도 4는 가상 공간 내의 사용자를 묘사하는 도식이다.
도 5는 가상 공간에서의 사용에 적정한 장치를 구성하기 위한 예시적인 방법론을 보여주는 흐름도이다.
도 6은 가상 공간에서 사용될 장치를 제어하기 위한 예시적인 방법론을 보여주는 흐름도이다.
도 7은 가상 공간에서 사용되는 장치를 제어하기 위한 예시적인 방법론을 보여주는 흐름도이다.
도 8은 예시적인 컴퓨팅 시스템이다.
시각적 장애를 가진 사람들에 의한 사용에 적정한 가상 현실(Virtual Reality: VR) 시스템에 관한 다양한 기술이 도면을 참조하여 이제 기술되는데, 여기서 비슷한 참조 번호는 도처에서 비슷한 요소를 나타내는 데에 사용된다. 다음의 설명에서, 설명의 목적으로, 하나 이상의 측면의 철저한 이해를 제공하기 위해서 다수의 특정 세부사항이 개진된다. 그러나, 이들 특정 세부사항 없이 그러한 측면(들)이 실시될 수 있음이 명백할 수 있다. 다른 사례에서, 잘 알려진 구조 및 디바이스는 하나 이상의 측면을 기술하는 것을 수월하게 하기 위해서 블록도 형태로 도시된다. 또한, 어떤 시스템 컴포넌트에 의해 수행되는 것으로 기술되는 기능성은 여러 컴포넌트에 의해 수행될 수 있음이 이해되어야 한다. 유사하게, 예를 들면, 컴포넌트는 여러 컴포넌트에 의해 수행되는 것으로 기술되는 기능성을 수행하도록 구성될 수 있다.
나아가, 용어 "또는"은 배타적인 "또는"보다는 포괄적인 "또는"을 의미하도록 의도된다. 즉, 달리 명시되지 않거나, 맥락으로부터 분명하지 않은 한, 구문 "X가 A 또는 B를 이용한다"는 자연적인 포괄적 순열(permutation) 중 임의의 것을 의미하도록 의도된다. 즉, 구문 "X가 A 또는 B를 이용한다"는 다음의 인스턴스 중 임의의 것에 의해 만족된다: X가 A를 이용한다; X가 B를 이용한다; 또는 X가 A 및 B 양자 모두를 이용한다. 추가로, 이 출원 및 부기된 청구항에서 사용되는 바와 같은 관사 "a" 및 "an"는 일반적으로, 단수 형태에 지향된다고 맥락으로부터 명백하거나 달리 명시되지 않는 한 "하나 이상"을 의미한다고 해석되어야 한다.
또한, 본 문서에서 사용되는 바와 같이, 용어 "컴포넌트" 및 "시스템"은 프로세서에 의해 실행되는 경우에 어떤 기능성이 수행되도록 하는 컴퓨터 실행가능 명령어로써 구성되는 컴퓨터 판독가능 데이터 스토리지(storage)를 망라하도록 의도된다. 컴퓨터 실행가능 명령어는 루틴(routine), 함수(function), 또는 유사한 것을 포함할 수 있다. 컴포넌트 또는 시스템이 단일 디바이스 상에 국소화되거나 몇 개의 디바이스에 걸쳐 분산될 수 있음이 또한 이해되어야 한다. 또한, 본 문서에서 사용되는 바와 같이, 용어 "예시적"은 어떤 것의 예시 또는 예로서의 역할을 하는 것을 의미하도록 의도되며, 선호를 나타내도록 의도되지 않는다.
시각적 장애가 있는 사람들로 하여금 가상 공간을 살펴보기 위해 실세계 지팡이 기교를 사용할 수 있도록 하는 데에 적정한, 본 문서에서 지팡이 제어기로 지칭되는 장치에 관한 다양한 기술이 본 문서에 기술된다. 본 문서에 기술된 지팡이 제어기는 시각적 장애를 가진 사람들에 의한 흰 지팡이의 실세계 사용에 영감을 받았다. 지팡이 제어기는 세 가지 유형의 피드백을 제공한다: 1) 제동(braking); 2) 진동촉감(vibrotactile); 및 3) 청각적. 제동에 관해서, (지팡이 제어기의 움직임에 기반하여 제어되는) 가상 지팡이가 가상 공간 내의 가상 객체와 부닥치는 경우에, 브레이크 메커니즘은 지팡이 제어기가, 실세계에서, 가상 지팡이로 하여금 객체의 경계를 꿰뚫게 할 추가의 움직임을 못 하게 하는 물리적 저항을 생성한다. 그래서, 이 고유수용성 피드백으로써, 가상 지팡이는 가상 공간 내의 가상 객체를 꿰뚫지 않는바, 이로써 가상 공간 내의 가상 객체의 경계의 지각을 사용자에게 제공한다.
진동촉감 피드백에 관해서, 가상 지팡이의 어떤 부분이든 가상 객체와 접촉하는(객체의 표면 위를 쓸거나 객체를 두드리는) 경우에, 지팡이 제어기는 가상 지팡이의 사용을 통해서 사용자가 실세계 객체와 상호작용하고 있다면 사용자가 실세계에서 느낄 대응하는 두드림 또는 질감 진동을 모의하기 위해 진동촉감 피드백을 생성한다.
청각적 피드백에 관해서, 본 문서에 기술된 VR 시스템은 실세계 내의 객체에 부딪치는 경우에 실제의 지팡이가 내는 소리를 모의하기 위해 3차원 오디오 피드백을 생성하고 그러한 오디오를 사용자가 착용하고 있는 이어폰에 제공할 수 있다(즉, 가상 지팡이가 가상 공간 내의 금속 쓰레기통에 부딪치는 경우, 실제의 지팡이가 실세계 내의 금속 쓰레기통에 부딪칠 때에 나는 소리를 모의하는 3차원 오디오 피드백이 제공되는데, 3차원 오디오 피드백은 눈이 먼 사용자가 가상 공간 내에서 소리의 지점을 알아내는 데에 도움이 될 수 있다. 소리 렌더링은 표면 유형 및 충돌 속력에 달려 있다.
이들 상이한 유형의 피드백을 사용하여, 본 문서에 기술된 VR 시스템은 시각적 장애를 가진 사람들에 의해 흔히 이용되는 적어도 3개의 상이한 지팡이 전략을 지원한다: 1) 쇼어라이닝(shorelining); 2) 2점 촉타(two-point touch); 및 3) 지속적 접촉(constant contact).
쇼어라이닝은 가장자리(edge)를 따라 이동하기 위해 흰 지팡이의 촉타 및 끌기를 사용하는 기법이다. 지팡이를 가장자리에서 반대편으로 움직이고 나서 지팡이를 도로 가장자리 쪽으로 땅바닥을 따라 끌면서 사람이 쭉 이동할 때 사람은 반복적으로 가장자리를 두드릴 수 있다. 본 문서에 기술된 VR 시스템에서, 가상 지팡이가 수평 좌우 방향으로 수직 표면, 가령 수직 벽에 부닥치는 경우에, 사용자는 그가 벽의 경계를 지각할 수 있게 하는 물리적 저항을 느낄 수 있다. 사용자는 또한 접촉 진동을 느끼고 3D 소리를 들을 수 있는데, 이는 실세계 지팡이 및 벽 간의 충돌을 모의한다. 이 상호작용으로써, 시각적 장애를 가진 사람이, 쇼어라이닝 기법을 사용하여, 본 문서에 기술된 지팡이 제어기로써 가상의 벽을 따라 걸을 수 있다.
2점 촉타는 지팡이를 이쪽저쪽으로 돌리고(swing) 어깨보다 약간 더 넓은 호(arc)로 어느 쪽에서든 보행 경로의 가장자리를 두드리는 것을 가리킨다. 2점 촉타는 보행자의 신체(body)의 양쪽 모두를 보호하기 위해 흔히 사용된다. (지팡이 제어기에 기반하여 제어되는) 가상 지팡이가 표면을 두드리는 경우에, 지팡이 제어기는 촉감 감각을 모의하기 위해 대응하는 진동을 생성하는바, 본 문서에 기술된 지팡이 제어기는 2점 촉타를 지원한다. 사용자는 또한 VR 시스템으로부터 3D 두드림 소리를 들을 수 있다. 이 상호작용으로써, 사용자는 지팡이 제어기를 통하여서 상이한 가상 표면, 예컨대 카펫, 콘크리트, 촉지 반구(tactile dome) 등에 대해 2점 촉타를 수행할 수 있다.
지속적 접촉은 이쪽저쪽으로 지팡이로 쓸기를 하고 지팡이 첨단부를 언제나 표면과 접촉하게 유지하는 것을 수반하는 지팡이 전략이다. 이 기법은 호의 점마다 미묘한 표면 변화의 가장 신뢰성 있는 검출을 제공한다. VR 시스템은 상이한 표면의 질감을 모의하는 저항력, 촉감 및 청각적 피드백을 생성하는바, 본 문서에 기술된 VR 시스템에 의해 지속적 접촉이 지원된다. 더욱이, 보도 건널목(sidewalk crossing)에서 발견되는 촉지 반구는 요철(이는 지팡이가 그러한 요철을 가로질러 쓸기를 할 때 저항을 생성할 것임)을 가지므로, 브레이크 메커니즘은 각각의 요철에서 단기간의 저항을 생성하는 데에 사용될 수 있는바, 이로써 사용자의 지팡이가 요철에 부닥친다는 환각을 사용자에게 제공한다. 또한, 지팡이 제어기의 쓸기 속력 및 가상 질감 특성에 기반하여 진동촉감 피드백 및 3D 오디오뿐만 아니라, 제동 저항의 주파수와 진폭이 조절될(modulated) 수 있다.
이제 도 1을 참조하면, 시각적 장애를 가진 사람에 의한 사용에 적정한 예시적인 가상 현실(Virtual Reality: VR) 시스템(100)을 보여주는 도식이 예시된다. VR 시스템(100)은 컴퓨팅 시스템(102) 및 장치(104)(본 문서에서 지팡이 제어기로 지칭됨)를 포함하는데, 지팡이 제어기(104)는 컴퓨팅 시스템(102)과의 통신이 되는 컴포넌트부(componentry)를 포함한다. VR 시스템(100)은 선택적으로 VR 헤드세트(headset)(106)를 포함한다. 사용자(108)는 (사용자(108)의 귀 위에 또는 근처에 놓인 스피커 및 화상(imagery)을 묘사하기 위한 하나 이상의 스크린을 포함하는 고글을 포함할 수 있는) VR 헤드세트(106)를 착용할 수 있다. 예시적인 실시예에서, VR 헤드세트(106)는 컴퓨팅 시스템(102)을 포함할 수 있다. 다른 예에서, 컴퓨팅 시스템(102)은 모바일 전화, 데스크톱 컴퓨팅 디바이스, 서버 컴퓨팅 디바이스(지팡이 제어기(104)의 컴포넌트부와의 네트워크 통신이 됨) 등이거나 이를 포함할 수 있다.
지팡이 제어기(104)는 사용자(108)의 신체에 부착된(anchored) 브레이크 메커니즘(110)을 포함한다. 예를 들어, 브레이크 메커니즘(110)이 사용자(108)의 복부에 또는 근처에 위치상 고정되도록, 브레이크 메커니즘(100)은 사용자(108)가 착용한 용구(harness)에 커플링될 수 있다. 지팡이 제어기(104)는 브레이크 메커니즘(110)에 동작가능하게 커플링된 막대(112)를 추가적으로 포함한다. 브레이크 메커니즘(110)은 막대(112)에 저항력을 제공하도록 구성되는데, 저항력은 사용자(108)에 의해 막대(112)에 인가되는 힘의 방향과 대항하는 방향에서다. 브레이크 메커니즘(110)은 하나 이상의 방향으로 그러한 저항력을 인가하도록 구성될 수 있는데, (아래에서 기술될 바와 같이) 브레이크 메커니즘(110)에 의해 인가되는 저항력(들)의 크기(들) 및 방향(들)은 사용자(108)에 의해 막대(112)에 인가되는 힘의 크기 및 방향에 기반할 수 있다. 예를 들면, 사용자(108)가 (사용자(108)의 신체에 대해서) 막대(112)에 왼방향 힘을 인가하는 경우에, 브레이크 메커니즘(110)은 오른쪽 방향으로 저항력을 제공하도록 구성될 수 있다(또는 반대로도 마찬가지임). 유사하게, 사용자(108)가 막대(112)에 하향(downward) 힘을 인가하는 경우에, 브레이크 메커니즘(110)은 상향(upward) 힘을 제공하도록 구성될 수 있다(또 반대로도 마찬가지임). 끝으로, 사용자(108)가 (사용자(108)가 보고 있는 방향으로) 전방(forward) 힘을 인가하는 경우에, 브레이크 메커니즘(110)은 역방향(reverse direction)으로 힘을 제공하도록 구성될 수 있다(또 반대로도 마찬가지임). 본 문서에서 기술될 바와 같이, 브레이크 메커니즘(110)은 컴퓨팅 시스템(102)에 의해 제어된다.
지팡이 제어기(104)는 센서(114)(이는 그것의 6DOF 포지션의 포지션 및 배향과, 움직임의 방향과, 속도를 나타내는 센서 신호를 출력하도록 구성됨)를 또한 포함한다. 따라서, 센서(114)는 6DOF 추적형 센서, 광학 센서, 글로벌 포지셔닝 시스템(Global Positioning System: GPS) 센서, 가속도계, 자이로스코프, 또는 다른 적합한 관성 센서이거나 이를 포함할 수 있다. 지팡이 제어기(104)는 제어가능한 주파수 및 크기를 가진 기계적 진동을 생성하도록 구성된 햅틱 디바이스(116)를 또한 포함한다. 예시적인 실시예에서, 막대(112)는 종래의 실세계 지팡이보다 더 짧을 수 있는데, 예컨대 12 인치 및 36 인치 길이 사이이다. 이런 더 짧은 길이는 사용자(108)가, 실세계에서 지팡이 제어기(104)를 조작하는 경우에, 지팡이 제어기(104)로 하여금 실세계 표면과의 물리적 접촉이 되게 할 가능성을 감소시킨다. 그러나, 다른 실시예에서, 막대(112)는 실세계 지팡이의 길이에 근접한 길이를 가질 수 있다(가령, 약 60 인치).
컴퓨팅 시스템(102)은 프로세서(118) 및 메모리(120)를 포함하는데, 메모리는 거기에 로딩된(loaded) VR 애플리케이션을 갖는다. VR 애플리케이션(122)은, 프로세서(118)에 의해 실행되는 경우에, 사용자(108)가 행로할 수 있는 가상 공간을 구축할 수 있는데, 가상 공간은 실세계 경계 및 객체와 비슷한 가상 경계 및 가상 객체를 포함한다. 따라서, 예를 들면, 가상 객체 및/또는 가상 경계에는 소재 유형, 소재 폭, 질감, 소리 특성 등이 배정될 수 있다. 더욱 구체적인 예에서, 쓰레기통을 나타내는 가상 객체에는 "금속"의 소재 유형, "0.1 인치"의 소재 두께, "울퉁불퉁"(ridged)의 질감 및 (가상 객체의 표면을 따라 달라질 수 있는) 소리 특성이 배정될 수 있다. 도 1에 도시된 예에서, VR 애플리케이션(122)은 2개의 3차원 가상 객체(124 및 126)를 포함하는 가상 공간을 생성한다. VR 애플리케이션(122)은 또한 임의의 주어진 시간에서 사용자(108)의 머리의 포지션 및 배향을 나타내는 (가령, VR 헤드세트(106) 내의 센서에 의해 생성된) 데이터를 VR 헤드세트(106)로부터 수신하도록 구성된다. VR 애플리케이션(122)은 또한 지팡이 제어기(104)의 센서(114)에 의해 출력된 신호를 수신하도록 구성된다.
VR 애플리케이션(122)은 3차원 오디오 신호를 생성하고 그러한 3D 오디오 신호가 VR 헤드세트(106)(이는 VR 헤드세트(106)의 스피커를 통하여서 사용자에게 오디오를 발함)에 송신되게 하기 위해 VR 헤드세트(106)로부터 수신된 신호를 이용한다. VR 애플리케이션(122)은 또한 센서(114)에 의해 생성된 신호를 수신하고 센서(114)에 의해 출력된 신호에 기반하여 브레이크 메커니즘(110) 및 햅틱 디바이스(116)를 제어한다. 나아가, VR 애플리케이션(122)은 VR 애플리케이션(122)에 의해 구축된 가상 공간 내에서의 지팡이 제어기(104), 그리고 따라서 사용자(108)의 포지션을 판정하는 데에 센서(114)에 의해 출력된 신호를 이용할 수 있다.
더 나아가, 지팡이 제어기(104)가 전형적인 실세계 지팡이보다 더 짧도록 설계된 경우에, 가상 지팡이(128)가 전형적인 실세계 지팡이의 길이(가령, 약 60 인치)와 조화되는(consistent) 길이를 갖도록, VR 애플리케이션(122)은 사용자(108)의 키에 기반하여 및/또는 사용자(108)에 의해 선택될 수 있는 거리만큼 막대(104)로부터 연장되는 가상 지팡이(128)를 구축할 수 있다. 다시 말해, 막대(112)의 길이가 알려진바, 그리고 막대(112) 상의 센서(114)의 포지션이 알려진바, 그리고 또한 센서(112)에 의해 출력된 신호가 막대(112)의 배향을 나타내는바, VR 애플리케이션(122)은 가상 지팡이(128)가 적절한 거리에서 막대(112)로부터 연장되도록 가상 지팡이(128)를 구축할 수 있다. 또한, VR 애플리케이션(122)은 센서(114)에 의해 출력된 신호에 기반하여 가상 지팡이(128)의 원위 말단의 포지션과, 배향과, 움직임의 방향과, 속도를 계산할 수 있다.
이제 VR 시스템(100)의 예시적인 동작이 개진된다. 사용자(108)는 VR 헤드세트(106)를 그의 머리에 두고, 지팡이 제어기(104)의 막대(112)를 파지하며, 가상 객체(124 및 126)를 포함하는 VR 공간이 구축되도록, 컴퓨팅 디바이스(102)로 하여금 VR 애플리케이션(122)을 실행하도록 한다. 사용자(108)는 마치 지팡이를 사용하는 것처럼 실세계에서 막대(112)를 움직이고, VR 애플리케이션(122)은 센서(114)에 의해 출력된 신호에 기반하여 가상 지팡이(128)를 계속해서 구축하며, 추가적으로 센서(112)에 의해 출력된 신호에 기반하여 VR 공간 내의 가상 지팡이(128)의 원위 말단의 포지션과, 배향과, 움직임의 방향과, 속도를 계속해서 계산한다. 예를 들어, 사용자(108)는 하향 호를 그리며 막대(112)를 돌릴 수 있고, VR 애플리케이션(122)은 센서(114)에 의해 출력된 신호에 기반하여 가상 지팡이(128)의 원위 말단이 가상 공간 내의 땅에 부딪치는 때(그리고 부딪칠 때의 가상 지팡이(128)의 속력)를 판정할 수 있다.
VR 애플리케이션(122)이 가상 지팡이(128)의 원위 말단이 가상 공간 내의 땅에 부딪침을 판정하는 경우에, VR 애플리케이션(122)은 제어 신호가 VR 헤드세트(106), 브레이크 메커니즘(110) 및/또는 햅틱 디바이스(116)에 송신되게 할 수 있다. 제어 신호는, 예에서, 브레이크 메커니즘(110)으로 하여금 상향 방향으로 저항력을 생성하게 할 수 있는바, 이로써 사용자(108)가 호를 따라 더 하향으로 막대(104)를 돌리지 못하게 (하고 따라서 가상 지팡이(128)의 첨단부가 가상 공간 내의 땅을 꿰뚫지 못하게) 한다. 제어 신호는, 다른 예에서, 사용자(108)가 실세계 지팡이가 바닥에 부닥치는 감각을 갖도록, 햅틱 디바이스(116)로 하여금 (막대(112)가 진동되도록) 기계적 진동을 발하게 할 수 있다. 제어 신호는, 또 다른 예에서, VR 헤드세트(106)의 스피커로 하여금, 설령 막대의 원위 말단이 실세계 표면에 부딪치더라도, 바닥에 부딪치는(여기서 바닥은 가상 공간 내에 정의된 질감을 가짐) 실세계 지팡이의 첨단부를 모의하는 3차원 오디오를 발하게 할 수 있다. 다시 말해, 사용자(108)는 마치 사용자(108)가 실세계에서 실제의 지팡이를 사용하고 있고 지팡이로써 바닥을 두드리고 있는 것처럼 촉감 및 오디오 피드백을 제공받는다.
이 예를 계속하면, 사용자(108)는 이후 수평 방향으로, 사용자(108)의 신체에 대해서 좌측에서 우측으로 그리고 우측에서 좌측으로, 막대(112)의 원위 말단이 바닥 쪽을 향하는 채로, 지팡이 제어기(104)로 쓸기 시작할 수 있다. VR 애플리케이션(122)에 의해 구축된 가상 공간 내에서, 가상 지팡이(128)의 원위 말단은 바닥과의 접촉을 유지하면서 바닥을 가로질러 쓸게 된다. 센서(114)에 의해 생성된 신호에 기반하여, VR 애플리케이션(122)은 가상 공간 내의 가상 지팡이(128)의 원위 말단의 위치를 계산할 수 있고, 그러한 신호에 기반하여 브레이크 메커니즘(110), 햅틱 디바이스(116) 및/또는 VR 헤드세트(106)를 제어할 수 있다. VR 애플리케이션(122)은 사용자(108)가 가상 지팡이(128)의 원위 말단을 바닥을 관통하여 밀지 못하게 되도록 브레이크 메커니즘(110)을 제어할 수 있다. VR 애플리케이션(122)은 사용자(108)에게 진동성 피드백이 제공되도록 햅틱 디바이스(116)를 제어할 수 있는데, 그러한 피드백은 가상 지팡이(128)의 원위 말단이 가로질러 끌리고 있는 가상 공간 내의 바닥의 질감에 기반한다. 이 진동성 피드백에 기반하여, 사용자(108)는 가상 공간 내의 바닥이 카펫이 깔린 것인지, 나무로 된 것인지, 콘크리트로 된 것인지 등을 이해할 수 있다. VR 애플리케이션(122)은 바닥 위를 쓸고 있는 지팡이를 모의하는 오디오가 사용자(108)에게 제공되도록 VR 헤드세트(106)를 제어할 수 있다.
막대(112)로 쓸면서, VR 애플리케이션(122)은, 예를 들어, 가상 지팡이(128)의 원위 말단이 가상 공간 내의 가상 객체(124)의 표면에 부딪쳤음을 판정할 수 있다. 구체적으로, VR 애플리케이션(122)은 센서(114)에 의해 출력된 신호를 수신하고 신호에 기반하여 가상 지팡이(128)의 원위 말단이 가상 객체(124)의 표면에 부딪쳤음을 판정한다. VR 애플리케이션(122)은 가상 지팡이(128)의 원위 말단이 가상 공간 내의 가상 객체(124)의 표면에 부딪쳤음을 판정하는 것에 응답하여 브레이크 메커니즘(110), 햅틱 디바이스(116) 및/또는 VR 헤드세트(106)를 제어한다. 이전에 기술된 바와 같이, VR 애플리케이션(122)은 브레이크 메커니즘(110)이 막대(112)에 저항력을 인가하도록 브레이크 메커니즘(110)을 제어할 수 있는바, 이로써 사용자(108)가 좌측 방향으로 수평선상의 호를 따라 막대(112)를 더 돌리지 못하게 한다(이로써 가상 지팡이(128)의 원위 말단이 가상 객체(124)를 꿰뚫지 못하게 한다). VR 애플리케이션(122)은 가상 객체(124)의 소재 및 (VR 애플리케이션(122)에 의해 계산된 바와 같은) 가상 지팡이(128)의 원위 말단이 가상 객체(124)의 표면에 부딪친 속도에 기반하여 사용자(108)에게 진동성 피드백을 제공하도록 햅틱 디바이스(116)를 제어한다. VR 애플리케이션(122)은 VR 헤드세트(106)가 실세계 내의 객체에 부딪치는 지팡이를 모의하는 오디오를 발하도록 VR 헤드세트(106)를 제어한다. 이상으로부터, 사용자(108)는 지팡이를 사용할 때 실세계 공간과 상호작용하는 경우에 사용자(108)에 의해 지각되는 피드백을 모방하는(emulate) 피드백을 제공받음이 확인될 수 있다.
VR 시스템(100)이 시각적 장애를 가진 사람들에 의한 사용에 적정한 것으로 기술되었으나, VR 시스템(100)의 기술은 사용자가 반드시 시각적 장애를 갖지는 않는 다른 애플리케이션에 또한 적정하다. 예를 들어, 본 문서에 기술된 기술은 물리 치료 애플리케이션, 운동 훈련 애플리케이션, 엔터테인먼트 애플리케이션 및 유사한 것에 적정한데, VR 애플리케이션(122)은 사용자(108)가 가상 공간을 행로할 때 사용자(108)에게 시각적 정보를 제공하도록 VR 헤드세트(106)를 제어할 수 있다. 예에서, VR 시스템(100)의 기술은 훈련 시나리오에서 이용될 수 있는데, 여기서 외과의는 실세계에서의 수술에 대비해 훈련하기 위해 가상의 셋팅(setting)에서 수술을 실시하는 데에 VR 시스템(100)을 이용한다. 예를 들면, VR 애플리케이션(122)은 수술대 및 가상의 환자를 포함하는 가상 공간을 구축할 수 있는데, (실세계 수술칼과 흡사한) 장치가 막대(112)에 동작가능하게 커플링된다. VR 애플리케이션(122)은 (장치의 사용자 조작에 배향과, 위치와, 움직임의 방향과, 속도가 맵핑된) 가상의 수술칼이 가상의 환자의 어떤 소재(가령, 뼈)에 부딪치는 경우에 저항성 피드백을 제공하도록 브레이크 메커니즘(110)을 제어할 수 있다. 그러므로, 외과의는 실세계 환자에 대해 수술을 집도하기 전에 사실적인 수술 모의(simulation)를 치를 수 있다. 다른 예에서, 지팡이 제어기(104)는 사용자(108)가 하천 또는 호수를 홀로 카약에서 노 저어 가고 있는 가상 공간에서 노를 제어하는 데에 사용될 수 있다. VR 애플리케이션(122)은 노가 물에 부딪치고 이를 지나 이동하는 경우에 (적절히 조절된) 저항력을 제공하도록 브레이크 메커니즘(110)을 제어할 수 있다. 또한, 게임 셋팅에서, 사용자(108)는 칼싸움을 포함하는 게임을 플레이하고 있을 수 있는데; VR 애플리케이션(122)은, 가상의 칼이 서로를 지나갈 수 없도록, (피드백이 부딪침의 계산된 속도의 함수로서 제공되는) 환경에서 2개의 칼이 맞붙는 경우에 저항성 피드백을 제공하도록 브레이크 메커니즘(110)을 제어한다. 다른 애플리케이션이 용이하게 확인가능하다.
이제 도 2를 참조하면, 지팡이 제어기(104)의 예시적인 구현이 예시된다. 지팡이 제어기(104)는 막대(112), 센서(114), 햅틱 디바이스(116) 및 브레이크 메커니즘(110)을 포함한다. 지팡이 제어기(104)는 브레이크 메커니즘(110) 및 막대(112)에 동작가능하게 커플링된 제2 막대(202)를 추가적으로 포함한다. 제2 막대(202)는 근위 말단(204) 및 원위 말단(206)을 갖는데, 막대(202)의 근위 말단은 브레이크 메커니즘에 기계적으로 커플링된다. 막대(112)는 또한 근위 말단(208) 및 원위 말단(210)을 포함한다. 막대(112)의 근위 말단(208)은 사용자(108)에 의해 파지되도록 구성된 핸들(212)을 포함한다. 막대(212)의 원위 말단(210)은 제2 막대(202)에 커플링되고 제2 막대(202)의 길이를 따라 슬라이딩가능하다(slideable). 브레이크 메커니즘(110)은 용구(214)를 통하여서 사용자의 신체에 부착된다.
예에서, 브레이크 메커니즘(110)은 입자 브레이크(particle brake) 및/또는 자기 유변 브레이크(magneto rheological brake)를 포함할 수 있고, 사용자(108)의 복부에 접하고 땅바닥과 평행인 축에 대해 브레이크 메커니즘(110)이 자유롭게 회전할 수 있도록 용구(214)에 커플링된 단축(single-axis) 짐벌(gimbal)에 마운팅될(mounted) 수 있다. 다른 예에서, 브레이크 메커니즘(110)은 브레이크 메커니즘(110)이 또한 수직 축에 대해 자유롭게 회전할 수 있도록 2축 짐벌 내에 마운팅될 수 있다. 또 다른 예에서, 브레이크 메커니즘(110)은 볼 및 소켓 브레이크(ball and socket brake)를 포함할 수 있는데, 핸들(212)은 컴퓨팅 시스템(102)과의 통신이 되는 힘/토크 트랜스듀서(force/torque transducer)를 내부에 갖는다. 그러한 예시적인 실시예에서, 트랜스듀서는 막대(112)에 인가되는 순간적 힘/토크 방향을 나타내는 신호를 출력할 수 있고, 컴퓨팅 시스템(102)은 막대(112)에 인가되는 힘/토크에 비례하는 저항력을 볼 및 소켓 브레이크가 인가하도록 브레이크 메커니즘(110)을 제어할 수 있다. 그러므로, 브레이크 메커니즘(110)은 막대(112)를 통하여서 제2 막대(202)에 사용자(108)에 의해 인가된 힘에 기반하여 제2 막대(202)에 저항력을 제공하도록 구성된다. 브레이크 메커니즘(110)에 의해 제공된 저항력은 제2 막대(202)가 브레이크 메커니즘(110)의 중심 근처에 위치된 하나 이상의 축에 대해 회전하지 못하게 하는 회전력(rotary force)이다.
도 2에서 확인될 수 있는 바와 같이, 햅틱 디바이스(116)는 막대(112)의 원위 말단 근처에 위치되는 한편 센서(114)는 핸들(212) 근처에 위치되어서, 센서(114)는 막대(112)의 근위 말단 및 햅틱 디바이스(116) 사이에 위치된다. 제2 막대(202)는 막대(112)의 길이보다 더 긴 길이를 가질 수 있다. 따라서, 예를 들면, 제2 막대(202)의 길이는 24 인치 및 48 인치 사이일 수 있다.
예시적인 실시예에서, 브레이크 메커니즘(110) 및/또는 햅틱 디바이스(116)는 컴퓨팅 시스템(102)으로부터 무선으로 컴퓨팅 시스템(102)에 의해 생성된 제어 신호를 수신하도록 구성된 회로부를 포함할 수 있다. 그러므로, 컴퓨팅 시스템(102)은 직접적으로 브레이크 메커니즘(110) 및/또는 햅틱 디바이스(116)에 제어 신호를 송신할 수 있다. 다른 예시적인 실시예에서, 지팡이 제어기(104)는 컴퓨팅 시스템(102)과의 유선 또는 무선 통신이 되고 컴퓨팅 시스템(102) 및 브레이크 메커니즘(110) 및/또는 햅틱 디바이스(116) 간의 인터페이스로서 작용하는 제어 회로를 포함할 수 있다. 예를 들면, 제어 회로는 컴퓨팅 시스템(102)으로부터 제어 신호를 수신하고 브레이크 메커니즘(110) 및/또는 햅틱 디바이스(116)로 하여금 제어 신호에 따라 동작하게 하는 신호(들)를 브레이크 메커니즘(110) 및/또는 햅틱 디바이스(116)에 출력하도록 구성된 마이크로제어기(microcontroller)일 수 있다. 유사하게, 센서(114)는 컴퓨팅 시스템(102)에 직접적으로 신호를 송신하도록 구성될 수 있거나, 대안적으로 컴퓨팅 시스템(102)에 (유선에 의해 또는 무선으로) 신호를 송신하도록 구성된, 지팡이 제어기(104) 상의 마이크로제어기에 신호를 송신하도록 구성될 수 있다.
브레이크 메커니즘(110)에 관한 추가적인 세부사항이 이제 개진된다. 이전에 기술된 바와 같이, 브레이크 메커니즘(110)은 (회전식) 브레이크 샤프트(shaft)에 수직인 방향에서 힘에 저항하도록 구성된 저항성 메커니즘(resistive mechanism)일 수 있다. 임의의 적합한 방향에서 인가되는 힘의 지각을 가능하게 하기 위해, 브레이크 메커니즘(110)은 3개의 저항성 브레이크를 포함할 수 있다: 회전식 브레이크(rotary brake) 및 브레이크 샤프트를 갖는 2개의 브레이크(각각의 브레이크 샤프트는 샤프트에 대해 직각으로 레버 암(lever arm)에 연결됨). 저항성 브레이크 중 임의의 것에 대해, 이 배열은 브레이크의 회전 저항 토크(rotary resistance torque)를 레버 암의 말단에서의 선형 힘 저항(linear force resistance)으로 변환한다. 브레이크 메커니즘(110) 내의 브레이크는 브레이크 메커니즘(110)이 3개의 (기대되는) 저항 방향에서 힘을 인가할 수 있도록 구성될 수 있다 - 옆에서(sideways), 위아래로(up and down), 그리고 "스태빙"(stabbing). 따라서, 도 2에서, 3개의 브레이크는 막대(202)에 대해서 적어도 3개의 직교(orthogonal) 방향에서 작용하는데, 막대는 브레이크 메커니즘(110)에 고정된다. 컴퓨팅 시스템(102)은 센서(114)에 의해 출력된 신호를 수신하고, 브레이크 메커니즘(110)에 의해 막대에 인가될 저항력의 크기 및 방향을 계산하며, 브레이크 메커니즘(110)을 제어하기 위해 그러한 힘을 기하학적으로 변환하는데, 브레이크 메커니즘(110)은 사용자(108)에게 그 또는 그녀가 가상 객체를 꿰뚫을 수 없다는 지각을 제공하도록 제어된다.
브레이크 샤프트를 가진 2개의 브레이크는 2축 짐벌 내에 마운팅되고, 막대(202)(그리고 따라서 막대(112)의 수평 및 수직 움직임에 저항하는 것을 맡을 수 있다. 회전식 브레이크는 가상 지팡이(128)의 "스태빙" 움직임에 저항하는 것을 맡을 수 있다. 예에서, 2개의 도르래가 막대(202)의 근위 말단 및 원위 말단에 놓일 수 있는데, 2개의 도르래 사이를 단절없는 끈이 가로지른다. 2개의 도르래 중 하나는 회전식 브레이크인바, 컴퓨팅 시스템(102)은 센서(114)에 의해 출력된 신호에 기반하여 회전식 브레이크에 의해 끈에 인가되는 장력(tension)을 제어할 수 있는데, 신호는 막대(202)를 따라 막대(112)의 원위 말단(206)의 감지된(sensed) 움직임을 나타낸다. 장력은 "스태빙" 방향에서 사용자에 의해 인가된 힘에 대한 저항을 나타낸다. 브레이크 메커니즘(110)의 다른 구성이 또한 숙고되는데, 그러한 구성은 위에서 참조된 바와 같이, 힘/토크 센서와, 볼 및 소켓 브레이크를 포함할 수 있다.
이제 도 3을 참조하면, VR 애플리케이션(122)의 기능적 블록도가 예시된다. VR 애플리케이션(122)은 가상 공간(302)을 구축한다. 가상 공간(302)은 가상 경계(304)(예컨대 바닥 및 벽), 가상 공간(302) 내에 존재하는 가상 객체(306)(예컨대 테이블, 의자, 통 등), 그리고 가상 경계(304) 및 가상 객체(306)에 배정된 소재 및 질감(308)을 포함한다.
VR 애플리케이션(122)은 센서(114)에 의해 생성된 신호를 수신하고 가상 공간(302) 내의 가상 지팡이(128)의 원위 말단의 위치와, 배향과, 움직임의 방향과, 속도를 계산하도록 구성된 센서 분석기 컴포넌트(310)를 더 포함한다. 센서 분석기 컴포넌트(310)는 센서(114)에 의해 생성된 신호와, 지팡이 제어기(104) 상의 센서(114)의 알려진 위치와, 가상 지팡이(128)의 요망되는 길이에 기반하여 가상 지팡이(128)의 원위 말단의 위치와, 배향과, 움직임의 방향과, 속도를 계산한다.
VR 애플리케이션(122)은 다음에 기반하여 3차원 오디오가 사용자(108)에 제공되게 하는 오디오 제어기 컴포넌트(312)를 또한 포함한다: 1) 가상 공간(302) 내의 가상 지팡이(128)의 원위 말단의 위치와, 배향과, 움직임의 방향과, 속도; 및 2) 사용자(108)의 귀의 위치와 배향을 나타내는, VR 헤드세트(106)로부터의 센서 신호(이는 가상 공간(302) 내의 사용자(108)의 귀의 위치와 배향을 판정하는 데에 사용됨). 따라서, 사용자(108)는 가상 공간(302) 내의 객체의 지점을 알아내는 것과 관련하여 사용될 수 있는 오디오를 제공받는바, 이로써 실세계 공간을 행로하는 경우에 사용자(108)에 의해 이용되는 실세계 청각적 입력을 모의한다.
VR 애플리케이션은 센서(114)에 의해 출력된 신호에 기반하여 지팡이 제어기(104)의 햅틱 디바이스(116)를 제어하는 햅틱 제어기 컴포넌트(haptics controller component)(314)를 또한 포함한다. 햅틱 제어기 컴포넌트(314)는 가상 지팡이(128)의 원위 말단과 부딪치는 표면의 질감, 가상 지팡이(128)의 원위 말단이 가상 환경(302) 내의 가상 객체를 친 속도 및 기타 등등을 나타내는 진동 촉감 피드백이 사용자(108)에게 제공되도록 햅틱 디바이스(116)를 제어할 수 있다. 햅틱 제어기 컴포넌트(314)는 햅틱 디바이스(116)로 하여금 실세계 공간을 행로하는 경우에 실세계 지팡이 사용자가 느끼는 주파수와 진폭을 모방하는 주파수와 진폭을 가진 진동을 발하게 할 수 있다.
VR 애플리케이션(122)은 센서(114)에 의해 출력된 신호 및 가상 공간(302) 내의 가상 경계(304) 및 가상 객체(306)의 위치에 기반하여 브레이크 메커니즘(110)의 동작을 제어하는 브레이크 제어기 컴포넌트(316)를 또한 포함한다. 위에서 기술된 바와 같이, 브레이크 제어기 컴포넌트(316)는 가상 지팡이(128)가 가상 공간(302) 내의 단단한 표면을 꿰뚫지 못하게 하도록 브레이크 메커니즘(110)을 제어한다. 브레이크 제어기 컴포넌트(316)는 브레이크 메커니즘(110)으로 하여금 사용자(108)에 의해 지팡이 제어기(104)의 막대(112)에 인가되는 힘의 방향에 대항하는 방향에서 저항력을 생성하게 한다.
이제 도 4를 참조하면, 사용자(108)가 지팡이 제어기(104)를 이용하고 있는 예시적인 가상 공간(400)이 예시된다. 이 예에서, 가상 공간(400)에서, 거리 건널목에서 흔히 발견되는 촉지 반구(402) 위에서 가상 지팡이(128)의 원위 말단이 움직여진다. 사용자(108)가 가상 공간 내의 촉지 반구(402) 위를 가상 지팡이(128)로 쓸 때, 브레이크 메커니즘(110)은 가상 지팡이(128)가 그러한 반구 위를 쓸면서 가상 지팡이(128)가 촉지 반구(402)의 벽에 부딪치는 것의 지각을 사용자(108)에게 주도록 조절된다. 그러므로, 아래쪽으로 땅을 향하여 또 수평으로 지팡이 제어기(104)로 사용자(108)가 쓸기를 할 때 그러한 저항력이 막대(112)에 인가되도록 브레이크 제어기 컴포넌트(316)는 브레이크 메커니즘(110)을 제어할 수 있다. 햅틱 제어기 컴포넌트(314)는 또한, 가상 지팡이(128)의 첨단부가 가상 공간(400) 내의 촉지 반구(402) 위에서 이동할 때 지팡이가 진동하고 있다고 사용자(108)가 지각하도록, 진동성 피드백을 제공하도록 햅틱 디바이스(116)를 제어할 수 있다.
도 5 내지 도 7은 VR 애플리케이션에 관한 예시적인 방법론을 보여준다. 시퀀스(sequence) 내에서 수행되는 일련의 행위로서 방법론이 도시되고 기술되나, 방법론은 시퀀스의 순서에 의해 한정되지 않음이 이해되고 인식되어야 한다. 예를 들어, 몇몇 행위는 본 문서에서 기술된 것과는 상이한 순서로 발생할 수 있다. 추가로, 어떤 행위는 다른 행위와 동시에 발생할 수 있다. 또한, 몇몇 사례에서, 본 문서에 기술된 방법론을 구현하는 데에 모든 행위가 요구되지는 않을 수 있다.
나아가, 본 문서에 기술된 행위는 하나 이상의 프로세서에 의해 구현되고/거나 컴퓨터 판독가능 매체 또는 매체들 상에 저장될 수 있는 컴퓨터 실행가능 명령어일 수 있다. 컴퓨터 실행가능 명령은 루틴, 서브루틴, 프로그램, 실행의 쓰레드(thread of execution) 및/또는 유사한 것을 포함할 수 있다. 더 나아가, 방법론의 행위의 결과가 컴퓨터 판독가능 매체 내에 저장되고/거나, 디스플레이 디바이스 상에 디스플레이되고/거나, 기타 등등일 수 있다.
이제 도 5를 참조하면, 지팡이 제어기를 구성하기 위한 예시적인 방법론(500)이 예시된다. 방법론(500)은 502에서 시작하고, 504에서, 제1 막대의 근위 말단이 브레이크 메커니즘에 커플링되는데, 제1 막대는 근위 말단 및 원위 말단을 갖는다. 506에서, 제2 막대의 원위 말단이 제1 막대에 커플링되는데, 제2 막대는 근위 말단 및 원위 말단을 갖되, 근위 말단은 사용자에 의해 파지되도록 구성되고, 또한 제2 막대의 원위 말단은 제1 막대의 길이를 따라 슬라이딩될(slid) 수가 있다. 또한, 사용자에 의해 제2 막대에 인가된 힘에 기반하여 제1 막대에 대해서 제2 막대의 배향이 달라질 수 있도록 제2 막대는 제1 막대에 커플링된다. 예시적인 방법론(500)에서, 제1 막대는 막대(202)(도 2에서 제2 막대인 것으로 기술됨)일 수 있고 제2 막대는 막대(112)일 수 있다.
508에서, 센서가 제2 막대에 커플링되는데, 센서는 제2 막대의 원위 말단의 포지션 및 배향과, 움직임의 방향과, 속도에 대한 표시(indication)를 출력하도록 구성된다. 또한, 도시되지 않으나, 선택적으로, 제2 막대를 따라 사용자에 진동성 피드백이 제공될 수 있도록 제2 막대에 햅틱 디바이스가 커플링될 수 있다. 방법론(500)은 510에서 완료된다.
이제 도 6을 참조하면, VR 시스템의 일부로서 지팡이 제어기에 의해 수행되는 예시적인 방법론(600)이 예시된다. 예에서, 방법론(600)은 지팡이 제어기 상의 마이크로프로세서(microprocessor)에 의해 수행될 수 있다. 다른 예에서, 방법론의 행위는 지팡이 제어기의 별개의 컴포넌트에 의해 수행될 수 있다. 방법론(600)은 602에서 시작하고, 604에서, 센서 신호가 출력되는데, 센서 신호는 지팡이 제어기의 센서에 의해 생성된 신호에 기반하고, 또한 센서 신호는 막대의 원위 말단의 위치 및 배향과, 움직임의 방향과, 속도를 나타내되, 막대는 브레이크 메커니즘에 동작가능하게 커플링된다. 606에서, 센서와 통신이 되는 컴퓨팅 시스템으로부터 제어 신호가 수신되는데, 컴퓨팅 시스템은 지팡이 제어기의 사용자가 행로하고 있는 가상 공간 및 센서 신호에 기반하여 제어 신호를 생성한다. 608에서, 브레이크 메커니즘은 제어 신호에 기반하여 동작된다. 예를 들어, 브레이크 메커니즘은 (지팡이 제어기에 의해 제어되는) 가상 지팡이가 가상 공간 내의 단단한 표면에 부딪쳤음을 사용자에게 모의하도록 동작될 수 있다. 방법론(600)은 610에서 완료된다.
이제 도 7을 참조하면, 지팡이 제어기를 제어하는 컴퓨팅 시스템에 의해 수행되는 예시적인 방법론(700)이 예시된다. 방법론(700)은 702에서 시작하고, 704에서, 지팡이 제어기의 막대에 커플링된 센서로부터 센서 신호가 수신되는데, 막대는 사용자에 의해 조작된다. 706에서, 수신된 센서 신호에 기반하여 가상 공간 내의 가상 아이템(virtual item)의 적어도 일부분의 포지션과, 배향과, 움직임의 방향과, 속도가 계산된다. 예를 들면, 가상 아이템은 가상 지팡이일 수 있다. 708에서, 가상 아이템이 가상 환경 내의 가상 장애물에 부딪치고 있다는 판정이 행해지는데, 판정은 가상 공간 내의 가상 아이템의 계산된 포지션과, 배향과, 움직임의 방향과, 속도에 기반하여 행해진다. 710에서, 가상 아이템이 가상 장애물에 부딪치고 있음을 판정하는 것에 응답하여 막대에 커플링된 브레이크 메커니즘에 제어 신호가 송신되게 된다. 방법론(700)은 712에서 완료된다.
예
예시적인 지팡이 제어기를 만들기 위해, 접는 지팡이의 두 조각이 24 인치 지팡이 제어기를 창출하도록 조합되었다. 저항력을 생성하기 위해 브레이크 메커니즘으로서 PLACID industries 자기 입자 브레이크(magnetic particle brake)(모델 B35)가 사용되었고, 지팡이 제어기 상에 Dayton Audio® DAEX25FHE-4 음성 코일(voice coil)이 놓이고 기계적 진동을 생성하는 데에 사용되었다. VR 시스템은 사용자의 머리 포지션을 추적하고 3D 오디오 피드백을 생성하기 위해 HTC Vive® 헤드세트를 사용하였고, 지팡이 제어기에 그것의 포지션을 추적하기 위해 Vive® 추적기(tracker)가 부가되었다. VR 시스템은 Unity® 게임 엔진 내에 구현되었다.
예시적인 브레이크 메커니즘은 사용자의 신체를 앵커(anchor)로서 간주하여, 360° 회전을 허용한다. 브레이크 메커니즘의 중심은 35인치 슬라이더(slider)로써 지팡이 제어기의 첨단부에 연결되었다. 사용자가 지팡이 제어기로 쓸기를 할 때, 제어기의 첨단부는 슬라이더를 따라 슬라이딩하고 브레이크 주위를 회전하도록 슬라이더를 끈다. 브레이크 메커니즘을 제어하기 위해 POLOLU 모터 제어기 18n7이 사용되었다. 브레이크 샤프트 회전의 유연성(flexibility)에 대한 세립(fine grain) 조정이 행해질 수 있고, 따라서 사용자가 지팡이 제어기로 쓸기를 할 수 있는 용이성이 제어될 수 있다. 브레이크 메커니즘이 100%로 설정된 경우, 브레이크 샤프트는 회전할 수 없어서 사용자는 그의 또는 그녀의 신체를 회전하지 않고서 지팡이 제어기로 쓸기를 할 수 없다. 예시적인 VR 시스템에서, 이것은, 예컨대 가상 지팡이가 좌우 방향에서 수평으로 가상 객체에 부닥치는 경우에, 단단한 몸체 충돌을 렌더링하는 데에 사용된다. 브레이크 메커니즘은 추적기가 사용자가 반대 방향으로 제어기를 움직이기 시작함을 검출하는 경우에 해제된다(released). 가상 지팡이가 가상의 촉지 반구 위를 쓸 때에, 브레이크 메커니즘은 요철에 부닥치는 것의 저항을 모의하기 위해 각각의 요철에서 짧은 기간 내에 30%로 설정될 수 있다.
충돌 시 사실적인 진동을 생성하기 위해 LSM6DS33 3축 자이로 및 가속도계로써 임베딩된 POLOLU MiniIMU-9 v5가 실제의 지팡이에 부가되었고, 가속도 데이터는 실제의 지팡이가 다양한 객체와의 접촉이 되었을 때 기록되었다. 구비된 지팡이는 상이한 객체, 예컨대 벽, 금속 테이블, 플라스틱 쓰레기통에 부닥치고, 상이한 표면, 예컨대 카펫, 콘크리트 및 촉지 반구 상을 쓸어, 대응하는 가속도 데이터를 기록하는 데에 사용되었다. 상이한 표면 상을 지팡이로 쓸 때, 가속도 데이터에 대한 손 움직임의 효과를 감소시키기 위해 200 mm/s의 상대적으로 일정한 속력으로 쓸기가 시도되었다. 데이터는 1.4 kHz의 샘플 레이트(sample rate)로 기록되었다.
가속도 데이터는 음성 코일의 입력으로서 오디오 신호를 생성하기 위해 처리되었다. 데이터를 기록할 때 연구원의 손 움직임으로부터 가속도에서의 중력과 같은, 원치 않는 힘의 효과를 제거하기 위해 10 Hz의 고역 필터(high pass filter)가 우선 사용되었다. 고주파 진동에 대한 인간의 민감성은 대체로 방향과는 관계 없으므로, 3축 가속도 데이터는 제곱합제곱근(root sum square) 계산을 사용하여 1차원 신호로 조합되었는바, 오직 하나의 음성 코일이 필요하였다. 이후 신호는 그것을 음성 코일의 입력 범위에 들어맞게 하기 위해 상수 인자(constant factor)와 곱해졌다. 신호는 1.4 kHz로부터 표준적인 오디오 샘플 레이트인 44.1 kHz로 리샘플링되었고(resampled), 업샘플링된(up-sampled) 오디오는 음성 코일을 위한 출력 신호로서 사용되었다. 신호는 음성 코일을 구동하기 위해 VELLEMAN MK190 증폭기(amplifier)로써 증폭되었는바, 이로써 진동을 더 강하게 한다.
사실적인 3D 소리를 생성하기 위해, 지팡이가 상이한 표면 상을 쓸거나 이에 부닥칠 때 소리를 기록하기 위해 지팡이의 첨단부에 마이크(microphone)가 또한 부가되었다. 기록된 소리에서 잡음은 오디오 편집 소프트웨어로써 제거되었고, 편집된 소리는 가상 지팡이가 가상 공간 내의 대응하는 상호작용을 갖는 경우에 재생하기(play back) 위해 오디오 클립(audio clip)으로서 사용되었다. 소리는 가상 지팡이의 속력에 따라서 조절되었다. 3D 소리는 통용되는 머리 회전 전달 함수(Head Rotation Transfer Function: HRTF)와 함께 Microsoft® Spatializer Plugin을 사용하여 Unity® 내에 렌더링되었다.
이제 도 8을 참조하면, 본 문서에 개시된 시스템 및 방법론에 따라 사용될 수 있는 예시적인 컴퓨팅 디바이스(800)의 고수준 예시가 보여진다. 예를 들면, 컴퓨팅 디바이스(800)는 지팡이 제어기의 컴포넌트부를 제어하는 것을 지원하는 시스템에서 사용될 수 있다. 다른 예로서, 컴퓨팅 디바이스(800)는 사용자에게 3D 오디오를 제공하고/거나 사용자의 머리의 배향을 검출하도록 구성된 시스템에서 사용될 수 있다. 컴퓨팅 디바이스(800)는 메모리(804) 내에 저장된 명령어를 실행하는 적어도 하나의 프로세서(802)를 포함한다. 명령어는, 예를 들면, 위에서 논의된 하나 이상의 컴포넌트에 의해 수행되는 것으로서 기술된 기능성을 구현하기 위한 명령어 또는 위에서 기술된 방법 중 하나 이상을 구현하기 위한 명령어일 수 있다. 프로세서(802)는 시스템 버스(system bus)(806)를 통하여서 메모리(804)를 액세스할 수 있다. 실행가능 명렁어를 저장하는 것에 더하여, 메모리(804)는 또한 센서 데이터, 오디오 클립, 화상 등을 저장할 수 있다.
컴퓨팅 디바이스(800)는 시스템 버스(806)를 통하여서 프로세서(802)에 의해 액세스가능한 데이터 스토어(808)를 추가적으로 포함한다. 데이터 스토어(808)는 실행가능 명령어, 페이지, 검색 로그 등을 포함할 수 있다. 컴퓨팅 디바이스(800)는 외부 디바이스로 하여금 컴퓨팅 디바이스(800)와 통신할 수 있도록 하는 입력 인터페이스(810)를 또한 포함한다. 예를 들면, 입력 인터페이스(810)는 외부 컴퓨터 디바이스로부터, 사용자로부터, 기타 등등으로부터 명령어를 수신하는 데에 사용될 수 있다. 컴퓨팅 디바이스(800)는 컴퓨팅 디바이스(800)를 하나 이상의 외부 디바이스와 인터페이스하는 출력 인터페이스(812)를 또한 포함한다. 예를 들어, 컴퓨팅 디바이스(800)는 출력 인터페이스(812)를 통하여서 텍스트, 이미지 등을 디스플레이할 수 있다.
입력 인터페이스(810) 및 출력 인터페이스(812)를 통해 컴퓨팅 디바이스(800)와 통신하는 외부 디바이스는 사용자가 상호작용할 수 있는 실질적으로 임의의 유형의 사용자 인터페이스를 제공하는 환경 내에 포함될 수 있음이 숙고된다. 사용자 인터페이스 유형의 예는 그래픽 사용자 인터페이스(graphical user interface), 자연적 사용자 인터페이스(natural user interface) 및 기타 등등을 포함한다. 예를 들면, 그래픽 사용자 인터페이스는 키보드(keyboard), 마우스(mouse), 리모컨(remote control), 또는 유사한 것과 같은 입력 디바이스(들)를 이용하여 사용자로부터 입력을 수용하고 디스플레이와 같은 출력 디바이스 상에 출력을 제공할 수 있다. 또한, 자연적 사용자 인터페이스는 사용자로 하여금 키보드, 마우스, 리모컨 및 유사한 것과 같은 입력 디바이스에 의해 부과된 제약이 없는 방식으로 컴퓨팅 디바이스(800)와 상호작용할 수 있게 할 수 있다. 오히려, 자연적 사용자 인터페이스는 발화 인식(speech recognition), 터치 및 스타일러스 인식(touch and stylus recognition), 스크린 상에서의 또 스크린에 인접하여서의 제스처 인식(gesture recognition), 에어 제스처(air gesture), 머리 및 눈 추적(head and eye tracking), 음성 및 발화, 비전(vision), 터치, 제스처, 기계 지능(machine intelligence) 및 기타 등등에 의존할 수 있다.
추가적으로, 단일 시스템으로서 예시되나, 컴퓨팅 디바이스(800)는 분산된 시스템(distributed system)일 수 있음이 이해되어야 한다. 그러므로, 예를 들면, 몇 개의 디바이스가 네트워크 연결을 통하여서 통신이 될 수 있고 컴퓨팅 디바이스(800)에 의해 수행되는 것으로 기술된 과업을 집합적으로 수행할 수 있다.
본 문서에 기술된 다양한 기능은 하드웨어, 소프트웨어, 또는 이의 임의의 조합으로 구현될 수 있다. 만일 소프트웨어로 구현되는 경우, 기능은 컴퓨터 판독가능 매체 상에 하나 이상의 명령어 또는 코드로서 저장되거나 이를 통하여 송신될 수 있다. 컴퓨터 판독가능 매체는 컴퓨터 판독가능 저장 매체를 포함한다. 컴퓨터 판독가능 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 저장 매체일 수 있다. 한정이 아니라 예로서, 그러한 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지(optical disk storage), 자기 디스크 스토리지(magnetic disk storage) 또는 다른 자기 저장 디바이스, 또는 요망되는 프로그램 코드를 명령어 또는 데이터 구조의 형태로 전달하거나 저장하는 데에 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 본 문서에서 사용되는 바와 같이, 디스크(disk) 및 디스크(disc)는, 컴팩트 디스크(Compact Disc: CD), 레이저 디스크(laser disc), 광학 디스크(optical disc), 디지털 다기능 디스크(Digital Versatile Disc: DVD), 플로피 디스크(floppy disk) 및 블루레이 디스크(Blu-ray Disc: BD)를 포함하는데, 디스크(disk)는 통상적으로 자기적으로 데이터를 재현하고 디스크(disc)는 통상적으로 레이저로써 광학적으로 데이터를 재현한다. 또한, 전파되는 신호(propagated signal)는 컴퓨터 판독가능 저장 매체의 범위 내에 포함되지 않는다. 컴퓨터 판독가능 매체는 하나의 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 수월하게 하는 임의의 매체를 포함하는 통신 매체를 또한 포함한다. 연결은, 예를 들면, 통신 매체일 수 있다. 예를 들어, 만일 소프트웨어가 웹사이트, 서버, 또는 다른 원격 소스(remote source)로부터 동축 케이블(coaxial cable), 광섬유 케이블(fiber optic cable), 꼬임쌍선(twisted pair), 디지털 가입자 회선(Digital Subscriber Line: DSL), 또는 무선 기술, 예컨대 적외선(infrared), 무전(radio) 및 마이크로파(microwave)를 사용하여 송신되면, 동축 케이블, 광섬유 케이블, 꼬임쌍선, DSL, 또는 무선 기술, 예컨대 적외선, 무전 및 마이크로파는 통신 매체의 정의 내에 포함된다. 상기의 것의 조합이 또한 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
대안적으로, 또는 추가로, 본 문서에 기술된 기능성은, 적어도 부분적으로, 하나 이상의 하드웨어 로직 컴포넌트에 의해 수행될 수 있다. 예를 들어, 그리고 한정 없이, 사용될 수 있는 하드웨어 로직 컴포넌트의 예시적인 유형은 필드 프로그램가능 게이트 어레이(Field-Programmable Gate Array: FPGA), 프로그램 특정 집적 회로(Program-Specific Integrated Circuit)(ASIC), 프로그램 특정 표준 제품(Program-Specific Standard Product)(ASSP), 시스템 온 칩 시스템(System-on-a-chip system)(SOC), 복합 프로그램가능 로직 디바이스(Complex Programmable Logic Device: CPLD) 등을 포함한다.
위에서 기술된 것은 하나 이상의 실시예의 예를 포함한다. 물론, 전술된 측면을 기술하는 목적으로 위의 디바이스 또는 방법론의 구상가능한 수정 및 변경 하나하나를 기술하는 것은 가능하지 않으나, 통상의 기술자 중 하나라면 다양한 측면의 많은 추가의 수정 및 순열이 가능함을 인식할 것이다. 따라서, 기술된 측면은 부기된 청구항의 사상 및 범위 내에 속하는 모든 그러한 변경, 수정 및 변형을 망라하도록 의도된다. 더욱이, 용어 "포함한다"(include)가 상세한 설명에서든 또는 청구항에서든 사용되는 한, 그러한 용어는 "포함하는"(comprising)이 청구항에서 전이어(transitional word)로서 이용될 때 해석되는 것처럼 용어 "포함하는"(comprising)과 유사한 방식으로 포괄적인 것으로 의도된다.

Claims (20)

  1. 가상 현실(virtual reality) 환경에서의 사용을 위해 구성된 장치로서,
    브레이크 메커니즘(brake mechanism)과,
    제1 막대 근위 말단(rod proximal end) 및 제1 막대 원위 말단(rod distal end)을 갖는 제1 막대(rod) - 상기 제1 막대 근위 말단은 상기 브레이크 메커니즘에 커플링됨(coupled) - 와,
    제2 막대 근위 말단 및 제2 막대 원위 말단을 갖는 제2 막대 - 상기 제2 막대 근위 말단은 사용자의 손에 의해 파지되도록(grasped) 구성되고, 또한 상기 제2 막대 원위 말단은 상기 제2 막대 원위 말단이 상기 제1 막대 근위 말단 및 상기 제1 막대 원위 말단 사이의 상기 제1 막대를 따라 슬라이딩가능(slideable)하도록 상기 제1 막대에 커플링됨 - 와,
    상기 제2 막대에 커플링된 센서 - 상기 센서는 상기 제2 막대 원위 말단의 포지션(position)과, 움직임의 방향과, 속도를 나타내는 신호를 컴퓨팅 시스템에 출력하도록 구성되고, 또한 상기 컴퓨팅 시스템은 상기 센서에 의해 출력된 상기 신호의 함수로서 상기 브레이크 메커니즘을 제어하도록 구성됨 - 를 포함하는,
    장치.
  2. 제1항에 있어서,
    상기 제2 막대에 커플링된 햅틱 디바이스(haptic device)를 포함하되, 상기 햅틱 디바이스는 상기 사용자의 상기 손에 진동성 피드백을 제공하도록 구성된,
    장치.
  3. 제2항에 있어서,
    상기 센서는 상기 햅틱 디바이스 및 상기 제2 막대 근위 말단 사이에 위치하는,
    장치.
  4. 제1항에 있어서,
    상기 제1 막대는 24 인치 및 48 인치 사이의 길이를 갖고, 또한 상기 제2 막대는 12 인치 및 36 인치 사이의 길이를 갖는,
    장치.
  5. 제1항에 있어서,
    상기 제1 막대의 길이는 상기 제2 막대의 길이보다 긴,
    장치.
  6. 제1항에 있어서,
    상기 브레이크 메커니즘은 서로 직교인 3개의 평면에서 상기 제1 막대에 저항력을 인가하도록 구성된,
    장치.
  7. 제1항에 있어서,
    상기 브레이크 메커니즘에 커플링된 짐벌(gimbal)을 더 포함하되, 상기 짐벌은 제1 평면에서의 상기 브레이크 메커니즘의 자유로운 움직임을 가능하게 하되, 상기 브레이크 메커니즘은 상기 제1 평면에 직교인 제2 평면에서 상기 제1 막대에 회전력을 인가하도록 구성된,
    장치.
  8. 제1항에 있어서,
    힘/토크 센서(force/torque sensor)를 더 포함하되, 상기 브레이크 메커니즘은 상기 힘/토크 센서의 출력에 기반하여 제어되는 볼 및 소켓 브레이크(ball and socket brake)를 포함하는,
    장치.
  9. 제1항에 있어서,
    상기 컴퓨팅 시스템은 가상 현실 헤드셋을 포함하는,
    장치.
  10. 제1항에 있어서,
    상기 컴퓨팅 시스템은 모바일 전화 또는 비디오 게임 시스템 중 하나인,
    장치.
  11. 가상 현실 환경에서의 사용을 위해 구성된 장치로서,
    브레이크 메커니즘과,
    상기 브레이크 메커니즘에 커플링된 막대 - 상기 브레이크 메커니즘은 상기 막대에 저항력을 인가하도록 구성되되, 상기 저항력은 상기 막대에 외부에서 인가된 힘에 대항함 - 와,
    상기 막대에 커플링된 센서 - 상기 센서는 상기 막대의 포지션과, 움직임의 방향과, 속도를 나타내는 신호를, 컴퓨팅 시스템에 출력하도록 구성되고, 또한 상기 컴퓨팅 시스템은 상기 센서에 의해 출력된 상기 신호에 기반하여 상기 브레이크 메커니즘에 의해 상기 막대에 인가된 상기 저항력의 크기를 제어하도록 구성됨 - 를 포함하는,
    장치.
  12. 제11항에 있어서,
    제2 막대를 더 포함하되, 상기 제2 막대는 제2 막대 근위 말단 및 제2 막대 원위 말단을 갖고, 상기 제2 막대 근위 말단은 상기 브레이크 메커니즘에 연결되며, 또한 상기 막대는 상기 제2 막대를 통하여 상기 브레이크 메커니즘에 커플링된,
    장치.
  13. 제12항에 있어서,
    상기 막대는 제1 막대 근위 말단 및 제1 막대 원위 말단을 갖되, 상기 제1 막대 근위 말단은 상기 장치의 사용자의 손에 의해 파지되도록 구성되고, 또한 상기 제1 막대 원위 말단은 상기 제2 막대에 커플링되되, 상기 제1 막대 원위 말단은 상기 제2 막대의 길이를 따라 슬라이딩가능한,
    장치.
  14. 제13항에 있어서,
    상기 막대를 따라 기계적 진동을 생성하도록 구성된 햅틱 디바이스를 더 포함하되, 상기 컴퓨팅 시스템은 상기 센서에 의해 출력된 상기 신호에 기반하여 상기 기계적 진동의 크기를 제어하도록 구성된,
    장치.
  15. 제14항에 있어서,
    상기 센서는 상기 제1 막대 근위 말단 및 햅틱 디바이스 사이에 위치된,
    장치.
  16. 제11항에 있어서,
    상기 막대는 12 인치 및 36 인치 사이인 길이를 갖는,
    장치.
  17. 가상 현실 시스템에서의 사용을 위해 구성된 장치로서,
    막대와,
    상기 막대에 힘을 인가하기 위한 제동(braking) 수단과,
    상기 막대의 원위 말단의 위치와, 움직임의 방향과, 속도를 나타내는 신호를 출력하기 위한 센서 수단 - 상기 신호를 수신하고 상기 신호에 기반하여 상기 제동 수단에 제어 신호를 송신하도록 컴퓨팅 시스템이 구성되되, 상기 제어 신호는 상기 제동 수단에 의해 상기 막대에 인가될 상기 힘의 크기를 나타내고, 또한 상기 제동 수단은 상기 제어 신호 내에 나타내어진 상기 크기를 가진 상기 힘을 인가함 - 을 포함하는,
    장치.
  18. 제17항에 있어서,
    상기 막대에 커플링된 진동(vibration) 수단을 더 포함하되, 상기 진동 수단은 상기 컴퓨팅 시스템으로부터 수신된 제2 제어 신호에 기반하여 상기 막대를 따라 진동을 생성하도록 구성된,
    장치.
  19. 제17항에 있어서,
    힘/토크 센서를 더 포함하되, 상기 제동 수단은 상기 힘/토크 센서의 출력에 기반하여 제어되는 볼 및 소켓 브레이크를 포함하는,
    장치.
  20. 제17항에 있어서,
    상기 제동 수단은 입자 브레이크(particle brake) 및 자기 유변 브레이크(magneto rheological brake) 중 적어도 하나를 포함하는,
    장치.
KR1020207014513A 2017-11-22 2018-11-15 가상 현실 시스템에서의 사용을 위한 장치 KR102655149B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/821,713 2017-11-22
US15/821,713 US10551940B2 (en) 2017-11-22 2017-11-22 Apparatus for use in a virtual reality system
PCT/US2018/061160 WO2019103901A1 (en) 2017-11-22 2018-11-15 Apparatus for use in a virtual reality system

Publications (2)

Publication Number Publication Date
KR20200089675A KR20200089675A (ko) 2020-07-27
KR102655149B1 true KR102655149B1 (ko) 2024-04-05

Family

ID=64572587

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207014513A KR102655149B1 (ko) 2017-11-22 2018-11-15 가상 현실 시스템에서의 사용을 위한 장치

Country Status (4)

Country Link
US (2) US10551940B2 (ko)
EP (1) EP3694617B1 (ko)
KR (1) KR102655149B1 (ko)
WO (1) WO2019103901A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017043101A1 (ja) * 2015-09-08 2017-03-16 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US11497673B2 (en) * 2016-11-03 2022-11-15 Wewalk Limited Motion-liberating smart walking stick
US10551940B2 (en) 2017-11-22 2020-02-04 Microsoft Technology Licensing, Llc Apparatus for use in a virtual reality system
FR3079424B1 (fr) * 2018-03-27 2021-04-23 Protubevr Support de manette pour jeux video de realite virtuelle
US10739857B2 (en) * 2018-04-21 2020-08-11 Dale Kazdan Wearable tracking computer
US11000442B2 (en) * 2019-01-22 2021-05-11 Victor Ramos Mobility tool
US10667073B1 (en) * 2019-06-10 2020-05-26 Bose Corporation Audio navigation to a point of interest
CN113545968A (zh) * 2020-04-24 2021-10-26 人类工程株式会社 利用电磁感应的能量收集装置及智能手杖
US20230259197A1 (en) * 2020-07-02 2023-08-17 VirtuReal Pty Ltd A Virtual Reality System
US20220295209A1 (en) * 2021-03-12 2022-09-15 Jennifer Hendrix Smart cane assembly
KR102526843B1 (ko) * 2021-04-22 2023-04-27 한국기술교육대학교 산학협력단 증강현실 기반의 시촉각 ar 매체
CN114712847A (zh) * 2022-03-31 2022-07-08 歌尔智能科技有限公司 一种电子交互设备
CN114721518A (zh) * 2022-03-31 2022-07-08 歌尔智能科技有限公司 电子交互设备的控制方法、控制装置及电子交互设备
CN115019591B (zh) * 2022-08-05 2022-11-04 上海华模科技有限公司 手术模拟方法、装置及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140168176A1 (en) 2012-12-17 2014-06-19 Microsoft Corporation Multi-purpose stylus for a computing device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5767839A (en) 1995-01-18 1998-06-16 Immersion Human Interface Corporation Method and apparatus for providing passive force feedback to human-computer interface systems
US7113166B1 (en) * 1995-06-09 2006-09-26 Immersion Corporation Force feedback devices using fluid braking
US7445550B2 (en) * 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
EP3382678B1 (en) * 2017-03-27 2019-07-31 Ecole Polytechnique Federale De Lausanne (Epfl) An electromagnetic actuator
US20180293980A1 (en) * 2017-04-05 2018-10-11 Kumar Narasimhan Dwarakanath Visually impaired augmented reality
US10551940B2 (en) 2017-11-22 2020-02-04 Microsoft Technology Licensing, Llc Apparatus for use in a virtual reality system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140168176A1 (en) 2012-12-17 2014-06-19 Microsoft Corporation Multi-purpose stylus for a computing device

Also Published As

Publication number Publication date
US10551940B2 (en) 2020-02-04
WO2019103901A1 (en) 2019-05-31
EP3694617B1 (en) 2023-09-06
KR20200089675A (ko) 2020-07-27
US20190155404A1 (en) 2019-05-23
US11379054B2 (en) 2022-07-05
US20200150784A1 (en) 2020-05-14
EP3694617A1 (en) 2020-08-19

Similar Documents

Publication Publication Date Title
KR102655149B1 (ko) 가상 현실 시스템에서의 사용을 위한 장치
Siu et al. Virtual reality without vision: A haptic and auditory white cane to navigate complex virtual worlds
Zhao et al. Enabling people with visual impairments to navigate virtual reality with a haptic and auditory cane simulation
Cherni et al. Literature review of locomotion techniques in virtual reality.
Atienza et al. Interaction techniques using head gaze for virtual reality
US6028593A (en) Method and apparatus for providing simulated physical interactions within computer generated environments
KR100812624B1 (ko) 입체영상 기반 가상현실장치
Wang et al. Comparing isometric and elastic surfboard interfaces for leaning-based travel in 3D virtual environments
US20200139240A1 (en) Virtual reality collision interpretation
JP2018109835A (ja) シミュレーションシステム及びプログラム
JP2018136938A (ja) 自動局所触覚生成システム
Deligiannidis et al. The vr scooter: Wind and tactile feedback improve user performance
KR101710000B1 (ko) 모션 추적 기반 3차원 인터페이스 장치 및 그 방법
US20220252881A1 (en) System and method for haptic interactive experiences
JP6910809B2 (ja) シミュレーションシステム、プログラム及びコントローラ
JP2002123840A (ja) 臨場感型仮想現実提供処理方法および装置
Evett et al. An interface to virtual environments for people who are blind using Wii technology‐mental models and navigation
US11691071B2 (en) Peripersonal boundary-based augmented reality game environment
Zhao et al. Demonstration of enabling people with visual impairments to navigate virtual reality with a haptic and auditory cane simulation
Chhor et al. Breakout: Design and evaluation of a serious game for health employing intel realsense
Hilsendeger et al. Navigation in virtual reality with the wii balance board
Nilsson Walking Without Moving: An exploration of factors influencing the perceived naturalness of Walking-in-Place techniques for locomotion in virtual environments
Magnusson et al. A dynamic haptic-audio traffic environment
Kurihara et al. Haptic robotization of the human body by data-driven vibrotactile feedback
Loviscach Playing with all senses: Human–Computer interface devices for games

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant