KR20160128233A - 촉각 안내를 위한 시스템들 및 방법들 - Google Patents

촉각 안내를 위한 시스템들 및 방법들 Download PDF

Info

Publication number
KR20160128233A
KR20160128233A KR1020160050044A KR20160050044A KR20160128233A KR 20160128233 A KR20160128233 A KR 20160128233A KR 1020160050044 A KR1020160050044 A KR 1020160050044A KR 20160050044 A KR20160050044 A KR 20160050044A KR 20160128233 A KR20160128233 A KR 20160128233A
Authority
KR
South Korea
Prior art keywords
haptic
sensor
user
processor
objects
Prior art date
Application number
KR1020160050044A
Other languages
English (en)
Inventor
압델와합 하맘
후안 마누엘 크루즈-에르난데스
리웬 우
자말 사보우네
빈센트 레베스크
로버트 라크로와
대니 그랜트
Original Assignee
임머숀 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임머숀 코퍼레이션 filed Critical 임머숀 코퍼레이션
Publication of KR20160128233A publication Critical patent/KR20160128233A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45B—WALKING STICKS; UMBRELLAS; LADIES' OR LIKE FANS
    • A45B3/00—Sticks combined with other objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/40—Applying electric fields by inductive or capacitive coupling ; Applying radio-frequency signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02K—DYNAMO-ELECTRIC MACHINES
    • H02K41/00—Propulsion systems in which a rigid body is moved along a path due to dynamo-electric interaction between the body and a magnetic field travelling along the path
    • H02K41/02—Linear motors; Sectional motors
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72475—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users
    • H04M1/72481—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users for visually impaired users
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A61H2003/063—Walking aids for blind persons with electronic detecting or guiding means with tactile perception
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/01—Constructive details
    • A61H2201/0119—Support for the device
    • A61H2201/0153—Support for the device hand-held
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/01—Constructive details
    • A61H2201/0173—Means for preventing injuries
    • A61H2201/0184—Means for preventing injuries by raising an alarm
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/10—Characteristics of apparatus not provided for in the preceding codes with further special therapeutic means, e.g. electrotherapy, magneto therapy or radiation therapy, chromo therapy, infrared or ultraviolet therapy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/1635—Hand or arm, e.g. handle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5007—Control means thereof computer controlled
    • A61H2201/501—Control means thereof computer controlled connected to external computer devices or networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5007—Control means thereof computer controlled
    • A61H2201/501—Control means thereof computer controlled connected to external computer devices or networks
    • A61H2201/5012—Control means thereof computer controlled connected to external computer devices or networks using the internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5064—Position sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5079—Velocity sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5084—Acceleration sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5092—Optical sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5097—Control means thereof wireless

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Epidemiology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Rehabilitation Therapy (AREA)
  • Pain & Pain Management (AREA)
  • Power Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Electromagnetism (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

촉각 안내를 위한 시스템들 및 방법들이 개시된다. 본 명세서의 하나의 예시적인 방법 개시내용은: 영역과 관련되는 하나 이상의 오브젝트들을 판정하도록 구성되는 센서로부터 센서 신호를 수신하는 단계; 센서 신호에 일부 기초하여 영역 정보를 판정하는 단계; 영역 정보에 일부 기초하여 햅틱 효과를 판정하는 단계; 및 햅틱 효과와 관련되는 햅틱 신호를 햅틱 효과를 출력하도록 구성되는 햅틱 출력 디바이스에 송신하는 단계를 포함한다.

Description

촉각 안내를 위한 시스템들 및 방법들{SYSTEMS AND METHODS FOR TACTILE GUIDANCE}
본 발명은 사용자 인터페이스 디바이스들의 분야에 관한 것이다. 보다 구체적으로, 본 발명은 촉각 안내를 위한 시스템들에 관한 것이다.
모바일 전화들과 같은, 핸드헬드 디바이스들이 점점 인기있게 되었다. 이러한 디바이스들 중 일부는 영역 센서들을 포함한다. 이러한 영역 센서들은 모바일 디바이스들이 주변 영역들에 대한 정보를 검출할 수 있게 한다. 다음으로 이 정보는 시각적 수단을 통해 사용자에게 통신될 수 있다. 많은 디바이스들이 햅틱 피드백을 위한 능력을 더 포함하고, 이는 촉각 수단을 통해 사용자에게 정보를 통신하는데 사용될 수 있다. 따라서, 촉각 안내를 위한 시스템들 및 방법들에 대한 필요성이 존재한다.
본 발명의 실시예들은 햅틱 신호들을 판정하고 햅틱 효과들을 출력하는 능력을 특징으로 하는 디바이스들을 포함한다. 일부 실시예들에서, 이러한 햅틱 효과들은 터치 영역에서 하나 이상의 피처들을 시뮬레이션하는 표면 기반 햅틱 효과들을 포함할 수 있다. 피처들은 표면과 접촉하는 오브젝트를 사용하여 인지될 수 있는, 터치 표면에서의 경계들, 장애물들, 또는 다른 불연속들의 시뮬레이션 및/또는 질감의 변화들을 포함할 수 있지만, 이에 제한되지는 않는다. 일부 실시예들에서, 햅틱 효과들은 표면 변형들, 진동들, 및 본 분야에 알려진 다른 촉각 효과들을 포함할 수 있다. 일부 실시예들에서 이러한 햅틱 효과들은 영역과 관련된 정보, 예를 들어, 그 영역에서의 장애물들 또는 그 영역의 지도와 관련된 정보를 통신하는데 사용될 수 있다.
일 실시예에서, 촉각 안내를 위한 방법은, 영역과 관련되는 하나 이상의 오브젝트들을 판정하도록 구성되는 센서로부터 센서 신호를 수신하는 단계; 센서 신호에 일부 기초하여 영역 정보를 판정하는 단계; 영역 정보에 일부 기초하여 햅틱 효과를 판정하는 단계; 및 햅틱 효과와 관련되는 햅틱 신호를 햅틱 효과를 출력하도록 구성되는 햅틱 출력 디바이스에 송신하는 단계를 포함한다.
다른 예시적인 실시예에서, 촉각 안내를 위한 시스템은, 영역 정보를 판정하고, 영역 정보와 관련되는 센서 신호를 송신하도록 구성되는 센서; 센서와 통신하는 프로세서- 프로세서는, 센서 신호에 일부 기초하여 영역 정보를 판정하고; 영역 정보에 일부 기초하여 햅틱 효과를 판정하며; 햅틱 효과와 관련되는 햅틱 신호를 송신하도록 구성됨 -; 및 프로세서와 통신하는 햅틱 출력 디바이스- 햅틱 출력 디바이스는 햅틱 신호를 수신하고 햅틱 효과를 출력하도록 구성됨 -를 포함한다.
다른 예시적인 실시예는 프로그램 코드를 포함하는 비-일시적 컴퓨터 판독가능 매체를 포함하는데, 프로그램 코드는, 프로세서에 의해 실행될 때, 프로세서로 하여금, 영역과 관련되는 하나 이상의 오브젝트들을 판정하도록 구성되는 센서로부터 센서 신호를 수신하게 하고; 센서 신호에 일부 기초하여 영역 정보를 판정하게 하고; 영역 정보에 일부 기초하여 햅틱 효과를 판정하게 하며; 햅틱 효과와 관련되는 햅틱 신호를 햅틱 효과를 출력하도록 구성되는 햅틱 출력 디바이스에 송신하게 하도록 구성된다.
이러한 예시적인 실시예들은 본 주제의 한계들을 제한하거나 또는 정의하려고 언급되는 것이 아니라, 그 이해를 돕기 위한 예들을 제공하려는 것이다. 예시적인 실시예들이 발명을 실시하기 위한 구체적인 내용에 논의되며, 추가적 설명이 그곳에 제공된다. 다양한 실시예들에 의해 제공되는 이점들은 본 명세서를 검토함으로써 및/또는 청구되는 주제의 하나 이상의 실시예들을 실시함으로써 더욱 이해될 수 있다.
본 명세서의 나머지에 전체적이고 가능하게 하는 개시내용이 더 구체적으로 제시된다. 이러한 명세서는 이하의 첨부 도면들을 참조한다.
도 1a는 촉각 안내를 위한 예시적인 시스템을 보여준다.
도 1b는 도 1a에 도시된 시스템의 일 실시예의 외관을 보여준다.
도 1c는 도 1a에 도시된 시스템의 다른 실시예의 외관을 도시한다.
도 2a는 촉각 안내를 위한 예시적인 실시예를 도시한다.
도 2b는 촉각 안내를 위한 다른 예시적인 실시예를 도시한다.
도 3a는 촉각 안내를 위한 또 다른 예시적인 실시예를 도시한다.
도 3b는 촉각 안내를 위한 또 다른 예시적인 실시예를 도시한다.
도 4는 촉각 안내를 위한 또 다른 예시적인 실시예를 도시한다.
도 5는 촉각 안내를 위한 예시적인 일 실시예를 위한 방법 단계들의 흐름도이다.
이제, 다양한 그리고 대안적인 예시적인 실시예들 및 첨부 도면들에 대한 참조가 상세하게 이루어질 것이다. 각각의 예는 제한으로서가 아니라 설명으로 제공된다. 수정들 및 변형들이 이루어질 수 있다는 점이 본 기술분야의 통상의 기술자들에게 명백할 것이다. 예를 들어, 일 실시예의 일부로서 도시되거나 설명되는 피처들이 다른 실시예에서 또 다른 실시예를 산출하는데 사용될 수 있다. 따라서, 본 개시내용은 첨부된 청구항들 및 그들의 등가물들의 범위 내에 있는 수정들 및 변형들을 포함하는 것으로 의도된다.
촉각 안내를 위한 디바이스의 예시적인 예
본 개시내용의 예시적인 일 실시예는 태블릿, 이-리더(e-reader), 모바일 전화, 웨어러블 디바이스와 같은 모바일 전자 디바이스, 또는 랩톱 컴퓨터와 같은 컴퓨터를 포함한다. 예시적인 실시예에서, 전자 디바이스는 (터치 스크린 디스플레이와 같은) 디스플레이, 메모리, 및 이러한 엘리먼트들 각각과 통신하는 프로세서를 포함한다. 이러한 예시적인 디바이스는 통상적으로 모바일 디바이스에서 발견되는 애플리케이션들, 예를 들어, 텍스팅, 이메일, 게임들 등을 위한 애플리케이션들을 포함한다. 이러한 예시적인 디바이스의 사용자는 사용자의 집중을 요구하는 다른 액티비티들에 관여하면서, 예를 들어, 방을 통과하며 또는 붐비는 거리에서 걸으면서 이러한 애플리케이션들을 사용할 수 있다.
예시적인 실시예에서, 모바일 디바이스는 디바이스를 둘러싸는 영역에 있는 하나 이상의 오브젝트들을 검출하고 이러한 오브젝트들과 관련되는 센서 신호를 송신하도록 구성되는 영역 센서를 더 포함한다. 예시적인 실시예에서, 이러한 하나 이상의 오브젝트들은 사용자 주변 영역에서 발견되는 임의의 오브젝트, 예를 들어, 실내 오브젝트들(예를 들어, 가구, 지지 기둥들, 벽들, 문들, 또는 실내 영역과 관련되는 다른 오브젝트들); 실외 오브젝트들(예를 들어, 나무들, 바위들, 구멍들, 뿌리들, 그루터기들, 제한물들(curbs), 자동차들, 자전거들, 또는 실외 영역과 관련되는 다른 오브젝트들)을 포함할 수 있다. 또한, 이러한 하나 이상의 오브젝트들은 이동 오브젝트들(예를 들어, 동물들, 자동차들, 사람 등) 또는 비-이동 오브젝트들(예를 들어, 나무들, 벽들, 물웅덩이들 등)을 포함할 수 있다. 예시적인 실시예에서, 영역 센서는 초음파 센서, 적외선 센서, 레이저 센서, 또는 카메라 중 하나 이상을 포함할 수 있다. 일부 실시예들에서, 영역 센서는 이러한 하나 이상의 오브젝트들의 하나 이상의 주요 디스크립터들(key descriptors)을 검출하도록 더욱 구성될 수 있다. 일부 실시예들에서, 이러한 주요 디스크립터들은, 예를 들어, 색, 온도, 이동, 가속도, 치수들, 또는 오브젝트와 관련되는 일부 다른 특성을 포함할 수 있다.
예시적인 실시예에서, 프로세서는 영역 센서로부터 신호들을 수신할 수 있다. 이러한 신호들에 기초하여 프로세서는 사용자 주변 영역과 관련되는 하나 이상의 오브젝트들 및 이러한 오브젝트들과 관련되는 하나 이상의 주요 디스크립터들을 판정할 수 있다. 예를 들어, 예시적인 실시예에서, 영역 센서는 사용자 주변 영역, 예를 들어, 사용자가 위치되는 실내 또는 실외 영역의 다양한 오브젝트들을 검출할 수 있다. 예시적인 실시예에서, 모바일 디바이스는 그 영역에 있는 오브젝트들에 일부 기초하여 사용자의 위치를 판정할 수 있다. 예를 들어, 모바일 디바이스는 오브젝트들과 관련되는 데이터를 영역 정보의 데이터베이스와 비교할 수 있다. 이러한 비교에 기초하여 모바일 디바이스는 모바일 디바이스 및 사용자가 알려진 위치, 예를 들어, 집, 시장, 공원, 캠퍼스, 사무실, 또는 일부 다른 알려진 위치에 있다고 판정할 수 있다. 이러한 실시예에서, 데이터베이스는 인터넷 액세스가능한 "클라우드(cloud)" 데이터베이스를 포함할 수 있는데, 이는 하나 이상의 공적 및/또는 사적 그룹들에 의해 지속적으로 업데이트될 수 있다. 또한, 이러한 데이터베이스는 복수의 모바일 애플리케이션들 및 웹페이지들에 의해 사용되거나 액세스되는 지도 데이터의 데이터베이스를 포함할 수 있다. 일부 실시예들에서, 이러한 데이터베이스는 지구 전반적으로 다양한 영역들과 관련되는 영역 정보를 포함할 수 있다. 예시적인 실시예에서, 프로세서는 이러한 영역 정보를 사용자 주변에서 검출되는 정보와 비교할 수 있고, 이러한 비교에 일부 기초하여, 사용자의 현재 위치를 판정할 수 있다.
예시적인 실시예에서, 사용자는 영역(예를 들어, 방, 복도, 또는 인도)을 횡단하면서 모바일 디바이스의 디스플레이에 집중할 수 있다. 예를 들어, 사용자는 텍스팅 애플리케이션에 집중할 수 있고, 따라서 그의 또는 그녀의 주위상황들에 집중하지 않을 수 있다. 이러한 실시예에서, 모바일 디바이스는 사용자가 하나 이상의 오브젝트들을 향해 걸어갈 가능성이 있다고 판정할 수 있고, 예를 들어, 이러한 오브젝트(들)는 사용자의 경로에 있는 장애물, 예를 들어, 의자를 포함할 수 있다. 이러한 실시예에서 모바일 디바이스는 사용자에게 주의를 주기 위해 경고를 출력할 수 있다. 예시적인 실시예에서 이러한 경고는 그래픽 경고(예를 들어, 디스플레이 상의 시각적 주의), 청각적 경고(예를 들어, 청각적 경보), 또는 촉각적 경고(예를 들어, 진동, 변형, 표면 피처, 또는 일부 다른 햅틱 효과) 중 하나 이상을 포함할 수 있다. 예를 들어, 예시적인 실시예에서, 사용자가 장애물의 일정 거리 내에 있다고 모바일 디바이스가 판정하면, 모바일 디바이스는 2가지 경고들을 출력할 수 있다. 예시적인 실시예에서, 이러한 2가지 경고들은 모바일 디바이스의 디스플레이 상에 텍스트를 디스플레이하는 것과 같은 그래픽 경고 및 촉각 경고를 포함할 수 있다. 일부 실시예들에서 이러한 촉각 경고는, 예를 들어, 진동, 변형(예를 들어, 오브젝트의 방향으로의 또는 오브젝트로부터 멀어지는 방향으로의 표면의 변형), 또는 표면 기반의 효과(예를 들어, 터치 표면 상의 마찰 계수에서의 변화)를 포함할 수 있다. 예시적인 실시예에서, 이러한 경고들은 사용자에게 그 또는 그녀가 장애물을 향하여 걸어갈 것이라고 통지할 수 있다.
또한, 예시적인 실시예에서, 프로세서는 사용자가 위치되는 영역의 "지도(map)"를 판정할 수 있다. 이러한 지도는 그 영역의 레이아웃 및 그 영역에 위치되는 다양한 오브젝트들을 포함할 수 있다. 예시적인 실시예에서 프로세서는 로컬 메모리에 이러한 지도를 저장할 수 있다. 또한, 이러한 실시예에서, 프로세서는 그 영역에 있는 하나 이상의 오브젝트들과 관련되는 햅틱 효과들을 판정할 수 있다. 이러한 실시예에서, 예시적인 디바이스는 오브젝트들의 위치들을 사용자에게 경고하도록 구성되는 하나 이상의 햅틱 효과들을 판정할 수 있다. 일부 실시예들에서, 이러한 햅틱 효과들은, 예를 들어, 모바일 디바이스의 디스플레이 상에 표면 기반의 효과들로서 출력될 수 있다. 이러한 효과들은 디스플레이의 표면과 상호작용함으로써 방 내의 장애물들과 같은 오브젝트들의 위치를 사용자가 찾게 할 수 있다. 예를 들어, 질감 또는 마찰 계수의 변동들과 같은 표면 오브젝트들은 다양한 오브젝트들의 위치를 표시할 수 있다. 대안적으로, 사용자가 오브젝트에 접근함에 따라 프로세서가 햅틱 효과를 출력할 수 있고, 따라서 그 오브젝트가 사용자의 경로에 있는 장애물이라는 것을 사용자에게 경고한다.
예시적인 실시예에서, 모바일 디바이스는 간략화된 지도를 저장하도록 구성될 수 있다. 예를 들어, 모바일 디바이스는 사용자의 현재 위치로부터 그 영역에 있는 하나 이상의 오브젝트들까지의 거리 및 각도를 판정할 수 있다. 예시적인 실시예에서, 간략화된 지도는 사용자가 접근하고 있는 오브젝트들을 식별하는데 사용될 수 있는데, 예를 들어, 사용자가 한 지점으로부터 다른 지점까지 이동함에 따라 모바일 디바이스는, 간략화된 지도에 기초하여, 사용자가 오브젝트(예를 들어, 복도 또는 문)에 접근하고 있다는 것을 검출할 수 있다.
또한, 예시적인 실시예에서, 모바일 디바이스는 사용자를 일 위치로 안내하도록 구성될 수 있다. 예를 들어, 예시적인 실시예에서, 모바일 디바이스는 사용자를 일 위치로부터 다른 위치로 안내하도록 구성되는 매핑 또는 위치 지원 애플리케이션들을 포함할 수 있다. 예시적인 실시예에서, 이러한 애플리케이션들은 사용자의 현재 위치를 판정하기 위해서 위성 위치지정 시스템들(Satellite Positioning Systems), 예를 들어, GPS, AGPS, GLONASS, Galileo 등을 이용하도록 구성될 수 있다. 다른 실시예들에서, 모바일 디바이스는 사용자의 현재 위치를 판정하기 위해서 다른 정보에 의존할 수 있다. 예를 들어, 모바일 디바이스는 영역 센서를 사용하여 검출되는 오브젝트들에 기초하여 사용자의 위치를 판정할 수 있다. 또한, 모바일 디바이스는 이러한 오브젝트들에 기초하여 사용자가 방향을 변경하여야 한다고 판정할 수 있다.
예시적인 실시예에서, 모바일 디바이스는 경로(예를 들어, 실내 경로 또는 실외 경로)를 따라서 사용자를 안내하기 위한 햅틱 효과들을 판정할 수 있다. 예를 들어, 예시적인 실시예에서, 모바일 디바이스는 사용자를 일 위치로 안내하기 위한 햅틱 효과들을 출력할 수 있다. 예를 들어, 이러한 실시예에서, 모바일 디바이스의 우측 상의 햅틱 효과는 사용자가 우회전하여야 한다는 것을 표시할 수 있고, 모바일 디바이스의 좌측 상의 햅틱 효과는 사용자가 좌회전하여야 한다는 것을 표시할 수 있다. 일부 실시예들에서, 이러한 햅틱 효과들은, 예를 들어, 진동, 표면 변형(예를 들어, 사용자가 회전하여야 하는 방향으로의 변형), 또는 표면 기반의 효과(예를 들어, 마찰 계수 또는 인지되는 표면 질감의 변화)를 포함할 수 있다. 또한, 이러한 실시예에서, 모바일 디바이스는 사용자가 장애물과 마주질 것이라는 것을 사용자에게 경고하기 위해서 하나 이상의 경고들을 출력할 수 있다. 일부 실시예들에서, 이러한 경고는 시각 장애가 있는 사용자 또는 산만한 사용자, 예를 들어, 걸어가면서 텍스트를 송신하거나 또는 이메일을 타이핑하는 사용자에 의해 사용될 수 있다.
다른 예시적인 실시예에서, 예시적인 디바이스는 시각 장애인에 의한 사용을 위한 디바이스를 포함할 수 있다. 일 실시예에서, 이러한 디바이스는 햅틱 지팡이를 포함할 수 있다. 이러한 실시예에서, 햅틱 지팡이는 영역 센서(예를 들어, 초음파 센서, 적외선 센서, 레이저 센서, 또는 카메라) 및 다수의 햅틱 출력 디바이스들을 포함할 수 있다. 예시적인 실시예에서, 햅틱 지팡이는 위에 논의된 동작들을 수행하도록 구성될 수 있다. 예를 들어, 햅틱 지팡이는 사용자의 경로에 있는 장애물들을 검출하고 그 장애물들을 사용자에게 경고하는 햅틱 효과들을 출력하도록 구성될 수 있다. 예시적인 실시예에서, 이러한 햅틱 효과들은 장애물의 타입을 사용자에게 경고하도록 구성되는 효과들을 포함할 수 있는데, 예를 들어, 벽이 하나의 햅틱 효과를 포함할 수 있고, 문이 상이한 햅틱 효과를 포함할 수 있다. 일부 실시예들에서, 이러한 경고는 하나 이상의 오브젝트들과 관련되는 하나 이상의 주요 디스크립터들에 일부 기초할 수 있다. 또한, 예시적인 실시예에서, 햅틱 지팡이는 일 위치로부터 다른 위치로의 경로 또는 통로를 사용자에게 경고하는 기능성을 포함할 수 있다. 예를 들어, 햅틱 지팡이는 사용자에게 앞으로, 뒤로, 좌로, 또는 우로 이동하라고 경고하는 햅틱 효과들을 출력하도록 구성될 수 있다.
일부 실시예들에서 예시적인 디바이스는 검출되는 오브젝트와 관련되는 하나 이상의 주요 디스크립터들에 기초하여 경고를 출력할지 여부를 판정하도록 구성될 수 있다. 이러한 실시예에서, 주요 디스크립터들은, 예를 들어, 오브젝트의 크기, 이동 방향, 이동 속도, 사용자로부터의 거리, 상대적인 위험성, 또는 오브젝트와 관련되는 일부 다른 주요 디스크립터들을 포함할 수 있다. 예를 들어, 검출되는 오브젝트가 비교적 멀면(예를 들어, 임계 거리보다 큼), 예시적인 디바이스는 어떠한 경고도 출력하지 않을 수 있다. 유사하게, 예시적인 디바이스는 오브젝트에 대한 추가 정보, 예를 들어, 오브젝트의 크기, 그것의 상대적인 위험성, 그것의 이동 속도, 그것의 이동 방향을 판정할 수 있고, 이러한 정보에 기초하여 사용자에게 경고를 출력할지 여부를 판정할 수 있다.
또한, 일부 실시예들에서 사용자 주변 영역에 있는 하나 이상의 오브젝트들은 액티브 오브젝트들을 포함할 수 있다. 예를 들어, 액티브 오브젝트들은 처리 및 데이터 전송 능력들을 갖는 오브젝트들을 포함할 수 있다. 이러한 액티브 오브젝트들은 예시적인 디바이스 또는 인터넷과 같은 네트워크를 통해 액세스가능한 서버와 통신하고 액티브 오브젝트 주변 영역에 대한 정보를 제공하도록 구성될 수 있다. 일부 실시예들에서 이러한 정보는 액티브 오브젝트, 그 영역에 있는 다른 오브젝트들, 및/또는 예시적인 디바이스에 대한 사용자의 이동에 대한 정보를 포함할 수 있다. 예시적인 디바이스는 사용자에게 경고를 출력할지 여부 및/또는 어떠한 타입의 경고를 사용자에게 출력할지를 판정하기 위해서 이러한 신호들을 사용할 수 있다. 예를 들어, 예시적인 실시예에서, 액티브 오브젝트들은 전용 센서들, 영역 센서들을 포함하는 모바일 디바이스들, 또는 영역 센서들을 포함하는 다른 전자 디바이스들을 포함할 수 있다. 예시적인 실시예에서, 이러한 액티브 오브젝트들은 영역 정보를 주기적으로 또는 실질적으로 지속적으로 검출하고 이러한 영역 정보와 관련되는 신호들을 송신할 수 있다. 이러한 신호들은 다른 모바일 디바이스들에 대해 액세스가능한 데이터베이스, 예를 들어, 인터넷을 통해 액세스가능한 클라우드 데이터베이스에 업로드될 수 있다. 대안적으로, 일부 실시예들에서, 액티브 오브젝트들은 다른 디바이스들, 예를 들어, 액티브 오브젝트와 동일한 영역에 있는 다른 모바일 디바이스들에 직접 데이터를 송신하도록 구성될 수 있다.
이러한 예시적인 실시예들은 본 주제의 한계들을 제한하거나 또는 정의하려고 언급되는 것이 아니라, 그 이해를 돕기 위한 예들을 제공하려는 것이다. 예시적인 실시예들이 발명을 실시하기 위한 구체적인 내용에 논의되며, 추가적 설명이 그곳에 제공된다. 다양한 실시예들에 의해 제공되는 이점들은 본 명세서를 검토함으로써 및/또는 청구되는 주제의 하나 이상의 실시예들을 실시함으로써 더욱 이해될 수 있다.
촉각 안내를 위한 예시적인 시스템들
도 1a는 촉각 안내를 위한 예시적인 시스템(100)을 보여준다. 특히, 이 예에서, 시스템(100)은 버스(106)를 통해 다른 하드웨어와 인터페이스되는 프로세서(102)를 갖는 컴퓨팅 디바이스(101)를 포함한다. RAM, ROM, EEPROM 등과 같은 임의의 적합한 유형의(그리고 비-일시적인) 컴퓨터 판독가능 매체를 포함할 수 있는, 메모리(104)는 컴퓨팅 디바이스의 동작을 구성하는 프로그램 컴포넌트들을 구현한다. 이 예에서, 컴퓨팅 디바이스(101)는 하나 이상의 네트워크 인터페이스 디바이스들(110), 입력/출력(I/O) 인터페이스 컴포넌트들(112), 및 추가 스토리지(114)를 더 포함한다.
네트워크 디바이스(110)는 네트워크 접속을 용이하게 하는 임의의 컴포넌트들 중 하나 이상을 나타낼 수 있다. 예들은 이더넷, USB, IEEE 1394와 같은 유선 인터페이스들, 및/또는 IEEE 802.11, 블루투스, 또는 셀룰러 전화 네트워크들에 액세스하기 위한 무선 인터페이스들(예를 들어, CDMA, GSM, UMTS, 또는 다른 모바일 통신 네트워크에 액세스하기 위한 송수신기/안테나)과 같은 무선 인터페이스들을 포함하지만, 이에 제한되는 것은 아니다.
I/O 컴포넌트들(112)은 하나 이상의 디스플레이들, 키보드들, 마우스들, 스피커들, 마이크로폰들, 카메라들(모바일 디바이스 상의 전방 및/또는 후방 카메라), 위성 위치설정 시스템 수신기들(Satellite Positioning System Receivers)(예를 들어, GPS, AGPS, GLONASS, Galileo 등) 및/또는 데이터를 입력하는데 또는 데이터를 출력하는데 사용되는 다른 하드웨어와 같은 디바이스들에 대한 접속을 용이하게 하는데 사용될 수 있다. 스토리지(114)는 디바이스(101)에 포함되는 자기, 광, 또는 다른 스토리지와 같은 불휘발성 스토리지를 나타낸다.
영역 센서(들)(115)는 사용자 주변 영역과 관련되는 오브젝트들을 검출하고 이러한 오브젝트들과 관련되는 신호들을 프로세서(들)(102)에 송신하도록 구성되는 하나 이상의 디바이스들을 포함한다. 예를 들어, 영역 센서(들)(115)는 초음파 센서, 적외선 센서, 레이저 센서, 또는 카메라(예를 들어, 광 또는 적외선 카메라) 중 하나 이상을 포함할 수 있다. 일 실시예에서, 영역 센서(들)(115)는 MB1320 XL-MaxSonar-AE2를 포함할 수 있지만, 다른 실시예들에서는 많은 다른 타입들 및 모델들의 영역 센서(들)가 마찬가지로 또는 대안적으로 사용될 수 있다. 일부 실시예들에서, 영역 센서(들)(115)에 의해 검출되는 오브젝트들은 사용자 주변 영역에서 발견되는 임의의 오브젝트, 예를 들어, 실내 오브젝트들(예를 들어, 가구, 지지 기둥들, 벽들, 문들, 또는 실내 영역과 관련되는 다른 오브젝트들); 실외 오브젝트들(예를 들어, 나무들, 바위들, 구멍들, 뿌리들, 그루터기들, 제한물들(curbs), 자동차들, 자전거들, 또는 실외 영역과 관련되는 다른 오브젝트들)을 포함할 수 있다. 또한, 이러한 오브젝트들은 이동 오브젝트들(예를 들어, 동물들, 자동차들, 사람 등) 또는 비-이동 오브젝트들(예를 들어, 나무들, 벽들, 물웅덩이들 등)을 포함할 수 있다. 일부 실시예들에서, 영역 센서는 이러한 하나 이상의 오브젝트들의 하나 이상의 주요 디스크립터들을 검출하도록 더욱 구성될 수 있다. 일부 실시예들에서, 이러한 주요 디스크립터들은, 예를 들어, 색, 온도, 이동, 가속도, 치수들, 또는 오브젝트와 관련되는 일부 다른 특성을 포함할 수 있다. 예를 들어, 일부 실시예들에서, 영역 센서(115)는 적외선 카메라를 포함할 수 있다. 일부 실시예들에서, 적외선 카메라는 하나 이상의 오브젝트들의 열 특성들을 검출할 수 있다. 일부 실시예들에서, 열 특성들은 오브젝트가 살아있는지 여부(예를 들어, 사람 또는 동물) 또는 오브젝트의 위험 레벨, 예를 들어, 불 또는 핫 플레이트(hot plate)를 검출하는데 사용될 수 있다.
일부 실시예들에서, 사용자 주변 영역에 있는 하나 이상의 오브젝트들은 액티브 오브젝트들을 포함할 수 있다. 예를 들어, 액티브 오브젝트들은 처리 및 데이터 전송 능력들을 갖는 오브젝트들을 포함할 수 있다. 이러한 액티브 오브젝트들은 시스템(100)과 통신하고 액티브 오브젝트, 그 영역에 있는 다른 오브젝트들, 및/또는 디바이스(100)에 대한 사용자의 이동에 대한 정보를 제공하도록 구성될 수 있다. 일부 실시예들에서, 이러한 신호들은 영역 센서(들)(115)에 의해 수신될 수 있다. 또한, 일부 실시예들에서 디바이스(100)의 프로세서(102)는 사용자에게 경고를 출력할지 여부 및/또는 어떠한 타입의 경고를 사용자에게 출력할지를 판정하기 위해서 이러한 신호들을 사용할 수 있다. 예를 들어, 예시적인 실시예에서, 액티브 오브젝트들은 전용 센서들, 영역 센서들을 포함하는 모바일 디바이스들, 또는 영역 센서들을 포함하는 다른 전자 디바이스들을 포함할 수 있다. 예시적인 실시예에서, 이러한 액티브 오브젝트들은 영역 정보를 주기적으로 또는 실질적으로 지속적으로 검출하고 이러한 영역 정보와 관련되는 신호들을 송신할 수 있다. 이러한 신호들은 다른 모바일 디바이스들에 대해 액세스가능한 데이터베이스, 예를 들어, 인터넷을 통해 액세스가능한 클라우드 데이터베이스에 업로드될 수 있다. 따라서, 일부 실시예들에서, 액티브 오브젝트들에 의해 검출되는 데이터는 저장될 수 있고, 그 데이터가 검출된 후 일부 시간(예를 들어, 분, 시간, 일, 주, 또는 년 등) 동안 컴퓨팅 디바이스들에 의해 액세스될 수 있다. 대안적으로, 일부 실시예들에서, 액티브 오브젝트들은 다른 디바이스들, 예를 들어, 액티브 오브젝트와 동일한 영역에 있는 다른 모바일 디바이스들에 직접 데이터를 송신하도록 구성될 수 있다.
일 실시예에서 시스템(100)은 신호 데이터, 예를 들어, GPS, 와이-파이, 또는 셀룰러 신호들에 기초하여 디바이스(100) 주변 영역에 있는 액티브 오브젝트들을 발견한다. 일부 실시예들에서는, 이러한 데이터가 액티브 오브젝트들의 위치와 관련되는 데이터 및 디바이스(100)의 위치와 관련되는 데이터를 포함할 수 있다. 다른 실시예에서는, 중앙 시스템/서버가 디바이스(100) 및 액티브 오브젝트와 관련되는 데이터를 수신하고, 이러한 데이터에 기초하여 디바이스(100)를 둘러싸는 영역에 있는 액티브 오브젝트들을 판정한다. 일부 실시예들에서는, 디바이스(100)와 액티브 오브젝트들이 직접 무선으로(예를 들어, 와이-파이, 블루투스 등을 통해) 통신할 수 있다. 다른 실시예들에서는, 디바이스(100)와 액티브 오브젝트들이 네트워크를 통해 액세스가능한 중앙 시스템/서버를 통해서 통신할 수 있다. 또한 일부 실시예들에서, 액티브 오브젝트들은 그 영역에 있는 하나 이상의 다른 사용자들의 디바이스들(예를 들어, 디바이스(100)와 유사한 다른 디바이스들)을 포함할 수 있다.
시스템(100)은, 이 예에서 디바이스(101)로 통합되는 터치 표면(116)을 더 포함한다. 터치 표면(116)은 사용자의 터치 입력을 감지하도록 구성되는 임의의 표면을 나타낸다. 하나 이상의 센서들(108)은 오브젝트가 터치 표면을 접촉할 때 터치 영역에서 터치를 검출하고 프로세서(102)에 의해 사용될 적절한 데이터를 제공하도록 구성될 수 있다. 임의의 적합한 수, 타입, 또는 배열의 센서들이 사용될 수 있다. 예를 들어, 저항성 및/또는 용량성 센서들이 터치 표면(116)에 임베딩되어, 터치의 위치 및 다른 정보, 예컨대 압력을 판정하는데 사용될 수 있다. 다른 예로서, 터치 표면의 뷰를 갖는 광 센서들은 터치 지점을 판정하는데 사용될 수 있다. 일부 실시예들에서, 센서(108) 및 터치 표면(116)은 터치 스크린 또는 터치 패드를 포함할 수 있다. 예를 들어, 일부 실시예들에서, 터치 표면(116) 및 센서(108)는 디스플레이 신호를 수신하고 사용자에게 이미지를 출력하도록 구성되는 디스플레이의 위에 탑재되는 터치 스크린을 포함할 수 있다. 다른 실시예들에서, 센서(108)는 LED 검출기를 포함할 수 있다. 예를 들어, 일 실시예에서, 터치 표면(116)은 디스플레이의 측부에 탑재되는 LED 손가락 검출기를 포함할 수 있다. 일부 실시예들에서는, 프로세서가 단일의 센서(108)와 통신하고, 다른 실시예들서는, 프로세서가 복수의 센서들(108), 예를 들어, 제1 터치 스크린 및 제2 터치 스크린과 통신한다.
일부 실시예들에서 하나 이상의 센서(들)(108)는 모바일 디바이스의 이동을 검출하도록 구성되는 하나 이상의 센서들(예를 들어, 가속도계들, 자이로스코프들, 카메라들, GPS, 또는 다른 센서들)을 더 포함한다. 이러한 센서들은, 예를 들어, 사용자가 영역을 통해 모바일 디바이스를 휴대할 때, 디바이스를 X, Y, 또는 Z 평면에서 이동시키는 사용자 상호작용을 검출하도록 구성될 수 있다. 센서(108)는 사용자 상호작용을 검출하고, 사용자 상호작용에 기초하여 신호들을 프로세서(102)로 송신하도록 구성된다.
일부 실시예들에서, 센서(108)는 사용자 상호작용의 다수의 양상들을 검출하도록 구성될 수 있다. 예를 들어, 센서(108)는 사용자 상호작용의 속도 및 압력을 검출하고, 이 정보를 인터페이스 신호에 통합할 수 있다. 또한, 일부 실시예들에서, 사용자 상호작용은 디바이스로부터 먼 다차원 사용자 상호작용을 포함한다. 예를 들어, 일부 실시예들에서 디바이스와 관련되는 카메라는 사용자 이동들, 예를 들어, 손, 손가락, 몸, 머리, 눈, 또는 발 모션들, 또는 다른 사람 또는 오브젝트와의 상호작용들을 검출하도록 구성될 수 있다.
도 1a에 도시된 예에서, 프로세서(102)와 통신하는 햅틱 출력 디바이스(118)는 터치 표면(116)에 결합된다. 일부 실시예들에서, 햅틱 출력 디바이스(118)는 햅틱 신호에 응답하여 터치 표면 상에 질감을 시뮬레이션하는 햅틱 효과를 출력하도록 구성된다. 추가적으로 또는 대안적으로, 햅틱 출력 디바이스(118)는 제어된 방식으로 터치 표면을 이동시키는 진동촉각(vibrotactile) 햅틱 효과들을 제공할 수 있다. 일부 햅틱 효과들은 디바이스의 하우징에 결합되는 액추에이터를 이용할 수 있고, 일부 햅틱 효과들은 다수의 액추에이터를 순차적으로 및/또는 일제히 사용할 수 있다. 예를 들어, 일부 실시예들에서, 표면 질감은 표면을 상이한 주파수들로 진동시킴으로써 시뮬레이션될 수 있다. 이러한 실시예에서, 햅틱 출력 디바이스들(118)은 예를 들어, 압전 액추에이터, 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금(shape memory alloy), 전기 활성 폴리머(electro-active polymer), 솔레노이드, 편심 회전 질량 모터(ERM: eccentric rotating mass motor), 또는 선형 공진 액추에이터(LRA: linear resonant actuator) 중 하나 이상을 포함할 수 있다. 일부 실시예들에서, 햅틱 출력 디바이스(118)는 복수의 액추에이터들, 예를 들어 ERM 및 LRA를 포함할 수 있다.
일부 실시예들에서, 하나 이상의 햅틱 출력 디바이스들은 디바이스들에 대해 X, Y, 또는 Z 평면에서의 힘들을 출력하도록 구성될 수 있다. 일부 실시예들에서, 이러한 효과들은 이동하는 디스플레이 내에서 오브젝트의 감각을 시뮬레이션하도록 구성될 수 있다. 예를 들어, 일 실시예에서, 다차원 햅틱 효과는 X-평면(좌 또는 우), Y-평면 (상 또는 하), Z-평면(디스플레이의 안으로 또는 밖으로)에서 이동하는 (이동 오브젝트와 같은) 오브젝트, 또는 이러한 평면들에서의 벡터들을 시뮬레이션하도록 구성될 수 있다. 이러한 다차원 햅틱 효과들은 터치 표면에서 피처들을 시뮬레이션할 수 있다.
여기서는 단일의 햅틱 출력 디바이스(118)가 도시되지만, 실시예들은 햅틱 효과들을 출력하기 위해서, 예를 들어, 터치 표면 상에 표면 질감들을 시뮬레이션하기 위해서 동일하거나 상이한 타입의 다수의 햅틱 출력 디바이스들을 사용할 수 있다. 예를 들어, 일 실시예에서, 압전 액추에이터는, 일부 실시예들에서 20 - 25 kHz보다 더 큰 주파수들에서 이동하는 액추에이터를 사용하는 것에 의해서와 같이, 터치 표면(116)의 일부 또는 전부를 초음파 주파수에서 수직으로 및/또는 수평으로 변위시키는데 사용될 수 있다. 일부 실시예들에서는, 편심 회전 질량 모터들 및 선형 공진 액추에이터들과 같은 복수의 액추에이터들이 상이한 질감들 및 기타 햅틱 효과들을 제공하기 위해 단독으로 또는 일제히 사용될 수 있다.
또 다른 실시예들에서, 햅틱 출력 디바이스(118)는 터치 표면(116)의 표면 상에 질감을 시뮬레이션하기 위해서, 예를 들어 정전 표면 액추에이터의 사용에 의해, 정전 인력을 사용할 수 있다. 유사하게, 일부 실시예들에서, 햅틱 출력 디바이스(118)는 사용자가 터치 표면(116)의 표면 상에서 느끼는 마찰을 변경하기 위해서 정전 인력을 사용할 수 있다. 예를 들어, 일 실시예에서, 햅틱 출력 디바이스(118)는 햅틱 효과를 생성하기 위해서 기계적 움직임 대신 전압들 및 전류들을 인가하는 임의의 다른 디바이스 또는 정전 디스플레이를 포함할 수 있다. 이러한 실시예에서, 정전 액추에이터는 전도층 및 절연층을 포함할 수 있다. 이러한 실시예에서, 전도층은 임의의 반도체 또는 구리, 알루미늄, 금 또는 은과 같은 다른 전도성 재료일 수 있다. 그리고, 절연층은 유리, 플라스틱, 폴리머 또는 임의의 다른 절연 재료일 수 있다.
프로세서(102)는 전기 신호를 전도층에 인가함으로써 정전 액추에이터를 동작시킬 수 있다. 이러한 전기 신호는, 일부 실시예들에서, 터치 표면(116)을 터치하거나 그 근처에 있는 오브젝트와 전도층을 용량성으로 결합하는 AC 신호일 수 있다. 일부 실시예들에서, AC 신호는 고전압 증폭기에 의해 생성될 수 있다. 다른 실시예들에서, 용량성 결합은 터치 표면(116)의 표면 상에 마찰 계수 또는 질감을 시뮬레이션할 수 있다. 예를 들어, 일 실시예에서, 터치 표면(116)의 표면은 매끄러울 수 있지만, 용량성 결합은 터치 표면(116)의 표면 근처에 있는 오브젝트와의 사이에 인력을 생성할 수 있다. 일부 실시예들에서, 오브젝트와 전도층 사이의 인력의 레벨들을 변경하는 것은 터치 표면(116)의 표면을 가로질러 이동하는 오브젝트 상의 시뮬레이션된 질감을 변경하거나, 또는 오브젝트가 터치 표면(116)의 표면을 가로질러 이동함에 따라 느껴지는 마찰 계수를 변경할 수 있다. 또한, 일부 실시예들에서, 정전 액추에이터는 터치 표면(116)의 표면 상의 시뮬레이션된 질감을 변경하기 위해서 종래의 액추에이터들과 함께 사용될 수 있다. 예를 들어, 액추에이터들은 터치 표면(116)의 표면의 질감에서의 변화를 시뮬레이션하기 위해 진동할 수 있는, 한편 그와 동시에, 정전 액추에이터는 터치 표면(116)의 표면 상에 또는 컴퓨팅 디바이스(101)의 다른 부분(예를 들어, 그것의 하우징 또는 다른 입력 디바이스) 상에 상이한 질감, 또는 다른 효과들을 시뮬레이션할 수 있다.
본 기술분야의 통상의 기술자라면, 마찰 계수를 변경하는 것 또는 표면 상에 질감을 시뮬레이션하는 것과 같은 햅틱 효과들을 출력하기 위해서 다수의 기술들이 사용될 수 있다는 점을 인정할 것이다. 예를 들어, 일부 실시예들에서, 표면 인식가능 햅틱 기판(이에 제한되는 것은 아니지만, 예를 들어, 섬유들, 나노튜브들, 전기활성 폴리머들, 압전 엘리먼트들, 또는 형상 기억 합금들을 포함함) 또는 자기 유변 유체로부터의 접촉에 기초하여 자신의 질감을 변경하도록 구성되는 가요성 표면층을 사용하여 질감이 시뮬레이션되거나 또는 출력될 수 있다. 다른 실시예에서, 표면 질감은, 예를 들어 변형 메커니즘, 에어 또는 유체 포켓들, 재료들의 국부 변형, 공진 기계 엘리먼트들(resonant mechanical elements), 압전 재료들, 마이크로-전기기계적 시스템("MEMS": micro-electromechanical systems) 엘리먼트들, 열 유체 포켓들, MEMS 펌프들, 가변 다공도 멤브레인들, 또는 층류 변조(laminar flow modulation)를 이용하여, 하나 이상의 표면 피처들을 상승 또는 하강시킴으로써 변경될 수 있다.
일부 실시예들에서, 정전 액추에이터는, 터치 표면(116)과 접촉하거나 또는 그 근처에 있는 신체의 부분들을 자극함으로써 햅틱 효과를 생성하는데 사용될 수도 있다. 예를 들어, 일부 실시예들에서, 정전 액추에이터는 정전 액추에이터에 응답할 수 있는 스타일러스의 컴포넌트들 또는 사용자의 손가락의 피부의 신경 말단들을 자극할 수 있다. 피부의 신경 말단들은, 예를 들어, 자극될 수 있으며, 진동 또는 일부 더 구체적인 감각으로서 정전 액추에이터(예를 들어, 용량성 결합)를 감지할 수 있다. 예를 들어, 일 실시예에서, 정전 액추에이터의 전도층은 사용자의 손가락의 전도성 부분들과 결합하는 AC 전압 신호를 수신할 수 있다. 사용자가 터치 표면(116)을 터치하고 터치 표면 상에서 그의 또는 그녀의 손가락을 이동함에 따라, 사용자는 따끔따끔함, 오돌토돌함, 울퉁불퉁함, 거칠거칠함, 끈적끈적함의 질감 또는 일부 다른 질감을 감지할 수 있다.
메모리(104)로 돌아가서, 예시적 프로그램 컴포넌트들(124, 126 및 128)은 촉각 안내를 제공하기 위해서 디바이스가 일부 실시예들에서 어떻게 구성될 수 있는지를 도시하기 위해 묘사된다. 이 예에서, 검출 모듈(124)은 영역 센서(들)(115)로부터 수신되는 신호들을 처리하고 사용자 주변 영역에 있는 오브젝트들을 판정하도록 프로세서(102)를 구성한다. 예를 들어, 검출 모듈은 사용자가 영역을 통해 이동함에 따라 영역 센서들(115)로부터 신호들을 수신하도록 프로세서(102)를 구성할 수 있다. 이러한 센서 신호들에 기초하여 프로세서(102)는 그 영역에 있는 하나 이상의 오브젝트들(예를 들어, 벽들, 복도들, 제한물들, 다른 사람 등)에 관하여 사용자의 위치와 관련되는 데이터를 지속적으로 업데이트할 수 있다.
일부 실시예들에서, 검출 모듈(124) 및 프로세서(102)는 검출된 오브젝트들을 데이터베이스, 예를 들어, 국부적으로 저장된 데이터베이스 또는 네트워크 접속을 통해 액세스되는 원격 데이터베이스에 있는 데이터에 비교함으로써 지도와 관련되는 정보를 판정할 수 있다. 예를 들어, 일부 실시예들에서 프로세서는 인터넷을 통해 액세스가능한 원격 데이터베이스로부터 데이터를 수신함으로써 이러한 지도를 판정할 수 있다. 일부 실시예들에서, 이러한 데이터베이스는 "클라우드(cloud)" 데이터베이스를 포함할 수 있는데, 이는 하나 이상의 공적 또는 사적 그룹들에 의해서 지속적으로 업데이트될 수 있다. 또한, 이러한 데이터베이스는 복수의 모바일 애플리케이션들 및 웹페이지들에 의해 사용되거나 또는 액세스되는 지도 데이터의 데이터베이스를 포함할 수 있다. 또한, 일부 실시예들에서, 이러한 데이터베이스는 지구 전반적으로 다양한 영역들과 관련되는 영역 정보를 포함할 수 있다. 예시적인 실시예에서, 프로세서는 사용자의 현재 위치를 판정하기 위해서 이러한 영역 정보를 사용자 주변에서 검출되는 정보와 비교할 수 있다. 따라서, 일부 실시예들에서, 프로세서는 사용자 주변 영역에 대한 정보(예를 들어, 그 영역에 있는 오브젝트들에 대한 정보)를 데이터베이스에 저장된 정보와 비교함으로써 지도를 판정할 수 있다. 일부 실시예들에서, 프로세서(102)는 데이터베이스를 액세스함으로써 사용자의 현재 위치를 판정할 수 있다.
햅틱 효과 판정 모듈(126)은 생성할 햅틱 효과를 선택하기 위해서 오브젝트들에 관한 데이터를 분석하는 프로그램 컴포넌트를 나타낸다. 예를 들어, 일 실시예에서, 모듈(126)은, 오브젝트의 위치에 기초하여, 생성할 햅틱 효과를 판정하는 코드를 포함한다. 예를 들어, 햅틱 효과 판정 모듈(126)은 사용자에 의해 선택될 수 있는 하나 이상의 사전에 로드된 햅틱 효과를 포함할 수 있다. 이러한 햅틱 효과들은 햅틱 출력 디바이스(들)(118)가 생성할 수 있는 임의 타입의 햅틱 효과를 포함할 수 있다. 또한, 일부 실시예들에서, 모듈(126)은 햅틱 효과의 특성들, 예를 들어, 그 효과의 강도, 주파수, 지속시간, 듀티 사이클, 또는 햅틱 효과와 관련되는 임의의 다른 특성을 조작하도록 구성되는 프로그램 코드를 포함할 수 있다. 일부 실시예들에서, 모듈(126)은 사용자가, 예를 들어, 그래픽 사용자 인터페이스를 통해, 이러한 특성들을 조작하는 것을 허용하기 위한 프로그램 코드를 포함할 수 있다.
또한, 일부 실시예들에서, 모듈(126)은 사용자 상호작용들에 기초하여 햅틱 효과들을 판정하도록 구성되는 프로그램 코드를 포함할 수 있다. 예를 들어, 모듈(126)은 터치 표면(116) 상의 사용자 입력, 또는 모바일 디바이스의 움직임을 검출하도록 구성되는 관성 센서들과 같은 다른 센서들을 모니터링하도록 구성될 수 있다. 모듈(126)은 이러한 입력을 검출하고 이 입력에 기초하여 햅틱 효과를 생성할 수 있다. 예를 들어, 일부 실시예들에서 모듈(126)은 사용자 상호작용을 시뮬레이션하도록 구성되는 햅틱 효과를 판정하도록 구성될 수 있다.
햅틱 효과 생성 모듈(128)은 프로세서(102)로 하여금 햅틱 신호를 생성하여 햅틱 출력 디바이스(118)에 송신하게 하는 프로그래밍을 나타내는데, 이는 햅틱 출력 디바이스(118)로 하여금 선택된 햅틱 효과를 생성하게 한다. 예를 들어, 생성 모듈(128)은 햅틱 출력 디바이스(118)에 송신할 저장된 파형들 또는 명령들을 액세스할 수 있다. 다른 예로서, 햅틱 효과 생성 모듈(128)은 원하는 타입의 질감을 수신하고, 신호 처리 알고리즘들을 이용하여, 햅틱 출력 디바이스(118)에 송신할 적절한 신호를 생성할 수 있다. 추가의 예로서, 원하는 질감은, 햅틱 효과에 대한 목표 좌표들, 및 햅틱 효과를 제공하기 위해서 표면(및/또는 다른 디바이스 컴포넌트들)의 적절한 변위를 생성할 하나 이상의 액추에이터에 전송되는 적절한 파형과 함께 표시될 수 있다. 일부 실시예들은 햅틱 효과를 출력하기 위해서 다수의 햅틱 출력 디바이스들을 일제히 이용할 수 있다. 예를 들어, 진동촉각 효과가 버튼이 눌러졌다는 것을 시뮬레이션하면서 인터페이스 상의 버튼과의 사이의 경계를 교차하는 것을 시뮬레이션하기 위해서 질감의 변경이 사용될 수 있다.
터치 표면은 컴퓨팅 시스템의 특정 구성에 의존하여 디스플레이를 오버레이(또는 다른 방식으로 대응)할 수도 있고 그렇지 않을 수도 있다. 도 1b에는, 컴퓨팅 시스템(100B)의 외관이 도시된다. 컴퓨팅 디바이스(101)는 터치 표면과 디바이스의 디스플레이를 겸비하는 터치 가능형 디스플레이(116)를 포함한다. 터치 표면은 디스플레이 외면 또는 실 디스플레이 컴포넌트들 위의 재료의 하나 이상의 층에 대응할 수 있다.
도 1c는 터치 표면이 디스플레이를 오버레이하지 않는 터치 가능형 컴퓨팅 시스템(100C)의 다른 예를 도시한다. 이 예에서, 컴퓨팅 디바이스(101)는 디바이스(101)에 인터페이스되는 컴퓨팅 시스템(120)에 포함되는 디스플레이(122)에 제공되는 그래픽 사용자 인터페이스에 맵핑될 수 있는 터치 표면(116)을 포함한다. 예를 들어, 컴퓨팅 디바이스(101)는 마우스, 트랙패드 또는 다른 디바이스를 포함할 수 있는 한편, 컴퓨팅 시스템(120)은 데스크톱 또는 랩톱 컴퓨터, 셋톱 박스(예를 들어, DVD 플레이어, DVR, 케이블 텔레비전 박스) 또는 다른 컴퓨팅 시스템을 포함할 수 있다. 다른 예로서, 터치 표면(116) 및 디스플레이(122)는 디스플레이(122)를 특징으로 하는 랩탑 컴퓨터에서의 터치 가능형 트랙패드와 같이 동일한 디바이스에 배치될 수 있다. 디스플레이와 통합되든지 아니든지 간에, 본 명세서의 예들에서의 평면형 터치 표면들의 묘사는 제한하려는 의미는 아니다. 다른 실시예들은 표면 기반의 햅틱 효과들을 제공하도록 더욱 구성되는 구부러지거나 또는 불규칙한 터치 가능형 표면들을 포함한다.
도 2a-2b는 촉각 안내를 위한 디바이스의 예시적인 실시예를 도시한다. 도 2a는 터치 가능형 디스플레이(202)를 포함하는 컴퓨팅 디바이스(201)를 포함하는 시스템(200)의 외관을 도시하는 도면이다. 도 2b는 디바이스(201)의 단면도를 보여준다. 디바이스(201)는 도 1a의 디바이스(101)와 유사하게 구성될 수 있지만, 프로세서, 메모리, 센서들 등과 같은 컴포넌트들은 명확성을 위해 이 도면에는 도시되지 않는다.
도 2b에서 볼 수 있듯이, 디바이스(201)는 복수의 햅틱 출력 디바이스(218) 및 추가적 햅틱 출력 디바이스(222)를 포함한다. 햅틱 출력 디바이스(218-1)는 디스플레이(202)에 수직력을 부여하도록 구성되는 액추에이터를 포함할 수 있는 한편, 햅틱 출력 디바이스(218-2)는 디스플레이(202)를 측방향으로 이동시킬 수 있다. 이 예에서, 햅틱 출력 디바이스들(218, 222)은 디스플레이에 직접 결합되지만, 햅틱 출력 디바이스들(218, 222)은 디스플레이(202)의 상부의 재료의 층과 같은 다른 터치 표면에 결합될 수 있다는 것이 이해되어야 한다. 또한, 햅틱 출력 디바이스들(218 또는 222) 중 하나 이상은 위에 논의된 바와 같은 정전 액추에이터를 포함할 수 있다는 것이 이해되어야 한다. 또한, 햅틱 출력 디바이스(222)는 디바이스(201)의 컴포넌트들을 포함하는 하우징에 결합될 수 있다. 도 2a-2b의 예들에서, 디스플레이(202)의 영역은 터치 영역에 대응하지만, 그 원리들은 디스플레이로부터 완전히 분리되는 터치 표면에 적용될 수 있다.
일 실시예에서, 햅틱 출력 디바이스(218)는 각각 압전 액추에이터를 포함하는 한편, 추가적 햅틱 출력 디바이스(222)는 편심 회전 질량 모터, 선형 공진 액추에이터, 또는 다른 압전 액추에이터를 포함한다. 햅틱 출력 디바이스(222)는 프로세서로부터의 햅틱 신호에 응답하여 진동촉각 햅틱 효과를 제공하도록 구성될 수 있다. 이러한 진동촉각 햅틱 효과는 표면 기반의 햅틱 효과들과 함께 및/또는 다른 목적으로 이용될 수 있다. 예를 들어, 각각의 액추에이터는 디스플레이(202)의 표면 상에 질감을 시뮬레이션하기 위해서 함께 사용될 수 있다.
일부 실시예들에서, 햅틱 출력 디바이스들(218-1 및 218-2) 중 어느 하나 또는 양자 모두는 압전 액추에이터 이외의 액추에이터를 포함할 수 있다. 이러한 액추에이터들 중 임의의 액추에이터는, 예를 들어, 압전 액추에이터, 전자기 액추에이터, 전기 활성 폴리머, 형상 기억 합금, 가요성 복합 피에조 액추에이터(예를 들어, 가요성 재료를 포함하는 액추에이터), 정전, 및/또는 자기변형 액추에이터들을 포함할 수 있다. 추가적으로, 햅틱 출력 디바이스(222)가 도시되어 있지만, 다수의 다른 햅틱 출력 디바이스들이 디바이스(201)의 하우징에 결합될 수 있고/있거나 햅틱 출력 디바이스들(222)이 다른 곳에 결합될 수 있다. 마찬가지로, 디바이스(201)는 상이한 위치들에서 터치 표면에 결합되는 다수의 햅틱 출력 디바이스(218-1/218-2)를 포함할 수 있다.
이제 도 3a로 돌아가면, 도 3a는 본 개시내용의 일 실시예에 따른 촉각 안내를 위한 실시예를 포함한다. 도 3a에 도시되는 실시예는 컴퓨팅 디바이스(300)를 포함한다. 도 3a에 도시된 바와 같이, 컴퓨팅 디바이스(300)는 터치 스크린 디스플레이(302)를 포함한다. 또한, 컴퓨팅 디바이스(300)는 위에 설명된 타입의 영역 센서, 예를 들어, 초음파 센서, 적외선 센서, 레이저 센서, 또는 카메라 중 하나 이상을 포함한다. 도 3a에 도시된 실시예에서, 컴퓨팅 디바이스는 모바일 애플리케이션(예를 들어, 모바일 게임, 텍스팅 애플리케이션, 이메일 애플리케이션, 소셜 미디어 애플리케이션 등)을 실행할 수 있다. 사용자는 사용자의 주의를 요구하는 다른 작업들을 수행하면서, 예를 들어 장애물들이 있는 영역에서 걷거나 뛰면서, 이러한 애플리케이션에 집중할 수 있다.
도 3a에 도시된 실시예에서, 촉각 안내를 위한 방법을 실행하도록 구성되는 소프트웨어 프로그램은 사용자가 다른 애플리케이션을 실행하는 동안 백그라운드에서 작동할 수 있다. 이러한 프로그램은 모바일 디바이스(300)의 영역 센서로부터 수신되는 신호들을 지속적으로 모니터링할 수 있다. 영역 센서가 사용자의 경로에 있는 장애물을 검출할 때 모바일 디바이스(300) 사용자에게 경고를 출력한다. 이러한 경고는 청각적, 시각적, 또는 햅틱 경고를 포함할 수 있다. 도 3a에 도시된 바와 같이, 이러한 경고는 그래픽 경고 및 햅틱 경고(예를 들어, 진동)을 포함한다. 그래픽 경고(304)는 "장애물 검출됨"으로 읽혀지는 텍스트를 포함한다. 도 3a에 도시된 실시예에서, 그래픽 경고(304)는 사용자가 상호작용하고 있었던 모바일 애플리케이션이 어떤 것이라도 그것의 디스플레이를 포함하여 모바일 디바이스의 디스플레이를 오버레이한다. 다른 실시예들에서는, 전체 디스플레이(302)를 오버레이하기 보다는 오히려, 그래픽 경고(304)가 배경에만 나타날 수 있다. 또한, 도 3a에 도시된 바와 같이, 컴퓨팅 디바이스(300)는 강한 진동과 같은 햅틱 효과를 출력한다. 다른 실시예들에서, 모바일 디바이스(300)는 청취 가능한 경고, 예를 들어 알람을 출력하도록 구성될 수 있는데, 이는 사용자에게 사용자의 경로에 장애물이 있다는 것을 더욱 경고할 수 있다.
이제 도 3b로 돌아가면, 도 3b는 본 개시내용의 일 실시예에 따른 촉각 안내를 위한 실시예를 포함한다. 도 3b에 도시된 실시예는 컴퓨팅 디바이스(350)을 포함한다. 도 3b에 도시된 바와 같이, 컴퓨팅 디바이스(350)는 터치 스크린 디스플레이(302)를 포함한다. 도 3b에 도시된 실시예에서, 디스플레이는 사용자가 따라서 여행하고 있는 경로(352)를 보여준다. 도 3b에 도시된 실시예에서, 모바일 디바이스(350)는 위에 설명된 타입의 영역 센서, 예를 들어, 초음파 센서, 적외선 센서, 레이저 센서, 또는 카메라 중 하나 이상을 포함한다. 사용자가 경로(352)를 따라서 여행함에 따라 모바일 디바이스는 사용자에게 경로(352)를 경고하기 위한 햅틱 효과들을 출력하고, 사용자가 경로(352)를 따르도록 회전시킨다. 예를 들어, 일부 실시예들에서, 사용자가 전방으로 계속 여행하여야 한다고 모바일 디바이스(350)가 판정하면 모바일 디바이스는 모바일 디바이스(350)의 전방측에 햅틱 효과를 출력할 수 있다. 유사하게, 사용자가 좌로 또는 우로 회전하여야 한다고 모바일 디바이스(350)가 판정하면 모바일 디바이스(350)는 자신의 좌측 또는 우측에 햅틱 효과를 출력할 수 있다. 이러한 햅틱 효과들은 사용자가 회전하여야 할 방향을 사용자에게 경고할 수 있다. 일부 실시예들에서, 이것은 산만한 사용자, 예를 들어, 텍스트를 보내고 있는 사용자 또는 시각 장애로 곤란을 겪는 사용자에게 도움이 될 수 있다.
또한, 도 3b에 도시된 실시예에서, 모바일 디바이스(350)는 사용자의 경로에 장애물이 있는지 판정하기 위해서 영역 센서로부터의 신호들을 지속적으로 모니터링할 수 있다. 사용자의 경로에 장애물이 있다고 검출되면 모바일 디바이스(350)는 사용자의 경로에 장애물이 있다고 사용자에게 경고하기 위해서 햅틱 경고와 같은 경고를 출력한다.
또한, 도 3b에 도시된 실시예에서, 영역 센서(들)로부터의 신호들에 기초하여 모바일 디바이스(350)는 사용자의 주변 영역의 지도를 판정할 수 있다. 이러한 지도는 사용자와 그 영역에 있는 하나 이상의 오브젝트들 사이의 거리 및 각도를 포함할 수 있다. 예를 들어, 도 3b에 도시된 실시예에서, 모바일 디바이스는 각각의 벽들(354)로부터의 사용자의 각도 및 거리를 나타내는 지도를 판정할 수 있다. 다른 실시예들에서, 모바일 디바이스(350)는 추가적 오브젝트들(예를 들어, 나무들, 사람, 동물들, 가구 등)까지의 사용자의 각도 및 거리를 나타내는 데이터의 지도를 판정할 수 있다. 사용자가 경로(352)를 따라서 이동함에 따라 및/또는 그 영역에 있는 오브젝트들이 이동함에 따라, 모바일 디바이스는 사용자의 주변의 정확한 데이터를 유지하기 위해서 이러한 지도를 지속적으로 업데이트할 수 있다.
도 3b에 도시된 실시예에서 모바일 디바이스(350)는 터치스크린 디스플레이(302)의 표면 상의 질감들 및 마찰들과 같은 표면 기반의 햅틱 효과들을 출력하도록 구성될 수 있다. 일부 실시예들에서, 모바일 디바이스(350)는 지도와 관련되는 표면 기반의 효과들을 출력하도록 구성될 수 있다. 예를 들어, 일부 실시예들에서, 사용자는 터치스크린 디스플레이(302)의 표면과 상호작용할 수 있고, 모바일 디바이스(350)는 사용자의 영역에 있는 다양한 오브젝트들과의 사용자의 거리와 관련되는 햅틱 효과를 출력할 수 있다. 예를 들어, 일 실시예에서, 이러한 햅틱 효과는 사용자가 각각의 방향에 있는 장애물들로터 있는 거리에 기초하는 다양한 크기들의 질감 또는 마찰을 포함할 수 있다. 예를 들어, 이러한 실시예에서, 오브젝트가 사용자의 전방에서 단거리에 있으면, 모바일 디바이스(350)는 터치스크린 디스플레이(302)의 전방에 거친 질감을 출력할 수 있다. 이러한 실시예에서, 오브젝트가 사용자의 우측으로 장거리에 있으면, 모바일 디바이스(350)는 터치스크린 디스플레이(302)의 우측에 미세한 질감을 출력할 수 있다.
다른 실시예들에서 모바일 디바이스(350)는 다른 햅틱 효과들(예를 들어, 진동들 또는 표면 변형들(예를 들어, 이러한 효과는 안내를 표시하기 위해 디바이스의 측부들을 수축시키거나 또는 팽창시키도록 구성될 수 있음))을 출력할 수 있다. 또 다른 실시예에서, 이러한 햅틱 효과들 중 하나 이상은 터치스크린 디스플레이(302) 상에서 보다는 오히려 모바일 디바이스(350)의 하우징 상에 출력될 수 있다. 또한, 일부 실시예들에서 이러한 햅틱 효과는 터치스크린 디스플레이(302)에 보여지는 오브젝트들과는 독립적일 수 있다.
이제 도 4로 돌아가면, 도 4는 본 개시내용의 일 실시예에 따른 촉각 안내를 위한 실시예를 포함한다. 도 4에 도시된 실시예에서 시스템(400)은 시각 장애인에 의한 사용을 위한 햅틱 지팡이를 포함한다. 다른 실시예들에서, 이러한 시스템은 다른 형태, 예를 들어, 목발, 휠체어, 스쿠터, 보행 보조기, 또는 일부 다른 형태 인자를 취할 수 있다. 일부 실시예들에서, 이러한 디바이스는 시야가 감소된 영역들에서 작업해야만 하는 사람, 예를 들어, 소방관, 경찰, 또는 군인들에 의한 사용을 위한 디바이스를 포함할 수 있다. 따라서, 일부 실시예들에서 이러한 디바이스는 장갑, 재킷, 헬멧, 안경, 또는 증강 현실 안경, 신발, 양말, 시계와 같은 웨어러블 디바이스, 또는 일부 다른 타입의 웨어러블 디바이스를 포함할 수 있다.
도 4에 도시된 실시예에서 햅틱 지팡이(400)는 햅틱 어레이(402) 및 2개의 영역 센서들(404 및 406)을 포함한다. 햅틱 어레이(402)는 하나 이상의 햅틱 출력 디바이스들, 예를 들어, 압전 액추에이터, 전기 모터, 전자기 액추에이터, 보이스 코일, 형상 기억 합금, 전기 활성 폴리머, 솔레노이드, 편심 회전 질량 모터(ERM: eccentric rotating mass motor), 선형 공진 액추에이터(LRA: linear resonant actuator), 또는 표면 기반의 효과들을 출력하도록 구성되는 햅틱 출력 디바이스를 포함할 수 있다. 2개의 영역 센서들(404 및 406)은, 예를 들어, 초음파 센서, 적외선 센서, 레이저 센서, 또는 카메라를 포함한다. 일부 실시예들에서, 햅틱 지팡이(400)는 하나의 영역 센서만을 포함할 수 있다. 다른 실시예들에서 햅틱 지팡이(400)는 2개보다 많은 영역 센서들을 포함할 수 있다.
도 4에 도시된 바와 같이, 햅틱 지팡이(400)는 본 명세서에 논의된 동작들을 수행하도록 구성될 수 있다. 예를 들어, 영역 센서들(404 및 406)으로부터 수신되는 신호들에 기초하여, 햅틱 지팡이(400)와 관련되는 프로세서는 사용자의 경로에 있는 장애물들을 검출하고, 사용자에게 이러한 장애물들을 경고하는 햅틱 효과들을 출력하도록 구성될 수 있다. 일부 실시예들에서, 햅틱 지팡이(400)는 자기 자신의 마이크로프로세서를 포함할 수 있다. 또한, 일부 실시예들에서 햅틱 지팡이(400)는 모바일 디바이스에 있는 프로세서와 통신하도록 구성될 수 있다. 이러한 실시예에서, 모바일 디바이스는 햅틱 지팡이로부터의 센서 신호들을 수신하고 햅틱 효과들을 출력할 수 있는데, 이는 모바일 디바이스 또는 햅틱 지팡이(400) 중 어느 하나에 의해 출력된다. 예를 들어, 일부 실시예들에서, 햅틱 지팡이(400)는 사용자가 모바일 디바이스를 햅틱 지팡이에 결합시키게 할 수 있는 마운트를 포함할 수 있다. 이러한 실시예에서는, 영역 센서들(404 및 406)보다는 오히려, 프로세서가 모바일 디바이스와 관련되는 영역 센서들로부터 데이터를 대신 수신할 수 있다. 또한, 일부 실시예들에서는, 모바일 디바이스와 관련되는 영역 센서들 및 햅틱 지팡이(400)와 관련되는 영역 센서들 양자 모두가 오브젝트들을 검출하는데 사용될 수 있다. 유사하게, 사용자에게 햅틱 효과를 출력하기 위해서 햅틱 어레이(402) 및 모바일 디바이스와 관련되는 햅틱 출력 디바이스들이 이용될 수 있다.
햅틱 지팡이는 햅틱 어레이(402)를 통해 햅틱 효과들을 출력할 수 있다. 이러한 햅틱 효과들은 사용자에게 장애물을 경고하기 위한 단순한 진동들을 포함할 수 있다. 대안적으로, 이러한 햅틱 효과들은 사용자에게 장애물의 타입을 경고하기 위해서 강도가 변경되도록 구성되는 보다 복잡한 효과들, 예를 들어, 열린 맨홀 커버 또는 다가오는 차량과 같은 위험한 장애물에 대한 강한 효과 및 한 점의 가구 또는 다른 사람과 같은 덜 위험한 장애물에 대한 약한 햅틱 효과를 포함할 수 있다.
또한, 도 4에 도시된 실시예에서 햅틱 지팡이(400)는 경로를 따라서 사용자를 안내하도록 구성될 수 있다. 따라서, 예를 들어, 햅틱 지팡이(400)는 전방, 후방, 좌측, 또는 우측으로 이동하라고 사용자에게 경고하는 햅틱 효과들을 출력하도록 구성될 수 있다. 또한, 사용자가 계단과 마주치면 햅틱 지팡이(400)는 사용자가 계단을 올라가거나 또는 계단을 내려와야 한다는 것을 표시하는 피드백을 제공하도록 구성될 수 있다. 일부 실시예들에서 이러한 햅틱 효과들은 햅틱 어레이(402) 상의 상이한 위치들에서 출력되는 효과들, 예를 들어, 전방으로 이동하라고 사용자를 안내하는 햅틱 어레이(402)의 전면에서의 효과 및 후방으로 이동하라고 사용자를 안내하는 햅틱 어레이(402)의 후면에서의 효과를 포함할 수 있다. 일부 실시예들에서, 햅틱 지팡이(400)는 위성 위치지정 시스템(Satellite Positioning System) 기능성을 포함할 수 있고, 따라서 다수의 비교적 먼 지점들 사이의 방향들을 사용자에게 제공할 수 있다.
또 다른 실시예들에서, 촉각 안내를 위한 시스템들 및 방법들은 발견 도구로서 사용될 수 있다. 예를 들어, 사용자는 사용자가 볼 수 없는 영역에 있는, 예를 들어, 어두운 영역에 있거나 다른 오브젝트 아래에 있는(예를 들어, 사용자의 침대 아래에 있는) 오브젝트들의 위치를 찾기 위해 본 명세서에 개시된 시스템들 및 방법들을 사용할 수 있다. 이러한 실시예에서, 검색되는 영역에 오브젝트가 있는지 사용자가 판정하는 것을 허용하는 검출기로서 촉각 안내를 위한 시스템들 및 방법들이 역할을 할 수 있는데, 예를 들어, 사용자는 사용자의 고양이가 침대 아래에 있다고 판정하는데 본 명세서에 개시된 실시예들을 사용할 수 있다. 이러한 실시예에서, 사용자는 그의 또는 그녀의 전화를 침대 아래에 둘 수 있다. 영역 센서는 그 영역에 있는 오브젝트들을 검출할 수 있고, 이러한 오브젝트들 중 하나가 찾고자 하는 오브젝트(이 경우에는 고양이)이면, 모바일 디바이스의 프로세서는 그 오브젝트가 발견되었다고 사용자에게 경고하는 햅틱 효과를 판정할 수 있다. 이러한 실시예는 분실하거나 또는 잘못 둔 오브젝트들(예를 들어, 열쇠들, 리모콘, 도구들, 헤드폰들 등)의 위치를 찾는데 유용할 수 있다.
촉각 안내를 위한 예시적인 방법들
도 5는 일 실시예에 따른 촉각 안내를 위한 방법을 수행하기 위한 단계들의 흐름도이다. 일부 실시예에서, 도 5에서의 단계들은 프로세서, 예를 들어, 범용 컴퓨터, 모바일 디바이스, 또는 서버에서의 프로세서에 의해 실행되는 프로그램 코드로 구현될 수 있다. 일부 실시예들에서, 이러한 단계들은 일 그룹의 프로세서들에 의해 구현될 수 있다. 일부 실시예들에서, 도 5에 도시된 하나 이상의 단계들은 생략되거나 또는 상이한 순서로 실행될 수 있다. 유사하게, 일부 실시예들에서는, 도 5에 도시되지 않는 추가적 단계들이 또한 수행될 수 있다. 이하의 단계들은 도 1에 도시된 컴퓨팅 디바이스(100)에 관하여 위에 설명된 컴포넌트들을 참조하여 설명된다.
방법(500)은 프로세서(102)가 영역 센서(115)로부터 센서 신호를 수신하는 단계 502에서 시작한다. 위에 설명된 바와 같이, 영역 센서(들)(115)는 사용자 주변 영역과 관련된 오브젝트들을 검출하고 이러한 오브젝트들과 관련되는 신호들을 프로세서(들)(102)에 송신하도록 구성되는 하나 이상의 디바이스를 포함한다. 예를 들어, 영역 센서(들)(115)는 초음파 센서, 적외선 센서, 레이저 센서, 또는 카메라 중 하나 이상을 포함할 수 있다. 일 실시예에서, 영역 센서(들)(115)는 MB1320 XL-MaxSonar-AE2를 포함할 수 있지만, 다른 실시예들에서는 많은 다른 타입들 및 모델들의 영역 센서(들)가 마찬가지로 또는 대안적으로 사용될 수 있다. 일부 실시예들에서, 영역 센서(들)(115)에 의해 검출되는 오브젝트들은 사용자 주변 영역에서 발견되는 임의의 오브젝트, 예를 들어, 실내 오브젝트들(예를 들어, 가구, 지지 기둥들, 벽들, 문들, 또는 실내 영역과 관련되는 다른 오브젝트들); 실외 오브젝트들(예를 들어, 나무들, 바위들, 구멍들, 뿌리들, 그루터기들, 제한물들(curbs), 자동차들, 자전거들, 또는 실외 영역과 관련되는 다른 오브젝트들)을 포함할 수 있다. 또한, 이러한 오브젝트들은 이동 오브젝트들(예를 들어, 동물들, 자동차들, 사람 등) 또는 비-이동 오브젝트들(예를 들어, 나무들, 벽들, 물웅덩이들 등)을 포함할 수 있다. 따라서, 일 실시예에서 영역 센서(115)는 벽의 형태로 있는 오브젝트를 검출하고 그 벽과 관련되는 신호를 프로세서(102)에 송신할 수 있다.
다음으로, 프로세서(102)는 영역 정보를 판정한다(504). 일부 실시예들에서, 프로세서(102)는 영역 센서(115)로부터 수신되는 신호에 일부 기초하여 영역 정보를 판정한다. 이러한 영역 정보는, 예를 들어, 사용자의 일정 거리 내에 있는 오브젝트들에 관한 정보를 포함할 수 있다. 이러한 오브젝트들은 위에 논의된 오브젝트들, 예를 들어, 실내 또는 실외 오브젝트들을 포함할 수 있는데, 이들 중 일부는 장애물들을 포함할 수 있다. 일부 실시예들에서 프로세서는 또한 사용자가 여행하고 있는 또는 여행할 경로를 판정한다. 일부 실시예들에서 이러한 경로는 위성 위치지정 시스템으로부터 수신되는 정보에 일부 기초하여 판정된다.
일부 실시예들에서, 영역 센서(115)는 카메라를 포함할 수 있다. 이러한 실시예에서, 프로세서(102)는 카메라로부터 수신되는 이미지를 다듬는 것에 의해 카메라 신호로부터 영역 정보를 판정할 수 있다. 프로세서(102)는 이러한 신호를 RGB로부터 HSV 색 공간으로 변환할 수 있다. 프로세서(102)는 다음으로 임계 이미지를 생성할 수 있다. HSV 이미지에서의 픽셀이 임계 값들 사이이면 프로세서는 그 픽셀을 임계 이미지에 복사할 수 있다. 프로세서(102)는 다음으로 임계 이미지를 3D 행렬로 변환할 수 있다. 다음으로, 그 3D 행렬에서의 논-제로 엘리먼트들의 수가 검출 값보다 더 크면 프로세서(102)는 오브젝트가 발견되었다고 리턴할 수 있다. 유사하게, 일부 실시예들에서, 영역 센서는 오브젝트들과 관련되는 주요 디스크립터들을 검출하도록 구성될 수 있다. 예를 들어, 영역 센서(115)는 적외선 카메라를 포함할 수 있다. 일부 실시예들에서, 적외선 카메라는 하나 이상의 오브젝트들의 열 특성들을 검출할 수 있다.
다음으로 프로세서(102)는 지도를 판정할 수 있다(506). 일부 실시예들에서 지도는 영역 정보에 관한 상세사항을 포함할 수 있다. 이러한 상세사항은 사용자의 영역 내에 있는 모든 오브젝트를 포함할 수 있다. 일부 실시예들에서, 프로세서(102)는 이러한 지도를 국부적으로 저장할 수 있다. 대안적으로, 일부 실시예들에서, 프로세서는 이러한 지도를 추가적 처리 및 저장을 위해 원격 데이터 저장소에 송신할 수 있다.
일부 실시예들에서, 프로세서(102)는 데이터베이스, 예를 들어, 국부적으로 저장된 데이터베이스 또는 네트워크 접속을 통해 액세스되는 원격 데이터베이스로부터 지도 데이터를 수신함으로써 이러한 지도를 판정할 수 있다. 예를 들어, 일부 실시예들에서 프로세서는 인터넷을 통해 액세스가능한 원격 데이터베이스로부터 데이터를 수신함으로써 이러한 지도를 판정할 수 있다. 일부 실시예들에서, 이러한 데이터베이스는 "클라우드(cloud)" 데이터베이스를 포함할 수 있는데, 이는 하나 이상의 공적 또는 사적 그룹들에 의해서 지속적으로 업데이트될 수 있다. 또한, 이러한 데이터베이스는 복수의 모바일 애플리케이션들 및 웹페이지들에 의해 사용되거나 또는 액세스되는 지도 데이터의 데이터베이스를 포함할 수 있다. 일부 실시예들에서, 프로세서는 사용자 주변 영역에 대한 정보(예를 들어, 그 영역에 있는 오브젝트들에 대한 정보)를 데이터 베이스에 저장된 정보와 비교함으로써 지도를 판정할 수 있다. 일부 실시예들에서, 프로세서(102)는 데이터베이스를 액세스함으로써 사용자의 현재 위치를 판정할 수 있다.
다음으로 프로세서(102)는 지도를 간략화한다(508). 일부 실시예들에서, 지도를 간략화하는 것은 영역 정보를 사용자의 영역 내에 있는 각각의 오브젝트를 향하는 벡터들의 집합으로 간략화하는 것을 포함할 수 있다. 이러한 일련의 벡터들은 오브젝트를 마주치기 이전에 각각의 방향으로 사용자가 얼마나 멀리 움직일 수 있는지를 판정하기 위해서 프로세서(102)가 간략화된 데이터를 액세스하게 할 수 있다.
다음으로, 프로세서(102)는 하나 이상의 장애물들을 식별한다(510). 장애물은 사용자의 경로에 있는 위에 논의된 임의의 오브젝트를 포함할 수 있다. 따라서, 예를 들어, 장애물은 사용자가 동일한 방향으로 계속 이동하면 사용자의 전방 진행을 방해할 수 있는 하나 이상의 오브젝트들을 포함할 수 있다.
일부 실시예들에서, 프로세서(102)는 오브젝트들 및 지도에 관한 정보를 지속적으로 업데이트할 수 있다. 예를 들어, 일부 실시예들에서는 사용자가 움직이고 있을 수 있다. 이러한 실시예에서, 프로세서는 영역 센서(들)(115)를 계속 모니터링하고 오브젝트들에 대한 사용자의 위치에 관한 실질적으로 최신인 정보를 유지할 수 있다. 유사하게, 일부 실시예들에서 오브젝트들은 자동차들, 버스들, 열차들, 동물들, 또는 다른 사람 등과 같은 이동 오브젝트들을 포함할 수 있다. 이러한 실시예에서, 프로세서(102)는 영역 센서(들)(115)를 계속 모니터링하고 오브젝트들에 대한 사용자의 위치에 관한 실질적으로 최신인 정보를 유지할 수 있다.
다음으로 프로세서는 햅틱 효과를 판정할 수 있다(512). 일부 실시예들에서, 프로세서(102)는 사용자 선택에 기초하여 햅틱 효과를 판정할 수 있다. 예를 들어, 사용자는 사용자가 오브젝트를 마주칠 때 출력될 가용 햅틱 효과를 선택할 수 있다. 예를 들어, 컴퓨팅 디바이스(101)의 데이터 저장소는 다수의 햅틱 효과들과 관련되는 데이터를 포함할 수 있는데, 이를 사용자가 선택할 수 있다. 대안적으로, 일부 실시예들에서, 프로세서(102)는 햅틱 효과를 자동으로 선택할 수 있다. 예를 들어, 일부 실시예들에서, 프로세서(102)는 영역 센서들(115)에 의해 검출되는 오브젝트들과 관련되는 햅틱 효과를 선택할 수 있다. 예를 들어, 프로세서는 보다 위험함 오브젝트들, 예를 들어, 빠르게 이동하는 오브젝트들(예를 들어, 자동차들, 버스들, 열차들)에 대해 보다 강렬한 햅틱 효과를 판정할 수 있고, 보다 먼 또는 덜 위험한 오브젝트들, 예를 들어, 가구 또는 사람들에 대해 덜 강렬한 햅틱 효과들을 판정할 수 있다.
일부 실시예들에서 프로세서(102)는 검출되는 오브젝트와 관련되는 하나 이상의 주요 스크립터들에 기초하여 경고를 출력할지 여부를 판정하도록 구성될 수 있다. 이러한 실시예에서, 주요 디스크립터들은, 예를 들어, 오브젝트의 크기, 이동 방향, 이동 속도, 사용자로부터의 거리, 상대적인 위험성, 또는 오브젝트와 관련되는 일부 다른 주요 디스크립터를 포함할 수 있다. 예를 들어, 검출되는 오브젝트가 비교적 멀면(예를 들어, 임계 거리보다 큼), 예시적인 디바이스는 어떠한 경고도 출력하지 않을 수 있다. 유사하게, 예시적인 디바이스는 오브젝트에 대한 추가 정보, 예를 들어, 오브젝트의 크기, 그것의 상대적인 위험성, 그것의 이동 속도, 그것의 이동 방향을 판정할 수 있고, 이러한 정보에 기초하여 사용자에게 경고를 출력할지 여부를 판정할 수 있다.
또한, 일부 실시예들에서는, 오브젝트와 관련되는 하나 이상의 주요 디스크립터들에 기초하여 프로세서(102)가 이떠한 형태의 경고도 출력하지 않을 것(예를 들어, 청각적 경고, 시각적 경고, 또는 햅틱 효과가 없음)을 판정할 수 있다. 예를 들어, 센서 신호에 기초하여 프로세서(102)는 오브젝트의 거리, 오브젝트가 이동하는 속도, 이동 방향, 오브젝트의 크기, 또는 오브젝트와 관련되는 다른 특성과 같은 오브젝트와 관련되는 주요 디스크립터들을 판정할 수 있고, 이러한 정보에 기초하여 어떠한 형태의 경고도 출력하지 않는다고 판정할 수 있다. 예를 들어, 사용자로부터 멀리 이동하는 버스는 경고를 요구하지 않는 반면, 사용자를 향하여 이동하는 버스는 경고를 요구한다고 프로세서가 판정할 수 있다. 유사하게, 일부 실시예들에서, 프로세서(102)는 오브젝트의 크기에 기초하여 경고를 출력하지 않는다고 판정할 수 있는데, 예를 들어, 프로세서(102)는 사용자의 경로에 있는 종이클립과 같은 매우 작은 오브젝트에 대해서는 경고 없음을 판정할 수 있다. 또한, 프로세서(102)는 오브젝트의 타입에 기초하여 경고를 출력하지 않는다고 판정할 수 있다. 예를 들어, 프로세서(102)는 작고 유순한 개에 대해서는 경고를 출력하지 않지만, 크고 공격적인 개에 대해서는 경고를 출력한다고 판정할 수 있다. 추가적인 실시예에서, 프로세서(102)는 사용자로부터 비교적 멀리, 예를 들어 임계 거리보다 멀리 있는 것으로서 오브젝트가 검출되기 때문에 사용자에게 경고하지 않는다고 판정할 수 있다. 이러한 실시예에서, 오브젝트가 임계 거리보다 멀리 위치되면 프로세서(102)는 경고를 출력하지 않는다고 판정할 수 있다.
다음으로 프로세서(102)는 햅틱 효과를 출력하는 햅틱 출력 디바이스(118)에 햅틱 신호를 송신한다(514). 위에 논의된 바와 같이, 이러한 햅틱 효과는 질감(예를 들어, 모래같음(sandy), 울퉁불퉁함(bumpy), 또는 부드러움(smooth)), 진동, 인지되는 마찰 계수의 변화, 온도의 변화, 때리는 감각, 전기-촉각 효과, 또는 변형(예를 들어, 컴퓨팅 디바이스(101)와 관련되는 표면의 변형)을 포함할 수 있다.
촉각 안내의 여러 이점들이 존재한다. 예를 들어, 촉각 안내는 사용자들이 위험하거나 또는 당황스러운 충돌들의 공포 없이 모바일 애플리케이션들에 보다 완전히 관여하게 할 수 있다. 이것은 사용자 안전성을 높이고 또한 사용자 만족도를 증가시킬 수 있다. 또한, 본 개시내용의 실시예들은 시각 장애가 있는 사람들에게 추가적 이동성을 제공할 수 있다. 또한, 본 개시내용의 실시예들은 시야가 제한적인 영역들에서 자주 작업해야만 하는 사람, 예를 들어, 군인들, 경찰, 소방관 등에 의한 사용을 위한 도구들을 제공할 수 있다. 이러한 특징들 중 임의의 것은 광범위한 집단의 사용자들에게 모바일 디바이스들 및 모바일 애플리케이션들의 추가적인 사용들을 제공한다.
일반적인 고려사항들
위에 논의된 방법들, 시스템들, 및 디바이스들은 예들이다. 다양한 구성들은 적절하게 다양한 프로시저들 또는 컴포넌트들을 생략하거나, 대체하거나, 또는 추가할 수 있다. 예를 들어, 대안적인 구성들에서, 방법들은 설명된 것과는 상이한 순서로 수행될 수 있고, 및/또는 다양한 단계들이 추가, 생략 및/또는 조합될 수 있다. 또한, 특정 구성들에 대해 설명된 특징들이 다양한 다른 구성들로 조합될 수 있다. 이러한 구성들의 상이한 양태들 및 엘리먼트들은 유사한 방식으로 조합될 수 있다. 또한, 기술이 진보하고, 그에 따라, 많은 엘리먼트들은 예들이며, 본 개시내용 또는 청구항들의 범위를 제한하는 것은 아니다.
(구현들을 포함하는) 예시적인 구성들의 철저한 이해를 제공하기 위해서 본 설명에서 구체적인 상세사항들이 주어진다. 그러나, 구성들은 이러한 구체적인 상세사항들 없이 실시될 수 있다. 예를 들어, 잘 알려진 회로들, 프로세스들, 알고리즘들, 구조들 및 기술들은 이러한 구성들을 불명료하게 하는 것을 회피하기 위해서 불필요한 상세사항 없이 제시되었다. 본 설명은 예시적인 구성들만을 제공하며, 청구항들의 범위, 적용가능성, 또는 구성들을 제한하는 것은 아니다. 오히려, 이러한 구성들의 앞선 설명은, 설명된 기술들을 구현하기 위한 설명을 본 기술분야의 통상의 기술자들에게 제공할 것이다. 본 개시내용의 사상 또는 범위로부터 벗어나지 않고 엘리먼트들의 기능 및 배열에서 다양한 변경들이 이루어질 수 있다.
또한, 구성들은 흐름도 또는 블록도로 묘사되는 프로세스로서 설명될 수 있다. 각각은 순차적인 프로세스로서 동작들을 설명할 수 있지만, 많은 동작들은 병렬로 또는 동시에 수행될 수 있다. 또한, 동작들의 순서는 재배열될 수 있다. 프로세스는 도면에 포함되지 않은 추가적인 단계들을 가질 수 있다. 또한, 방법들의 예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어(hardware description languages), 또는 이들의 임의의 조합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 작업들을 수행하는 프로그램 코드 또는 코드 세그먼트들은 스토리지 매체와 같은 비-일시적 컴퓨터 판독가능 매체에 저장될 수 있다. 프로세서들은 설명된 작업들을 수행할 수 있다.
여러 예시적인 구성들을 설명하였지만, 본 개시내용의 사상으로부터 벗어나지 않고 다양한 변형들, 대안적인 구성들, 및 등가물들이 사용될 수 있다. 예를 들어, 위의 엘리먼트들은 더 큰 시스템의 컴포넌트들일 수 있는데, 여기서 다른 규칙들은 본 발명의 애플리케이션보다 우선하거나 다른 방식으로 이를 수정할 수 있다. 또한, 위의 엘리먼트들이 고려되기 이전에, 고려되는 동안에, 또는 고려된 이후 다수의 단계들이 취해질 수 있다. 따라서, 위 설명이 청구항들의 범위를 한정하는 것은 아니다.
본 명세서에서 "~하도록 적응되는(adapted to)" 또는 "~하도록 구성되는(configured to)"의 사용은 부가적인 작업들 또는 단계들을 수행하도록 적응되는 또는 구성되는 디바이스들을 배제하지 않는 개방적이며 포괄적인 언어를 의미한다. 또한, "~에 기초하는(based on)"의 사용은, 하나 이상의 언급된 조건들 또는 값들에 "기초하는" 프로세스, 단계, 계산 또는 다른 액션이, 실제로, 언급된 것들을 넘는 추가적인 조건들 또는 값들에 기초할 수 있다는 점에서, 개방적이며 포괄적인 것을 의미한다. 본 명세서에 포함되는 표제들, 목록들 및 넘버링은 설명의 편의를 위한 것일 뿐이며, 제한하는 것으로 의도된 것은 아니다.
본 주제의 양태들에 따른 실시예들은, 디지털 전자 회로로, 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 선행하는 것들의 조합들로 구현될 수 있다. 일 실시예에서, 컴퓨터는 프로세서 또는 프로세서들을 포함할 수 있다. 프로세서는 프로세서에 결합되는 RAM(random access memory)와 같은 컴퓨터 판독가능 매체를 포함하거나 또는 이를 액세스한다. 프로세서는, 위에 설명된 방법들을 수행하기 위해서 센서 샘플링 루틴, 선택 루틴들 및 다른 루틴들을 포함하는 하나 이상의 컴퓨터 프로그램들을 실행하는 것과 같이, 메모리에 저장된 컴퓨터 실행가능 프로그램 명령어들을 실행한다.
이러한 프로세서들은, 마이크로프로세서, DSP(digital signal processor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 및 상태 머신들을 포함할 수 있다. 이러한 프로세서들은, PLC들, PIC들(programmable interrupt controllers), PLD들(programmable logic devices), PROM들(programmable read-only memories), EPROM들 또는 EEPROM들(electronically programmable read-only memories), 또는 다른 유사한 디바이스들과 같은 프로그램가능 전자 디바이스들을 더 포함할 수 있다.
이러한 프로세서들은, 프로세서에 의해 실행될 때, 이 프로세서로 하여금, 프로세서에 의해 수행되거나 지원되는 바와 같은 본 명세서에 설명된 단계들을 수행하게 할 수 있는 명령어들을 저장할 수 있는 매체, 예를 들어 유형의 컴퓨터 판독가능 매체를 포함할 수 있거나, 또는 이러한 매체와 통신할 수 있다. 컴퓨터 판독가능 매체의 실시예들은, 웹 서버에서의 프로세서와 같은 프로세서에 컴퓨터 판독가능 명령어들을 제공할 수 있는 모든 전자, 광학, 자기, 또는 다른 스토리지 디바이스들을 포함할 수 있지만, 이에 제한되는 것은 아니다. 매체의 다른 예들은, 플로피 디스크, CD-ROM, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성된 프로세서, 모든 광학 매체, 모든 자기 테이프 또는 다른 자기 매체, 또는 컴퓨터 프로세서가 판독할 수 있는 임의의 다른 매체를 포함하지만, 이에 제한되는 것은 아니다. 또한, 다양한 다른 디바이스는 라우터, 사적 또는 공적 네트워크, 또는 다른 송신 디바이스와 같은 컴퓨터 판독가능 매체를 포함할 수 있다. 설명된 프로세서, 및 처리는 하나 이상의 구조들에 있을 수 있고, 하나 이상의 구조들을 통해 분산될 수 있다. 프로세서는 본 명세서에 설명된 방법들 중 하나 이상(또는 방법들의 일부들)을 수행하는 코드를 포함할 수 있다.
본 주제가 그 구체적인 실시예들에 대하여 상세하게 설명되었지만, 본 기술분야의 통상의 기술자는, 전술한 내용을 이해하게 되면, 이러한 실시예들에 대한 변경물들, 변형물들 및 등가물들을 용이하게 생성할 수 있다는 점이 이해될 것이다. 따라서, 본 개시내용은 제한이 아니라 예시의 목적으로 제시되었으며, 본 기술분야의 통상의 기술자에게 용이하게 명백히 되는 바와 같은 본 주제에 대한 이러한 수정물들, 변형물들 및/또는 추가물들의 포함을 배제하는 것은 아니라는 점이 이해되어야 한다.

Claims (22)

  1. 촉각 안내를 위한 방법으로서,
    영역과 관련되는 하나 이상의 오브젝트들을 판정하도록 구성되는 센서로부터 센서 신호를 수신하는 단계;
    상기 센서 신호에 일부 기초하여 영역 정보를 판정하는 단계;
    상기 영역 정보에 일부 기초하여 햅틱 효과를 판정하는 단계; 및
    상기 햅틱 효과와 관련되는 햅틱 신호를 상기 햅틱 효과를 출력하도록 구성되는 햅틱 출력 디바이스에 송신하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 센서 신호에 일부 기초하여 지도를 판정하는 단계; 및
    상기 지도와 관련되는 데이터를 원격 데이터베이스에 송신하는 단계
    를 더 포함하는 방법.
  3. 제2항에 있어서,
    상기 지도를 판정하는 단계는 상기 지도에 대한 데이터를 데이터베이스로부터 수신하는 단계를 포함하는 방법.
  4. 제2항에 있어서,
    상기 영역 내의 선형 거리들을 포함하도록 상기 지도를 간략화하는 단계; 및
    상기 영역 내에 있는 하나 이상의 장애물들을 식별하는 단계
    를 더 포함하는 방법.
  5. 제1항에 있어서,
    상기 햅틱 효과는 상기 하나 이상의 장애물들과 관련되는 방법.
  6. 제1항에 있어서,
    상기 센서는 초음파 센서, 적외선 센서, 레이저 센서, 또는 카메라 중 하나 이상을 포함하는 방법.
  7. 제1항에 있어서,
    상기 햅틱 출력 디바이스는 압전 액추에이터, 전기 모터, 전자기 액추에이터, 보이스 코일(voice coil), 형상 기억 합금(shape memory alloy), 전기 활성 폴리머(electro-active polymer), 솔레노이드, 편심 회전 질량 모터(ERM: eccentric rotating mass motor), 또는 선형 공진 액추에이터(LRA: linear resonant actuator) 중 하나 이상을 포함하는 방법.
  8. 제1항에 있어서,
    상기 센서 및 햅틱 출력 디바이스는 양자 모두 웨어러블(wearable) 디바이스 또는 그래스퍼블(graspable) 디바이스 중 하나와 관련되는 방법.
  9. 제8항에 있어서,
    상기 그래스퍼블 디바이스는 모바일 디바이스 또는 지팡이 중 하나를 포함하는 방법.
  10. 제8항에 있어서,
    상기 웨어러블 디바이스는 헬멧, 장갑, 안경, 또는 증강 현실 안경 중 하나를 포함하는 방법.
  11. 프로그램 코드를 포함하는 비-일시적 컴퓨터 판독가능 매체로서,
    상기 프로그램 코드는, 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    영역과 관련되는 하나 이상의 오브젝트들을 판정하도록 구성되는 센서로부터 센서 신호를 수신하게 하고;
    상기 센서 신호에 일부 기초하여 영역 정보를 판정하게 하고;
    상기 영역 정보에 일부 기초하여 햅틱 효과를 판정하게 하며;
    상기 햅틱 효과와 관련되는 햅틱 신호를 상기 햅틱 효과를 출력하도록 구성되는 햅틱 출력 디바이스에 송신하게 하도록 구성되는
    비-일시적 컴퓨터 판독가능 매체.
  12. 제11항에 있어서,
    상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    상기 센서 신호에 일부 기초하여 지도를 판정하게 하며;
    상기 지도와 관련되는 데이터를 원격 데이터베이스에 송신하게 하도록 구성되는
    프로그램 코드를 더 포함하는 비-일시적 컴퓨터 판독가능 매체.
  13. 제12항에 있어서,
    상기 지도를 판정하는 것은 상기 지도에 대한 데이터를 데이터베이스로부터 수신하는 것을 포함하는 비-일시적 컴퓨터 판독가능 매체.
  14. 제12항에 있어서,
    상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
    상기 영역 내의 선형 거리들을 포함하도록 상기 지도를 간략화하게 하며;
    상기 영역 내에 있는 하나 이상의 장애물들을 식별하게 하도록 구성되는
    프로그램 코드를 더 포함하는 비-일시적 컴퓨터 판독가능 매체.
  15. 제11항에 있어서,
    상기 햅틱 효과는 상기 하나 이상의 장애물들과 관련되는 비-일시적 컴퓨터 판독가능 매체.
  16. 제11항에 있어서,
    상기 센서는 초음파 센서, 적외선 센서, 레이저 센서, 또는 카메라 중 하나 이상을 포함하는 비-일시적 컴퓨터 판독가능 매체.
  17. 제11항에 있어서,
    상기 햅틱 출력 디바이스는 압전 액추에이터, 전기 모터, 전자기 액추에이터, 보이스 코일(voice coil), 형상 기억 합금(shape memory alloy), 전기 활성 폴리머(electro-active polymer), 솔레노이드, 편심 회전 질량 모터(ERM: eccentric rotating mass motor), 또는 선형 공진 액추에이터(LRA: linear resonant actuator) 중 하나 이상을 포함하는 비-일시적 컴퓨터 판독가능 매체.
  18. 제11항에 있어서,
    상기 비-일시적 컴퓨터 판독가능 매체, 센서 및 햅틱 출력 디바이스는 모두는 웨어러블(wearable) 디바이스 또는 그래스퍼블(graspable) 디바이스 중 하나와 관련되는 비-일시적 컴퓨터 판독가능 매체.
  19. 제18항에 있어서,
    상기 그래스퍼블 디바이스는 모바일 디바이스 또는 지팡이 중 하나를 포함하는 비-일시적 컴퓨터 판독가능 매체.
  20. 제18항에 있어서,
    상기 웨어러블 디바이스는 헬멧, 장갑, 안경, 또는 증강 현실 안경 중 하나를 포함하는 비-일시적 컴퓨터 판독가능 매체.
  21. 촉각 안내를 위한 시스템으로서,
    영역 정보를 판정하고, 상기 영역 정보와 관련되는 센서 신호를 송신하도록 구성되는 센서;
    상기 센서와 통신하는 프로세서- 상기 프로세서는, 상기 센서 신호에 일부 기초하여 영역 정보를 판정하고; 상기 영역 정보에 일부 기초하여 햅틱 효과를 판정하며; 상기 햅틱 효과와 관련되는 햅틱 신호를 송신하도록 구성됨 -; 및
    상기 프로세서와 통신하는 햅틱 출력 디바이스- 상기 햅틱 출력 디바이스는 상기 햅틱 신호를 수신하고 상기 햅틱 효과를 출력하도록 구성됨 -
    를 포함하는 시스템.
  22. 제21항에 있어서,
    상기 시스템의 컴포넌트들 모두는 지팡이와 관련되는 시스템.
KR1020160050044A 2015-04-28 2016-04-25 촉각 안내를 위한 시스템들 및 방법들 KR20160128233A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/697,680 2015-04-28
US14/697,680 US20160321880A1 (en) 2015-04-28 2015-04-28 Systems And Methods For Tactile Guidance

Publications (1)

Publication Number Publication Date
KR20160128233A true KR20160128233A (ko) 2016-11-07

Family

ID=55860737

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160050044A KR20160128233A (ko) 2015-04-28 2016-04-25 촉각 안내를 위한 시스템들 및 방법들

Country Status (5)

Country Link
US (1) US20160321880A1 (ko)
EP (1) EP3088996A1 (ko)
JP (1) JP2016212858A (ko)
KR (1) KR20160128233A (ko)
CN (1) CN106095071A (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9842388B2 (en) * 2015-07-02 2017-12-12 Honeywell International Inc. Systems and methods for location aware augmented vision aircraft monitoring and inspection
JP6875010B2 (ja) * 2016-04-07 2021-05-19 国立研究開発法人科学技術振興機構 触覚情報変換装置、触覚情報変換方法、および、触覚情報変換プログラム
US11269480B2 (en) * 2016-08-23 2022-03-08 Reavire, Inc. Controlling objects using virtual rays
US20180096632A1 (en) * 2016-09-30 2018-04-05 Omar U. Florez Technology to provide visual context to the visually impaired
EP3378461B1 (en) * 2017-03-22 2019-10-23 Vestel Elektronik Sanayi ve Ticaret A.S. A smart guide device for visually impaired person
US10969870B2 (en) * 2017-07-10 2021-04-06 Sharp Kabushiki Kaisha Input device
DE102017217876B4 (de) * 2017-10-09 2019-05-16 Zf Friedrichshafen Ag Vorrichtung und Verfahren zur Verbesserung des Raumgefühls eines Nutzers
JP7042061B2 (ja) 2017-11-10 2022-03-25 株式会社バンダイナムコエンターテインメント 操作入力システム、操作入力装置及びゲームシステム
US11740697B1 (en) 2018-06-19 2023-08-29 Meta Platforms Technologies, Llc Vibrotactile devices, systems, and related methods
US20200073210A1 (en) * 2018-08-30 2020-03-05 Daniel Lai Chow Leung Method to help navigate users of mobile communication devices by re-directed camera views
CN109009906B (zh) * 2018-08-31 2021-02-12 江苏大学 一种导盲杆及其方法
US11370496B2 (en) 2020-01-31 2022-06-28 Toyota Motor Engineering & Manufacturing North America, Inc. Programmable texture surfaces having artificial muscles
US11139755B2 (en) 2020-01-31 2021-10-05 Toyota Motor Engineering & Manufacturing North America, Inc. Variable stiffening device comprising electrode stacks in a flexible envelope
US11453347B2 (en) 2020-03-12 2022-09-27 Toyota Motor Engineering & Manufacturing North America, Inc. Suction devices having artificial muscles
US11611293B2 (en) 2020-03-13 2023-03-21 Toyota Motor Engineering & Manufacturing North America, Inc. Artificial muscles having a reciprocating electrode stack
US11461587B2 (en) 2021-01-13 2022-10-04 International Business Machines Corporation Intelligent visual recognition translation
CN113840588A (zh) * 2021-08-15 2021-12-24 曹庆恒 一种触觉感知系统及其使用方法
US20240130922A1 (en) * 2022-02-11 2024-04-25 Ai Guided Limited Haptic guiding system

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003079685A (ja) * 2001-09-17 2003-03-18 Seiko Epson Corp 視覚障害者歩行用補助具
DE102005009110A1 (de) * 2005-01-13 2006-07-27 Siemens Ag Vorrichtung zur Vermittlung von Umgebungsinformationen an einen sehbehinderten Menschen
US20090028003A1 (en) * 2007-07-24 2009-01-29 International Business Machines Corporation Apparatus and method for sensing of three-dimensional environmental information
US9201143B2 (en) * 2009-08-29 2015-12-01 Echo-Sense Inc. Assisted guidance navigation
EP2545494A1 (en) * 2010-03-12 2013-01-16 Shafa Wala Position capture input apparatus, system, and method therefor
EP2629737B1 (en) * 2010-09-24 2016-07-13 Heptagon Micro Optics Pte. Ltd. White cane with integrated electronic travel aid using 3d tof sensor
US20120119920A1 (en) * 2010-11-12 2012-05-17 Extra Sensory Technology, L.C. Portable sensory devices
US20130113601A1 (en) * 2011-03-14 2013-05-09 The Quality of Life Plus (QL+) Program Obstacle Detection for Visually Impaired Persons
US20130131985A1 (en) * 2011-04-11 2013-05-23 James D. Weiland Wearable electronic image acquisition and enhancement system and method for image acquisition and visual enhancement
WO2013067513A1 (en) * 2011-11-04 2013-05-10 Massachusetts Eye & Ear Infirmary Contextual image stabilization
US9044374B1 (en) * 2013-07-05 2015-06-02 Leon E. Stimpson Assisted walking device
US9558637B2 (en) * 2013-09-10 2017-01-31 Immersion Corporation Systems and methods for performing haptic conversion
US9183708B2 (en) * 2014-03-05 2015-11-10 Umm Al-Qura University Multisensor system for the blind
US10121335B2 (en) * 2014-07-18 2018-11-06 Google Technology Holdings LLC Wearable haptic device for the visually impaired

Also Published As

Publication number Publication date
US20160321880A1 (en) 2016-11-03
JP2016212858A (ja) 2016-12-15
CN106095071A (zh) 2016-11-09
EP3088996A1 (en) 2016-11-02

Similar Documents

Publication Publication Date Title
KR20160128233A (ko) 촉각 안내를 위한 시스템들 및 방법들
JP6906580B2 (ja) ビューポートベースの拡張現実触覚効果のシステム、方法及び非一時的コンピュータ可読媒体
US10551964B2 (en) Systems and methods for manipulating a graphical user interface through gestures in real space and providing associated haptic effects
Jafri et al. Visual and infrared sensor data-based obstacle detection for the visually impaired using the Google project tango tablet development kit and the unity engine
JP6541945B2 (ja) 触覚効果の知覚正規化のためのシステム及び方法
US10877564B2 (en) Approaches for displaying alternate views of information
KR20180076344A (ko) 시야를 이용하는 햅틱 피드백
KR20140128275A (ko) 햅틱적으로 사용가능한 합치된 다면적 디스플레이를 위한 시스템 및 방법
KR102032662B1 (ko) 장면 공간 모니터링을 통한 사람-컴퓨터 상호 작용
JP2018508851A (ja) モニタリング
US10477298B2 (en) Rendering haptics on headphones with non-audio data
Takizawa et al. Kinect cane: An assistive system for the visually impaired based on the concept of object recognition aid
US20230362573A1 (en) Audio enhanced augmented reality
Ferdelman Using computer vision to aid navigation for people with visual impairements
Zeng et al. 3DOD: A haptic 3D Obstacle Detector for the Blind