KR20160113666A - 오디오 탐색 지원 - Google Patents

오디오 탐색 지원 Download PDF

Info

Publication number
KR20160113666A
KR20160113666A KR1020167023255A KR20167023255A KR20160113666A KR 20160113666 A KR20160113666 A KR 20160113666A KR 1020167023255 A KR1020167023255 A KR 1020167023255A KR 20167023255 A KR20167023255 A KR 20167023255A KR 20160113666 A KR20160113666 A KR 20160113666A
Authority
KR
South Korea
Prior art keywords
user
environment
audio
search
queue
Prior art date
Application number
KR1020167023255A
Other languages
English (en)
Other versions
KR102331048B1 (ko
Inventor
로버트 제럴드
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20160113666A publication Critical patent/KR20160113666A/ko
Application granted granted Critical
Publication of KR102331048B1 publication Critical patent/KR102331048B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/008—Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/1604—Head
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/165—Wearable interfaces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5007—Control means thereof computer controlled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A61H2201/5048—Audio interfaces, e.g. voice or music controlled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5064—Position sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5092—Optical sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Vascular Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Rehabilitation Tools (AREA)
  • Traffic Control Systems (AREA)

Abstract

오디오 출력을 통해 탐색 지원을 제공하는 헤드 탑재형 컴퓨팅 디바이스에 관련된 실시예가 개시되어 있다. 예를 들어, 하나의 개시된 실시예에서, 깊이 영상 데이터 및 가시 영상 데이터는 환경의 적어도 일부분의 3차원 메쉬를 발생시키는 데 사용된다. 메쉬를 사용하여, 환경에서의 적어도 하나의 특징이 검출된다. 익숙한 탐색 모드에서 동작하고 있을 때, 특징을 검출한 것에 기초하여, 제1 오디오 탐색 큐가 사용자에게 출력된다. 익숙하지 않은 탐색 모드에서 동작하고 있을 때, 특징을 검출한 것에 기초하여, 제2 오디오 탐색 큐가 사용자에게 출력되고, 여기서 제2 오디오 탐색 큐는 제1 오디오 탐색 큐와 상이하다.

Description

오디오 탐색 지원{AUDIO NAVIGATION ASSISTANCE}
생리학적 시각 장애가 있는 사람은 그의 주변을 탐색하기 위해 하나 이상의 이동 보조 기구(mobility aid)를 이용할 수 있다. 이러한 이동 보조 기구는, 예를 들어, 지팡이, 도우미 동물(assistance animal), 시력 향상 디바이스 등을 포함할 수 있다. 이와 유사하게, 어둡거나 연기가 자욱한 방과 같은, 상황에 따른 시각 장애에 직면한 시력이 정상인 사람도 그의 현재 환경에 대한 탐색 지원을 제공하는 이동 보조 기구로부터 이득을 볼 수 있다.
일부 이동 보조 기구는, 지팡이가 도로 상의 연석에 닿는 것과 같이, 사용자의 주변의 사정을 알려주는 촉각적 피드백을 제공한다. 그렇지만, 이러한 보조 기구를 사용하는 것은 사용자의 손과 함께 상당히 많은 사용자의 주의를 빼앗는다. 그에 부가하여, 이러한 보조 기구는 일반적으로 사용자의 바로 앞 주변의 상황에 관계없이 그 주변에 대한 동일한 양 및 유형의 피드백을 제공한다. 그에 따라, 이러한 보조 기구는 일반적으로 사용자의 현재 환경의 상황에 기초하여 그의 피드백의 유용성을 수정하거나 향상시킬 수 없다.
오디오 출력을 통해 환경에서의 탐색 지원을 제공하는 것에 관한 다양한 실시예가 본원에 개시되어 있다. 예를 들어, 하나의 개시된 실시예는, 헤드 탑재형 컴퓨팅 디바이스(head-mounted computing device)에서, 환경으로부터 깊이 영상 데이터(depth image data) 및 가시 영상 데이터(visible image data)를 수신하는 단계를 포함하는 방법을 제공한다. 깊이 영상 데이터 및 가시 영상 데이터를 사용하여, 환경의 적어도 일부분의 3차원 메쉬(three-dimensional mesh)가 발생된다. 3차원 메쉬를 사용하여, 환경에서의 적어도 하나의 특징이 검출된다. 헤드 탑재형 컴퓨팅 디바이스가 익숙한 탐색 모드(familiar navigation mode)에서 동작하고 있을 때, 특징을 검출한 것에 기초하여, 환경의 제1 오디오 탐색 큐(audio navigation cue)가 하나 이상의 트랜스듀서를 통해 사용자에게 출력된다. 헤드 탑재형 컴퓨팅 디바이스가 익숙하지 않은 탐색 모드(unfamiliar navigation mode)에서 동작하고 있을 때, 특징을 검출한 것에 기초하여, 환경의 제2 오디오 탐색 큐가 하나 이상의 트랜스듀서를 통해 사용자에게 출력되며, 여기서 제2 오디오 탐색 큐는 제1 오디오 탐색 큐와 상이하다.
이 발명의 내용은 이하에서 발명을 실시하기 위한 구체적인 내용에 추가로 기술되는 선택된 개념들을 간략화된 형태로 소개하기 위해 제공된다. 이 발명의 내용은 청구된 발명 요지의 핵심적인 특징 또는 필수적인 특징을 언급하기 위한 것도 아니고, 청구된 발명 요지의 범주를 제한하기 위해 사용되기 위한 것도 아니다. 게다가, 청구된 발명 요지가 본 개시 내용의 임의의 부분에서 살펴본 단점들의 일부 또는 전부를 해결하는 구현으로 제한되지 않는다.
도 1은 본 개시 내용의 일 실시예에 따른 탐색 지원을 제공하는 헤드 탑재형 컴퓨팅 디바이스의 개략도.
도 2는 본 개시 내용의 일 실시예에 따른 예시적인 헤드 탑재형 컴퓨팅 디바이스를 나타낸 도면.
도 3은 도 2의 헤드 탑재형 컴퓨팅 디바이스를 착용하고 있는 사용자가 집에 있는 것의 개략도.
도 4는 헤드 탑재형 컴퓨팅 디바이스를 착용하고 있는 도 3의 사용자가 호텔에 있는 것의 개략도.
도 5는 도 2의 헤드 탑재형 컴퓨팅 디바이스를 착용하고 있는 사용자가 계단을 포함하는 경사면에 접근하는 것의 개략도.
도 6은 도 5의 사용자가 연속적인 하향 경사면에 접근하는 것의 개략도.
도 7은 본 개시 내용의 일 실시예에 따른 헤드 탑재형 컴퓨팅 디바이스를 통해 보이는 실외 환경의 개략도.
도 8a 및 도 8b는 본 개시 내용의 일 실시예에 따른, 오디오 출력을 통해 환경 내의 사용자에게 탐색 지원을 제공하는 방법의 플로우차트.
도 9는 컴퓨팅 디바이스의 일 실시예의 간략화된 개략도.
도 1은 사용자(14)에게 탐색 지원을 제공하는 헤드 탑재형 컴퓨팅 디바이스(10)의 개략도를 나타낸 것이다. 헤드 탑재형 컴퓨팅 디바이스(10)는 헤드 탑재형 컴퓨팅 디바이스(10)의 대용량 저장소(18)에 저장될 수 있는 탐색 모듈(16)을 포함한다. 탐색 모듈(16)은 이하에서 보다 상세히 기술되는 방법들 및 프로세스들 중 하나 이상을 수행하기 위해, 헤드 탑재형 컴퓨팅 디바이스(10)의 메모리(20)에 로딩되어 프로세서(22)에 의해 실행될 수 있다.
탐색 모듈(16)은 익숙한 탐색 모드(26) 및 익숙하지 않은 탐색 모드(28)를 포함하는 복수의 탐색 모드(24)를 포함한다. 유리하게도, 이하에서 보다 상세히 기술되는 바와 같이, 상황에 적절한 방식으로 사용자의 특정 요구에 맞게 조정되는 탐색 지원을 제공하기 위해 탐색 모드들(24) 중 하나 이상이 선택적으로 관여될 수 있다. 예를 들어, 사용자(14)가 사용자에게 익숙한 환경을 탐색하고 있을 때, 프로그램적으로 또는 사용자 입력(30)을 통해, 익숙한 탐색 모드(26)가 관여될 수 있다. 익숙한 탐색 모드(26)에서, 사용자가 자신의 주변에 익숙한 것을 고려하기 위해 탐색 지원이 조정될 수 있다.
유사한 방식으로, 사용자(14)가 사용자에게 익숙하지 않은 환경을 탐색하고 있을 때, 프로그램적으로 또는 사용자 입력(30)을 통해, 익숙하지 않은 탐색 모드(28)가 관여될 수 있다. 익숙하지 않은 탐색 모드(28)에서, 사용자가 자신의 주변에 익숙하지 않은 것을 고려하기 위해 탐색 지원이 조정될 수 있다. 탐색 모듈(16)이 또한 특정의 특성 또는 사정을 가지는 환경 또는 주변에 관련되어 있는 하나 이상의 부가 탐색 모드(24)(예를 들어, 실내 탐색 모드, 실외 탐색 모드, 도시 탐색 모드, 교외 탐색 모드, 기타 등등)를 포함할 수 있다는 것을 잘 알 것이다. 일부 예에서, 2 개 이상의 탐색 모드(예를 들어, 익숙한 탐색 모드 및 실내 탐색 모드 등)가 동시에 관여될 수 있다.
헤드 탑재형 컴퓨팅 디바이스(10)는 물리적 환경(32)으로부터 물리적 환경 데이터를 수신하는 다양한 센서 및 관련 시스템을 포함할 수 있다. 또한, 이제부터 도 2를 참조하면, 웨어러블 안경 형태의 헤드 탑재형 컴퓨팅 디바이스(200)의 일 예가 제공된다. 일부 예에서, 헤드 탑재형 컴퓨팅 디바이스(200)는 보는 사람의 한쪽 눈 또는 양쪽 눈의 전방에 지지되는 투명, 반투명 또는 불투명 디스플레이(204)를 포함할 수 있다. 다른 예에서, 헤드 탑재형 컴퓨팅 디바이스(200)는 사용자의 한쪽 눈 또는 양쪽 눈의 전방에 지지되는 디스플레이를 포함할 수 있거나 그렇지 않을 수 있는 각종의 다른 형태를 취할 수 있다.
예를 들어, 일부 실시예에서, 헤드 탑재형 컴퓨팅 디바이스(10)는 디스플레이를 포함하지 않는 안경테를 포함할 수 있다. 그에 따라, 다양한 폼 팩터(form factor)를 가지는 많은 다른 유형 및 구성의 헤드 탑재형 컴퓨팅 디바이스(10)가 또한 사용될 수 있고 본 개시 내용의 범주 내에서 속한다. 또한, 도 1에 도시된 헤드 탑재형 컴퓨팅 디바이스(10)가, 이하에서 보다 상세히 기술되는 바와 같은, 도 2에 도시된 헤드 탑재형 컴퓨팅 디바이스(200) 또는 임의의 다른 적당한 헤드 탑재형 컴퓨팅 디바이스의 형태를 취할 수 있다는 것도 잘 알 것이다.
도 1 및 도 2를 참조하면, 이 예에서, 헤드 탑재형 컴퓨팅 디바이스(10)는 깊이 영상 데이터(38)를 발생시키는 하나 이상의 깊이 카메라(208)를 포함하는 깊이 센서 시스템(34)을 포함한다. 깊이 센서 시스템(34)은 또한, 사용자(14)에 의해 또는 사용자의 시야 내의 사람 또는 물리적 객체에 의해 수행되는 제스처 기반 입력 또는 다른 움직임과 같은, 그의 시야 내에서의 움직임을 검출할 수 있다. 일 예에서, 각각의 깊이 카메라(208)는 입체시 시스템(stereoscopic vision system)의 좌우 카메라를 포함할 수 있다. 이 깊이 카메라들 중 하나 이상으로부터의 시간 분해된 영상(time-resolved image)이 서로에 대해 및/또는 가시 스펙트럼 카메라와 같은 다른 광 센서로부터의 영상에 대해 위치 맞춤(register)될 수 있고, 깊이 분해된 비디오(depth-resolved video)를 산출하기 위해 결합할 수 있다.
다른 예에서, 구조화된 광 깊이 카메라(structured light depth camera)는 구조화된 적외선 조명을 투사하고, 조명이 투사되는 장면으로부터 반사되는 조명을 촬영하도록 구성될 수 있다. 장면의 깊이 맵(depth map)은 촬영된 장면의 다양한 영역에서 인접한 특징들 간의 간격에 기초하여 구성될 수 있다. 또 다른 예에서, 깊이 카메라는 펄스형 적외선 조명(pulsed infrared illumination)을 장면 상으로 투사하고 장면으로부터 반사되는 조명을 검출하도록 구성된 TOF 깊이 카메라(time-of-flight depth camera)의 형태를 취할 수 있다. 본 개시 내용의 범주 내에서 임의의 다른 적당한 깊이 카메라가 사용될 수 있다는 것을 잘 알 것이다.
헤드 탑재형 컴퓨팅 디바이스(10)는 또한, RGB 카메라 또는 광 센서와 같은, 적어도 하나의 바깥쪽으로 향해 있는 센서(outward facing sensor)(212)를 이용하는 가시광 센서 시스템(42)을 포함할 수 있다. 가시광 센서 시스템(42)은 탐색 모듈(16)에 제공되는 가시 영상 데이터(46)를 발생시킬 수 있다. 바깥쪽으로 향해 있는 센서(212)는 물리적 환경(32) 및 그 환경 내의 특징(50)으로부터 2차원 영상 정보를 포착할 수 있다. 이하에서 보다 상세히 기술하는 바와 같이, 특징(50)은 환경(32) 내의 물리적 객체(52) 및 위험 요소(54)를 포함할 수 있다. 일부 예에서, 물리적 객체(52)가 위험 요소(54)도 포함할 수 있다. 바깥쪽으로 향해 있는 센서(212)는 사용자(14)가 위치해 있는 물리적 환경(32)의 영상을 포착할 수 있다.
헤드 탑재형 컴퓨팅 디바이스(10)는 또한 사용자(14)를 둘러싸고 있는 물리적 환경(32)의 적어도 일부분을 모델링하는 3차원 메쉬(56)를 발생시키기 위해 깊이 영상 데이터(38) 및 가시 영상 데이터(46)를 사용하는 3D 모델링 프로그램(56)을 포함할 수 있다. 일부 예에서, 3D 모델링 프로그램(56)은 텍스처 적용된 3D 다각형 메쉬(textured, 3D polygonal mesh)를 형성하기 위해 3D 공간에서의 정점들이 선분에 의해 연결되는 다각형 모델링(polygonal modeling) 기법을 이용할 수 있다. 곡선 모델링(curve modeling) 및 디지털 조형(digital sculpting) 기법(이들로 제한되지 않음)을 비롯한 다른 3D 모델링 기법이 이용될 수 있다는 것도 잘 알 것이다.
헤드 탑재형 컴퓨팅 디바이스(10)는 또한 탐색 모듈(16)로부터의 전기 신호를 다른 형태의 에너지로 변환하는 하나 이상의 액추에이터를 포함하는 트랜스듀서 시스템(60)을 포함할 수 있다. 이하에서 보다 상세히 기술되는 바와 같이, 탐색 모듈(16)은 환경(32)의 탐색 큐(62)를 사용자(14)에게 출력하기 위해 트랜스듀서 시스템(60)을 이용할 수 있다. 도 2를 다시 참조하면 그리고 일부 예에서, 트랜스듀서 시스템(60)은 오디오 탐색 큐(64)를 발생시키는 하나 이상의 스피커(216)를 포함할 수 있다. 다른 예에서, 하나 이상의 스피커(216)는 사용자(14)가 착용하는 헤드폰 또는 귀 안에 넣는 이어폰(in-ear ear buds)의 형태를 취할 수 있다.
일부 예에서, 탐색 모듈(16) 및/또는 트랜스듀서 시스템(60)은 큐가 물리적 환경(32)의 3D 공간 내의 특정의 위치에서 나온다는 것을 사용자(14)가 인지할 수 있게 하기 위해 오디오 탐색 큐(64)를 처리할 수 있다. 예를 들어, 하나 이상의 크로스토크 제거(crosstalk cancellation) 메커니즘이 이용되고, 제1 오디오 신호의 제2 귀에의 전달 및 제2 오디오 신호의 제1 귀에의 전달을 실질적으로 감쇠시키면서, 제1 오디오 신호(예컨대, 좌 채널)가 제1 귀(예컨대, 왼쪽 귀)에 전달되고 제2 오디오 신호(예컨대, 우 채널)가 제2 귀(예컨대, 오른쪽 귀)에 전달되도록 구성될 수 있다.
다른 예에서, 3차원 오디오의 제공은, 소리가 3D 음향 공간 내의 특정의 위치로부터 나오고 있다는 착각을 일으키기 위해, HRTF(head-related transfer function: 머리 관련 전달 함수) 및/또는 HRIR(head-related impulse response: 머리 관련 임펄스 응답)에 기초할 수 있다. HRTF는 소리가 고막 및 내이에 도달하기 전에 주어진 음파 입력이 머리 및 귓바퀴의 회절 및 반사 특성에 의해 어떻게 필터링되는지를 나타낸다. 환언하면, HRTF는 자유 공기(free air)에서의 소리와 고막에 도착할 때의 소리 사이의 차이에 기초하여 정의될 수 있다.
다른 예에서, 트랜스듀서 시스템(60)은 진동과 같은 햅틱 탐색 큐(haptic navigation cue)를 사용자에게 발생시키는 하나 이상의 촉각 트랜스듀서(tactile transducer)(220)를 포함할 수 있다.
헤드 탑재형 컴퓨팅 디바이스(10)는 또한 물리적 환경(32)으로부터 오디오 입력을 수음하는 하나 이상의 마이크로폰(224) 및 마이크로폰 시스템(66)을 포함할 수 있다. 일부 예에서, 헤드 탑재형 컴퓨팅 디바이스(200) 상의 다양한 위치에 배치된 복수의 마이크로폰(224)을 포함하는 마이크로폰 어레이(microphone array)가 제공될 수 있다. 마이크로폰(224)은 물리적 환경(32)으로부터의 음성 및 다른 오디오 입력을 수음하도록 구성되어 있는 전방향 마이크로폰(omnidirectional microphone) 및/또는 단방향 마이크로폰(unidirectional microphone)을 포함할 수 있다.
일부 예에서, 마이크 시스템(66) 및/또는 탐색 모듈(16)은, 사용자(14)의 후방에 위치된 소스를 비롯한, 물리적 환경(32)의 3D 공간 내의 오디오 소스를 찾아내기 위해 하나 이상의 음원 위치 측정(acoustic source localization) 기법을 이용할 수 있다. 예를 들어, 마이크로폰 시스템(66) 및/또는 탐색 모듈(16)은 마이크로폰 어레이로부터의 오디오 입력의 적어도 일부분에 하나 이상의 빔 형성 기법을 적용할 수 있다. 예를 들어, 단일의 방향 적응적 소리 신호(directionally-adaptive sound signal)가 임의의 적당한 방식으로 결정될 수 있다. 방향 적응적 소리 신호는 시불변 빔 형성 기법, 적응적 빔 형성 기법, 또는 시불변 빔 형성 기법과 적응적 빔 형성 기법의 조합에 기초하여 결정될 수 있다. 그 결과 얻어진 결합 신호는 오디오 소스의 방향으로 조종(steer)될 수 있는 좁은 지향성 패턴(directivity pattern)을 가질 수 있다. 또한 임의의 적당한 음원 위치 측정 기법이 오디오 소스의 위치를 식별하는 데 사용될 수 있다는 것을 잘 알 것이다.
앞서 살펴본 바와 같이, 일부 예에서, 헤드 탑재형 컴퓨팅 디바이스(200)는 시각적 탐색 큐(visual navigation cue)가 사용자(14)의 양쪽 눈으로 전달될 수 있게 하는 디스플레이 시스템(70) 및 디스플레이(204)를 포함할 수 있다. 일 예에서, 디스플레이(204)는 투명 디스플레이를 통해 환경을 보고 있는 사용자(14)에 대해 물리적 환경(32)의 모습을 시각적으로 증강시키도록 구성된 투명 디스플레이를 포함할 수 있다. 예를 들어, 혼합 현실 환경(mixed reality environment)을 생성하기 위해, 물리적 환경(32)의 모습이 투명 디스플레이를 통해 제시되는 그래픽 콘텐츠(예컨대, 각각이 각자의 색상 및 밝기를 가지는 하나 이상의 픽셀)에 의해 증강될 수 있다.
이 예에서, 투명 디스플레이(204)는 또한 사용자가 가상 객체 표현을 디스플레이하고 있는 하나 이상의 부분 투명 픽셀을 통해 물리적 환경(32)에 있는 물리적 현실 세계 물체(52)를 볼 수 있게 하도록 구성될 수 있다. 일 예에서, 투명 디스플레이(204)는 렌즈(210) 내에 위치된 영상 생성 요소(예를 들어, 투시형 OLED(Organic Light-Emitting Diode) 디스플레이 등)를 포함할 수 있다. 다른 예로서, 투명 디스플레이(204)는 렌즈(210)의 가장자리에 광 변조기(light modulator)를 포함할 수 있다. 이 예에서, 렌즈(210)는 광 변조기로부터의 광을 사용자의 양쪽 눈에 전달하는 도광체(light guide)로서 역할할 수 있다. 이러한 도광체는 사용자가 자신이 보고 있는 물리적 환경(32) 내에 위치된 2D 영상 또는 3D 홀로그래픽 영상을 인지할 수 있게 하면서, 또한 사용자가 물리적 환경에 있는 물리적 객체(52)를 볼 수 있게 할 수 있다.
도 1의 헤드 탑재형 컴퓨팅 디바이스(10)를 다시 참조하면, 도 9와 관련하여 이하에서 보다 상세히 논의되는 바와 같이, 프로세서(22)가 논리 서브시스템을 포함할 수 있고 메모리(20)가 저장 서브시스템을 포함할 수 있으며, 이 서브시스템들이 앞서 기술된 다양한 센서 및 대응하는 시스템과 통신한다는 것을 잘 알 것이다. 일 예에서, 저장 서브시스템은, 센서로부터 신호 입력을 수신하고 이러한 입력을 (미처리된 또는 처리된 형태로) 탐색 모듈(16)로 포워딩(forward)하기 위해, 논리 서브시스템에 의해 실행 가능한 명령어를 포함할 수 있다.
그에 부가하여, 도 1에 예시된 예는 대용량 저장소(18), 메모리(20) 및 프로세서(22)가 헤드 탑재형 컴퓨팅 디바이스(10)에 통합되어 있는 것을 나타내고 있다. 다른 예에서, 대용량 저장소(18), 메모리(20) 및 프로세서(22) 중 하나 이상이 헤드 탑재형 컴퓨팅 디바이스(10)와 통신 가능하게 결합(communicatively coupled)되어 있는 하나 이상의 다른 컴퓨팅 디바이스에 위치될 수 있다는 것을 잘 알 것이다. 예를 들어, 헤드 탑재형 컴퓨팅 디바이스(10)는 유선 연결을 사용하여 다른 컴퓨팅 디바이스와 동작 가능하게 연결(operatively connected)될 수 있거나, WiFi, 블루투스, 또는 임의의 다른 적당한 무선 통신 프로토콜을 통한 무선 연결을 이용할 수 있다. 헤드 탑재형 컴퓨팅 디바이스(10) 및 다른 컴퓨팅 디바이스(들)의 구성요소 및 컴퓨팅 측면에 관한 부가 상세는 도 9를 참조하여 이하에서 보다 상세히 기술된다.
앞서 기술되고 도 1 및 도 2에 예시되어 있는 헤드 탑재형 컴퓨팅 디바이스(10)와 관련 센서 및 다른 구성요소가 예로서 제공되어 있다는 것을 잘 알 것이다. 임의의 다른 적당한 센서, 구성요소, 및/또는 센서와 구성요소의 조합이 이용될 수 있기 때문에, 이 예는 결코 제한하는 것으로 의도되어 있지 않다. 따라서, 본 개시 내용의 범주를 벗어남이 없이, 헤드 탑재형 컴퓨팅 디바이스(10)가 부가의 및/또는 대안의 센서, 카메라, 마이크로폰, 입력 디바이스, 출력 디바이스 등을 포함할 수 있다는 것을 잘 알 것이다. 게다가, 본 개시 내용의 범주를 벗어남이 없이, 헤드 탑재형 컴퓨팅 디바이스(10)와 그의 다양한 센서 및 하위 구성요소(subcomponent)의 물리적 구성이 각종의 상이한 형태를 취할 수 있다.
이제부터 도 3 내지 도 7을 참조하면, 헤드 탑재형 컴퓨팅 디바이스(10)의 예시적인 사용 사례 및 실시예에 대한 설명이 이제부터 제공될 것이다. 도 3에서, 도 2의 헤드 탑재형 컴퓨팅 디바이스(200)를 착용하고 있는 사용자(14)가 자신의 집(300)에서 걷고 있을 수 있다. 사용자(14)는 시각 장애가 있을 수 있고, 탐색 지원을 위해 헤드 탑재형 컴퓨팅 디바이스(200)를 사용할 수 있다. 일 예에서, 사용자(14)는, 자신의 집(300)에서 방에서 방으로 걸어가는 것 그리고, 각각의 방에 대해, 방을 식별해주는 방 식별자의 사용자 입력(30)을 제공하는 것에 의해, 헤드 탑재형 컴퓨팅 디바이스(200)를 초기화할 수 있다.
예를 들어, 사용자(14)가 주방(304) 주위를 걷고 있는 동안, 사용자가 "이곳은 주방"이라고 말할 수 있다. 탐색 모듈(16)은 이 사용자 입력(30)을 수신하고, 음성 인식 프로그램을 사용해 그를 처리하며, 주방(304)을 "주방" 식별자로 태깅할 수 있다. 탐색 모듈(16)은 주방 및 그의 다양한 특징(50)(가전 제품, 가구, 벽, 윤곽, 표면, 기타 등등)의 3D 메쉬를 발생시키기 위해 주방(304)의 가시 영상 데이터(46) 및 깊이 영상 데이터(38)를 사용할 수 있다. 탐색 모듈(16)은 또한 "주방" 식별자로 태깅된 주방(304)을 포함하는 집(300)의 대응하는 맵(80)을 발생시킬 수 있다. 유사한 방식으로, 탐색 모듈(16)은 거실 및 그의 다양한 특징(50)의 3D 메쉬를 발생시키기 위해 거실(308)의 가시 영상 데이터(46) 및 깊이 영상 데이터(38)를 사용할 수 있다. 탐색 모듈은 사용자(14)로부터의 사용자 입력(30)에 기초하여 거실을 "거실" 식별자로 태깅할 수 있고, "거실" 식별자로 태깅된 거실(308)을 집(300)의 맵(80)에 추가할 수 있다. 사용자(14)가 방에서 방으로 그리고 집(300) 주위를 걸을 때, 탐색 모듈(16)은 또한 사용자가 집을 돌아다닐 때 취하는 통상적인 경로를 인식하고 저장할 수 있다.
그 후에, 사용자(14)가 이 방들 중 하나에 들어갈 때, 탐색 모듈(16)은 맵(80)을 통해 방을 식별하고 방이 대응하는 방 식별자로 태깅된 것을 검출한다. 그에 따라, 방이 대응하는 방 식별자로 태깅된 것을 검출한 것에 적어도 기초하여, 탐색 모듈(16)은 익숙한 탐색 모드(26)를 관여시킬 수 있다. 다른 예에서, 물리적 환경(32)의 방 또는 다른 부분이 식별자와 연관되지 않을 수 있지만, 사용자(14)에 의해 이전에 방문되었을 수 있다. 이 예에서, 탐색 모듈(16)은, 예를 들어, 기계 학습 기법을 이용함으로써 사용자의 하나 이상의 이전 방문으로부터 환경(32)의 방 또는 다른 부분을 인식할 수 있다. 사용자가 적어도 미리 결정된 횟수(1 번, 3 번, 5 번, 또는 임의의 다른 적당한 횟수 등)만큼 환경(32)의 방 또는 다른 부분을 방문한 경우, 탐색 모듈(16)은 익숙한 탐색 모드(26)를 관여시킬 수 있다. 또 다른 예에서, 사용자(14)가 익숙한 탐색 모드(26)를 관여시키는 사용자 입력(30)을 탐색 모듈(16)에 제공할 수 있다.
도 3을 계속 참조하여, 이하에서 보다 상세히 기술되는 바와 같이, 익숙한 탐색 모드(26)에 있는 동안, 탐색 모듈(16)은 탐색 모듈(16)이 익숙하지 않은 탐색 모드(28)에서 동작하고 있을 때 제공되는 탐색 큐와 상이한 탐색 큐(62)를 사용자(14)에게 제공할 수 있다. 일 예에서, 사용자(14)가 대충 평소 위치(314)에 위치된 오토만(312)의 방향으로 걷고 있을 수 있다. 익숙한 탐색 모드(26)에서, 탐색 모듈(16)은, 사용자(14)가 거실(308)에의 이전 방문으로부터 오토만(312)의 평소 위치(314)를 기억하고 있다는 가정 하에서, 오토만(312)에 대응하는 탐색 큐(62)를 제공하지 않을 수 있다. 다른 예에서, 탐색 모듈(16)은, 스피커(216)를 통해 부드러운 음성으로 "오토만"이라고 말하는 것과 같은, 오토만(312)의 온화한 리마인더를 포함하는 오디오 탐색 큐(64)를 출력할 수 있다.
다른 예에서, 사용자(14)가 집(300)에 처음으로 온 손님일 수 있다. 그에 따라 탐색 모듈(16)은 익숙하지 않은 탐색 모드(28)를 관여시킬 수 있다. 이 모드에서, 사용자(14)가 대충 오토만(312)의 방향으로 걷을 때, 탐색 모듈(16)은 사용자에게 오토만의 위치를 알리는 오디오 탐색 큐(64)를 사용자에게 제공할 수 있다. 예를 들어, 탐색 모듈(16)은 사용자(14)로 하여금 이어콘을 오토만(312)에 대응하는 평소 3D 위치(314)에서 나오는 것으로서 인지하게 하는 하나 이상의 음원 위치 측정 기법을 사용하여, 익숙한 이어콘(320)으로 예시된, 짧은 독특한 소리(또는 이어콘(earcon))를 출력할 수 있다. 다른 예에서, 탐색 모듈(16)은 음원 위치 측정 기법을 사용해 평소 위치(314)로부터 "오토만"이라는 단어를 사용자(14)에게 말할 수 있다.
다른 예에서, 익숙한 내비게이션 모드(26)에 있는 동안, 탐색 모듈(16)은 오토만(312)이, 그의 평소 위치(314)와 상이한 이례적인 위치(316)에 있다는 것을 인식할 수 있다. 게다가, 또한 사용자의 이동 방향에 기초하여, 탐색 모듈(16)은, 이례적인 위치(316)에서, 오토만(312)이 사용자(14)의 진행 경로(direct path)에 있는 것으로 결정할 수 있다. 탐색 모듈(16)은, 이 상황에서, 오토만(312)이 사용자(14)에게 걸려 넘어질 위험을 제기하는 것으로 결정할 수 있다.
그에 따라, 탐색 모듈(16)은 오토만(312)을 위험 요소(54)로서 분류할 수 있고, 음원 위치 측정 기법을 이용하여 오토만(312)의 이례적인 위치(316)를 사용자에게 경고하는 경고 이어콘(322)의 형태로 오디오 탐색 큐(64)를 출력할 수 있다. 이 예에서, 오토만(312)은 탐색 모듈(16)에 의해 물체(52) 및 위험 요소(54) 둘 다로서 분류될 수 있다. 그에 부가하여, 사용자(14)에게 긴급성의 느낌을 전달하기 위해, 도 3에서 익숙한 이어콘(320)보다 더 큰 크기를 가지는 경고 이어콘(322)으로 도시된 바와 같이, 경고 이어콘(322)이 익숙한 이어콘(320)에 비해 보다 높은 볼륨으로 출력될 수 있다. 다른 예에서, 경고 이어콘(322)은 익숙한 이어콘(320)과 비교하여 다른 독특한 소리 또는 소리들을 포함할 수 있다.
일부 예에서, 탐색 모듈(16)은, 특징과 사용자(14) 간의 거리가 감소함에 따라 점점 증가하는 볼륨으로, 사용자 환경(32)에 있는 특징(50)에 대한 오디오 탐색 큐(64)를 출력할 수 있다. 예를 들어, 이제 도 4를 참조하면, 사용자(14)는 처음으로 호텔(400)의 로비(404)에 있을 수 있다. 그에 따라, 탐색 모듈(16)은 익숙하지 않은 탐색 모드(28)에서 동작하고 있을 수 있다. 사용자(14)는 조각(414)으로부터 제1 거리만큼 떨어져 있는 초기 위치(410)에 있을 수 있고, 로비(404)의 중앙에 있는 조각 쪽으로 걸어가고 있을 수 있다. 사용자(14)가 초기 위치(410)에 있을 때, 탐색 모듈(16)은 사용자(14)로 하여금 조각 이어콘이 조각에 대응하는 3D 위치(420)에서 나오는 것으로 인지하게 하는 조각 이어콘(418)을 제1 볼륨으로 출력할 수 있다. 사용자(14)가 계속하여 조각(414) 쪽으로 걸어가서 차후 위치(422)에 도달할 때, 사용자가 조각(414)에 더 가까워졌다는 것을 사용자에게 경고하기 위해, 더 큰 조각 이어콘(418')으로 나타낸 바와 같이, 탐색 모듈(16)은 조각 이어콘을 제1 볼륨보다 더 큰 제2 볼륨으로 출력할 수 있다.
일부 예에서, 익숙하지 않은 탐색 모드(28)에서, 탐색 모듈(16)은 사용자(14)가 위치해 있는 물리적 환경(32)에 있는 각각의 특징(50)에 대응하는 오디오 탐색 큐(64)를 출력할 수 있다. 예를 들어, 도 4에서, 탐색 모듈(16)은 사용자(14)의 시야 내에 있는 각각의 특징(50)에 대응하는 오디오 탐색 큐(64)를 출력할 수 있다. 사용자(14)가 초기 위치(410)에 있을 때, 탐색 모듈(16)은 조각(414), 책상(430), 소파(434), 사람(438) 및 벽(442)에 대응하는 오디오 탐색 큐(64)를 출력할 수 있다.
다른 예에서, 탐색 모듈(16)은 소파(434)에 앉아 있는 사람(438)의 얼굴을 인식하기 위해 깊이 영상 데이터(38) 및 가시 영상 데이터(46) 중 하나 이상을 사용할 수 있다. 탐색 모듈은 이어서, 예를 들어, 원격 서버에 저장된 얼굴 인식 데이터베이스를 사용하여, 사람의 얼굴을 사람의 ID와 연관시킬 수 있다. 탐색 모듈은 이어서 사람(438)의 ID를 사용자(14)에게 통보할 수 있다. 유리하게도, 사용자(14)는 그로써 사용자의 근방에 있는 사람을 예측할 수 있다.
게다가, 일부 예에서, ID 이어콘이 사람(438)의 ID에 할당될 수 있고, ID 이어콘은 사용자 입력(30)을 통해 탐색 모듈(16)에 제공되거나 탐색 모듈에 의해 프로그램적으로 발생될 수 있다. 이 예에서, 탐색 모듈(16)이 얼굴을 사람(438)의 ID와 연관시킬 때, 탐색 모듈(16)은, 사람의 ID를 사용자에게 통보하기 위해, ID 이어콘을 사용자에게 출력할 수 있다.
이제 도 5를 참조하면, 다른 예에서, 오디오 탐색 큐(64)가 물리적 환경(32)에 있는 경사면을 식별해주기 위해 커스터마이즈될 수 있다. 일 예에서, 사용자(14)가 상향 경사면(inclined slope)(502)에 접근하고 있을 수 있다. 탐색 모듈(16)은 상향 경사면(502)을 인식할 수 있고, 그에 대응하여, 상향 경사면을 나타내는 복수의 피치가 상승하는 소리(ascending pitched sound)(506)를 포함하는 오디오 탐색 큐(64)를 사용자(14)에게 출력할 수 있다.
다른 예에서, 이제 도 6을 참조하면, 사용자(14)가 하향 경사면(declined slope)(602)에 접근하고 있을 수 있다. 탐색 모듈(16)은 하향 경사면(602)을 인식할 수 있고, 그에 대응하여, 하향 경사면을 나타내는 복수의 피치가 하강하는 소리(descending pitched sound)(606)를 포함하는 오디오 탐색 큐(64)를 사용자(14)에게 출력할 수 있다.
도 5를 다시 참조하면, 일부 예에서, 탐색 모듈(16)은 상향 경사면(502)을, 한줄로 이어진 계단에서와 같은, 하나 이상의 층계(510)로서 인식할 수 있다. 그에 응답하여, 탐색 모듈(16)은 그에 대응하여, 개개의 8분 음표(514)로 나타낸 바와 같이, 복수의 이산적인 피치가 상승하는 소리(506)를 포함하는 오디오 탐색 큐(64)를 사용자(14)에게 출력할 수 있다. 이러한 방식으로, 탐색 모듈(16)은 올라가는 층계가 앞에 있다는 것을 사용자(14)에게 전달할 수 있다. 유사한 방식으로, 탐색 모듈(16)이 하향 경사면을 하나 이상의 층계로서 인식하는 경우, 탐색 모듈(16)은 그에 대응하여 복수의 이산적인 피치가 하강하는 소리를 포함하는 오디오 탐색 큐(64)를 사용자(14)에게 출력할 수 있다. 이러한 방식으로, 탐색 모듈(16)은 내려가는 층계가 앞에 있다는 것을 사용자(14)에게 전달할 수 있다.
일부 예에서, 탐색 모듈은 상향 경사면 또는 하향 경사면에 있는 층계의 개수를 식별해줄 수 있고, 층계의 개수에 대응하는 다수의 피치가 이산적인 소리(discrete pitched sound)를 통해 층계의 개수를 사용자(14)에게 전달할 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 탐색 모듈(16)은 상향 경사면(502)에 있는 3 개의 층계(510)를 인식할 수 있다. 그에 따라, 탐색 모듈(16)은 3 개의 피치가 이산적인 소리를 3 개의 8분 음표(514)의 형태로 사용자(14)에게 출력할 수 있다. 유리하게도, 이러한 방식으로, 사용자(14)는 3 개의 올라가는 층계가 앞에 있다는 것을 편리하게 통보받을 수 있다.
도 6을 다시 참조하면, 일부 예에서, 탐색 모듈(16)은 하향 경사면(602)을 도 6에 도시된 바와 같이 실질적으로 평면일 수 있거나 기복이 있거나 얼마간 롤링하는 하향 사면(declined grade)의 형태로 된 연속적인 경사면(아래쪽으로 경사진 보도, 도로, 복도, 기타 등등)을 포함하는 것으로 인식할 수 있다. 그에 응답하여, 탐색 모듈(16)은 그에 대응하여, 도 6에서 4 개의 8분 음표를 연결시키는 이음줄(slur)(610)로 나타낸 바와 같이, 복수의 연속적인 피치가 하강하는 소리(606)를 포함하는 오디오 탐색 큐(64)를 사용자(14)에게 출력할 수 있다.
일부 예에서, 경사면을 식별해주기 위해 사용자(14)에게 출력되는 오디오 탐색 큐(64)는 익숙하지 않은 탐색 모드(28)와 비교하여 익숙한 탐색 모드(26)에서 상이할 수 있다. 예를 들어, 도 5를 다시 참조하면, 탐색 모듈(16)이 익숙한 탐색 모드(26)에서 동작하고 있을 때(예를 들어, 사용자(14)가 자신의 집에 있을 때 등), 층계(510)를 나타내는 이산적인 피치가 상승하는 소리(506)는 제1의 보다 낮은 볼륨으로 출력될 수 있다. 그렇지만, 탐색 모듈(16)이 익숙하지 않은 탐색 모드(28)에서 동작하고 있을 때(예를 들어, 사용자(14)가 건물에 처음으로 있을 때 등), 층계(510)를 나타내는 이산적인 피치가 상승하는 소리(506)는, 계단에 대한 보다 많은 주의를 사용자에게 제공하기 위해, 제2의 보다 높은 볼륨으로 출력될 수 있다.
일부 예에서, 앞서 살펴본 바와 같이, 탐색 모듈(16)은 햅틱 탐색 큐를 하나 이상의 촉각 트랜스듀서(220)를 통해 사용자(14)에게 출력하도록 구성될 수 있다. 예를 들어, 도 4를 또한 참조하면, 사용자(14)가 착용한 헤드 탑재형 컴퓨팅 디바이스(200)는 디바이스의 우측 안경다리 아암(240)에 촉각 트랜스듀서(220)를 포함할 수 있고, 여기서 촉각 트랜스듀서는 사용자(14)에 의해 느껴지는 진동을 발생시키도록 구성되어 있다. 사용자(14)가 초기 위치(410)에 있을 때, 사용자의 바로 우측에 있는 책상(430)을 사용자에게 경고하기 위해, 탐색 모듈(16)은 헤드 탑재형 컴퓨팅 디바이스(200)의 우측 안경다리 아암(240)에 있는 촉각 트랜스듀서(220)를, 물체가 근방에 그리고 사용자(14)의 우측에 있다는 것을 나타내는 미리 결정된 패턴으로 진동시킬 수 있다.
이제 도 7을 참조하면, 일부 예에서, 탐색 모듈(16)은 또한 시각적 탐색 큐를 헤드 탑재형 컴퓨팅 디바이스(10)의 디스플레이 시스템(70)을 통해 사용자(14)에게 디스플레이하도록 구성될 수 있다. 일 예에서, 사용자(14)가 멀리 떨어진 물체를 볼 수 있는 사용자의 능력을 제한하는 상당한 근시를 포함하는 시력 장애(sight impairment)를 가질 수 있다. 사용자(14)가, 도 7에 도시된 헤드 탑재형 컴퓨팅 디바이스(200)의 투명 디스플레이(204)를 통해 도로를 보면서, 시내 도로를 따라 걸어가고 있을 수 있다. 밴(704)이 사용자(14) 쪽으로 달려오고 있을 수 있다.
탐색 모듈(16)은 밴이 사용자(14) 쪽으로 오고 있을 때 밴(704)의 3차원 위치를 결정하기 위해 깊이 영상 데이터(38)를 사용할 수 있고, 밴이 사용자(14)를 칠 수 있는 경로에 있는 것으로 결정할 수 있다. 그에 따라, 탐색 모듈(16)은 접근하는 위험 요소를 사용자에게 경고하기 위해 다수의 깜빡거리는 경로 아이콘(708)을 투명 디스플레이(204) 상에 디스플레이할 수 있다. 일부 예에서, 탐색 모듈(16)은 또한 접근하는 위험 요소를 사용자에게 경고하는 오디오 탐색 큐(64)를 출력할 수 있다. 예를 들어, 오디오 탐색 큐(64)는, "경고! 자동차가 빠르게 접근하고 있습니다! 오른쪽으로 이동하세요"와 같은, 하나 이상의 음성 경고 및 관련된 지시(712)를 포함할 수 있다.
앞서 살펴본 바와 같이, 일부 예에서, 헤드 탑재형 컴퓨팅 디바이스(10)는 디스플레이 시스템(70)을 포함할 수 있다. 헤드 탑재형 컴퓨팅 디바이스(10)가 디스플레이 시스템(70)을 포함하는 경우, 일부 예에서, 헤드 탑재형 컴퓨팅 디바이스(10)는 영상 또는 다른 시각적 콘텐츠를 디스플레이 시스템(70)을 통해 사용자에게 디스플레이하지 않으면서 앞서 기술된 바와 같이 오디오 탐색 큐(64)를 출력할 수 있다.
도 8a 및 도 8b는 본 개시 내용의 일 실시예에 따른, 오디오 출력을 통해 환경 내의 사용자에게 탐색 지원을 제공하는 방법(800)의 플로우차트를 나타낸 것이다. 방법(800)에 대한 이하의 설명은 앞서 기술되고 도 1 내지 도 7에 도시된 헤드 탑재형 컴퓨팅 디바이스(10)의 소프트웨어 및 하드웨어 구성요소를 참조하여 제공된다. 방법(800)이 또한 다른 상황에서 다른 적당한 하드웨어 및 소프트웨어 구성요소를 사용해 수행될 수 있다는 것을 잘 알 것이다.
도 8a를 참조하면, 804에서, 방법(800)은 환경으로부터 깊이 영상 데이터를 수신하는 단계를 포함할 수 있다. 808에서, 방법(800)은 환경으로부터 가시 영상 데이터를 수신하는 단계를 포함할 수 있다. 812에서, 방법(800)은, 깊이 영상 데이터 및 가시 영상 데이터를 사용하여, 환경의 적어도 일부분의 3차원 메쉬를 발생시키는 단계를 포함할 수 있다. 816에서, 방법(800)은, 3차원 메쉬를 사용하여, 환경에서의 적어도 하나의 특징을 검출하는 단계를 포함할 수 있다. 820에서, 방법(800)은, 헤드 탑재형 컴퓨팅 디바이스가 익숙한 탐색 모드에서 동작하고 있을 때, 특징을 검출한 것에 기초하여, 환경의 제1 오디오 탐색 큐를 하나 이상의 트랜스듀서를 통해 사용자에게 출력하는 단계를 포함할 수 있다.
824에서, 방법(800)은, 헤드 탑재형 컴퓨팅 디바이스가 익숙하지 않은 탐색 모드에서 동작하고 있을 때, 특징을 검출한 것에 기초하여, 환경의 제2 오디오 탐색 큐를 하나 이상의 트랜스듀서를 통해 사용자에게 출력하는 단계 - 제2 오디오 탐색 큐는 제1 오디오 탐색 큐와 상이함 - 를 포함할 수 있다. 828에서, 방법(800)은, 사용자로 하여금 큐를 특징의 3차원 위치에서 나오는 것으로 인지하게 하는 방식으로, 제1 오디오 탐색 큐 및 제2 오디오 탐색 큐 중 하나 이상을 사용자에게 출력하는 단계를 포함할 수 있다. 832에서, 특징은 경사면을 포함할 수 있고, 제1 오디오 탐색 큐 및 제2 오디오 탐색 큐는 상향 경사면(inclined slope)을 나타내는 복수의 피치가 상승하는 소리(ascending pitched sound) 또는 하향 경사면(declined slope)을 나타내는 복수의 피치가 하강하는 소리(descending pitched sound)를 포함한다.
836에서, 제1 오디오 탐색 큐 및 제2 오디오 탐색 큐는 연속적인 경사면(continuous slope)을 나타내는 복수의 피치가 연속적인 소리(continuous pitched sound) 또는 복수의 층계를 나타내는 복수의 피치가 이산적인 소리(discrete pitched sound)를 포함할 수 있다. 이제 도 8b를 참조하면, 840에서, 방법(800)은 검출된 물체와 사용자 간의 거리가 감소함에 따라 증가하는 볼륨으로 제1 오디오 탐색 큐 및 제2 오디오 탐색 큐를 사용자에게 출력하는 단계를 포함할 수 있다. 844에서, 방법(800)은 깊이 영상 데이터 및 가시 영상 데이터 중 하나 이상을 사용해 환경에서 얼굴을 인식하는 단계를 포함할 수 있다. 848에서, 방법(800)은 얼굴을 사람의 ID(identity)와 연관시키는 단계를 포함할 수 있다. 852에서, 방법(800)은 사용자에게 사람의 ID를 통보하는 단계를 포함할 수 있다.
856에서, 방법(800)은 ID 이어콘(identity earcon)을 사람의 ID에 할당하는 단계를 포함할 수 있다. 860에서, 방법(800)은 ID 이어콘을 하나 이상의 트랜스듀서를 통해 사용자에게 출력하는 단계를 포함할 수 있다. 864에서, 방법(800)은 햅틱 탐색 큐를 하나 이상의 트랜스듀서를 통해 사용자에게 출력하는 단계를 포함할 수 있다. 868에서, 방법(800)은, 특징을 검출한 것에 기초하여, 시각적 탐색 큐를 헤드 탑재형 컴퓨팅 디바이스의 디스플레이 시스템을 통해 사용자에게 디스플레이하는 단계 - 여기서 시각적 탐색 큐는 적어도 환경에서의 특징의 3차원 위치에 기초함 - 를 포함할 수 있다.
방법(800)이 예로서 제공되고 제한하기 위한 것이 아님을 잘 알 것이다. 따라서, 방법(800)이 도 8a 및 도 8b에 예시된 것 외에 부가의 및/또는 대안의 단계를 포함할 수 있다는 것을 잘 알 것이다. 게다가, 방법(800)이 임의의 적당한 순서로 수행될 수 있다는 것을 잘 알 것이다. 게다가, 본 개시 내용의 범주를 벗어남이 없이, 하나 이상의 단계가 방법(800)으로부터 생략될 수 있다는 것을 잘 알 것이다.
도 9는 앞서 기술된 방법들 및 프로세스들 중 하나 이상을 수행할 수 있는 컴퓨팅 시스템(900)의 비제한적 실시예를 개략적으로 나타낸 것이다. 헤드 탑재형 컴퓨팅 디바이스(10)는 컴퓨팅 시스템(900)의 하나 이상의 양태를 포함하거나 그의 형태를 취할 수 있다. 컴퓨팅 시스템(900)은 간략화된 형태로 도시되어 있다. 본 개시 내용의 범주를 벗어남이 없이, 거의 모든 컴퓨터 아키텍처가 사용될 수 있다는 것을 잘 알 것이다. 다른 실시예에서, 컴퓨팅 시스템(900)은 메인프레임 컴퓨터, 서버 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 홈 엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 디바이스, 모바일 컴퓨팅 디바이스, 이동 통신 디바이스, 게임 디바이스 등의 형태를 취할 수 있다.
도 9에 도시된 바와 같이, 컴퓨팅 시스템(900)은 논리 서브시스템(904), 저장 서브시스템(908), 및 센서 서브시스템(912)을 포함한다. 컴퓨팅 시스템(900)은 디스플레이 서브시스템(916), 통신 서브시스템(920), 입력 서브시스템(922), 및/또는 도 9에 도시되지 않은 다른 서브시스템 및 구성요소를 선택적으로 포함할 수 있다. 컴퓨팅 시스템(900)은 또한 컴퓨터 판독 가능 매체를 포함할 수 있고, 컴퓨터 판독 가능 매체는 컴퓨터 판독 가능 저장 매체 및 컴퓨터 판독 가능 통신 매체를 포함한다. 컴퓨팅 시스템(900)은 또한, 예를 들어, 키보드, 마우스, 게임 컨트롤러, 및/또는 터치 스크린과 같은 다른 사용자 입력 디바이스를 선택적으로 포함할 수 있다. 게다가, 일부 실시예에서, 본원에 기술되는 방법 및 프로세스는 하나 이상의 컴퓨터를 포함하는 컴퓨팅 시스템에서 컴퓨터 애플리케이션, 컴퓨터 서비스, 컴퓨터 API, 컴퓨터 라이브러리, 및/또는 다른 컴퓨터 프로그램 제품으로서 구현될 수 있다.
논리 서브시스템(904)은 하나 이상의 명령어를 실행하도록 구성된 하나 이상의 물리적 디바이스를 포함할 수 있다. 예를 들어, 논리 서브시스템(904)은 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 객체, 구성요소, 데이터 구조, 또는 다른 논리적 구성(logical construct)의 일부인 하나 이상의 명령어를 실행하도록 구성될 수 있다. 이러한 명령어는 작업을 수행하거나, 데이터 유형을 구현하거나, 하나 이상의 디바이스의 상태를 변환하거나, 다른 방식으로 원하는 결과에 도달하도록 구현될 수 있다.
논리 서브시스템(904)은 소프트웨어 명령어를 실행하도록 구성되어 있는 하나 이상의 프로세서를 포함할 수 있다. 그에 부가하여 또는 대안적으로, 논리 서브시스템은 하드웨어 또는 펌웨어 명령어를 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 논리 머신(logic machine)을 포함할 수 있다. 논리 서브시스템의 프로세서는 단일 코어 또는 멀티 코어일 수 있고, 논리 서브시스템 상에서 실행되는 프로그램은 병렬 또는 분산 처리를 위해 구성될 수 있다. 논리 서브시스템은 원격지에 위치되고 그리고/또는 조정된 처리(coordinated processing)를 위해 구성될 수 있는, 2개 이상의 디바이스에 걸쳐 분산되어 있는 개별 구성요소를 선택적으로 포함할 수 있다. 논리 서브시스템의 하나 이상의 측면이 가상화되고 클라우드 컴퓨팅 구성으로 구성된, 원격적으로 액세스 가능한 네트워크로 연결된 컴퓨팅 디바이스에 의해 실행될 수 있다.
저장 서브시스템(908)은 본원에 기술되는 방법 및 프로세스를 구현하기 위해 논리 서브시스템(904)에 의해 실행 가능한 데이터 및/또는 명령어를 보유하도록 구성된 하나 이상의 물리적, 영속적 디바이스를 포함할 수 있다. 이러한 방법 및 프로세스가 구현될 때, 저장 서브시스템(908)의 상태가 (예컨대, 상이한 데이터를 보유하도록) 변환될 수 있다.
저장 서브시스템(908)은 이동식 매체 및/또는 내장형 디바이스(built-in device)를 포함할 수 있다. 저장 서브시스템(908)은, 그 중에서도 특히, 광 메모리 디바이스(예컨대, CD, DVD, HD-DVD, 블루레이 디스크 등), 반도체 메모리 디바이스(예컨대, RAM, EPROM, EEPROM 등), 및/또는 자기 메모리 디바이스(예컨대, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등)를 포함할 수 있다. 저장 서브시스템(908)은 휘발성, 비휘발성, 동적, 정적, 기입/판독, 판독 전용, 랜덤 액세스, 순차적 액세스, 위치 주소 지정 가능(location addressable), 파일 주소 지정 가능(file addressable), 및 내용 주소 지정 가능(content addressable) 중 하나 이상의 특성을 갖는 디바이스를 포함할 수 있다.
일부 실시예에서, 논리 서브시스템(904) 및 저장 서브시스템(908)의 측면이, 적어도 부분적으로, 본원에 기술되는 기능이 수행될 수 있는 하나 이상의 공통 디바이스 내에 통합될 수 있다. 이러한 하드웨어 논리 구성요소는, 예를 들어, FPGA(field-programmable gate array), PASIC/ASIC(program- and application-specific integrated circuit), PSSP/ASSP(program- and application-specific standard product), SOC(system-on-a-chip) 시스템, 및 CPLD(complex programmable logic device)를 포함할 수 있다.
도 9는 또한 저장 서브시스템(508)의 일 양태를 본원에 기술되는 방법 및 프로세스를 구현하기 위해 실행 가능한 데이터 및/또는 명령어를 저장하기 위해 사용될 수 있는 이동식 컴퓨터 판독 가능 저장 매체(924)의 형태로 나타내고 있다. 이동식 컴퓨터 판독 가능 저장 매체(924)는, 그 중에서도 특히, CD, DVD, HD-DVD, 블루레이 디스크, EEPROM, 및/또는 플로피 디스크의 형태를 취할 수 있다.
저장 서브시스템(908)이 하나 이상의 물리적, 영구적 디바이스들을 포함한다는 것을 잘 알 것이다. 이와 달리, 일부 실시예에서, 본원에 기술되는 명령어의 양태는 물리적 디바이스에 의해 적어도 유한한 지속기간 동안 보유되지 않는 순수 신호(예컨대, 전자기 신호, 광 신호 등)에 의해 비일시적 방식으로 전파될 수 있다. 게다가, 본 개시 내용에 관련된 데이터 및/또는 다른 형태의 정보가 컴퓨터 판독 가능 통신 매체를 통해 순수 신호에 의해 전파될 수 있다.
센서 서브시스템(912)은, 앞서 기술된 바와 같이, 여러가지 물리적 현상(예컨대, 가시광, 적외선 광, 소리, 가속도, 배향, 위치 등)을 감지하도록 구성된 하나 이상의 센서를 포함할 수 있다. 센서 서브시스템(912)은 센서 데이터를, 예를 들어, 논리 서브시스템(904)에 제공하도록 구성될 수 있다. 앞서 기술된 바와 같이, 이러한 데이터는 앞서 기술된 방법 및 프로세스를 수행하는 데 사용될 수 있는 영상 정보, 주변 조명 정보, 깊이 정보, 오디오 정보, 위치 정보, 움직임 정보, 사용자 위치 정보, 및/또는 임의의 다른 적당한 센서 데이터를 포함할 수 있다.
디스플레이 서브시스템(916)이 포함될 때, 디스플레이 서브시스템(916)은 저장 서브시스템(908)에 의해 보유된 데이터의 시각적 표현을 제시하기 위해 사용될 수 있다. 앞서 기술된 방법 및 프로세스가 저장 서브시스템(908)에 의해 보유된 데이터를 변경하고, 따라서 저장 서브시스템의 상태를 변환시키기 때문에, 디스플레이 서브시스템(916)의 상태도 마찬가지로 기본 데이터(underlying data)의 변화를 시각적으로 표현하기 위해 변환될 수 있다. 디스플레이 서브시스템(916)은 거의 모든 유형의 기술을 이용하는 하나 이상의 디스플레이 디바이스를 포함할 수 있다. 이러한 디스플레이 디바이스는 공유 인클로저(shared enclosure)에서 논리 서브시스템(904) 및/또는 저장 서브시스템(908)과 결합될 수 있거나, 이러한 디스플레이 디바이스가 주변 디스플레이 디바이스일 수 있다. 디스플레이 서브시스템(916)은, 예를 들어, 헤드 탑재형 컴퓨팅 디바이스(10)의 선택적인 디스플레이 시스템(70) 및 디스플레이 프로그램(72)을 포함할 수 있다.
통신 서브시스템(920)이 포함될 때, 통신 서브시스템(920)은 컴퓨팅 시스템(900)을 하나 이상의 네트워크 및/또는 하나 이상의 다른 컴퓨팅 디바이스와 통신 가능하게 결합시키도록 구성될 수 있다. 통신 서브시스템(920)은 하나 이상의 다른 통신 프로토콜과 호환되는 유선 및/또는 무선 통신 디바이스를 포함할 수 있다. 비제한적인 예로서, 통신 서브시스템(920)은 무선 전화 네트워크, 무선 근거리 네트워크, 유선 근거리 네트워크, 무선 원거리 네트워크, 유선 원거리 네트워크 등을 통해 통신하도록 구성될 수 있다. 일부 실시예에서, 통신 서브시스템은 컴퓨팅 시스템(900)이 인터넷과 같은 네트워크를 통해 메시지를 다른 디바이스로 그리고/또는 그로부터 송신 및/또는 수신할 수 있게 할 것이다.
입력 서브시스템(922)이 포함될 때, 입력 서브시스템(922)은 게임 컨트롤러, 제스처 입력 검출 디바이스, 음성 인식기, 관성 측정 유닛, 키보드, 마우스, 또는 터치 스크린과 같은, 하나 이상의 센서 또는 사용자 입력 디바이스를 포함하거나 그와 인터페이싱할 수 있다. 일부 실시예에서, 입력 서브시스템(922)은 선택된 NUI(natural user input: 내추럴 사용자 입력) 구성요소를 포함하거나 그와 인터페이싱할 수 있다. 이러한 구성요소는 일체형이거나 주변기기일 수 있고, 입력 동작의 변환(transduction) 및/또는 처리가 온보드(on-board)로 또는 오프보드(off-board)로 처리될 수 있다. 예시적인 NUI 구성요소는 발화(speech) 및/또는 음성(voice) 인식을 위한 마이크로폰; 머신 비전(machine vision) 및/또는 제스처 인식을 위한 적외선, 컬러, 입체(stereoscopic), 및/또는 깊이 카메라; 움직임 검출 및/또는 의도 인식을 위한 머리 추적기, 눈 추적기, 가속도계, 및/또는 자이로스코프는 물론; 뇌 활동을 평가하기 위한 전기장 감지 구성요소를 포함할 수 있다.
"모듈" 및 "프로그램"이라는 용어는 하나 이상의 특정 기능을 수행하도록 구현되는 헤드 탑재형 컴퓨팅 디바이스(10)의 일 태양을 기술하는 데 사용될 수 있다. 일부 경우에, 이러한 모듈 또는 프로그램은 논리 서브시스템(904)이 저장 서브시스템(908)에 의해 보유된 명령어를 실행하는 것을 통해 인스턴스화될 수 있다. 상이한 모듈 및 프로그램이 동일한 애플리케이션, 서비스, 코드 블록, 객체, 라이브러리, 루틴, API, 함수 등으로부터 인스턴스화될 수 있다는 것을 잘 알 것이다. 마찬가지로, 동일한 모듈 또는 프로그램이 상이한 애플리케이션, 서비스, 코드 블록, 객체, 루틴, API, 함수 등에 의해 인스턴스화될 수 있다. "모듈" 및 "프로그램"이라는 용어는 개개의 또는 일군의 실행 가능 파일, 데이터 파일, 라이브러리, 드라이버, 스크립트, 데이터베이스 레코드 등을 포함하기 위한 것이다.
본원에 기술되는 구성 및/또는 접근법이 사실상 예시적인 것이라는 것과, 다수의 변형이 가능하기 때문에, 이 구체적인 실시예 또는 예가 제한하는 의미로 간주되어서는 안된다는 것을 잘 알 것이다. 본원에 기술되는 구체적인 루틴 또는 방법은 임의의 수의 처리 전략들 중 하나 이상을 나타낼 수 있다. 그에 따라, 예시된 다양한 동작들이 예시된 순서로, 다른 순서로, 병렬로 수행될 수 있거나, 어떤 경우에 생략될 수 있다. 마찬가지로, 앞서 기술된 프로세스들의 순서가 변경될 수 있다.
본 개시 내용의 발명 요지는 본원에 개시되는 다양한 프로세스, 시스템 및 구성 그리고, 다른 특징, 기능, 동작 및/또는 특성은 물론, 그의 모든 등가물의 모든 신규의(novel) 비자명한(nonobvious) 콤비네이션(combination) 및 서브콤비네이션(subcombination)을 포함한다.

Claims (10)

  1. 오디오 출력을 통해 환경에서 탐색 지원을 제공하는 헤드 탑재형 컴퓨팅 디바이스(head-mounted computing device)로서,
    상기 환경으로부터 깊이 영상 데이터를 발생시키는 하나 이상의 깊이 센서;
    상기 환경으로부터 가시 영상 데이터를 발생시키는 하나 이상의 가시광 센서;
    하나 이상의 트랜스듀서; 및
    상기 헤드 탑재형 컴퓨팅 디바이스의 프로세서에 의해 실행되는 탐색 모듈 - 상기 탐색 모듈은 익숙한 탐색 모드(familiar navigation mode) 및 익숙하지 않은 탐색 모드(unfamiliar navigation mode)를 포함하며, 상기 탐색 모듈은,
    상기 깊이 영상 데이터 및 가시 영상 데이터를 사용하여, 상기 환경의 적어도 일부분의 3차원 메쉬를 발생시키도록 구성되고,
    상기 3차원 메쉬를 사용하여, 상기 환경에서의 적어도 하나의 특징을 검출하도록 구성되고,
    상기 익숙한 탐색 모드에서 동작하고 있을 때, 상기 특징을 검출한 것에 기초하여, 상기 환경의 제1 오디오 탐색 큐(audio navigation cue)를 상기 하나 이상의 트랜스듀서를 통해 사용자에게 출력하도록 구성되고,
    상기 익숙하지 않은 탐색 모드에서 동작하고 있을 때, 상기 특징을 검출한 것에 기초하여, 상기 환경의 제2 오디오 탐색 큐를 상기 하나 이상의 트랜스듀서를 통해 상기 사용자에게 출력하도록 구성되고, 상기 제2 오디오 탐색 큐는 상기 제1 오디오 탐색 큐와 상이함 - 을 포함하는, 헤드 탑재형 컴퓨팅 디바이스.
  2. 제1항에 있어서, 상기 탐색 모듈은 또한, 상기 사용자로 하여금 상기 큐를 상기 특징의 3차원 위치에서 나오는 것으로 인지하게 하는 방식으로, 상기 제1 오디오 탐색 큐 및 상기 제2 오디오 탐색 큐 중 하나 이상을 상기 사용자에게 출력하도록 구성되어 있는 것인, 헤드 탑재형 컴퓨팅 디바이스.
  3. 제1항에 있어서, 상기 특징은 경사면을 포함하고, 상기 제1 오디오 탐색 큐 및 상기 제2 오디오 탐색 큐는 상향 경사면(inclined slope)을 나타내는 복수의 피치가 상승하는 소리(ascending pitched sound) 또는 하향 경사면(declined slope)을 나타내는 복수의 피치가 하강하는 소리(descending pitched sound)를 포함하는 것인, 헤드 탑재형 컴퓨팅 디바이스.
  4. 제3항에 있어서, 상기 제1 오디오 탐색 큐 및 상기 제2 오디오 탐색 큐는, 연속적인 경사면(continuous slope)을 나타내는 복수의 피치가 연속적인 소리(continuous pitched sound) 또는 복수의 층계를 나타내는 복수의 피치가 이산적인 소리(discrete pitched sound)를 더 포함하는, 헤드 탑재형 컴퓨팅 디바이스.
  5. 제1항에 있어서, 상기 탐색 모듈은 또한 상기 특징과 상기 사용자 간의 거리가 감소함에 따라 증가하는 볼륨으로 제1 오디오 탐색 큐 및 제2 오디오 탐색 큐를 상기 사용자에게 출력하도록 구성되는 것인, 헤드 탑재형 컴퓨팅 디바이스.
  6. 헤드 탑재형 컴퓨팅 디바이스에서, 오디오 출력을 통해 환경에 있는 사용자에게 탐색 지원을 제공하는 방법으로서,
    상기 환경으로부터 깊이 영상 데이터를 수신하는 단계;
    상기 환경으로부터 가시 영상 데이터를 수신하는 단계;
    상기 깊이 영상 데이터 및 가시 영상 데이터를 사용하여, 상기 환경의 적어도 일부분의 3차원 메쉬를 발생시키는 단계;
    상기 3차원 메쉬를 사용하여, 상기 환경에서의 적어도 하나의 특징을 검출하는 단계;
    상기 헤드 탑재형 컴퓨팅 디바이스가 익숙한 탐색 모드에서 동작하고 있을 때, 상기 특징을 검출한 것에 기초하여, 상기 환경의 제1 오디오 탐색 큐를 하나 이상의 트랜스듀서를 통해 사용자에게 출력하는 단계; 및
    상기 헤드 탑재형 컴퓨팅 디바이스가 익숙하지 않은 탐색 모드에서 동작하고 있을 때, 상기 특징을 검출한 것에 기초하여, 상기 환경의 제2 오디오 탐색 큐를 상기 하나 이상의 트랜스듀서를 통해 상기 사용자에게 출력하는 단계
    를 포함하며,
    상기 제2 오디오 탐색 큐는 상기 제1 오디오 탐색 큐와 상이한 것인 탐색 지원을 제공하는 방법.
  7. 제6항에 있어서, 상기 깊이 영상 데이터 및 상기 가시 영상 데이터 중 하나 이상을 사용하여 상기 환경에서 얼굴을 인식하는 단계;
    상기 얼굴을 사람의 ID(identity)와 연관시키는 단계; 및
    상기 사용자에게 상기 사람의 상기 ID를 통보하는 단계를 더 포함하는, 탐색 지원을 제공하는 방법.
  8. 제7항에 있어서, ID 이어콘(identity earcon)을 상기 사람의 상기 ID에 할당하는 단계; 및
    상기 ID 이어콘을 상기 하나 이상의 트랜스듀서를 통해 상기 사용자에게 출력하는 단계를 더 포함하는, 탐색 지원을 제공하는 방법.
  9. 제6항에 있어서, 햅틱(haptic) 탐색 큐를 상기 하나 이상의 트랜스듀서를 통해 상기 사용자에게 출력하는 단계를 더 포함하는, 탐색 지원을 제공하는 방법.
  10. 제6항에 있어서, 상기 특징을 검출한 것에 기초하여, 시각적 탐색 큐를 상기 헤드 탑재형 컴퓨팅 디바이스의 디스플레이 시스템을 통해 상기 사용자에게 디스플레이하는 단계를 더 포함하며,
    상기 시각적 탐색 큐는 적어도 상기 환경에서의 특징의 3차원 위치에 기초하는 것인, 탐색 지원을 제공하는 방법.
KR1020167023255A 2014-01-24 2015-01-22 오디오 탐색 지원 KR102331048B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/163,943 2014-01-24
US14/163,943 US9140554B2 (en) 2014-01-24 2014-01-24 Audio navigation assistance
PCT/US2015/012329 WO2015112651A1 (en) 2014-01-24 2015-01-22 Audio navigation assistance

Publications (2)

Publication Number Publication Date
KR20160113666A true KR20160113666A (ko) 2016-09-30
KR102331048B1 KR102331048B1 (ko) 2021-11-25

Family

ID=52596589

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167023255A KR102331048B1 (ko) 2014-01-24 2015-01-22 오디오 탐색 지원

Country Status (16)

Country Link
US (1) US9140554B2 (ko)
EP (1) EP3096730B1 (ko)
JP (1) JP6765306B2 (ko)
KR (1) KR102331048B1 (ko)
CN (1) CN105934227B (ko)
AU (1) AU2015209371B2 (ko)
BR (1) BR112016016255A8 (ko)
CA (1) CA2935236C (ko)
HK (1) HK1223540A1 (ko)
IL (1) IL246236B (ko)
MX (1) MX2016009462A (ko)
MY (1) MY182173A (ko)
PH (1) PH12016501219B1 (ko)
RU (1) RU2678361C1 (ko)
SG (1) SG11201605844UA (ko)
WO (1) WO2015112651A1 (ko)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012224107A1 (de) * 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Verfahren zum Bestimmen einer Referenzposition als Startposition für ein Trägheitsnavigationssystem
US9629774B2 (en) * 2014-01-14 2017-04-25 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9578307B2 (en) 2014-01-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10360907B2 (en) 2014-01-14 2019-07-23 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10024679B2 (en) * 2014-01-14 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10248856B2 (en) 2014-01-14 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9915545B2 (en) * 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US20150330787A1 (en) * 2014-05-19 2015-11-19 Joseph Cioffi Systems, Methods and Software for Redirecting Blind Travelers Using Dynamic Wayfinding Orientation and Wayfinding Data
CN104065930B (zh) * 2014-06-30 2017-07-07 青岛歌尔声学科技有限公司 集成摄像头模组和光传感器的视觉辅助方法及装置
US10024667B2 (en) 2014-08-01 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable earpiece for providing social and environmental awareness
US9212924B1 (en) * 2014-08-21 2015-12-15 Microsoft Technology Licensing, Llc Multimode transportation transitions
US9922236B2 (en) 2014-09-17 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
US10024678B2 (en) * 2014-09-17 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness
USD768024S1 (en) 2014-09-22 2016-10-04 Toyota Motor Engineering & Manufacturing North America, Inc. Necklace with a built in guidance device
US9483960B2 (en) * 2014-09-26 2016-11-01 Xerox Corporation Method and apparatus for dimensional proximity sensing for the visually impaired
US9826297B2 (en) * 2014-10-29 2017-11-21 At&T Intellectual Property I, L.P. Accessory device that provides sensor input to a media device
US9576460B2 (en) 2015-01-21 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device for hazard detection and warning based on image and audio data
US10490102B2 (en) 2015-02-10 2019-11-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for braille assistance
US9586318B2 (en) 2015-02-27 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Modular robot with smart device
US9677901B2 (en) 2015-03-10 2017-06-13 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing navigation instructions at optimal times
US9811752B2 (en) 2015-03-10 2017-11-07 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device and method for redundant object identification
US9972216B2 (en) 2015-03-20 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for storing and playback of information for blind users
JP6806049B2 (ja) * 2015-04-09 2021-01-06 日本電気株式会社 情報処理装置、情報処理システム、位置報知方法及びプログラム
US9898039B2 (en) 2015-08-03 2018-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Modular smart necklace
CN105232295B (zh) * 2015-10-16 2017-03-22 北京机械设备研究所 一种用于避障的智能导引系统
US10013858B2 (en) 2016-02-26 2018-07-03 At&T Intellectual Property I, L.P. Notification system with haptic feedback garment and methods for use therewith
US10024680B2 (en) 2016-03-11 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Step based guidance system
US10469976B2 (en) * 2016-05-11 2019-11-05 Htc Corporation Wearable electronic device and virtual reality system
US9958275B2 (en) 2016-05-31 2018-05-01 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for wearable smart device communications
US10238571B2 (en) 2016-06-22 2019-03-26 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist devices and methods of calibrating image data of a vision-assist device
US20180012377A1 (en) * 2016-07-08 2018-01-11 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist devices and methods of calibrating vision-assist devices
US10561519B2 (en) 2016-07-20 2020-02-18 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device having a curved back to reduce pressure on vertebrae
IT201600079587A1 (it) * 2016-07-28 2018-01-28 Glauco Letizia Apparecchiatura e metodo di sostituzione sensoriale (s.s.d.) per assistere una persona non vedente nella deambulazione, nell'orientamento e nella comprensione degli ambienti interni.
US10843299B2 (en) * 2016-08-08 2020-11-24 The Johns Hopkins University Object recognition and presentation for the visually impaired
US10235366B2 (en) 2016-08-16 2019-03-19 Microsoft Technology Licensing, Llc Activity gallery view in communication platforms
US10432851B2 (en) 2016-10-28 2019-10-01 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device for detecting photography
US10012505B2 (en) 2016-11-11 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable system for providing walking directions
US10521669B2 (en) 2016-11-14 2019-12-31 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing guidance or feedback to a user
US9792501B1 (en) * 2016-12-31 2017-10-17 Vasuyantra Corp. Method and device for visually impaired assistance
US10172760B2 (en) 2017-01-19 2019-01-08 Jennifer Hendrix Responsive route guidance and identification system
US10586106B2 (en) * 2017-02-02 2020-03-10 Microsoft Technology Licensing, Llc Responsive spatial audio cloud
JP2020508252A (ja) * 2017-02-10 2020-03-19 ニッサン ノース アメリカ，インク 自律走行車の動作管理
CA3052953C (en) 2017-02-10 2021-11-09 Nissan North America, Inc. Autonomous vehicle operational management blocking monitoring
KR102090920B1 (ko) * 2017-02-10 2020-03-19 닛산 노쓰 아메리카, 인크. 자율주행 차량 운용 관리 제어
MX2019009397A (es) 2017-02-10 2019-12-05 Nissan North America Inc Gestion operacional de vehiculo autonomo que incluye operar una instancia de modelo de proceso de decision de markov parcialmente observable.
US20180288557A1 (en) * 2017-03-29 2018-10-04 Samsung Electronics Co., Ltd. Use of earcons for roi identification in 360-degree video
US10321258B2 (en) * 2017-04-19 2019-06-11 Microsoft Technology Licensing, Llc Emulating spatial perception using virtual echolocation
US10605609B2 (en) 2017-05-03 2020-03-31 Microsoft Technology Licensing, Llc Coupled interactive devices
US9993384B1 (en) 2017-06-12 2018-06-12 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist systems and methods for assisting visually impaired users with navigating an environment using simultaneous audio outputs
CN107454376B (zh) * 2017-09-11 2019-07-19 Oppo广东移动通信有限公司 跌落提醒方法、装置、电子装置和计算机可读存储介质
US10836405B2 (en) 2017-10-30 2020-11-17 Nissan North America, Inc. Continual planning and metareasoning for controlling an autonomous vehicle
US11702070B2 (en) 2017-10-31 2023-07-18 Nissan North America, Inc. Autonomous vehicle operation with explicit occlusion reasoning
WO2019088989A1 (en) 2017-10-31 2019-05-09 Nissan North America, Inc. Reinforcement and model learning for vehicle operation
CN111629945B (zh) 2017-11-30 2022-04-26 日产北美公司 自主车辆运行管理场景
US10580259B2 (en) * 2017-12-13 2020-03-03 Novomatic Ag Systems, methods and gaming machines having logic based on sporting events
JP6955211B2 (ja) * 2017-12-14 2021-10-27 オムロン株式会社 識別装置、識別方法及びプログラム
EP3729243A4 (en) 2017-12-19 2021-09-15 Datalogic IP Tech S.r.l. SYSTEMS AND METHODS THAT MAY BE CARRIED BY A USER TO COLLECT DATA AND PROVIDE INFORMATION
US11874120B2 (en) 2017-12-22 2024-01-16 Nissan North America, Inc. Shared autonomous vehicle operational management
CN111527379B (zh) * 2017-12-29 2024-07-09 哈曼国际工业有限公司 用于车辆的空间信息娱乐呈现系统
US11009359B2 (en) 2018-01-05 2021-05-18 Lacuna Technologies Inc. Transportation systems and related methods
US11110941B2 (en) 2018-02-26 2021-09-07 Renault S.A.S. Centralized shared autonomous vehicle operational management
JPWO2019225192A1 (ja) 2018-05-24 2021-07-01 ソニーグループ株式会社 情報処理装置及び情報処理方法
US10557716B2 (en) 2018-06-13 2020-02-11 Here Global B.V. Audible route sequence for navigation guidance
US11120688B2 (en) 2018-06-29 2021-09-14 Nissan North America, Inc. Orientation-adjust actions for autonomous vehicle operational management
US11032659B2 (en) * 2018-08-20 2021-06-08 International Business Machines Corporation Augmented reality for directional sound
US11181381B2 (en) * 2018-10-17 2021-11-23 International Business Machines Corporation Portable pedestrian navigation system
US10595149B1 (en) * 2018-12-04 2020-03-17 Facebook Technologies, Llc Audio augmentation using environmental data
US10939237B2 (en) * 2019-01-08 2021-03-02 Capital One Services, Llc Synced audio signals between a device and ATM
US10667073B1 (en) * 2019-06-10 2020-05-26 Bose Corporation Audio navigation to a point of interest
WO2021101460A1 (en) * 2019-11-20 2021-05-27 Eskisehir Teknik Universitesi Navigational assistance system with auditory augmented reality for visually impaired persons
US11899454B2 (en) 2019-11-26 2024-02-13 Nissan North America, Inc. Objective-based reasoning in autonomous vehicle decision-making
US11635758B2 (en) 2019-11-26 2023-04-25 Nissan North America, Inc. Risk aware executor with action set recommendations
US11380094B2 (en) * 2019-12-12 2022-07-05 At&T Intellectual Property I, L.P. Systems and methods for applied machine cognition
US11613269B2 (en) 2019-12-23 2023-03-28 Nissan North America, Inc. Learning safety and human-centered constraints in autonomous vehicles
US11300957B2 (en) 2019-12-26 2022-04-12 Nissan North America, Inc. Multiple objective explanation and control interface design
US11577746B2 (en) 2020-01-31 2023-02-14 Nissan North America, Inc. Explainability of autonomous vehicle decision making
US11714971B2 (en) 2020-01-31 2023-08-01 Nissan North America, Inc. Explainability of autonomous vehicle decision making
US11782438B2 (en) 2020-03-17 2023-10-10 Nissan North America, Inc. Apparatus and method for post-processing a decision-making model of an autonomous vehicle using multivariate data
US20220187906A1 (en) * 2020-12-16 2022-06-16 Starkey Laboratories, Inc. Object avoidance using ear-worn devices and image sensors
US20230376266A1 (en) * 2022-05-17 2023-11-23 Apple Inc. User interfaces for detecting objects
WO2023247984A1 (en) 2022-06-20 2023-12-28 Genima Innovations Marketing Gmbh Device and method for assisting visually impaired persons in public spaces

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030014186A1 (en) * 2000-11-15 2003-01-16 International Business Machines Corporation Apparatus, system, and method for determining a user position and progress along a path
JP2003023699A (ja) * 2001-07-05 2003-01-24 Saibuaasu:Kk 空間情報聴覚化装置および空間情報聴覚化方法
CN1712900A (zh) * 2004-06-25 2005-12-28 株式会社电装 汽车导航装置
US20070016425A1 (en) * 2005-07-12 2007-01-18 Koren Ward Device for providing perception of the physical environment
KR20080008705A (ko) * 2006-07-21 2008-01-24 (주)바네트 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템
JP2008256419A (ja) * 2007-04-02 2008-10-23 Toyota Motor Corp ナビゲーション装置
KR20090036183A (ko) * 2007-10-09 2009-04-14 슬림디스크 주식회사 카메라센서로 찍은 문서 이미지를 시각장애인에게 음성으로알려주는 방법 및 장치
KR20100025250A (ko) * 2008-08-27 2010-03-09 한국산업기술대학교산학협력단 시각 장애인을 위한 길 안내 시스템 및 그 방법
KR20110004064A (ko) * 2009-07-07 2011-01-13 숭실대학교산학협력단 시각장애인 보행 안내 방법 및 그 시스템
KR20120020106A (ko) * 2009-05-01 2012-03-07 마이크로소프트 코포레이션 모션 캡처를 위하여 모델 추적을 적용하는 시스템 및 방법
WO2012114123A1 (en) * 2011-02-24 2012-08-30 Isis Innovation Limited An optical device for the visually impaired
WO2013080021A1 (en) * 2011-12-02 2013-06-06 Sony Mobile Communications Ab Methods, systems and computer program products for creating three dimensional meshes from two dimensional images
US20130216093A1 (en) * 2012-02-21 2013-08-22 Hon Hai Precision Industry Co., Ltd. Walking assistance system and method
KR20130131511A (ko) * 2012-05-24 2013-12-04 (주)케이에스소프트 시각 장애인용 안내장치

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6489979B1 (en) * 1998-10-30 2002-12-03 International Business Machines Corporation Non-computer interface to a database and digital library
US6456438B1 (en) * 1999-08-12 2002-09-24 Honeywell Inc. Variable immersion vignetting display
US6323807B1 (en) 2000-02-17 2001-11-27 Mitsubishi Electric Research Laboratories, Inc. Indoor navigation with wearable passive sensors
JP2003079685A (ja) * 2001-09-17 2003-03-18 Seiko Epson Corp 視覚障害者歩行用補助具
WO2003078929A1 (en) * 2002-03-20 2003-09-25 Visuaide Inc. Wireless handheld navigation system for visually impaired pedestrians
JP4316960B2 (ja) * 2003-08-22 2009-08-19 株式会社半導体エネルギー研究所 装置
JP5040061B2 (ja) * 2004-12-15 2012-10-03 コニカミノルタホールディングス株式会社 映像表示装置及び情報提供システム
JP5001565B2 (ja) * 2006-03-23 2012-08-15 株式会社デンソーアイティーラボラトリ ナビゲーション装置
US8594935B2 (en) * 2009-03-18 2013-11-26 Intouch Graphics, Inc. Systems, methods, and software for providing wayfinding orientation and wayfinding data to blind travelers
JP2011030584A (ja) * 2009-07-29 2011-02-17 Hitachi Kokusai Electric Inc 歩行補助装置
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US20120212499A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content control during glasses movement
US20120143495A1 (en) 2010-10-14 2012-06-07 The University Of North Texas Methods and systems for indoor navigation
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US20130131985A1 (en) 2011-04-11 2013-05-23 James D. Weiland Wearable electronic image acquisition and enhancement system and method for image acquisition and visual enhancement
US8797386B2 (en) * 2011-04-22 2014-08-05 Microsoft Corporation Augmented auditory perception for the visually impaired
US8762051B2 (en) * 2011-09-02 2014-06-24 GM Global Technology Operations LLC Method and system for providing navigational guidance using landmarks
WO2013052781A1 (en) * 2011-10-07 2013-04-11 Massachusetts Institute Of Technology Method and apparatus to determine depth information for a scene of interest
US9454849B2 (en) * 2011-11-03 2016-09-27 Microsoft Technology Licensing, Llc Augmented reality playspaces with adaptive game rules
CN202409427U (zh) * 2011-12-01 2012-09-05 大连海事大学 便携式智能电子导盲仪
RU2534961C2 (ru) * 2012-10-29 2014-12-10 Максим Леонидович Аронов Способ и система информирования и ориентирования инвалидов по зрению
US10045718B2 (en) * 2012-11-22 2018-08-14 Atheer, Inc. Method and apparatus for user-transparent system control using bio-input
KR102081797B1 (ko) * 2012-12-13 2020-04-14 삼성전자주식회사 안경 장치 및 이의 제어 방법, 오디오 장치 및 이의 오디오 신호 제공 방법, 그리고 디스플레이 장치
US20140184384A1 (en) * 2012-12-27 2014-07-03 Research Foundation Of The City University Of New York Wearable navigation assistance for the vision-impaired
CA3187490A1 (en) * 2013-03-15 2014-09-18 Interaxon Inc. Wearable computing apparatus and method

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030014186A1 (en) * 2000-11-15 2003-01-16 International Business Machines Corporation Apparatus, system, and method for determining a user position and progress along a path
JP2003023699A (ja) * 2001-07-05 2003-01-24 Saibuaasu:Kk 空間情報聴覚化装置および空間情報聴覚化方法
CN1712900A (zh) * 2004-06-25 2005-12-28 株式会社电装 汽车导航装置
US20070016425A1 (en) * 2005-07-12 2007-01-18 Koren Ward Device for providing perception of the physical environment
KR20080008705A (ko) * 2006-07-21 2008-01-24 (주)바네트 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템
JP2008256419A (ja) * 2007-04-02 2008-10-23 Toyota Motor Corp ナビゲーション装置
KR20090036183A (ko) * 2007-10-09 2009-04-14 슬림디스크 주식회사 카메라센서로 찍은 문서 이미지를 시각장애인에게 음성으로알려주는 방법 및 장치
KR20100025250A (ko) * 2008-08-27 2010-03-09 한국산업기술대학교산학협력단 시각 장애인을 위한 길 안내 시스템 및 그 방법
KR20120020106A (ko) * 2009-05-01 2012-03-07 마이크로소프트 코포레이션 모션 캡처를 위하여 모델 추적을 적용하는 시스템 및 방법
KR20110004064A (ko) * 2009-07-07 2011-01-13 숭실대학교산학협력단 시각장애인 보행 안내 방법 및 그 시스템
WO2012114123A1 (en) * 2011-02-24 2012-08-30 Isis Innovation Limited An optical device for the visually impaired
WO2013080021A1 (en) * 2011-12-02 2013-06-06 Sony Mobile Communications Ab Methods, systems and computer program products for creating three dimensional meshes from two dimensional images
US20130216093A1 (en) * 2012-02-21 2013-08-22 Hon Hai Precision Industry Co., Ltd. Walking assistance system and method
KR20130131511A (ko) * 2012-05-24 2013-12-04 (주)케이에스소프트 시각 장애인용 안내장치

Also Published As

Publication number Publication date
CA2935236A1 (en) 2015-07-30
JP2017513535A (ja) 2017-06-01
RU2016129945A (ru) 2018-01-23
AU2015209371A1 (en) 2016-07-14
CN105934227B (zh) 2019-12-03
EP3096730A1 (en) 2016-11-30
CN105934227A (zh) 2016-09-07
SG11201605844UA (en) 2016-08-30
HK1223540A1 (zh) 2017-08-04
EP3096730B1 (en) 2020-12-23
MY182173A (en) 2021-01-18
AU2015209371B2 (en) 2019-01-17
IL246236A0 (en) 2016-07-31
US20150211858A1 (en) 2015-07-30
US9140554B2 (en) 2015-09-22
MX2016009462A (es) 2016-10-13
PH12016501219A1 (en) 2016-08-22
JP6765306B2 (ja) 2020-10-07
KR102331048B1 (ko) 2021-11-25
RU2678361C1 (ru) 2019-01-28
WO2015112651A1 (en) 2015-07-30
IL246236B (en) 2020-11-30
BR112016016255A8 (pt) 2020-03-10
BR112016016255A2 (pt) 2017-08-08
CA2935236C (en) 2022-05-17
PH12016501219B1 (en) 2016-08-22

Similar Documents

Publication Publication Date Title
KR102331048B1 (ko) 오디오 탐색 지원
JP2017513535A5 (ko)
US10701509B2 (en) Emulating spatial perception using virtual echolocation
JP6316387B2 (ja) 広範囲同時遠隔ディジタル提示世界
CN105324811B (zh) 语音到文本转换
JP6546603B2 (ja) 注視トラッキングの方法およびデバイスにおける視覚的な変更の非視覚的なフィードバック
US10088900B2 (en) Information processing method and information processing system
EP2891955B1 (en) In-vehicle gesture interactive spatial audio system
KR102233052B1 (ko) 혼합 현실의 등급을 매긴 정보 전달
KR20160148558A (ko) 바디 락 증강 현실과 월드 락 증강 현실 사이의 전환 기법
JP6656382B2 (ja) マルチメディア情報を処理する方法及び装置
JP6627775B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN114693890A (zh) 一种增强现实交互方法及电子设备
US10831443B2 (en) Content discovery
US20210082196A1 (en) Method and device for presenting an audio and synthesized reality experience
WO2019235262A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant