RU2016129945A - Аудиопомощь в навигации - Google Patents

Аудиопомощь в навигации Download PDF

Info

Publication number
RU2016129945A
RU2016129945A RU2016129945A RU2016129945A RU2016129945A RU 2016129945 A RU2016129945 A RU 2016129945A RU 2016129945 A RU2016129945 A RU 2016129945A RU 2016129945 A RU2016129945 A RU 2016129945A RU 2016129945 A RU2016129945 A RU 2016129945A
Authority
RU
Russia
Prior art keywords
navigation
audio
user
computing device
head
Prior art date
Application number
RU2016129945A
Other languages
English (en)
Other versions
RU2678361C1 (ru
Inventor
Роберт ДЖЕРАЛЬД
Original Assignee
МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи filed Critical МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи
Publication of RU2016129945A publication Critical patent/RU2016129945A/ru
Application granted granted Critical
Publication of RU2678361C1 publication Critical patent/RU2678361C1/ru

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08—Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3837—Data obtained from a single source
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/003—Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/008—Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/1604—Head
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16—Physical interface with patient
    • A61H2201/1602—Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/165—Wearable interfaces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5007—Control means thereof computer controlled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A61H2201/5048—Audio interfaces, e.g. voice or music controlled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5064—Position sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5058—Sensors or detectors
    • A61H2201/5092—Optical sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation

Claims (29)


1     1. Закрепляемое на голове вычислительное устройство для предоставления помощи в навигации в среде через вывод аудио, при этом закрепляемое на голове вычислительное устройство содержит:
один или более датчиков глубины для генерирования данных изображения глубины из среды;
один или более датчиков видимого света для генерирования данных видимого изображения из среды;
один или более преобразователей; и
модуль навигации, исполняемый процессором закрепляемого на голове вычислительного устройства, при этом модуль навигации, содержащий режим знакомой навигации и режим незнакомой навигации, причем модуль навигации выполнен с возможностью:
используя данные изображения глубины и данные видимого изображения, генерирования трехмерной сетки, по меньшей мере, участка среды;
используя трехмерную сетку, обнаружения, по меньшей мере, одного признака в среде;
при работе в режиме знакомой навигации и на основании обнаружения признака, вывода первой аудио подсказки навигации о среде пользователю через один или более преобразователей; и
при работе в режиме незнакомой навигации и на основании обнаружения признака, вывода второй аудио подсказки навигации о среде пользователю через один или более преобразователей, при этом вторая аудио подсказка навигации отличается от первой аудио подсказки навигации.

2     2. Закрепляемое на голове вычислительное устройство по п. 1, в котором модуль навигации дополнительно выполнен с возможностью вывода одной или более из первой аудио подсказки навигации и второй аудио подсказки навигации пользователю таким образом, что вызывают восприятие пользователем подсказки, как исходящей из трехмерного местоположения признака.

3     3. Закрепляемое на голове вычислительное устройство по п. 1, в котором признак содержит наклонный участок, и первая аудио подсказка навигации и вторая аудио подсказка навигации содержат множество восходящих определенного тона звуков, которые указывают на наклонный участок с наклоном вверх, или множество нисходящих определенного тона звуков, которые указывают на наклонный участок с наклоном вниз.

4     4. Закрепляемое на голове вычислительное устройство по п. 3, в котором первая аудио подсказка навигации и вторая аудио подсказка навигации дополнительно содержат множество из непрерывных определенного тона звуков, которые указывают на непрерывный наклонный участок, или множество дискретных определенного тона звуков, которые указывают на множество ступеней.

5     5. Закрепляемое на голове вычислительное устройство по п. 1, в котором модуль навигации дополнительно выполнен с возможностью вывода первой аудио подсказки навигации и второй аудио подсказки навигации пользователю с громкостью, которая увеличивается по мере того, как сокращается расстояние близости признака к пользователю.

6     6. В закрепляемом на голове вычислительном устройстве, способ для предоставления помощи в навигации в среде через вывод аудио, причем способ содержит этапы, на которых:
принимают данные изображения глубины из среды;
принимают данные видимого изображения из среды;
используя данные изображения глубины и данные видимого изображения, генерируют трехмерную сетку, по меньшей мере, участка среды;
используя трехмерную сетку, обнаруживают, по меньшей мере, один признак в среде;
при работе закрепляемого на голове вычислительного устройства в режиме знакомой навигации и на основании обнаружения признака, выводят первую аудио подсказку навигации о среде пользователю через один или более преобразователей; и
при работе закрепляемого на голове вычислительного устройства в режиме незнакомой навигации и на основании обнаружения признака, выводят вторую аудио подсказку навигации о среде пользователю через один или более преобразователей, при этом вторая аудио подсказка навигации отличается от первой аудио подсказки навигации.

7     7. Способ по п. 6, дополнительно содержащий этапы, на которых:
распознают лицо в среде, используя одно или более из данных изображения глубины или данных видимого изображения;
ассоциируют лицо с личностью человека; и
информируют пользователя о личности человека.

8     8. Способ по п. 7, дополнительно содержащий этапы, на которых:
назначают звуковой эффект личности упомянутой личности человека; и
выводят звуковой эффект личности пользователю через один или более преобразователей.

9     9. Способ по п. 6, дополнительно содержащий этап, на котором выводят осязаемую подсказку навигации пользователю через один или более преобразователей.

10     10. Способ по п. 6, дополнительно содержащий этап, на котором на основании обнаружения признака, отображают визуальную подсказку навигации пользователю через систему дисплея закрепляемого на голове вычислительного устройства, при этом визуальная подсказка навигации основана на, по меньшей мере, трехмерном местоположении признака в среде.
RU2016129945A 2014-01-24 2015-01-22 Аудиопомощь в навигации RU2678361C1 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/163,943 2014-01-24
US14/163,943 US9140554B2 (en) 2014-01-24 2014-01-24 Audio navigation assistance
PCT/US2015/012329 WO2015112651A1 (en) 2014-01-24 2015-01-22 Audio navigation assistance

Publications (2)

Publication Number Publication Date
RU2016129945A true RU2016129945A (ru) 2018-01-23
RU2678361C1 RU2678361C1 (ru) 2019-01-28

Family

ID=52596589

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016129945A RU2678361C1 (ru) 2014-01-24 2015-01-22 Аудиопомощь в навигации

Country Status (16)

Country Link
US (1) US9140554B2 (ru)
EP (1) EP3096730B1 (ru)
JP (1) JP6765306B2 (ru)
KR (1) KR102331048B1 (ru)
CN (1) CN105934227B (ru)
AU (1) AU2015209371B2 (ru)
BR (1) BR112016016255A8 (ru)
CA (1) CA2935236C (ru)
HK (1) HK1223540A1 (ru)
IL (1) IL246236B (ru)
MX (1) MX2016009462A (ru)
MY (1) MY182173A (ru)
PH (1) PH12016501219B1 (ru)
RU (1) RU2678361C1 (ru)
SG (1) SG11201605844UA (ru)
WO (1) WO2015112651A1 (ru)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012224107A1 (de) * 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Verfahren zum Bestimmen einer Referenzposition als Startposition für ein Trägheitsnavigationssystem
US9915545B2 (en) * 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10248856B2 (en) 2014-01-14 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9629774B2 (en) 2014-01-14 2017-04-25 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10360907B2 (en) 2014-01-14 2019-07-23 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10024679B2 (en) * 2014-01-14 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9578307B2 (en) 2014-01-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US20150330787A1 (en) * 2014-05-19 2015-11-19 Joseph Cioffi Systems, Methods and Software for Redirecting Blind Travelers Using Dynamic Wayfinding Orientation and Wayfinding Data
CN104065930B (zh) * 2014-06-30 2017-07-07 青岛歌尔声学科技有限公司 集成摄像头模组和光传感器的视觉辅助方法及装置
US10024667B2 (en) 2014-08-01 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable earpiece for providing social and environmental awareness
US9212924B1 (en) * 2014-08-21 2015-12-15 Microsoft Technology Licensing, Llc Multimode transportation transitions
US10024678B2 (en) * 2014-09-17 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness
US9922236B2 (en) 2014-09-17 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
USD768024S1 (en) 2014-09-22 2016-10-04 Toyota Motor Engineering & Manufacturing North America, Inc. Necklace with a built in guidance device
US9483960B2 (en) * 2014-09-26 2016-11-01 Xerox Corporation Method and apparatus for dimensional proximity sensing for the visually impaired
US9826297B2 (en) * 2014-10-29 2017-11-21 At&T Intellectual Property I, L.P. Accessory device that provides sensor input to a media device
US9576460B2 (en) 2015-01-21 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device for hazard detection and warning based on image and audio data
US10490102B2 (en) 2015-02-10 2019-11-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for braille assistance
US9586318B2 (en) 2015-02-27 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Modular robot with smart device
US9811752B2 (en) 2015-03-10 2017-11-07 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device and method for redundant object identification
US9677901B2 (en) 2015-03-10 2017-06-13 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing navigation instructions at optimal times
US9972216B2 (en) 2015-03-20 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for storing and playback of information for blind users
US10546173B2 (en) * 2015-04-09 2020-01-28 Nec Corporation Information processing device, information processing system, position reporting method, and program recording medium
US9898039B2 (en) 2015-08-03 2018-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Modular smart necklace
CN105232295B (zh) * 2015-10-16 2017-03-22 北京机械设备研究所 一种用于避障的智能导引系统
US10013858B2 (en) 2016-02-26 2018-07-03 At&T Intellectual Property I, L.P. Notification system with haptic feedback garment and methods for use therewith
US10024680B2 (en) 2016-03-11 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Step based guidance system
US10469976B2 (en) * 2016-05-11 2019-11-05 Htc Corporation Wearable electronic device and virtual reality system
US9958275B2 (en) 2016-05-31 2018-05-01 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for wearable smart device communications
US10238571B2 (en) 2016-06-22 2019-03-26 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist devices and methods of calibrating image data of a vision-assist device
US20180012377A1 (en) * 2016-07-08 2018-01-11 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist devices and methods of calibrating vision-assist devices
US10561519B2 (en) 2016-07-20 2020-02-18 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device having a curved back to reduce pressure on vertebrae
IT201600079587A1 (it) * 2016-07-28 2018-01-28 Glauco Letizia Apparecchiatura e metodo di sostituzione sensoriale (s.s.d.) per assistere una persona non vedente nella deambulazione, nell'orientamento e nella comprensione degli ambienti interni.
US10843299B2 (en) * 2016-08-08 2020-11-24 The Johns Hopkins University Object recognition and presentation for the visually impaired
US10235366B2 (en) 2016-08-16 2019-03-19 Microsoft Technology Licensing, Llc Activity gallery view in communication platforms
US10432851B2 (en) 2016-10-28 2019-10-01 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device for detecting photography
US10012505B2 (en) 2016-11-11 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable system for providing walking directions
US10521669B2 (en) 2016-11-14 2019-12-31 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing guidance or feedback to a user
US9792501B1 (en) * 2016-12-31 2017-10-17 Vasuyantra Corp. Method and device for visually impaired assistance
US10172760B2 (en) 2017-01-19 2019-01-08 Jennifer Hendrix Responsive route guidance and identification system
US10586106B2 (en) * 2017-02-02 2020-03-10 Microsoft Technology Licensing, Llc Responsive spatial audio cloud
RU2725920C1 (ru) * 2017-02-10 2020-07-07 Ниссан Норт Америка, Инк. Управление оперативным управлением автономным транспортным средством
CN110325928B (zh) * 2017-02-10 2023-04-04 日产北美公司 自主车辆运行管理
MX2019009397A (es) 2017-02-10 2019-12-05 Nissan North America Inc Gestion operacional de vehiculo autonomo que incluye operar una instancia de modelo de proceso de decision de markov parcialmente observable.
RU2734732C1 (ru) 2017-02-10 2020-10-22 Ниссан Норт Америка, Инк. Отслеживание блокировки сети движения при оперативном управлении автономным транспортным средством
US20180288557A1 (en) * 2017-03-29 2018-10-04 Samsung Electronics Co., Ltd. Use of earcons for roi identification in 360-degree video
US10321258B2 (en) * 2017-04-19 2019-06-11 Microsoft Technology Licensing, Llc Emulating spatial perception using virtual echolocation
US10605609B2 (en) 2017-05-03 2020-03-31 Microsoft Technology Licensing, Llc Coupled interactive devices
US9993384B1 (en) 2017-06-12 2018-06-12 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist systems and methods for assisting visually impaired users with navigating an environment using simultaneous audio outputs
CN107454376B (zh) * 2017-09-11 2019-07-19 Oppo广东移动通信有限公司 跌落提醒方法、装置、电子装置和计算机可读存储介质
US10836405B2 (en) 2017-10-30 2020-11-17 Nissan North America, Inc. Continual planning and metareasoning for controlling an autonomous vehicle
WO2019089015A1 (en) 2017-10-31 2019-05-09 Nissan North America, Inc. Autonomous vehicle operation with explicit occlusion reasoning
WO2019088989A1 (en) 2017-10-31 2019-05-09 Nissan North America, Inc. Reinforcement and model learning for vehicle operation
US11084504B2 (en) 2017-11-30 2021-08-10 Nissan North America, Inc. Autonomous vehicle operational management scenarios
US10580259B2 (en) * 2017-12-13 2020-03-03 Novomatic Ag Systems, methods and gaming machines having logic based on sporting events
JP6955211B2 (ja) * 2017-12-14 2021-10-27 オムロン株式会社 識別装置、識別方法及びプログラム
WO2019126236A1 (en) * 2017-12-19 2019-06-27 Datalogic IP Tech, S.r.l. User-wearable systems and methods to collect data and provide information
WO2020204871A1 (en) 2017-12-22 2020-10-08 Nissan North America, Inc. Shared autonomous vehicle operational management
KR20200100663A (ko) * 2017-12-29 2020-08-26 하만인터내셔날인더스트리스인코포레이티드 차량용 공간적 인포테인먼트 렌더링 시스템
WO2019136404A1 (en) 2018-01-05 2019-07-11 Todd Petersen Transportation systems and related methods
EP3759563B1 (en) 2018-02-26 2023-11-22 Nissan North America, Inc. Centralized shared autonomous vehicle operational management
EP3687193B1 (en) 2018-05-24 2024-03-06 Sony Group Corporation Information processing device and information processing method
US10557716B2 (en) 2018-06-13 2020-02-11 Here Global B.V. Audible route sequence for navigation guidance
US11120688B2 (en) 2018-06-29 2021-09-14 Nissan North America, Inc. Orientation-adjust actions for autonomous vehicle operational management
US11032659B2 (en) * 2018-08-20 2021-06-08 International Business Machines Corporation Augmented reality for directional sound
US11181381B2 (en) * 2018-10-17 2021-11-23 International Business Machines Corporation Portable pedestrian navigation system
US10595149B1 (en) * 2018-12-04 2020-03-17 Facebook Technologies, Llc Audio augmentation using environmental data
US10939237B2 (en) * 2019-01-08 2021-03-02 Capital One Services, Llc Synced audio signals between a device and ATM
US10667073B1 (en) * 2019-06-10 2020-05-26 Bose Corporation Audio navigation to a point of interest
WO2021101460A1 (en) * 2019-11-20 2021-05-27 Eskisehir Teknik Universitesi Navigational assistance system with auditory augmented reality for visually impaired persons
US11635758B2 (en) 2019-11-26 2023-04-25 Nissan North America, Inc. Risk aware executor with action set recommendations
US11899454B2 (en) 2019-11-26 2024-02-13 Nissan North America, Inc. Objective-based reasoning in autonomous vehicle decision-making
US11380094B2 (en) * 2019-12-12 2022-07-05 At&T Intellectual Property I, L.P. Systems and methods for applied machine cognition
US11613269B2 (en) 2019-12-23 2023-03-28 Nissan North America, Inc. Learning safety and human-centered constraints in autonomous vehicles
US11300957B2 (en) 2019-12-26 2022-04-12 Nissan North America, Inc. Multiple objective explanation and control interface design
US11577746B2 (en) 2020-01-31 2023-02-14 Nissan North America, Inc. Explainability of autonomous vehicle decision making
US11714971B2 (en) 2020-01-31 2023-08-01 Nissan North America, Inc. Explainability of autonomous vehicle decision making
US11782438B2 (en) 2020-03-17 2023-10-10 Nissan North America, Inc. Apparatus and method for post-processing a decision-making model of an autonomous vehicle using multivariate data
US20220187906A1 (en) * 2020-12-16 2022-06-16 Starkey Laboratories, Inc. Object avoidance using ear-worn devices and image sensors
WO2023225131A2 (en) * 2022-05-17 2023-11-23 Apple Inc. User interfaces for detecting objects
WO2023247984A1 (en) 2022-06-20 2023-12-28 Genima Innovations Marketing Gmbh Device and method for assisting visually impaired persons in public spaces

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6489979B1 (en) * 1998-10-30 2002-12-03 International Business Machines Corporation Non-computer interface to a database and digital library
US6456438B1 (en) * 1999-08-12 2002-09-24 Honeywell Inc. Variable immersion vignetting display
US6323807B1 (en) 2000-02-17 2001-11-27 Mitsubishi Electric Research Laboratories, Inc. Indoor navigation with wearable passive sensors
US20030014186A1 (en) * 2000-11-15 2003-01-16 International Business Machines Corporation Apparatus, system, and method for determining a user position and progress along a path
JP2003023699A (ja) 2001-07-05 2003-01-24 Saibuaasu:Kk 空間情報聴覚化装置および空間情報聴覚化方法
JP2003079685A (ja) * 2001-09-17 2003-03-18 Seiko Epson Corp 視覚障害者歩行用補助具
US20030179133A1 (en) * 2002-03-20 2003-09-25 Gilles Pepin Wireless handheld portabel navigation system and method for visually impaired pedestrians
JP4316960B2 (ja) * 2003-08-22 2009-08-19 株式会社半導体エネルギー研究所 装置
JP4277746B2 (ja) 2004-06-25 2009-06-10 株式会社デンソー カーナビゲーション装置
JP5040061B2 (ja) * 2004-12-15 2012-10-03 コニカミノルタホールディングス株式会社 映像表示装置及び情報提供システム
US20070016425A1 (en) 2005-07-12 2007-01-18 Koren Ward Device for providing perception of the physical environment
JP5001565B2 (ja) * 2006-03-23 2012-08-15 株式会社デンソーアイティーラボラトリ ナビゲーション装置
KR20080008705A (ko) * 2006-07-21 2008-01-24 (주)바네트 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템
JP2008256419A (ja) 2007-04-02 2008-10-23 Toyota Motor Corp ナビゲーション装置
KR20090036183A (ko) * 2007-10-09 2009-04-14 슬림디스크 주식회사 카메라센서로 찍은 문서 이미지를 시각장애인에게 음성으로알려주는 방법 및 장치
KR101043910B1 (ko) * 2008-08-27 2011-06-29 한국산업기술대학교산학협력단 시각 장애인을 위한 길 안내 시스템 및 그 방법
US8594935B2 (en) * 2009-03-18 2013-11-26 Intouch Graphics, Inc. Systems, methods, and software for providing wayfinding orientation and wayfinding data to blind travelers
US20100277470A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
KR101054025B1 (ko) * 2009-07-07 2011-08-04 숭실대학교산학협력단 시각장애인 보행 안내 방법 및 그 시스템
JP2011030584A (ja) * 2009-07-29 2011-02-17 Hitachi Kokusai Electric Inc 歩行補助装置
US20120212499A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content control during glasses movement
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US20120143495A1 (en) 2010-10-14 2012-06-07 The University Of North Texas Methods and systems for indoor navigation
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
GB201103200D0 (en) 2011-02-24 2011-04-13 Isis Innovation An optical device for the visually impaired
US20130131985A1 (en) 2011-04-11 2013-05-23 James D. Weiland Wearable electronic image acquisition and enhancement system and method for image acquisition and visual enhancement
US8797386B2 (en) * 2011-04-22 2014-08-05 Microsoft Corporation Augmented auditory perception for the visually impaired
US8762051B2 (en) * 2011-09-02 2014-06-24 GM Global Technology Operations LLC Method and system for providing navigational guidance using landmarks
WO2013052781A1 (en) * 2011-10-07 2013-04-11 Massachusetts Institute Of Technology Method and apparatus to determine depth information for a scene of interest
US9454849B2 (en) * 2011-11-03 2016-09-27 Microsoft Technology Licensing, Llc Augmented reality playspaces with adaptive game rules
CN202409427U (zh) * 2011-12-01 2012-09-05 大连海事大学 便携式智能电子导盲仪
US20130141433A1 (en) 2011-12-02 2013-06-06 Per Astrand Methods, Systems and Computer Program Products for Creating Three Dimensional Meshes from Two Dimensional Images
TWI474173B (zh) 2012-02-21 2015-02-21 Hon Hai Prec Ind Co Ltd 行走輔助系統及行走輔助方法
KR20130131511A (ko) * 2012-05-24 2013-12-04 (주)케이에스소프트 시각 장애인용 안내장치
RU2534961C2 (ru) * 2012-10-29 2014-12-10 Максим Леонидович Аронов Способ и система информирования и ориентирования инвалидов по зрению
US10045718B2 (en) * 2012-11-22 2018-08-14 Atheer, Inc. Method and apparatus for user-transparent system control using bio-input
KR102081797B1 (ko) * 2012-12-13 2020-04-14 삼성전자주식회사 안경 장치 및 이의 제어 방법, 오디오 장치 및 이의 오디오 신호 제공 방법, 그리고 디스플레이 장치
US20140184384A1 (en) * 2012-12-27 2014-07-03 Research Foundation Of The City University Of New York Wearable navigation assistance for the vision-impaired
CA2942852C (en) * 2013-03-15 2023-03-28 Interaxon Inc. Wearable computing apparatus and method

Also Published As

Publication number Publication date
CA2935236C (en) 2022-05-17
WO2015112651A1 (en) 2015-07-30
EP3096730B1 (en) 2020-12-23
RU2678361C1 (ru) 2019-01-28
KR102331048B1 (ko) 2021-11-25
AU2015209371A1 (en) 2016-07-14
IL246236A0 (en) 2016-07-31
MX2016009462A (es) 2016-10-13
CA2935236A1 (en) 2015-07-30
IL246236B (en) 2020-11-30
PH12016501219A1 (en) 2016-08-22
EP3096730A1 (en) 2016-11-30
JP6765306B2 (ja) 2020-10-07
US20150211858A1 (en) 2015-07-30
CN105934227A (zh) 2016-09-07
HK1223540A1 (zh) 2017-08-04
MY182173A (en) 2021-01-18
SG11201605844UA (en) 2016-08-30
BR112016016255A8 (pt) 2020-03-10
US9140554B2 (en) 2015-09-22
PH12016501219B1 (en) 2016-08-22
AU2015209371B2 (en) 2019-01-17
BR112016016255A2 (pt) 2017-08-08
KR20160113666A (ko) 2016-09-30
CN105934227B (zh) 2019-12-03
JP2017513535A (ja) 2017-06-01

Similar Documents

Publication Publication Date Title
RU2016129945A (ru) Аудиопомощь в навигации
US10223836B2 (en) Systems and methods for augmenting an appearance of a hilt to simulate a bladed weapon
RU2017121803A (ru) Масштабирование агентов цифровых персональных помощников по устройствам
MX2017004374A (es) Monitor interactivo basado en la interpretacion de las acciones del conductor.
WO2015008469A3 (en) Information processing apparatus, information processing method, and information processing system
JP2014007517A5 (ru)
EP2945157A3 (en) Information provision method using voice recognition function and control method for device
EP2680254A3 (en) Sound synthesis method and sound synthesis apparatus
EP2704057A3 (en) Gesture recognition apparatus, control method thereof, display instrument, and computer readable medium
ATE555958T1 (de) Assistenzsystem mit umgebungserkennung
RU2013122880A (ru) Система медицинской визуализации
EP3531408A3 (en) Transparent display apparatus and method thereof
RU2013127503A (ru) Устройство отображения, способ пользовательского интерфейса и программа
DE602005011411D1 (de) Scanning-display-vorrichtung
RU2016142189A (ru) Тактильная обратная связь для получения ультразвукового изображения
EP2896531A3 (en) Virtual three-dimensional instrument cluster with three-dimensional navigation system
RU2017104455A (ru) Система и способ предоставления пациенту индивидуального совета
RU2019103274A (ru) Генерирование индикатора наведения и сигнала индикатора
EP2816559A3 (en) Translation system comprising display apparatus and server and control method thereof
WO2014108387A3 (de) Navigationsvorrichtung für ein fahrzeug und verfahren zur erzeugung eines anzeigesignals für eine navigationsvorrichtung für ein fahrzeug
JP2017525002A5 (ru)
WO2018089435A3 (en) Using map information to smooth objects generated from sensor data
JP2014180492A5 (ja) 処理装置、被検体情報取得装置、処理方法、および表示制御方法
RU2017124334A (ru) Система и способ обнаружения падения
WO2012047214A3 (en) Visual display of semantic information