JP6765306B2 - オーディオナビゲーション支援 - Google Patents

オーディオナビゲーション支援 Download PDF

Info

Publication number
JP6765306B2
JP6765306B2 JP2016547926A JP2016547926A JP6765306B2 JP 6765306 B2 JP6765306 B2 JP 6765306B2 JP 2016547926 A JP2016547926 A JP 2016547926A JP 2016547926 A JP2016547926 A JP 2016547926A JP 6765306 B2 JP6765306 B2 JP 6765306B2
Authority
JP
Japan
Prior art keywords
navigation
user
environment
computing device
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016547926A
Other languages
English (en)
Other versions
JP2017513535A5 (ja
JP2017513535A (ja
Inventor
ジェロールド,ロバート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2017513535A publication Critical patent/JP2017513535A/ja
Publication of JP2017513535A5 publication Critical patent/JP2017513535A5/ja
Application granted granted Critical
Publication of JP6765306B2 publication Critical patent/JP6765306B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/08Devices or methods enabling eye-patients to replace direct visual perception by another kind of perception
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • A61H3/061Walking aids for blind persons with electronic detecting or guiding means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3837Data obtained from a single source
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/003Teaching or communicating with blind persons using tactile presentation of the information, e.g. Braille displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/006Teaching or communicating with blind persons using audible presentation of the information
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001Teaching or communicating with blind persons
    • G09B21/008Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16Physical interface with patient
    • A61H2201/1602Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/1604Head
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/16Physical interface with patient
    • A61H2201/1602Physical interface with patient kind of interface, e.g. head rest, knee support or lumbar support
    • A61H2201/165Wearable interfaces
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5007Control means thereof computer controlled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5023Interfaces to the user
    • A61H2201/5048Audio interfaces, e.g. voice or music controlled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5058Sensors or detectors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5058Sensors or detectors
    • A61H2201/5064Position sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5058Sensors or detectors
    • A61H2201/5092Optical sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0127Head-up displays characterised by optical features comprising devices increasing the depth of field
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Automation & Control Theory (AREA)
  • Veterinary Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Vascular Medicine (AREA)
  • Epidemiology (AREA)
  • Optics & Photonics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Rehabilitation Therapy (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pain & Pain Management (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Rehabilitation Tools (AREA)
  • Traffic Control Systems (AREA)

Description

生理的な視覚障害のある人々は、1つ以上の移動補助(mobility aid)を用いてその周囲をナビゲートすることがある。そのような移動補助には、例えば杖や介助動物、視覚強化デバイス等が含まれ得る。同様に、暗い部屋や煙の充満した部屋のように、状況的な視覚障害に遭遇している目が見える人も、その現在の環境のためのナビゲーション支援(navigation assistance)を提供する移動補助から恩恵を受け得る。
一部の移動補助は、杖が道路の縁石に接触することのように、ユーザの周囲の態様を示す触覚フィードバックを提供する。しかしながら、そのような補助を使用することは、ユーザの手とともに相当量のユーザの注意を占める可能性がある。加えて、そのような補助は一般に、その周囲のコンテキストに関わらず、ユーザのごく近くの周囲について同じ量及びタイプのフィードバックを提供する。したがって、これらの補助は、一般に、ユーザの現在の環境のコンテキストに基づいて、そのフィードバックのユーティリティを修正又は強化することができない。
オーディオ出力を介して環境内のナビゲーション支援を提供することに関する様々な実施形態を開示する。例えば開示される一実施形態では、頭部装着型コンピューティングデバイスにおいて、方法は、深度画像データ及び可視画像データを環境から受け取ることを備える。深度画像データ及び可視画像データを使用して、環境の少なくとも一部の3次元メッシュを生成する。この3次元メッシュを使用して、環境内の少なくとも1つの特徴を検出する。頭部装着型コンピューティングデバイスが精通ナビゲーションモードで動作しており、かつ特徴を検出したことに基づいて、1つ以上のトランスデューサを介して、環境の第1のオーディオ・ナビゲーションキューをユーザに出力する。頭部装着型コンピューティングデバイスが非精通ナビゲーションモードで動作しており、かつ特徴を検出したことに基づいて、1つ以上のトランスデューサを介して、環境の第2のオーディオ・ナビゲーションキューをユーザに出力する。第2のオーディオ・ナビゲーションキューは、第1のオーディオ・ナビゲーションキューとは異なる。
この発明の概要の記載は、下記で発明の詳細な説明において更に説明される概念の選択を簡略化した形式で紹介するために提供される。この発明の概要の記載は、特許請求に係る主題の主要な特徴又は本質的特徴を特定するようには意図されておらず、特許請求に係る主題の範囲を限定するよう使用されるようにも意図されていない。さらに、特許請求に係る主題は、本開示のいずれかの部分で示されるいずれかの又はすべての欠点を解決する実装に限定されない。
本開示の実施形態に係る、ナビゲーション支援を提供するための頭部装着型コンピューティングデバイスの概略図である。
本開示の実施形態に係る例示の頭部装着型コンピューティングデバイスを示す図である。
家で図2の頭部装着型コンピューティングデバイスを装着しているユーザの概略図である。
ホテルで頭部装着型コンピューティングデバイスを装着している図3のユーザの概略図である。
階段を備えるスロープに近づいている、図2の頭部装着型コンピューティングデバイスを装着しているユーザの概略図である。
連続する下向きに傾いたスロープに近づいている図6のユーザの概略図である。
本開示の実施形態に係る頭部装着型コンピューティングデバイスを介して見える屋外環境の概略図である。
本開示の実施形態に従って、オーディオ出力を介して環境内のユーザにナビゲーション支援を提供するための方法のフローチャートである。 本開示の実施形態に従って、オーディオ出力を介して環境内のユーザにナビゲーション支援を提供するための方法のフローチャートである。
コンピューティングデバイスの実施形態の簡略化した概略図である。
図1は、ユーザ14にナビゲーション支援を提供するための頭部装着型コンピューティングデバイス10の一実施形態の概略図を示す。頭部装着型コンピューティングデバイス10はナビゲーションモジュール16を含む。ナビゲーションモジュール16は、頭部装着型コンピューティングデバイス10の大容量ストレージ18内に格納され得る。ナビゲーションモジュール16は、メモリ20内にロードされて、頭部装着型コンピューティングデバイス10のプロセッサによって実行され、以下でより詳細に説明される方法及び処理の1つ以上を実行し得る。
ナビゲーションモジュール16は、精通ナビゲーションモード(familiar navigation mode)26及び非精通ナビゲーションモード(unfamiliar navigation mode)28を備える複数のナビゲーションモード24を含む。有利には、以下でより詳細に説明されるように、ナビゲーションモード24のうちの1つ以上が、状況に適した方法でユーザの特定のニーズに適合したナビゲーション支援を提供するように選択的に携わる。例えば精通ナビゲーションモード26は、プログラム又はユーザ入力30により、ユーザが慣れている環境をユーザ14がナビゲートしているときに携わることができる。精通ナビゲーションモード26では、ナビゲーション支援は、ユーザの周囲への精通性を考慮するように適合され得る。
同様にして、非精通ナビゲーションモード28は、プログラム又はユーザ入力30により、ユーザが不慣れな環境をユーザ14がナビゲートしているときに携わることができる。非精通ナビゲーションモード28では、ナビゲーション支援は、ユーザの周囲への非精通性を考慮するように適合され得る。認識されるように、ナビゲーションモジュール16は、特定の特性又は態様を有する環境又は周囲に関連する1つ以上の追加のナビゲーションモード24を含んでもよく、例えばそのようなモードには、屋内ナビゲーションモード、屋外ナビゲーションモード、都会ナビゲーションモード、田舎ナビゲーションモード等がある。一部の例では、2つ以上のナビゲーションが、例えば精通ナビゲーションモードと屋外ナビゲーションモード等が同時に関与してもよい。
頭部装着型コンピューティングデバイス10は、物理環境32から物理環境データを受け取る様々なセンサ及び関連するシステムを含むことができる。次に図2も参照すると、1対のウェアラブル眼鏡の形の頭部装着型コンピューティングデバイス200の一例が提供されている。一部の例では、頭部装着型コンピューティングデバイス200は、見る者の1つ以上の目の正面で支持される透明、半透明又は不透明のディスプレイ204を備え得る。他の例では、頭部装着型コンピューティングデバイス200は、様々な他の形式を取ってもよく、そのような形式はユーザの目の正面で支持されるディスプレイを備えることも、備えないこともある。
例えば一部の実施形態では、頭部装着型コンピューティングデバイス10は、ディスプレイを含まない1対の眼鏡フレームを備え得る。したがって、様々なフォームファクタを有する多くの他のタイプ及び構成の頭部装着型コンピューティングデバイス10が使用されてもよく、本開示の範囲内にある。また、図1に示される頭部装着型コンピューティングデバイス10は、以下でより詳細に説明されるように、図2に示される頭部装着型コンピューティングデバイス200の形をとってもよく、任意の他の適切な頭部装着型コンピューティングデバイスの形をとってもよい。
図1及び図2を参照すると、この例では、頭部装着型コンピューティングデバイス10は、深度画像データ38を生成する1つ以上の深度カメラ208を含む、深度センサシステム34を含む。深度センサシステム34は、例えばジェスチャベースの入力や、ユーザ14によって又はユーザの視野内の人間若しくは物理的物体によって実行される他の動きのような、その視野内の動きも検出することができる。一例では、各深度カメラ208は、立体ビジョンシステムの左右のカメラを含んでもよい。これらの深度カメラの1つ以上からの時間分解画像を、互いに対して、かつ/又は可視スペクトルカメラ等の別の光センサからの画像に対して登録することができ、これらの時間分解画像を組み合わせて深度分解ビデオを得ることができる。
他の例では、構造化された光深度カメラが、構造化された赤外線照明を投影し、その照明が投影されるシーンから反射された照明を画像化するように構成され得る。シーンの深度マップを、撮像されるシーンの様々な領域内の近接する特徴の間の間隔に基づいて構造化することができる。更に他の例では、深度カメラは、パルス化された赤外線照明をシーン上に投影して、そのシーンから反射された照明を検出するよう構成される飛行時間深度カメラの形をとってもよい。本開示の範囲内で任意の他の適切な深度カメラを使用することができることが認識されよう。
頭部装着型コンピューティングデバイス10は、RGBカメラ又は他の光センサのような、少なくとも1つの外側向きのセンサ212を用いる可視光センサシステム42も含み得る。可視光センサシステム42は可視画像データ46を生成することができ、この可視画像データ46はナビゲーションモジュール16に提供され得る。外側向きのセンサ212は、物理環境32からの2次元の画像情報及び環境32内の特徴50をキャプチャすることができる。以下でより詳細に説明されるように、特徴50は、環境32内の物理的な物体52及び危険要因(hazard)54を含み得る。一部の例では、物理的な物体52が危険要因54を備えることもある。外側向きのセンサ212は、ユーザが置かれている物理環境32の画像をキャプチャすることができる。
頭部装着型コンピューティングデバイス10は、深度画像データ38及び可視画像データ46を使用して、ユーザ14を囲む物理環境32の少なくとも一部をモデル化する3次元メッシュ58を生成する、3Dモデリングプログラム56も含み得る。一部の例では、3Dモデリングプログラム56は、ポリゴンモデリング技術を用いてもよく、ポリゴンモデリング技術では、3D空間内の頂点を線分によって接続して、テクスチャのある3Dポリゴンメッシュを形成する。これらには限られないが、カーブモデリングやデジタル彫刻技術のような3Dモデリングのための他の技術を使用してもよいことも認識されよう。
頭部装着型コンピューティングデバイス10は、ナビゲーションモジュール16からの電子信号を別の形のエネルギに変換する1つ以上のアクチュエータを備える、トランスデューサシステム60も含み得る。以下でより詳細に説明されるように、ナビゲーションモジュール16は、トランスデューサシステム60を用いて、環境32のナビゲーションキュー62をユーザ14へ出力することができる。図2を再び参照すると、一部の例では、トランスデューサ60は、オーディオ・ナビゲーションキュー64を生成するための1つ以上のスピーカ216を含むことができる。他の例では、1つ以上のスピーカ216は、ユーザ14によって装着されるヘッドフォン又は耳の中のイヤホンの形をとることができる。
一部の例では、ナビゲーションモジュール16及び/又はトランスデューサシステム60は、オーディオ・ナビゲーションキューが物理環境32の3D空間内の特定の位置で発生したようにユーザが認識することを可能にするよう、オーディオ・ナビゲーションキュー64を処理する。例えば1つ以上のクロストーク除去技術を用いて、第1のオーディオ信号(例えば左チャネル)が第1の耳(例えば左耳)へ伝達され、第2のオーディオ信号(例えば右チャネル)が第2の耳(例えば右耳)へ伝達され、一方、第2の耳への第1のオーディオ信号の伝達及び第1の耳への第2のオーディオ信号の伝達を実質的に減衰させるように構成し得る。
他の例では、3次元オーディオのプロビジョンは、音が3D音響空間内の特定の位置から発生しているという錯覚を生じるよう、頭部伝達関数「HRTF」(head-related transfer function)及び/又は頭部インパルス応答「HRIR」(head-related impulse response)に基づくことができる。HRTFは、音が鼓膜及び内耳に到達する前に、所与の音波入力が頭部及び耳介(pinna)の解析及び反射特性によってどのようにフィルタされるかを示す。言い換えると、HRTFは、自由大気内の音と、鼓膜に到達するときのその音との間の差に基づいて定義され得る。
他の例では、トランスデューサシステム60は、ユーザ14に対して振動のような触覚ナビゲーションキューを生成するための1つ以上の触覚トランスデューサ220を含んでもよい。
頭部装着型コンピューティングデバイス10は、物理環境32からのオーディオ入力を受け取るためのマイクロフォンシステム66及び1つ以上のマイクロフォン224も含み得る。一部の例では、頭部装着型コンピューティングデバイス200上の様々な位置に配置される複数のマイクロフォン224を含むマイクロフォンアレイを備えてもよい。マイクロフォン224は、物理環境32からの音声及び他のオーディオ入力を受け取るように構成される全方向性マイクロフォン及び/又は一方向性マイクロフォンを備えることができる。
一部の例では、マイクロフォンシステム66及び/又はナビゲーションモジュール16は、1つ以上の音源定位技術(acoustic source localization technique)を用いて、ユーザ14の後ろに配置されるソースを含め、物理環境32の3D空間内で音源を見つけることができる。例えばマイクロフォンシステム66及び/又はナビゲーションモジュール16は、1つ以上のビーム形成技術をマイクロフォンアレイからのオーディオ入力の少なくとも一部に適用することができる。例えば単一の方向適応的な音響信号(directionally-adaptive sound signal)が、任意の適切な方法で決定され得る。方向適応的な音響信号は、時間不変(time-invariant)ビーム形成技術、適応的ビーム形成技術又は時間不変と適応的ビーム形成技術の組合せに基づいて決定され得る。結果として得られる組合せの信号は、音源の方向で操作され得る狭い指向性パターンを有することがある。任意の適切な音源定位技術を使用して、音源の位置を特定することができることも認識されよう。
上記のように、一部の例では、頭部装着型コンピューティングデバイス200は、視覚ナビゲーションキューをユーザ14の目へ伝達することを可能にするよう、ディスプレイシステム70及びディスプレイ204を含み得る。一例では、ディスプレイ204は透明なディスプレイを備えてよく、透明なディスプレイは、該透明なディスプレイを通して環境32を見るユーザに対して、物理環境32の見え方(外観)(appearance)を視覚的に増補するように構成される。例えば物理環境32の見え方は、透明なディスプレイを介して提示されて混合型リアリティ環境を生成するグラフィカルコンテンツ(例えば各々がそれぞれの色と輝度を有する1つ以上のピクセル)によって増補され得る。
この例では、透明なディスプレイ204は、ユーザが、仮想物体表現を表示している1つ以上の部分的に透明なピクセルを通して、物理環境32内の物理的な実世界の物体52を見ることを可能にするようにも構成され得る。一例において、透明なディスプレイ204は、(例えばシースルーの有機発光ダイオード(OLED)ディスプレイ等のような)レンズ210内に配置される画像生成素子を含むことができる。別の例として、透明なディスプレイは、レンズ210のエッジ上に光モジュレータを含んでもよい。この例では、レンズ210は、光モジュレータからユーザの目に光を伝達するための光ガイドとして機能することができる。そのような光ガイドは、ユーザが物理環境32内の物理的な物体52を見ることを可能にしつつも、ユーザが見ている物理環境32内に配置される2D画像又は3Dホログラフィック画像をユーザが知覚することを可能にすることができる。
再び図1の頭部装着型コンピューティングデバイス10を参照すると、図9に関連して以下でより詳細に検討されるように、プロセッサ22が論理サブシステムを備え、メモリ20がストレージサブシステムを備えてもよく、これらは上述の様々なセンサ及び対応するシステムと通信することが認識されよう。一例では、ストレージサブシステムは、センサから信号を受け取り、その信号を(未処理又は処理済みの形で)ナビゲーションモジュール16へ転送するよう、論理サブシステムによって実行可能な命令を含み得る。
加えて、図1に図示される例は、頭部装着型コンピューティングデバイス10に一体化される大容量ストレージ18、メモリ20及びプロセッサ22を示している。他の例では、大容量ストレージ18、メモリ20及びプロセッサ22は、頭部装着型コンピューティングデバイス10が通信可能に結合される1つ以上の他のコンピューティングデバイスに配置されてもよいことが認識されよう。例えば頭部装着型コンピューティングデバイス10は、有線接続を使用して別のコンピューティングデバイスに動作可能に接続されてよく、あるいはWiFi、Bluetooth(登録商標)又は任意の他の適切な通信プロトコルを用いてもよい。頭部装着型コンピューティングデバイス10及び他のコンピューティングデバイスのコンポーネント及び演算態様に関する更なる詳細は、以下で図9に関連して更に詳細に説明される。
頭部装着型コンピューティングデバイス10及び関連するセンサ、並びに上述及び図1及び図2に図示される他のコンポーネントは例示として提供されていることが認識されよう。任意の他の適切なセンサ、コンポーネント及び/又はセンサとコンポーネントの組合せを使用してもよいので、これらの例は、いかなる方法でも限定するものとして意図されない。したがって、頭部装着型コンピューティングデバイス10は、本開示の範囲から逸脱することなく、追加及び/又は代替的なセンサ、カメラ、マイクロフォン、入力デバイス、出力デバイス等を含むことができる。さらに、頭部装着型コンピューティングデバイス10の物理的構成及びその様々なセンサとサブコンポーネントは、本開示の範囲から逸脱することなく、様々な異なる形式を取ることができる。
次に図3〜図7を参照して、例示の使用ケースの説明及び頭部装着型コンピューティングデバイス10の実施形態を提供することにする。図3では、図2の頭部装着型コンピューティングデバイス200を装着しているユーザ14が、家300の中を歩いている。ユーザ14は、視覚障害を持っており、ナビゲーション支援のために頭部装着型コンピューティングデバイス200を使用することができる。一例では、ユーザ14は、家300の中の部屋から部屋へと歩き、部屋ごとに、その部屋を識別する部屋識別子のユーザ入力30を提供することによって、頭部装着型コンピューティングデバイス200を開始することができる。
例えばユーザ14がキッチン304の周囲を歩く間に、ユーザは「ここはキッチンです」と言うことができる。ナビゲーションモジュール16は、このユーザ入力30を受け取り、音声認識プログラムを使用してこのユーザ入力を処理し、キッチン304に「キッチン」識別子でタグを付けることができる。ナビゲーションモジュール16は、キッチン304の可視画像データ46及び深度画像データ38を使用して、キッチン及びその様々な特徴50の3Dメッシュ、例えば器具や家具、壁、輪郭、表面等の3Dメッシュを生成することができる。ナビゲーションモジュール16は、「キッチン」識別子でタグ付けされたキッチン304を含む、家300の対応するマップ80を生成することもできる。同様の手法で、ナビゲーションモジュール16は、居間308の可視画像データ46及び深度画像データ38を使用して、この部屋及びその様々な特徴50の3Dメッシュを生成することができる。ナビゲーションモジュールは、ユーザ14からのユーザ入力30に基づいて、居間を「居間」識別子でタグ付けして、「居間」識別子でタグ付けされた居間308を、家300のマップ80に追加することができる。ユーザが部屋から部屋へ、家300の周囲を歩くと、ナビゲーションモジュール16は、家をナビゲートするときにユーザが取る通常の経路を認識し、記憶することもできる。
その後、ユーザ14がこれらの部屋の1つに入ると、ナビゲーションモジュール16は、マップ80を介してその部屋を識別し、対応する部屋識別子でタグ付けされるものとして、その部屋を検出する。したがって、対応する部屋識別子でタグ付けされる部屋を検出することに少なくとも基づいて、ナビゲーションモジュール16は、精通ナビゲーションモード26に関与(engage)することができる。他の例では、物理環境32の部屋又は他の部分は、識別子に関連付けられないが、ユーザ14によって以前に訪問されていることがある。これらの例では、ナビゲーションモジュール16は、例えばマシン学習技術を用いることによって、ユーザの1以上の以前の訪問から環境32の部屋又は他の部分を認識することができる。ユーザが、環境32の部屋又は他の部分を、少なくとも所定の回数、例えば1、3、5又は任意の他の適切な回数訪問していた場合、ナビゲーションモジュール16は、精通ナビゲーションモード26に関与することができる。更に他の例では、ユーザ14は、ユーザ入力30を、精通ナビゲーションモード26に関与するナビゲーションモジュール16に提供することができる。
図3の参照を続けると、以下でより詳細に説明されるように、精通ナビゲーションモード26の間、ナビゲーションモジュール16は、ナビゲーションモジュール16が非精通ナビゲーションモード28で動作しているときに提供されるナビゲーションキューとは異なるナビゲーションキュー62を、ユーザ14に提供することができる。一例では、ユーザ14は、通常の位置314に配置されるオットマン312の一般的方向に歩いていることがある。精通ナビゲーションモード26では、ナビゲーションモジュール16は、居間308への以前の訪問からオットマン312の通常の位置314をユーザが覚えているという想定の下で、オットマン312に対応するナビゲーションキュー62は提供しなくてよい。別の例では、ナビゲーションモジュール16は、スピーカ216を介してソフト音声で「オットマン」と発声することのように、オットマン312についての軽度なリマインダを備えるオーディオ・ナビゲーションキュー64を出力することができる。
別の例では、ユーザ14は、家300に初めて訪れる来客である可能性がある。したがって、ナビゲーションモジュール16は、非精通ナビゲーションモード28に関与し得る。このモードでは、ユーザ14がオットマン312の一般的方向に歩くと、ナビゲーションモジュール16は、ユーザにオットマンの位置を警告するオーディオ・ナビゲーションキュー64を、ユーザに提供することができる。例えばナビゲーションモジュール16は、1つ以上の音源定位を使用して、精通イアコン(familiar earcon)320として図示される簡単かつ特徴的な音(又はイアコン(earcon))を出力することができる。そのような音源定位は、ユーザ14に、そのイアコンが、オットマン312に対応する通常の3D位置314で発生しているように知覚させる。別の例では、ナビゲーションモジュール16は、音源定位を使用して、ユーザに対して、通常の位置314から「オットマン」という単語を発声してもよい。
別の例では、精通ナビゲーションモード26の間、ナビゲーションモジュール16は、オットマン312が、その通常の位置314とは異なる、普段と違う位置316にあることを認識することがある。さらに、ユーザの移動の方向にも基づいて、ナビゲーションモジュール16は、普段と違う位置316において、オットマン312がユーザ14の直接経路内にあると判断することがある。ナビゲーションモジュール16は、この状況において、オットマン312によって、ユーザ14がつまずく危険があると判断することがある。
したがって、ナビゲーションモジュール16は、オットマン312を危険要因54に分類し、音源定位を利用して、オットマン312の普段と違う位置316についてユーザに警告するオーディオ・ナビゲーションキュー64を、警告イアコン322の形で出力することができる。この例では、オットマン312は、ナビゲーションモジュール16によって物体52と危険要因54の双方に分類され得る。加えて、ユーザ14に切迫感を伝えるために、警告イアコン322を、精通イアコン320と比べてより高いボリュームで出力してもよく、これは、図3では、精通イアコン320よりも大きいサイズを有する警告イアコン322によって示されている。他の例では、警告イアコン322は、精通イアコン320と比べて、異なる特徴的な音(複数可)を備えてもよい。
一部の例では、ナビゲーションモジュール16は、ユーザ14に対する特徴の近さが縮まるにつれて増大するボリュームで、環境32内の特徴50についてのオーディオ・ナビゲーションキュー64を出力することができる。例えばここで図4を参照すると、ユーザ14は、初めてホテル400のロビー404にいることがある。したがって、ナビゲーションモジュール16は非精通ナビゲーションモード28で動作していることがある。ユーザ14は、彫刻414から第1の距離にある初期位置410におり、ロビー404の中央にある彫刻に向かって歩いていることがある。ユーザが初期位置410にいるとき、ナビゲーションモジュール16は、彫刻イアコン418を、彫刻に対応する3D位置420でその彫刻イアコンが発生しているようにユーザ14に知覚させる第1のボリュームで出力することができる。ユーザが彫刻に向かって歩き続けて、次の位置422に到達すると、ナビゲーションモジュール16は、より大きな彫刻イアコン418’によって示されるように、第1のボリュームよりも大きい第2のボリュームで彫刻イアコンを出力し、彫刻414により近いことをユーザに警告することができる。
一部の例では、非精通ナビゲーションモード28において、ナビゲーションモジュール16は、ユーザ14が置かれている物理環境32内の各特徴50に対応するオーディオ・ナビゲーションキュー64を出力することができる。例えば図4では、ナビゲーションモジュール16は、ユーザ14の視野内の各特徴に対応するオーディオ・ナビゲーションキュー64を出力することができる。ユーザ14が初期位置410にいるとき、ナビゲーションモジュール16は、彫刻414、机430、カウチ434、人438及び壁442に対応するオーディオ・ナビゲーションキュー64を出力することができる。
別の例では、ナビゲーションモジュール16は、深度画像データ38及び可視画像データ46のうちの1つ以上を使用して、カウチ434上に座っている人438の顔を認識することができる。ナビゲーションモジュールは、次いで、例えばリモートサーバ内に格納される顔認識データベースを使用して、その人の顔を人の識別情報と関連付けることができる。ナビゲーションモジュールは、人438の識別情報をユーザ14に知らせることができる。有利には、ユーザ14は、これによりユーザの近くにいる人を予想することができる。
さらに、一部の例では、識別情報イアコンを人438の識別情報に割り当てることができ、この場合、識別情報イアコンは、ユーザ入力30を介してナビゲーションモジュール16に提供されるか、ナビゲーションモジュールによりプログラムによって生成される。これらの例では、ナビゲーションモジュール16が顔を人438の識別情報に関連付けると、ナビゲーションモジュール16は、識別情報イアコンをユーザに出力して、人の識別情報をユーザに通知することができる。
次に図5を参照すると、別の例において、オーディオ・ナビゲーションキュー64は、物理環境32におけるスロープを識別するようにカスタマイズされ得る。一例では、ユーザ14が、傾斜したスロープ(inclined slope)502に近づいていることがある。ナビゲーションモジュール16は、傾斜したスロープ502を認識し、これに対応して、傾斜したスロープを示す複数の上昇ピッチ音(ascending pitched sound)506を備えるオーディオ・ナビゲーションキュー64をユーザ14に出力することができる。
別の例では、図6を参照すると、ユーザ14が下向きのスロープ(declined slope)602に近づいていることがある。ナビゲーションモジュール16は、下向きのスロープ602を認識し、これに対応して、下向きのスロープを示す複数の下降ピッチ音(descending pitched sound)606を備えるオーディオ・ナビゲーションキュー64をユーザ14に出力することができる。
図5を再び参照すると、一部の例では、ナビゲーションモジュール16は、傾斜したスロープ502を、一連の階段のような、1つ以上の階段510として認識することができる。応答として、ナビゲーションモジュール16は、これに対応して、個々の8分音符514によって示されるように、複数の個別の上昇ピッチ音506を備えるオーディオ・ナビゲーションキュー64をユーザ14に出力することができる。このようにして、ナビゲーションモジュール16は、上りの階段が前方にあることをユーザ14に伝えることができる。同様にして、ナビゲーションモジュール16が、下向きのスロープを1つ以上の階段として認識する場合、ナビゲーションモジュール16は、これに対応して、複数の個別の下降ピッチ音を備えるオーディオ・ナビゲーションキュー64をユーザ14に出力することができる。このようにして、ナビゲーションモジュール16は、下りの階段が前方にあることをユーザ14に伝えることができる。
一部の例では、ナビゲーションモジュールは、傾斜又は下向きのスロープの階段の数を識別し、階段の数に対応する個別ピッチ音の数により、その階段の数をユーザ14に伝えることができる。例えば図5に示されるように、ナビゲーションモジュール16は、傾斜したスロープ502内の3つの階段510を認識することがある。したがって、ナビゲーションモジュール16は、ユーザ14に、3つの8分音符514の形で3つの個別ピッチ音を出力することができる。有利には、このようにして、3つの上り階段が前方にあることをユーザに通知することができるので便利である。
再び図6を参照すると、一部の例では、ナビゲーションモジュール16は、下方に向かってスロープ形成される歩道や道、廊下等のように、下向きの勾配の形で連続的なスロープを備えるものとして、下向きのスロープ602を認識することがある。この連続的なスロープは、図6に示されるように実質的に平面的であってよく、あるいは起伏しているか幾らか曲がっていることもあり得る。応答として、ナビゲーションモジュール16は、これに対応して、図6では4つの8分音符をつなぐスラー610によって示されるような、複数の連続的な下降ピッチ音606を備えるオーディオ・ナビゲーションキュー64を、ユーザ14に出力することができる。
一部の例では、スロープを特定するようユーザ14に出力されるオーディオ・ナビゲーションキュー64は、非精通ナビゲーションモード28と比べて、精通ナビゲーションモード26では異なるものとすることができる。例えば再び図5を参照すると、階段510を示す個別の上昇ピッチ音506は、ナビゲーションモジュール16が(例えばユーザ14が家にいるときのように)精通ナビゲーションモード26で動作しているとき、第1の、より低いボリュームで出力され得る。しかしながら、ナビゲーションモジュール16が、(例えばユーザが初めて建物にいるときのように)非精通ナビゲーションモード28で動作しているとき、階段510を示す個別の上昇ピッチ音506は、第2の、より高いボリュームで出力され、階段についてユーザにより大きな注意を提示することができる。
一部の例では、上記のように、ナビゲーションモジュール16は、1つ以上の触覚トランスデューサ220を介して、触覚ナビゲーションキューをユーザ14に出力するように構成され得る。例えば再び図4を参照すると、ユーザ14によって装着される頭部装着型コンピューティングデバイス200は、デバイスの右テンプルアーム240上に触覚トランスデューサ220を含むことができ、この場合、触覚トランスデューサは、ユーザ14が感じる振動を生成するように構成される。ユーザ14が初期位置410にいるとき、ユーザのすぐ右の机430についてユーザに警告するために、ナビゲーションモジュール16は、頭部装着型コンピューティングデバイス200の右テンプルアーム240上の触覚トランスデューサ220を、物体がユーザ14の近くに右にあることを示す所定のパターンで振動させることができる。
次に図7を参照すると、一部の例では、ナビゲーションモジュール16は、頭部装着型コンピューティングデバイス10のディスプレイシステム70を介して視覚ナビゲーションキューをユーザ14に表示するように構成されてもよい。一例では、ユーザ14は、遠くの物体を見るユーザの能力を限定する、強度の近視を備える視覚障害を持っていることがある。ユーザ14は、図7に示される頭部装着型コンピューティングデバイス200の透明なディスプレイ204を通した道路のビューとともに、街の道路を歩いていくことができる。バン704がユーザ14に向かって運転されている。
ナビゲーションモジュール16は、バン704がユーザ714に向かって動いてくると、深度画像データ38を使用して、バン704の3次元の位置を決定し、バンがユーザ14に衝突する可能性がある経路上にあることを決定することができる。したがって、ナビゲーションモジュール16は、複数の点滅する警告アイコン708を透明なディスプレイ204上に表示して、近づいている危険要因についてユーザに警告することができる。一部の例では、ナビゲーションモジュール16は、近づいている危険要因についてユーザに警告するオーディオ・ナビゲーションキュー64を出力することもできる。例えばオーディオ・ナビゲーションキュー64は、例えば「警告!車が急接近中!右に移動してください!」といった、1つ以上の発声される警告及び関連する命令712を備えることができる。
上記のように、一部の例では、頭部装着型コンピューティングデバイス10は、ディスプレイシステム70を含み得る。頭部装着型コンピューティングデバイス10がディスプレイシステム70を含む場合、一部の例では、頭部装着型コンピューティングデバイス10は、ディスプレイシステム70を介してユーザに画像や他の視覚コンテンツを表示せずに、上述のようにオーディオ・ナビゲーションキュー64を出力してもよい。
図8A及び図8Bは、本開示の実施形態に係る、オーディオ出力を介して環境内のユーザにナビゲーション支援を提供するための方法800のフローチャートを図示している。方法800の以下の説明は、上述され、図1〜図7に示される頭部装着型コンピューティングデバイス10のソフトウェア及びハードウェアコンポーネントとの関連で提供される。方法800は、他の適切なハードウェア及びソフトウェアコンポーネントを使用する他のコンテキストで実行されてもよいことが認識されよう。
図8Aを参照すると、804において、方法800は、環境から深度画像データを受け取ることを含み得る。808において、方法800は、環境から可視画像データを受け取ることを含み得る。812において、方法800は、深度画像データ及び可視画像データを使用して、環境の少なくとも一部の3次元メッシュを生成することを含み得る。816において、方法800は、3次元メッシュを使用して、環境内の少なくとも1つの特徴を検出することを含み得る。820において、方法800は、頭部装着型コンピューティングデバイスが精通ナビゲーションモードで動作しており、かつ特徴を検出したことに基づいて、1つ以上のトランスデューサを介して、環境の第1のオーディオ・ナビゲーションキューをユーザに出力することを含み得る。
824において、方法800は、頭部装着型コンピューティングデバイスが、非精通ナビゲーションモードで動作しており、かつ特徴を検出したことに基づいて、1つ以上のトランスデューサを介して、環境の第2のオーディオ・ナビゲーションキューをユーザに出力することを含み得る。第2のオーディオ・ナビゲーションキューは第1のオーディオ・ナビゲーションキューとは異なる。828において、方法800は、そのキューが特徴の3次元の位置で発生したようにユーザに知覚させるような方法で、第1のオーディオ・ナビゲーションキュー及び第2のオーディオ・ナビゲーションキューのうちの1つ以上をユーザに出力することを含み得る。832において、特徴はスロープを備え、第1のオーディオ・ナビゲーションキュー及び第2のオーディオ・ナビゲーションキューは、傾斜したスロープを示す複数の上昇ピッチ音又は下向きのスロープを示す複数の下降ピッチ音を備える。
836において、第1のオーディオ・ナビゲーションキュー及び第2のオーディオ・ナビゲーションキューは、連続的なスロープを示す複数の連続ピッチ音又は複数の階段を示す複数の個別ピッチ音を備え得る。次に図8Bを参照すると、840において、方法800は、第1のオーディオ・ナビゲーションキュー及び第2のオーディオ・ナビゲーションキューを、検出された物体のユーザに対する近さが縮まると増大するボリュームでユーザに出力することを含み得る。844において、方法800は、深度画像データ及び可視画像データのうちの1つ以上を使用して、環境内の顔を認識することを含み得る。848において、方法800は、顔を人の識別情報に関連付けることを含み得る。852において、方法800は、人の識別情報をユーザに通知することを含み得る。
856において、方法800は、識別情報イアコンを、人の識別情報に割り当てることを含み得る。860において、方法800は、1つ以上のトランスデューサを介して、識別情報イアコンをユーザに出力することを含み得る。864において、方法800は、1つ以上のトランスデューサを介して、触覚ナビゲーションキューをユーザに出力することを含み得る。868において、方法800は、特徴を検出したことに基づいて、頭部装着型コンピューティングデバイスのディスプレイシステムを介して、視覚ナビゲーションキューをユーザに表示することを含み、ここで、視覚ナビゲーションキューは、環境内の特徴の3次元の位置に基づく。
方法800は、例として提供されており、限定であるように意図されていないことが認識されよう。したがって、方法800は、図8A及び図8Bに例示されるものに対して追加及び/又は代替的なステップを含んでもよいことが理解されよう。さらに、方法800は、任意の適切な順番で実行されてもよいことが認識されよう。またさらに、本発明の範囲から逸脱することなく、方法800から1つ以上のステップが省略されてもよいことが認識されよう。
図9は、上述の方法及び処理のうちの1つ以上を実行することができるコンピューティングシステム900の非限定的な実施形態を概略的に示す図である。頭部装着型コンピューティングデバイス10は、コンピューティングシステム900の1つ以上の態様の形をとるか、その1つ以上の態様を含むことがある。コンピューティングシステム900は、簡略化された形で示されている。本開示の範囲から逸脱することなく、実質的に任意のコンピュータアーキテクチャを使用してもよいことが理解されよう。異なる実施形態において、コンピューティングシステム900は、メインフレームコンピュータ、サーバコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ホームエンターテイメントコンピュータ、ネットワークコンピューティングデバイス、モバイルコンピューティングデバイス、モバイル通信デバイス、ゲームデバイス等の形をとり得る。
図9に示されるように、コンピューティングシステム900は、論理サブシステム904、ストレージサブシステム908及びセンササブシステム912を含む。コンピューティングシステム900は、任意選択で、ディスプレイサブシステム916、通信サブシステム920、入力サブシステム922及び/又は図9に図示されていない他のサブシステム及びコンポーネントを含んでもよい。コンピューティングシステム900はコンピュータ読取可能媒体を含んでもよく、コンピュータ読取可能媒体は、コンピュータ読取可能記録媒体とコンピュータ読取可能通信媒体を含む。コンピューティングシステム900は任意選択で、例えばキーボード、マウス、ゲームコントローラ及び/又はタッチスクリーン等の他の入力デバイスも含み得る。さらに、一部の実施形態では、本明細書で説明される方法及び処理は、コンピュータアプリケーション、コンピュータサービス、コンピュータAPI、コンピュータライブラリ及び/又は1つ以上のコンピュータを含むコンピューティングシステム内の他のコンピュータプログラム製品として実装されてもよい。
論理サブシステム904は、1つ以上の命令を実行するよう構成される1つ以上の物理的デバイスを含み得る。例えば論理サブシステム904は、1つ以上のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造又は他の論理構造体の一部である、1つ以上の命令を実行するように構成され得る。そのような命令は、タスクを実行し、データタイプを実装し、1つ以上のデバイスの状態を変換し、あるいは他の方法で所望の結果に到達するように実装され得る。
論理サブシステム904は、ソフトウェア命令を実行するように構成される1つ以上のプロセッサを含み得る。あるいはまた、論理サブシステムは、ハードウェア又はファームウェア命令を実行するように構成される、1つ又は複数のハードウェア又はファームウェア論理マシンを含んでもよい。論理サブシステムのプロセッサは、シングルコアであってもマルチコアであってもよく、このプロセッサ上で実行されるプログラムは、並列処理又は分散処理用に構成され得る。論理サブシステムは任意選択で、リモートに配置されるか及び/又は協調処理のために構成され得る、2つ又はそれ以上のデバイスの全体を通して分散される個々のコンポーネントを含んでもよい。論理サブシステムの1つ以上の態様は、クラウドコンピューティングの構成で構成される、リモートからアクセス可能なネットワーク化されたコンピューティングデバイスによって仮想化され、実行され得る。
ストレージサブシステム908は、本明細書において説明される方法及び処理を実装するように論理サブシステム904によって実行可能なデータ及び/又は命令を保持するように構成される、1つ以上の物理的な持続的デバイスを含み得る。そのような方法及び処理を実装するとき、ストレージサブシステム908の状態は、(例えば異なるデータを保持するように)変換され得る。
ストレージサブシステム908は、取外し可能媒体及び/又は組込みデバイスを含んでよい。ストレージサブシステム908は、他の中でも特に、光メモリデバイス(例えばCD、DVD、HD−DVD、Blu−Ray(登録商標)ディスク等)、半導体メモリデバイス(例えばRAM、EPROM、EEPROM等)及び/又は磁気メモリデバイス(例えばハードディスクドライブ、フロッピーディスクドライブ、テープドライブ、MRAM等)を含み得る。ストレージサブシステム908は、次の特性のうちの1つ以上、すなわち:揮発性、不揮発性、動的、静的、読取/書込、読取専用、ランダムアクセス、順次アクセス、位置アドレス可能、ファイルアドレス可能及びコンテンツアドレス可能、という特性のうちの1つ以上を有するデバイスを含み得る。
一部の実施形態において、論理サブシステム904及びストレージサブシステム908の態様は、1つ以上の共通のデバイスに統合されてもよく、この共通のデバイスを通して、少なくとも部分的に本明細書で説明される機能を定めることができる。そのようなハードウェア論理コンポーネントには、例えばフィールドプログラマブルゲートアレイ(FPGA)、特定プログラム及び特定用途向け集積回路(PASIC/ASIC)、特定プログラム及び特定用途向け規格品(PSSP/ASSP)、システムオンチップ(SOC)システム及び結合プログラム可能論理回路(CPLD)が含まれ得る。
図9は、取外し可能コンピュータ読取可能記録媒体924の形のストレージサブシステム908の態様も示しており、取外し可能コンピュータ読取可能記録媒体924は、本明細書で説明される方法及び処理を実装するように実行可能なデータ及び/又は命令を格納するように使用され得る。取外し可能コンピュータ読取可能記録媒体924は、他の中でも特にCD、DVD、HD−DVD、Blu−Ray(登録商標)ディスク、EEPROM及び/又はフロッピーディスクの形をとることができる。
ストレージサブシステム908は、1つ以上の物理的な持続的デバイスを含むことが認識されよう。対照的に、一部の実施形態では、本明細書で説明される命令の態様は、少なくとも有限の期間の間物理デバイスによって保持されない、純粋な信号(例えば電磁信号、光信号等)により一時的な方法で伝搬され得る。さらに、本開示に関するデータ及び/又は他の形式の情報は、コンピュータ読取可能通信媒体を介して純粋な信号によって伝搬され得る。
センササブシステム912は、上述のような異なる物理的な現象(例えば可視光、赤外光、サウンド、加速度、向き、位置等)を感知するよう構成される1つ以上のセンサを含み得る。センササブシステム902は、例えば論理サブシステム904にセンサデータを提供するように構成され得る。上述のように、そのようなデータは、画像情報、環境光情報、深度情報、オーディオ情報、位置情報、動き情報、ユーザ位置情報及び/又は上述の方法及び処理を実行するのに使用され得る任意の他の適切なセンサデータを含み得る。
ディスプレイサブシステム916が含まれるとき、ディスプレイサブシステム916は、ストレージサブシステム908によって保持されるデータの視覚的表現を提示するのに使用され得る。上述の方法及び処理は、ストレージサブシステム908によって保持されるデータを変更し、ストレージサブシステムの状態を変換するので、ディスプレイサブシステム916の状態も同様に、基礎となるデータの変化を視覚的に表すように変換され得る。ディスプレイサブシステム916は、実質的に任意のタイプの技術を用いる1つ以上のディスプレイデバイスを含み得る。そのようなディスプレイデバイスは、共有される筐体内において論理サブシステム904及び/又はストレージサブシステム908と結合されてよく、あるいはそのようなディスプレイデバイスは周辺ディスプレイデバイスであってよい。ディスプレイサブシステム916は、例えば頭部装着型コンピューティングデバイス10のオプションのディスプレイシステム70及びディスプレイプログラム72を含み得る。
通信サブシステム920が含まれるとき、通信サブシステム920は、コンピューティングシステム900を、1つ以上のネットワーク及び/又は1つ以上の他のコンピューティングデバイスと通信可能に結合するように構成され得る。通信サブシステム920は、1つ以上の異なる通信プロトコルと互換性のある有線及び/又は無線通信デバイスを含み得る。非限定的な例として、通信サブシステム920は、無線電話ネットワーク、無線ローカルエリアネットワーク、有線ローカルエリアネットワーク、無線ワイドエリアネットワーク、有線ワイドエリアネットワーク等経由の通信のために構成され得る。一部の実施形態において、通信サブシステムは、コンピューティングシステム900が、インターネットのようなネットワークを介して、他のデバイスへ及び/又は他のデバイスからのメッセージを送信及び/又は受信するのを可能にする。
入力サブシステム922が含まれるとき、入力サブシステム922は、ゲームコントローラ、ジェスチャ入力検出デバイス、音声認識装置、慣性測定ユニット、キーボード、マウス又はタッチスクリーン等のような1つ以上のセンサ又はユーザ入力デバイスを備えるか、あるいはこれとインタフェースすることができる。一部の実施形態において、入力サブシステム922は、選択されたナチュラルユーザインプット(NUI)の構成部品を備えるか、これとインタフェースすることができる。そのような構成部品は、統合されるか周辺機器であってよく、入力動作の変換及び/又は処理は、オンボード又はオフボードで処理され得る。例示のNUI構成部品には、音声及び/又は言語認識のためのマイクロフォン;マシンのビジョン及び/又はジェスチャ認識のための赤外線、色、立体及び/又は深度カメラ;動き検出及び/又は意図認識のためのヘッドトラッカ、アイトラッカ、加速度計及び/又はジャイロスコープ;並びに脳の活動を評価するための電界感知構成部品が含まれ得る。
「モジュール」及び「プログラム」という用語は、1つ以上の特定の機能を実行するよう実装される頭部装着型コンピューティングデバイス10の態様を説明するのに使用され得る。一部の場合において、そのようなモジュール又はプログラムは、ストレージサブシステム908によって保持される命令を実行する論理サブシステム904によりインスタンス化され得る。異なるモジュール及びプログラムが、同じアプリケーション、サービス、コードブロック、オブジェクト、ライブラリ、ルーチン、API、関数等からインスタンス化されてもよいことが理解されよう。同様に、同じモジュール又はプログラムが、異なるアプリケーション、サービス、コードブロック、オブジェクト、ルーチン、API、関数等によってインスタンス化されてもよい。「モジュール」及び「プログラム」という用語は、実行可能ファイル、データファイル、ライブラリ、ドライバ、スクリプト、データベースレコード等の個々又はグループを包含し得る。
本明細書で説明される構成及び/又はアプローチは例示的性質であり、様々な変形が可能であるので、これらの具体的な実施形態又は実施例は、限定の意味で解釈されるべきでないことが理解されよう。本明細書において説明される具体的なルーチン又は方法は、任意の数の処理ストラテジの1つ又は複数を表してよい。したがって、例示される様々な動作を、例示される順序で実行してもよく、あるいは他の順序で並行に実行してもよく、一部の場合には省略してもよい。同様に、上述の処理の順序を変更してもよい。
本開示の主題は、様々な処理、システム及び構成についての全ての新規かつ容易でない組合せ及び副次的組合せ、本明細書で説明される他の特徴、機能、動作及び/又は特性並びにこれらの均等物のいずれか及び全てを含む。

Claims (10)

  1. オーディオ出力を介してユーザに環境内のナビゲーション支援を提供するための頭部装着型コンピューティングデバイスであって、当該頭部装着型コンピューティングデバイスは:
    前記環境から深度画像データを生成するための1つ以上の深度センサと;
    前記環境から可視画像データを生成するための1つ以上の可視光センサと;
    1つ以上のトランスデューサと;
    当該頭部装着型コンピューティングデバイスのプロセッサによって実行されるナビゲーションモジュールであって、該ナビゲーションモジュールは、ナビゲーション支援が前記ユーザの周囲への精通性を考慮するように適合される精通ナビゲーションモードと、ナビゲーション支援が前記ユーザの周囲への非精通性を考慮するように適合される非精通ナビゲーションモードを備え、該ナビゲーションモジュールは、前記ユーザが前記環境に以前に訪問したことがあるかどうか及び前記環境が該環境を識別する識別子でタグ付けされているかどうかに応じて、前記精通ナビゲーションモード又は前記非精通ナビゲーションモードで動作するように構成され、該ナビゲーションモジュールは、
    前記深度画像データ及び前記可視画像データを使用して、前記環境の少なくとも一部の3次元メッシュを生成し、
    前記3次元メッシュを使用して、前記環境内の少なくとも1つの特徴を検出し、
    前記精通ナビゲーションモードで動作しているとき、前記特徴を検出したことに基づいて、前記1つ以上のトランスデューサを介して前記環境の第1オーディオ・ナビゲーションキューをユーザに出力し、
    前記非精通ナビゲーションモードで動作しているとき、前記特徴を検出したことに基づいて、前記1つ以上のトランスデューサを介して前記環境の第2オーディオ・ナビゲーションキューを前記ユーザに出力し、前記第2オーディオ・ナビゲーションキューが前記第1オーディオ・ナビゲーションキューと異なる、
    ように構成される、頭部装着型コンピューティングデバイス。
  2. 前記ナビゲーションモジュールは、
    キューが前記特徴の3次元位置から発生しているように前記ユーザに知覚させる方法で、前記第1オーディオ・ナビゲーションキューと前記第2オーディオ・ナビゲーションキューのうちの1つ以上を前記ユーザに出力するように更に構成される、
    請求項1に記載の頭部装着型コンピューティングデバイス。
  3. 前記特徴はスロープを備え、前記第1オーディオ・ナビゲーションキュー及び前記第2オーディオ・ナビゲーションキューは、傾斜したスロープを示す複数の上昇ピッチ音又は下向きのスロープを示す複数の下降ピッチ音を備える、
    請求項1に記載の頭部装着型コンピューティングデバイス。
  4. 前記第1オーディオ・ナビゲーションキュー及び前記第2オーディオ・ナビゲーションキューは、連続的なスロープを示す複数の連続ピッチ音又は複数の階段を示す複数の個別ピッチ音を備える、
    請求項3に記載の頭部装着型コンピューティングデバイス。
  5. 前記ナビゲーションモジュールは、前記第1オーディオ・ナビゲーションキュー及び前記第2オーディオ・ナビゲーションキューを、前記ユーザに対する前記特徴の近さが縮まると増大するボリュームで前記ユーザに出力するように更に構成される、
    請求項1に記載の頭部装着型コンピューティングデバイス。
  6. 頭部装着型コンピューティングデバイスにおいて、オーディオ出力を介してユーザに環境内のナビゲーション支援を提供するための方法であって、当該方法は:
    前記環境から深度画像データを受け取るステップと;
    前記環境から可視画像データを受け取るステップと;
    前記深度画像データ及び前記可視画像データを使用して、前記環境の少なくとも一部の3次元メッシュを生成するステップと;
    前記3次元メッシュを使用して、前記環境内の少なくとも1つの特徴を検出するステップと;
    ナビゲーション支援が前記ユーザの周囲への精通性を考慮するように適合される精通ナビゲーションモードで前記頭部装着型コンピューティングデバイスが動作しているとき、前記特徴を検出したことに基づいて、1つ以上のトランスデューサを介して前記環境の第1のオーディオ・ナビゲーションキューをユーザに出力するステップと;
    ナビゲーション支援が前記ユーザの周囲への非精通性を考慮するように適合される非精通ナビゲーションモードで前記頭部装着型コンピューティングデバイスが動作しているとき、前記特徴を検出したことに基づいて、前記1つ以上のトランスデューサを介して前記環境の第2のオーディオ・ナビゲーションキューを前記ユーザに出力するステップと;
    を含み、前記頭部装着型コンピューティングデバイスは、前記ユーザが前記環境に以前に訪問したことがあるかどうか及び前記環境が前記環境を識別する識別子でタグ付けされているかどうかに応じて、前記精通ナビゲーションモード又は前記非精通ナビゲーションモードで動作するように構成され、前記第2のオーディオ・ナビゲーションキューが前記第1のオーディオ・ナビゲーションキューと異なる、
    方法。
  7. 前記深度画像データ及び前記可視画像データのうちの1つ以上を使用して、前記環境内の顔を認識するステップと;
    前記顔を人の識別情報と関連付けるステップと;
    前記人の前記識別情報を前記ユーザに通知するステップと;
    を更に備える、請求項6に記載の方法。
  8. 識別情報イアコンを前記人の前記識別情報に割り当てるステップと;
    前記1つ以上のトランスデューサを介して前記識別情報イアコンを前記ユーザに出力するステップと;
    を更に備える、請求項7に記載の方法。
  9. 前記1つ以上のトランスデューサを介して触覚ナビゲーションキューを前記ユーザに出力するステップ
    を更に備える、請求項6に記載の方法。
  10. 前記特徴を検出したことに応答して、前記頭部装着型コンピューティングデバイスのディスプレイシステムを介して視覚ナビゲーションキューを前記ユーザに表示するステップを更に備え、前記視覚ナビゲーションキューは、前記環境内の特徴の少なくとも3次元の位置に基づく、
    請求項6に記載の方法。
JP2016547926A 2014-01-24 2015-01-22 オーディオナビゲーション支援 Active JP6765306B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/163,943 US9140554B2 (en) 2014-01-24 2014-01-24 Audio navigation assistance
US14/163,943 2014-01-24
PCT/US2015/012329 WO2015112651A1 (en) 2014-01-24 2015-01-22 Audio navigation assistance

Publications (3)

Publication Number Publication Date
JP2017513535A JP2017513535A (ja) 2017-06-01
JP2017513535A5 JP2017513535A5 (ja) 2018-02-08
JP6765306B2 true JP6765306B2 (ja) 2020-10-07

Family

ID=52596589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016547926A Active JP6765306B2 (ja) 2014-01-24 2015-01-22 オーディオナビゲーション支援

Country Status (16)

Country Link
US (1) US9140554B2 (ja)
EP (1) EP3096730B1 (ja)
JP (1) JP6765306B2 (ja)
KR (1) KR102331048B1 (ja)
CN (1) CN105934227B (ja)
AU (1) AU2015209371B2 (ja)
BR (1) BR112016016255A8 (ja)
CA (1) CA2935236C (ja)
HK (1) HK1223540A1 (ja)
IL (1) IL246236B (ja)
MX (1) MX2016009462A (ja)
MY (1) MY182173A (ja)
PH (1) PH12016501219A1 (ja)
RU (1) RU2678361C1 (ja)
SG (1) SG11201605844UA (ja)
WO (1) WO2015112651A1 (ja)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012224107A1 (de) * 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Verfahren zum Bestimmen einer Referenzposition als Startposition für ein Trägheitsnavigationssystem
US10360907B2 (en) 2014-01-14 2019-07-23 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10248856B2 (en) 2014-01-14 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9578307B2 (en) 2014-01-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9915545B2 (en) * 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10024679B2 (en) * 2014-01-14 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9629774B2 (en) 2014-01-14 2017-04-25 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US20150330787A1 (en) * 2014-05-19 2015-11-19 Joseph Cioffi Systems, Methods and Software for Redirecting Blind Travelers Using Dynamic Wayfinding Orientation and Wayfinding Data
CN104065930B (zh) * 2014-06-30 2017-07-07 青岛歌尔声学科技有限公司 集成摄像头模组和光传感器的视觉辅助方法及装置
US10024667B2 (en) 2014-08-01 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable earpiece for providing social and environmental awareness
US9212924B1 (en) * 2014-08-21 2015-12-15 Microsoft Technology Licensing, Llc Multimode transportation transitions
US9922236B2 (en) 2014-09-17 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
US10024678B2 (en) * 2014-09-17 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness
USD768024S1 (en) 2014-09-22 2016-10-04 Toyota Motor Engineering & Manufacturing North America, Inc. Necklace with a built in guidance device
US9483960B2 (en) * 2014-09-26 2016-11-01 Xerox Corporation Method and apparatus for dimensional proximity sensing for the visually impaired
US9826297B2 (en) * 2014-10-29 2017-11-21 At&T Intellectual Property I, L.P. Accessory device that provides sensor input to a media device
US9576460B2 (en) 2015-01-21 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device for hazard detection and warning based on image and audio data
US10490102B2 (en) 2015-02-10 2019-11-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for braille assistance
US9586318B2 (en) 2015-02-27 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Modular robot with smart device
US9811752B2 (en) 2015-03-10 2017-11-07 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device and method for redundant object identification
US9677901B2 (en) 2015-03-10 2017-06-13 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing navigation instructions at optimal times
US9972216B2 (en) 2015-03-20 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for storing and playback of information for blind users
US10546173B2 (en) * 2015-04-09 2020-01-28 Nec Corporation Information processing device, information processing system, position reporting method, and program recording medium
US9898039B2 (en) 2015-08-03 2018-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Modular smart necklace
CN105232295B (zh) * 2015-10-16 2017-03-22 北京机械设备研究所 一种用于避障的智能导引系统
US10013858B2 (en) 2016-02-26 2018-07-03 At&T Intellectual Property I, L.P. Notification system with haptic feedback garment and methods for use therewith
US10024680B2 (en) 2016-03-11 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Step based guidance system
US10469976B2 (en) * 2016-05-11 2019-11-05 Htc Corporation Wearable electronic device and virtual reality system
US9958275B2 (en) 2016-05-31 2018-05-01 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for wearable smart device communications
US10238571B2 (en) 2016-06-22 2019-03-26 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist devices and methods of calibrating image data of a vision-assist device
US20180012377A1 (en) * 2016-07-08 2018-01-11 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist devices and methods of calibrating vision-assist devices
US10561519B2 (en) 2016-07-20 2020-02-18 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device having a curved back to reduce pressure on vertebrae
IT201600079587A1 (it) * 2016-07-28 2018-01-28 Glauco Letizia Apparecchiatura e metodo di sostituzione sensoriale (s.s.d.) per assistere una persona non vedente nella deambulazione, nell'orientamento e nella comprensione degli ambienti interni.
US10843299B2 (en) * 2016-08-08 2020-11-24 The Johns Hopkins University Object recognition and presentation for the visually impaired
US10235366B2 (en) 2016-08-16 2019-03-19 Microsoft Technology Licensing, Llc Activity gallery view in communication platforms
US10432851B2 (en) 2016-10-28 2019-10-01 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device for detecting photography
US10012505B2 (en) 2016-11-11 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable system for providing walking directions
US10521669B2 (en) 2016-11-14 2019-12-31 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing guidance or feedback to a user
US9792501B1 (en) * 2016-12-31 2017-10-17 Vasuyantra Corp. Method and device for visually impaired assistance
US10172760B2 (en) 2017-01-19 2019-01-08 Jennifer Hendrix Responsive route guidance and identification system
US10586106B2 (en) * 2017-02-02 2020-03-10 Microsoft Technology Licensing, Llc Responsive spatial audio cloud
CA3052951C (en) * 2017-02-10 2023-03-14 Nissan North America, Inc. Autonomous vehicle operational management
CA3052953C (en) 2017-02-10 2021-11-09 Nissan North America, Inc. Autonomous vehicle operational management blocking monitoring
CA3052954C (en) 2017-02-10 2023-04-04 Nissan North America, Inc. Autonomous vehicle operational management including operating a partially observable markov decision process model instance
MX2019009392A (es) * 2017-02-10 2019-11-28 Nissan North America Inc Control de la administracion operacional de vehiculos autonomos.
US20180288557A1 (en) * 2017-03-29 2018-10-04 Samsung Electronics Co., Ltd. Use of earcons for roi identification in 360-degree video
US10321258B2 (en) * 2017-04-19 2019-06-11 Microsoft Technology Licensing, Llc Emulating spatial perception using virtual echolocation
US10605609B2 (en) 2017-05-03 2020-03-31 Microsoft Technology Licensing, Llc Coupled interactive devices
US9993384B1 (en) 2017-06-12 2018-06-12 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist systems and methods for assisting visually impaired users with navigating an environment using simultaneous audio outputs
CN107454376B (zh) * 2017-09-11 2019-07-19 Oppo广东移动通信有限公司 跌落提醒方法、装置、电子装置和计算机可读存储介质
WO2019088977A1 (en) 2017-10-30 2019-05-09 Nissan North America, Inc. Continual planning and metareasoning for controlling an autonomous vehicle
US11027751B2 (en) 2017-10-31 2021-06-08 Nissan North America, Inc. Reinforcement and model learning for vehicle operation
WO2019089015A1 (en) 2017-10-31 2019-05-09 Nissan North America, Inc. Autonomous vehicle operation with explicit occlusion reasoning
JP6992182B2 (ja) 2017-11-30 2022-01-13 ニッサン ノース アメリカ,インク 自律走行車両運行管理計画
US10580259B2 (en) * 2017-12-13 2020-03-03 Novomatic Ag Systems, methods and gaming machines having logic based on sporting events
JP6955211B2 (ja) * 2017-12-14 2021-10-27 オムロン株式会社 識別装置、識別方法及びプログラム
US11614621B2 (en) * 2017-12-19 2023-03-28 Datalogic IP Tech, S.r.l. User-wearable systems and methods to collect data and provide information
US11874120B2 (en) 2017-12-22 2024-01-16 Nissan North America, Inc. Shared autonomous vehicle operational management
US11680816B2 (en) * 2017-12-29 2023-06-20 Harman International Industries, Incorporated Spatial infotainment rendering system for vehicles
WO2019136404A1 (en) 2018-01-05 2019-07-11 Todd Petersen Transportation systems and related methods
JP6963158B2 (ja) 2018-02-26 2021-11-05 ニッサン ノース アメリカ,インク 集中型共有自律走行車動作管理
EP3687193B1 (en) 2018-05-24 2024-03-06 Sony Group Corporation Information processing device and information processing method
US10557716B2 (en) 2018-06-13 2020-02-11 Here Global B.V. Audible route sequence for navigation guidance
US11120688B2 (en) 2018-06-29 2021-09-14 Nissan North America, Inc. Orientation-adjust actions for autonomous vehicle operational management
US11032659B2 (en) * 2018-08-20 2021-06-08 International Business Machines Corporation Augmented reality for directional sound
US11181381B2 (en) * 2018-10-17 2021-11-23 International Business Machines Corporation Portable pedestrian navigation system
US10595149B1 (en) * 2018-12-04 2020-03-17 Facebook Technologies, Llc Audio augmentation using environmental data
US10939237B2 (en) * 2019-01-08 2021-03-02 Capital One Services, Llc Synced audio signals between a device and ATM
US10667073B1 (en) * 2019-06-10 2020-05-26 Bose Corporation Audio navigation to a point of interest
WO2021101460A1 (en) * 2019-11-20 2021-05-27 Eskisehir Teknik Universitesi Navigational assistance system with auditory augmented reality for visually impaired persons
US11635758B2 (en) 2019-11-26 2023-04-25 Nissan North America, Inc. Risk aware executor with action set recommendations
US11899454B2 (en) 2019-11-26 2024-02-13 Nissan North America, Inc. Objective-based reasoning in autonomous vehicle decision-making
US11380094B2 (en) * 2019-12-12 2022-07-05 At&T Intellectual Property I, L.P. Systems and methods for applied machine cognition
US11613269B2 (en) 2019-12-23 2023-03-28 Nissan North America, Inc. Learning safety and human-centered constraints in autonomous vehicles
US11300957B2 (en) 2019-12-26 2022-04-12 Nissan North America, Inc. Multiple objective explanation and control interface design
US11714971B2 (en) 2020-01-31 2023-08-01 Nissan North America, Inc. Explainability of autonomous vehicle decision making
US11577746B2 (en) 2020-01-31 2023-02-14 Nissan North America, Inc. Explainability of autonomous vehicle decision making
US11782438B2 (en) 2020-03-17 2023-10-10 Nissan North America, Inc. Apparatus and method for post-processing a decision-making model of an autonomous vehicle using multivariate data
US20220187906A1 (en) * 2020-12-16 2022-06-16 Starkey Laboratories, Inc. Object avoidance using ear-worn devices and image sensors
WO2023225131A2 (en) * 2022-05-17 2023-11-23 Apple Inc. User interfaces for detecting objects
WO2023247984A1 (en) 2022-06-20 2023-12-28 Genima Innovations Marketing Gmbh Device and method for assisting visually impaired persons in public spaces

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6489979B1 (en) * 1998-10-30 2002-12-03 International Business Machines Corporation Non-computer interface to a database and digital library
US6456438B1 (en) * 1999-08-12 2002-09-24 Honeywell Inc. Variable immersion vignetting display
US6323807B1 (en) 2000-02-17 2001-11-27 Mitsubishi Electric Research Laboratories, Inc. Indoor navigation with wearable passive sensors
US20030014186A1 (en) * 2000-11-15 2003-01-16 International Business Machines Corporation Apparatus, system, and method for determining a user position and progress along a path
JP2003023699A (ja) 2001-07-05 2003-01-24 Saibuaasu:Kk 空間情報聴覚化装置および空間情報聴覚化方法
JP2003079685A (ja) * 2001-09-17 2003-03-18 Seiko Epson Corp 視覚障害者歩行用補助具
WO2003078929A1 (en) * 2002-03-20 2003-09-25 Visuaide Inc. Wireless handheld navigation system for visually impaired pedestrians
JP4316960B2 (ja) * 2003-08-22 2009-08-19 株式会社半導体エネルギー研究所 装置
JP4277746B2 (ja) 2004-06-25 2009-06-10 株式会社デンソー カーナビゲーション装置
JP5040061B2 (ja) * 2004-12-15 2012-10-03 コニカミノルタホールディングス株式会社 映像表示装置及び情報提供システム
US20070016425A1 (en) 2005-07-12 2007-01-18 Koren Ward Device for providing perception of the physical environment
JP5001565B2 (ja) * 2006-03-23 2012-08-15 株式会社デンソーアイティーラボラトリ ナビゲーション装置
KR20080008705A (ko) * 2006-07-21 2008-01-24 (주)바네트 영상 인식 기술을 이용한 시각 장애인 도로 안내 시스템
JP2008256419A (ja) 2007-04-02 2008-10-23 Toyota Motor Corp ナビゲーション装置
KR20090036183A (ko) * 2007-10-09 2009-04-14 슬림디스크 주식회사 카메라센서로 찍은 문서 이미지를 시각장애인에게 음성으로알려주는 방법 및 장치
KR101043910B1 (ko) * 2008-08-27 2011-06-29 한국산업기술대학교산학협력단 시각 장애인을 위한 길 안내 시스템 및 그 방법
US8594935B2 (en) * 2009-03-18 2013-11-26 Intouch Graphics, Inc. Systems, methods, and software for providing wayfinding orientation and wayfinding data to blind travelers
US20100277470A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
KR101054025B1 (ko) * 2009-07-07 2011-08-04 숭실대학교산학협력단 시각장애인 보행 안내 방법 및 그 시스템
JP2011030584A (ja) * 2009-07-29 2011-02-17 Hitachi Kokusai Electric Inc 歩行補助装置
US20120212499A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content control during glasses movement
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US20120143495A1 (en) 2010-10-14 2012-06-07 The University Of North Texas Methods and systems for indoor navigation
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
GB201103200D0 (en) 2011-02-24 2011-04-13 Isis Innovation An optical device for the visually impaired
US20130131985A1 (en) 2011-04-11 2013-05-23 James D. Weiland Wearable electronic image acquisition and enhancement system and method for image acquisition and visual enhancement
US8797386B2 (en) * 2011-04-22 2014-08-05 Microsoft Corporation Augmented auditory perception for the visually impaired
US8762051B2 (en) * 2011-09-02 2014-06-24 GM Global Technology Operations LLC Method and system for providing navigational guidance using landmarks
US8982363B2 (en) * 2011-10-07 2015-03-17 Massachusetts Institute Of Technology Method and apparatus to determine depth information for a scene of interest
US9454849B2 (en) * 2011-11-03 2016-09-27 Microsoft Technology Licensing, Llc Augmented reality playspaces with adaptive game rules
CN202409427U (zh) * 2011-12-01 2012-09-05 大连海事大学 便携式智能电子导盲仪
US20130141433A1 (en) 2011-12-02 2013-06-06 Per Astrand Methods, Systems and Computer Program Products for Creating Three Dimensional Meshes from Two Dimensional Images
TWI474173B (zh) 2012-02-21 2015-02-21 Hon Hai Prec Ind Co Ltd 行走輔助系統及行走輔助方法
KR20130131511A (ko) * 2012-05-24 2013-12-04 (주)케이에스소프트 시각 장애인용 안내장치
RU2534961C2 (ru) * 2012-10-29 2014-12-10 Максим Леонидович Аронов Способ и система информирования и ориентирования инвалидов по зрению
US10045718B2 (en) * 2012-11-22 2018-08-14 Atheer, Inc. Method and apparatus for user-transparent system control using bio-input
KR102081797B1 (ko) * 2012-12-13 2020-04-14 삼성전자주식회사 안경 장치 및 이의 제어 방법, 오디오 장치 및 이의 오디오 신호 제공 방법, 그리고 디스플레이 장치
US20140184384A1 (en) * 2012-12-27 2014-07-03 Research Foundation Of The City University Of New York Wearable navigation assistance for the vision-impaired
CA3187490A1 (en) * 2013-03-15 2014-09-18 Interaxon Inc. Wearable computing apparatus and method

Also Published As

Publication number Publication date
SG11201605844UA (en) 2016-08-30
IL246236A0 (en) 2016-07-31
KR102331048B1 (ko) 2021-11-25
PH12016501219B1 (en) 2016-08-22
KR20160113666A (ko) 2016-09-30
RU2678361C1 (ru) 2019-01-28
PH12016501219A1 (en) 2016-08-22
HK1223540A1 (zh) 2017-08-04
BR112016016255A8 (pt) 2020-03-10
AU2015209371B2 (en) 2019-01-17
IL246236B (en) 2020-11-30
CA2935236C (en) 2022-05-17
US20150211858A1 (en) 2015-07-30
EP3096730A1 (en) 2016-11-30
WO2015112651A1 (en) 2015-07-30
US9140554B2 (en) 2015-09-22
AU2015209371A1 (en) 2016-07-14
CN105934227B (zh) 2019-12-03
CA2935236A1 (en) 2015-07-30
EP3096730B1 (en) 2020-12-23
RU2016129945A (ru) 2018-01-23
JP2017513535A (ja) 2017-06-01
MX2016009462A (es) 2016-10-13
MY182173A (en) 2021-01-18
BR112016016255A2 (pt) 2017-08-08
CN105934227A (zh) 2016-09-07

Similar Documents

Publication Publication Date Title
JP6765306B2 (ja) オーディオナビゲーション支援
JP2017513535A5 (ja)
US11348316B2 (en) Location-based virtual element modality in three-dimensional content
CN105324811B (zh) 语音到文本转换
CN108027649B (zh) 定位增强现实环境中的设备
CN112154405B (zh) 三维推送通知
JP6359099B2 (ja) ユーザインターフェースナビゲーション
JP2017531222A (ja) ホログラフィックオブジェクトのためのスマート透明度
TW201539256A (zh) 視覺改變的非視覺反饋
JP2017530438A (ja) 仮想現実環境内における注視に基づく物体配置
WO2016044034A1 (en) Gaze-based audio direction
KR20220024827A (ko) 가상 및 물리적 카메라들의 위치 동기화
US12079945B2 (en) XR preferred movement along planes
US20210082196A1 (en) Method and device for presenting an audio and synthesized reality experience
CN112106020A (zh) 用于合成现实布景的声音处理的方法和设备
US20240005511A1 (en) Immediate Proximity Detection and Breakthrough with Visual Treatment
US11308716B1 (en) Tailoring a computer-generated reality experience based on a recognized object
US11361473B1 (en) Including a physical object based on context
JP2024125265A (ja) 人工現実環境におけるユーザインターフェースインタラクションの容易化
JP2022532864A (ja) 環境に基づく通信データの提示

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171222

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200915

R150 Certificate of patent or registration of utility model

Ref document number: 6765306

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250