JP6293543B2 - 携帯端末および音通知方法 - Google Patents

携帯端末および音通知方法 Download PDF

Info

Publication number
JP6293543B2
JP6293543B2 JP2014058354A JP2014058354A JP6293543B2 JP 6293543 B2 JP6293543 B2 JP 6293543B2 JP 2014058354 A JP2014058354 A JP 2014058354A JP 2014058354 A JP2014058354 A JP 2014058354A JP 6293543 B2 JP6293543 B2 JP 6293543B2
Authority
JP
Japan
Prior art keywords
sound
display
distance
user
generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014058354A
Other languages
English (en)
Other versions
JP2015185899A (ja
Inventor
剛史 石井
剛史 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2014058354A priority Critical patent/JP6293543B2/ja
Publication of JP2015185899A publication Critical patent/JP2015185899A/ja
Application granted granted Critical
Publication of JP6293543B2 publication Critical patent/JP6293543B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Emergency Alarm Devices (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)

Description

本発明は、音の発生を通知する携帯端末および音通知方法に関する。
周囲の音を通知することができる端末として、下記特許文献1または特許文献2に記載の技術が挙げられる。例えば、特許文献1に記載の技術においては、車からのホーン音とともに出力される警報電波に基づいて、そのホーン音の方向を識別して、その方向を報知する。一方で、ユーザは冠状の帽子のようなものをかぶっており、その防止は警報電波を受信する。そして、警報電波に応じて、その四方に備えられているバイブレータのうち一つを振動させることにより、音の方向の報知を可能にさせている。特許文献2についても同様の記載がある。
特開2012−238206号公報 特開2005−349155号公報
近年、マイクロデバイスの小型化や、高感度化、記憶デバイスの小型化進んでおり、これらデバイスを補聴器、眼鏡またはスマートフォンなどに組み込むことが考えられている。
しかしながら、上述特許文献1に記載の技術においては、四方に備え付けたバイブレータを振動させることにより、音の発生やその方向をユーザに通知しているため、上述補聴器や眼鏡またはスマートフォンにそのまま組み込むことは困難である。すなわち、スマートフォンは、常時身に着けているわけではなく、またメガネや補聴器にあっては、その四方にバイブレータを装着することは困難である。
一方で、近年、小さなディスプレイを備えたメガネ型端末が考えられており、そのような端末に適用することが望まれている。
そこで、本発明においては、音の発生やその方向をディスプレイに可視化された情報によって通知することができる携帯端末および音通知方法を提供することを目的とする。
上述の課題を解決するために、本発明の携帯端末は、あらかじめ定められた音を収集する収集手段と、前記収集手段により収集された音の発生方向を判断する判断手段と、前記検出手段により判断された発生方向に基づいて、ユーザに音の発生方向を通知するための可視化情報を生成する生成手段と、前記生成手段により生成された可視化情報を表示する表示手段と、を備える。
また、本発明の音通知方法は、携帯端末における音通知方法において、あらかじめ定められた音を収集する収集ステップと、前記収集ステップにより収集された音の発生方向を検出する検出ステップと、前記検出ステップにより検出された発生方向に基づいて、ユーザに音の発生方向を通知するための可視化情報を生成する生成ステップと、前記生成ステップにより生成された可視化情報を表示する表示ステップと、を備える。
この発明によれば、収集された音の発生方向に基づいて、ユーザに音の発生方向を通知するための可視化情報を生成し、その可視化情報を表示する。これにより、ユーザは、視覚的な感覚をもって音の発生方向を知ることができ、聴覚障害があっても、その音の発生やその方向を通知することができる。さらに、可視化情報をもって通知することにより、バイブレータなどの特別な機構を備える必要がなく、その構成を簡易なものにすることができる。
また、本発明の携帯端末において、前記表示手段は、前記検出手段により検出された音の発生方向に基づいた表示位置に可視化情報を表示する。
この発明によれば、検出された音の発生方向に基づいた表示位置に可視化情報を表示することにより、その発生方向を視覚的な感覚をもって通知することができる。
また、本発明の携帯端末は、前記収集手段により収集された音の音量を測定する音量測定手段をさらに備え、前記生成手段は、前記音量測定手段により測定された音量に応じた大きさの可視化情報を生成する。
この発明によれば、収集された音の音量を測定し、測定された音量に応じた大きさの可視化情報を生成する。これにより、ユーザは視覚的な感覚をもって音量を知ることができる。
また、本発明の携帯端末は、前記収集手段により収集された音の発生源までの距離を取得する距離取得手段をさらに備え、前記表示手段は、前記距離取得手段により取得された距離に応じた表示位置に可視化情報を表示する。
この発明によれば、収集された音の発生源までの距離を測定し、測定された距離に応じた表示位置に可視化情報を表示する。これにより、ユーザは視覚的な感覚をもって、音源の位置を知ることができる。
また、本発明の携帯端末は、当該距離測定手段から、所定タイミングごとに測定された複数の位置情報を取得する取得手段と、前記取得手段により取得された複数の位置情報に基づいた音源までの距離に基づいて、音の発生源が近付いているか否かを判断する判断手段と、をさらに備え、前記判断手段により音の発生源が近付いていると判断されると、前記表示手段は、その旨を通知するための表示を行う。
この発明によれば、所定タイミングごとに測定された複数の距離情報を取得し、取得された複数の距離情報に基づいて、音の発生源が近付いているか否かを判断する。そして、音の発生源が近付いていると判断されると、その旨を通知するための表示を行う。これにより、ユーザは音源が近付いていることを、視覚的感覚をもって知ることができる。
また、本発明の携帯端末において、前記表示手段は、ユーザにより閲覧されている表示情報に重畳して、可視化情報を表示する。これにより、ユーザは、携帯端末でアプリケーションなどを操作して閲覧しているときにでも、音の発生を視覚的感覚をもって知ることができる。
本発明によれば、ユーザは、視覚的な感覚をもって音の発生方向を知ることができ、聴覚障害があっても、その音の発生やその方向を通知することができる。さらに、可視化情報をもって通知することにより、バイブレータなどの特別な機構を備える必要がなく、その構成を簡易なものにすることができる。
本実施形態の携帯端末100の一形態であるウェアラブル端末の具体例を示す斜視図である。 本実施形態の携帯端末100の機能構成を示すブロック図である。 音響モデルDB104aの具体例を示す説明図である。 シンボル管理DB105aの具体例を示す説明図である。 距離を測定するための処理概念を示す説明図である。 携帯端末100の動作の動作を示すフローチャートである。 ディスプレイ107の表示画面の具体例を示す説明図である。 一般的なスマートフォンの形態である携帯端末100の外観を示す外観図である。 ブラウザ画面例を示す説明図である。
添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
図1は、本実施形態の携帯端末100の一形態であるウェアラブル端末の具体例を示す斜視図である。図1に示される通り、ここでの適用可能なウェアラブル端末は、眼鏡型携帯端末であって、その弦部120の端部および弦部120とレンズ部110との接合部分に集音手段であるマイク101aから101dが配置されている。
このようにマイク101aから101dが、ある程度の間隔を空けて配置されることにより、その周囲で発生した音が、いずれの方向から発生したものかを判断することができる。すなわち、各マイク101において、集音した音がずれて入力されることになるため、いずれの方向から発生したものかを判断することができる。
また、この携帯端末100は、そのレンズ部110において、当該携帯端末100(眼鏡型端末)を装着しているユーザが、視認可能なディスプレイを備えている。このディスプレイは、例えば、情報がレンズ内側に投影されることにより、情報を表示することができるように構成されたものである。なお、本実施形態では、携帯端末100は、レンズ部110を備えているが、これに限るものではなく、レンズ部110の代わりに、ユーザが視認することができる位置に、透明板部を配置し、その透明板部に対して情報を投影するようにしてもよい。
図2は、本実施形態の携帯端末100の機能構成を示すブロック図である。図2に示される通り、携帯端末100は、マイク101(収集手段)、AD変換器102、解析用マイクロプロセッサ103(判断手段、音量測定手段、距離取得手段)、音響モデルDB104a、位相差解析部105、シンボル管理DB105a、表示用マイクロプロセッサ106(生成手段)、およびディスプレイ107(表示手段)を含んで構成されている。なお、音響モデルDB104aおよび位相差解析部105については、クラウド技術を利用して、ネットワーク上に配置してもよい。
マイク101は、図1に示される通り4つ備えられており、周囲の音を集音する部分である。
AD変換器102は、マイク101で集音したアナログ音をデジタルの音信号に変換する部分である。なお、このAD変換器102においては、音の周波数ごとに音を分離するための分離フィルタを合わせて備えてもよい。これによって、このAD変換器102は、周波数ごとに集音した音を分離することができ、それら分離した周波数ごとの音信号を解析用マイクロプロセッサ103に出力することができる。
解析用マイクロプロセッサ103は、AD変換器102により変換されたデジタルの音信号の解析を行う部分である。具体的には、解析用マイクロプロセッサ103は、音響モデルDB104aに記憶されている音響モデルを用いて、マイク101により集音された音がどのようなものであるか、その音の種別を判断する。また、その音の周波数の振幅に基づいて音の大きさ(音量)を判断する。
さらに、解析用マイクロプロセッサ103は、位相差解析部105に、音源までの距離およびその発生方向の計算依頼を行い、音源までの距離およびその発生方向を取得し、これら情報を表示用マイクロプロセッサ106に出力する。さらに、解析用マイクロプロセッサ103は、位相差解析部105により計算された音源までの距離に基づいて、音源が近付いているか否かを判断する。この判断処理は、継続的に音源までの距離(または位置情報)をシンボル管理DB105aに記憶しておき、そのシンボル管理DB105aに基づいて近付いているか否かの判断を行う。また、音量に基づいて、音源が近付いているか否かを判断することができ、さらに、音響モデルDB104aに定義されているモデル化された音量情報に基づいて、実際の音量と比較することで近付いているか否か、またその遠さをより正確に判断することができる。
また、位相差解析部105に対して各マイク101a〜101dで集音された音信号を出力する。そして、解析用マイクロプロセッサ103は、位相差解析部105に対して、音の発生方向および音源までの距離の計算依頼を行い、その計算結果を取得する。この解析用マイクロプロセッサ103は、所定間隔ごとに、音ごとにその発生方向および音源までの距離を取得し、音源の移動方向や、近付いているか否かを判断することができる。
音響モデルDB104aは、音響モデルを記憶するデータベースであり、音の種別ごとに、音響パターンを記憶する部分である。この音響パターンは、音を構成する周波数パターンで表現されており、事前に、周波数パターンは登録されるものとする。このような音響モデルを扱うことにより、雑音を誤って認識することを防止することができる。
図3に、その音響モデルDB104aの具体例を示す。図3に示される通り、音響モデルDB104aは、音の種別、その音の周波数、近接音量、移動性、および緊急性を対応付けて記述している。ここで音の種別とは、救急車のサイレンや、車のクラクションなどであり、あらかじめ定義付けがなされている。周波数パターンは、その音を構成する音の周波数による音が継続する時間により表現される。例えば、救急車サイレンは、960Hzの周波数が0.65秒、770Hzの周波数が0.65秒とから構成された音であることを示している。また、クラクションについては、時間については定義せず、例えば、330Hz:390Hzとは、低周波数が330Hz、高周波数が390Hzである周波数で構成された音であること定義する。
また、近接音量とは、所定距離における音量を定義する。移動性とは、その音が移動するものであるか、否かを示す。例えば、救急車のサイレンは、移動性は“有り”であるが、横断歩道における音は、移動性は“無し”である。緊急性は、その音に対する注意喚起を要するか否かを示すものであり、救急車のサイレンや、車のクラクションは、ユーザに対して注意喚起を促すものとして定義される。
位相差解析部105は、マイク101a〜101dにより集音された音信号の位相差に基づいて、音の発生方向および音源までの距離を測定する。この位相差に基づいた音の発生方向および音源までの距離の測定方法の概略について説明する。
図5は、4つのマイク101a〜101dを用いた音の発生方向および音源までの距離を測定するための処理概念を示す説明図である。
図5(a)は、眼鏡型携帯端末の携帯端末100と音源との関係を示す説明図である。図5(a)に示される通り、位置V1において発生した音は、それぞれのマイク101a〜101dにおいて集音される。その後、音源が位置V2に移動すると、ユーザにとってのその発生方向やその距離が移動することになる。
その集音のタイミングを示したものが、図5(b)である。ここに示す通り、マイク101dが、音源といちばん近いため、時間的に一番早く集音が開始される。マイク101aとマイク101cとは、音源から距離は同じぐらいであるため、ほぼ同タイミングで集音が開始される。マイク101bは、一番遠いため、一番遅く集音が開始される。
各マイク101aから101dにおける集音の開始タイミングとのズレに基づいて音源の発生方向を特定することができる。そして、また、音がマイクに到達した時間差(集音開始した時間差)に基づいて、音源までの距離を特定することができる。このような音の発生方向や音源までの距離を特定する方法は、公知の技術であるため、その詳細については概要にとどめることにする。そして、位相差解析部105は、解析用マイクロプロセッサ103からの依頼に基づいて上述計算処理を行ない、音源の発生方向および音源までの距離をシンボル管理DB105aに記憶するとともに、その計算結果を解析用マイクロプロセッサ103に通知する。
シンボル管理DB105aは、音の発生に応じて生成されたシンボルを管理するためのデータベースである。図4は、その具体例を示す説明図である。図に示される通り、このシンボル管理DB105aは、音が発生するごとに、発生した音を個別に管理するために音IDを割り振り、その音源の発生方向およびその距離を記憶するものであり、位相差解析部105により計算された音の発生方向dおよび音源までの距離lを記憶する。図4に示される通り、このシンボル管理DB105aは、時間t1、t2など、時間の経過に伴って、その音の発生方向dと、音源までの距離lを記憶している。解析用マイクロプロセッサ103は、これら発生方向dと距離lとに基づいて音源が近付いているか否かを判断することができる。
表示用マイクロプロセッサ106は、解析用マイクロプロセッサ103により判断された音の種別および音の発生方向を可視化した情報であるシンボルを生成し、ディスプレイ107に表示する部分である。すなわち、解析用マイクロプロセッサ103により解析された音の種別に応じたシンボルを生成し、当該シンボルを、解析用マイクロプロセッサ103により解析された音の発生方向に基づいたディスプレイ107の表示位置に表示する。この表示用マイクロプロセッサ106は、たとえば、音響モデルDB104aに記述されている音の種別欄のテキストデータを含んだシンボルを生成する。また、解析用マイクロプロセッサ103により判断された音の大きさに基づいて当該シンボルの大きさを変えるようにしてもよい。例えば、音の大きさが大きいほど、シンボルの大きさも大きくする。なお、シンボルの生成方法は、上述の方法に限るものではなく、あらかじめ定義されたイメージデータとしてもよい。
表示用マイクロプロセッサ106は、さらに音源までの距離に基づいてそのシンボルの表示位置を決定してもよい。すなわち、所定値以上であると判断する場合には、ディスプレイ107の表示画面の最も外側の部分を表示位置と決定し、所定値未満であると判断する場合には、その表示画面における上記最も外側部分よりもさらに内側部分を表示位置と決定する。また、距離に応じた表示位置をあらかじめ定めておいてもよい。
この表示用マイクロプロセッサ106は、音響モデルDB104aにおける移動性や緊急性に従って、その表示方法を変えるようにしてもよい。例えば、音響モデルDB104aにおいて緊急性“有り”と記述されている場合には、ユーザにとって目立つように、その表示されるイメージの色彩を変えるなどのことを行うようにする。また、その形状を変えるようにしてもよく、注意喚起を促す必要がある音の種別については、星形で可視化情報を表示するなどである。
ディスプレイ107は、表示用マイクロプロセッサ106による表示制御に従って、音の種別に応じた可視化情報を、その音の発生方向に応じた位置に表示する部分である。
つぎに、このように構成された携帯端末100の動作について説明する。図6は、その動作を示すフローチャートである。まず、マイク101により集音された音は、AD変換されてデジタル音信号が生成される(S101)。このデジタル音信号は、複数の周波数パターンに分離されて表現されており、解析用マイクロプロセッサ103により、その分離された周波数パターンが、音響モデルDB104aに記述されている各種音響モデルと照合される(S102)。
ここで、解析用マイクロプロセッサ103により、音響モデルDB104aに登録された音響モデルのいずれか一の音の種別のものであると判断されると、さらに、その音信号の振幅(音量)の大きさに基づいて、ディスプレイ107に表示されるシンボルのサイズが決定される(S104)。また、音源の位置に基づいて計算された音の発生方向と音源までの距離に基づいて、ディスプレイ107における表示位置が、表示用マイクロプロセッサ106により決定される(S105)。
つぎに、集音した音が、緊急音であるか否かが、表示用マイクロプロセッサ106により判断される(S106)。ここで、緊急用であると判断されると、さらに音は、継続して発生しているか否かが、解析用マイクロプロセッサ103により判断される(S107)。継続して発生しているか否かは、同じ周波数パターンからなる音が、所定時間以内にまたは時間をおかずに集音されているか否かにより判断することができる。ここで、解析用マイクロプロセッサ103により、継続発生中であると判断されると、表示用マイクロプロセッサ106により、音の発生方向とその音源までの距離に基づいて表示位置が決定される(S108)。
さらに、音源は近付いているか否かが、解析用マイクロプロセッサ103により判断される(S109)。近付いていると判断されると、表示用マイクロプロセッサ106により、そのシンボルは非常時用色に変えて表示される(S110)。近付いているか否かの判断は、シンボル管理DB105aに記憶されている音源までの距離に基づいて判断することができる。
そして、さらに音は継続発生中であるか否かが、解析用マイクロプロセッサ103により判断される(S111)。継続発生中であると判断されると、S104に戻り、音量や、その方向等の計算処理が再度行われる。
一方、S106において、緊急音ではないと判断されると、またS109において、近づいていないと判断されると、ディスプレイ107には、常時色で、解析用マイクロプロセッサ103により決定されたシンボルが表示される(S112)。
そして、さらに音は継続発生中であるか否かが、解析用マイクロプロセッサ103により判断される(S113)。継続発生中であると判断されると、その音信号の振幅(音量)の大きさに基づいて、ディスプレイ107に表示されるシンボルのサイズが決定される(S114)。また、集音された音の発生した方向と発生源までの距離に基づいて、ディスプレイ107における表示位置が、表示用マイクロプロセッサ106により決定される(S115)。そして、決定されたシンボルサイズのシンボルが、ディスプレイ107におけるその表示位置に、常時色で表示される(S112)。
なお、処理S112からS115の間において、さらに音源が近付いているか否かの判断を行うことにより、非常時色にシンボルを変更するようにしてもよい。
ここで、ディスプレイ107に表示されるシンボルの具体例について説明する。図7は、ディスプレイ107の表示画面の具体例である。ユーザPがシンボルとして、表示画面の中央に位置している。表示画面の上側がユーザの前方を示す。
ここでシンボルS1〜S7は、各種音の発生方向、音源の位置およびその大きさを示している。例えば、シンボルS1は車のクラクションを示しており、ユーザPの右後方がその発生方向であることを示している。また、シンボルS1は、他のシンボルS2〜S7と比較して大きく表示されており、その音量が大きいことを示している。これらシンボルS1〜S7は、解析用マイクロプロセッサ103により決定されたものである。
さらに、シンボルS1の表示位置は、比較的ユーザPに近い。よって、その音源はユーザPに近いことを示す。なお、図7においては、明確に示していないが、クラクションを鳴らしている車が近付いている場合には、そのシンボルS1の色は非常時用の色で表示されることになる。また、近付いている場合のみ表示し、遠ざかっている場合にはそのシンボルを表示しないようにしてもよい。
つぎに、本実施形態の携帯端末100の変形例について説明する。図8は、一般的なスマートフォンの形態である携帯端末100の外観を示す外観図である。この携帯端末100においては、その形状が矩形である場合に、その四隅にマイク101w〜101zが配置されている。このように、ある程度の間隔をもってマイク101が配置されることにより集音した音の位相差をとることができる。この変形例における携帯端末100も、図2に示される機能ブロックにより構成される。
そして、本変形例においては、このようなスマートフォンの形態をとる携帯端末100において、ユーザがメールやブラウザなどを閲覧している時に、その画面に重畳して音を可視化したシンボルを表示することができる。ここでのシンボルは、半透過かつ点滅表示することで表される。
なお、本変形例においては、歩きながら携帯端末を利用する状況における危険性をユーザに通知するためのものであることから、ユーザが歩いていることを、傾きセンサなどの検出部(図示せず)が検出し、さらに制御部が所定のアプリケーションが起動していることを判断すると、当該機能が起動することが好適である。
また、変形例における音響モデルDB104aは、上述本実施形態のものとその音響モデルを変えることにより、いわゆる歩きながらの操作に対する危険通知を的確に行うことができる。例えば、自動車や、自転車のロードノイズ、また、自動車やバイクのエンジン音、人の足音、電車の走行音を的確にとらえることが得きる音響モデルを構築しておくことで、より適切な通知を行うことができる。
図9は、その画面例を示す説明図である。図9に示される通り、ディスプレイ107aには、ブラウザの画面が表示されている。そして、ここでは、画面上部をユーザの前方として、その下部右側にシンボルS10および上部左側にシンボルS11が、ブラウザの表示画面に重畳して表示されている。これらシンボルは、半透明で表示されており、ブラウザの画面が半分透けてみることができる程度のものである。
そして、クラクションの大きさや、自動車のエンジン音・走行音の大きさに応じて、そのシンボルの大きさが変わってくる。また、移動に応じて、シンボルの位置も移動することになる。
この変形例においては、スマートフォンの形態をとった携帯端末100に適用したときの画面表示を示したものであり、そのほか処理方法等は上述と同様である。すなわち、解析用マイクロプロセッサ103は、音の発生方向や、音源の位置を取得し、表示用マイクロプロセッサ106が、それら情報に基づいて、ブラウザ画面にシンボルをディスプレイ107に重畳表示させる。なお、この変形例に記載のように、ディスプレイ107aに表示される表示画面にシンボルを重畳表示させる処理を、上述本実施形態における眼鏡型携帯端末に適用させてもよい。
つぎに、本実施形態および変形例における携帯端末100の作用効果について説明する。この携帯端末100において、マイク101a〜101d(または101w〜101z)を用いて収集された音に基づいて、位相差解析部105は、位相差を計算し、その音の発生方向を計算する。解析用マイクロプロセッサ103は、位相差解析部105において計算された音の発生方向を取得し、表示用マイクロプロセッサ106は、その音の発生方向に基づいた位置に可視化情報であるシンボルを、ディスプレイ107に表示する。これにより、ユーザは、視覚的な感覚をもって音の発生方向を知ることができ、聴覚障害があっても、その音の発生やその方向を通知することができる。さらに、シンボル(可視化情報)をもって通知することにより、バイブレータなどの特別な機構を備える必要がなく、その構成を簡易なものにすることができる。
また、この携帯端末100において、表示用マイクロプロセッサ106において、検出された音の発生方向に基づいた表示位置に可視化情報を表示することにより、その発生方向を視覚的な感覚をもって通知することができる。
また、この携帯端末100において、解析用マイクロプロセッサ103が、マイク101a〜101d(または101w〜101z)により収集された音の音量を測定し、表示用マイクロプロセッサ106は、測定された音量に応じた大きさの可視化情報であるシンボルを生成する。これにより、ユーザは視覚的な感覚をもって音量を知ることができる。
また、この携帯端末100において、位相差解析部105が、マイク101a〜101d(または101w〜101z)により収集された音の発生源までの距離を測定し、それを解析用マイクロプロセッサ103が取得し、表示用マイクロプロセッサ106は、測定された距離に応じたディスプレイ107の表示位置にシンボルを表示する。これにより、ユーザは視覚的な感覚をもって、音源の位置を知ることができる。
また、この携帯端末100において、解析用マイクロプロセッサ103は、所定タイミングごとに位相差解析部105において測定された複数の音源の位置(または、音源までの距離)を取得し、シンボル管理DB105aに記憶する。そして、記憶された複数の音源の位置(または距離)に基づいて、音の発生源が近付いているか否かを判断する。そして、解析用マイクロプロセッサ103は、音の発生源が近付いていると判断すると、表示用マイクロプロセッサ106は、その旨を通知するための表示を行う。これにより、ユーザは音源が近付いていることを、視覚的感覚をもって知ることができる。
また、変形例における携帯端末100において、ディスプレイ107aは、ユーザにより閲覧されている表示情報、例えばブラウザなどのアプリケーションの表示画面に重畳して、シンボルを表示する。これにより、ユーザは、携帯端末でアプリケーションなどを操作して閲覧しているときにでも、音の発生を、視覚的感覚をもって知ることができる。
100…携帯端末、101(101a〜101d、101w〜101z)…マイク、102…AD変換器、103…解析用マイクロプロセッサ、104a…音響モデルDB、105…位相差解析部、105a…シンボル管理DB、106…表示用マイクロプロセッサ、107…ディスプレイ、107a…ディスプレイ、110…レンズ部、120…弦部。

Claims (5)

  1. 音の発生を通知する携帯端末であって、
    あらかじめ定められた音を収集する収集手段と、
    前記収集手段により収集された音の発生方向を判断する判断手段と、
    前記判断手段により判断された発生方向に基づいて、前記携帯端末のユーザに音の発生方向を通知するための可視化情報を生成する生成手段と、
    前記生成手段により生成された前記可視化情報を表示する表示手段と、
    前記収集手段により収集された音の発生源までの距離を取得する距離取得手段と、を備え、
    前記表示手段は、前記ユーザを示すユーザシンボルを表示し、前記距離取得手段により取得された距離に応じた表示位置に、前記ユーザにより閲覧されている表示情報に重畳して前記可視化情報を表示し、
    前記距離取得手段により取得された距離に応じて、前記ユーザシンボルと前記可視化情報との間隔が定められる、
    携帯端末。
  2. 前記表示手段は、前記判断手段により判断された音の発生方向に基づいた表示位置に前記可視化情報を表示する、請求項1に記載の携帯端末。
  3. 前記収集手段により収集された音の音量を測定する音量測定手段をさらに備え、
    前記生成手段は、前記音量測定手段により測定された音量に応じた大きさの前記可視化情報を生成する、請求項1または2に記載の携帯端末。
  4. 前記距離取得手段により取得された複数の距離に基づいて、音の発生源が近付いているか否かを判断する判断手段、をさらに備え、
    前記判断手段により音の発生源が近付いていると判断されると、前記表示手段は、その旨を通知するための表示を行う、請求項1から3のいずれか一項に記載の携帯端末。
  5. 携帯端末における音通知方法において、
    あらかじめ定められた音を収集する収集ステップと、
    前記収集ステップにより収集された音の発生方向を検出する検出ステップと、
    前記検出ステップにより検出された発生方向に基づいて、前記携帯端末のユーザに音の発生方向を通知するための可視化情報を生成する生成ステップと、
    前記生成ステップにより生成された前記可視化情報を表示する表示ステップと、
    前記収集ステップにより収集された音の発生源までの距離を取得する距離取得ステップと、を備え、
    前記表示ステップでは、前記ユーザを示すユーザシンボルが表示され、前記距離取得ステップにより取得された距離に応じた表示位置に、前記ユーザにより閲覧されている表示情報に重畳して前記可視化情報が表示され、
    前記距離取得ステップにより取得された距離に応じて、前記ユーザシンボルと前記可視化情報との間隔が定められる、
    音通知方法。
JP2014058354A 2014-03-20 2014-03-20 携帯端末および音通知方法 Active JP6293543B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014058354A JP6293543B2 (ja) 2014-03-20 2014-03-20 携帯端末および音通知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014058354A JP6293543B2 (ja) 2014-03-20 2014-03-20 携帯端末および音通知方法

Publications (2)

Publication Number Publication Date
JP2015185899A JP2015185899A (ja) 2015-10-22
JP6293543B2 true JP6293543B2 (ja) 2018-03-14

Family

ID=54352043

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014058354A Active JP6293543B2 (ja) 2014-03-20 2014-03-20 携帯端末および音通知方法

Country Status (1)

Country Link
JP (1) JP6293543B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017183787A (ja) * 2016-03-28 2017-10-05 インターマン株式会社 危険回避支援プログラム
JP2018077627A (ja) * 2016-11-08 2018-05-17 ヤマハ株式会社 危険状況通知装置及び危険状況通知方法
WO2019021973A1 (ja) * 2017-07-28 2019-01-31 日本電気株式会社 端末装置、危険予測方法、記録媒体
JP2019050482A (ja) * 2017-09-08 2019-03-28 オリンパス株式会社 情報取得機器、表示方法およびプログラム
CN110031976A (zh) * 2019-02-15 2019-07-19 山西见声科技有限公司 一种具有报警功能的眼镜及其控制方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009014653A (ja) * 2007-07-09 2009-01-22 Denso Corp 車載装置
JP2011250100A (ja) * 2010-05-26 2011-12-08 Sony Corp 画像処理装置および方法、並びにプログラム
JP2012073088A (ja) * 2010-09-28 2012-04-12 Sony Corp 位置情報提供装置、位置情報提供方法、位置情報提供システム、及びプログラム
JP2013106298A (ja) * 2011-11-16 2013-05-30 Sony Corp 撮像制御装置、撮像制御方法、撮像制御方法のプログラムおよび撮像装置

Also Published As

Publication number Publication date
JP2015185899A (ja) 2015-10-22

Similar Documents

Publication Publication Date Title
JP6293543B2 (ja) 携帯端末および音通知方法
JP5881263B2 (ja) 着用可能な計算機システムへのサウンド状態の表示
JP6497915B2 (ja) 運転支援システム
CN104933825B (zh) 一种移动终端的告警方法和装置
KR20160113666A (ko) 오디오 탐색 지원
JP2016186786A (ja) 画像及びオーディオデータに基づいた危険の検出及び警告用のウェアラブルスマート装置
KR20170066357A (ko) 보행자 정보 시스템
CN106652270A (zh) 外界触发的通知
JP2011526432A (ja) 警告システムを備えたポータブル装置および方法
JP2014232411A (ja) 携帯端末、及び、危険報知システム
WO2016199248A1 (ja) 情報提示システム及び情報提示方法
JP7403783B2 (ja) 視覚障がい者用行動支援装置
JP2015001776A (ja) 運転支援装置
JP2024028516A (ja) 報知システム
TWI637361B (zh) 事件檢測方法、具有事件檢測機制的電子系統以及配件
WO2019093225A1 (ja) 情報提示システム、移動体、情報提示方法及びプログラム
JP2016164793A (ja) 携帯端末
TWI471826B (zh) 聲音偵測通報系統及方法
JP5909262B2 (ja) 運動支援装置および運動支援方法
WO2019021973A1 (ja) 端末装置、危険予測方法、記録媒体
JP2020523843A (ja) 音響感知と警告
JP2015138325A (ja) 携帯用電子機器、およびプログラム
KR102221218B1 (ko) 경고알림장치 및 방법
JP2013183286A (ja) 携帯端末装置、音源方向検出方法、及びプログラム
KR20170081472A (ko) 휴대기기 및 휴대기기를 활용한 충돌방지 및 위험사운드 음향인지 제어방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160818

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180214

R150 Certificate of patent or registration of utility model

Ref document number: 6293543

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250