JP5983332B2

JP5983332B2 - 音声情報報知装置、音声情報報知方法およびプログラム

Info

Publication number: JP5983332B2
Application number: JP2012249168A
Authority: JP
Inventors: 茂彦岩間
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2012-11-13
Filing date: 2012-11-13
Publication date: 2016-08-31
Anticipated expiration: 2032-11-13
Also published as: JP2014098573A

Description

本発明は、周囲の音声を取得して報知するための、音声情報報知装置、音声情報報知方法およびプログラムに関する。

聴覚に障害がある場合や、健常者であってもヘッドフォンの利用により周辺の音声情報を認識できない場合がある。このような場合において、周辺の音声情報を取得して視覚や触覚を用いてユーザに音声情報を報知する装置がある（特許文献１、特許文献２）。

特開２０１０−２５１９１６号公報特開２００５−９９４１８号公報

聴覚に障害があるユーザは、周囲の音声が聞き取れなくとも、視覚によってある程度周囲の状況を把握することができる。しかし、視野角の外や視野角の周辺方向からの情報は、視覚によって気付かないことが多く、これらのエリアからの音声信号は、ユーザの前方からの音声信号に対して優先的に報知される必要がある。

本発明はこのような問題点に鑑みなされたものであり、ユーザが視覚的に状況把握できない視野角方向からの音声信号を優先的に報知する、音声情報報知装置、音声情報報知方法およびプログラムを提供することを目的とする。

上記目的を達成するために、本発明に関わる音声情報報知装置（１００）は、複数のマイクロフォン（２０）から入力された音声信号に基づき音源の方向を特定する音源位置特定部（１１３）、前記装置の向きに対応し、優先度の異なる複数の音源エリアを設定する音源エリア設定部（１１４）、前記音源位置特定部（１１３）により特定された音源の方向に対して、前記音源エリア設定部（１１４）により設定された前記複数の音源エリアへの属性を判断する音源属性判断部（１１５）、前記音源属性判断部（１１５）による判断結果に基づき、音声信号に対する報知形態を変えて報知する報知制御部（１１７）、前記装置の周囲におけるユーザの位置関係を検出するユーザ検出部（１１６）を備え、前記音源エリア設定部は、前記ユーザ検出部により検出したユーザの位置および前記音源位置特定部が特定した音源位置を用いて、前記ユーザの位置に基づき、優先度の異なる複数の音源エリアの設定を行うことを特徴とする。

また、本発明に係る音声情報表示方法は、複数のマイクロフォン（２０）から入力された音声信号に基づき音源の方向を特定する音源位置特定ステップ、装置の向きに対応し、優先度の異なる複数の音源エリアを設定する音源エリア設定ステップ、前記音源位置特定ステップにおいて特定された音源の方向に対して、前記音源エリア設定ステップにおいて設定された前記複数の音源エリアへの属性を判断する音源属性判断ステップ、前記音源属性判断ステップによる判断結果に基づき、音声信号に対する報知形態を変えて報知する報知ステップ、前記装置の周囲におけるユーザの位置関係を検出するユーザ検出ステップを有し、前記音源エリア設定ステップは、前記ユーザ検出部により検出したユーザの位置および前記音源位置特定ステップが特定した音源位置を用いて、前記ユーザの位置に基づき、優先度の異なる複数の音源エリアの設定を行うことを特徴とする。

また、本発明に係るプログラムは、音声情報報知装置（１００）が備えるコンピュータ（１１０）に、複数のマイクロフォン（２０）から入力された音声信号に基づき音源の方向を特定する音源位置特定ステップ、前記装置の向きに対応し、優先度の異なる複数の音源エリアを設定する音源エリア設定ステップ、前記音源位置特定ステップにおいて特定された音源の方向に対して、前記音源エリア設定ステップにおいて設定された前記複数の音源エリアへの属性を判断する音源属性判断ステップ、前記音源属性判断ステップによる判断結果に基づき、音声信号に対する報知形態を変えて報知する報知ステップ、前記装置の周囲におけるユーザの位置関係を検出するユーザ検出ステップを実行させ、前記音源エリア設定ステップは、前記ユーザ検出部により検出したユーザの位置および前記音源位置特定ステップが特定した音源位置を用いて、前記ユーザの位置に基づき、優先度の異なる複数の音源エリアの設定を行うことを特徴とする。

本発明によれば、ユーザが視覚的に状況把握できない視野角方向からの音声信号を優先的に報知することを可能とする。

本実施形態に係る音声情報報知装置の外観斜視図である。本実施形態に係る音声情報報知装置の構成ブロック図である。第１の実施形態に係る音声情報報知装置の動作例を示すフローチャートである。音源方向の例を示す概念図である。音源方向特定処理の例を示すフローチャートである。音源方向とマイクロフォン毎の入力音圧レベルの例を示す概念図である。音源エリア設定処理の例を示すフローチャートである。音源エリア設定例を示す概念図である。音源属性判断処理の例を示すフローチャートである。音源属性判断の例を示す概念図である。報知処理の例を示すフローチャートである。報知画面例を示す概念図である。報知画面例を示す概念図である。音源エリア設定例を示す概念図である。第２の実施形態に係る音声情報報知装置の動作例を示すフローチャートである。ユーザ位置入力画面例を示す概念図である。音源位置特定処理の例を示すフローチャートである。音源エリア設定処理の例を示すフローチャートである。音源エリア設定例を示す概念図である。音源エリア設定例を示す概念図である。第３の実施形態に係る音声情報報知装置の動作例を示すフローチャートである。ユーザ検出処理の例を示すフローチャートである。ユーザ検出処理を説明する概念図である。

以下、本発明の実施形態に係る音声情報報知装置１００の構成について、図１および図２を参照して説明する。

音声情報報知装置１００の一例として、図１に示すように表示機能を備えた小型の装置を用いる。具体的には、携帯電話端末やタブレット端末のように、小型で持ち運び容易であることが好ましい。また、音声情報報知装置１００は、専用の装置に加えて携帯電話や各種情報端末に音声情報報知装置１００として動作させるためのプログラムをインストールすることによって実現してもよい。この場合、音声情報報知装置１００として動作する携帯電話や各種情報端末には、４方向またはそれ以上のマイクロフォン２０を接続または装着し、マイクロフォン２０に入力される音声信号は携帯電話や各種情報端末に入力される。

音声情報報知装置１００は、図１に示すように、その筐体１０が構成する面に表示部１４０の表示面を備え、矩形の筐体１０の４隅に各々マイクロフォン２０を備える。

音声情報報知装置１００の４隅に備えられたマイクロフォン２０は、便宜的に、マイクロフォン２０Ａ、マイクロフォン２０Ｂ、マイクロフォン２０Ｃ、マイクロフォン２０Ｄとしてそれらの位置を示す。本実施形態においては、マイクロフォン２０は表示部１４０を囲うように４箇所配置しているが、マイクロフォン２０の配置位置や個数は、音源方向や音源までの距離が特定できる構成であれば限定されない。また、音声情報報知装置１００の形状も矩形に限定されない。マイクロフォン２０は、各々が音声を検出する方向に対して指向性を有するものであることが好ましい。

音声情報報知装置１００は、その構成として図２に示すように、制御部１１０、音声信号入力部１２０、記憶部１３０、表示部１４０、操作部１５０、センサ部１７０、通信部１８０、振動部１９０、マイクロフォン２０を備える。センサ部１７０、通信部１８０および振動部１９０は、必要に応じて備えられていてもよい。また、音声情報報知装置１００は、例えば装置の各部を動作させる電源供給機能など他に図示しない各種必要な構成要素を備える。

制御部１１０は、音声情報報知装置１００を構成する各部の動作制御、各種データの処理または演算等を行う。制御部１１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＤＳＰ（Digital Signal Processor）等により構成され、ＲＯＭに記憶された各種プログラムを実行することにより音声情報報知装置１００を構成する各部の動作制御や各部より入力された信号やデータの処理または演算、ファイルの処理等を行う。

制御部１１０は、実行されるプログラムによって各種機能を実現する。本実施形態において制御部１１０は、表示制御部１１１、操作制御部１１２、音源位置特定部１１３、音源エリア設定部１１４、音源属性判断部１１５、ユーザ検出部１１６、報知制御部１１７、音認識部１１８、通信制御部１１９を実現する。

表示制御部１１１は、表示部１４０に対して各種情報を表示させる制御を行う。例えば、記憶部１３０に記憶されている各種表示形態や文字等の表示、図示しないタッチパネル操作部に連動した各種ＧＵＩ（Graphical User Interface）などを表示させる。

操作制御部１１２は、操作部１５０が操作されることによって生成する操作信号に基づいた処理を実行させる制御を行う。

音源位置特定部１１３は、マイクロフォン２０に入力された音声信号の各々の入力レベルや位相差に基づき、音声信号が発せられた方向である音源方向および音源までの方向を特定する制御を行う。

音源エリア設定部１１４は、音声情報報知装置１００の向きに対応した優先度の異なる複数の音源エリア、またはユーザの位置に基づいた優先度の異なる複数の音源エリアの設定を行う。音源エリア設定部１１４が設定する音源エリアは、ユーザの視野角に応じた音源エリアであり、主に、後方、側方、前方の順に優先度を高く設定する。

音源属性判断部１１５は、音源位置特定部１１３により特定された音源の方向に対して、音源エリア設定部１１４が設定した複数の音源エリアへの属性を判断する。

ユーザ検出部１１６は、ユーザ入力によるユーザ位置と音声情報報知装置１００との位置関係を取得する。また、ユーザ検出部１１６は、後述する赤外線センサアレイ１７１により音声情報報知装置１００の周辺に存在する人の存在有無およびユーザの特定、特定したユーザと音声情報報知装置１００との位置関係を検出する。

報知制御部１１７は、音源属性判断部１１５による判断結果に基づいた報知制御を行う。報知制御部１１７による報知は、例えば報知形態に応じて表示部１４０の表示形態を変化させる形態であり、報知制御部１１７の制御に基づき、表示部１４０への表示を表示制御部１１１が制御することにより、各種報知形態の表示を実行させる。また、報知制御部１１７による報知制御は、振動部１９０を併用したものであってもよい。

音認識部１１８は、マイクロフォン２０から入力され、音声信号入力部１２０から取得した音声データに対して、例えば記憶部１３０に記憶されている各種音のパターンデータと照合し、入力された音声の特定を行う。音認識部１１８による音声データの照合は、通信制御部１１９の制御により通信部１８０を用いて外部のサーバ等により照合してもよい。

通信制御部１１９は、通信部１８０による通信動作を制御する。具体的には、通信部１８０によるデータや制御情報等の送受信の制御等である。

音声信号入力部１２０は、制御部１１０の制御によりマイクロフォン２０から入力された音声信号を制御部１１０が処理するためのデータに変換する。音声信号入力部１２０は、例えば、Ａ／Ｄ変換部１２１および増幅部１２２から構成される。増幅部１２２は、マイクロフォン２０から入力される音声信号を増幅する、例えばオペアンプ等である。Ａ／Ｄ変換部１２１は、増幅部１２２が増幅した音声信号を、Ａ／Ｄ（Analog - Digital）変換し、制御部１１０に音声データを送出する。

記憶部１３０は、例えばフラッシュメモリやＨＤＤ（Hard Disk Drive）より構成され、音声情報報知装置１００に必要な各種データや、マイクロフォン２０等外部から入力される記録対象のデータが記憶され、制御部１１０の処理によって記憶動作や読み出し動作が行われる。記憶部１３０は音声情報報知装置１００に内蔵されるものに限らず、所定のインターフェースによって接続される外部の記憶デバイスであってもよい。外部の記憶デバイスの一例としては、ＵＳＢ（Universal Serial Bus）端子に接続されるＵＳＢメモリや外部ＨＤＤ装置、所定のメモリカードスロットにより接続されるメモリカードなどである。

表示部１４０は、例えば液晶表示素子や有機ＥＬ（Electro Luminescence）表示素子、およびそれらを駆動する回路ユニット等からなり、表示制御部１１１の制御により各種表示内容や表示形態が表示される。

操作部１５０は、音声情報報知装置１００に対してユーザが各種処理や動作指示を行うためのユーザインターフェースであり、例えば、押ボタン式や回転式の操作手段、または表示部１４０に重ねて設けられた図示しないタッチパネル操作部により構成される。操作部１５０が操作されることにより、操作に基づく信号が後述する操作制御部１１２に出力され、操作に基づく各部の動作や各種処理が実行される。

センサ部１７０は、音声情報報知装置１００において用いる各種センサにより構成され、各種センサにおける信号を制御部１１０に送出する。本実施形態においては赤外線センサアレイ１７１が備えられており、赤外線センサアレイ１７１からの出力に基づき、音声情報報知装置１００の周囲における人の有無および位置関係をユーザ検出部１１６が検出する。センサ部１７０は、上記に加えて加速度センサや気圧センサ等を備えていてもよい。

通信部１８０は、通信制御部１１９の制御により他の装置や基地局等との通信を行う装置であり、通信のためのアンテナも含む。通信部１８０の通信方式は、Ｗｉ−Ｆｉ方式、携帯電話向け通信方式に加えてブルートゥース方式等の短距離通信方式であってもよく、複数備えられていてもよい。

振動部１９０は、報知制御部１１７の制御により振動を行う振動モータ等の振動素子である。

次に、図３から図１３を用いて、音声情報報知装置１００における第１の実施形態としての処理について説明する。

図３は、音声情報報知装置１００における第１の実施形態全体のフローであり、図３のフローによる処理は、音声情報報知装置１００の電源がＯＮとなっている間、または音声情報報知装置１００において、音声に対する報知を行う処理が選択され実行されている間、逐次実行されている。また、図３の各処理は、支障が無い範囲で処理の順序は変更されてもよい。

先ず、制御部１１０は、マイクロフォン２０に入力され、音声信号入力部１２０から取得した音声データに基づいて、所定音圧以上の音声信号がマイクロフォン２０のいずれかまたは複数のマイクロフォン２０に入力されたか否かを判断する（ステップＳ１０）。つまり、音声情報報知装置１００の電源がＯＮとなっている間、または音声情報報知装置１００において、音声に対する報知を行う処理が選択され実行されている間は、常時マイクロフォン２０から入力される音声データが制御部１１０に入力され、ステップＳ１０がＹｅｓとなることが、図３に示す処理のトリガとなる。

ステップＳ１０における音圧の判定は、例えば、音声信号入力部１２０から入力された音声データに対して、入力信号のレベルに応じてパルス幅のＨレベルとＬレベルの比率を変えるＰＷＭ（Pulse Width Modulation）変換を行い、そのパルス幅により判断する。このＰＷＭ変換は、周波数帯域毎に行ってもよい。その場合は、ＰＷＭ変換前にＢＰＦ（Band Pass Filter）により、所望の周波数帯域毎に音声データを選別する。また、ＰＷＭ変換は、複数のマイクロフォン２０毎に行う。

ステップＳ１０において判断される所定音圧は、任意に設定されてもよいが、具体例として音圧レベルが７０ｄＢ以上とする。この数値は、予め設定されていてもよく、ユーザの聴覚レベルに合わせて設定が変更可能であってもよい。

また、ステップＳ１０における判断は、音声信号入力部１２０から入力された音声データを、人の声に基づく音声とそれ以外の音声とに分離し、人の声以外の音声を対象としてもよい。

ステップＳ１０において、所定音圧以上の音声信号が入力されていないと判断された場合（ステップＳ１０：Ｎｏ）、ステップＳ１０の処理を再度実行する。ステップＳ１０において、所定音圧以上の音声信号が入力されたと判断された場合（ステップＳ１０：Ｙｅｓ）、音源位置特定部１１３は、入力された各マイクロフォン２０による音声データに基づき、音源の方向を特定する（ステップＳ１１）。

ステップＳ１１の処理を、図４から図６に基づき説明する。先ず、説明を容易にするため、音声情報報知装置１００と音源の方向を図４により定義する。図４は、音声情報報知装置１００が表示部１４０の表示面を地面と水平として用いられた場合の各方向を示している。

図５は、音源位置特定部１１３における音源方向特定処理の一例を示している。音源位置特定部１１３による音源方向特定処理は、図５に示したものに限らず、例えば、特開平０１−０８９８９５号公報や、特開２０１０−１５４２６０号公報に記載された技術など、任意の方法を用いてもよい。ここでは、音圧レベル差による音源方向特定処理について説明する。

先ず、音源位置特定部１１３は、ステップＳ１０において検出した所定音圧レベル以上の音声信号に基づく入力データのピーク位置を特定する（ステップＳ１１１）。音声信号に基づくピーク位置は、各マイクロフォン２０の指向性の違いにより入力レベルの差はあるものの、全てのマイクロフォン２０においてほぼ同一位置においてピークが検出されるため、全てのマイクロフォン２０においてピークを特定してもよく、任意のマイクロフォンにおいてピークを特定してもよい。ここでいうほぼ同一位置とは、音源方向から見た各マイクロフォン２０の配置位置による距離の差に基づくピーク位置のずれが生じるためである。ステップＳ１１１の処理においては、このピーク位置のずれは同一とみなしてもよい。

次に、音源位置特定部１１３は、ステップＳ１１１において特定したピーク位置におけるマイクロフォン毎の音圧割合を検出する（ステップＳ１１２）。

図６は、図４に示す音源方向とマイクロフォン２０の配置位置に基づく音圧レベルを示した図である。各々のマイクロフォン２０はその配置方向に指向性を備えているため、マイクロフォン２０Ａは方向Ｂ、マイクロフォン２０Ｂは方向Ｄ、マイクロフォン２０Ｃは方向Ｆ、マイクロフォン２０Ｄは方向Ｈで、入力音圧が最大となる。また、方向Ｃにおいてはマイクロフォン２０Ａとマイクロフォン２０Ｂとの入力音圧が同一となり、方向Ｅにおいてはマイクロフォン２０Ｂとマイクロフォン２０Ｃとの入力音圧が同一となる。同様に、方向Ｇにおいてはマイクロフォン２０Ｃとマイクロフォン２０Ｄとの入力音圧が同一となり、方向Ａにおいてはマイクロフォン２０Ｄとマイクロフォン２０Ａとの入力音圧が同一となる。

ステップＳ１１２においては、特定されたピーク位置における各々のマイクロフォン２０の音圧に対して、図６のような音源方向毎に各マイクロフォン２０の音圧レベルの割合を示すデータと対比することで、最も近い音圧レベルの割合を検出する。

次に、音源位置特定部１１３は、ステップＳ１１２において検出した音圧レベルの割合に基づき、その割合に対応する音源方向を特定する（ステップＳ１１３）。

ステップＳ１１３において特定される音源方向は、図４に例示した方向Ａから方向Ｈに限らず、図６に示すように、各々の方向の間の値をとってもよい。また、ステップＳ１１１において特定されるピーク位置は、マイクロフォン２０から入力される全ての音声信号におけるピーク位置を求める必要はなく、例えばステップＳ１０において判断される所定音圧以上の入力が連続的または断続的に０．５秒以上継続した場合としてもよい。

次に、音源エリア設定部１１４は、音声情報報知装置１００を中心とした音源エリアを設定する（ステップＳ１２）。ステップＳ１２において設定される音源エリアは、図３のように、所定音圧以上の音声信号入力毎に行ってもよいが、予めデフォルト値として設定されていてもよく、ユーザがタッチパネル等の操作部１５０を用いて設定可能としてもよい。

図７および図８に基づきステップＳ１２の音源エリア設定処理について説明する。ステップＳ１２の音源エリア設定処理は、音声情報報知装置１００の位置とユーザの位置とがほぼ一致し、さらに音声情報報知装置１００の前方とユーザの前方とが一致することを前提とし、音声情報報知装置１００を中心とした音源エリアを設定するものである。

先ず、音源エリア設定部１１４は、音声情報報知装置１００の後方を優先度の高いエリアＡと設定する（ステップＳ１２１）。音声情報報知装置１００の前方や後方の定義は、音声情報報知装置１００が通常用いられる向きによって定義される。例えば、表示部１４０に表示される情報のデフォルト状態における表示方向などにより定義されてもよい。図４に示す例の場合、マイクロフォン２０Ａおよびマイクロフォン２０Ｄを備える方向Ａを前方とし、マイクロフォン２０Ｂおよびマイクロフォン２０Ｃを備える方向Ｅを後方として定義する。

エリアＡとして設定される範囲は、図８に示すように音声情報報知装置１００の前方を０度とした場合、９０度から２７０度の範囲として設定される。この範囲は、ユーザが視覚による認識ができない範囲であることが適切であるため、上記の角度による範囲に限定されない。例えば、８０度から２８０度の範囲などであってもよい。

次に、音源エリア設定部１１４は、音声情報報知装置１００の側方から前方３０度を優先度が中レベルであるエリアＢとして設定する（ステップＳ１２２）。図８の例においては、音声情報報知装置１００の前方を０度とした場合、６０度から９０度および２７０度から３００度の範囲がエリアＢとして設定される。エリアＢの設定範囲は、例えば、ユーザが両眼視できない範囲であることが適切であるため、上記角度による範囲に限定されない。例えば、側方から前方３０度ではなく、音声情報報知装置１００の前方を０度として、７０度から１００度および２６０度から２９０度の範囲などであってもよい。

次に、音源エリア設定部１１４は、音声情報報知装置１００の前方を優先順位の低いエリアＣとして設定する（ステップＳ１２３）。図８の例においては、音声情報報知装置１００の前方を０度とした場合、３００度から６０度の範囲がエリアＣとして設定される。エリアＣの設定範囲は、例えば、ユーザが両眼視可能な範囲であることが適切である。また、ステップＳ１２１からステップＳ１２３の順番や設定方法は限定されない。

ステップＳ１２において音源エリアが設定された後、または予め音源エリアが設定されている場合はステップＳ１１において音源方向が特定された後、音源属性判断部１１５は、ステップＳ１１において特定された音源方向がステップＳ１２において設定された音源エリアのいずれに属しているかを判断する（ステップＳ１３）。

図９および図１０に基づきステップＳ１３の音源属性判断処理について説明する。先ず、音源属性判断部１１５は、ステップＳ１１において特定された音源方向がステップＳ１２において設定されたエリアＣの範囲に属するか否かを判断する（ステップＳ１３１）。エリアＣの範囲の例として、音声情報報知装置１００を中心として３００度から６０度の範囲であるか否かを判断する。ステップＳ１３１において属すると判断された場合（ステップＳ１３１：Ｙｅｓ）、音源はエリアＣに属していると判断される（ステップＳ１３３）。

ステップＳ１３１において、エリアＣの範囲に属していないと判断された場合（ステップＳ１３１：Ｎｏ）、ステップＳ１２において設定されたエリアＢの範囲に属するか否かを判断する（ステップＳ１３２）。エリアＢの範囲の例として、音声情報報知装置１００を中心として２７０度から３００度または６０度から９０度の範囲であるか否かを判断する。ステップＳ１３２において属すると判断された場合（ステップＳ１３２：Ｙｅｓ）、音源はエリアＢに属していると判断される（ステップＳ１３４）。

ステップＳ１３２において、エリアＢの範囲に属していないと判断された場合（ステップＳ１３２：Ｎｏ）、音源はエリアＡに属していると判断される（ステップＳ１３５）。また、音源方向の属性を判断するステップは上述した順番に限定されず、エリアＣやエリアＢへの属性を最初に判断してもよい。

このように判断された音源方向の属性は、図１０に示すように、図４に示す音源方向の例を対応付けると、方向Ａから方向Ｂより１５度進んだ範囲および方向Ｈの１５度手前から方向Ａまでの方向である音源をエリアＣに属していると判断する。同様に、方向Ｂから１５度進んだ方向から方向Ｃおよび方向Ｇから方向Ｈの１５度手前までの方向である音源をエリアＢに属していると判断する。同様に、方向Ｃから方向Ｇまでの方向である音源をエリアＡに属していると判断する。

ステップＳ１３において音源属性が判断された後、報知制御部１１７は音源の属性に基づいた報知を行う（ステップＳ１４）。図１１から図１３に基づきステップＳ１４の報知処理について説明する。

先ず、報知制御部１１７は、ステップＳ１３において音源属性が判断された音源の属性がエリアＡに属しているか否かを判断する（ステップＳ１４１）。ステップＳ１４１においてエリアＡに属していると判断された場合（ステップＳ１４１：Ｙｅｓ）、エリアＡに対応した報知を実行する（ステップＳ１４３）。ステップＳ１４１においてエリアＡに属していないと判断された場合（ステップＳ１４１：Ｎｏ）、音源の属性がエリアＢに属しているか否かを判断する（ステップＳ１４２）。

ステップＳ１４２においてエリアＢに属していると判断された場合（ステップＳ１４２：Ｙｅｓ）、エリアＢに対応した報知を実行する（ステップＳ１４４）。ステップＳ１４２においてエリアＢに属していないと判断された場合（ステップＳ１４２：Ｎｏ）、エリアＣに対応した報知を実行する（ステップＳ１４５）。ステップＳ１４１からステップＳ１４２による判断は、上述した順番に限定されない。

ステップＳ１４３からステップＳ１４５において実行される報知処理は、様々な報知形態が適用されるが、エリアＡに対応する報知形態はエリアＣに対応する報知形態に比してユーザが気付きやすい報知形態であることが好ましい。表１に、報知形態の具体的な例を示す。

表１における報知例１は、音声信号の音源方向を示す表示図形のサイズを異ならせた例であり、優先度の高いエリアＡは表示図形のサイズを大きくし、優先度が低のエリアＣは表示図形のサイズを小さくし、優先度が中のエリアＢは表示図形のサイズをエリアＡの表示図形サイズより小さくエリアＣの表示図形サイズより大きく設定されている。

図１２は、報知例１に基づく表示形態を示しており、便宜的に複数の音源方向に基づく表示図形を複数同時に示している。例えば、表示図形３００ＡはエリアＡに属する方向からの音源を表し、表示図形３００ＢはエリアＢに属する方向からの音源を表し、表示図形３００ＣはエリアＣに属する方向からの音源を表している図形である。各々の表示図形３００は、音源方向の属性に基づき表示サイズが異なっている。各々の表示図形３００における矢印はステップＳ１１において特定された音源の方向を示し、数字は各々の音源方向における音声信号の音圧レベルを数値により示している。例えば、表示図形３００に８０と表示された場合は、その表示図形における矢印の方向からピーク値が約８０ｄＢの音声信号を検出したことを示す。報知例１において表示サイズを変更する対象は、表示図形３００に限らず、各々の音源方向に対応して表示される文字サイズであってもよい。

報知例２は、図１２の例に基づき説明すると、表示図形３００Ａを赤色系統の色を用いて表示させ、表示図形３００Ｂを黄色系統の色を用いて表示させ、表示図形３００Ｃを緑色系統の色を用いて表示させる。各々の表示図形３００の表示色は上記に限定されないが、優先度が高くなるにつれユーザが視認しやすい色や、危険であることを認識できる色であればよい。

報知例３は、図１３に示すように、表示図形３００Ａの表示色を濃く表示させ、表示図形３００Ｂの表示色を通常の濃さで表示させ、表示図形３００Ｃの表示色を薄く表示させる。各々の表示図形の色は同一であっても異なっていてもよく、優先度が高くなるにつれユーザが視認しやすい色の濃さであればよい。

報知例４は、報知に振動部１９０を用いたまたは併用した場合である。音源方向がエリアＡに属している場合は振動部１９０を振動させ、それ以外は振動させない。振動部１９０における振動の強さが連続的または断続的に変化可能である場合は、優先度が高くなるにつれ振動の強さを強くしてもよい。

報知例５は、表示図形３００の表示時間を優先度に対応させた例であり、優先度の高いエリアＡは、表示図形３００Ａの表示を音声信号の検出後、例えば２０秒間表示を継続させる。優先度が中のエリアＢは、表示図形３００Ｂの表示を音声信号の検出後、例えば１０秒回表示を継続させる。優先度が低いエリアＣは、表示図形３００Ｃの表示を音声信号の検出後、例えば５秒間表示を継続させる。上述した各報知例は、単独で実行してもよく、組み合わせて実行されてもよい。

また、上記実施形態においては、ステップＳ１１の処理において音源の方向のみを特定していたが、音源位置特定部１１３が音源の方向に加えて音源までの距離を特定する場合についても説明する。音源位置特定部１１３における音源の方向および距離の特定は、各マイクロフォン２０に入力された音声データの音圧および位相差等を用いて、上述した特開平０１−０８９８９５号公報や、特開２０１０−１５４２６０号公報に記載された技術など、任意の手法を用いる。

音源位置特定部１１３によって特定された音源の方向および距離を用いて、音源エリア設定部１１４は、図１４に示すような音源エリアを設定する。図１４に示すエリアＡ、エリアＢおよびエリアＣは上述した実施形態と同一であるが、音源エリア設定部１１４は、音声情報報知装置１００から音源までの距離が所定距離以内についてはエリアＤを設定する。

音源エリア設定部１１４においてエリアＤを設定する理由としては、音声情報報知装置１００を中心として所定距離以内における音源は、ユーザが発した音声信号である可能性が高い場合や、ユーザがその発生を認識しやすい音声信号である可能性が高いためである。ここでいう所定距離とは、例えば１．０ｍから２．０ｍが適切である。

図１４の場合、音源属性判断部１１５は、音源の方向による音源属性判断以前に、その音源までの距離が所定距離以内であれば、その音源はエリアＤに属する判断を行う。また、報知制御部１１７は、その音源の属性がエリアＤである場合は、報知を実行しない。

本実施形態においては、音声情報報知装置１００を中心として、ユーザが視覚的に状況把握できない視野角方向からの音声信号を優先的に報知するため、例えば、ユーザが音声情報報知装置１００を把持しながらの利用である場合や、ユーザの直近に音声情報報知装置１００を置いた状態における利用時などに適切である。

次に、図１５から図２０を用いて、音声情報報知装置１００における第２の実施形態としての処理について説明する。第１の実施形態においては、音声情報報知装置１００の位置とユーザの位置とがほぼ一致し、さらに音声情報報知装置１００の前方とユーザの前方とが一致することを前提として、音声情報報知装置１００を中心とした音源エリアを設定したが、第２の実施形態においては、音声情報報知装置１００の位置とユーザの位置が異なっている場合において、ユーザを中心とした音源エリアを設定するものである。第２の実施形態の説明においては、第１の実施形態と同一の処理についてはその説明を省略する。

図１５においては、図３と同一処理であるステップＳ１０の前に、ユーザ位置の入力処理（ステップＳ２１）および音声情報報知装置１００の方向に対するユーザの基準方向設定処理（ステップＳ２２）が実行される。

ステップＳ２１におけるユーザ位置入力処理は、例えば表示制御部１１１は図１６に示すような表示を行う。図１６は、音声情報報知装置１００を中心としたユーザの方向および距離を特定するためのスケールが表示された例であり、ユーザはこの表示に対して、例えばタッチパネル等の操作部１５０を用いてユーザ位置を入力する。図１６におけるユーザ位置３５０は、ユーザにより入力された結果の例を示し、この場合、音声情報報知装置１００の前方を基準としてユーザ位置３５０が１１０度の方向１．０ｍであることが入力されている。

このような入力結果に基づき、ユーザ検出部１１６は、入力されたユーザ位置３５０と音声情報報知装置１００との位置関係を取得する。

次に、ユーザ検出部１１６は、音声情報報知装置１００の方向に対するユーザ位置の基準方向を設定する（ステップＳ２２）。ユーザ位置の基準方向とは、音源エリアを設定するために予め設定するユーザの前方の向きである。ステップＳ２１においては、ユーザの位置の取得は可能であるが、ユーザがその位置においていずれの方向を向いているかの検出は困難なためである。

ステップＳ２２において設定されるユーザ位置の基準方向の例としては、音声情報報知装置１００の前方の向きが常にユーザの前方の向きと同一方向であると設定する。また、他の例としては、ユーザ位置から見た音声情報報知装置１００の方向が常にユーザの前方の向きであると設定する。これらの設定は、予め設定されていてもよく、ユーザの操作によって切り換え可能としてもよい。また、音声情報報知装置１００が用いられる条件によって自動的に切り換えられてもよい。

ステップＳ１０において、所定音圧以上の音声信号の入力が確認された後、音源位置特定部１１３は入力された各マイクロフォン２０による音声データに基づき、ユーザ位置を中心とした音源の位置を特定する（ステップＳ２３）。ステップＳ２３の処理を、図１７を用いて説明する。

先ず、音源位置特定部１１３は、上述した公知の手法等を用いて、各マイクロフォン２０に入力された音声データの音圧および位相差等に基づき音声情報報知装置１００を中心とした音源の方向および距離を特定する（ステップＳ２３１）。ステップＳ２３１において、音源の方向に加えて音源までの距離を特定する理由としては、上述した第１の実施形態における理由に加えて、音源が音声情報報知装置１００とユーザ位置３５０までの距離の間に存在する場合に音声情報報知装置１００から見た音源方向とユーザ位置から見た音源方向とが異なる結果となるためである。

次に、音源位置特定部１１３は、ステップＳ２３１において特定した音声情報報知装置１００を中心とした音源の方向および距離を、ステップＳ２１において入力されたユーザの位置に基づき、ユーザ位置を中心とした音源の方向および距離に補正する（ステップＳ２３２）。

次に、音源エリア設定部１１４は、ユーザ位置に対応した音源エリアを設定する（ステップＳ２４）。ステップＳ２４において設定される音源エリアについても、第１の実施形態同様に、所定音圧以上の音声信号入力毎に行ってもよいが、予めデフォルト値として設定されていてもよく、ユーザがタッチパネル等の操作部１５０を用いて設定可能としてもよい。

ステップＳ２４の処理を図１８に基づき説明する。ステップＳ２４においても、図３におけるステップＳ１２と同様に、ユーザ位置の後方をエリアＡと設定し（ステップＳ２４１）、ユーザ位置の側方から前方２０度をエリアＢと設定し（ステップＳ２４２）、ユーザ位置の前方をエリアＣと設定する（ステップＳ２４３）。また、図１４と同様に、ユーザ位置から音源までの距離が所定距離以内である場合にはエリアＤを設定してもよい。

このような処理によってユーザ位置を中心として設定された音源エリアの例を、図１９および図２０に示す。図１９は、ステップＳ２２において音声情報報知装置１００の前方の向きが常にユーザの前方の向きと同一方向であると設定された場合を示す。図１９においては、音声情報報知装置１００から見たユーザ位置３５０は、角度θ方向で距離ｄである。このユーザ位置３５０においてユーザの前方の向きが音声情報報知装置１００の前方の向きと同一であるとして、各音源エリアが設定されている。図２０は、ステップＳ２２においてユーザ位置から見た音声情報報知装置１００の方向が常にユーザの前方の向きであると設定された場合を示す。図２０においては、音声情報報知装置１００から見たユーザ位置３５０は、角度θ方向で距離ｄである。このユーザ位置３５０においてユーザ位置から見た音声情報報知装置１００の方向がユーザの前方であるとして、各音源エリアが設定されている。

このような処理により、ユーザ位置を中心とした音源エリアに基づく報知を行うことができる。

次に、図２１から図２３を用いて、音声情報報知装置１００における第３の実施形態としての処理について説明する。第３の実施形態においては、第２の実施形態と同様にユーザ位置を中心した音源エリアに基づく報知を行うが、そのユーザ位置をユーザによる入力ではなく赤外線センサ等により検出するものである。第３の実施形態の説明においては、第１の実施形態および第２の実施形態と同一の処理についてはその説明を省略する。

図２１は、音声情報報知装置１００における第３の実施形態の全体のフローである。図２１においては、図１５におけるステップＳ２１のユーザ位置入力処理に代えて、ステップＳ３１におけるユーザ位置検出処理が実行される。

ステップＳ３１におけるユーザ位置検出処理は、ユーザ検出部１１６が赤外線センサアレイ１７１からの出力に基づいて行う。先ず、ユーザ検出部１１６は、赤外線センサアレイ１７１における赤外線検出感度が最大となるように制御する（ステップＳ３１０）。例えば、図２３における最外周の破線円が赤外線検出感度最大時の検出範囲であるとする。具体例としては半径約５ｍ程度を想定する。

次に、ユーザ検出部１１６はステップＳ３１０の検出感度において人を検出したか否かを判断する（ステップＳ３１１）。ステップＳ３１１において人が検出されていないと判断された場合（ステップＳ３１１：Ｎｏ）、赤外線センサアレイ１７１の検出範囲内に人が存在していないため、人の検出ができない。したがって、制御部１１０は赤外線センサアレイ１７１により検出したユーザ位置に対応した音源エリア設定を行うモードではなく、第１の実施形態として説明した音声情報報知装置１００を中心とした音源エリア設定を行うモードとする（ステップＳ３１４）。ステップＳ３１４における処理は、他のモードや他の処理であってもよい。

ステップＳ３１１において人を検出したと判断された場合（ステップＳ３１１：Ｙｅｓ）、ユーザ検出部１１６はステップＳ３１１において検出した人が複数であるか否かを判断する（ステップＳ３１２）。図２３の最外周の破線円内には、人物３６０Ａおよび人物３６０Ｃが検出されている。また、人物３６０Ｂは赤外線センサアレイ１７１の最大感度においても検出されなかった人物である。

ステップＳ３２１において、検出された人が複数ではなく単数であると判断された場合（ステップＳ３１２：Ｎｏ）、ユーザ検出部１１６は検出された人をユーザとしてその位置情報を取得する（ステップＳ３１５）。ステップＳ３２１において検出された人が複数であると判断された場合（ステップＳ３１２：Ｙｅｓ）、ユーザ検出部１１６は赤外線センサアレイ１７１における赤外線検出感度を低減させ（ステップＳ３１３）、ステップＳ３１１からの処理を実行する。ここで低減させる赤外線センサアレイ１７１の赤外線検出感度は、段階的であることが好ましく、例えば図２３に示す破線円のように３段階の赤外線検出感度である場合、１段階低減させる。この場合における具体例としての検出範囲は半径約３ｍ程度を想定する。

図２３の例においては、人物３６０Ｃがユーザであると判断され、音声情報報知装置１００からの位置情報が取得される。

図２１におけるステップＳ３１の処理は、一旦実行された場合、ユーザによる再検出操作が行われるまでユーザ位置を保持してもよく、例えば５分毎など所定時間間隔で実行されてもよい。

このような処理により、自動的に検出したユーザ位置を中心とした音源エリアに基づく報知を行うことができる。

本発明の実施の形態は、その要旨を逸脱しない限り、様々に変更可能である。音源エリアの設定をエリアＡからエリアＣの３区分としたが、２区分であっても３以上であってもよい。また、各エリアの区分角度を左右対称としたが、ユーザの視覚にあわせた非対象のエリアであってもよい。

また、上記各実施形態においては、報知制御部１１７による報知を、表示部１４０および振動部１９０を用いた報知について説明したが、ユーザが音源方向およびその音源の危険度を認識できる報知形態であれば、これらの報知に限定されない。

また、エリアＡに属する音源の報知については、音声信号入力部１２０から取得した音声信号に対し、音認識部１１８が音の照合を行うことで、照合結果としての音の種類を表す表示を表示部１４０に表示させてもよい。例えば、エリアＡに属する方向より救急車のサイレン音を検出した場合、図１２や図１３のエリアＡに対応する表示図形３００Ａ上に、救急車であることが判断できる文字列や記号を表示させる。

音認識部１１８による音の照合は、記憶部１３０に記録されている音のデータベースに基づいて照合してもよく、通信制御部１１９により制御される通信部１８０を用いて無線接続される他のサーバに記録されている音のデータベースに基づいて照合してもよい。

２０：マイクロフォン、１００：音声情報表示装置、１１０：制御部、１１３：音源位置特定部、１１４：音源エリア設定部、１１５：音源属性判断部、１１６：ユーザ検出部、１１７：報知制御部

Claims

複数のマイクロフォンから入力された音声信号に基づき音源の方向を特定する音源位置特定部、
装置の向きに対応し、優先度の異なる複数の音源エリアを設定する音源エリア設定部、
前記音源位置特定部により特定された音源の方向に対して、前記音源エリア設定部により設定された前記複数の音源エリアへの属性を判断する音源属性判断部、
前記音源属性判断部による判断結果に基づき、音声信号に対する報知形態を変えて報知する報知制御部、
前記装置の周囲におけるユーザの位置関係を検出するユーザ検出部を備え、
前記音源エリア設定部は、前記ユーザ検出部により検出したユーザの位置および前記音源位置特定部が特定した音源位置を用いて、前記ユーザの位置に基づき、優先度の異なる複数の音源エリアの設定を行う、
ことを特徴とする音声情報報知装置。
前記音源位置特定部は、音源の方向に加えて音源までの距離をさらに特定し、
前記音源エリア設定部は、前記装置を中心とした所定距離範囲に対して最も優先度の低い音源エリアを設定する、
ことを特徴とする請求項１に記載の音声情報報知装置。
前記音源エリア設定部は、前記装置の向きと前記ユーザ検出部が検出したユーザとの向きが同一であるとして、前記ユーザの位置に基づき、優先度の異なる複数の音源エリアを設定する、
ことを特徴とする、請求項１又は請求項２に記載の音声情報報知装置。
前記音源エリア設定部は、前記装置に対する前記ユーザ検出部が検出したユーザの方向に対応し、前記ユーザの位置に基づき、優先度の異なる複数の音源エリアを設定する、
ことを特徴とする、請求項１又は請求項２に記載の音声情報報知装置。
複数のマイクロフォンから入力された音声信号に基づき音源の方向を特定する音源位置特定ステップ、
装置の向きに対応し、優先度の異なる複数の音源エリアを設定する音源エリア設定ステップ、
前記音源位置特定ステップにおいて特定された音源の方向に対して、前記音源エリア設定ステップにおいて設定された前記複数の音源エリアへの属性を判断する音源属性判断ステップ、
前記音源属性判断ステップによる判断結果に基づき、音声信号に対する報知形態を変えて報知する報知ステップ、
前記装置の周囲におけるユーザの位置関係を検出するユーザ検出ステップを有し、
前記音源エリア設定ステップは、前記ユーザ検出部により検出したユーザの位置および前記音源位置特定ステップが特定した音源位置を用いて、前記ユーザの位置に基づき、優先度の異なる複数の音源エリアの設定を行う
ことを特徴とする音声情報報知方法。
音声情報報知装置が備えるコンピュータに、
複数のマイクロフォンから入力された音声信号に基づき音源の方向を特定する音源位置特定ステップ、
前記装置の向きに対応し、優先度の異なる複数の音源エリアを設定する音源エリア設定ステップ、
前記音源位置特定ステップにおいて特定された音源の方向に対して、前記音源エリア設定ステップにおいて設定された前記複数の音源エリアへの属性を判断する音源属性判断ステップ、
前記音源属性判断ステップによる判断結果に基づき、音声信号に対する報知形態を変えて報知する報知ステップ、
前記装置の周囲におけるユーザの位置関係を検出するユーザ検出ステップを実行させ、
前記音源エリア設定ステップは、前記ユーザ検出部により検出したユーザの位置および前記音源位置特定ステップが特定した音源位置を用いて、前記ユーザの位置に基づき、優先度の異なる複数の音源エリアの設定を行う
ことを特徴とするプログラム。