JP6201615B2 - 音響装置、音響システム、音響処理方法及び音響処理プログラム - Google Patents

Description

本発明は、音響装置、音響システム、音響処理方法及び音響処理プログラムに関する。

近年、例えば、所望位置に音源を仮想的に定位させて当該音源から音声を出力する立体音響装置が知られている。更に、このような立体音響装置を用いて、例えば、利用者周囲の物体の実際の位置に当該物体の音源を仮想的に定位させ、当該音源から物体に関する案内音声を利用者に提供する立体音響装置が知られている。

国際公開第２０００／０２２８２３号 特開２００６−２７７１９２号公報

このような立体音響装置は、例えば、利用者周囲の物体の内、利用者が立体音響による案内音声を求める対象物と判断された場合に、当該対象物の立体音響による案内音声の出力を実行する。この際、立体音響装置は、例えば、利用者の進行方向にある注視先の物体の内、ある一定時間継続して注視された物体を対象物と判断する。

しかしながら、立体音響による案内音声を求める対象物と判断するまでの判断時間は一定であるため、利用者が注視して対象物であることが明らかであるにもかかわらず、その対象物と判断するまでには一定の判断時間を要する。

一つの側面では、立体音響による案内音声を求める対象物を速やかに判断できる音響装置、音響システム、音響処理方法及び音響処理プログラムを提供することを目的とする。

一つの案では、音響装置は、利用者の状態、例えば、進行方向と前記利用者の身体の向きとに基づき、前記利用者の周囲の物体の内、任意の物体を前記利用者の注視先の物体と判断する第１の判断部を有する。更に、音響装置は、前記注視先の物体と判断されたタイミングから所定の判断時間を経過した場合に、当該注視先の物体を対象物と判断する第２の判断部を有する。更に、音響装置は、前記注視先の物体が前記対象物と判断された場合に、前記対象物に対応した音源の音声を前記対象物の位置に関連付けて出力する音響信号を生成する生成部を有する。更に、音響装置は、前記利用者の進行方向と前記利用者の身体の向きとの違いに基づき、前記所定の判断時間が経過するまでの残り時間を減少方向に調整する調整部を有する。このような音響システムを音声ＡＲ（Augmented Reality）システムと呼ぶ。

立体音響による案内音声を求める対象物を速やかに判断できる。

図１は、実施例１の音声ＡＲシステムの一例を示すブロック図である。 図２は、音声ＡＲ装置による音声ＡＲの一例を示す説明図である。 図３は、音声ＡＲ装置による音声ＡＲの一例を示す説明図である。 図４は、音源テーブルの一例を示す説明図である。 図５は、判断時間テーブルの一例を示す説明図である。 図６は、利用者が進行方向にある物体を見ている状態を示す説明図である。 図７は、利用者がわき見方向にある物体を見ている状態を示す説明図である。 図８は、判断時間テーブルの新規エントリ追加の動作の一例を示す説明図である。 図９は、判断時間テーブルの新規エントリ追加の動作の一例を示す説明図である。 図１０は、判断時間調整処理に関わる音声ＡＲ装置の処理動作の一例を示すフローチャートである。 図１１は、実施例２の音声ＡＲシステムの一例を示すブロック図である。 図１２は、音源位置が移動する際の動作の一例を示す説明図である。 図１３は、音源位置テーブルの一例を示す説明図である。 図１４は、音源位置算出処理に関わる音声ＡＲ装置の処理動作の一例を示すフローチャートである。 図１５は、実施例３の音声ＡＲシステムの一例を示すブロック図である。 図１６は、判断時間調整処理に関わる音声ＡＲ装置の処理動作の一例を示すフローチャートである。 図１７は、角度誤差範囲の一例を示す説明図である。 図１８は、音響処理プログラムを実行する情報処理装置の一例を示す説明図である。

以下、図面に基づいて、本願の開示する音響装置、音響システム、音響処理方法及び音響処理プログラムの実施例を詳細に説明する。尚、本実施例により、開示技術が限定されるものではない。

図１は、実施例１の音声ＡＲシステムの一例を示すブロック図である。図１に示す音声ＡＲシステム１は、端末装置１０と、音声ＡＲ装置２０とを有する。端末装置１０は、音声ＡＲシステム１の利用者が装着して携帯する、例えば、ヘッドマウント装置等のクライアント装置である。音声ＡＲ装置２０は、利用者周囲の物体の位置に当該物体に対応した音源を定位させた状態で当該物体に関する案内音声を利用者に提供する、例えば、音響装置等のサーバ装置である。

図１に示す端末装置１０は、位置検出部１１と、向き検出部１２と、進行方向検出部１３と、ヘッドホン１４と、通信インタフェース１５とを有する。尚、これら位置検出部１１、向き検出部１２、進行方向検出部１３、ヘッドホン１４及び通信インタフェース１５は、例えば、バスラインで相互に接続されている。

位置検出部１１は、端末装置１０の現在位置を検出する。位置検出部１１は、例えば、ＧＰＳ（Global Positioning System）を用いることで端末装置１０の現在位置を検出する。また、位置検出部１１は、例えば、携帯電話網の基地局からの位置情報を用いることで端末装置１０の現在位置を検出するようにしても良い。また、位置検出部１１は、屋内のアクセスポイントを用いた３点測位法を用いて屋内での端末装置１０の現在位置を検出してもよい。尚、端末装置１０の現在位置は、端末装置１０を携帯する利用者の現在位置である。つまり、位置検出部１１は、端末装置１０を携帯する利用者の現在位置を検出するとも言える。

向き検出部１２は、端末装置１０の利用者の身体の向き、例えば、利用者の顔の向きを検出する。尚、説明の便宜上、利用者の身体の向きは、顔の向きとして説明するが、これに限定されるものではなく、例えば、利用者の胴体の向き、利用者の頭部の向きや利用者の視線の向き等であっても良い。尚、向き検出部１２は、例えば、利用者の視線の向きを検出する場合、利用者の眼球を撮像した画像から視線の向きを検出するものである。また、向き検出部１２は、例えば、利用者の胴体の向きを検出する場合、図示せぬジャイロセンサ等を用いて胴体の向きを検出するものである。

進行方向検出部１３は、例えば、図示せぬ地磁気センサ、ジャイロセンサや加速度センサ等を用いることで端末装置１０を携帯している利用者の進行方向を検出する。つまり、端末装置１０は、位置検出部１１、向き検出部１２や進行方向検出部１３など、図示せぬセンサにより検出できる状態を、利用者の状態として取得する。尚、利用者の状態としては、手の動きを取得してジェスチャを検出する、音声を取得して音声コマンドを検出する、などとしてもよい。

ヘッドホン１４は、音声ＡＲ装置２０から受信した音響信号を音響出力する、例えば、音響出力部である。尚、音響出力部は、ヘッドホン１４の代わりに、例えば、イヤホンであっても良い。

通信インタフェース１５は、例えば、無線通信を用いた音声ＡＲ装置２０との通信を司るインタフェースである。通信インタフェース１５は、音声ＡＲ装置２０に対して各種信号を送信すると共に、音声ＡＲ装置２０からの各種信号を受信する。尚、通信インタフェース１５は、無線通信を採用したが、例えば、有線通信を採用しても良い。また、通信インタフェース１５は、例えば、公衆網、インターネット、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の各種ネットワークを通じて音声ＡＲ装置２０と通信するようにしても良い。

図１に示す音声ＡＲ装置２０は、第１の判断部２１と、第２の判断部２２と、音声制御部２３と、調整部２４と、記憶部２５と、通信インタフェース２６と、制御部２７とを有する。第１の判断部２１、第２の判断部２２、音声制御部２３、調整部２４、記憶部２５、通信インタフェース２６及び制御部２７は、例えば、バスラインで相互に接続されているものとする。

第１の判断部２１は、利用者の進行方向と顔の向きとが成す角度θに基づき、利用者の周囲の物体の内、任意の物体を利用者の注視先の物体と判断する。第２の判断部２２は、注視先の物体と判断されたタイミングから判断時間を経過した場合に、当該注視先の物体を音声ＡＲの対象物と判断する。音声制御部２３は、注視先の物体が対象物と判断された場合に、対象物の位置から対象物に対応した音源の案内音声を出力する音響信号を生成する。調整部２４は、第１の判断部２１にて進行方向以外の方向に位置する物体を利用者の注視先の物体と判断された場合に、利用者の進行方向と顔の向きとが成す角度に応じた補正時間を所定周期毎に判断時間から減算する。通信インタフェース２６は、端末装置１０との通信を司るインタフェースである。通信インタフェース２６は、端末装置１０からの検出信号等の各種信号を受信すると共に、端末装置１０に対して音響信号等の各種信号を送信する。制御部２７は、音声ＡＲ装置２０全体を制御する。

記憶部２５は、各種情報、例えば、音源テーブル２５１及び判断時間テーブル２５２を記憶している。図４は、音源テーブル２５１の一例を示す説明図である。図４に示す音源テーブル２５１は、利用者の周囲に存在する物体に対応づけて、当該物体の案内音声に関わる音源ファイル等を管理している。音源テーブル２５１は、物ＩＤ２５１Ａ、物体の位置２５１Ｂ、判断時間２５１Ｃ及び音源ファイル２５１Ｄを対応付けて記憶している。音源テーブル２５１内のエントリは、存在する物体毎に予め設定されている。尚、エントリの内容は適宜変更可能である。物ＩＤ２５１Ａは、物体を識別するＩＤである。物体の位置２５１Ｂは、物体の現在位置、例えば、所定位置を原点とする座標系における（Ｘｍ１，Ｙｍ１）等の位置座標である。判断時間２５１Ｃは、注視先の物体を対象物と判断するまでの初期設定の初期判断時間である。音源ファイル２５１Ｄは、通常時の音源ファイル２５１Ｅと、判断中の音源ファイル２５１Ｆと、判断後の音源ファイル２５１Ｇとを有する。通常時の音源ファイル２５１Ｅは、第１の判断部２１にて注視先の物体と判断された場合に出力する案内音声の音声ファイルである。判断中の音源ファイル２５１Ｆは、注視先の物体と判断されたタイミングから判断時間が経過する直前までの判断途中で出力する案内音声の音声ファイルである。判断後の音声ファイル２５１Ｇは、判断時間経過後に対象物と判断された場合に出力する案内音声の音声ファイルである。

音声制御部２３は、音源テーブル２５１を参照し、例えば、「ＩＤ１」の物体が注視先の物体と判断されていない場合、通常時の音源ファイル２５１Ｅとして「エアコンです」を読み出す。そして、音声制御部２３は、その注視先の物体の位置に音源を仮想的に定位し、その物体の位置から「エアコンです」を出力する音響信号を生成する。また、音声制御部２３は、その注視先の物体と判断されたタイミングから判断時間が経過するまでの判断途中の場合、例えば、判断中の音源ファイル２５１Ｆとして「室温調整する？」を読み出す。そして、音声制御部２３は、その注視先の物体の位置に音源を仮想的に定位し、その物体の位置から「室温調整する？」を出力する音響信号を生成する。また、音声制御部２３は、注視先の物体が対象物と判断された場合、例えば、判断後の音源ファイル２５１Ｇとして「リモコンを操作してください」を読み出す。そして、音声制御部２３は、その対象物の位置に音源を仮想的に定位し、その対象物の位置から「リモコンを操作してください」を出力する音響信号を生成する。

音声制御部２３は、音源テーブル２５１を参照して、例えば、「ＩＤ２」の物体が注視先の物体と判断されていない場合、通常時の音源ファイル２５１Ｅとして「照明器具です」を読み出す。そして、音声制御部２３は、その注視先の物体の位置に音源を仮想的に定位し、その物体の位置から「照明器具です」を出力する音響信号を生成する。また、音声制御部２３は、その注視先の物体と判断されたタイミングから判断時間が経過するまでの判断途中の場合、判断中の音源ファイル２５１Ｆとして「点灯する？」を読み出す。そして、音声制御部２３は、その注視先の物体の位置に音源を仮想的に定位し、その物体の位置から「点灯する？」を出力する音響信号を生成する。また、音声制御部２３は、注視先の物体が対象物と判断された場合、例えば、判断後の音源ファイル２５１Ｇとして「壁のスイッチをオンにしてください」を読み出す。そして、音声制御部２３は、その対象物の位置に音源を定位し、その対象物の位置から「壁のスイッチをオンにしてください」を音声出力されるような音響信号を生成する。

音声制御部２３は、生成した音響信号を、通信インタフェース２６を通じて端末装置１０に伝送する。端末装置１０は、受信した音響信号をヘッドホン１４から音響出力する。その結果、利用者は、例えば、注視先の物体の判断時、対象物の判断途中、対象物の判断時等の各種タイミングで物体の案内音声を受聴できる。

図２及び図３は、音声ＡＲ装置２０による音声ＡＲの一例を示す説明図である。音声制御部２３は、図２に示すように、利用者ｈの進行方向と顔の向きとが成す角度θに基づき、利用者ｈの左前方に位置する物体Ｍに物体Ｍの音源Ｓが仮想的に定位するように当該物体Ｍの案内音声を出力する音響信号を生成する。音声制御部２３は、音響信号を端末装置１０に伝送する。端末装置１０は、受信した音響信号をヘッドホン１４から音響出力する。その結果、利用者ｈは、あたかも自分の左前方にある物体Ｍから音声出力されたような案内音声を受聴できる。そして、利用者は、対象物である物体Ｍの位置に案内音声を紐付けることで対象物の配置場所や使い方を知ることができる。

次に、利用者が、図２の状態で矢印Ｙ１の方向に身体の向きを変えて図３の状態に移行したとする。この際、音声制御部２３は、図３に示すように、利用者ｈの進行方向と顔の向きとが成す角度θに基づき、利用者ｈの後方に位置する物体Ｍに音源Ｓが仮想的に定位するように当該物体Ｍの案内音声を出力する音響信号を生成する。音声制御部２３は、音響信号を端末装置１０に伝送する。端末装置１０は、受信した音響信号をヘッドホン１４から音響出力する。その結果、利用者ｈは、あたかも自分の後方にある物体Ｍから音声出力されたような案内音声を受聴できる。

図５は、判断時間テーブル２５２の一例を示す図である。図５に示す判断時間テーブル２５２は、物ＩＤ２５２Ａ、物体の位置２５２Ｂ及び判断時間２５２Ｃを対応付けたエントリを記憶している。物ＩＤ２５２Ａは、物体を識別するＩＤである。物体の位置２５２Ｂは、物体の位置座標である。判断時間２５２Ｃは、所定周期で開始するフレームタイム毎に、判断時間が経過するまでの残り時間を補正時間で減算して更新した判断時間である。ここでフレームタイムは、音声ＡＲ装置２０から端末装置１０へ音響信号を送信する際の送信単位時間である。尚、判断時間２５２Ｃの初期値は、注視先の物体毎に予め設定された初期判断時間である。判断時間テーブル２５２内のエントリは、注視先の物体と判断されると、新規に追加作成されるものである。

図１に戻り、第１の判断部２１は、利用者の進行方向と顔の向きとが成す角度に基づき、「利用者のわき見」を判断する。また、第１の判断部２１は、端末装置１０内の位置検出部１１、向き検出部１２及び進行方向検出部１３から利用者ｈの位置、進行方向及び顔の向きを取得する。第１の判断部２１は、利用者の位置、進行方向及び顔の向きに基づき注視方向の位置座標を推定する。第１の判断部２１は、推定した位置座標の物ＩＤを音源テーブル２５１から抽出したか否かを判定する。第１の判断部２１は、物ＩＤを抽出した場合、抽出された物ＩＤに対応する物体を利用者の注視先の物体と判断する。

図６は、利用者が進行方向にある物体を見ている状態を示す説明図である。図６の例では、利用者ｈの進行方向が矢印ＹＡの方向で、利用者ｈの顔の向きが矢印ＹＢ１の方向とする。また、利用者ｈの進行方向に物体Ｍが存在し、利用者ｈの進行方向と顔の向きとが一致した状態である。第１の判断部２１は、進行方向と顔の向きとが同一の注視方向にある物体Ｍの物ＩＤを音源テーブル２５１から抽出できた場合、進行方向にある物体Ｍを注視先の物体と判断する。

図７は、利用者がわき見方向にある物体を見ている状態を示す説明図である。図７の例では、利用者ｈの進行方向が矢印ＹＡの方向で、利用者ｈの顔の向きが矢印ＹＢ２の方向とする。また、利用者ｈの進行方向以外の方向に物体Ｍが存在し、利用者ｈの進行方向と顔の向きとが異なる状態である。第１の判断部２１は、顔の向きがわき見方向にある物体Ｍの物ＩＤを音源テーブル２５１から抽出できた場合、わき見方向にある物体Ｍを注視先の物体と判断する。

図８及び図９は、判断時間テーブル２５２内の新規エントリの追加に関わる動作の一例を示す説明図である。図８の例では、利用者ｈの注視先である矢印ＹＢ３の方向に物体Ｍ１が存在している状態である。第１の判断部２１は、図８に示すように利用者周囲の物体Ｍ１を注視先の物体と判断する。調整部２４は、物体Ｍ１が注視先の物体と判断されると、音源テーブル２５１内の物体Ｍ１の物ＩＤ、物体の位置及び判断時間を読み出す。そして、調整部２４は、判断時間テーブル２５２内に物体Ｍ１の新規エントリを追加し、読み出された物ＩＤ、物体の位置及び判断時間を新規エントリ内に記憶する。調整部２４は、例えば、判断時間テーブル２５２内の物ＩＤ２５２Ａに「ＩＤ１」、物体の位置２５２Ｂに（Ｘｍ１，Ｙｍ１）、判断時間２５２Ｃに「１０秒」を記憶する。この際、利用者ｈの周囲には物体Ｍ２も存在している。しかしながら、調整部２４は、第１の判断部２１にて物体Ｍ２を注視先の物体と判断されていないため、物体Ｍ２について判断時間テーブル２５２への記憶を行わない。

次に、図９に示すように、利用者ｈの注視先が矢印ＹＢ４の方向、すなわち物体Ｍ２の方向に変更された場合、第１の判断部２１は、物体Ｍ２を注視先の物体と判断する。調整部２４は、物体Ｍ２が注視先の物体と判断されると、音源テーブル２５１内の物体Ｍ２の物ＩＤ、物体の位置及び判断時間を読み出す。そして、調整部２４は、判断時間テーブル２５２内に物体Ｍ２の新規エントリを追加し、読み出された物ＩＤ、物体の位置及び判断時間を新規エントリ内に記憶する。調整部２４は、例えば、判断時間テーブル２５２内の物ＩＤ２５２Ａに「ＩＤ２」、物体の位置２５２Ｂに（Ｘｍ２，Ｙｍ２）、判断時間２５２Ｃに「２０秒」を記憶する。この際、図９の破線矢印に示すように、利用者ｈが矢印ＹＢ３の方向から矢印ＹＢ４の方向を向くと、第１の判断部２１は、物体Ｍ１が注視先の物体でなくなったと判断する。その結果、調整部２４は、判断時間テーブル２５２から物体Ｍ１のエントリを削除する。

第２の判断部２２は、判断時間が０秒以下、すなわち判断時間が経過した場合に、その注視先の物体を音声ＡＲの対象物と判断する。つまり、第２の判断部２２は、第１の判断部２１によって注視先の物体と判断されたタイミングから判断時間を経過した場合に、その注視先の物体を対象物と判断する。尚、対象物は、注視先の物体の内、立体音響による音声案内、すなわち音声ＡＲの実行を求める物体である。

調整部２４は、利用者の進行方向と顔の向きとの違い、例えば、利用者の進行方向と顔の向きとが成す角度に基づき、判断時間が経過するまでの残り時間を減少方向に調整する。調整部２４は、注視先の物体のエントリがない場合、該当物体のエントリを新規に追加する。また、調整部２４は、エントリがある場合、エントリ内の判断時間を読み出す。そして、調整部２４は、判断時間中のフレームタイム経過毎に判断時間から、利用者の進行方向と顔の向きとが成す角度θに応じて変動する補正時間を減算する。そして、調整部２４は、減算結果である判断時間を新たな判断時間として注視先の物体に対応したエントリに更新する。補正時間は、通常の経過時間に、利用者の進行方向と顔の向きとが成す角度に応じて変動する補正量を加算した時間である。補正量は、角度θが０度の場合は０であるが、例えば、角度が０度＜θ≦１８０度の範囲内で、その角度θが１８０度に近付くに連れて増加する。通常の経過時間は、フレームタイム到来分の時間である。

例えば、利用者の進行方向と顔の向きとが成す角度θが０度の場合、補正量は０であるため、その補正時間は、通常の経過時間のみである。調整部２４は、フレームタイムが経過する毎に、判断時間から補正時間である通常の経過時間を減算して残り時間を算出し、残り時間を新たな判断時間として判断時間テーブル２５２内の該当エントリを更新する。これに対して、利用者の進行方向と顔の向きとが成す角度θが０度でない場合、補正量が角度θに応じて増加するため、補正時間は、（通常の経過時間＋補正量）となる。従って、調整部２４は、フレームタイムが経過する毎に、判断時間から補正時間である（通常の経過時間＋補正量）を減算して残り時間を算出し、算出した残り時間を新たな判断時間として判断時間テーブル２５２内の該当エントリを更新する。その結果、音声ＡＲ装置２０は、角度θが大きくなるに連れて補正量が増加し、その補正量が増加する分、判断時間が通常よりも短くなる。

では、より具体的に調整部２４の判断時間の調整方法について説明する。先ず、利用者の進行方向にある注視先の物体についての判断時間の調整方法について説明する。調整部２４は、進行方向にある物体が注視先の物体と判断されると、注視先の物体に対応したエントリを判断時間テーブル２５２内に追加する。調整部２４は、判断時間テーブル２５２の該当エントリ内の判断時間２５２Ｃ内に、音源テーブル２５１内の注視先の物ＩＤに対応した初期判断時間ｔ０を設定する。尚、初期判断時間ｔ０は、フレームタイムよりも長い時間を設定し、例えば、判断時間の更新が複数回行われた場合に、注視先の物体を対象物と判断できる時間を設定する。先ず、初期判断時間をｔ０とした場合、最初のフレームタイムｔｆ＝０の開始タイミングでの判断時間は、「ｔ０」である。

調整部２４は、次のフレームタイムｔｆ＝１の開始タイミングで、フレームタイム１回分の通常の経過時間（１＊ｔｆ）を初期判断時間ｔ０から減算する。判断時間の残り時間は「ｔ０−１＊ｔｆ」となる。調整部２４は、残り時間を次の判断時間ｔ１（＝ｔ０−１＊ｔｆ）として判断時間テーブル２５２内の該当エントリを更新する。例えば、初期判断時間ｔ０を「１０秒」、フレームタイムｔｆを「２秒」とした場合、調整部２４は、初期判断時間ｔ０の「１０秒」から通常の経過時間「２秒」を差し引いた「８秒」を今回の判断時間ｔ１として該当エントリを更新する。

調整部２４は、次のフレームタイムｔｆ＝２の開始タイミングで、前回更新した判断時間ｔ１からフレームタイム１回分の通常の経過時間（１＊ｔｆ）を減算する。判断時間の残り時間は、「ｔ０−２＊ｔｆ」となる。調整部２４は、残り時間を次の判断時間ｔ２（＝ｔ０−２＊ｔｆ）として該当エントリを更新する。調整部２４は、例えば、前回更新した判断時間ｔ１の「８秒」からフレームタイムｔｆの「２秒」を差し引いた「６秒」を今回の判断時間ｔ２として該当エントリを更新する。

調整部２４は、次のフレームタイムｔｆ＝３の開始タイミングで、前回更新した判断時間ｔ２からフレームタイム１回分の通常の経過時間（１＊ｔｆ）を減算する。判断時間の残り時間は、「ｔ０−３＊ｔｆ」となる。調整部２４は、残り時間を次の判断時間ｔ３（＝ｔ０−３＊ｔｆ）として該当エントリを更新する。調整部２４は、例えば、前回更新した判断時間ｔ２の「６秒」からフレームタイムｔｆの「２秒」を差し引いた「４秒」を今回の判断時間ｔ３として該当エントリを更新する。以降、同様に、調整部２４は、フレームタイム毎に通常の経過時間を減算して判断時間を更新する。そして、第２の判断部２２は、フレームタイムｔｆ＝５の開始タイミングで、判断時間が０秒となるため、進行方向にある注視先の物体を対象物と判断することになる。

次に、利用者のわき見方向にある注視先の物体についての判断時間の調整方法について説明する。第１の判断部２１は、利用者の進行方向と顔の向きとが成す角度θがあり、わき見方向にある物体を注視先の物体と判断したとする。調整部２４は、わき見方向にある物体が注視先の物体と判断されると、注視先の物体に対応したエントリを判断時間テーブル２５２内に追加する。調整部２４は、判断時間テーブル２５２の該当エントリ内の判断時間２５２Ｃ内に、音源テーブル２５１内の注視先の物ＩＤに対応した初期判断時間ｔ０を設定する。先ず、初期判断時間をｔ０とした場合、最初のフレームタイムｔｆ＝０の開始タイミングでの判断時間は「ｔ０」である。

調整部２４は、次のフレームタイムｔｆ＝１の開始タイミングで、フレームタイム１回分の通常の経過時間（１＊ｔｆ）と、角度θ１に基づく補正量（ａ＊θ１）とを加算した補正時間を初期判断時間ｔ０から減算する。判断時間の残り時間は「ｔ０−ａ＊θ１−１＊ｔｆ」となる。調整部２４は、残り時間を次の判断時間ｔ１（＝ｔ０−ａ＊θ１−１＊ｔｆ）として判断時間テーブル２５２内の該当エントリを更新する。尚、補正量の「ａ」は定数であり、判断時間が徐々に減少するように「ａ」を適切な値に設定するものとする。例えば、初期判断時間ｔ０を「１０秒」、フレームタイムｔｆを「２秒」、補正量（ａ＊θ１）を「１秒」とする。この場合、調整部２４は、「１０秒」から通常の経過時間「２秒」の他に、補正量（ａ＊θ１）の「１秒」を差し引いた「７秒」を今回の判断時間ｔ１として該当エントリを更新する。

調整部２４は、次のフレームタイムｔｆ＝２の開始タイミングで、前回更新した判断時間ｔ１からフレームタイム１回分の通常の経過時間（１＊ｔｆ）と、今回の補正量（ａ＊θ２）とを加算した補正時間を減算する。判断時間の残り時間は、「ｔ０−ａ＊θ１−ａ＊θ２−２＊ｔｆ」となる。調整部２４は、残り時間を次の判断時間ｔ２（＝ｔ０−ａ＊θ１−ａ＊θ２−２＊ｔｆ）として該当エントリを更新する。例えば、補正量（ａ＊θ２）が「１秒」とした場合、調整部２４は、前回更新した判断時間ｔ１の「７秒」から、通常の経過時間「２秒」と、補正量（ａ＊θ２）の「１秒」とを差し引いた「４秒」を今回の判断時間ｔ２として該当エントリを更新する。

調整部２４は、次のフレームタイムｔｆ＝３の開始タイミングで、前回更新した判断時間ｔ２からフレームタイム１回分の通常の経過時間（１＊ｔｆ）と、今回の補正量（ａ＊θ３）とを加算した補正時間を減算する。判断時間の残り時間は、「ｔ０−ａ＊θ１−ａ＊θ２−ａ＊θ３−３＊ｔｆ」となる。調整部２４は、残り時間を次の判断時間ｔ３（＝ｔ０−ａ＊θ１−ａ＊θ２−ａ＊θ３−３＊ｔｆ）として該当エントリを更新する。例えば、補正量（ａ＊θ３）が「１秒」とした場合、調整部２４は、前回更新した判断時間ｔ２の「４秒」から、通常の経過時間「２秒」と、補正量（ａ＊θ３）の「１秒」とを差し引いた「１秒」を今回の判断時間ｔ３として該当エントリを更新する。

以降、同様に、調整部２４は、フレームタイム毎に通常の経過時間及び角度θに基づく補正量を加算した補正時間を減算して判断時間を更新する。そして、第２の判断部２２は、次のフレームタイムｔｆ＝４の開始タイミングで、判断時間が０秒となるため、わき見方向にある注視先の物体を対象物と判断することになる。その結果、調整部２４は、利用者の進行方向と顔の向きとが成す角度θが０度よりも大の場合、フレームタイム毎に判断時間から角度θに応じた補正量を加えた補正時間を減算する。進行方向に注視先の物体がある場合、すなわち角度が０度の場合に比較して、わき見方向にある注視先の物体を対象物と判断するまでの判断時間が短くなる。

音声制御部２３は、第２の判断部２２にて注視先の物体が対象物と判断された場合に、音源テーブル２５１から対象物の物ＩＤに対応した判断後の音源ファイル２５１Ｇを読み出す。音声制御部２３は、読み出した音源ファイル２５１Ｇの案内音声を対象物の物体の位置に仮想的に定位させた状態で利用者のヘッドホン１４から出力する音響信号を生成する。音声制御部２３は、例えば、右チャンネル及び左チャンネルの音響信号を、それぞれ遅延回路に入力して異なる遅延時間で遅延させることで対象物の位置に音源を仮想的に定位させる。また、音声制御部２３は、例えば、右チャンネル及び左チャンネルの音声信号それぞれについて、利用者の両耳間の位相差や振幅差を付与するフィルタを通過させることで対象物の位置に音源を仮想的に定位するようにしても良い。音声制御部２３は、例えば、生成部である。

次に、実施例１の音声ＡＲシステム１の動作について説明する。図１０は、判断時間調整処理に関わる音声ＡＲ装置２０の処理動作の一例を示すフローチャートである。図１０に示す判断時間調整処理は、注視先の物体と判断された場合に、フレームタイム毎の判断時間を補正時間で減少方向に調整する処理である。

図１０において音声ＡＲ装置２０の調整部２４は、第１の判断部２１にて注視先の物体と判断されると、注視方向にある物体の位置に対応した物ＩＤのエントリが判断時間テーブル２５２内にあるか否かを判定する（ステップＳ１０１）。調整部２４は、物ＩＤのエントリが判断時間テーブル２５２内にない場合（ステップＳ１０１否定）、判断時間テーブル２５２内に物ＩＤの新規エントリを追加する（ステップＳ１０２）。調整部２４は、物ＩＤのエントリの判断時間２５２Ｃ内に初期判断時間ｔ０を設定する（ステップＳ１０３）。尚、調整部２４は、物ＩＤ２５１Ａに対応した判断時間２５１Ｃの初期判断時間ｔ０及び物体の位置２５１Ｂの位置座標を音源テーブル２５１から読み出し、判断時間テーブル２５２内の該当エントリに登録する。

音声ＡＲ装置２０内の第２の判断部２２は、判断時間テーブル２５２内の物ＩＤに対応した判断時間が０秒以下であるか否かを判定する（ステップＳ１０４）。調整部２４は、判断時間が０秒以下でない場合（ステップＳ１０４否定）、判断時間の時間経過中のフレームタイムを経過したか否かを判定する（ステップＳ１０５）。調整部２４は、フレームタイムを経過しなかった場合（ステップＳ１０５否定）、判断時間が０秒以下であるか否かを判定すべく、ステップＳ１０４に移行する。

このため、調整部２４は、フレームタイムが経過した場合（ステップＳ１０５肯定）、注視先の物体の物ＩＤ２５２Ａに対応したエントリ内の判断時間ｔを読み出す（ステップＳ１０６）。調整部２４は、読み出された判断時間から、角度θに基づく補正時間を減算する（ステップＳ１０７）。尚、補正時間は、フレームタイム経過回数に応じた通常の経過時間と、角度θに基づく補正量とを加算した時間である。また、角度θは、例えば、ステップＳ１０６の判断時間読み出し時の注視先の物体に対する利用者の進行方向と顔の向きとで成す角度である。

調整部２４は、ステップＳ１０６で読み出した判断時間から補正時間を減算して残り時間を算出し、残り時間を新たな判断時間として該当エントリ内の判断時間２５２Ｃ内に更新する（ステップＳ１０８）。調整部２４は、判断時間が０秒以下であるか否かを判定すべく、ステップＳ１０５に移行する。

第２の判断部２２は、判断時間が０秒以下の場合（ステップＳ１０４肯定）、すなわち、判断時間が経過したと判断した場合、注視先の物体を対象物と判断する（ステップＳ１０９）。第２の判断部２２は、注視先の物体を対象物と判断すると、対象物の物ＩＤに関わる音声ＡＲ要求を音声制御部２３に通知する。尚、音声制御部２３は、音源テーブル２５１を参照し、対象物の物ＩＤの物体の位置２５１Ｂ及び判断後の音源ファイル２５１Ｄに基づき音響信号を生成し、生成した音響信号を端末装置１０に伝送する。端末装置１０は、受信した音響信号をヘッドホン１４から音響出力する。その結果、端末装置１０の利用者は、ヘッドホン１４から対象物の案内音声を対象物の位置に仮想的に定位された状態で受聴できる。調整部２４は、注視先の物体が対象物と判断されると、判断時間テーブル２５２内の対象物の物ＩＤ２５２Ａに対応したエントリを削除し（ステップＳ１１０）、図１０に示す処理動作を終了する。

図１０に示す判断時間調整処理の音声ＡＲ装置２０は、フレームタイム毎に、通常の経過時間及び角度θに基づく補正量を含む補正時間を算出し、更に、判断時間から補正時間を減算し、減算後の判断時間を更新する。音声ＡＲ装置２０は、更新された判断時間が経過した場合、注視先の物体を対象物と判断する。その結果、利用者は、注視先の物体を対象物と判断できる。

音声ＡＲ装置２０は、注視先の物体が進行方向にある場合、角度θが０度であるため、補正時間に追加する補正量も０となる。これに対して、音声ＡＲ装置２０は、注視先の物体がわき見方向にある場合、角度θが大きくなり、追加する補正量も大きくなるため、その補正時間も大きくなる。つまり、音声ＡＲ装置２０は、注視先がわき見方向にある場合の補正時間の方が進行方向にある場合に比較して増加するため、その判断時間が短くなるため、注視先の物体を対象物と速やかに判断できる。

実施例１の音声ＡＲ装置２０は、利用者の進行方向と利用者の顔の向きとの違いで「わき見」の状態を検出した場合、注視先の物体を対象物と判断するまでの判断時間を、進行方向に物体がある場合に比較して減少方向に調整した。その結果、音声ＡＲの実行を求める対象物を速やかに判断できる。しかも、利用者の前方不注意の状況を短くできるため、利用者の利便性が増す。

音声ＡＲ装置２０は、フレームタイムが経過する毎に、判断時間が経過するまでの残り時間を減少方向に調整し、調整した残り時間を新たな判断時間として更新し、新たな判断時間が経過した場合に、注視先の物体を対象物と判断する。その結果、対象物と判断するまでの判断時間を通常の経過時間よりも短くし、音声ＡＲの実行を求める対象物を速やかに判断できる。

音声ＡＲ装置２０は、わき見方向にある物体が利用者の注視先の物体と判断された場合に、利用者の進行方向と利用者の顔の向きとが成す角度θに応じて判断時間を短くする。「わき見」の状態を検出した場合に、対象物と判断するまでの判断時間を通常の経過時間よりも短く、しかも、角度θが大きくなるに連れて判断時間を短くする。その結果、音声ＡＲの実行を求める対象物を速やかに判断できる。

上記実施例１の音声ＡＲシステム１では、第１の判断部２１、第２の判断部２２、音声制御部２３、調整部２４及び記憶部２５の各種機能を音声ＡＲ装置２０に内蔵するようにしたが、例えば、これら各種機能を適宜、端末装置１０に持たせるようにしても良い。この場合、音声ＡＲ装置２０の負荷を軽減でき、その処理速度を高めることができる。

上記音声ＡＲシステム１では、記憶部２５や音声制御部２３を音声ＡＲ装置２０に内蔵するようにしたが、記憶部２５や音声制御部２３等を外部装置に設け、その外部装置をネットワーク経由で音声ＡＲ装置２０と接続するようにしても良い。この場合、音声ＡＲ装置２０の負荷を軽減でき、その処理速度を高めることができる。

なお、第１の判断部２１と、第２の判断部２２と、音声制御部２３と、調整部２４と、記憶部２５と、制御部２７と、設定部２８とを別の装置がそれぞれ有し、ネットワーク接続されて協働することで、音声ＡＲ装置２０の機能を実現してもよい。このようにすれば、音声ＡＲ装置２０の負荷を各装置に分散できる。

尚、上記実施例１の音声ＡＲ装置２０は、判断時間の経過状況を利用者に知らせることはなく、判断時間の経過に応じて対象物と判断するようにした。しかしながら、その判断時間の経過状況を利用者に知らせるようにしても良い。そこで、このような実施の形態につき、実施例２として以下に説明する。

図１１は、実施例２の音声ＡＲシステムの一例を示すブロック図である。尚、図１に示す音声ＡＲシステム１と同一の構成には同一符号を付すことで、その重複する構成及び動作の説明については省略する。図１１に示す音声ＡＲシステム１Ａが、図１に示す音声ＡＲシステム１と異なるところは、音声ＡＲ装置２０Ａ内部に設定部２８及び、記憶部２５Ａ内に音源位置テーブル２５３を設けた点にある。

設定部２８は、利用者の注視先の物体に対応した音源を仮想的に定位させる位置座標を設定する。音源の位置座標は、最初のフレームタイムの初期判断時間の設定時では物体の実際の位置座標と一致する。設定部２８は、フレームタイムが経過する毎に音源の位置座標を変えて、音源が徐々に利用者に近付いて来るように音源の位置座標を順次設定更新する。音源位置テーブル２５３は、音源の仮想的な位置座標を管理するためのテーブルである。設定部２８は、判断時間テーブル２５２の該当エントリの判断時間が０秒以下になるまで、フレームタイム毎に、音源が利用者に近づくように、音源位置テーブル２５３内の音源の位置座標を更新する。

図１２は、音源位置が移動する際の動作の一例を示す説明図である。図１２に示すように、設定部２８は、音源の位置が利用者ｈに徐々に近づくように、フレームタイム毎に、矢印Ｙ２の方向に音源の位置座標を変える。設定部２８は、最初のフレームタイムの開始時点では物体Ｍ１の実際の位置に音源Ｓ１があり、フレームタイムの経過毎に音源Ｓ２→音源Ｓ３→音源Ｓ４のように位置座標を順次変える。設定部２８は、判断時間が０秒以下になった時点で、利用者の顔前に音源が定位するように音源の位置座標を変える。この結果、設定部２８は、注視先が利用者の進行方向にある場合、音源の位置座標をＮ回（Ｎ＝（判断時間ｔ０）／（フレームタイムｔｆ））変える。これに対して、設定部２８は、注視先が利用者の進行方向にない場合、音源の位置座標をＮ’回（Ｎ’＜ｔ０／ｔｆ）変える。

図１３は、音源位置テーブル２５３の一例を示す説明図である。図１３に示す音源位置テーブル２５３は、物ＩＤ２５３Ａと音源の位置２５３Ｂとを対応付けて記憶している。物ＩＤ２５３Ａは、物体を識別するＩＤである。音源の位置２５３Ｂは、設定部２８で更新する音源の位置座標である。設定部２８は、フレームタイム毎に音源の位置座標を、音源位置テーブル２５３内の音源の位置２５３Ｂに書き込んで更新する。

設定部２８は、音源の位置座標（Ｘｓ，Ｙｓ）を判断時間ｔ経過後に利用者ｈの位置座標（Ｘｈ，Ｙｈ）に変える場合、音源Ｓ１と利用者ｈとの距離Ｄを判断時間ｔで除して得られる速度Ｄ／ｔで音源の位置を移動させる。設定部２８は、音源の位置を１フレームタイム毎に距離ｄ＝（Ｄ／ｔ）＊ｔｆだけ移動させる。

図１４は、音源位置算出処理に関わる設定部２８の処理動作の一例を示すフローチャートである。図１４に示す音源位置算出処理は、音源が利用者ｈに近づくように、フレームタイム毎に、音源の位置座標を変化させる処理である。

図１４において設定部２８は、フレームタイムが経過したか否かを判定する（ステップＳ２０１）。設定部２８は、フレームタイムが経過していない場合（ステップＳ２０１否定）、フレームタイムが経過したか否かを監視すべく、ステップ２０１に移行する。設定部２８は、フレームタイムが経過した場合（ステップＳ２０１肯定）、音源の位置座標（Ｘｓ，Ｙｓ）、利用者の位置座標（Ｘｈ，Ｙｈ）、判断時間ｔ及びフレームタイムｔｆを取得する（ステップＳ２０２）。次に、設定部２８は、音源の新規の位置すなわちフレームタイムｔｆ後の位置座標（Ｘｓ’，Ｙｓ’）を、以下の式（１）によって算出する（ステップＳ２０３）。
Ｘｓ’＝Ｘｓ−（Ｘｓ−Ｘｈ）＊（ｔｆ／ｔ）
Ｙｓ’＝Ｙｓ−（Ｙｓ−Ｙｈ）＊（ｔｆ／ｔ） …（１）

設定部２８は、式（１）の算出結果で得た音源の位置座標を音源位置テーブル２５３内に書き込むことで音源位置を更新する（ステップＳ２０４）。音声制御部２３は、判断中の音源ファイル２５１Ｆの案内音声を、更新された音源位置から出力する音響信号を生成する。その後、設定部２８は、音源の位置座標が利用者の顔前の位置座標になったか否かを判定する（ステップＳ２０５）。設定部２８は、音源の位置座標が利用者の顔前の位置座標になっていない場合（ステップＳ２０５否定）、フレームタイムが経過したか否かを監視すべく、ステップＳ２０１に移行する。設定部２８は、音源の位置座標が利用者の顔前の位置座標になった場合（ステップＳ２０５肯定）、図１４に示す処理動作を終了する。

図１４に示す音源位置算出処理の設定部２８は、フレームタイム毎に音源の位置座標を更新できるので、フレームタイム毎に音源が徐々に近付いて来るように判断中の音源ファイルの案内音声を利用者に提供する。その結果、利用者は、音声ＡＲの実行を求める対象物として判断されるまでの判断時間の経過状況を認識できる。

実施例２の音声ＡＲ装置２０Ａは、フレームタイム毎に、注視先の物体の音源が徐々に近付いて来るように音源の位置座標を変え、その案内音声を利用者に提供する。そして、音声ＡＲ装置２０Ａは、最終的に、利用者の顔前に音源が定位するように、音源の位置を変える。その結果、利用者は、案内音声が徐々に近づいて来ることで判断時間の経過状況を認識できる。

しかも、音声ＡＲ装置２０Ａは、注視先の物体の音源を徐々に利用者に近付けることで判断時間の経過状況を利用者に知らせる。その結果、利用者は、判断時間が経過する前に音声ＡＲをキャンセルできる時間を認識できる。

尚、上記実施例１及び２では、わき見状態を検出して注視先の物体を対象物と判断するまでの判断時間を減少方向に調整するようにしたが、わき見状態に限定されるものではなく、例えば歩行中に立ち止まるような行動もより強い注視行動と言える。そこで、このような注視行動を判断する判断時間を調整する実施の形態につき、実施例３として以下に説明する。

図１５は、実施例３の音声ＡＲシステムの一例を示すブロック図である。尚、図１に示す音声ＡＲシステム１と同一の構成には同一符号を付すことで、その重複する構成及び動作の説明ついては省略する。図１５に示す音響システム１Ｂが図１に示す音響システム１と異なる点は、端末装置１０Ａ内に行動検出部１６を設け、注視検出部１６が注視先の物体に対する注視行動を検出した場合、判断時間をより早く経過させるように判断時間を減少方向に調整した点にある。

注視行動としては、例えば、利用者が歩行状態から立ち止まって停止状態になる行動がある。この行動は、注視先とすべき物体をより詳しく確認しようとする場合に生じることが多い行動とも言える。この場合、行動検出部１６は、例えば、利用者の歩数の変化や利用者の移動速度に基づき、歩行状態から立ち止まって停止状態になる行動を検出するものである。

また、注視行動としては、利用者が自分の手を自分の耳に近づける行動もある。自分の手を耳に近づける行動は、注視すべき物体について興味があり、耳を澄まして聴こうとする行動とも言える。この行動を検出する行動検出部１６の実現方法としては、例えば、ＮＦＣ（Near field communication）タグを手に取付け、ＮＦＣリーダをヘッドホン１４の振動板付近に配置することで実現できる。そして、行動検出部１６は、ＮＦＣリーダでＮＦＣタグのＩＤが読み取られたことを検出すると、利用者が手を耳に近づけた行動として検出できる。

行動検出部１６は、注視行動を検出した場合、通信インタフェース１５を介して音声ＡＲ装置２０Ｂ側に通知する。第１の判断部２１は、利用者の注視行動が検出されると、進行方向以外の方向に位置する物体を利用者の注視先の物体と判断する。調整部２４は、注視行動による注視先の物体と判断されると、通常の経過時間と角度θに基づく補正量の他に、注視行動に応じた補正時間ｔｓを判断時間から減算する。

次に、実施例３の音声ＡＲ装置２０Ｂの動作について説明する。図１６は、判断時間調整処理に関わる音声ＡＲ装置２０Ｂの処理動作の一例を示すフローチャートである。図１６に示す判断時間更新処理は、利用者による注視行動が検出された場合に、判断時間を注視行動に応じた補正時間ｔｓでさらに減算することで、その判断時間をさらに短くする処理である。

調整部２４は、判断時間ｔから補正時間を減算して残り時間を算出し、残り時間を新たな判断時間としてエントリ内の判断時間２５２Ｃ内に更新した後（ステップＳ１０８）、利用者による注視行動が検出されたか否かを判定する（ステップＳ１１１）。調整部２４は、利用者による注視行動が検出された場合（ステップＳ１１１肯定）、判断時間テーブル２５２の該当エントリの判断時間２５２Ｃ内の判断時間ｔから、注視行動に応じた補正時間ｔｓをさらに減算する。そして、調整部２４は、減算した判断時間を同じエントリ内の判断時間２５２Ｃ内に更新する（ステップＳ１１２）。つまり、調整部２４は、注視行動が検出された場合、フレームタイムの経過回数に応じた通常の経過時間と角度θに基づく補正量とを加算した補正時間の他、さらに注視行動に応じた補正時間ｔｓを判断時間から減算する。

調整部２４は、ステップＳ１１２にて判断時間ｔを更新した後、判断時間ｔが０秒以下であるか否かを監視すべく、ステップＳ１０４に移行する。調整部２４は、利用者による注視行動が検出されなかった場合（ステップＳ１１１否定）、ステップＳ１０４に移行する。

図１６の判断時間更新処理の調整部２４は、注視行動を検出した場合、注視行動に応じた補正時間ｔｓを加えることで補正時間が増し、判断時間の減算量が増え、その判断時間を短くする。その結果、音声ＡＲの実行を求める対象物を速やかに判断できる。

実施例３の音声ＡＲ装置２０Ｂは、利用者による注視行動が検出された場合に、進行方向と顔の向きとの角度θに応じた補正量を含む補正時間の他に、注視行動に応じた補正時間ｔｓも加え、その判断時間を減算する補正時間が増える。補正時間が増えることで判断時間の減算量も増えるため、その判断時間を短くできる。対象物を速やかに判断できる。しかも、利用者の前方不注意の状況が短くなり、利用者の利便性が増す。

また、音声ＡＲ装置２０Ｂは、注視している物体を立ち止まって確認しようとする利用者の行動を注視行動として検出し、より多くの補正時間を判断時間から減算して判断時間を短くする。その結果、音声ＡＲの実行を求める対象を速やかに判断できる。

さらに、音声ＡＲ装置２０Ｂは、注視している物体の音を聴こうとする利用者の行動を注視行動として検出し、より多くの補正時間を判断時間から減算することにより、音声ＡＲの実行を求める対象を速やかに判断できる。

尚、実施例３の音声ＡＲ装置２０Ｂに、図１１に示す設定部２８及び音源位置テーブル２５３を内蔵し、注視先の物体を検出したタイミングから判断時間が経過するまでの経過状況を音源位置の変化で利用者に知らせるようにしても良い。この場合、利用者は、音声ＡＲの実行を求める対象として判断されるまでの時間を把握することができ、利用者の利便性を高めることができる。

また、行動検出部１６は、複数種類の行動、例えば、上記の歩行状態から立ち止まって停止状態になる行動と手を自分の耳に近づける行動との両方の行動を検出しても良い。行動検出部１６が両方の行動を検出した場合、調整部２４は、１種類の行動を検出した場合よりも補正時間を増加するようにしても良い。

ところで、利用者が同じ物体を継続して注視している場合でも、利用者の姿勢は、常にぴたりと止まっているとは限らない。したがって、利用者が進行方向を向いているつもりでも進行方向と顔の向きとが成す角度θにズレが生じる。そこで、音声ＡＲ装置２０（２０Ａ，２０Ｂ）では、角度θにズレがあっても利用者の進行方向と顔の方向とが一致していると扱うように誤差範囲を設け、角度θが誤差範囲内にある場合には当該角度θが０度と判断する機能を第１の判断部２１に設けてもよい。

図１７は、角度の誤差範囲の一例を示す説明図である。図１７において、音声ＡＲ装置２０は、利用者ｈの進行方向及び顔の向きが矢印ＹＢ１と同一で進行方向と顔の向きとが成す角度θが所定の角度±Δφの誤差範囲内にあるか否かを判定する。音声ＡＲ装置２０は、顔の向きと進行方向とがなす角度θが０度でなくても進行方向を注視していると判断する。音声ＡＲ装置２０は、角度θが誤差範囲内にない場合、利用者が進行方向を向いておらず、顔の向きが注視先であると判断する。

また、利用者ｈの位置座標（Ｘｈ，Ｙｈ）から利用者の進行方向（矢印ＹＢ１）を角度＝０度とし、利用者の顔の向きを注視方向の角度φとした場合に、その角度から所定の角度±Δφの範囲を注視先範囲として設定してもよい。音声ＡＲ装置２０の第１判断部２１は、設定された角度±Δφの注視先範囲に応じて、利用者ｈの位置座標（Ｘｈ，Ｙｈ）及び顔の向き（矢印ＹＢ２の方向）に基づき、注視先範囲内の物体の位置座標を抽出する。

つまり、第１の判断部２１は、注視方向の注視先範囲に物体の位置座標を抽出した場合、抽出された物体を注視先の物体と判断するため、注視方向が物体の存在する方向と完全に一致していなくても、その物体を注視先の物体と判断できる。

図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散又は統合して構成できる。

更に、各装置で行われる各種処理機能は、ＣＰＵ（Central Processing Unit）（又はＭＰＵ（Micro Processing Unit）、ＭＣＵ(Micro Control Unit)等のマイクロ・コンピュータ）上で、その全部又は任意の一部を実行するようにしても良い。また、各種処理機能は、ＣＰＵ（又はＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行するプログラム上、又はワイヤードロジックによるハードウェア上で、その全部又は任意の一部を実行するようにしても良いことは言うまでもない。

ところで、本実施例で説明した各種の処理は、予め用意されたプログラムを情報処理装置で実行することでも実現できる。そこで、以下では、上記実施例と同様の機能を有するプログラムを実行する情報処理装置の一例を説明する。図１８は、音響処理プログラムを実行する情報処理装置の一例について説明するための図である。

図１８に示す音響処理プログラムを実行する情報処理装置１００は、操作部１０１、ＲＯＭ１０４、ＣＰＵ１０５、ＲＡＭ１０６、ＨＤＤ１０７及び通信部１０８を有する。

そして、ＨＤＤ１０７には、上記実施例と同様の機能を発揮する音響処理プログラムが予め記憶されている。尚、ＨＤＤ１０７ではなく、ＲＯＭ１０６に音響処理プログラムが記憶されていても良い。また、音響処理プログラムを記憶する記憶媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＳＤカード等の可搬型記憶媒体、フラッシュメモリ等の半導体メモリ等でも良い。音響処理プログラムは、図１８に示すように、第１の判断プログラム１１７、第２の判断プログラム１２７、生成プログラム１３７及び調整プログラム１４７である。尚、これらのプログラム１１７，１２７，１３７及び１４７については、適宜統合又は分散しても良い。

ＣＰＵ１０５は、これらのプログラム１１７，１２７，１３７及び１４７をＨＤＤ１０７から読出し、これら読出された各プロセスをＲＡＭ１０６上で実行する。そして、ＣＰＵ１０５は、図１８に示すように、各プログラム１１７，１２７，１３７及び１４７を、第１の判断プロセス１１６、第２の判断プロセス１２６、生成プロセス１３６及び調整プロセス１４７として機能させる。

ＣＰＵ１０５は、利用者の進行方向と前記利用者の身体の向きとに基づき、前記利用者の周囲の物体の内、任意の物体を前記利用者の注視先の物体と判断する。ＣＰＵ１０５は、前記注視先の物体と判断されたタイミングから所定の判断時間を経過した場合に、当該注視先の物体を対象物と判断する。ＣＰＵ１０５は、前記注視先の物体が前記対象物と判断された場合に、前記対象物に対応した音源の音声を前記対象物の位置に関連付けて出力する音響信号を生成する。ＣＰＵ１０５は、前記利用者の進行方向と前記利用者の身体の向きとの違いに基づき、前記所定の判断時間が経過するまでの残り時間を減少方向に調整する。その結果、立体音響による案内音声を求める対象物を速やかに判断できる。

以上、本実施例を含む実施の形態に関し、更に以下の付記を開示する。

（付記１）利用者の状態に基づき、前記利用者の周囲の物体の内、任意の物体を前記利用者の注視先の物体と判断する第１の判断部と、
前記注視先の物体と判断されたタイミングから所定の判断時間を経過した場合に、当該注視先の物体を対象物と判断する第２の判断部と、
前記注視先の物体が前記対象物と判断された場合に、前記対象物に対応した音源の音声を前記対象物の位置に関連付けて出力する音響信号を生成する生成部と、
前記利用者の進行方向と前記利用者の身体の向きとの違いに基づき、前記所定の判断時間が経過するまでの残り時間を減少方向に調整する調整部と
を有することを特徴とする音響装置。

（付記２）前記調整部は、
所定周期毎に前記残り時間を減少方向に調整し、当該調整した残り時間を新たな判断時間として設定し、
前記第２の判断部は、
前記調整部で設定された新たな判断時間を経過した場合に、前記注視先の物体を前記対象物と判断することを特徴とする付記１に記載の音響装置。

（付記３）前記第１の判断部が、前記利用者の進行方向と前記利用者の身体の向きとに基づき、前記任意の物体を前記利用者の注視先の物体と判断することを特徴とする付記１又は２に記載の音響装置。

（付記４）前記調整部は、
前記第１の判断部にて前記進行方向以外の方向に位置する物体を前記利用者の注視先の物体と判断された場合に、前記利用者の進行方向と前記利用者の身体の向きとの違いに基づき、前記残り時間を減少させることを特徴とする付記３に記載の音響装置。

（付記５）前記調整部は、
前記利用者の進行方向と前記利用者の身体の向きとが成す角度に基づき、前記残り時間を減少させることを特徴とする付記４に記載の音響装置。

（付記６）前記利用者の注視先の物体に対応した音源を仮想的に定位させる位置座標を設定する設定部
を有し、
前記設定部が、前記残り時間に合わせて注視先の物体に対応した音源が利用者に近づくように音源の位置座標を設定することを特徴とする付記１〜５の何れか一つに記載の音響装置。

（付記７）前記第１の判断部は、
前記利用者の注視行動が検出されると、前記進行方向以外の方向に位置する物体を前記利用者の注視先の物体と判断し、
前記調整部は、
前記第１の判断部にて前記利用者の注視行動による前記進行方向以外の方向に位置する物体を前記利用者の注視先の物体と判断された場合に、前記残り時間を更に減少させることを特徴とする付記１〜５の何れか一つに記載の音響装置。

（付記８）前記第１の判断部は、
前記利用者の前記進行方向への移動状態から停止状態になる行動を前記利用者の注視行動として検出することを特徴とする付記７に記載の音響装置。

（付記９）前記第１の判断部は、
前記利用者の手と当該利用者の耳との間の距離を所定距離よりも短くする行動を前記利用者の注視行動として検出することを特徴とする付記７に記載の音響装置。

（付記１０）利用者の状態に基づき、前記利用者の周囲の物体の内、任意の物体を前記利用者の注視先の物体と判断する第１の判断部と、
前記注視先の物体と判断されたタイミングから所定の判断時間を経過した場合に、当該注視先の物体を対象物と判断する第２の判断部と、
前記注視先の物体が前記対象物と判断された場合に、前記対象物の位置から当該対象物に対応した音源の音声を出力する音響信号を生成する生成部と、
前記利用者の進行方向と前記利用者の身体の向きとの違いに基づき、前記所定の判断時間が経過するまでの残り時間を減少方向に調整する調整部と
を有することを特徴とする拡張現実音響装置。

（付記１１）利用者が携帯する端末装置と、前記利用者の周囲の物体に対応した音源からの音声を含む音響信号を前記端末装置に提供する音響装置とを有し、
前記端末装置は、
前記利用者の状態を検出する検出部と、
前記音響信号を音響出力する音響出力部と
を有し、
前記音響装置は、
前記利用者の状態に基づき、前記利用者の周囲の物体の内、任意の物体を前記利用者の注視先の物体と判断する第１の判断部と、
前記注視先の物体と判断されたタイミングから所定の判断時間を経過した場合に、当該注視先の物体を対象物と判断する第２の判断部と、
前記注視先の物体が前記対象物と判断された場合に、前記対象物に対応した音源の音声を前記対象物の位置に関連付けて出力する音響信号を生成する生成部と、
前記利用者の進行方向と前記利用者の身体の向きとの違いに基づき、前記所定の判断時間が経過するまでの残り時間を減少方向に調整する調整部と
を有することを特徴とする音響システム。

（付記１２）情報処理装置が、
利用者の状態に基づき、前記利用者の周囲の物体の内、任意の物体を前記利用者の注視先の物体と判断し、
前記注視先の物体と判断されたタイミングから所定の判断時間を経過した場合に、当該注視先の物体を対象物と判断し、
前記注視先の物体が前記対象物と判断された場合に、前記対象物に対応した音源の音声を前記対象物の位置に関連付けて出力する音響信号を生成し、
前記利用者の進行方向と前記利用者の身体の向きとの違いに基づき、前記所定の判断時間が経過するまでの残り時間を減少方向に調整する
処理を実行することを特徴とする音響処理方法。

（付記１３）情報処理装置に、
利用者の状態に基づき、前記利用者の周囲の物体の内、任意の物体を前記利用者の注視先の物体と判断し、
前記注視先の物体と判断されたタイミングから所定の判断時間を経過した場合に、当該注視先の物体を対象物と判断し、
前記注視先の物体が前記対象物と判断された場合に、前記対象物に対応した音源の音声を前記対象物の位置に関連付けて出力する音響信号を生成し、
前記利用者の進行方向と前記利用者の身体の向きとの違いに基づき、前記所定の判断時間が経過するまでの残り時間を減少方向に調整する
処理を実行させることを特徴とする音響処理プログラム。

１、１Ａ、１Ｂ 音声ＡＲシステム
１０、１０Ａ 端末装置
１１ 位置検出部
１２ 向き検出部
１３ 進行方向検出部
１４ ヘッドホン
１６ 行動検出部
２０、２０Ａ、２０Ｂ 音声ＡＲ装置
２１ 第１の判断部
２２ 第２の判断部
２３ 音声制御部
２４ 調整部
２５ 記憶部
２５１ 音源テーブル
２５２ 判断時間テーブル
２５３ 音源位置テーブル

Claims (10)

1. 利用者の状態に基づき、前記利用者の周囲の物体の内、任意の物体を前記利用者の注視先の物体と判断する第１の判断部と、
   前記注視先の物体と判断されたタイミングから所定の判断時間を経過した場合に、当該注視先の物体を対象物と判断する第２の判断部と、
   前記注視先の物体が前記対象物と判断された場合に、前記対象物に対応した音源の音声を前記対象物の位置に関連付けて出力する音響信号を生成する生成部と、
   前記利用者の進行方向と前記利用者の身体の向きとの違いに基づき、前記所定の判断時間が経過するまでの残り時間を減少方向に調整する調整部と
   を有することを特徴とする音響装置。
2. 前記調整部は、
   所定周期毎に前記残り時間を減少方向に調整し、当該調整した残り時間を新たな判断時間として設定し、
   前記第２の判断部は、
   前記調整部で設定された新たな判断時間を経過した場合に、前記注視先の物体を前記対象物と判断することを特徴とする請求項１に記載の音響装置。
3. 前記第１の判断部が、前記利用者の進行方向と前記利用者の身体の向きとに基づき、前記任意の物体を前記利用者の注視先の物体と判断することを特徴とする請求項１又は２に記載の音響装置。
4. 前記調整部は、
   前記第１の判断部にて前記進行方向以外の方向に位置する物体を前記利用者の注視先の物体と判断された場合に、前記利用者の進行方向と前記利用者の身体の向きとの違いに基づき、前記残り時間を減少させることを特徴とする請求項３に記載の音響装置。
5. 前記調整部は、
   前記利用者の進行方向と前記利用者の身体の向きとが成す角度に基づき、前記残り時間を減少させることを特徴とする請求項４に記載の音響装置。
6. 前記利用者の注視先の物体に対応した音源を仮想的に定位させる位置座標を設定する設定部
   を有し、
   前記設定部が、前記残り時間に合わせて注視先の物体に対応した音源が利用者に近づくように音源の位置座標を設定することを特徴とする請求項１〜５の何れか一つに記載の音響装置。
7. 前記第１の判断部は、
   前記利用者の注視行動が検出されると、前記進行方向以外の方向に位置する物体を前記利用者の注視先の物体と判断し、
   前記調整部は、
   前記第１の判断部にて前記利用者の注視行動による前記進行方向以外の方向に位置する物体を前記利用者の注視先の物体と判断された場合に、前記残り時間を更に減少させることを特徴とする請求項１〜５の何れか一つに記載の音響装置。
8. 利用者が携帯する端末装置と、前記利用者の周囲の物体に対応した音源からの音声を含む音響信号を前記端末装置に提供する音響装置とを有し、
   前記端末装置は、
   前記利用者の状態を検出する検出部と、
   前記音響信号を音響出力する音響出力部と
   を有し、
   前記音響装置は、
   前記利用者の状態に基づき、前記利用者の周囲の物体の内、任意の物体を前記利用者の注視先の物体と判断する第１の判断部と、
   前記注視先の物体と判断されたタイミングから所定の判断時間を経過した場合に、当該注視先の物体を対象物と判断する第２の判断部と、
   前記注視先の物体が前記対象物と判断された場合に、前記対象物に対応した音源の音声を前記対象物の位置に関連付けて出力する音響信号を生成する生成部と、
   前記利用者の進行方向と前記利用者の身体の向きとの違いに基づき、前記所定の判断時間が経過するまでの残り時間を減少方向に調整する調整部と
   を有することを特徴とする音響システム。
9. 情報処理装置が、
   利用者の状態に基づき、前記利用者の周囲の物体の内、任意の物体を前記利用者の注視先の物体と判断し、
   前記注視先の物体と判断されたタイミングから所定の判断時間を経過した場合に、当該注視先の物体を対象物と判断し、
   前記注視先の物体が前記対象物と判断された場合に、前記対象物に対応した音源の音声を前記対象物の位置に関連付けて出力する音響信号を生成し、
   前記利用者の進行方向と前記利用者の身体の向きとの違いに基づき、前記所定の判断時間が経過するまでの残り時間を減少方向に調整する
   処理を実行することを特徴とする音響処理方法。
10. 情報処理装置に、
    利用者の状態に基づき、前記利用者の周囲の物体の内、任意の物体を前記利用者の注視先の物体と判断し、
    前記注視先の物体と判断されたタイミングから所定の判断時間を経過した場合に、当該注視先の物体を対象物と判断し、
    前記注視先の物体が前記対象物と判断された場合に、前記対象物に対応した音源の音声を前記対象物の位置に関連付けて出力する音響信号を生成し、
    前記利用者の進行方向と前記利用者の身体の向きとの違いに基づき、前記所定の判断時間が経過するまでの残り時間を減少方向に調整する
    処理を実行させることを特徴とする音響処理プログラム。

Images