JP6263098B2 - 仮想音源を提供情報位置に配置する携帯端末、音声提示プログラム及び音声提示方法 - Google Patents

Description

本発明は、ユーザに携帯される端末を介して情報を配信する技術に関する。

現在、携帯電話、スマートフォン等の次に普及する携帯端末として、様々なウェアラブル型情報通信端末（ウェアラブル端末）が提案されている。その中でも特に、マルチメディアコンテンツを出力することが可能なディスプレイおよびヘッドホンを搭載し、頭部に装着可能なタイプのウェアラブル端末が注目されている。

このウェアラブル端末を含む携帯端末は、外出先でもインターネットに接続でき、多種多様な情報にアクセスできる。特に、内蔵されたセンシングデバイスを利用し、端末（ユーザ）の現在位置や向き（見ている方向）を特定することによって、ユーザの所在する場所に紐づけられた情報にアクセスすることができる端末も多い。ここで、ユーザの現在位置は、例えば、内蔵されたＧＰＳ（Global Positioning System）センサやiBeacon（登録商標）対応のBluetooth（登録商標）インタフェースを利用して計測することができる。また、ユーザの向きは、例えば、内蔵された地磁気（方位）センサやジャイロセンサを利用して計測可能となっている。

さらに、現実世界をカメラで撮影した映像に対し、仮想情報を重畳させた上でディスプレイに表示するＡＲ（Augmented Reality）技術を活用したウェアラブル端末も注目されている。例えば、特許文献1では、携帯端末が、内蔵カメラで撮影された映像の情報と撮影方向とをサーバに送信し、サーバが、携帯端末の位置及び方向、並びに撮影された現実世界に含まれる対象物を把握し、重畳するのにふさわしい仮想情報を読み出して携帯端末に送信する技術が開示されている。ここで、携帯端末は、受信した仮想情報を、撮影された現実世界の映像に重畳させて表示する。

ちなみに、この仮想情報は、緯度経度といった位置情報や、当該緯度経度の位置から見た現実世界での対象物の存在する方位に関する情報も含む。また、実際に表示される仮想情報としては、例えば、現実世界に存在する店舗の呼び込み広告、複合施設内の店舗案内情報や、経路案内情報等が挙げられる。さらに、これらの情報には、現実世界に存在する施設を管理する企業等が制作、管理、配信する情報だけでなく、一般利用者による口コミの情報、つぶやき、お知らせ等、いわゆるＣＧＭ（Consumer Generated Media）も含まれる。

さらに、マルチメディアコンテンツへの対応技術として、例えば特許文献２では、映像データと音声データとが同時に含まれた複数のコンテンツから所望のコンテンツを選択可能なマルチメディア装置が開示されている。この装置では、複数の映像データを同時に表示するとともに、それぞれに対応する音声データを同時に再生し、音声データの再生音が、互いに異なる方向若しくは位置から、又は互いに異なる音量で聞こえるようにしている。これは、所望のコンテンツを、表示中の映像によってのみならず、再生音によっても選択することを意図したものである。

また、特許文献３は、自動車の乗員に、例えば警告音の起因する部位を瞬時に知らせる報知音を出力可能な車両用報知音出力装置を開示している。この装置は、自車が移動している状態において、例えば障害物の存在を報知する報知音が注力すべき方向から移動して聞こえるように、仮想音源の定位置を移動させる制御を行う。報知音による報知の対象としては、他車等の障害物、ナビゲーション装置によって案内される目標物、自車の半ドア状態、タイヤの空気圧等の状態、ライトの故障状態等が想定されている。さらに、報知音は、電子音やブザー音に限定されず、音声でもよいとされている。

さらに、この装置では、乗員の注意を効果的に引きつけられるように、仮想音源の位置を注力すべき方向に沿って移動させたり、乗員から見て前後、左右、上下方向や、錐体状に移動させたり、さらには往復させたりする制御も行われる。

特開２０１１−２４２８１６号公報 特開２０１２−２５３４３９号公報 特開２００６−５８６８号公報

しかしながら、特許文献１〜３に記載されたような従来技術では、ユーザの所持する端末の位置に関係した配信すべき種々の情報を、直観的に識別できる形で且つ効果的に提供することは、尚、困難である。

例えば、特許文献1に記載の技術では、カメラで撮影された現実世界に対して大量の仮想情報が存在する場合、携帯端末のディスプレイの画面一杯に仮想情報が提示されてしまう。この際、確かに、ユーザ位置から所定の距離範囲に位置する仮想情報のみを取り扱うことによって、表示数を限定することは可能である。しかしながら、その距離範囲は、一般に、ユーザの現在位置を中心とした領域に限定される。従って、この領域外、即ちユーザから見て遠方に位置する仮想情報は、ユーザ自身がその近くにまで移動しない限り取得することができない。ここで、仮想情報を取り扱う領域をユーザ操作によって移動させる機能を端末に付与することも考えられるが、ウェアラブル端末を装着した状況において、そのような操作は煩雑なものとなってしまう。

また、特許文献1に記載の技術のように、複数の仮想情報をユーザの視覚に一度に訴える状況では、特に仮想情報が文字・記号等で表記されている場合、ユーザがそれらの仮想情報の内容を識別するのには、相応の時間がかかってしまう。ここで、ユーザが解読に要する時間のみならず、視線（焦点）を１つ１つに向けて移動させる時間も小さくない。

これに対し、特許文献２および特許文献３に記載の技術では、音を利用してユーザに伝達すべき情報を提示している。具体的には、音が聞こえる方向／位置を変更して、音の存在をユーザに気付かせたり、他の音との区別を支援したりしている。しかしながら、ユーザの所持する端末の位置に関係した配信すべき種々の情報を、効果的に提示してユーザに気付かせる仕組みは何ら検討されておらず、考慮されてもいない。

特に、ウェアラブル端末を装着した状況で、歩行中や作業中等、視線が何らかの対象に向けられていたり、両手が塞がったりしている状態でも、端末位置に関係した配信情報を、ユーザに適宜気付かれ、さらには選択可能なように提示することが強く求められる。

そこで、本発明は、ユーザの所持する端末の位置に関係した提供すべき情報を、直観的に識別される形で、且つ情報発信元への到達機会を増加させる形で提示することが可能な携帯端末、システム、プログラム及び方法を提供することを目的とする。

本発明によれば、ユーザに音声を提示可能な携帯端末であって、
この携帯端末の位置を測定する測位部と、
この携帯端末の方位を測定する方位センサと、
提供情報毎に当該提供情報に係る位置である提供情報位置を対応付けた対応データを保存する対応データ保存部と、
取得した対応データ内の提供情報毎に、測定された位置及び方位と当該提供情報に対応付けられた提供情報位置との関係に基づき、所定の又は当該提供情報に対応する提示音声を発生させる仮想音源を、提供情報位置に対応するユーザの聴覚空間内での位置及び方向に配置する仮想音源配置・制御手段と、
配置された仮想音源に係る提示音声を、仮想音源から発生したように出力させる音声出力制御手段と、
測定された位置及び方位の少なくとも一方の時間変化に基づいて、ユーザが、提示音声の出力後に、提示音声を発生させた仮想音源の位置に対応する提供情報位置の方に向いたか否かを判定し、測定された位置と提供情報位置との距離の時間変化に基づいて、ユーザが、提示音声の出力後に、提示音声を発生させた仮想音源の位置に対応する提供情報位置に向かったか否かを判定する興味検出・判定手段と、
ユーザが提供情報位置の方に向いて且つ提供情報位置に向かったと判定されたその提供情報位置の対応先である提供情報を出力させる提供情報制御手段と
を有し、
仮想音源配置・制御手段は、ユーザが提供情報位置の方に向いたと判定されたその提供情報位置に係る仮想音源の聴覚空間での位置を、聴覚空間の中心であるユーザに近づくように、又は近づいたり離れたりするように移動させる
ことを特徴とする携帯端末が提供される。

さらに、本発明の携帯端末における他の実施形態として、仮想音源配置・制御手段は、ユーザが提供情報位置の方に向いたとの興味検出・判定手段による判定に係る提示音声を発生させた仮想音源の位置及び／又は出力を、ユーザを誘導するように変化させることも好ましい。

また、本発明の携帯端末における更なる他の実施形態として、仮想音源配置・制御手段は、ユーザが提供情報位置の方に向いて且つ提供情報位置に向かったとの興味検出・判定手段による判定に係る提示音声を発生させた仮想音源の位置及び／又は出力を、ユーザを誘導するように変化させることも好ましい。

ここで、上述した仮想音源を変化させる態様として、仮想音源配置・制御手段は、興味検出・判定手段による真の判定に係る提示音声を発生させた仮想音源の位置を、聴覚空間内でずらす、又は所定の変位パターンをもって移動させることも好ましい。

さらに、本発明の携帯端末では、仮想音源配置・制御手段は、聴覚空間において前方軸を基準として所定の角度範囲内に入らない位置及び方向に配置された仮想音源を選択し、
音声出力制御手段は、選択された仮想音源に係る提示音声を、この仮想音源から発生したように出力させることも好ましい。

また、本発明の携帯端末における更なる他の実施形態として、仮想音源配置・制御手段は、配置された２つの仮想音源の聴覚空間内での距離が所定閾値内である、又は方向が所定角度範囲内である場合、これら２つの仮想音源のうちの少なくとも１つの位置をずらすか、又はこれら２つの仮想音源における提示音声の発生時点を異ならせることも好ましい。

さらに、本発明の携帯端末では、ユーザにとって、移動中又は非移動中にかかわらず、提示音声が、提示音声を発生させた仮想音源の位置に対応する提供情報位置に存在する対象から発生したように聞こえることも好ましい。

本発明によれば、また、以上に述べた携帯端末と、この携帯端末とネットワークを介して通信するサーバとを有するシステムであって、
本サーバは、対応データを蓄積する対応データ蓄積部と、蓄積された対応データを携帯端末宛てに送信可能なサーバ通信制御手段とを有し、
本携帯端末は、サーバから対応データを受信し、受信した対応データを対応データ保存部に保存させる端末通信制御手段を更に有する音声提示システムが提供される。

本発明によれば、さらに、ユーザに音声を提示可能な携帯端末に搭載されたコンピュータを機能させる音声提示プログラムであって、
本携帯端末は、この携帯端末の位置を測定する測位部と、この携帯端末の方位を測定する方位センサと、提供情報毎に当該提供情報に係る位置である提供情報位置を対応付けた対応データを保存する対応データ保存部とを有し、
本音声提示プログラムは、
取得した対応データ内の提供情報毎に、測定された位置及び方位と当該提供情報に対応付けられた提供情報位置との関係に基づき、所定の又は当該提供情報に対応する提示音声を発生させる仮想音源を、提供情報位置に対応するユーザの聴覚空間内での位置及び方向に配置する仮想音源配置・制御手段と、
配置された仮想音源に係る提示音声を、仮想音源から発生したように出力させる音声出力制御手段と、
測定された位置及び方位の少なくとも一方の時間変化に基づいて、ユーザが、提示音声の出力後に、提示音声を発生させた仮想音源の位置に対応する提供情報位置の方に向いたか否かを判定し、測定された位置と提供情報位置との距離の時間変化に基づいて、ユーザが、提示音声の出力後に、提示音声を発生させた仮想音源の位置に対応する提供情報位置に向かったか否かを判定する興味検出・判定手段と、
ユーザが提供情報位置の方に向いて且つ提供情報位置に向かったと判定されたその提供情報位置の対応先である提供情報を出力させる提供情報制御手段と
してコンピュータを機能させ、
仮想音源配置・制御手段は、ユーザが提供情報位置の方に向いたと判定されたその提供情報位置に係る仮想音源の聴覚空間での位置を、聴覚空間の中心であるユーザに近づくように、又は近づいたり離れたりするように移動させる
ことを特徴とする音声提示プログラムが提供される。

本発明によれば、さらにまた、携帯端末において実施される音声提示方法であって、
本携帯端末は、この携帯端末の位置を測定する測位部と、この携帯端末の方位を測定する方位センサと、提供情報毎に当該提供情報に係る位置である提供情報位置を対応付けた対応データを保存する対応データ保存部とを有し、
本音声提示方法は、
取得した対応データ内の提供情報毎に、測定された位置及び方位と当該提供情報に対応付けられた提供情報位置との関係に基づき、所定の又は当該提供情報に対応する提示音声を発生させる仮想音源を、提供情報位置に対応するユーザの聴覚空間内での位置及び方向に配置するステップと、
配置された仮想音源に係る提示音声を、仮想音源から発生したように出力させるステップと、
測定された位置及び方位の少なくとも一方の時間変化に基づいて、ユーザが、提示音声の出力後に、提示音声を発生させた仮想音源の位置に対応する提供情報位置の方に向いたか否かを判定するステップと、
ユーザが提供情報位置の方に向いたと判定されたその提供情報位置に係る仮想音源の聴覚空間での位置を、聴覚空間の中心であるユーザに近づくように、又は近づいたり離れたりするように移動させるステップと、
測定された位置と提供情報位置との距離の時間変化に基づいて、ユーザが、提示音声の出力後に、提示音声を発生させた仮想音源の位置に対応する提供情報位置に向かったか否かを判定するステップと、
ユーザが提供情報位置の方に向いて且つ提供情報位置に向かったと判定されたその提供情報位置の対応先である提供情報を出力させるステップと
を有する音声提示方法が提供される。

本発明の携帯端末、音声提示システム、音声提示プログラム及び音声提示方法によれば、ユーザの所持する端末の位置に関係した提供すべき情報を、直観的に識別される形で、且つ情報発信元への到達機会を増加させる形で提示することができる。

本発明による音声提示システムの一実施形態を示す模式図である。 ウェアラブル端末及びサーバの一実施形態における機能構成を示す機能ブロック図である。 本発明に係る仮想音源の制御についての一実施形態を示す模式図である。 本発明に係る仮想音源の制御についての他の実施形態を示す模式図である。 本発明に係る仮想音源の制御についての更なる他の実施形態を示す模式図である。 本発明による音声提示方法の一実施形態を示すフローチャートである。

以下では、本発明の実施の形態について、図面を用いて詳細に説明する。

［音声提示システム］
図１は、本発明による音声提示システムの一実施形態を示す模式図である。

図１によれば、本実施形態の音声提示システムは、
（ａ）本発明の携帯端末であるウェアラブル端末１と、
（ｂ）アクセスネットワーク及びインターネットを介してウェアラブル端末１と通信可能なサーバ２と
を有している。

ここで、ウェアラブル端末１は、左右の耳それぞれに向けて音声を出力する２つのスピーカ部を備えた、オーバーヘッド型、インナーイヤー型、ネックバンド型又は耳掛け型等のヘッドホン端末である。ウェアラブル端末１は、また、サーバ２からＰＯＩ（Point Of Interest）データを受信可能な端末通信制御手段を有している。ここで、ＰＯＩとは、広告等の情報をユーザに提示・配信する場面において、ユーザが興味を持つ（若しくは興味を持ち得る）又は目的とする（若しくは目的とし得る）場所のことである。また、ＰＯＩデータは、ユーザに提供すべき提供情報（配信情報）毎に当該提供情報に係る位置（例えば情報発信元の位置）である提供情報位置を対応付けた対応データとなる。

図１によれば、具体的に、ＰＯＩデータは、ウェアラブル端末１を装着した歩行中のユーザから見て前方左側に位置する野球スタジアムにおける試合に関する情報である提供情報と、当該スタジアムの現実空間での所在位置（例えば緯度経度）の情報である提供情報位置とを対応付けたデータである。また、ウェアラブル端末１を装着した歩行中のユーザから見て前方右側に位置する小売店におけるバーゲンセールに関する情報と、当該小売店の所在位置（例えば緯度経度）の情報とを対応付けたデータとすることもできる。さらに、ウェアラブル端末１を装着した歩行中のユーザの背後（後方）に位置する鉄道駅における路線情報と、当該鉄道駅の所在位置（例えば緯度経度）の情報とを対応付けたデータであってもよい。

一方、サーバ２は、多数のＰＯＩデータ（対応データ）を蓄積しており、さらに、蓄積したＰＯＩデータをウェアラブル端末１宛てに送信可能なサーバ通信制御手段を有している。尚、ＰＯＩデータの送受信のための通信網であるアクセスネットワークは、例えばＷｉ−Ｆｉ（登録商標）等の無線ＬＡＮ、ＷｉＭＡＸ(Worldwide Interoperability for Microwave Access)、ＬＴＥ(Long Term Evolution)、又は３Ｇ(3rd Generation)といった通信事業者網とすることができる。

ここで、本実施形態のウェアラブル端末１は、当該端末１を装着したユーザに音声を提示可能であって、
（ａ）ウェアラブル端末１の「位置及び方位」を測定し、
（ｂ）サーバ２からＰＯＩデータを受信・取得して保存し、
（ｃ）取得したＰＯＩデータ内の提供情報毎に、測定された「位置及び方位」と当該提供情報に対応付けられた「提供情報位置」との関係に基づき、所定の又は当該提供情報に対応する提示音声を発生させる仮想音源３を配置し、
（ｄ）配置された仮想音源３に係る提示音声を、この仮想音源３から発生したように出力する
ことに特徴を有する。

このうち（ｃ）において、仮想音源３は、同じく図１に示すように、「提供情報位置」に対応するユーザの「聴覚空間」内での位置又は方向に配置される。ここで、ユーザの「聴覚空間」は、ユーザが外部の音源から発生した音声を、左右の耳における聴覚で認識した際に、ユーザ自身によって当該音源が存在していると認識される位置のなす空間（集合）である。「聴覚空間」は前方軸を有し、ユーザが自らの正面に存在する音源からの音声を聞いた際、ユーザは、聴覚によって、当該音源がこの前方軸上に存在すると認識する。

これにより、ユーザにとって、移動中又は非移動中にかかわらず、提示音声が、この提示音声を発生させた仮想音源３の位置に対応する「提供情報位置」に存在する対象から発生したように聞こえることになる。一実施例として、図１に示すように、移動中のユーザにおいて、前方（進行方向）左側から、即ち現実空間での野球スタジアムの位置する方向から「＊＊開始１８：３０！」との音声情報が聞こえ、また、前方（進行方向）右側から、即ち現実空間での小売店の位置する方向から「＊＊セール！」との音声情報が同時に聞こえ、さらに、後方（背後）から、即ち現実空間での鉄道駅の位置する方向から「＊＊遅延発生！」との音声情報が同じく同時に聞こえる。

尚、本発明において「提示音声」は、人の音声のみならず、音楽や電子音、自然物の音等、ユーザに提示可能な音ならば全ての音を含むものとする。

このように、ユーザは、複数の提示音声を、聴覚空間での聞こえてくる位置／方向がそれぞれ異なる形で、一括して直観的に認識することができる。例えば、文字等の仮想視覚情報がユーザの視野内に提示される場合と比較すると、提示音声は解読する必要がないので、提示される情報の内容をより早く直観的に認識することができる。さらに、左右の耳を使った聴覚には視野範囲のような限定された空間範囲が存在しないので、概ね全方位（360°）にわたって提示音声を一度に認識することができる。

ここで、配置された２つの仮想音源３の聴覚空間内での距離が所定閾値内である、又は方向が所定角度範囲内である場合、これらの仮想音源３のうちの少なくとも１つの位置をずらして両者を離隔させるか、又はこれらの仮想音源３における提示音声の発生時点を異ならせることも好ましい。これにより、ユーザは複数の提示音声をより明確に区別して聴取することが可能となる。

また、仮想音源３を上記のように本来の位置からずらした場合でも、所定時間の経過ともに、又はユーザによる所定距離の移動ともに、本来の位置に近づけて戻していくように設定されることも好ましい。これにより、本来の提供情報位置に対応した位置から提示音声が聞こえる状態を、基本的な状態とすることができる。

以上説明したように、ユーザに装着されたウェアラブル端末１は、当該端末１の位置、即ちユーザの位置に関係した提供すべき情報を、情報発信元への到達機会を増加させる形で、且つ直観的に識別できるように、ユーザへ提示することができるのである。

［携帯端末、サーバ］
図２は、ウェアラブル端末１及びサーバ２の一実施形態における機能構成を示す機能ブロック図である。

図２によれば、ウェアラブル端末１は、端末通信インタフェース１０１と、測位部１０２と、対応データ保存部１０３と、地磁気センサ１０４と、右スピーカ部１０７と、左スピーカ部１０８と、ディスプレイ１０９と、プロセッサ・メモリとを有する。ここで、ウェアラブル端末１は、ジャイロセンサ１０５と、加速度センサ１０６とを更に有することも好ましい。また、プロセッサ・メモリは、ウェアラブル端末１に搭載されたコンピュータを機能させるプログラムを実行することによって、音声提示機能を実現させる。

さらに、プロセッサ・メモリは、機能構成部として、端末位置・向き決定部１１１と、仮想音源配置・制御部１１２と、興味検出・判定部１１３と、提供情報制御部１１４と、音声出力制御部１１５と、端末通信制御部１１６とを有する。ここで、仮想音源配置・制御部１１２は、配置部１１２ａと、制御部１１２ｂとを含む。尚、図２に示したような各機能構成部を矢印で接続した処理の流れは、本発明による音声提示方法の一実施形態としても理解される。

端末通信インタフェース１０１は、サーバ２との間でのデータや信号の送受信を行う。特に、サーバ２の対応データ蓄積部２０２に蓄積された対応データ（ＰＯＩデータ）から、ウェアラブル端末１（ユーザ）の現在位置周辺の位置に係るＰＯＩデータを受信する。ここで、現在位置周辺とは、例えば当該現在位置を中心とした所定半径範囲とすることができる。

ＰＯＩデータは、提供情報毎に当該提供情報に係る位置である提供情報位置を対応付けたデータである。提供情報は、ユーザに提供・配信し得る情報ならば種々のものが該当し、例えば商品やサービスの紹介・宣伝用のテキストや画像（動画）であってもよく、鉄道の時刻表や遅延情報、さらには道路の渋滞情報や集中工事予定情報等であってもよい。さらには、プロモーションビデオや映画、ドラマ等の視聴コンテンツとすることもできる。また、提供情報位置は、提供情報に係る対象物に関係する位置であり、例えば商品のコマーシャルである提供情報については、この提供情報の提供元（発信元）である小売店の所在地（の緯度及び経度）とすることができる。

端末通信制御部１１６は、サーバ２から受信したＰＯＩデータを、対応データ保存部１０３に保存させる。ここで、端末通信制御部１１６は、定期的に、又は端末１が所定距離以上移動した際、現在位置周辺のＰＯＩデータを、サーバ２に要求して受信することも好ましい。

測位部１０２は、ＧＰＳ（Global Positioning System）衛星４からの測位電波を捕捉し、ＧＰＳ測位方式によってウェアラブル端末１の現在位置（緯度及び経度）を測定する。

対応データ保存部１０３は、ＰＯＩデータを保存する。この際、保存する形式として、提供情報の識別子（提供情報ＩＤ）毎に、提示音声（音声データＩＤ）と、提供情報位置と、発信元（提供情報の提供元）とを対応付けたテーブル形式でＰＯＩデータを保存・管理する。
〈提供情報ＩＤ〉 〈音声データＩＤ〉 〈提供情報位置〉 〈発信元〉
id1 audio1 x1,y1 source1
id2 audio2 x2,y2 source2

地磁気センサ１０４は、ウェアラブル端末１の方位を測定する方位センサとしての役割を果たす。地磁気センサ１０４は、例えば、磁気抵抗（AMR、GMR又はTMR）効果、磁気インピーダンス（MI）効果、フラックスゲート（FG）方式又はホール効果を利用して地磁気を測定する３軸タイプの地磁気計測計とすることができる。尚、この地磁気センサ１０４と加速度センサ１０６とを組み合わせて、またはジャイロセンサ１０５も更に組み合わせて、ウェアラブル端末１の方位を測定してもよい。

ジャイロセンサ１０５は、角速度を検出するジャイロスコープであって、向きの転換（変化）を検知・測定する。ジャイロセンサ１０５として、例えば、振動したアームに作用するコリオリ力による構造体の変形から角速度を検出する３軸タイプの振動ジャイロセンサを用いることができる。さらに、ジャイロセンサ１０５として、流体式ジャイロセンサ、光学式ジャイロセンサ等を採用することも可能である。

加速度センサ１０６は、加速度をベクトル量として測定する加速度測定計であり、例えばＭＥＭＳ技術を用いて形成された、例えば静電容量方式又はピエゾ抵抗方式による、３軸タイプの加速度計測計とすることができる。加速度センサ１０６として、重力加速度を測定し、端末１を装着したユーザの歩数をカウントする（移動距離を計測する）ことを可能とする加速度センサを用いることも好ましい。

因みに、以上に説明した地磁気センサ１０４、ジャイロセンサ１０５及び加速度センサ１０６は、本来、これらのセンサが固定されているウェアラブル端末１本体の方位を計測するものである。ここで、本実施形態のウェアラブル端末１はユーザの頭部に装着されるので、スピーカ部１０７及び１０８の左右（又は端末１の前後）を常に決めて装着すれば、計測された方位からユーザ（の顔）の向きが概ね一意に決定される。また、変更態様としてウェアラブル端末１が眼鏡型である場合も、計測された方位とユーザの向きとが概ね一致するように設定可能となる。

右スピーカ部１０７及び左スピーカ部１０８は、後に詳述するように配置された仮想音源３から発生した提示音声が、まさに当該仮想音源３に対応する提供情報発信元（提供情報位置）から聞こえるように設定された音響信号を入力し、対応する音声をそれぞれユーザの右耳及び左耳に向けて出力する。また、右スピーカ部１０７及び左スピーカ部１０８は、後に詳述するように、ユーザによって選択された提示音声に係る提供情報のうちの聴覚情報（音声情報）を入力し、対応する音声を出力してユーザに提供することもできる。

ディスプレイ１０９は、後に詳述するように、ユーザによって選択された提示音声に係る提供情報のうちの視覚情報（画像（動画）情報）を入力し、画面に表示してユーザに提供する。ここで、ディスプレイ１０９は、眼鏡型としてもよく、ユーザの視野内に突き出たパネル型であってもよい。

端末位置・向き決定部１１１は、測位部１０２及び地磁気センサ１０４（さらには加速度センサ１０６やジャイロセンサ１０５）からの計測信号に基づき、ウェアラブル端末１（ユーザ）の現時点での位置（例えば緯度及び経度）並びに方位（例えば北向きを基準（０°）とした反時計回りの方位角）を決定する。尚、端末１の現在位置の計測は、上述したＧＰＳによるものに限定されない。例えば、基地局又はアクセスポイントからの信号を利用した位置測位技術や、iBeacon（登録商標）対応のBluetooth（登録商標）インタフェースを利用した位置測位技術、さらには近距離無線通信技術であるＮＦＣ（Near Field Communication）による例えばユーザのタッチ行為に基づいた位置特定技術等を利用して、端末１の現在位置が計測されてもよい。

仮想音源配置・制御部１１２は、配置部１１２ａ及び制御部１１２ｂを含む。このうち、配置部１１２ａは、取得した対応データ内の提供情報毎に、測定された位置及び方位と当該提供情報に対応付けられた提供情報位置との関係に基づき、所定の又は提供情報に対応する提示音声を発生させる仮想音源３を、提供情報位置に対応するユーザの聴覚空間内での位置又は方向に配置する。

ここで、対象となる提供情報の仮想音源３を配置するとは、具体的に、
（ａ）当該提供情報の提供情報位置と、端末位置・向き決定部１１１で決定された端末１の位置及び方位とから算出される「音源相対位置」に応じた頭部伝達関数（ＨＲＴＦ）を選択し、
（ｂ）選択されたＨＲＴＦと、所定の又は対応する提示音声の音響データとの畳み込み演算を行って、右スピーカ部１０７及び左スピーカ部１０８のそれぞれに出力する音響信号を生成する
ことである。生成された音響信号を入力した右スピーカ部１０７及び左スピーカ部１０８から出力された提示音声を聞いたユーザは、移動中又は非移動中にかかわらず、この提示音声を、対応する提供情報位置に存在する対象から発生したように受聴する。即ち、上記（ａ）及び（ｂ）の処理を行うことによって、ユーザの聴覚空間内における提供情報位置に対応する位置に、仮想音源３を配置し、当該仮想音源３から当該提示音声を発生させることができる。

ここで、上記（ａ）及び（ｂ）の処理をより具体的に説明する。最初に、仮想音源配置・制御部１１２の配置部１１２ａは、ＨＲＴＦを保持している。

次いで、対象となる提供情報の「音源相対位置」を算出する。「音源相対位置」は、ユーザから見た（ユーザを中心とした）提供情報位置の相対的な位置（例えば中心（ユーザ）からの距離及び中心から見た方位角）である。即ち、ユーザの聴覚空間における情報提供位置に対応する位置である。従って、「音源相対位置」は、当該提供情報の提供情報位置と、端末位置・向き決定部１１１で決定された端末１の位置及び方位とから算出することができる。

最後に、この「音源相対位置」に関するＨＲＴＦと、対応データ保存部１０３から読み出された提示音声の音響データとを畳み込み、右スピーカ部１０７及び左スピーカ部１０８のそれぞれに出力する音響信号を生成する。

尚、音響信号の生成は、上述した畳み込み演算を利用した実施形態に限定されるものではない。バイノーラル音源生成のための他の公知の方法を用いて、音響信号を生成することも可能である。

同じく図２において、興味検出・判定部１１３は、端末位置・向き決定部１１１で決定された位置及び方位の少なくとも一方の時間変化に基づいて、
（ａ）ユーザが、提示音声の出力後に、当該提示音声を発生させた仮想音源の位置に対応する提供情報位置の方に「向いた」か否かを判定し、さらに、
（ｂ）ユーザが、提示音声の出力後に、当該提示音声を発生させた仮想音源の位置に対応する提供情報位置に「向かった」か否かを判定する。

ここで、本実施形態では、（ａ）ユーザが仮想音源の方に「向いた」と判定された場合に、ユーザが「気づいた」とし、（ｂ）ユーザが仮想音源の方に「向いた」且つ「向かった」と判定された場合に、ユーザが「選択した」として誘導モード（提供情報を提供するモード）に入る。これらの判定（ａ）及び（ｂ）については後に詳しく説明する。

仮想音源配置・制御部１１２の制御部１１２ｂは、興味検出・判定部１１１による真の判定（ユーザが「気づいた」との判定）に係る提示音声を発生させた仮想音源の位置及び／又は出力を、ユーザを誘導するように変化させる。この変化の態様についても後に詳しく説明する。

音声出力制御部１１５は、仮想音源配置・制御部１１２において配置された（又は位置若しくは出力を制御された）仮想音源に係る提示音声を、当該仮想音源から発生したように出力させる。

提供情報制御部１１４は、興味検出・判定部１１３による（ａ）ユーザが仮想音源の方に「向いた」且つ「向かった」との判定に係る提供情報位置の対応先である提供情報を出力する。ここで、提供情報の出力については、当該提供情報が例えば視聴コンテンツである場合、そのうちの視覚情報（画像（動画）情報）を、ディスプレイ１０９によって出力し、一方、聴覚情報（音声情報）を、音声出力制御部１１５を介して右スピーカ部１０７及び左スピーカ部１０８によって出力してもよい。

尚、変更態様として、提供情報制御部１１４は、興味検出・判定部１１３による（ａ）ユーザが仮想音源の方に「向いた」との判定に係る提供情報位置の対応先である提供情報を出力してもよい。この場合、ユーザが「気づいた」と判断すれば即、提供情報を提供することになる。

同じく図２において、サーバ２は、サーバ通信インタフェース２０１と、対応データ蓄積部２０２と、プロセッサ・メモリとしてのサーバデータ・通信制御部２１１とを有する。ここで、プロセッサ・メモリは、サーバ２に搭載されたコンピュータを機能させるプログラムを実行することによって、対応データ（ＰＯＩデータ）を提供する機能を実現させる。

対応データ蓄積部２０２は、多数のＰＯＩデータ（対応データ）を蓄積している。蓄積されたＰＯＩデータは、提供情報毎に、少なくとも対応する提供情報位置を対応付けたテーブル形式のデータとすることができる。

サーバデータ・通信制御部２１１は、ウェアラブル端末１から受信したＰＯＩデータ要求に含まれている端末１の現在位置に係る情報を取得し、対応データ蓄積部２０２に蓄積されたＰＯＩデータから、当該現在位置に基づく条件を満たすＰＯＩデータを選択する。ここで、例えば、端末１の現在位置から所定の距離範囲内にある情報提供位置に係るＰＯＩデータが選択されることも好ましい。次いで、サーバデータ・通信制御部２１１は、サーバ通信インタフェース２０１を介して、選択したＰＯＩデータをウェアラブル端末１宛てに送信する。

図３は、本発明に係る仮想音源３の制御についての一実施形態を示す模式図である。

図３（Ａ）に示すように、本実施形態では、最初、ウェアラブル端末１を装着したユーザが、進行方向の正面を向いて歩行しており、進行方向の斜め左側から提示音声を受聴している。これは、聴覚空間における前方軸から左側に傾いた方向の位置に仮想音源３を配置し、当該仮想音源３から当該提示音声を発生させていることに相当する。

ユーザは、図３（Ｂ）に示すように、同じ進行方向に沿って正面を向いて歩行を続けており、受聴し続けている斜め左側の提示音声の発信元に相当する位置に、徐々に近づいている。これは、聴覚空間における前方軸から左側に傾いた方向の位置にあった仮想音源３を、当該提示音声を発生させながら、聴覚空間の中心に近づくように移動させていることに相当する。

次いで、ユーザは、図３（Ｃ）に示すように、提示音声に気づき又は興味を持ち、提示音声の発信元の方向に顔を向ける。これは、聴覚空間における前方軸から左側に傾いた方向の位置にあった仮想音源３を、前方軸上の位置にまで移動させたことに相当する。

ここで、興味検出・判定部１１３（図２）は、ユーザが、当該提示音声を発生させた仮想音源３の位置に対応する提供情報位置の方に「向いた」と判定する。即ちユーザが当該提示音声（仮想音源３、提供情報位置の対象物）に「気づいた」と判定する。具体的には、ウェアラブル端末１（ユーザの頭部）の現在位置を原点として、ウェアラブル端末１（ユーザの頭部）の向きが、仮想音源３に相当する情報提供位置（にある対象物）の方向に対し、所定角度範囲（例えば±１０°）内に入ったことを検知した場合、提供情報位置の方に「向いた」（「気づいた」）と判定する。

また、変更態様として、ウェアラブル端末１にユーザの視線の向き（眼球の運動）を計測可能な光学センサ／カメラ等の視線計測システムを設置し、計測された視線の向きが、仮想音源３に相当する情報提供位置（にある対象物）の方向に対し、所定角度範囲（例えば±５°）内に入ったことを検知した場合、提供情報位置の方に「向いた」と判定してもよい。さらに、提示音声が発生してから所定時間内における、端末１（頭部）の向き又は視線の向きの変化量（速度）又は加速度が所定閾値を超えたことを検知した場合、提供情報位置の方に「向いた」と判定することも可能である。

次いで、仮想音源配置・制御部１１２（図２）は、興味検出・判定部１１３による真の判定（提供情報位置の方に「向いた」との判定）に係る提示音声を発生させた仮想音源３の位置又は出力を、ユーザを誘導するように変化させる。図３（Ｄ）では、仮想音源３は、ユーザから見て左右に揺れながら（左右に位置をずらしながら）ユーザに近づいている。これにより、ユーザは、気づいた（興味をもった）提示音声をより明確に把握することができる。または、無意識ではなくはっきりと提示音声を認識することができる。

尚、仮想音源３に係る変化のさせ方として、例えば、仮想音源の位置を、聴覚空間内でずらしたり、中心（ユーザ）から離れたり近づいたりするように移動させたり、所定の変位パターン（例えば８の字等）をもって若しくはランダムに、又は３次元的に移動させたりすることも可能である。また、仮想音源３からの音声出力をより大きくしたり、増減させたり（振動させたり）することもできる。さらに、以上に述べたような変化を一定時間の間、又は一定回数だけ繰り返してもよい。

ここで、興味検出・判定部１１３（図２）は、ユーザが、提示音声を発生させた仮想音源３の位置に対応する提供情報位置の方に「向いた」と判定し、さらに当該位置の方に「向かった」と判定した場合、対応する提供情報をユーザに提供する誘導モードに移行する。

具体的に、ユーザが当該位置の方に「向かった」か否かの判定は、ユーザの位置の変化から実施可能である。例えば、仮想音源３から提示音声を発生させ始めたタイミングから、現在のタイミングまでに蓄積された、端末１（ユーザ）の所定時間毎の位置の変化を重ね合わせる（位置の変位ベクトルを合成する）。次いで、現在位置を起点にして、上記の重ね合わせた向きと、対応する提供情報位置（発信元としての対象位置）への向きとの差が、所定閾値以下である場合、ユーザは当該提供情報位置に「向かった」と判定してもよい。

または、仮想音源２から提示音声を発生させた後、所定時間の間、端末１（ユーザ）が仮想音源３に係る情報提供位置の方を「向いた」と判定され、且つその間、端末１（ユーザ）の位置と提供情報位置との距離が所定閾値以下に減少した場合、ユーザは、当該提供情報位置に「向かった」と判定することも可能である。

図４は、本発明に係る仮想音源３の制御についての他の実施形態を示す模式図である。

図４（Ａ）に示すように、本実施形態でも、最初、ウェアラブル端末１を装着したユーザが、進行方向の正面を向いて歩行しており、進行方向の斜め左側から提示音声を受聴している。これは、聴覚空間における前方軸から左側に傾いた方向の位置に仮想音源３を配置し、当該仮想音源３から当該提示音声を発生させていることに相当する。

ユーザは、図４（Ｂ）に示すように、同じ進行方向に沿って正面を向いて歩行を続けており、受聴し続けている斜め左側の提示音声の発信元に相当する位置に、徐々に近づいている。これは、聴覚空間における前方軸から左側に傾いた方向の位置にあった仮想音源３を、当該提示音声を発生させながら、聴覚空間の中心に近づくように移動させていることに相当する。

ここで、興味検出・判定部１１３（図２）は、ユーザが、当該提示音声を発生させた仮想音源３の位置に対応する提供情報位置の方に「向かった」と判定する。具体的には、当該提示音声の発生後、ウェアラブル端末１の位置と当該提供情報位置との距離が所定閾値以下に減少した場合、「向かった」と判定することができる。

次いで、仮想音源配置・制御部１１２は、興味検出・判定部１１３による真の判定（提供情報位置の方に「向かった」との判定）に係る提示音声を発生させた仮想音源３の位置又は出力を、ユーザを誘導するように変化させる。図４（Ｃ）では、仮想音源３は、ユーザから見て前方正面（前方軸上）の位置に移動する。これにより、ユーザは、気づいた（興味をもった）提示音声をより明確に把握することができる。または、無意識ではなくはっきりと提示音声を認識することができる。

尚、この後、端末１（ユーザ）の向きが、所定時間の間、前方正面に来た仮想音源３の方向から所定角度範囲内に留まっている場合、対応する提供情報をユーザに提供する誘導モードに移行することも好ましい。

図５は、本発明に係る仮想音源３の制御についての更なる他の実施形態を示す模式図である。

図５に示すように、仮想音源配置・制御部１１２（図２）は、聴覚空間において前方軸を基準として所定の角度範囲（図５では視野範囲）内に入らない位置又は方向に配置された仮想音源３を選択し、音声出力制御部１１５（図２）は、選択された仮想音源３に係る提示音声を、当該仮想音源３から発生したように出力させることも好ましい。

例えば、ユーザが正面を向いている状態で、又は正面を向いて歩行若しくは移動している状態で、ユーザに装着されたウェアラブル端末１は、ユーザの聴覚空間における「視野領域」外に位置する仮想音源３に係る提示音声のみを発生させる。この場合、ユーザが移動若しくは方向転換するにつれて又は向きを変えるにつれて、当然に、提示音声を発生させる仮想音源３も刻々変化する。

ここで、「視野領域」として、
（ａ）中心（ユーザ）から見て視野範囲内となる位置のなす領域としてもよく、
（ｂ）図５に示すように、中心（ユーザ）から見て視野範囲内であり且つ中心から所定の距離範囲内にある位置のなす領域としてもよい。
上記（ｂ）の場合、視野範囲内にあっても所定の距離範囲内にはない仮想音源３１（図５）からは、提示音声が発生する。

このように、ユーザにとって視認されない（視認されにくい）位置に係る提示音声のみを提示することによって、ユーザは、見える（見えやすい）対象については視覚から情報を得る一方、見えない（見にくい）対象からは聴覚から情報を得ることができる。また、それ故に、ユーザは、停止中であっても移動中であっても、全方位からの情報を覚知し得る状態にいることができる。特に、背後の位置に係る情報を振り向くことなく受け取ることができるので、現在位置に対応するより多くの情報を、そのための動作を行うことなく確認することが可能となる。

尚、ウェアラブル端末１（ユーザ）の位置や向き（方位）に応じた仮想音源３の制御は、以上に述べたものに限定されるものではない。例えば、所定の時間内において、ユーザの位置の変化量が所定閾値よりも大きい場合、又はユーザの向きの変化量が所定閾値よりも小さい場合、ユーザは、何らかの目標に向かって移動していると判定し、この場合、提示する提示音声は、ユーザからの距離が所定閾値以上であって且つ位置の変化のなす方向から所定角度範囲内の方向に存在する仮想音源３に係るものに限定することも好ましい。

また、例えば、所定の時間内において、ユーザの位置の変化量が所定閾値以下の場合、又はユーザの向きの変化量が所定閾値以上の場合、ユーザは、明確な目標を持たずに移動していると判定し、この場合、提示する提示音声は、ユーザからの距離に関係なく、例えば周囲３６０°の範囲に存在する仮想音源３に係るものとすることも好ましい。

さらに、出力させる仮想音源３の数（発生させる提示音声の数）を、常時一定数以下に留めておくことも好ましい。これにより、ユーザによる受聴のための負担が抑制される。尚、上記数の限定は、例えば、仮想音源３を、ユーザからの距離が近い順に一定数以下の数だけ選択することによって、あるいは、視野領域からの距離が遠い順に一定数以下の数だけ選択することによって実施することができる。

［音声提示方法］
図６は、本発明による音声提示方法の一実施形態を示すフローチャートである。

本実施形態では、「気づかせモード」及び「誘導モード」の２つのモードを設定し、「気づかせモード」から「誘導モード」への流れを主要な処理フローとしている。ここで、「気づかせモード」は、ウェアラブル端末１の現在位置及び方位に基づいて仮想音源３を配置し、ユーザの行動（興味）に応じて配置した仮想音源３を制御する処理を行うモードである。一方、「誘導モード」は、「気づいた」ユーザに提供情報を提供するモードである。

（Ｓ６０１）ウェアラブル端末１は、最初に、「気づかせモード」を起動させる。
（Ｓ６０２）端末１は、サーバ２に対応データ（ＰＯＩデータ）の取得要求を送信し、サーバ２からＰＯＩデータを取得する。
（Ｓ６０３）端末１（ユーザの頭部）の現在の位置及び方位（頭部の向き）を測定する。

（Ｓ６０４）取得したＰＯＩデータ内の提供情報毎に、測定された位置及び方位と当該提供情報に対応付けられた提供情報位置との関係に基づき、仮想音源３を配置する。ここで、仮想音源３は、当該提供情報位置に対応する聴覚空間内での位置又は方向に配置される。
（Ｓ６０５）配置した仮想音源３から提示音声を出力させる。

（Ｓ６０６）ユーザの興味を分析する。具体的には、測定された位置及び方位の少なくとも一方の時間変化に基づいて、ユーザの向きの変化を計測する。
（Ｓ６０７）ユーザが提示した提示音声（のいずれか）に「気づいた」か否かを判定する。具体的には、ユーザ（端末１）が、提示音声の出力後に、当該提示音声を発生させた仮想音源の位置に対応する提供情報位置の方に「向いた」か否かを判定する。

ステップＳ６０７で偽の判定（向いていないとの判定）を行った場合、ステップＳ６０３に戻って、仮想音源３をユーザの移動や向きの転換等に合わせて再配置し、以後の処理を実施する。言い換えると、仮想音源３の設置位置を更新する。これにより、例えばユーザが移動している際には、ユーザにとって常時、発信元となる情報提供位置から提示音声が聞こえるように、仮想音源３も移動する。この場合、ユーザと情報提供位置との相対的な位置関係の変化に基づいて、そのように仮想音源３が移動するようなフィルタ係数を、提示音声にかけることになる。

（Ｓ６０８）一方、ステップＳ６０７で真の判定（「向いた」との判定）を行った場合、仮想音源３の位置及び／又は音声出力を、ユーザを誘導するように変化させる。仮想音源３の変化は、例えば、図３（Ｄ）や図４（Ｃ）に示したような形で実施される。
（Ｓ６０９）ユーザの行動履歴を分析する。具体的には、測定された位置及び方位の少なくとも一方の時間変化に基づいて、ユーザの位置又は進行向きの変化を計測する。

（Ｓ６１０）ユーザが提示した提示音声（のいずれか）を「選択した」か否かを判定する。具体的には、ユーザ（端末１自体）が、当該提示音声を発生させた仮想音源の位置に対応する提供情報位置の方に「向かった」か否かを判定する。ここで、偽の判定（向かっていないとの判定）を行った場合、ステップＳ６０３に戻って、仮想音源３をユーザの移動等に合わせて再配置し、以後の処理を実施する。言い換えると、仮想音源３の設置位置を更新する。

（Ｓ６１１）一方、ステップＳ６１０で真の判定（「向かった」との判定）を行った場合、「誘導モード」を起動させ、対応する提供情報を出力し、ユーザに提供する。提供情報の提供は、例えば、提供情報が商品広告の視聴コンテンツの場合、音声を右スピーカ部１０７及び左スピーカ部１０８（図２）から出力させ、画像（動画）をディスプレイ１０９に出力させることにより実施される。

以上、「気づかせモード」から「誘導モード」への処理フローを主に説明したが、実際には、この「誘導モード」の終了後、再度「気づかせモード」に戻り、「気づかせモード」と「誘導モード」との間を切り替えて処理を進行させてもよい。また、「気づかせモード」は、ユーザが端末１に対し明示的に上記の処理を中断又は終了させた場合に、終了することとしてもよい。

ここで、「気づかせモード」において受聴しやすい提示情報を提示し、次いで「誘導モード」においてより詳細な提供情報を開示する実施形態においては、それぞれのモードで提供する情報の粒度を変えることによって、ユーザが、所望の又は必要とする情報にまで、容易に且つ確実に到達することができるように設定されている。

また、変更態様として、上記の「気づかせモード」及び「誘導モード」に加えて、「捜索モード」を設けてもよい。「捜索モード」は、ユーザが周囲を見回すことによって、所望の提示音声（仮想音源３）を捜索することができるモードである。具体的には、ウェアラブル端末１（ユーザの頭部）が向いている方向から所定角度範囲内にある方向にある仮想音源３を、より認識しやすいように変化させてもよい。例えば、該当する仮想音源３の位置をユーザの位置に近づけたり、仮想音源の位置を利用者の位置との間で近づけたり遠ざけたり、又は振動させたりするようなフィルタ係数を提示音声にかけてもよい。

尚、「捜索モード」への切り替え方としては、例えば、ユーザの移動が終了してから非移動状態が所定時間継続したことを検出した際に自動的に切り替えてもよい。または、ユーザが端末１に明示的に切り替え操作を行って切り替えてもよい。

以上詳細に説明したように、本発明によれば、ユーザの所持する端末の位置に関係した提供すべき情報を、直観的に識別される形で、且つ情報発信元への到達機会を増加させる形で提示することができる。

この本発明の１つの適用態様として、ユーザは本発明の携帯端末を装着して所定のエリア、例えば商店街や繁華街を移動する。この際、ユーザは、直接視認することのできる現実の店舗やサービス施設での情報、例えば看板やショーウィンドウの情報に加えて、広告・宣伝といった提供情報の発信元の方から提示音声、例えば呼び込みやキャッチフレーズ等を受聴する。即ち、直接視認することのできない提供情報発信元に関する情報をも取得することができる。また、提示音声は、現実空間での提供情報発信元の位置（提供情報位置）の方から聞こえるので、異なる場所にある発信元に係る提示音声は区別して認識することができる。このように、本発明によれば、視覚だけではカバーできない多くの情報もユーザに適切に提示することが可能となる。

以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ ウェアラブル端末１
１０１ 端末通信インタフェース１０１
１０２ 測位部
１０３ 対応データ保存部
１０４ 地磁気センサ
１０５ ジャイロセンサ
１０６ 加速度センサ
１０７ 右スピーカ部
１０８ 左スピーカ部
１０９ ディスプレイ
１１１ 端末位置・向き決定部
１１２ 仮想音源配置・制御部
１１２ａ 配置部
１１２ｂ 制御部
１１３ 興味検出・判定部
１１４ 提供情報制御部
１１５ 音声出力制御部
１１６ 端末通信制御部
２ サーバ
３、３１ 仮想音源
４ ＧＰＳ衛星

Claims (10)

1. ユーザに音声を提示可能な携帯端末であって、
   前記携帯端末の位置を測定する測位部と、
   前記携帯端末の方位を測定する方位センサと、
   提供情報毎に当該提供情報に係る位置である提供情報位置を対応付けた対応データを保存する対応データ保存部と、
   取得した対応データ内の提供情報毎に、測定された位置及び方位と当該提供情報に対応付けられた提供情報位置との関係に基づき、所定の又は当該提供情報に対応する提示音声を発生させる仮想音源を、当該提供情報位置に対応する当該ユーザの聴覚空間内での位置及び方向に配置する仮想音源配置・制御手段と、
   配置された仮想音源に係る提示音声を、当該仮想音源から発生したように出力させる音声出力制御手段と、
   測定された位置及び方位の少なくとも一方の時間変化に基づいて、当該ユーザが、提示音声の出力後に、当該提示音声を発生させた仮想音源の位置に対応する提供情報位置の方に向いたか否かを判定し、測定された位置と当該提供情報位置との距離の時間変化に基づいて、当該ユーザが、提示音声の出力後に、当該提示音声を発生させた仮想音源の位置に対応する提供情報位置に向かったか否かを判定する興味検出・判定手段と、
   当該ユーザが当該提供情報位置の方に向いて且つ当該提供情報位置に向かったと判定されたその提供情報位置の対応先である提供情報を出力させる提供情報制御手段と
   を有し、
   前記仮想音源配置・制御手段は、当該ユーザが当該提供情報位置の方に向いたと判定されたその提供情報位置に係る仮想音源の当該聴覚空間での位置を、当該聴覚空間の中心であるユーザに近づくように、又は近づいたり離れたりするように移動させる
   ことを特徴とする携帯端末。
2. 前記仮想音源配置・制御手段は、当該ユーザが当該提供情報位置の方に向いたとの前記興味検出・判定手段による判定に係る提示音声を発生させた仮想音源の位置及び／又は出力を、当該ユーザを誘導するように変化させる
   ことを特徴とする請求項１に記載の携帯端末。
3. 前記仮想音源配置・制御手段は、当該ユーザが当該提供情報位置の方に向いて且つ当該提供情報位置に向かったとの前記興味検出・判定手段による判定に係る提示音声を発生させた仮想音源の位置及び／又は出力を、当該ユーザを誘導するように変化させる
   ことを特徴とする請求項１又は２に記載の携帯端末。
4. 前記仮想音源配置・制御手段は、前記興味検出・判定手段による真の判定に係る提示音声を発生させた仮想音源の位置を、前記聴覚空間内でずらす、又は所定の変位パターンをもって移動させることを特徴とする請求項２又は３に記載の携帯端末。
5. 前記仮想音源配置・制御手段は、前記聴覚空間において前方軸を基準として所定の角度範囲内に入らない位置及び方向に配置された仮想音源を選択し、
   前記音声出力制御手段は、選択された仮想音源に係る提示音声を、当該仮想音源から発生したように出力させる
   ことを特徴とする請求項１から４のいずれか１項に記載の携帯端末。
6. 前記仮想音源配置・制御手段は、配置された２つの仮想音源の前記聴覚空間内での距離が所定閾値内である、又は方向が所定角度範囲内である場合、当該２つの仮想音源のうちの少なくとも１つの位置をずらすか、又は当該２つの仮想音源における提示音声の発生時点を異ならせることを特徴とする請求項１から５のいずれか１項に記載の携帯端末。
7. 当該ユーザにとって、移動中又は非移動中にかかわらず、提示音声が、当該提示音声を発生させた仮想音源の位置に対応する提供情報位置に存在する対象から発生したように聞こえることを特徴とする請求項１から６のいずれか１項に記載の携帯端末。
8. 請求項１から７のいずれか１項に記載の携帯端末と、当該携帯端末とネットワークを介して通信するサーバとを有するシステムであって、
   前記サーバは、
   当該対応データを蓄積する対応データ蓄積部と、
   蓄積された対応データを当該携帯端末宛てに送信可能なサーバ通信制御手段と
   を有し、
   当該携帯端末は、前記サーバから対応データを受信し、受信した対応データを前記対応データ保存部に保存させる端末通信制御手段を更に有する
   ことを特徴とする音声提示システム。
9. ユーザに音声を提示可能な携帯端末に搭載されたコンピュータを機能させる音声提示プログラムであって、
   前記携帯端末は、
   前記携帯端末の位置を測定する測位部と、
   前記携帯端末の方位を測定する方位センサと、
   提供情報毎に当該提供情報に係る位置である提供情報位置を対応付けた対応データを保存する対応データ保存部と
   を有し、前記音声提示プログラムは、
   取得した対応データ内の提供情報毎に、測定された位置及び方位と当該提供情報に対応付けられた提供情報位置との関係に基づき、所定の又は当該提供情報に対応する提示音声を発生させる仮想音源を、当該提供情報位置に対応する当該ユーザの聴覚空間内での位置及び方向に配置する仮想音源配置・制御手段と、
   配置された仮想音源に係る提示音声を、当該仮想音源から発生したように出力させる音声出力制御手段と、
   測定された位置及び方位の少なくとも一方の時間変化に基づいて、当該ユーザが、提示音声の出力後に、当該提示音声を発生させた仮想音源の位置に対応する提供情報位置の方に向いたか否かを判定し、測定された位置と当該提供情報位置との距離の時間変化に基づいて、当該ユーザが、提示音声の出力後に、当該提示音声を発生させた仮想音源の位置に対応する提供情報位置に向かったか否かを判定する興味検出・判定手段と、
   当該ユーザが当該提供情報位置の方に向いて且つ当該提供情報位置に向かったと判定されたその提供情報位置の対応先である提供情報を出力させる提供情報制御手段と
   してコンピュータを機能させ、
   前記仮想音源配置・制御手段は、当該ユーザが当該提供情報位置の方に向いたと判定されたその提供情報位置に係る仮想音源の当該聴覚空間での位置を、当該聴覚空間の中心であるユーザに近づくように、又は近づいたり離れたりするように移動させる
   ことを特徴とする音声提示プログラム。
10. 携帯端末において実施される音声提示方法であって、
    前記携帯端末は、
    前記携帯端末の位置を測定する測位部と、
    前記携帯端末の方位を測定する方位センサと、
    提供情報毎に当該提供情報に係る位置である提供情報位置を対応付けた対応データを保存する対応データ保存部と
    を有し、前記音声提示方法は、
    取得した対応データ内の提供情報毎に、測定された位置及び方位と当該提供情報に対応付けられた提供情報位置との関係に基づき、所定の又は当該提供情報に対応する提示音声を発生させる仮想音源を、当該提供情報位置に対応する当該ユーザの聴覚空間内での位置及び方向に配置するステップと、
    配置された仮想音源に係る提示音声を、当該仮想音源から発生したように出力させるステップと、
    測定された位置及び方位の少なくとも一方の時間変化に基づいて、当該ユーザが、提示音声の出力後に、当該提示音声を発生させた仮想音源の位置に対応する提供情報位置の方に向いたか否かを判定するステップと、
    当該ユーザが当該提供情報位置の方に向いたと判定されたその提供情報位置に係る仮想音源の当該聴覚空間での位置を、当該聴覚空間の中心であるユーザに近づくように、又は近づいたり離れたりするように移動させるステップと、
    測定された位置と当該提供情報位置との距離の時間変化に基づいて、当該ユーザが、提示音声の出力後に、当該提示音声を発生させた仮想音源の位置に対応する提供情報位置に向かったか否かを判定するステップと、
    当該ユーザが当該提供情報位置の方に向いて且つ当該提供情報位置に向かったと判定されたその提供情報位置の対応先である提供情報を出力させるステップと
    を有することを特徴とする音声提示方法。

Images