JP6146182B2 - 情報提供装置、情報提供システム、及び情報提供プログラム - Google Patents

情報提供装置、情報提供システム、及び情報提供プログラム Download PDF

Info

Publication number
JP6146182B2
JP6146182B2 JP2013152473A JP2013152473A JP6146182B2 JP 6146182 B2 JP6146182 B2 JP 6146182B2 JP 2013152473 A JP2013152473 A JP 2013152473A JP 2013152473 A JP2013152473 A JP 2013152473A JP 6146182 B2 JP6146182 B2 JP 6146182B2
Authority
JP
Japan
Prior art keywords
content
information
user
voice
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013152473A
Other languages
English (en)
Other versions
JP2015023534A (ja
Inventor
幹篤 ▲角▼岡
幹篤 ▲角▼岡
佐々木 和雄
和雄 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2013152473A priority Critical patent/JP6146182B2/ja
Priority to US14/299,542 priority patent/US9992536B2/en
Publication of JP2015023534A publication Critical patent/JP2015023534A/ja
Application granted granted Critical
Publication of JP6146182B2 publication Critical patent/JP6146182B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/635Filtering based on additional data, e.g. user or group profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44222Analytics of user selections, e.g. selection of programs or purchase activity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8106Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/535Tracking the activity of the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information

Description

本発明は、情報提供装置、情報提供システム、及び情報提供プログラムに関する。
多くの人や物、サービス等からの音声等のコンテンツによる情報提供が従来から行われている。音声は、一次元の時系列情報である。そのため、長い文章の中に分散して有益な情報がある場合、ユーザは、興味のない部分も我慢して聞き続け、有益な情報が再生されるまで待つ必要が生じる。
また、従来の情報提供では、複数の音声を多重して出力されることも多いが、単純に複数の音声を多重して出力するだけでは音が重なり過ぎて聞き取れない。そこで、例えばサーバが音声情報とタイミング情報と配信して、重ならないタイミングで音声を出力したり、別の方向に音像定位した複数の音を同時に出力する手法がある。また、音声の再生タイミングが重なる場合に再生中や再生待ちの音声の数に応じて再生スピードを早くしたり、単語の音圧を調整する手法がある(例えば、特許文献1〜4参照)。
国際公開第2003/085511号 特開平10−124292号公報 特開2002−023787号公報 特開2005−070430号公報
多重した音声の聞き取り易さには、各ユーザの情報提供システムの利用回数や利用時間等に基づく熟練度や、聞こえる音への慣れといった要因が関係している。しかしながら、従来手法には、上述した要因に対する適切な情報提供が実現されていない。
1つの側面では、本発明は、適切な情報提供を実現することを目的とする。
一態様における情報提供装置は、予め記憶部に記憶されたコンテンツからユーザの位置情報に対応するコンテンツを選択する選択部と、前記選択部により選択された前記コンテンツに対する前記ユーザの慣れ度合に対応させた多重数で前記コンテンツを多重し、多重した前記コンテンツを前記ユーザに提供する提供部とを有する。
適切な情報提供を実現することができる。
本実施形態における情報提供システムの構成例を示す図である。 情報提供装置のハードウェア構成例を示す図である。 ユーザ端末のハードウェア構成例を示す図である。 情報提供システムの処理の一例を示すシーケンス図である。 情報処理システムで用いられる各種データ例を示す図である。 熟練度情報が有する各累積情報の一例を示す図である。 音声数判断基準の一例を示す図である。 選択部の処理の一例を示すフローチャートである。 最大多重数判断部の処理の一例を示すフローチャートである。 音声数判断部の処理の一例を示すフローチャートである。 音声提供部の処理の一例を示すフローチャートである。 熟練度情報管理部の処理の一例を示すフローチャートである。 本実施形態における音声提供の具体例を説明するための図である。 新人ユーザに対する音声提供の一例を示す図である。 熟練ユーザに対する音声提供の一例を示す図である。 優先度を有するコンテンツインデックスのデータ例を示す図である。 他の実施形態における選択部の処理の一例を示すフローチャートである。
以下、添付図面を参照しながら実施例について詳細に説明する。
<本実施形態における情報提供システムの概略構成例>
図1は、本実施形態における情報提供システムの構成例を示す図である。図1に示す情報提供システム10は、提供する情報(コンテンツ)の一例として音声を提供するシステムを示しているが、提供する情報の種類については、これに限定されるものではない。図1に示す情報提供システム10は、情報提供装置11と、ユーザ端末12とを有する。情報提供装置11と、ユーザ端末12とは、例えば通信ネットワーク13によりデータの送受信が可能な状態で接続されている。図1の例において、情報提供装置11とユーザ端末12とは1対1の関係になっているが、1対nの関係でもよい。
情報提供システム10は、例えばシステムに対するユーザ毎の熟練度や音声へ慣れ等に応じた音声(コンテンツ)の多重度を設定し、設定した多重度に応じた音声を提供する。ここで、情報提供システム10は、複数の音声Augmented Reality(AR、拡張現実)を実行する音声ARシステムでもよい。音声ARとは、例えばある地点を基準にした周囲の音声環境を、限られた数の仮想スピーカ(仮想音源)として集約し、その情報を別の地点に送信して再現する手法である。複数の音声ARを実行する音声ARシステムにおいて、ユーザの慣れ度合(例えば、利用時間、利用回数等)や複数の音声ARの音質等の組み合わせに応じて音声ARの多重数を切り替える。これにより、情報提供システム10は、ユーザが認識できる適切な多重度の音声を生成することができ、複数の音声を効率よく提供することができる。
情報提供装置11は、ユーザ端末12を使用するユーザ毎に情報提供システム10への熟練度や音声に対する慣れに基づいて、提供する音声の最大多重度や音声数を判断する。音声数とは、例えばユーザの慣れ度合等に対応して音声毎に設定される値であり、多重数の算出時に用いられる。例えば、ユーザが今まで聞いたことがない音声には音声数が「1」と設定される。これに対し、何度も聞いたことがあり、その音声の一部を聞けば全体として何を言っているのかをある程度把握でき、他の音声と多重させても影響がない音声に対しては、「0.8」や「0.5」等の「1」より小さい音声数が設定される。なお、音声数とは、ユーザがその情報を認識することができる情報量の割合(認識率)の一例であり、例えば映像や文字情報等の音声以外のコンテンツに対しても同様な値を設定することができる。
情報提供装置11は、上述した音声数に基づき、その合計が最大多重度を越えないように音声の再生を制御する。例えば、情報提供装置11は、最大多重度が「1」である場合であっても、音声数が共に「0.5」である聞き慣れた2つの音声であれば、多重させることができる。これにより、情報提供装置11は、各ユーザに適切な情報提供を実現することができる。また、各ユーザに聞き取り易い音声を提供することで、音声提供の効率の向上させることができる。
情報提供装置11は、例えばサーバやPersonal Computer(PC)等であるが、これに限定されるものではなく、例えば一以上の情報処理装置を有するクラウドコンピューティング等により実現されるものであってもよい。
ユーザ端末12は、情報提供装置11からの情報を取得するための端末である。ユーザ端末12は、例えば使用するユーザを識別するためのユーザ情報と、ユーザ端末12の現在の位置情報(例えば、緯度・経度や座標等)とを、通信ネットワーク13を介して情報提供装置11に送信する。また、ユーザ端末12は、情報提供装置11から得られるユーザ情報に応じた多重音声を受信し、受信した音声を出力する。
例えば、ユーザ端末12は、上述した音声ARによる多重音声を情報提供装置11から受信して再生することができる。なお、ユーザ端末12から出力される音声は、音声ARによる音声に限定されるものではない。
ユーザ端末12は、例えばタブレット端末やスマートフォン、携帯電話等の通信端末であるが、これに限定されるものではなく、例えばゲーム機器や音楽再生機器等でもよい。
通信ネットワーク13は、例えばインターネットやLocal Area Network(LAN)等のネットワークである。通信ネットワーク13は、有線でも無線でもよく、また有線及び無線を組み合わせたものでもよい。
次に、図1における情報提供装置11及びユーザ端末12の機能構成例について説明する。
<情報提供装置11の機能構成例>
図1に示す情報提供システム10は、通信部21と、端末情報取得部22と、選択部23と、最大多重数判断部24と、音声数判断部25と、音声提供部26と、熟練度情報管理部27とを有する。また、情報提供装置11は、コンテンツインデックス31と、利用管理情報32と、最大多重数判断基準33と、音声数判断基準34と、熟練度情報35と、コンテンツ本体36とを有する。これらの各情報は、例えば情報提供装置11の記憶部等に記憶される。
通信部21は、通信ネットワーク13を介してユーザ端末12とのデータの送受信を行う。通信部21は、ユーザ端末12からユーザを識別するためのユーザ情報やユーザ端末の現在の位置情報等を含む音声リクエスト(情報リクエスト)を受信する。受信した音声リクエストは、端末情報取得部22に出力する。また、通信部21は、音声提供部26により得られる1又は複数の音声を、通信ネットワーク13を用いてユーザ端末12に出力する。
端末情報取得部22は、通信部21により得られる音声リクエストから、ユーザ端末12を使用するユーザ情報と、ユーザ端末12の位置情報とを取得する。
選択部23は、端末情報取得部22から得られるユーザ端末12の位置情報に基づいてコンテンツインデックス31から1又は複数のコンテンツを取得する。例えば、選択部23は、ユーザ端末12の位置情報と、コンテンツインデックス31に含まれる音声(コンテンツ)が出力される位置情報とを比較し、2つの位置間の距離が所定値以内となった場合に、その音声に関する情報を取得する。音声に関する情報とは、例えばその音声を発する人物を識別する人物ID、音声内容を識別する音声ID等であるが、これに限定されるものではない。
なお、選択部23は、上述したように2つの位置間の距離から音声を選択するだけではなく、他の選択手法を用いてもよい。例えば、選択部23は、ユーザ端末12の位置情報を基準に所定の範囲(例えば、位置情報を中心に半径10m以内等)を設定する。次に、選択部23は、コンテンツインデックス31を参照し、位置情報が上述した所定の範囲に含まれるコンテンツ(音声)に関する情報を取得してもよい。
例えば、選択部23は、複数のコンテンツを選択する場合に、コンテンツインデックス31に含まれる音声のうち、未取得の音声であって、ユーザ端末12の位置情報からの距離が最近傍の音声IDから順番に取得する。また、選択部23は、最大多重数判断部24により得られる最大多重数を越えないように、音声数判断部25から得られる音声毎の音声数に基づいて、多重させる音声を選択する。
また、選択部23は、音声が選択された場合に、例えば独立した利用IDを発行して利用管理情報32に追加し、音声提供部26により管理させる。なお、選択部23は、例えば利用管理情報32によるユーザ端末12毎の各音声の利用状況に対応させて上述した音声数を調整してもよい。
最大多重数判断部24は、予め設定された最大多重数判断基準33と、熟練度情報35とに基づいて、各ユーザに対応する音声の最大多重数を判断する。また、音声数判断部25は、予め設定された音声数判断基準34と、熟練度情報35とに基づいて、各音声に対応する音声数を判断する。なお、最大多重数判断部24及び音声数判断部25は、例えば1つの判断部として構成されていてもよい。
音声提供部26は、利用管理情報32に含まれる音声IDに基づいて予め多数のコンテンツが蓄積されたコンテンツ本体36を参照し、対応する音声(コンテンツ)を抽出する。また、音声提供部26は、抽出した音声を多重させて所定のタイミングで通信部21からユーザ端末12に送信させる。
また、音声提供部26は、例えばユーザ端末12から得られる音声リクエストに含まれるユーザの移動方向や姿勢情報等から、各音声を集約して音声AR再生用の音像定位を行ってもよい。例えば、音声提供部26は、ユーザの姿勢情報と、予め設定された仮想スピーカ配置情報とに基づいて、各音声がユーザのどの位置から聞こえるかを設定することで、音像定位を行うことができる。ここで、音像定位は、例えばHead Related Transfer Function(HRTF、頭部伝達関数)等を用いて、任意の方角に対応するHRTFを音声データ(音源信号)に畳み込む処理を行う。これにより、あたかも音声が任意の方角から聞こえたような効果を得ることができる。
なお、音声提供部26は、複数の音声を多重させて同時に出力してもよいが、それぞれの音の始まりが聞き取り易いように、複数の音声のり利用開始時間をずらして多重させてもよい。音声提供部26は、音声をユーザ端末12に送信して利用(再生)させるタイミング情報を利用管理情報32に記憶する。また、音声提供部26は、所定のタイミングでユーザ端末12に送信し、利用(再生)が終了した音声の情報を熟練度情報管理部27に出力することで、熟練度情報管理部27による熟練度情報35の更新を行わせる。また、音声提供部26は、熟練度情報管理部27に出力した音声の情報を利用管理情報32から削除する。
熟練度情報管理部27は、音声提供部26により得られた再生済みの音声情報に基づき、例えばユーザの各音声における累積利用時間等に対応する熟練度(例えば、人物への慣れ、音声への慣れ等)の生成や更新等の管理を行う。
<ユーザ端末12の機能構成例>
図1に示すユーザ端末12は、通信部41と、音声出力部の一例としてのイヤホン42と、計測部の一例としての位置センサ43とを有する。
通信部41は、通信ネットワーク13を介して情報提供装置11とデータの送受信を行う。通信部41は、例えばユーザ情報及び位置センサ43から取得した位置情報を含む音声リクエストを生成して情報提供装置11に送信する。なお、音声リクエストには、ユーザの移動方向や姿勢情報等を有していてもよい。また、通信部41は、情報提供装置11から得られる1又は複数の多重された音声を受信し、受信した音声をイヤホン42から出力する。
イヤホン42は、通信部41から得られる情報提供装置11からの音声を再生出力する。イヤホン42は、例えばユーザの両耳等に装着することで、左右の耳からユーザに仮想スピーカによる音声AR等の音を出力することができる。なお、音声出力部としては、イヤホン42に限定されるものではなく、例えばヘッドホンやサラウンドスピーカ等を用いることができる。
位置センサ43は、例えばリアルタイム、所定時間間隔毎又はユーザから音声リクエストの生成時等の所定のタイミングでユーザ端末12の位置を取得する。なお、位置センサ43は、例えばGlobal Positioning System(GPS)機能等を用いて位置情報を取得することができる。位置情報取得部67における位置取得は、上述したGPS機能に限定されるものではなく、例えばユーザ端末12が通信可能な基地局や中継装置等の位置を基準に位置情報を取得してもよい。
また、位置センサ43は、ユーザの移動方向や姿勢情報等を検出するセンサでもよい。姿勢情報とは、例えばユーザの頭部の姿勢であり、ユーザが正面を向いている方向を示す情報である。例えば、ある方向(例えば、北)を0度として0〜360度で表現することができるが、これに限定されるものではない。また姿勢情報として、頭部の上下の向き(角度)を含んでいてもよい。その場合の位置センサ43は、例えば加速度センサや方位センサ等をユーザの頭部に取り付けることで頭部姿勢(方位)を取得してもよい。また、例えばカメラ等の撮像手段により撮影した映像に映っている被写体(例えば、構造物等)等からユーザの頭部姿勢を取得してもよいが、これに限定されるものではない。上述した音声出力部と計測部とは、例えばヘッドホンとして一体に形成されていてもよい。
本実施形態では、情報提供システム10からの音声提供を数回受けたことがある熟練者であれば、例えば3つの音声が重なりながら提示されても、物体や人物の位置や内容が把握できるが、音声提供を初めて体験したユーザは、1つの音声の途中に別の音声が重なっただけで物体や人物の位置や内容がわからなくなる。つまり、情報提供システム10への慣れ、音声の学習が、音の定位感を向上させる。
したがって、本実施形態では、個人差や環境差等に応じて音声の提示の多重度を変える。なお、個人差や環境差となる一例としては、例えば声色や音声の内容を知っているか、複数の物体の間で声色が似ているかどうか、位置が離れているか、物体や人物を視認しているか等の要素や、音質の組み合わせ等があるが、これに限定されるものではない。これにより、人や状況の差に応じて音声を提供する多重度を変えることで、ユーザ毎にそのときの一番効率のよい情報提示を実現することができる。
<情報提供装置11のハードウェア構成例>
次に、情報提供装置11のハードウェア構成例について、図を用いて説明する。図2は、情報提供装置のハードウェア構成例を示す図である。図2の例において、情報提供装置11は、入力装置51と、出力装置52と、ドライブ装置53と、補助記憶装置54と、主記憶装置55と、Central Processing Unit(CPU)56と、ネットワーク接続装置57とを有し、これらはシステムバスBで相互に接続されている。
入力装置51は、情報提供装置11の管理者等からのプログラムの実行指示、各種操作情報、ソフトウェア等を起動するための情報等の入力を受け付ける。入力装置51は、情報提供装置11の管理者等が操作するキーボード及びマウス等のポインティングデバイスや、マイク等の音声入力デバイスを有する。
出力装置52は、本実施形態における情報提供装置11を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、CPU56が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。
ここで、情報提供装置11等のコンピュータ本体にインストールされる実行プログラムは、例えば記録媒体58等により提供される。プログラムを記録した記録媒体58は、ドライブ装置53にセット可能であり、CPU56からの制御信号に基づき、記録媒体58に含まれる実行プログラムが、記録媒体58からドライブ装置53を介して補助記憶装置54にインストールされる。
補助記憶装置54は、CPU56からの制御信号に基づき、本実施形態における実行プログラムや、コンピュータに設けられた制御プログラム等を記憶し、必要に応じて入出力を行う。補助記憶装置54は、CPU56からの制御信号等に基づいて、記憶された各情報から必要な情報を読み出したり、書き込んだりすることができる。補助記憶装置54は、例えばHard Disk Drive(HDD)、Solid State Drive(SSD)等のストレージ手段等である。補助記憶装置54は、例えば上述したコンテンツインデックス31、利用管理情報32、最大多重数判断基準33、音声数判断基準34、熟練度情報35、及びコンテンツ本体36を記憶する。
主記憶装置55は、CPU56に実行させるOperating System(OS)プログラムやアプリケーションプログラムの少なくとも一部を一時的に記憶する。また、主記憶装置55は、CPU56による処理に必要な各種データを記憶する。主記憶装置55は、例えばRead Only Memory(ROM)やRandom Access Memory(RAM)等である。
CPU56は、OS等の制御プログラム、及び主記憶装置55に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、情報提供装置11等のコンピュータ全体の処理を制御して各処理を実現する。プログラムの実行中に必要な各種情報等は、例えば補助記憶装置54から取得することができ、また実行結果等を格納することもできる。
例えば、CPU56は、例えば入力装置51から得られるプログラムの実行指示等に基づき、補助記憶装置54にインストールされたプログラム(例えば、情報提供プログラム)を実行させることにより、主記憶装置55上でプログラムに対応する処理を行う。例えば、CPU56は、情報提供プログラムを実行させることで、上述した通信部21における各種データの送受信、端末情報取得部22によるユーザ端末12に関する情報の取得、選択部23によるコンテンツ選択、最大多重数判断部24による最大多重数の判断等の処理を行う。また、CPU56は、音声数判断部25による音声数の判断、音声提供部26による音声提供、熟練度情報管理部27による熟練度情報の管理等の処理を行う。なお、CPU56における処理内容は、これに限定されるものではない。CPU56により実行された内容は、必要に応じて補助記憶装置54に記憶される。
ネットワーク接続装置57は、CPU56からの制御信号に基づき、上述した通信ネットワーク13等と接続することにより、ユーザ端末12との通信を行う。また、ネットワーク接続装置57は、実行プログラムやソフトウェア、設定情報等を、通信ネットワーク13に接続されている外部装置等から取得することができる。また、ネットワーク接続装置57は、プログラムを実行することで得られた実行結果又は本実施形態における実行プログラム自体を外部装置等に提供することができる。
記録媒体58は、上述したように実行プログラム等が格納されたコンピュータで読み取り可能な記録媒体である。記録媒体58は、例えばフラッシュメモリ等の半導体メモリやCD−ROM、DVD等の可搬型の記録媒体であるが、これに限定されるものではない。
上述したようなハードウェア構成により、本実施形態における情報提供処理を実行することができる。本実施形態は、各機能をコンピュータに実行させることができる実行プログラム(情報提供プログラム)を例えば汎用のPC等にインストールすることで、ハードウェア資源とソフトウェアとが協働して本実施形態における情報提供処理を実現することができる。
<ユーザ端末12のハードウェア構成例>
次に、ユーザ端末12のハードウェア構成例について図を用いて説明する。図3は、ユーザ端末のハードウェア構成例を示す図である。図3の例において、ユーザ端末12は、入力装置61と、出力装置62と、オーディオインタフェース63と、通信インタフェース64と、補助記憶装置65と、主記憶装置66と、CPU67と、ネットワーク接続装置68とを有し、これらはシステムバスBで相互に接続されている。
入力装置61は、ユーザ端末12を使用するユーザからのプログラムの実行指示、各種操作情報、ソフトウェア等を起動するための情報等の入力を受け付ける。入力装置61は、例えばタッチパネルや所定の操作キー等である。入力装置61に対する操作に応じた信号がCPU67に送信される。
出力装置62は、本実施形態におけるユーザ端末12を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイを有し、CPU67が有する制御プログラムによりプログラムの実行経過や結果、設定情報等を表示することができる。
オーディオインタフェース63は、例えば情報提供装置11から得られる1又は複数のデジタル音声に対し、CPU67等の制御によりアナログ音声に変換したり、変換したアナログ音声を増幅して、上述したイヤホン42等に出力する。
通信インタフェース64は、上述した位置センサ43からユーザ端末12の位置情報(例えば、緯度・経度や座標等)、ユーザの頭部の姿勢情報等を取得する。
補助記憶装置65は、例えば内蔵した磁気ディスクに対して、磁気的にデータの書き込み及び読み出し等を行う。補助記憶装置65は、OSプログラム、アプリケーションプログラム、及び各種データを記憶する。補助記憶装置65は、例えばフラッシュメモリやHDD、SSD等のストレージ手段等である。補助記憶装置65には、例えばユーザ情報や位置情報等が記憶される。
主記憶装置66は、CPU67に実行させるOSプログラムやアプリケーションプログラムの少なくとも一部を一時的に記憶する。また、主記憶装置66は、CPU67による処理に必要な各種データを記憶する。主記憶装置66は、例えばROMやRAM等である。
CPU67は、OS等の制御プログラム、及び主記憶装置66に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、ユーザ端末12等のコンピュータ全体の処理を制御して各処理を実現することができる。プログラムの実行中に必要な各種情報等は、例えば補助記憶装置65から取得することができ、また実行結果等を格納することもできる。
例えば、CPU67は、例えば入力装置61から得られるプログラムの実行指示等に基づき、補助記憶装置65にインストールされたプログラム(例えば、情報取得プログラム)を実行させることにより、主記憶装置66上でプログラムに対応する処理を行う。
例えば、CPU67は、情報取得プログラムを実行させることで、上述した通信部41における各種データの送受信、イヤホン42による音声出力、位置センサ43による位置情報の取得等の処理を行う。なお、CPU67における処理内容は、これに限定されるものではない。CPU67により実行された内容は、必要に応じて補助記憶装置65に記憶される。
ネットワーク接続装置68は、CPU67からの制御信号に基づき、通信ネットワーク13等と接続することにより、実行プログラムやソフトウェア、設定情報等を、通信ネットワーク13に接続されている外部装置(例えば、情報提供装置11等)等から取得する。ネットワーク接続装置68は、プログラムを実行することで得られた実行結果又は本実施形態における実行プログラム自体を外部装置等に提供することができる。また、ネットワーク接続装置68は、例えばWi−Fi(登録商標)やBluetooth(登録商標)等による通信を可能にする通信手段を有していてもよい。また、ネットワーク接続装置68は、電話端末との通話を可能にする通話手段を有していてもよい。
上述したようなハードウェア構成により、本実施形態における情報取得処理を実行することができる。本実施形態は、各機能をコンピュータに実行させることができる実行プログラム(情報取得プログラム)を例えば通信端末等にインストールすることで、ハードウェア資源とソフトウェアとが協働して本実施形態における情報取得処理を実現することができる。
更に、ネットワーク接続装置68は、例えばWi−Fi(登録商標)やBluetooth(登録商標)等による通信を可能にする通信手段を有していてもよい。また、ネットワーク接続装置68は、電話端末との通話を可能にする通話手段を有していてもよい。
<情報提供システム10における処理の一例>
次に、上述した情報提供システム10における処理の一例についてシーケンス図を用いて説明する。図4は、情報提供システムの処理の一例を示すシーケンス図である。図4の例では、上述した情報提供装置11における情報提供処理とユーザ端末12における情報取得処理とを含む全体のシーケンスを示している。
図4の例において、ユーザ端末12の位置センサ43は、ユーザ端末12の位置情報を取得し(S01)、取得した位置情報とユーザ端末12のユーザ情報とを含む音声リクエストを、通信ネットワーク13を介して情報提供装置11に送信する(S02)。
なお、S01、S02の処理は、ユーザ端末12が所定時間毎に行ってもよく、例えば情報提供装置11からユーザ端末12に位置情報の取得要求を送信し、その返信として上述したS01、S02の処理を行ってもよい。
情報提供装置11の通信部21がユーザ端末12から得られる音声リクエストを受信すると、最大多重数判断部24は、受信した音声リクエストに含まれるユーザ情報と位置情報とから最大多重数を判断する(S03)。なお、S03の処理では、予め設定された最大多重数判断基準33や熟練度情報35等により、音声リクエストを送信したユーザに対する最大の多重数を判断する。
次に、選択部23は、S03の処理で判断された最大多重数を越えない範囲において、コンテンツを選択する(S04)。なお、S04の処理では、複数のコンテンツが選択された場合に、音声数判断部25は、各コンテンツに対して予め設定された音声数判断基準34や熟練度情報35等により、ユーザの音声の慣れの応じた音声数を調整してもよい。
次に、音声提供部26は、S04により選択された少なくとも1つのコンテンツに対応する音声を取得し、取得した音声を音声ARとしてユーザ端末12側で再生するために、ユーザ端末12の位置情報に合わせた音像定位を行う(S05)。次に、音声提供部26は、最大多重数や音声数に基づく音声の多重化を行う(S06)。次に、通信部21は、多重化された音声をユーザ端末12に送信する(S07)。
なお、情報提供装置11の熟練度情報管理部27は、送信された音声に対する熟練度情報35の更新等の管理を行う(S08)。ユーザ端末12の通信部41は、情報提供装置11からの音声を受信し、イヤホン42等の音声出力部から受信した音声を出力する(S09)。
なお、上述の処理は、ユーザ端末12からの音声リクエストが終了するまで、又は、ユーザの指示により本実施形態における情報提供処理が終了されるまで繰り返し行われる。したがって、ユーザの移動に対応させてリアルタイムな音声データをユーザに提供することができる。また、音声ARによる情報提供を行わずに単に音声による情報提供を行う場合には、上述のS05の処理を行わなくてもよい。
<各種データ例等>
次に、上述した情報提供システム10で用いられる各種データ例等について、図を用いて説明する。図5は、情報処理システムで用いられる各種データ例を示す図である。図5(A)は、コンテンツインデックス31の一例を示す。図5(B)は、利用管理情報32の一例を示す。図5(C)は、最大多重数判断基準33の一例を示す。図5(D)は、熟練度情報35の一例を示す。図5(E)は、コンテンツ本体36の一例を示す。
図5(A)に示すコンテンツインデックス31の項目としては、例えば「人物ID」、「音声ID」、「位置」、「時間」等であるが、これに限定されるものではなく、提供されるコンテンツの種類に応じて映像や文字情報等を識別するIDを有していてもよい。図5(A)に示す「人物ID」は、音声を出力する対象の人、物、サービス等を識別するための情報である。「音声ID」は、人物ID毎に設定される1又は複数の音声の内容を識別するための情報である。したがって、例えば1つの人物IDに対して複数の音声IDを設定することができる。
「位置」は、その音声IDに対応する音声を再生する位置情報を示す。つまり、ユーザ端末12から得られる位置情報と、コンテンツインデックス31の位置情報との距離が近くなれば、そのコンテンツ(音声ID)に対応する音声がユーザ端末12から出力される。なお、「位置」は、例えば、所定の座標(x,y)で設定することができるが、これに限定されるものではない。「時間」は、音声IDに対応する音声の利用時間である。例えば、図5(A)に示す「3s」は、利用時間が3秒であることを示す。
図5(B)に示す利用管理情報32の項目としては、例えば「利用ID」、「ユーザID」、「音声ID」、「利用開始時刻」、「コンテンツ長」、「音声数」等であるが、これに限定されるものではない。
図5(B)に示す「利用ID」は、再生等により利用される音声を識別するための情報である。利用IDは、例えばユーザIDと音声IDとの組み合わせにより異なるIDで管理される。「ユーザID」は、その音声を利用するユーザを識別するための情報である。「音声ID」は、利用する音声を識別するための情報であり、例えば図5(A)に示す「音声ID」と同様のIDが設定される。
「利用開始時刻」は、その音声IDに対応する音声が利用(再生)される日時である。「コンテンツ長」は、利用されるコンテンツの長さである。例えば、「4s」は、4秒のコンテンツが利用されることを意味する。「音声数」は、その利用IDに対応する音声に対し、音声数判断部25で判断された音声数である。図5(B)に示す利用管理情報32は、選択部23によりコンテンツが選択された場合に、独立した利用IDを発行して利用管理情報32に追加し、音声提供部26により管理される。
図5(C)に示す最大多重数判断基準33の項目としては、「累積利用時間」、「最大多重数」等であるが、これに限定されるものではない。図5(C)に示す「累積利用時間」は、そのユーザがシステムを利用した累積時間であり、最大多重数を決定するための設定値である。「最大多重数」は、設定された累積利用時間に対応させて、多重可能な音声の最大数が設定されている。
図5(C)の例では、累積利用時間が1時間未満の場合に最大多重数を1とし、累積利用時間が1時間以上、7日間未満の場合に最大多重数を2とし、累積利用時間が7日以上の場合に最大多重数を3としているが、設定内容はこれに限定されるものではない。
図5(D)に示す熟練度情報35の項目としては、例えば「人物名」、「累積利用時間」、「人物への慣れ」、「コンテンツへの慣れ」、「場所への慣れ」等であるが、これに限定されるものではない。
図5(D)に示す「人物名」は、ユーザIDに対する人物名を示す情報である。「累積利用時間」は、ユーザ毎のシステム全体の累積利用時間である。なお、累積利用時間は、例えば秒単位でもよく、日にち単位でもよい。
「人物への慣れ」は、例えば音声数判断部25の音声数判断基準34に基づいて設定されるその人物への慣れの情報である。「人物への慣れ」には、例えば後述する人物累積情報が記憶される。また、「コンテンツへの慣れ」は、例えば音声数判断部25の音声数判断基準34に基づいて設定されるそのコンテンツへの慣れの情報である。「コンテンツへの慣れ」には、例えば後述するコンテンツ累積情報が記憶される。また、「場所への慣れ」には、例えば後述する場所累積情報が記憶される。
「累積利用時間」、「人物への慣れ」、「コンテンツへの慣れ」、「場所への慣れ」に関する情報は、音声提供部26による音声提供後、熟練度情報管理部27により更新される。
図5(E)に示すコンテンツ本体36の項目としては、例えば「音声ID」、「Uniform Resource Locator(URL)」、「内容」等であるが、これに限定されるものではなく、例えば映像や文字情報等のコンテンツを有していてもよい。図5(E)に示す「音声ID」は、音声を識別するための情報であり、上述したコンテンツインデックス31、利用管理情報32に含まれる音声IDと同様である。「URL」は、「音声ID」に対応する音声データの格納先のアドレス情報である。アドレス情報は、URLに限定されるものではなく、例えば情報提供装置11内の格納先が設定されていてもよい。「内容」は、音声IDに対応する音声データの中身(例えば、セリフ等)の情報である。
図6は、熟練度情報が有する各累積情報の一例を示す図である。図6(A)は、人物累積情報の一例を示す。図6(B)は、コンテンツ累積情報の一例を示す。図6(C)は、場所累積情報の一例を示す。各累積情報は、図5(D)に示す熟練度情報35に対応しており、ユーザID「p01」に対する各累積情報を示している。
図6(A)に示す人物累積情報には、例えば人物ID毎の累積された利用時間(再生時間)が記憶される。なお、利用時間は、例えば秒単位に記憶されてもよい。図6(B)に示すコンテンツ累積情報には、音声ID毎の累積された利用回数が記憶される。
図6(C)に示す場所累積情報には、場所名毎の累積された来場回数が記憶される。なお、場所名には、位置情報(例えば、緯度・経度、座標等)を含んでいてもよく、場所及び位置情報を記憶してもよい。「来場回数」は、ユーザが「場所名」で設定した場所(位置情報)に行った回数であり、コンテンツを利用した位置情報に対する回数である。この情報は、例えばユーザ端末12からの位置情報が、上述したその場所に近いか、又はその場所の範囲内に含まれるかによって、来場したか否かを判断することができ、来場する毎に回数が更新される。
これらの情報は、音声提供部26によりユーザ端末12に音声が提供される毎に熟練度情報管理部27により対応するデータが更新される。
図7は、音声数判断基準の一例を示す図である。図7(A)は、各人物IDの声色の利用時間に対する音声数判断基準の一例を示す。例えば、同一の人物IDが異なる音声を出力した場合であっても、同一の人物の利用時間として加算される。なお、利用時間は、例えば秒単位や日にち単位でもよい。
図7(A)の例では、利用時間が多いほど、ユーザが聞き慣れてくるため、結果として音声数は小さくなるが、所定の時間以上(例えば、8時間以上等)は、音声数が小さくなり過ぎないように音声数を調整してもよい。利用時間から音声数への換算内容については、図7(A)の例に限定されるものではない。
図7(B)は、各音声IDの利用回数に対する音声数判断基準の一例を示す。利用回数は、例えば情報提供装置11からユーザ端末12に送信した時点で、利用したものとみなしてカウントを行ってもよく、また例えば利用後にユーザ端末12から利用完了情報を受け取ったときに利用回数をカウントしてもよい。
図7(B)の例では、利用回数が多い方が、ユーザが聞き慣れてくるため、音声数を小さく設定するが、所定の回数以上(例えば、16回以上等)は、音声数が小さくなり過ぎないように調整される。なお、利用回数から音声数への換算内容については、図7(B)に例に限定されるものではない。
図7(C)は、各場所への来場回数に対する音声数判断基準の一例を示す。図7(C)の例では、来場回数が多い方が、ユーザが聞き慣れてくるため、音声数を小さく設定するが、所定の回数以上(例えば、100回以上等)は、音声数が小さくなり過ぎないように調整される。なお、来場回数から音声数への換算内容については、図7(C)に例に限定されるものではない。
音声数判断部25は、上述した利用時間、利用回数、及び来場回数のうち、少なくとも1つから得られた音声数を用いて、各ユーザのコンテンツに対する音声数を判断する。なお、音声数判断部25は、複数の音声数を用いてコンテンツに対する音声数を判断する場合には、利用時間、利用回数、及び来場回数に対する優先度を設定し、設定した優先度に基づく重み付けを行った上で乗算や加算等の算出を行って音声数を取得してもよい。
本実施形態では、人の声色への慣れについては、人の声を単独で聞いた時間が長いほど声をキャッチしやすい。人の声色の慣れとは、例えば基本的な用途としては、知人及びシステム音が対象となる。また、初期の例のように自分の住む街の音声を含めることも可能である。また、音声の利用回数については、よく使う呼びかけについては、多重化しても意味を感じ取れる。また、音声は、聞く場所との関連性が強いため、その場所へ行った回数が多いほど、その場所から提供される音声は、多重化しても意味を感じ取れる。したがって、これらの指標に基づいて音声数を設定することで、適切な多重音声を提供することができる。本実施形態では、このようなデータ例を用いることで、様々なユーザに対して、システムへの熟練度及び音声への慣れに応じた多重度で音声を提供することができる。
<選択部23の処理の一例>
次に、上述した選択部23の処理の一例について、フローチャートを用いて説明する。図8は、選択部の処理の一例を示すフローチャートである。図8の例において、選択部23は、端末情報取得部22からユーザ端末12のユーザIDと位置情報とを取得し(S11)、最大多重数判断部24に問い合わせて、ユーザIDに対応する最大多重数を取得する(S12)。
次に、選択部23は、コンテンツインデックス31に含まれる未取得のコンテンツのうちユーザの位置情報に最も近い(最近傍の)音声IDを取得する(S13)。次に、選択部23は、音声数判断部25に問い合わせて、S13の処理により取得した音声IDに対する音声数を取得する(S14)。
次に、選択部23は、これまでに取得した音声IDの音声数の合計がS12の処理で取得した最大多重数未満であるか否かを判断する(S15)。選択部23は、音声数の合計が最大多重数未満である場合(S15において、YES)、例えば独立した利用IDを発行して利用管理情報32に追加し(S16)、S13の処理に戻る。また、選択部23は、S15の処理において、音声数の合計が最大多重数未満でない場合(S15において、NO)、音声提供部26に利用管理情報32に追加した利用IDを出力する(S17)。
<最大多重数判断部24の処理の一例>
次に、上述した最大多重数判断部24の処理の一例について、フローチャートを用いて説明する。図9は、最大多重数判断部の処理の一例を示すフローチャートである。図9の例において、最大多重数判断部24は、選択部23から最大多重数の問い合わせとしてユーザIDを取得し(S21)、取得したユーザIDを用いて熟練度情報35を参照し、熟練度情報35からユーザIDに対応する累積利用時間を取得する(S22)。
次に、最大多重数判断部24は、取得した累積利用時間を用いて最大多重数判断基準33を参照し、最大多重数判断基準33から累積利用時間に対応する最大多重数を取得する(S23)。次に、最大多重数判断部24は、取得した最大多重数を選択部23に出力する(S24)。
例えば、最大多重数判断部24は、選択部23からユーザID「p01」を取得すると、上述した図5(D)に示す熟練度情報35を参照し、累積利用時間「103時間14分」を取得する。また、最大多重数判断部24は、上述した図5(C)に示す最大多重数判断基準33を参照し、累積利用時間に対応する最大多重数「2」を取得し、取得した最大多重数「2」を選択部23に出力する。
<音声数判断部25の処理の一例>
次に、上述した音声数判断部25の処理の一例について、フローチャートを用いて説明する。図10は、音声数判断部の処理の一例を示すフローチャートである。図10の例において、音声数判断部25は、選択部23から音声数の問い合わせとして、ユーザID、音声ID、人物IDを取得する(S31)。
次に、音声数判断部25は、取得したユーザID、人物IDを用いて熟練度情報35を参照し、熟練度情報35からユーザIDと人物IDとに対応する利用時間を取得する(S32)。次に、音声数判断部25は、音声数判断基準34から、S32の処理で取得した利用時間に対応する音声数(音声数1)を取得する(S33)。
次に、音声数判断部25は、熟練度情報35から、ユーザIDと音声IDとに対応する利用回数を取得する(S34)。次に、音声数判断部25は、音声数判断基準34から、S34の処理で取得した利用回数に対応する音声数(音声数2)を取得する(S35)。
次に、音声数判断部25は、音声数1と音声数2を乗算(音声数1×音声数2)等により算出し、その結果を選択部23に出力する(S36)。
例えば、音声数判断部25は、選択部23から得られるユーザID「p01」及び人物ID「a」を取得すると、上述した図5(D)に示す熟練度情報35と、図6(A)に示す人物累積情報から利用時間「14分」を取得する。また、音声数判断部25は、図7(A)に示す音声数判断基準34から利用時間「14分」に対応する音声数「0.8」を取得する(音声数1)。また、音声数判断部25は、選択部23から得られるユーザID「p01」及び音声ID「001」を取得すると、上述した図5(D)に示す熟練度情報35と、図6(B)に示すコンテンツ累積情報から利用回数「2回」を取得する。また、音声数判断部25は、図7(B)に示す音声数判断基準34から利用回数「2回」に対応する音声数「0.8」を取得する(音声数2)。音声数判断部25は、音声数1(0.8)と音声数2(0.8)とを乗算した結果(0.64)を選択部23に出力する。出力された音声数は、選択部23により利用管理情報32に記憶される。
なお、上述の例では、人物への慣れ及びコンテンツへの慣れに対応する音声数を取得したが、これに限定されるものではなく、人物への慣れ、コンテンツへの慣れ、及び場所への慣れのうち、少なくとも1つの慣れ度合に基づいて対応する音声数を取得してもよい。
<音声提供部26の処理の一例>
次に、上述した音声提供部26の処理の一例について、フローチャートを用いて説明する。図11は、音声提供部の処理の一例を示すフローチャートである。図11の例において、音声提供部26は、選択部23から利用IDとユーザの位置情報とを取得する(S41)。
次に、音声提供部26は、利用管理情報から利用IDに対応する情報を取得し(S42)、コンテンツインデックス31から音声の位置を取得し(S43)、ユーザと音声との相対位置に対応する音声を生成する(S44)。
次に、音声提供部26は、生成した音声を所定のタイミングで通信部21からユーザ端末12に送信する(S45)。なお、S45の処理において、音声提供部26は、例えば生成した音声を再生中の音に加えて多重させて通信部21からユーザ端末12に送信する。また、音声提供部26は、音声をユーザ端末12に送信する前に音像定位を行ってもよい。
次に、音声提供部26は、再生が終了した利用IDに対応する利用管理情報を熟練度情報管理部27に出力する(S46)。次に、音声提供部26は、利用管理情報32から利用が終了した利用IDのエントリを削除する(S47)。
<熟練度情報管理部27の処理の一例>
次に、上述した熟練度情報管理部27の処理の一例について、フローチャートを用いて説明する。図12は、熟練度情報管理部の処理の一例を示すフローチャートである。図12の例において、熟練度情報管理部27は、音声提供部26から再生が終了した利用IDに対する利用管理情報を取得し(S51)、熟練度情報35にあるユーザID、音声IDに対する利用回数を1増加する(S52)。次に、熟練度情報管理部27は、ユーザID、人物IDに対する利用時間を増やし(S53)、ユーザIDに対し、利用時間だけ累積利用時間を増加する(S54)。
<具体例>
例えば、街中等では、多くの人・物・サービスの音声提供が行われており、ユーザは多くの音声情報を効率よく取得することが好ましい。しかしながら、従来のシステムでは、音声を1つだけ選んで冗長な話を聞き続ける無駄を強いられたり、複数の音声を同時に流した結果、音が重なり過ぎて聞き取れなくなったりしていた。
ここで、音声を重ねた時の聞き取り易さには、個人差や環境差があり、例えば「声色を知っているか」、「内容を知っているか」、「複数の物体の間で声色が似ているかどうか」、「位置が離れているかどうか」、「物体を視認しているか」等により聞き取り易さが異なる。
そこで、本実施形態では、上述したように個人差や環境差に応じて音声の提示の多重度を変える。図13は、本実施形態における音声提供の具体例を説明するための図である。
本実施形態では、図13(A)に示すように、ユーザ71の所定方向への移動に従って周囲の人や物体、サービス等に応じた音声が提供されるシステムを示している。例えば音声AR環境において、ユーザの周囲には人物IDa〜zまでの人物が存在している。なお、人物の数は、これに限定されるものではない。
ユーザ71が所持するユーザ端末12は、ユーザ71の所定の方向への移動に対して、定期的又は所定距離以上の移動があった場合等の所定のタイミングで現在の移動位置を取得する。また、ユーザ端末12は、取得した位置情報をユーザ情報と共に通信ネットワーク13を介して情報提供装置11に送信する。情報提供装置11は、ユーザ端末12から得られた移動情報から、ユーザの現在位置から所定範囲(例えば、図13(A)に示す範囲72)に含まれる位置のうち、最近傍の人物の音声から順に最大多重数を越えない多重数の音声を提供する。このとき、本実施形態では、例えばユーザ71のシステムへの熟練度による音声の最大多重数や、慣れによる音声数等に基づいて最大多重数を調整する。
図13(B)の例では、ユーザ71のシステムへの熟練度に合わせて最大多重数を2と設定し、人物IDa〜dのそれぞれに対応する音声ID001〜004の音声をユーザ71の移動するタイミングに合わせて、ユーザ端末12から出力する。なお、本実施形態では、音声ID001〜004の音声が情報提供装置11によって音像定位される。また、ユーザ71は、上述した手法を用いて音声ARにより空間での音声提供を受けることができる。例えば、図13(A)の状況では、ユーザ71の前方から人物ID「c」の音声が聞こえ、ユーザ71の左方向から人物ID「b」の音声が聞こえ、ユーザ71の左前方から人物ID「d」の音声が聞こえる。
ここで、本実施形態における情報提供システム10を利用するユーザの一例として、新人ユーザと熟練ユーザとに対する音声提供の様子について、図を用いて説明する。
<新人ユーザの場合>
図14は、新人ユーザに対する音声提供の一例を示す図である。新人ユーザ71−1は、システムへの熟練度が低いため、同時に多くの音を提供されると、それぞれの音を把握できない。したがって、情報提供装置11は、新人ユーザ71−1の場合に、最大多重数を1(音声1)とする。また、情報提供装置11は、新人ユーザ71−1の場合に、最大同時数初めて聞く八百屋店長(人物ID「a」)の音声(音声ID「001」)の音声数を「1.0」として設定する。また、同様に銀行員(人物ID「b」)の音声(音声ID「002」)、お弁当販売員(人物ID「c」)の音声(音声ID「003」)、工事の作業員(人物ID「d」)の音声(音声ID「0004」)のそれぞれの音声数も「1.0」として設定する。
また、情報提供装置11は、それぞれの音声IDに対応する音声をコンテンツ本体36から取得し、取得した音声を多重させずに1つずつユーザ端末12に提供する。したがって、新人ユーザ71−1の場合には、図14に示すタイミングでユーザに各音声が提供される。
なお、情報提供装置11は、各音声を提供する間隔(図14におけるt1〜t3)を調整してもよい。調整は、例えば連続する音声同士の音質、音声の内容等の関連度により調整することができるが、これに限定されるものではない。例えば、連続する2つの音声が男性と女性の場合には、関連度が低いとして出力する間隔を短くしてもよく、2つの音声が同姓の場合には、関連度が高いとして出力する間隔を長くしてもよい。これにより、新人ユーザ71−1は、本実施形態を用いて適切な情報を受け取ることができる。
<熟練ユーザの場合>
図15は、熟練ユーザに対する音声提供の一例を示す図である。熟練ユーザ71−2は、システムへの熟練度が高いため、慣れた音声を聞く場合、同時に多くの音声を提供されてもそれらの音声を把握できる。そのため、本実施形態では、多くの情報を同時に提供する。
例えば、情報提供装置11は、熟練ユーザ71−2の場合に、最大多重数を3(音声1〜3)とする。また、情報提供装置11は、熟練ユーザ71−2の場合に、日頃からよく聞く八百屋店長(人物ID「a」)の音声(音声ID「001」)の音声数を「0.6」として設定する。また、情報提供装置11は、何度か聞いたことある銀行(人物ID「b」)の音声(音声ID「002」)の音声数を「0.8」として設定し、日頃からよく聞くお弁当販売員(人物ID「c」)の音声(音声ID「003」)の音声数を「0.6」として設定する。また、情報提供装置11は、最近始まった工事の作業員(人物ID「d」)の音声(音声ID「004」)の音声数を「1.0」として設定する。
また、情報提供装置11は、それぞれの音声IDに対応する音声をコンテンツ本体36から取得し、取得した音声を所定のタイミングで多重させて、熟練ユーザ71−2に提供される。
図15の例では、最大多重数は3であるが、調整された音声数の合計値に基づいて最大多重数を越えないように音声を多重させることができるため、例えば図15の区間tに示すように、4つの音声を同時に出力することもできる。これは、音声ID001〜004の合計値が0.6+0.8+0.6+1.0=3.0であり、最大多重数以下だからである。これにより、熟練ユーザ71は、短時間で効率よく周囲を把握することができる。
上述したように、本実施形態では、重ねる際の音声の聞き取りやすさをユーザ毎に設定することができる。
このようにユーザは、熟練度に応じて多重される音声数が設定されるため、それぞれの音声を把握することができる。なお、上述した新人ユーザ71−1や熟練ユーザ71−2は、あくまでのユーザの一例を説明したものであり、具体的には、熟練度情報に対応する累積利用時間等に基づいて最大多重数や音声数等が設定される。
<他の実施形態>
上述した実施形態において、選択部23は、最大多重数及び音声数に応じてコンテンツを選択したが、これに限定されるものではなく、例えばコンテンツインデックス31に予め設定されたコンテンツ毎の優先度に基づいてコンテンツを選択してもよい。例えば、選択部23は、ユーザ端末12からの距離が同一のコンテンツが複数ある場合に、上述した優先度に応じてコンテンツの選択を行ってもよい。
なお、優先度を利用する例は、これに限定されるものではなく、例えばユーザの現在位置からの距離が同一か否かに関係なく、ユーザの位置を基準として所定の範囲に含まれる複数のコンテンツの中から優先度に応じて提供するコンテンツを選択してもよい。
図16は、優先度を有するコンテンツインデックスのデータ例を示す図である。図16に示すコンテンツインデックスの項目としては、例えば「人物ID」、「音声ID」、「位置」、「時間」、「優先度」を有する。ここで、上述した図5(A)に示すコンテンツインデックス31のデータ例と比較すると、図16の例では、各人物ID又は各音声IDに対する優先度が設定されている。なお、図16に示す優先度は、「高」、「中」、「低」と3つのレベルが設定できるが、優先度の設定方法についてはこれに限定されるものではなく、例えば、数値による10段階の設定等も可能である。
例えば、音声ID「004」の「工事中気を付けて」等のように、ユーザに確実に認識させる必要性が高い場合には、優先度に「高」が設定される。また、音声ID「001」の「へい、らっしゃい」等のように、ユーザに確実に認識させる必要性が低い場合には、優先度に「低」が設定される。また、図16に示すように人物ID毎に優先度を設定しておくことで、例えばユーザの位置から人物ID「a」の距離と、人物ID「d」の距離とが同一である場合に、優先度に基づいて人物ID「d」の内容が先に提示される。
なお、図16に示す優先度は、人物IDや音声の内容に応じて設定することができ、例えば人物IDが警察に対応するIDである場合には、その優先度を高くし、八百屋等の場合には、優先度を低く設定することができる。
更に、上述した優先度を利用して、例えば優先度の高い音声の再生スピードをゆっくり再生し、優先度の低い音声を早く再生するといった再生スピードの調整を行ってもよい。音声の再生スピードを調整する場合には、選択部23から音声提供部26へ優先度を通知することで、音声提供部26で優先度に基づく再生スピードを変更することができる。
また、本実施形態では、再生スピードの調整と同様に、上述した優先度に対応させて優先度の高いものは音量を大きくし、優先度の小さいものは音量を小さくするといった音量や音圧の調整を行ってもよい。優先度の設定は、管理者等が事前に設定することができるが、これに限定されるものではない。
図17は、他の実施形態における選択部の処理の一例を示すフローチャートである。図17の例では、上述した優先度を有する選択部の処理の一例を示している。図17の例において、選択部23は、端末情報取得部22からユーザIDと位置情報とを取得し(S61)、ユーザIDに対応する最大多重数を最大多重数判断部24に問い合わせる(S62)。
次に、選択部23は、コンテンツインデックス31から未取得のコンテンツのうちユーザの位置情報に最も近い(最近傍の)音声IDを取得する(S63)。次に、選択部23は、最近傍の音声IDが複数ある場合は優先度に基づいて音声IDを取得する(S64)。
ここで、図17に示すS65〜S68の処理は、上述したS14〜S17の処理と同様であるため、ここでの具体的な説明は省略する。上述したように、優先度を設定しておくことで、その場所において必要な音声を優先的にユーザに提供することができる。
上述したように本実施形態によれば、適切な情報提供を実現することができる。例えば、本実施形態では、ユーザのシステムへの熟練度や音への慣れによって音の提供方法を柔軟に変えることができる。例えば、本実施形態によれば、多重する音声の聞き取り易さをユーザ毎に設定することができる。
例えば、本実施形態では、複数の音声ARを実行する音声ARシステムにおいて、ユーザの慣れ度合(例えば、利用時間、利用回数、来場回数等)や、複数の音声ARの音質等の関連度の組み合わせ等に応じて、音声ARの多重数を切り替えることで、ユーザが認識可能な形で音声ARを効率よく実行することができる。
本実施形態は、例えば博物館や美術館、展示会、商店街、遊園地等において、イヤホンやヘッドホン等の耳装着型の再生装置を用いたユーザが、展示物等の方向から、その展示物に係る展示案内の音声や音楽を聴取可能にするシステム等に適用可能である。
また、上述した本実施形態では、音声による提供例を示したが、これに限定されるものではなく、例えば映像や文字情報等の他のコンテンツ等の情報提供であってもよく、複数のコンテンツを組み合わせて提供されてもよい。
以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、上述した各実施例の一部又は全部を組み合わせることも可能である。
なお、以上の実施例に関し、更に以下の付記を開示する。
(付記1)
予め記憶部に記憶されたコンテンツからユーザの位置情報に対応するコンテンツを選択する選択部と、
前記選択部により選択された前記コンテンツに対する前記ユーザの慣れ度合に対応させた多重数で前記コンテンツを多重し、多重した前記コンテンツを前記ユーザに提供する提供部とを有することを特徴とする情報提供装置。
(付記2)
前記コンテンツに対する前記ユーザの慣れ度合は、前記コンテンツを提供する人物への慣れ、前記コンテンツの慣れ、前記コンテンツが提供された場所への慣れのうち、少なくとも1つに対応する慣れの度合であることを特徴とする付記1に記載の情報提供装置。
(付記3)
前記ユーザの前記コンテンツに対する累積利用時間から前記コンテンツの最大多重数を判断し、前記ユーザのコンテンツ毎の利用時間、利用回数、及び前記コンテンツを利用した位置情報に対する回数のうち、少なくとも1つに基づいて前記コンテンツに対する認識率を判断する判断部とを有し、
前記選択部は、前記判断部から得られる前記最大多重数及び前記認識率に基づいて前記慣れ度合に対応する多重数で多重させるコンテンツを選択することを特徴とする付記1又は2に記載の情報提供装置。
(付記4)
前記提供部により前記ユーザに提供されたコンテンツに対応させて前記累積利用時間、前記利用時間、前記利用回数、及び前記コンテンツを利用した位置情報に対する回数の値を更新する管理部を有することを特徴とする付記3に記載の情報提供装置。
(付記5)
前記選択部は、
前記コンテンツ毎に設定された優先度に応じて前記ユーザに提供するコンテンツを選択することを特徴とする付記1乃至4の何れか1項に記載の情報提供装置。
(付記6)
前記提供部は、
前記ユーザに提供するコンテンツとして音声を多重する場合に、前記ユーザの移動方向又は姿勢情報に基づいて、前記コンテンツの音像定位を行うことを特徴とする付記1乃至5の何れか1項に記載の情報提供装置。
(付記7)
ユーザ端末と、該ユーザ端末にコンテンツを提供する情報提供装置とを有する情報提供システムにおいて、
前記情報提供装置は、
前記ユーザ端末の位置情報を取得し、予め記憶部に記憶されたコンテンツから前記位置情報に対応するコンテンツを選択する選択部と、
前記選択部により選択された前記コンテンツに対する前記ユーザ端末を使用するユーザの慣れ度合に対応させた多重数で前記コンテンツを多重し、多重した前記コンテンツを前記ユーザ端末に提供する提供部とを有することを特徴とする情報提供システム。
(付記8)
予め記憶部に記憶されたコンテンツからユーザの位置情報に対応するコンテンツを選択し、
選択された前記コンテンツに対する前記ユーザの慣れ度合に対応させた多重数で前記コンテンツを多重し、多重した前記コンテンツを前記ユーザに提供する、処理をコンピュータに実行させるための情報提供プログラム。
(付記9)
情報提供装置が、
予め記憶部に記憶されたコンテンツからユーザの位置情報に対応するコンテンツを選択し、
選択された前記コンテンツに対する前記ユーザの慣れ度合に対応させた多重数で前記コンテンツを多重し、多重した前記コンテンツを前記ユーザに提供する提供部とを有することを特徴とする情報提供方法。
10 情報提供システム
11 情報提供装置
12 ユーザ端末
13 通信ネットワーク
21,41 通信部
22 端末情報取得部
23 選択部
24 最大多重数判断部
25 音声数判断部
26 音声提供部
27 熟練度情報管理部
31 コンテンツインデックス
32 利用管理情報
33 最大多重数判断基準
34 音声数判断基準
35 熟練度情報
36 コンテンツ本体
42 イヤホン
43 位置センサ
51,61 入力装置
52,62 出力装置
53 ドライブ装置
54,65 補助記憶装置
55,66 主記憶装置
56,67 CPU
57,68 ネットワーク接続装置
58 記録媒体
63 オーディオインタフェース
64 通信インタフェース
71 ユーザ
72 範囲

Claims (7)

  1. 予め記憶部に記憶されたコンテンツからユーザの位置情報に対応するコンテンツを選択する選択部と、
    前記選択部により選択された前記コンテンツに対する前記ユーザの慣れ度合に対応させた多重数で前記コンテンツを多重し、多重した前記コンテンツを前記ユーザに提供する提供部とを有することを特徴とする情報提供装置。
  2. 前記コンテンツに対する前記ユーザの慣れ度合は、前記コンテンツを提供する人物への慣れ、前記コンテンツの慣れ、前記コンテンツが提供された場所への慣れのうち、少なくとも1つに対応する慣れの度合であることを特徴とする請求項1に記載の情報提供装置。
  3. 前記ユーザの前記コンテンツに対する累積利用時間から前記コンテンツの最大多重数を判断し、前記ユーザのコンテンツ毎の利用時間、利用回数、及び前記コンテンツを利用した位置情報に対する回数のうち、少なくとも1つに基づいて前記コンテンツに対する認識率を判断する判断部とを有し、
    前記選択部は、前記判断部から得られる前記最大多重数及び前記認識率に基づいて前記慣れ度合に対応する多重数で多重させるコンテンツを選択することを特徴とする請求項1又は2に記載の情報提供装置。
  4. 前記提供部により前記ユーザに提供されたコンテンツに対応させて前記累積利用時間、前記利用時間、前記利用回数、及び前記コンテンツを利用した位置情報に対する回数の値を更新する管理部を有することを特徴とする請求項3に記載の情報提供装置。
  5. 前記選択部は、
    前記コンテンツ毎に設定された優先度に応じて前記ユーザに提供するコンテンツを選択することを特徴とする請求項1乃至4の何れか1項に記載の情報提供装置。
  6. ユーザ端末と、該ユーザ端末にコンテンツを提供する情報提供装置とを有する情報提供システムにおいて、
    前記情報提供装置は、
    前記ユーザ端末の位置情報を取得し、予め記憶部に記憶されたコンテンツから前記位置情報に対応するコンテンツを選択する選択部と、
    前記選択部により選択された前記コンテンツに対する前記ユーザ端末を使用するユーザの慣れ度合に対応させた多重数で前記コンテンツを多重し、多重した前記コンテンツを前記ユーザ端末に提供する提供部とを有することを特徴とする情報提供システム。
  7. 予め記憶部に記憶されたコンテンツからユーザの位置情報に対応するコンテンツを選択し、
    選択された前記コンテンツに対する前記ユーザの慣れ度合に対応させた多重数で前記コンテンツを多重し、多重した前記コンテンツを前記ユーザに提供する、処理をコンピュータに実行させるための情報提供プログラム。
JP2013152473A 2013-07-23 2013-07-23 情報提供装置、情報提供システム、及び情報提供プログラム Active JP6146182B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013152473A JP6146182B2 (ja) 2013-07-23 2013-07-23 情報提供装置、情報提供システム、及び情報提供プログラム
US14/299,542 US9992536B2 (en) 2013-07-23 2014-06-09 Information provision device, information provision method, and information provision system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013152473A JP6146182B2 (ja) 2013-07-23 2013-07-23 情報提供装置、情報提供システム、及び情報提供プログラム

Publications (2)

Publication Number Publication Date
JP2015023534A JP2015023534A (ja) 2015-02-02
JP6146182B2 true JP6146182B2 (ja) 2017-06-14

Family

ID=52391136

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013152473A Active JP6146182B2 (ja) 2013-07-23 2013-07-23 情報提供装置、情報提供システム、及び情報提供プログラム

Country Status (2)

Country Link
US (1) US9992536B2 (ja)
JP (1) JP6146182B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016194612A (ja) * 2015-03-31 2016-11-17 株式会社ニデック 視覚認識支援装置および視覚認識支援プログラム
WO2018008407A1 (ja) * 2016-07-06 2018-01-11 ソニー株式会社 情報処理装置および方法
JP6366808B1 (ja) * 2017-11-10 2018-08-01 株式会社NewsTV 拡張現実映像提供システム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0132485B1 (ko) * 1994-10-07 1998-04-16 문정환 음성신호를 내장한 텔레비젼 수상기
JP3834848B2 (ja) * 1995-09-20 2006-10-18 株式会社日立製作所 音情報提供装置、及び音情報選択方法
JP3309735B2 (ja) 1996-10-24 2002-07-29 三菱電機株式会社 音声マンマシンインタフェース装置
US7031924B2 (en) 2000-06-30 2006-04-18 Canon Kabushiki Kaisha Voice synthesizing apparatus, voice synthesizing system, voice synthesizing method and storage medium
JP2002023787A (ja) 2000-07-06 2002-01-25 Canon Inc 音声合成装置、音声合成システム、音声合成方法及び記憶媒体
AUPR989802A0 (en) * 2002-01-09 2002-01-31 Lake Technology Limited Interactive spatialized audiovisual system
JP3898185B2 (ja) 2002-04-09 2007-03-28 松下電器産業株式会社 音声提供システム、サーバ、クライアントマシン及び音声提供方法
JP4438816B2 (ja) * 2002-08-27 2010-03-24 ヤマハ株式会社 サウンドデータ配信システム
US20080177994A1 (en) * 2003-01-12 2008-07-24 Yaron Mayer System and method for improving the efficiency, comfort, and/or reliability in Operating Systems, such as for example Windows
JP2004267433A (ja) * 2003-03-07 2004-09-30 Namco Ltd 音声チャット機能を提供する情報処理装置、サーバおよびプログラム並びに記録媒体
JP2005070430A (ja) 2003-08-25 2005-03-17 Alpine Electronics Inc 音声出力装置および方法
JP3815509B2 (ja) * 2005-12-05 2006-08-30 ソニー株式会社 シミュレーションシステム、仮想空間提供装置および方法、並びにユーザ端末装置および仮想空間画像生成方法
US8170222B2 (en) * 2008-04-18 2012-05-01 Sony Mobile Communications Ab Augmented reality enhanced audio
US8428008B2 (en) * 2010-06-30 2013-04-23 Mitsubishi Electric Research Laboratories, Inc. Implicit channel sounding for closed-loop transmission in MIMO-OFDM wireless networks

Also Published As

Publication number Publication date
US9992536B2 (en) 2018-06-05
US20150032240A1 (en) 2015-01-29
JP2015023534A (ja) 2015-02-02

Similar Documents

Publication Publication Date Title
JP6248930B2 (ja) 情報処理システムおよびプログラム
JP2019195221A (ja) 音声インタラクション方法、端末機器、サーバ及びコンピュータ読み取り可能な記憶媒体
JP2013148576A (ja) 変調された背景音を利用して位置特定を行う携帯装置、コンピュータプログラム、および方法
JP6146182B2 (ja) 情報提供装置、情報提供システム、及び情報提供プログラム
US9594148B2 (en) Estimation device and estimation method using sound image localization processing
JP7243639B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2020030571A (ja) 情報処理装置、コンピュータプログラムおよび情報処理方法
JP2013532919A (ja) 移動通信のための方法
WO2021235321A1 (ja) 情報処理装置、情報処理方法、情報処理プログラムおよび音響処理装置
JP4922462B1 (ja) コンテンツ再生装置およびコンテンツ再生方法
US10820132B2 (en) Voice providing device and voice providing method
Altavilla et al. The quiet walk: sonic memories and mobile cartography
JP6795611B2 (ja) 音声提供装置、音声再生装置、音声提供方法及び音声再生方法
JP7151707B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6668907B2 (ja) 環境音声配信システム、環境音声処理方法及び環境音声処理プログラム
WO2023281820A1 (ja) 情報処理装置、情報処理方法、記憶媒体
WO2021140929A1 (ja) 信号処理装置および方法、音響再生装置、並びにプログラム
JP7173530B2 (ja) ナビゲーション装置およびナビゲーション方法
JP7390935B2 (ja) 拡声装置、建築物及び拡声方法
JP5203302B2 (ja) 情報提示機器選択装置及び方法及びプログラム
US20240015462A1 (en) Voice processing system, voice processing method, and recording medium having voice processing program recorded thereon
JP6674557B2 (ja) 音声再生装置及び音声再生方法
JP2023131265A (ja) 情報処理方法および情報処理システム
JP2020030788A (ja) 情報処理装置、コンピュータプログラムおよび情報処理方法
JP2018194601A (ja) 音声提供装置及び音声提供方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160405

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170501

R150 Certificate of patent or registration of utility model

Ref document number: 6146182

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150