JP6170645B1 - 情報管理システムおよび端末装置 - Google Patents

情報管理システムおよび端末装置 Download PDF

Info

Publication number
JP6170645B1
JP6170645B1 JP2017103876A JP2017103876A JP6170645B1 JP 6170645 B1 JP6170645 B1 JP 6170645B1 JP 2017103876 A JP2017103876 A JP 2017103876A JP 2017103876 A JP2017103876 A JP 2017103876A JP 6170645 B1 JP6170645 B1 JP 6170645B1
Authority
JP
Japan
Prior art keywords
information
sound
identification information
terminal device
acoustic signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017103876A
Other languages
English (en)
Other versions
JP2017143586A (ja
Inventor
岩瀬 裕之
裕之 岩瀬
優樹 瀬戸
優樹 瀬戸
貴裕 岩田
貴裕 岩田
翔太 森口
翔太 森口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=55949850&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP6170645(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Yamaha Corp filed Critical Yamaha Corp
Application granted granted Critical
Publication of JP6170645B1 publication Critical patent/JP6170645B1/ja
Publication of JP2017143586A publication Critical patent/JP2017143586A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】端末装置に必要な記憶容量を削減しながら多様な情報を提供する。【解決手段】情報管理システム14は、案内音声に関連する情報の所在を示すURLと識別情報Dとを対応させる対応管理部34と、案内音声と識別情報Dを示す音響成分とを含む音響を収音した端末装置が当該音響から抽出した識別情報Dを当該端末装置から受信し、対応管理部34が当該識別情報Dに対応させたURLを当該端末装置に送信する情報提供部36とを具備する。【選択図】図2

Description

本発明は、端末装置の利用者に情報を提供する技術に関する。
美術館や博物館等の展示施設にて利用者を案内する各種の技術が従来から提案されている。例えば特許文献1には、美術館や博物館等の各展示物の近傍に設置された発信装置と、利用者が携帯する携帯受信機とを利用した自動再生音声ガイドシステムが開示されている。発信装置は、展示物に固有の識別符号を電波または赤外線により間欠的に周囲に送信する。携帯受信機は、自身の記録媒体に事前に記憶された複数の案内音声のうち、発信装置から受信した識別符号に対応する案内音声を再生する。特許文献1の技術によれば、発信装置からの電波や赤外線が到達する範囲内(展示物の周囲)に携帯受信機が移動して識別符号を受信することを契機として、当該範囲内の展示物を解説する案内音声が再生される。
特開2011−109629号公報
しかし、特許文献1の技術では、携帯受信機の記録媒体に事前に記憶された複数の案内音声のうち、発信装置から受信した識別符号に対応する案内音声が再生される。以上の事情を考慮して、本発明は、端末装置に必要な記憶容量を削減しながら利用者に情報を提供することを目的とする。
以上の課題を解決するために、本発明の好適な態様に係る情報管理システムは、再生対象音に関連する情報の所在を示すURLと識別情報とを対応させる対応管理部と、前記再生対象音と前記識別情報を示す音響成分とを含む音響を収音した端末装置が当該音響から抽出した前記識別情報を当該端末装置から受信し、前記対応管理部が当該識別情報に対応させたURLを当該端末装置に送信する情報提供部とを具備する。また、本発明の好適な態様に係る端末装置は、再生対象音と識別情報を示す音響成分とを含む音響を収音する収音装置と、前記収音装置が収音した音響から前記識別情報を抽出する情報抽出部と、前記情報抽出部が抽出した識別情報に対応し、前記再生対象音に関連する情報の所在を示すURLを、情報管理システムから受信する通信部とを具備する。
また、本発明の第1態様に係る端末装置は、再生対象音を表す音響信号と当該再生対象音の識別情報を含む変調信号とを含有する音響信号に応じて放音された音響を収音して収音信号を生成する収音手段と、収音手段が生成した収音信号から識別情報を抽出する情報抽出手段と、情報抽出手段が抽出した識別情報を含む情報要求を送信する送信手段と、情報要求に含まれる識別情報に対応するとともに再生対象音に関連する複数の関連情報の何れかを受信する受信手段と、受信手段が受信した関連情報を出力する出力手段とを具備する。以上の構成では、再生対象音を表す音響信号と当該再生対象音の識別情報を含む変調信号とを含有する音響信号に応じて放音された音響を収音した収音信号から識別情報が抽出される。すなわち、再生対象音とともに放音される音響を利用した音響通信で識別情報が端末装置に通知される。したがって、赤外線や電波を利用した無線通信に専用される通信機器を必要とせずに、再生対象音の識別情報に対応する関連情報を利用者に提供することが可能である。
本発明の好適な態様において、送信手段は、当該端末装置にて指定された言語を示す言語情報を含む情報要求を送信し、受信手段は、情報要求の識別情報に対応するとともに相異なる言語に対応する複数の関連情報のうち情報要求の言語情報で指定された言語に対応する関連情報を受信する。以上の態様では、相異なる言語に対応する複数の関連情報のうち情報要求の言語情報で指定された言語に対応する関連情報が受信されるから、使用言語が相違する多様な利用者が理解可能な関連情報を提供できるという利点がある。また、端末装置のOSの言語設定で指定された言語を示す言語情報を利用すれば、利用者が言語を指定する必要がないという利点もある。
本発明の第2態様に係る情報提供システムは、再生対象音を表す音響信号と当該再生対象音の識別情報を含む変調信号とを含有する音響信号に応じた音響を放音する放音手段と、放音手段が放音した音響から抽出される識別情報を含む情報要求を端末装置から受信し、情報要求に含まれる識別情報に対応するとともに再生対象音に関連する複数の関連情報の何れかを端末装置に送信する情報提供手段とを具備する。以上の構成では、再生対象音を表す音響信号と当該再生対象音の識別情報を含む変調信号とを含有する音響信号に応じた音響が放音手段から放音される。すなわち、再生対象音とともに放音される音響を利用した音響通信で識別情報が端末装置に通知される。したがって、赤外線や電波を利用した無線通信に専用される通信機器を必要とせずに、再生対象音の識別情報に対応する関連情報を利用者に提供することが可能である。
第2態様の好適例において、情報提供手段は、端末装置にて指定された言語を示す言語情報を含む情報要求を受信し、情報要求の識別情報に対応するとともに相異なる言語に対応する複数の関連情報のうち当該情報要求の言語情報で指定された言語に対応する関連情報を端末装置に送信する。以上の態様では、相異なる言語に対応する複数の関連情報のうち情報要求の言語情報で指定された言語に対応する関連情報が端末装置に送信されるから、使用言語が相違する多様な利用者が理解可能な関連情報を提供できるという利点がある。
以上の各態様に係る端末装置および情報提供システムは、専用の電子回路で実現されるほか、CPU(Central Processing Unit)等の汎用の演算処理装置とプログラムとの協働によっても実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性(non-transitory)の記録媒体であり、CD-ROM等の光学式記録媒体(光ディスク)が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。なお、例えば、本発明のプログラムは、通信網を介した配信の形態で提供されてコンピュータにインストールされ得る。また、以上の各態様に係る端末装置および情報提供システムの動作方法(情報提供方法)としても本発明は特定される。
本発明の第1実施形態に係る通信システムの構成図である。 情報管理システムの構成図である。 音響信号取得部および関連情報取得部の構成図である。 信号処理部の構成図である。 信号処理部の動作の説明図である。 情報管理システムの動作のフローチャートである。 放音システムの構成図である。 端末装置の構成図である。 端末装置が関連情報を取得する動作の説明図である。 音響信号取得部および関連情報取得部の変形例(態様1)の構成図である。 音響信号取得部および関連情報取得部の変形例(態様2)の構成図である。 音響信号取得部および関連情報取得部の変形例(態様3)の構成図である。 音響信号取得部および関連情報取得部の変形例(態様4)の構成図である。 音響信号取得部および関連情報取得部の変形例(態様5)の構成図である。 音響信号取得部および関連情報取得部の変形例(態様6)の構成図である。 音響信号取得部および関連情報取得部の変形例(態様7)の構成図である。 音響信号取得部および関連情報取得部の変形例(態様8)の構成図である。 第2実施形態に係る信号処理部の動作の説明図である。 第3実施形態に係る情報提供部の動作の説明図である。 変形例に係る関連情報の表示例である。 変形例に係る通信システムの構成図である。
<第1実施形態>
図1は、本発明の第1実施形態に係る通信システム100の構成図である。図1に例示される通り、第1実施形態の通信システム100は、情報提供システム10と端末装置12とを包含する。情報提供システム10は、端末装置12に各種の情報を提供するコンピュータシステムである。端末装置12は、例えば携帯電話機やスマートフォン等の可搬型の情報処理装置である。以下の説明では、美術品や資料等の複数の展示物が展示された美術館や博物館等の施設(以下「展示施設」という)Mに端末装置12の利用者が所在し、各展示物に関連する情報が情報提供システム10から端末装置12に提供される場合を便宜的に想定する。なお、図1では1個の端末装置12のみを便宜的に図示したが、実際には複数の端末装置12の各々に対して情報提供システム10から情報が提供され得る。
図1に例示される通り、第1実施形態の情報提供システム10は、情報管理システム14と放音システム16とを具備する。放音システム16は、展示施設Mに設置されて施設の音声案内に利用される。具体的には、図1に例示される通り、第1実施形態の放音システム16は、特定の言語(以下「第1言語」という)で利用者を案内する音声(以下「案内音声」という)を放音するとともに、案内音声に事前に付与された識別情報Dを端末装置12に通知する。案内音声は、例えば、展示物を解説する音声や展示施設M内の順路を案内する音響である。案内音声の識別情報Dは、無線による情報通信で端末装置12に通知される。第1実施形態では、空気振動としての音響(音波)を伝送媒体とする音響通信で放音システム16から端末装置12に識別情報Dを通知する場合を例示する。すなわち、識別情報Dは案内音声とともに音響として放音システム16から放射される。
他方、情報管理システム14は、端末装置12に提供される情報を管理するコンピュータシステムである。端末装置12は、移動体通信網やインターネット等を含む通信網18を介して情報管理システム14と通信可能である。図1に例示される通り、端末装置12は、放音システム16から通知された識別情報Dを含む情報要求Rを情報管理システム14に送信する。情報管理システム14は、通信網18を介して受信した情報要求Rで指定された識別情報Dに対応する関連情報Qを要求元の端末装置12に送信する。関連情報Qは、案内音声に関連する情報である。第1実施形態では、案内音声で発音される第1言語の案内を他言語(以下「第2言語」という)に変換した翻訳を示す関連情報Qが端末装置12に提供される。したがって、第1言語を理解可能な利用者は、案内音声の聴取により展示施設Mの案内を把握し、第2言語を理解可能な利用者は、関連情報Qを参照することで展示施設Mの案内を把握する。以上に概説した通信システム100の各要素の具体的な構成や機能を以下に詳述する。
<情報管理システム14>
図2は、情報管理システム14の構成図である。図2に例示される通り、第1実施形態の情報管理システム14は、制御装置142と記憶装置144と入力装置146とを具備する。記憶装置144は、制御装置142が実行するプログラムや制御装置142が使用する各種のデータを記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置144として任意に採用される。入力装置146は、情報管理システム14を運営する管理者が情報管理システム14に対する各種の指示のために操作する操作機器であり、例えば管理者が操作可能な複数の操作子を包含する。管理者は、例えば入力装置146を適宜に操作することで、展示施設Mの各展示物の案内を表現した文字列(以下「指定文字列」という)を任意に指示することが可能である。
図2に例示される通り、制御装置142は、記憶装置144に記憶されたプログラムを実行することで、端末装置12に提供される情報を管理するための複数の機能(音響信号取得部22,関連情報取得部24,識別情報設定部26,信号処理部32,対応管理部34,情報提供部36)を実現する。なお、制御装置142の各機能を複数の装置に分散した構成や、制御装置142の機能の一部を専用の電子回路が実現する構成も採用され得る。
音響信号取得部22は、案内音声を表す音響信号SGを取得する。図3に例示される通り、第1実施形態の音響信号取得部22は、入力装置146に対する操作で管理者が指示した第1言語の指定文字列を発音した案内音声の時間波形を表す音響信号SGを音声合成により生成する。音響信号取得部22が実行する音声合成には公知の技術が任意に採用され得る。例えば、事前に用意された複数の音声素片(音素単体または音素連鎖)のうち指定文字列の各文字に対応する音声素片を時系列に接続して音響信号SGを生成する素片接続型の音声合成や、HMM(Hidden Markov Model)等の統計モデルを利用して指定文字列に応じた音響信号SGを生成する統計モデル型の音声合成が、音響信号取得部22による音響信号SGの生成に利用され得る。
図2の関連情報取得部24は、案内音声に関連する関連情報Qを生成する。図3に例示される通り、第1実施形態の関連情報取得部24は、管理者が指示した第1言語の指定文字列に対する機械翻訳(自動翻訳)により、展示施設Mの案内を第2言語で表現した文字列(以下「変換文字列」という)を関連情報Qとして生成する。指定文字列の機械翻訳には公知の技術が任意に採用され得る。例えば、指定文字列の構文解析の結果と言語的な規則とを参照して語順や単語を変換するルールベースの機械翻訳や、言語の統計的な傾向を表現する統計モデル(翻訳モデルおよび言語モデル)を利用して指定文字列を第2言語に翻訳する統計的な機械翻訳が、関連情報取得部24による関連情報Qの生成に利用され得る。
図2の識別情報設定部26は、案内音声の再生とともに放音システム16から端末装置12に通知される識別情報Dを設定する。識別情報Dは、案内音声を識別するための固有の符号であり、案内音声毎に設定される。例えば、相異なる案内音声の間で相互に重複しないように公知の方法で生成された乱数の系列を、識別情報設定部26は識別情報Dとして設定する。
信号処理部32は、識別情報設定部26が設定した識別情報Dを案内音声の音響信号SGに合成することで音響信号Sを生成する。音響信号SGに対する識別情報Dの合成(音響透かし)には公知の方法が任意に採用され得るが、例えば国際公開第2010/016589号に開示された方法が好適である。具体的には、信号処理部32は、図4に例示される通り、変調処理部322と混合処理部324とを包含する。変調処理部322は、拡散符号を利用した識別情報Dの拡散変調と所定の周波数の搬送波を利用した周波数変換とを順次に実行することで、識別情報Dを所定の周波数帯域の音響成分として含有する音響信号(以下「変調信号」という)SDを生成する。変調信号SDの周波数帯域は、放音システム16による放音と端末装置12による収音とが可能な周波数帯域であり、かつ、利用者が通常の環境で聴取する音声や楽音等の音響の周波数帯域(例えば可聴域内の約16kHz以下)を上回る周波数帯域(例えば18kHz以上かつ20kHz以下)の範囲内に包含される。なお、変調処理部322が変調信号SDを生成する方法は以上の例示(拡散変調)に限定されない。例えば、所定の周波数の正弦波等の搬送波を識別情報Dで周波数変調することで特定の周波数帯域(例えば18kHz以上かつ20kHz以下)内の変調信号SDを生成することも可能である。
図4の混合処理部324は、音響信号取得部22が取得した音響信号SGと変調処理部322が生成した変調信号SDとを重畳(典型的には加算)することで音響信号Sを生成する。以上の説明から理解される通り、音響信号Sは、案内音声の音響成分(音響信号SG)と当該案内音声の識別情報Dを含む音響成分(変調信号SD)とを含有する。
図5は、案内音声の音響信号SGと識別情報Dを含む変調信号SDとの時間的な関係の説明図である。図5に例示される通り、案内音声の識別情報Dを含む変調信号SDは、当該案内音声の音響信号SGのうち時間軸上の相異なる区間に複数回にわたり反復的に付加される。すなわち、案内音声のうち時間軸上の複数の時点に当該案内音声の識別情報Dの音響成分が混合される。なお、各変調信号SDを時間軸上で相互に連続させることも可能である。
第1実施形態の信号処理部32は、音響信号Sを所定の形式(例えばWAV形式やMP3形式)の音響ファイルとして記憶装置144に格納する。以上の処理が複数回にわたり反復されることで、案内の内容(案内対象の展示物)が相違する複数の案内音声の各々について、当該案内音声の音響成分(音響信号SG)と当該案内音声の識別情報Dを含む音響成分(変調信号SD)とを含有する音響信号Sが記憶装置144に記憶される。
図2の対応管理部34は、識別情報設定部26が案内音声毎に設定した識別情報Dと、関連情報取得部24が当該案内音声について取得した関連情報Qとを対応させて記憶装置144に格納する。したがって、図2に例示される通り、記憶装置144には、案内音声の識別情報D毎に関連情報Qが記憶される。以上の説明から理解される通り、展示施設M内で放音される複数の案内音声の各々について音響信号Sと関連情報Qとが生成される。共通の案内音声に対応する音響信号SG(音響信号S)と関連情報Qとが、識別情報Dを介して相互に対応付けられる、とも換言され得る。なお、図2では、音響信号Sと関連情報Qとを記憶装置144に格納した構成を例示したが、音響信号Sと関連情報Qとを別個の記録媒体に格納することも可能である。
図2の情報提供部36は、識別情報Dを含む情報要求Rを端末装置12から受信し、記憶装置144に記憶された複数の関連情報Qのうち、情報要求Rで指定される識別情報Dに対応する関連情報Qを選択して要求元の端末装置12に送信する。端末装置12に対する関連情報Qの送信については後述する。
図6は、音響信号Sと関連情報Qとを情報管理システム14が生成する処理(以下「情報生成処理」という)のフローチャートである。例えば入力装置146に対する管理者からの操作(具体的には指定文字列の指定)を契機として図6の情報生成処理が開始される。情報生成処理を開始すると、制御装置142(音響信号取得部22および関連情報取得部24)は、指定文字列に対応する案内音声の音響信号SGと案内音声に関連する関連情報Qとを取得する(SA1)。制御装置142(識別情報設定部26)は、案内音声の識別情報Dを設定する(SA2)。また、制御装置142(信号処理部32)は、当該案内音声の識別情報Dを含む変調信号SDを案内音声の音響信号SGに重畳した音響信号Sを生成して記憶装置144に格納する(SA3)。そして、制御装置142(対応管理部34)は、案内音声の関連情報Qと識別情報Dとを相互に対応させて記憶装置144に格納する(SA4)。
以上に例示した情報生成処理で情報管理システム14が生成した複数の音響信号S(音響ファイル)は図1の放音システム16に転送される。複数の音響信号Sの転送の方法は任意であるが、例えば、情報管理システム14から通信網18を介して放音システム16に各音響信号Sを転送する方法や、半導体記録媒体等の可搬型の記録媒体を介して情報管理システム14から放音システム16に各音響信号Sを転送する方法が採用され得る。
<放音システム16>
図7は、放音システム16の構成図である。図7に例示される通り、第1実施形態の放音システム16は、制御装置162と記憶装置164と複数の放音装置166とを具備する。記憶装置164は、例えば半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せで構成される。情報管理システム14から転送された複数の音響信号Sが記憶装置164に格納される。
制御装置162は、放音システム16の各要素を統括的に制御する。第1実施形態の制御装置162は、記憶装置164に記憶された各音響信号Sを各放音装置166に供給する。複数の放音装置166の各々は、展示施設M内の相異なる展示物の近傍に設置される。任意の1個の展示物の近傍に設置された放音装置166には、当該展示物の案内音声に対応する音響信号Sが供給される。各放音装置166は、制御装置162から供給される音響信号Sに応じた音響を放音する音響機器である。なお、音響信号Sをデジタルからアナログに変換するD/A変換器の図示は便宜的に省略されている。
図4および図5を参照して前述した通り、音響信号Sは、案内音声を表す音響信号SGと当該案内音声の識別情報Dを含む変調信号SDとを包含する。したがって、任意の1個の展示物に対応する放音装置166からは、当該展示物の案内音声と識別情報Dを示す音響とが放音される。図5に例示した通り、識別情報Dの変調信号SDは複数回にわたり反復的に音響信号SGに付加されるから、案内音声の再生に並行して、当該案内音声の識別情報Dの音響が複数回にわたり反復的に放音される。すなわち、放音装置166の近傍(展示物の近傍)の利用者が展示物の案内音声を聴取する一方、当該案内音声の識別情報Dが音響通信により当該利用者の端末装置12に通知される。前述の通り、識別情報Dを含む変調信号SDの周波数帯域は、利用者が通常の環境で聴取する音響の周波数帯域と比較して高域側(例えば18kHz以上かつ20kHz以下)に位置するから、識別情報Dの音響は利用者に殆ど知覚されない。すなわち、利用者による案内音声の聴取に影響することなく音響通信により識別情報Dを端末装置12に送信することが可能である。
<端末装置12>
図8は、端末装置12の構成図である。放音システム16の1個の放音装置166が図8では併記されている。図8に例示される通り、第1実施形態の端末装置12は、制御装置50と記憶装置52と通信装置54と収音装置56と出力装置58とを具備する。記憶装置52は、制御装置50が実行するプログラムや制御装置50が使用するデータを記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体または複数種の記録媒体の組合せが記憶装置52として任意に採用される。
収音装置56は、周囲の音響を収音する音響機器(マイクロホン)であり、端末装置12の相互間の音声通話や動画撮影時の音声収録に利用される。図8に例示される通り、第1実施形態の収音装置56は、展示施設M内の放音装置166から放音された音響を収音し、当該音響の時間波形を表す音響信号(以下「収音信号」という)Xを生成する。したがって、収音信号Xは、案内音声の音響成分(音響信号SG)と当該案内音声の識別情報Dの音響成分(変調信号SD)とを含有する。なお、収音装置56が生成した収音信号Xをアナログからデジタルに変換するA/D変換器の図示は便宜的に省略されている。
制御装置50は、端末装置12の各要素を統括的に制御する。第1実施形態の制御装置50は、記憶装置52に記憶されたプログラムを実行することで情報抽出部51として機能する。情報抽出部51は、収音装置56が生成した収音信号Xの復調で案内音声の識別情報Dを抽出する。具体的には、情報抽出部51は、収音信号Xのうち識別情報Dを含む高域側の周波数帯域(18kHz以上かつ20kHz以下)の帯域成分を例えば高域通過フィルタで選択し、識別情報Dの拡散変調に利用された拡散符号を係数とする整合フィルタを通過させることで識別情報Dを抽出する。
通信装置54は、通信網18を介して情報提供システム10と通信する通信機器である。通信装置54と通信網18との間の通信の方式は任意であるが、典型的には、放音システム16から端末装置12に識別情報Dを通知するための音響通信とは相違する無線通信(例えば電波や赤外線を伝送媒体とする情報通信)が採用される。図8に例示される通り、第1実施形態の通信装置54は送信部542と受信部544とを包含する。送信部542は、情報抽出部51が収音信号Xから抽出した識別情報Dを含む情報要求Rを情報管理システム14に送信する。他方、受信部544は、情報要求Rに応じて情報管理システム14から送信された関連情報Qを受信する。なお、図5を参照して説明した通り、識別情報Dの変調信号SDは案内音声の音響信号SGに複数回にわたり反復的に付加されるから、情報抽出部51は1個の識別情報Dを相異なる時点で複数回にわたり反復的に抽出し得るが、情報要求Rの送信や関連情報Qの受信が実行されるのは、新規な識別情報Dを情報抽出部51が最初に抽出した場合のみである。また、以上の例示の通り、第1実施形態では1個の識別情報Dが複数回にわたり反復的に送信されるから、例えば端末装置12の周囲の雑音等に起因して識別情報Dの取得に失敗した場合でも当該識別情報Dを再取得できるという利点がある。
図8の出力装置58は、受信部544が情報管理システム14から受信した関連情報Qを出力する。第1実施形態の出力装置58は、関連情報Qが示す第2言語の変換文字列を表示する表示装置である。すなわち、放音システム16の放音装置166による第1言語の案内音声の再生に並行して、端末装置12では第2言語の変換文字列が表示される。したがって、端末装置12の利用者は、第1言語を理解できない場合でも第2言語の変換文字列を視認することで展示物の案内を把握することが可能である。
図9は、端末装置12が関連情報Qを取得する動作の説明図である。前述の通り、放音システム16の各放音装置166からは、案内音声の再生に並行して識別情報Dの音響が反復的に放音される。放音装置166からの音響が到達する範囲(展示物の近傍)に端末装置12の利用者が移動すると、端末装置12の収音装置56は、案内音声の音響成分と識別情報Dの音響成分とを含有する収音信号Xを生成する(SB1)。制御装置50(情報抽出部51)は、収音信号Xの復調で識別情報Dを抽出し(SB2)、通信装置54の送信部542は、識別情報Dを含む情報要求Rを情報管理システム14に送信する(SB3)。
情報管理システム14の情報提供部36は、端末装置12が送信した情報要求Rを通信網18から受信し、記憶装置144に記憶された複数の関連情報Qのうち、当該情報要求Rで指定された識別情報Dに対応する関連情報Qを選択する(SB4)とともに当該関連情報Qを要求元の端末装置12に送信する(SB5)。端末装置12の受信部544は、情報管理システム14から送信された関連情報Qを受信し(SB6)、出力装置58は関連情報Qを出力する(SB7)。以上の説明から理解される通り、案内音声の再生に並行して放音システム16の放音装置166から放音される識別情報Dの音響を端末装置12が収音すること(すなわち、放音装置166からの音波が到達する範囲内に端末装置12が移動すること)を契機として、識別情報Dを含む情報要求Rの送信(SB3)と識別情報Dに対応する関連情報Qの取得(SB6)とが実行される。
以上に説明した通り、第1実施形態では、案内音声の音響信号SGと当該案内音声の識別情報Dを含む変調信号SDとを含有する音響信号Sに応じた音響が放音される。すなわち、案内音声とともに放音される音響を利用した音響通信で識別情報Dが端末装置12に通知される。したがって、音声通話や音声収録に利用される収音装置56を識別情報Dの取得に流用でき、識別情報Dの無線通信に専用される通信機器が不要であるという利点がある。放音システム16においても、識別情報Dの送信に専用される通信機器は不要であり、音声案内に利用される既存の放音装置166を端末装置12に対する識別情報Dの通知に利用できるという利点がある。また、識別情報Dを音響通信により端末装置12に通信する構成によれば、識別情報Dの音響が到達する範囲の制御が容易であるという利点や、複数の端末装置12に対して一括的に識別情報Dを通知できるという利点もある。
また、第1実施形態では、案内音声の放音とともに端末装置12に通知される識別情報Dと当該案内音声に関連する関連情報Qとが情報管理システム14にて相互に対応付けられ、複数の関連情報Qのうち端末装置12に通知された識別情報Dに対応する関連情報Qが端末装置12に提供される。したがって、複数の関連情報Qを端末装置12の記憶装置52に事前に格納する必要がない。以上の構成によれば、関連情報Qの記憶のために端末装置12に必要な記憶容量が削減されるという利点がある。なお、複数の関連情報Qを各端末装置12に記憶した構成では、関連情報Qを更新する必要が発生した場合に、個々の端末装置12において関連情報Qを個別に更新する必要がある。他方、第1実施形態では、複数の関連情報Qが情報管理システム14の記憶装置144に保持されて選択的に端末装置12に提供されるから、記憶装置144に保持された関連情報Qを更新すれば、更新後の関連情報Qを各端末装置12に提供できる。すなわち、関連情報Qを端末装置12毎に個別に更新する必要がないという利点がある。
また、第1実施形態では、案内音声の識別情報Dが案内音声の再生とともに端末装置12に通知されるから、識別情報Dに対応する関連情報Qを案内音声の再生に並行して端末装置12にて出力することが可能である。したがって、例えば案内音声の再生の終了後に関連情報Qを出力する構成と比較して、案内音声と関連情報Qとの対応を利用者が認識し易いという利点がある。
<第1実施形態の変形例>
第1実施形態では、情報管理システム14の管理者が指示した指定文字列を適用した音声合成で音響信号SGを生成するとともに指定文字列の機械翻訳で関連情報Qを生成したが、音響信号SGや関連情報Qの取得(典型的には生成)の方法は以上の例示に限定されない。音響信号SGおよび関連情報Qを取得する他の方法を以下に例示する。
<態様1>
図10に例示された態様1において、情報管理システム14の音響信号取得部22は、第1実施形態と同様に、指定文字列に対する音声合成で案内音声の音響信号SGを生成する。他方、関連情報取得部24は、管理者が指示した指定文字列を関連情報Qとして取得する。すなわち、関連情報Qは、案内音声と共通の第1言語で当該案内音声の発音内容を表現する文字列である。以上の構成では、放音システム16による案内音声の再生に並行して端末装置12では当該案内音声の発音内容の文字列が表示される。したがって、難聴者(聴覚障碍者)が案内音声の内容を確認できるという利点がある。
<態様2>
図11に例示された態様2において、情報管理システム14の音響信号取得部22は、第1実施形態と同様に、第1言語の指定文字列に対する音声合成で案内音声の音響信号SGを生成する。他方、情報管理システム14の管理者は、入力装置146を適宜に操作することで、案内音声を第2言語で表現した文字列(変換文字列)を指定する。関連情報取得部24は、管理者が指示した第2言語の変換文字列を関連情報Qとして取得する。前掲の図3の構成では、機械翻訳の精度が低い場合に適切な変換文字列を生成できないが、図11に例示された態様2によれば、指定文字列の機械翻訳(図3)が不要であるから、案内音声を適切な第2言語で表現した関連情報Qを用意できるという利点がある。
<態様3>
図12に例示される態様3において、情報管理システム14の音響信号取得部22は、第1実施形態と同様に、指定文字列に対する音声合成で案内音声の音響信号SGを生成する。他方、関連情報取得部24は、第1言語の指定文字列に対する機械翻訳で第2言語の変換文字列を生成するとともに、変換文字列に対する音声合成で第2言語の案内音声の音響信号を関連情報Qとして生成する。端末装置12の出力装置58は、情報管理システム14から提供された関連情報Qが示す音響信号に応じた音響(第2言語の案内音声)を放音する放音装置(スピーカやイヤホン)を包含する。すなわち、放音システム16による第1言語の案内音声の再生に並行して、端末装置12では第2言語の案内音声が再生される。したがって、端末装置12の利用者は、第1言語を理解できない場合でも第2言語の案内音声を聴取することで展示物の案内を理解することが可能である。
<態様4>
図13に例示される態様4において、情報管理システム14の音響信号取得部22は、信号供給装置200から案内音声の音響信号SGを取得する。信号供給装置200は、周囲の音響を収音して音響信号SGを生成する収音装置や、可搬型または内蔵型の記録媒体から音響信号SGを取得して出力する再生装置や、通信網18から音響信号SGを受信して出力する通信装置である。他方、関連情報取得部24は、前掲の態様1や態様2と同様に、管理者が指示した指定文字列を関連情報Qとして取得する。したがって、信号供給装置200が生成した音響信号SGに応じた案内音声が放音装置166から放音されるとともに、端末装置12では管理者からの指示に応じた指定文字列が表示される。なお、関連情報取得部24が信号供給装置200から音響信号(例えば第2言語の案内音声の音響信号)を取得することも可能である。また、信号供給装置200から供給される音響信号を関連情報取得部24が関連情報Qとして取得する構成も採用され得る。
<態様5>
図14に例示される態様5において、情報管理システム14の音響信号取得部22は、第1実施形態と同様に、指定文字列に対する音声合成で案内音声の音響信号SGを生成する。他方、関連情報取得部24は、案内音声に関連する画像(静止画または動画)を関連情報Qとして取得する。したがって、指定文字列に対応する第1言語の案内音声の再生に並行して端末装置12では案内音声に関連する画像が表示される。
<態様6>
図15に例示される態様6において、情報管理システム14の音響信号取得部22は、図13(態様4)と同様の信号供給装置200から案内音声の音響信号SGを取得する。他方、関連情報取得部24は、信号供給装置200から供給される音響信号SGに対する音声認識により、案内音声の発音内容を表現する文字列を関連情報Qとして生成する。音響信号SGの音声認識には、例えばHMM等の音響モデルと言語的な制約を示す言語モデルとを利用した認識技術等の公知の技術が任意に採用され得る。以上の説明から理解される通り、態様6では、前掲の態様1(図10)と同様に、放音システム16による案内音声の再生に並行して端末装置12では当該案内音声の発音内容の文字列が表示される。したがって、例えば難聴者が案内音声の内容を確認できるという利点がある。
<態様7>
図16に例示される態様7において、情報管理システム14の音響信号取得部22は、態様6と同様に信号供給装置200から第1言語の案内音声の音響信号SGを取得する。他方、関連情報取得部24は、態様6と同様に音響信号SGに対する音声認識で案内音声の文字列を生成するとともに、当該文字列に対する機械翻訳により、案内音声を第2言語で表現した変換文字列を関連情報Qとして生成する。機械翻訳には公知の技術が任意に採用され得る。すなわち、態様7では、放音システム16による第1言語の案内音声の再生に並行して端末装置12では案内音声を第2言語に翻訳した変換文字列が表示される。なお、機械翻訳で生成された変換文字列に対する音声合成で第2言語の案内音声の音響信号を関連情報Qとして生成することも可能である。また、音響信号SGの音声認識で生成された第1言語の文字列を参照した管理者が、入力装置146を適宜に操作することで案内音声の第2言語による翻訳文(すなわち管理者自身が翻訳した文字列)を指示する構成では、管理者が指示した第2言語の変換文字列を関連情報取得部24が関連情報Qとして取得する。図16の態様7における機械翻訳で生成された第2言語の変換文字列を、管理者が入力装置146に対する操作で編集(典型的には修正)した結果を関連情報Qとして関連情報取得部24が取得することも可能である。
<態様8>
図17に例示される態様8において、情報管理システム14の関連情報取得部24は、音響信号SGに対する自動コンテンツ認識(ACR:Automatic Content Recognition)により、音響信号SGに関連するコンテンツを関連情報Qとして取得する。自動コンテンツ認識には種々の技術が任意に採用され得る。例えば、関連情報取得部24は、音響信号SGの特徴量(例えばMFCCや基本周波数等)を解析し、事前に用意された複数のコンテンツのうち音響信号SGの特徴量に整合するコンテンツを関連情報Qとして検索および取得する。なお、図17の自動コンテンツ認識には、音響信号SGの特徴量を解析および照合するフィンガープリント技術や、音響信号SGの可聴帯域または非可聴帯域に情報を埋込む音響透かし(Audio Watermark)技術を適用することが可能である。
音声認識と自動コンテンツ認識とを選択的に実行して関連情報取得部24が関連情報Qを取得することも可能である。例えば、音響信号SGが表す案内音声の種類に応じて音声認識と自動コンテンツ認識との何れかが選択される。具体的には、関連情報取得部24は、音響信号SGの音響が人間の発声音(音声)である場合には、音響信号SGに対する音声認識で関連情報Qを生成し、音響信号SGの音響が音楽(例えば歌唱音や楽器の演奏音)である場合には、音響信号SGに対する自動コンテンツ認識で関連情報Qを取得する。音声認識と自動コンテンツ認識とを併用することも可能である。例えば、音響信号SGに対する音声認識の結果の文字列に対する自動コンテンツ認識で関連情報取得部24が関連情報Qを取得する構成や、自動コンテンツ認識で特定されたコンテンツに対する音声認識の結果の文字列を関連情報取得部24が関連情報Qとして取得する構成が想定される。
態様6から態様8において、発音源(例えば発声者)から放射された案内音声を収音して音響信号SGを生成する収音装置や、収音装置が生成した音響信号SGを通信網18から受信する通信装置を信号供給装置200として利用した構成では、発音源による案内音声の発音と放音システム16による当該案内音声の再生とに並行して実時間的に関連情報Qを端末装置12に提供することが可能である。なお、態様6から態様8では信号供給装置200から音響信号SGが供給される場合を想定したが、各種の音声合成で生成された案内音声の音響信号SGに対する音声認識で関連情報Qを生成することも可能である。
<その他>
音響信号取得部22が音響信号SGを取得する方法や、関連情報取得部24が関連情報Qを取得する方法は以上の例示に限定されない。例えば、関連情報取得部24が第1言語の指定文字列の機械翻訳で第2言語の変換文字列を関連情報Qとして生成し、機械翻訳で生成された変換文字列に対する音声合成で音響信号取得部22が第2言語の案内音声の音響信号SGを生成することも可能である。
以上の例示から理解される通り、音響信号取得部22は、案内音声の音響信号SGを取得する要素として包括され、音声合成等の音響処理で自身が音響信号SGを生成する要素と、図13の信号供給装置200等の外部装置から音響信号SGを取得する要素との双方を包含する。同様に、関連情報取得部24は、案内音声に関連する関連情報Qを取得する要素として包括され、機械翻訳等の情報処理で自身が関連情報Qを生成する要素と、案内音声に関連する画像等の関連情報Qを外部装置から取得する要素との双方を包含する。
<第2実施形態>
本発明の第2実施形態を説明する。以下に例示する各態様において作用や機能が第1実施形態と同様である要素については、第1実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
図18は、第2実施形態における情報管理システム14の信号処理部32が音響信号Sを生成する処理の説明図である。図18に例示される通り、音響信号取得部22が取得した案内音声の音響信号SGには、時間軸上の位置が相違する複数の区間(以下「再生区間」という)Tが設定される。具体的には、案内音声の内容(趣旨や対象)毎に音響信号SGが複数の再生区間T(T1,T2,……)に区分される。例えば、案内対象が相違する複数のシーンで案内音声が構成される場合には、音響信号SGがシーン毎に各再生区間Tに区分される。再生区間Tの始点または終点(相前後する再生区間Tの境界)は、典型的には、入力装置146に対する管理者からの操作に応じて指示されるが、例えば音響信号Sの無音区間を境界として複数の再生区間Tを画定することも可能である。なお、時間軸上で相前後する各区間を任意の間隔で相互に離間させることも可能である。また、図18では各再生区間Tの時間長を便宜的に同等としたが、各再生区間Tの時間長を相違させることも可能である。
第2実施形態の識別情報設定部26は、音響信号SGの再生区間T毎に相異なる識別情報D(D1,D2,……)を設定する。信号処理部32は、音響信号SGの再生区間T毎に、識別情報設定部26が設定した相異なる識別情報Dを付加する。すなわち、信号処理部32は、図18に例示される通り、音響信号SGの複数の再生区間Tの各々に、識別情報設定部26が当該再生区間Tについて設定した識別情報Dの変調信号SDを反復的に付加することで音響信号Sを生成する。すなわち、案内音声の任意の1個の再生区間Tのうち複数の時点に、当該再生区間Tの識別情報Dの音響成分が反復的に混合される。信号処理部32が生成した音響信号Sは、第1実施形態と同様に放音システム16に転送される。
他方、第2実施形態の関連情報取得部24は、音響信号SGの再生区間T毎に関連情報Qを取得する。例えば、関連情報取得部24は、案内音声の再生区間T毎に指定文字列を区分して機械翻訳を実行することで、第2言語の変換文字列を示す関連情報Qを再生区間T毎に生成する。対応管理部34は、識別情報設定部26が設定した識別情報Dと関連情報取得部24が取得した関連情報Qとを案内音声の再生区間T毎に相互に対応させる。すなわち、対応管理部34は、識別情報設定部26が設定した各再生区間Tの識別情報Dと、当該再生区間Tについて関連情報取得部24が取得した関連情報Qとを、相互に対応させて記憶装置144に格納する。
放音システム16の放音装置166は、第1実施形態と同様に、情報管理システム14から転送された音響信号Sに応じた音響を放音する。すなわち、音響信号SGに応じた案内音声の再生に並行して、音響信号SGの再生区間T毎に相異なる識別情報Dの音響が反復的に放音される。したがって、案内音声の再生地点が任意の再生区間Tから直後の再生区間Tに遷移するたびに、端末装置12に通知される識別情報Dが変更される。他方、端末装置12の情報抽出部51は、案内音声の各再生区間Tの識別情報Dを順次に収音信号Xから抽出する。そして、識別情報Dの抽出毎(再生区間T毎)に、識別情報Dを指定した情報要求Rの送信(送信部542)と、情報要求Rに応じた関連情報Qの受信(受信部544)とが実行される。したがって、出力装置58が出力する関連情報Qは、案内音声の再生の進行とともに順次に変更される。具体的には、案内音声のうち任意の1個の再生区間Tの開始(再生区間Tの遷移)を契機として、出力装置58による出力内容(関連情報Q)が変更される。
第2実施形態においても第1実施形態と同様の効果が実現される。また、第2実施形態では、案内音声を時間軸上で区分した複数の再生区間Tの各々について、識別情報Dの設定や識別情報Dおよび関連情報Qの対応付けとが実行されるから、端末装置12の利用者に提示される関連情報Qを案内音声の再生の進行に連動して変化させることが可能である。
<第3実施形態>
図19は、本発明の第3実施形態の動作の説明図である。図19に例示される通り、第3実施形態における情報管理システム14の記憶装置144には、音響信号SGで表現される案内音声の識別情報D毎に複数(N個)の関連情報Q(Q1,Q2,……)が記憶される。具体的には、第1言語の案内音声を第1言語以外の相異なる言語で表現した音声を表すN個の関連情報Qが、当該案内音声の1個の識別情報Dに対応付けて記憶される。相異なる言語のN個の関連情報Qを用意する方法は任意であるが、例えば、前掲の図12に例示した通り、第1言語の指定文字列に対する機械翻訳で相異なる言語で表現されたN個の変換文字列を生成し、各変換文字列に対する音声合成で相異なるN種類の言語の案内音声を表すN個の関連情報Qを生成することが可能である。
他方、放音システム16が放音した音響を収音した収音信号Xから情報抽出部51が識別情報Dを抽出すると、端末装置12の送信部542は、識別情報Dと言語情報Lとを包含する情報要求Rを情報管理システム14に送信する(SB3)。言語情報Lは、端末装置12にて使用される言語を指定する情報である。言語情報Lを取得する方法は任意であるが、例えば、端末装置12のOS(Operating System)の言語設定を参照して送信部542が言語情報Lを生成する構成や、端末装置12の利用者が任意に指定した言語を示す言語情報Lを生成する構成が採用され得る。
情報管理システム14の情報提供部36は、端末装置12から情報要求Rを受信すると、情報要求Rで指定される識別情報Dに対応して記憶装置164に記憶されたN個の関連情報Qのうち、情報要求Rで指定される言語情報Lが示す言語の関連情報Qを選択し(SB4)、当該関連情報Qを要求元の端末装置12に送信する(SB5)。端末装置12の受信部544は、情報管理システム14から送信された関連情報Qを受信し(SB6)、出力装置58(放音装置166)は、関連情報Qが示す案内音声を放音する(SB7)。以上の説明から理解される通り、第1言語の案内音声の再生に並行して、第1言語以外のN種類の言語のうち言語情報Lで指定された1種類の言語の案内音声が端末装置12の出力装置58から出力される。
第3実施形態においても第1実施形態と同様の効果が実現される。また、第3実施形態では、言語が相違するN個の関連情報Qの何れかが選択的に端末装置12に提供されるから、使用言語が相違する多様な利用者が理解可能な関連情報Qを提供できるという利点がある。なお、以上の説明では、各言語の音声を表す関連情報Qを例示したが、案内音声を各言語で表現した文字列(変換文字列)を表す関連情報Qを利用する構成も採用され得る。関連情報Qが文字列を表す構成では、端末装置12の出力装置58(表示装置)が当該文字列を表示する。また、第2実施形態の構成を第3実施形態に適用することも可能である。
<変形例>
以上に例示した各態様は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2個以上の態様は、相互に矛盾しない範囲で適宜に併合され得る。
(1)前述の各形態では、識別情報Dの音響の収音毎(利用者が各展示物に接近するたび)に端末装置12が当該識別情報Dに対応する関連情報Qを順次に取得する構成を例示したが、展示施設M内の相異なる展示物に対応する複数の関連情報Qを対応管理部34が1個の識別情報Dに対応させ、放音システム16の放音装置166から放音される識別情報Dの音響を端末装置12が収音した場合に、当該識別情報Dに対応する複数の関連情報Qを端末装置12が一括的に情報提供部36から取得することも可能である。例えば、特定の展示施設M内に利用者が入館した時点や展示施設M内で最初に識別情報Dを取得した時点で、当該展示施設Mの各展示物に関する複数の関連情報Qを端末装置12が一括的に取得する構成が採用され得る。
なお、特許文献1や特許文献2の技術では、利用者が携帯する端末装置(特許文献1の再生ユニットや特許文献2の携帯送受信手段)に事前に記憶された複数の情報が選択的に再生される。したがって、情報を更新する必要が発生した場合に、個々の端末装置において情報を個別に更新する必要があるという問題がある。本変形例の構成によれば、情報管理システム14の記憶装置144に保持された関連情報Qが端末装置12に提供されるから、記憶装置144に保持された関連情報Qを更新すれば、更新後の関連情報Qを各端末装置12に提供できる。すなわち、関連情報Qを端末装置12毎に個別に更新する必要がないという利点がある。
(2)関連情報Qの内容は前述の各形態での例示に限定されない。例えば、前述の各形態で関連情報Qとして例示した音響と画像と文字列とのうちの少なくとも2種類の組合せを関連情報Qとして情報提供部36から端末装置12に提供することも可能である。また、例えば、案内音声に関連する情報(例えば前述の各形態で例示した関連情報Q)の所在を示すリンク情報(例えばURL)を関連情報Qとして情報提供部36から端末装置12に提供する構成も採用され得る。
(3)第2実施形態では、図18を参照して説明した通り、案内音声の相異なる再生区間Tに対応する複数の識別情報D(D1,D2,D3,……)の各々を再生区間T内で複数回にわたり反復的に端末装置12に送信する構成を例示した。以上の構成では、例えば再生区間T1の末尾に近い時点で送信された識別情報D1と、直後の再生区間T2の先頭に近い時点で送信された識別情報D2とを端末装置12が取得した場合に、識別情報D1に対応する関連情報Qの再生の途中で、識別情報D2に対応する関連情報Qを端末装置12が受信する可能性がある。以上の状況では、識別情報D1に対応する関連情報Qの再生を途中(識別情報D2に対応する関連情報Qの受信まで)で中断したうえで識別情報D2の関連情報Qの再生を開始する、という動作が好適である。なお、相異なる識別情報Dに対応する複数の関連情報Qの間で端末装置12による再生の期間が相互に重複しないように、各識別情報Dを再生区間Tのうち先頭側の期間(例えば前半期間)のみで端末装置12に送信することも可能である。
前述の例示のように、識別情報D1に対応する関連情報Qの再生の途中で識別情報D2の関連情報Qを端末装置12が受信した場合に、識別情報D1の関連情報Qの再生が完了してから識別情報D2の関連情報Qの再生を開始する構成も採用され得る。また、識別情報D1に対応する関連情報Qの再生の途中で識別情報D2の関連情報Qを端末装置12が受信した場合に、利用者からの操作を契機として識別情報D2の関連情報Qの再生を開始(識別情報D1の関連情報の再生を中断)することも可能である。例えば、識別情報D2に対応する関連情報Qを受信した時点で「次へ」ボタンを表示し、利用者が当該ボタンを操作した場合に識別情報D2の関連情報Qの再生を開始する。
(4)関連情報Qの出力方法(例えば表示方法)は任意である。例えば画像(静止画や動画)を撮像する撮像装置(図示略)を端末装置12が具備する構成では、撮像装置が撮像した画像と関連情報Qが示す画像(静止画,動画,文字列等)とを合成して出力装置58の表示装置に表示することも可能である。
例えば、図20に例示される通り、案内音声等の各種の再生対象音を放音する放音機能を搭載したロボット300が展示物として博物館等の展示施設Mで展示された状況を想定する。情報管理システム14の記憶装置144には、再生対象音の音響信号SGと識別情報Dの変調信号SDとを含有する音響信号Sが記憶されるとともに、再生対象音の発音内容を表現する文字列の関連情報Qが識別情報Dに対応して記憶される。端末装置12の制御装置50は、図20に例示される通り、撮像装置が撮像したロボット300の画像(典型的には動画像)Gと、情報管理システム14から提供される関連情報Qの文字列とを出力装置58の表示装置に重ねて実時間的に表示(オーバーレイ表示)させる。
関連情報Qのみが表示装置に表示される構成では、利用者は、表示装置による表示画像(関連情報Q)と現実の展示物であるロボット300との間で視線を頻繁に移動させる必要がある。他方、図20を参照して説明した構成では、画像Gと関連情報Qとが単体の表示画面に重ねて表示されるから、表示装置とロボット300との間で視線を頻繁に移動させる必要がないという利点がある。特に、再生対象音の文字列を画像Gとともに表示する構成によれば、例えば難聴者が、ロボット300の動作と再生対象音の内容との双方を容易に確認できるという格別の効果が実現される。
(5)前述の各形態では、展示施設Mでの案内に情報提供システム10を利用したが、情報提供システム10が利用される場面は以上の例示に限定されない。例えば、電車やバス等の交通機関の音声案内に情報提供システム10を利用することも可能である。具体的には、電車やバス等の車輌に放音システム16が設置され、停車場(電車駅や停留所)を案内する案内音声の音響信号SGに識別情報Dを付加した音響信号Sが情報管理システム14にて生成されたうえで放音システム16に転送される。任意の停車場に車輌が接近すると、当該停車場に対応する音響信号Sが放音システム16の放音装置166に供給され、停車場への到着等を案内する案内音声とともに識別情報Dが放音される。車輌内の端末装置12は、識別情報Dを含む情報要求Rに応じて情報管理システム14から提供される関連情報Qを出力装置58から出力する。例えば、前述の各形態と同様に第1言語の案内音声を第2言語に翻訳した音声のほか、例えば直後の停車場の付近の観光案内を示す音声または画像(静止画または動画)が関連情報Qとして用意され得る。
(6)前述の各形態では、再生対象音の音響信号SGおよび識別情報Dの変調信号SDを含有する音響信号Sと、識別情報D毎の関連情報Qとを記憶装置144に記憶した構成(共通の案内音声に対応する音響信号SGと関連情報Qとが識別情報Dを介して相互に対応付けられた構成)を例示したが、音響信号SGと関連情報Qとを相互に対応させるための具体的な方法は適宜に変更され得る。例えば、関連情報Qを提供すべき位置および時刻(または各々の範囲)を指定する補助情報を当該関連情報Qに対応付けて記憶装置144に記憶させた構成を想定する。補助情報は、例えば、音響信号SGが再生される位置および時刻を指定する。端末装置12は、GPS(Global Positioning System)等の位置検出手段が検出した自装置の位置情報と現在時刻とを含む情報要求Rを情報管理システム14に送信する。情報管理システム14の情報提供部36は、記憶装置144に記憶された複数の関連情報Qのうち、情報要求Rで指定された位置情報および現在時刻に近い位置および時間に対応する関連情報Qを選択する(SB4)とともに当該関連情報Qを要求元の端末装置12に送信する(SB5)。以上の構成では、識別情報Dを利用せずに、前述の各形態と同様に音響信号SGに対応する関連情報Qを端末装置12に提供することが可能である。
(7)前述の各形態では、案内音声の音響信号SGと識別情報Dの変調信号SDとを含む音響信号Sの音響を放音装置166から放音したが、案内音声の放音とともに端末装置12に識別情報Dを通知するための方法は以上の例示に限定されない。例えば、案内音声を収音した収音信号Xの特徴量(実質的には音響信号SGの特徴量)から識別情報Dを特定することも可能である。具体的には、図21に例示される通り、前述の各形態と同様の情報提供システム10に照合部15が追加される。照合部15は、例えば通信網18を介して端末装置12と通信可能なサーバで実現される。放音システム16の放音装置166から放音される案内音声の音響信号SGの特徴量を表す認識情報W(W1,W2,……)と、当該案内音声の識別情報D(D1,D2,……)とを対応させた検索テーブルTBLを、照合部15は保持する。
図21の構成において、放音システム16の放音装置166は、音響信号SGが表す案内音声を放音するが、識別情報Dの音響成分は放音しない。端末装置12の制御装置50は、収音装置56が収音した案内音声の収音信号Xを所定の時間(例えば数秒)にわたり記憶装置52に記憶し、通信装置54の送信部542は、当該収音信号Xを照合部15に送信する。すなわち、端末装置12は、収音装置56が収音した案内音声の識別情報Dを照合部15に照会する。
照合部15は、端末装置12から通信網18を介して受信した収音信号Xの特徴量を解析し、当該特徴量に類似または合致する特徴量の認識情報Wを検索テーブルTBLから検索する。認識情報Wの検索の方法は任意であるが、例えば自動コンテンツ認識の技術が好適に利用される。照合部15は、検索された認識情報Wに対応する識別情報Dを検索テーブルTBLから取得して端末装置12に送信する。すなわち、放音装置166から放音された案内音声の識別情報Dが端末装置12に通知される。照合部15から通知された識別情報Dに対応した関連情報Qを端末装置12が情報管理システム14から取得する動作は前述の各形態と同様である。
なお、以上の説明では、音響信号SGの特徴量を表す認識情報Wを例示したが、認識情報Wの内容は適宜に変更される。例えば、音響信号SG自体(例えば波形データ)を認識情報Wとして検索テーブルTBLに登録することも可能である。照合部15は、端末装置12から受信した収音信号Xに類似または合致する波形の認識情報Wを検索テーブルTBLから検索する。また、情報管理システム14や端末装置12に照合部15を搭載することも可能である。
案内音声の放音に並行して音響通信で識別情報Dを端末装置12に通知する前述の各形態の構成では、識別情報Dを含む変調信号SDの周波数帯域(例えば18kHz以上かつ20kHz以下)を再生可能な放音装置166が必要である。図21の構成では、放音装置166の再生可能帯域に関わらず端末装置12に識別情報Dを通知できるという利点がある。したがって、例えば可聴帯域の高域側を再生できない既存の放音装置166を利用する状況では図21の構成が好適である。他方、識別情報Dを音響通信で端末装置12に通知する構成では、端末装置12から照合部15に収音信号Xを送信する必要がない(したがって通信量が削減される)という利点や、収音信号Xから識別情報Dを検索する照合部15が不要であるという利点がある。
(8)前述の各形態における情報管理システム14は、単体の装置として実現されるほか、相互に別体で構成された複数の装置(サーバ)としても実現され得る。例えば、前述の各形態の情報管理システム14を、識別情報設定部26を含む第1サーバと、識別情報設定部26以外の各要素を含む第2サーバとに分散し、第1サーバと第2サーバとが例えば通信網18を介して相互に通信する構成も採用され得る。以上の説明から理解される通り、本発明の情報提供システム10は、単体の装置と複数の装置の集合体との双方を包含する。また、情報管理システム14と放音システム16とを含む情報提供システム10の全体を単体の装置として実現することも可能である。
(9)前述の各形態では、展示施設Mの案内を目的とした案内音声の再生を例示したが、放音システム16の放音装置166が放音する音響の種類は案内音声に限定されない。例えば、音楽等の各種の音響を再生する場合にも前述の各形態は採用され得る。以上の説明から理解される通り、前述の各形態の音響信号SGは、再生対象となる音響(再生対象音)を示す信号として包括的に表現される。
(10)前述の各形態では、案内音声を表す音響信号SGと識別情報Dを含む変調信号SDとを含有する音響信号Sに応じた音響を放音システム16の放音装置166が放音する構成を例示したが、案内音声(再生対象音)の再生は省略され得る。具体的には、情報管理システム14の信号処理部32は、識別情報設定部26が設定した識別情報Dを含む変調信号SDを音響信号S(音響ファイル)として放音システム16に転送する。放音システム16は、音響信号Sを放音装置166に供給することで識別情報Dの音響を放音する。端末装置12は、放音システム16が放音した音響の収音で収音装置56が生成した収音信号Xから識別情報Dを抽出し、当該識別情報Dに対応する関連情報Qを情報管理システム14の情報提供部36から受信する。以上の説明から理解される通り、収音装置56は、識別情報Dを含む変調信号SDを含有する音響信号Sに応じて放音された音響を収音して収音信号Xを生成する要素として包括的に表現され、音響信号Sにおける案内音声の音響信号SGの有無は不問である。
(11)案内音声の音響信号SGや関連情報Qを生成する方法は、前述の各形態で例示した方法(図3,図10−図16)に限定されない。
100……通信システム、10……情報提供システム、12……端末装置、14……情報管理システム、142……制御装置、144……記憶装置、146……入力装置、16……放音システム、162……制御装置、164……記憶装置、166……放音装置、18……通信網、22……音響信号取得部、24……関連情報取得部、26……識別情報設定部、32……信号処理部、322……変調処理部、324……混合処理部、34……対応管理部、36……情報提供部、50……制御装置、51……情報抽出部、52……記憶装置、54……通信装置、542……送信部、544……受信部、56……収音装置、58……出力装置、200……信号供給装置。

Claims (4)

  1. 再生対象音の発音内容を表す情報の所在を示すURLと識別情報とを対応させる対応管理部と、
    前記再生対象音と前記識別情報を示す音響成分とを含む音響を収音した端末装置が当該音響から抽出した前記識別情報を当該端末装置から受信し、前記対応管理部が当該識別情報に対応させたURLを当該端末装置に送信する情報提供部と
    を具備する情報管理システム。
  2. 前記再生対象音を表す音響信号を取得する音響信号取得部と、
    前記URLを取得する関連情報取得部とを具備し、
    前記情報提供部は、前記音響信号取得部が取得した音響信号が表す前記再生対象音と前記識別情報を示す音響成分とを含む音響を収音した前記端末装置から当該識別情報を受信する
    請求項1の情報管理システム。
  3. 再生対象音と識別情報を示す音響成分とを含む音響を収音する収音装置と、
    前記収音装置が収音した音響から前記識別情報を抽出する情報抽出部と、
    前記情報抽出部が抽出した識別情報に対応し、前記再生対象音の発音内容を表す情報の所在を示すURL受信する通信部と
    を具備する端末装置。
  4. 第1言語の再生対象音と識別情報を示す音響成分とを含む音響を収音する収音装置と、
    前記収音装置が収音した音響から前記識別情報を抽出する情報抽出部と、
    前記情報抽出部が抽出した識別情報に対応し、前記再生対象音が表す情報を前記第1言語とは異なる第2言語で表現した情報の所在を示すURLを受信する通信部と
    を具備する端末装置。
JP2017103876A 2014-07-29 2017-05-25 情報管理システムおよび端末装置 Active JP6170645B1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014154118 2014-07-29
JP2014154118 2014-07-29
JP2014217346 2014-10-24
JP2014217346 2014-10-24

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016004055A Division JP6258981B2 (ja) 2014-07-29 2016-01-13 プログラムおよび情報処理方法

Publications (2)

Publication Number Publication Date
JP6170645B1 true JP6170645B1 (ja) 2017-07-26
JP2017143586A JP2017143586A (ja) 2017-08-17

Family

ID=55949850

Family Applications (8)

Application Number Title Priority Date Filing Date
JP2016004055A Active JP6258981B2 (ja) 2014-07-29 2016-01-13 プログラムおよび情報処理方法
JP2016074650A Active JP6613994B2 (ja) 2014-07-29 2016-04-01 端末装置、プログラム、情報処理方法、情報提供システムおよび情報提供方法
JP2016074649A Active JP6258999B2 (ja) 2014-07-29 2016-04-01 情報提供システム、プログラムおよび情報提供方法
JP2016074651A Active JP6603167B2 (ja) 2014-07-29 2016-04-01 端末装置、プログラムおよび情報処理方法
JP2017103874A Active JP6159048B1 (ja) 2014-07-29 2017-05-25 情報管理システムおよび端末装置
JP2017103876A Active JP6170645B1 (ja) 2014-07-29 2017-05-25 情報管理システムおよび端末装置
JP2017103875A Active JP6276453B2 (ja) 2014-07-29 2017-05-25 情報提供システム、プログラムおよび情報提供方法
JP2019202398A Active JP6860055B2 (ja) 2014-07-29 2019-11-07 情報提供方法、端末装置の動作方法、情報提供システム、端末装置およびプログラム

Family Applications Before (5)

Application Number Title Priority Date Filing Date
JP2016004055A Active JP6258981B2 (ja) 2014-07-29 2016-01-13 プログラムおよび情報処理方法
JP2016074650A Active JP6613994B2 (ja) 2014-07-29 2016-04-01 端末装置、プログラム、情報処理方法、情報提供システムおよび情報提供方法
JP2016074649A Active JP6258999B2 (ja) 2014-07-29 2016-04-01 情報提供システム、プログラムおよび情報提供方法
JP2016074651A Active JP6603167B2 (ja) 2014-07-29 2016-04-01 端末装置、プログラムおよび情報処理方法
JP2017103874A Active JP6159048B1 (ja) 2014-07-29 2017-05-25 情報管理システムおよび端末装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2017103875A Active JP6276453B2 (ja) 2014-07-29 2017-05-25 情報提供システム、プログラムおよび情報提供方法
JP2019202398A Active JP6860055B2 (ja) 2014-07-29 2019-11-07 情報提供方法、端末装置の動作方法、情報提供システム、端末装置およびプログラム

Country Status (1)

Country Link
JP (8) JP6258981B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7026159B2 (ja) 2020-04-07 2022-02-25 株式会社ソディック 放電加工装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6712251B2 (ja) * 2016-08-17 2020-06-17 株式会社シー・ディー・シー・インターナショナル 緊急災害放送同報システム、緊急災害放送受信端末、緊急災害放送発信方法、緊急災害放送受信方法、緊急災害放送受信プログラム、コンピュータで読み取り可能な記録媒体又は記録した機器
US10168173B2 (en) * 2016-10-26 2019-01-01 Google Llc Systems and methods for using visual landmarks in initial navigation
JP6857012B2 (ja) * 2016-11-15 2021-04-14 能美防災株式会社 警報プログラムおよびそれを用いた端末
JP6897132B2 (ja) * 2017-02-09 2021-06-30 ヤマハ株式会社 音声処理方法、音声処理装置およびプログラム
US10276175B1 (en) * 2017-11-28 2019-04-30 Google Llc Key phrase detection with audio watermarking
JP6600374B2 (ja) 2018-03-01 2019-10-30 ヤマハ株式会社 情報処理方法、情報処理装置およびプログラム
JP7159674B2 (ja) 2018-07-25 2022-10-25 ヤマハ株式会社 情報処理装置および情報処理方法
JP7139766B2 (ja) * 2018-08-03 2022-09-21 ヤマハ株式会社 端末装置、端末装置の動作方法およびプログラム
CN109344283A (zh) * 2018-08-14 2019-02-15 上海箧书网络科技有限公司 基于背景音乐的信息交互方法及装置
JP6791228B2 (ja) * 2018-11-09 2020-11-25 ヤマハ株式会社 情報提供方法、情報提供システム、端末装置の動作方法、端末装置およびプログラム
JP7242591B2 (ja) * 2020-02-12 2023-03-20 株式会社三共 遊技機
JP7271460B2 (ja) * 2020-02-12 2023-05-11 株式会社三共 遊技機
JP7242593B2 (ja) * 2020-02-12 2023-03-20 株式会社三共 遊技機
JP7120285B2 (ja) * 2020-10-15 2022-08-17 ヤマハ株式会社 情報提供方法、情報提供システムおよびプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11252121A (ja) * 1998-03-05 1999-09-17 Ntt Data Corp 位置依存情報提供システム
JP2000076154A (ja) * 1998-09-01 2000-03-14 Murata Mach Ltd 電子メール機能付通信端末装置
JP2000207170A (ja) * 1999-01-14 2000-07-28 Sony Corp 情報処理装置および情報処理方法
JP3747759B2 (ja) * 2000-09-20 2006-02-22 日本ビクター株式会社 情報配信システム
JP2006215883A (ja) * 2005-02-04 2006-08-17 Matsushita Electric Ind Co Ltd 展示施設ガイドシステム
JP4343896B2 (ja) * 2005-12-02 2009-10-14 ソニー株式会社 再生端末装置及び出力方法
JP2007164659A (ja) * 2005-12-16 2007-06-28 Absurd Spear:Kk 音楽情報を利用した情報配信システム及び情報配信方法
CN101115124B (zh) * 2006-07-26 2012-04-18 日电(中国)有限公司 基于音频水印识别媒体节目的方法和装置
JP2009180893A (ja) * 2008-01-30 2009-08-13 Dainippon Printing Co Ltd 音響信号で制御されるコンテンツ再生装置
JP2010284423A (ja) * 2009-06-15 2010-12-24 Toshiba Corp 医用画像診断装置及び医用画像撮影方法
JP5556100B2 (ja) * 2009-09-17 2014-07-23 富士通株式会社 情報提供装置、情報提供方法及びコンピュータプログラム
JP2011255982A (ja) * 2010-06-07 2011-12-22 Hitachi Ltd エレベーターの情報通知装置
JP2013008109A (ja) * 2011-06-22 2013-01-10 Yamaha Corp 文書投稿支援システム、携帯端末装置および文書投稿支援プログラム
JP2013117688A (ja) * 2011-12-05 2013-06-13 Sony Corp 音響処理装置、音響処理方法、プログラム、記録媒体、サーバ装置、音響再生装置および音響処理システム
JP6167542B2 (ja) * 2012-02-07 2017-07-26 ヤマハ株式会社 電子装置及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7026159B2 (ja) 2020-04-07 2022-02-25 株式会社ソディック 放電加工装置

Also Published As

Publication number Publication date
JP2016153905A (ja) 2016-08-25
JP2016075956A (ja) 2016-05-12
JP6258999B2 (ja) 2018-01-10
JP6159048B1 (ja) 2017-07-05
JP6603167B2 (ja) 2019-11-06
JP2017143586A (ja) 2017-08-17
JP2017195612A (ja) 2017-10-26
JP6860055B2 (ja) 2021-04-14
JP2017167559A (ja) 2017-09-21
JP6276453B2 (ja) 2018-02-07
JP2016153906A (ja) 2016-08-25
JP6258981B2 (ja) 2018-01-10
JP2016153907A (ja) 2016-08-25
JP2020021101A (ja) 2020-02-06
JP6613994B2 (ja) 2019-12-04

Similar Documents

Publication Publication Date Title
JP5871088B1 (ja) 端末装置、情報提供システム、情報提供方法およびプログラム
JP6170645B1 (ja) 情報管理システムおよび端末装置
JP5887446B1 (ja) 情報管理システム、情報管理方法およびプログラム
JP6569252B2 (ja) 情報提供システム、情報提供方法およびプログラム
JP6114249B2 (ja) 情報送信装置および情報送信方法
JP6614395B2 (ja) 情報提供方法および情報提供装置
JP2016206394A (ja) 情報提供システム
JP7087745B2 (ja) 端末装置、情報提供システム、端末装置の動作方法および情報提供方法
JP6569629B2 (ja) 情報送信装置、情報送信方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170526

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170526

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170606

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170630

R151 Written notification of patent or utility model registration

Ref document number: 6170645

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R157 Certificate of patent or utility model (correction)

Free format text: JAPANESE INTERMEDIATE CODE: R157