JP6221202B2 - 通信システム - Google Patents

Description

本発明は、サーバを介してコンテンツを提供する技術に関する。

通信端末にコンテンツを提供するコンテンツサーバがある。このコンテンツサーバは、複数のコンテンツの中から通信端末に要求されたコンテンツを選択して提供する。例えば、特許文献１には、携帯装置が、周囲から聞こえるコンテンツの音声を収音して、その音声に重畳された音響透かしを抽出し、抽出された情報に対応するコンテンツが配信されるシステムが記載されている。

特開２０１０−８８５９号公報

しかし、特許文献１に記載された技術では、抽出した音響透かしによってコンテンツが一意に特定されるため、コンテンツ選択の多様性がなく、その改善が望まれた。

本発明の目的は、音響信号に含まれている音響透かしを用いながら、多様なコンテンツを対応付けることである。

上述した課題を解決するため、本発明に係る通信端末は、音響透かしが重畳された音響信号を取得する音響信号取得手段と、取得された前記音響信号から当該音響信号に含まれている前記音響透かしを抽出する抽出手段と、前記音響透かしに対応する第１情報と、前記音響信号の発音に対応する第２情報とを取得する情報取得手段と、前記第１情報と前記第２情報との組をコンテンツサーバに送信し、下位の階層の要素が複数個集められたグループを当該各要素の上位の階層として表す階層構造において当該第１情報が当該第２情報の上位の階層を示す、当該組に対応するコンテンツを要求する要求手段と、前記要求手段の要求に応じて前記コンテンツサーバから送信されるコンテンツを受信する受信手段と、を有することを特徴とする。

好ましくは、前記音響信号取得手段により取得された音響信号に対して音声認識を行い、認識された言葉に対応する前記第２情報を特定する特定手段を有し、前記情報取得手段は、前記特定手段が特定した第２情報を取得するとよい。

また、好ましくは、ユーザの操作を受け付ける受付手段を有し、前記情報取得手段は、前記受付手段が前記ユーザの操作を受け付けたタイミングに応じた期間に前記音響信号取得手段が取得した音響信号を用いて、前記第２情報を取得するとよい。

また、本発明に係る通信端末は、ユーザの操作を受け付ける受付手段と、音響透かしが重畳された音響信号を取得する音響信号取得手段と、取得された前記音響信号から当該音響信号に含まれている前記音響透かしを抽出する抽出手段と、前記音響透かしに対応する第１情報と、前記受付手段が前記ユーザの操作を受け付けたタイミングを示す第２情報とを取得する情報取得手段と、前記第１情報と前記第２情報との組をコンテンツサーバに送信し、下位の階層の要素が複数個集められたグループを当該各要素の上位の階層として表す階層構造において当該第１情報が当該第２情報の上位の階層を示す、当該組に対応するコンテンツを要求する要求手段と、前記要求手段の要求に応じて前記コンテンツサーバから送信されるコンテンツを受信する受信手段と、を有することを特徴とする。

また、本発明に係るプログラムは、コンピュータを、音響透かしが重畳された音響信号を取得する音響信号取得手段が取得した当該音響信号に含まれている前記音響透かしを抽出する抽出手段と、前記音響透かしに対応する第１情報と、前記音響信号の発音に対応する第２情報とを取得する情報取得手段と、前記第１情報と前記第２情報との組をコンテンツサーバに送信し、下位の階層の要素が複数個集められたグループを当該各要素の上位の階層として表す階層構造において当該第１情報が当該第２情報の上位の階層を示す、当該組に対応するコンテンツを要求する要求手段と、前記要求手段の要求に応じて前記コンテンツサーバから送信されるコンテンツを受信する受信手段として機能させるためのプログラムである。

また、本発明に係る通信システムは、通信端末とコンテンツサーバとを備える通信システムであって、前記通信端末は、音響透かしが重畳された音響信号を取得する音響信号取得手段と、取得された前記音響信号から当該音響信号に含まれている前記音響透かしを抽出する抽出手段と、前記音響透かしに対応する第１情報と、前記音響信号の発音に対応する第２情報とを取得する情報取得手段と、前記第１情報と前記第２情報との組をコンテンツサーバに送信し、下位の階層の要素が複数個集められたグループを当該各要素の上位の階層として表す階層構造において当該第１情報が当該第２情報の上位の階層を示す、当該組に対応するコンテンツを要求する要求手段と、前記要求手段の要求に応じて前記コンテンツサーバから送信されるコンテンツを受信する受信手段とを有し、前記コンテンツサーバは、音響信号を取得した前記通信端末から、当該音響信号に重畳された音響透かしに対応する第１情報と、音響信号の発音に対応する第２情報との組を受信する組受信手段と、前記組受信手段が受信した前記組に基づいて、下位の階層の要素が複数個集められたグループを当該各要素の上位の階層として表す階層構造において当該組の前記第１情報が当該組の前記第２情報の上位の階層を示す場合に当該組に対応したコンテンツを選択する選択手段と、前記選択手段により選択されたコンテンツを前記通信端末に送信する送信手段と、を有することを特徴とする。

本発明によれば、音響信号に含まれている音響透かしを用いながら、多様なコンテンツを対応付けることができる。

コンテンツ提供システムの全体構成を示す図である。 音響装置の構成を示す図である。 通信端末の構成を示す図である。 種類表の一例を示す図である。 コンテンツサーバの構成を示す図である。 コンテンツＤＢの一例を示す図である。 通信端末の機能的構成を示す図である。 グループ情報が重畳された音響信号の構造を模式的に表した図である。 コンテンツサーバの機能的構成を示す図である。 コンテンツ提供システムの動作を示すシーケンス図である。 特定部の機能を外部装置が実現する制御部の機能的構成を示す図である。 変形例５に係るコンテンツ提供システムの全体構成を示す図である。 変形例５に係る変換サーバの構成を示す図である。 変形例５に係る変換表の一例を示す図である。 変形例５に係るコンテンツサーバの構成を示す図である。 変形例５に係るコンテンツ表の一例を示す図である。 変形例６に係るコンテンツ提供システムの全体構成を示す図である。

１．実施形態
１−１．構成
図１は、コンテンツ提供システム９の全体構成を示す図である。コンテンツ提供システム９は、例えばショッピングモールにある複数の小売店でそれぞれ流されているＢＧＭ（Background Music）を利用して、各小売店に対応したコンテンツを顧客に提供するシステムである。
コンテンツ提供システム９は、通信端末１と、コンテンツサーバ２と、ネットワーク３と、音響装置４とを有する。音響装置４は、各小売店に設置されてＢＧＭを放音するとともに、このＢＧＭ（基礎音）に音響透かしを重畳する装置である。通信端末１は、例えば携帯電話機であり、音響装置４によって放音されるＢＧＭの音を内蔵マイクによって取得して、その音に応じたコンテンツを、無線接続しているネットワーク３を介してコンテンツサーバ２に要求する。ネットワーク３は、通信端末１とコンテンツサーバ２とが無線により通信する通信路である。コンテンツサーバ２は、複数のコンテンツをグループごとに記憶したコンピュータであり、通信端末１の要求に応じてコンテンツを提供する。

図２は、音響装置４の構成を示す図である。記憶部４２は、ハードディスクドライブなどの記憶手段であり、後述するＣＰＵに読み込まれるプログラムを記憶する。また、記憶部４２は、上述したＢＧＭなどの基礎音を示す基礎音情報４２１と、この基礎音情報４２１に重畳させる音響透かしであるグループ情報４２２とを記憶する。この実施形態における音響透かしは、グループ分けされたコンテンツのグループを特定する情報となっている。

次に、制御部４１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備えており、ＣＰＵがＲＯＭに記憶されているブートローダや記憶部４２に記憶されているプログラムを読み出して実行することにより音響装置４の各部を制御する。また、制御部４１のＣＰＵは、記憶部４２から基礎音情報４２１を読み出してＢＧＭの音響信号に変換するとともに、グループ情報４２２を読み出して人間に聴こえ難い周波数帯域の音響信号に変換し、ＢＧＭの音響信号に重畳する。

放音部４３は、制御部４１から出力されるデジタルの音響信号をアナログ信号に変換するＤ／Ａ変換器と、アンプ、スピーカなどを備えた放音装置である。

図３は、通信端末１の構成を示す図である。制御部１１は、ＣＰＵ、ＲＯＭ、ＲＡＭを備えており、ＣＰＵがＲＯＭに記憶されているブートローダや記憶部１２に記憶されているプログラムを読み出して実行することにより通信端末１の各部を制御する。

記憶部１２はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの記憶手段であり、ＣＰＵに読み込まれるプログラムを記憶する。また、記憶部１２は、種類表１２１を記憶する。

図４は、種類表１２１の一例を示す図である。種類表１２１は、種類情報とコマンド情報とを関連付けるものである。種類情報とは、コンテンツの種類を示した情報であり、その種類のコンテンツを特定するために用いられる。例えば、「地図」という文字列は地図の情報を表すコンテンツを特定する情報である。「地図」のコンテンツには、様々な場所の地図情報があり、例えば、様々なランドマークの緯度・経度およびそのランドマークの付帯情報などがある。
また、「クーポン」という文字列は、商品取引のときに金銭に替えて利用される代替貨幣の情報を特定する情報である。「クーポン」のコンテンツには、例えば、不正を防止できるような予測が困難な多数桁（例えば１０桁以上）の文字列などがある。
また、「広告」という文字列は、商品の販売促進などを目的とした広告の情報を特定する情報である。「広告」のコンテンツには、その商品の外観や値段などを示した画像などがある。
また、「レストラン予約」という文字列は、レストランの予約を受け付ける入力フォームなどを備えたＷＥＢページのＵＲＬ（Uniform Resource Locator）などである。

コマンド情報とは、種類情報を表す言葉の発音を示した情報であり、例えば、「地図」であれば「ちず」という発音を示した情報である。種類情報を表す言葉の発音は一つの種類情報に対して複数あってもよく、その複数の発音のそれぞれが一つの種類情報に対応付けられていればよい。つまり、種類表１２１において、コマンド情報と種類情報とは１対１または複数対１に関連付けられているので、一つのコマンド情報が定まるとこれに対応する一つの種類情報が定まる。

図３に示す操作部１３は指示を入力するための操作ボタンなどを備えており、ユーザによる操作を受け付けてその操作内容に応じた信号を制御部１１に供給する。表示部１４は、制御部１１からの指示に応じて、通信端末１に関する情報やコンテンツサーバ２から取得したコンテンツに基づく画像等を表示する。通信部１５は、コンテンツサーバ２と通信するための無線インターフェースである。

音響信号取得部１６は、音を取得する内蔵マイクや、内蔵マイクにより取得された音を音響信号に変換するＡ／Ｄ変換器などを有しており、周囲の音に応じた音響信号を生成する。

図５は、コンテンツサーバ２の構成を示す図である。制御部２１は、ＣＰＵ、ＲＯＭ、ＲＡＭを備えており、ＣＰＵがＲＯＭに記憶されているブートローダや記憶部２２に記憶されているプログラムを読み出して実行することによりコンテンツサーバ２の各部を制御する。

通信部２５は、ネットワーク３を介して通信端末１と通信するためのインターフェースである。記憶部２２はハードディスクドライブなどの大容量の記憶手段であり、制御部２１に読み込まれるプログラムを記憶する。また、記憶部２２は、コンテンツデータベース（ＤＢ（Database））２２１を記憶する。

図６は、コンテンツＤＢ２２１の一例を示す図である。コンテンツＤＢ２２１は、複数のコンテンツをそれぞれ種類情報に対応付けて一のグループ情報で表されるデータを構成し、更にこのグループ情報は、複数のグループ情報で構成されるデータを構成して、全体として複数のコンテンツ群を記憶するデータベースである。コンテンツＤＢ２２１は、これら複数のコンテンツ群にそれぞれ固有のグループ情報を対応付けて記憶する。したがってグループ情報によってこれに対応するコンテンツ群が特定され、種類情報によってそのコンテンツ群に含まれる一つのコンテンツが特定される。この実施形態におけるグループ情報は、本発明の第１情報の一例である。また、第２情報（種類情報）が複数個集まって、上位の階層である一つの第１情報（グループ情報）を構成する。なお、一つの種類情報に対応するコンテンツは一つであってもよいし、複数であってもよい。

例えば、コンテンツＤＢ２２１のグループ情報のフィールドには「Ｇ１」「Ｇ２」「Ｇ３」…という記号が記述されている。これらは各コンテンツ群に関連付けられて、そのコンテンツ群を特定する情報として機能する。各コンテンツ群は、種類情報とコンテンツとをそれぞれ対応付けている。そして、図５に示すように、「Ｇ１」に関連付けられたコンテンツ群には、種類情報として「地図」「クーポン」「広告」「レストラン予約」…などがあり、それぞれにコンテンツが対応付けて記憶されている。この実施形態における種類情報は、本発明の第２情報の一例である。

次に、通信端末１の機能的構成について説明する。図７は、通信端末１の機能的構成を示す図である。図７に示すように、制御部１１は、抽出部１１１、情報要求部１１２、特定部１１３、情報取得部１１４、要求部１１５、および受信部１１６として機能する。音響信号取得部１６は、内蔵マイクが取得した音から音響信号を生成する。この音響信号は、放音部４３が報音した音のみならずユーザやその近傍に居る人が発した音声などの音も含んだ信号となる。抽出部１１１は、音響信号取得部１６により取得された音から生成された音響信号（以下、取得音響信号という）からグループ情報４２２を抽出する。

図８は、グループ情報４２２を含んだ取得音響信号の構造を模式的に表した図である。グループ情報４２２は、コンテンツサーバ２において記憶されているコンテンツ群を特定するための情報である。図８に示すグラフにおいて、横軸は周波数ｆを示し、縦軸は音圧レベルを示す。図８に示すように、グループ情報４２２を含んだ取得音響信号にあっては、周波数ｆ₀よりも低い周波数帯域に、基礎音情報４２１に基づく音響信号（ＢＧＭ）が含まれる。そして、周波数ｆ₀よりも高い周波数帯域に、グループ情報４２２に基づく音響信号の周波数成分が含まれる。

周波数ｆ₀は、例えば１８．５ｋＨｚのように、可聴域（およそ２０Ｈｚ〜２０ｋＨｚ）の高域の限界付近である。この場合、グループ情報４２２を含んだ取得音響信号に応じた放音において、人間の耳にはグループ情報４２２に相当する音をほとんど聴き取ることができないとともに、グループ情報４２２が基礎音情報４２１に基づく音の音質を損なわせることがほぼないため、聴感上の悪影響を抑えることができる。

なお、周波数ｆ₀は、１８．５ｋＨｚに限らない。例えば１５ｋＨｚとして、可聴域内の比較的高周波の帯域にグループ情報４２２が重畳されてもよい。すなわち、グループ情報４２２がどの周波数帯域を用いて重畳されるかについて、本発明において特定の帯域に限定されることはない。また、取得音響信号において、基礎音情報４２１に基づく音響信号とグループ情報４２２に基づく音響信号のレベル比は、その取得音響信号からグループ情報４２２が抽出可能であれば、どのようなレベル比でもよい。

抽出部１１１は、例えば遮断周波数をｆ₀とするＨＰＦ（High Pass Filter）を備える。抽出部１１１は、このＨＰＦを用いたフィルタリング処理を施して、上記の取得音響信号からグループ情報４２２に相当する周波数成分を取り出し、この周波数成分に基づいてグループ情報４２２を抽出する。

情報要求部１１２は、操作部１３がユーザの操作を受け付けたタイミングに応じて決まる期間に取得された音による取得音響信号を特定部１１３に送る。上記のタイミングに応じて決まる期間とは、例えば、操作を受け付けたタイミングから１０秒間などの決められた時間が経過するまでの期間や、何らかの操作が継続されている期間などである。また、制御部１１のRAMに継続して取得音響信号をバッファリングしておき、操作を受け付けたタイミングの前の決められた時間に相当する期間にバッファリングされた取得音響信号を送っても良い。さらに、期間の開始時刻および終了時刻の両方を、それぞれユーザの操作を受け付けたタイミングによって決めてもよい。加えて、上記の各期間を適宜組み合わせるような制御をしてもよい。

特定部１１３は、取得音響信号に対して音声認識を行い、音声によって話されている言葉をコマンド情報として認識する。この場合、取得音響信号に含まれる音声には、ＢＧＭ中に含まれる歌や話声と、ユーザやその周囲に居る人が話した音声が含まれる。そして、特定部１１３は、記憶部１２の種類表１２１を参照して、認識したコマンド情報に対応する種類情報を特定する。音声認識とは、音声を含んだ音響信号に対して自然言語処理を行い、その音声によって何が話されているかを判定するものである。音声認識は、例えば隠れマルコフモデルに基づく手法により行われる。

情報取得部１１４は、特定部１１３が特定した種類情報を取得して要求部１１５に送信する。抽出部１１１により音響透かしであるグループ情報４２２が抽出され、特定部１１３により種類情報が特定されると、要求部１１５は、このグループ情報４２２と種類情報とを取得する。そして要求部１１５は、通信部１５を用いてグループ情報４２２と種類情報との組をコンテンツサーバ２に送信する。受信部１１６は、要求部１１５による送信した組に対応する応答としてコンテンツサーバ２が送信したコンテンツを受信する。制御部１１は、表示部１４によりこのコンテンツに応じた画像を表示する。

図９は、コンテンツサーバ２の機能的構成を示す図である。図９に示すように、制御部２１は、選択部２１１および送信部２１２として機能する。制御部２１は、通信端末１から送信されたグループ情報４２２および種類情報の組を通信部２５によって受信する。すなわち、通信部２５は本発明における組受信手段の一例である。選択部２１１は、受信したこの組に基づいて、この組に対応したコンテンツを選択する。具体的には、選択部２１１は、記憶部２２に記憶されたコンテンツＤＢ２２１を参照し、上記のグループ情報４２２により特定されるコンテンツ群のうち、上記の種類情報により特定されるコンテンツを選択する。すなわち、選択部２１１は本発明における選択手段の一例である。

送信部２１２は、選択部２１１により選択されたコンテンツを読み出して通信部２５を用いて通信端末１に送信する。これにより通信端末１は、上記のグループ情報４２２および種類情報の組に対応するコンテンツを受信する。すなわち、送信部２１２および通信部２５は本発明における送信手段の一例である。そして、通信端末１は、受信したコンテンツに基づいて、例えばそのコンテンツに応じた画像を表示部１４によって表示する。

１−２．動作
図１０は、コンテンツ提供システム９の動作を示すシーケンス図である。音響装置４がグループ情報４２２を含んだＢＧＭを放音すると（ステップＳ１０１）、このＢＧＭの音が届く範囲にあった通信端末１の音響信号取得部１６がこの音を取得して音響信号を生成する。つまり、通信端末１が収音する（ステップＳ１０２）。通信端末１は、取得した音響信号に対してＨＰＦなどのフィルタリング処理を施し、重畳されていたグループ情報４２２を抽出する（ステップＳ１０３）。また、通信端末１は、取得した音響信号に対して音声認識に基づく自然言語処理によってコマンド情報を認識し、種類表１２１を参照して、このコマンド情報に対応付けられている種類情報を特定する（ステップＳ１０４）。通信端末１は、ネットワーク３を介して、上記のグループ情報４２２と種類情報の組をコンテンツサーバ２へ送信し、この組に対応するコンテンツを要求する（ステップＳ１０５）。

コンテンツサーバ２は、通信端末１から送信されたグループ情報４２２および種類情報の組を受信すると、コンテンツＤＢ２２１を参照し、グループ情報４２２によって特定されるコンテンツ群を検索する（ステップＳ１０６）。そして、コンテンツサーバ２は、上記のコンテンツ群を見つけた場合に、さらにそのコンテンツ群に含まれるコンテンツのうち、受信した上記の種類情報によって特定されるコンテンツを検索する（ステップＳ１０７）。このコンテンツが見つかると、コンテンツサーバ２は、これを通信端末１に送信する（ステップＳ１０８）。通信端末１は、コンテンツサーバ２から送信されたコンテンツを受信し（ステップＳ１０９）、このコンテンツに応じた画像を表示する（ステップＳ１１０）。

以上の動作によりコンテンツ提供システム９は、音を取得した通信端末１に向けてその音に応じたコンテンツをコンテンツサーバ２が送信することにより、通信端末１の要求するコンテンツを提供する。そして、通信端末１が音響信号に含まれているグループ情報４２２を抽出し、さらに、その音響信号から認識される言葉（コマンド情報）に応じて種類情報を特定するので、グループ情報４２２と種類情報との組み合わせが多様になり、音響透かしのみを用いる場合に比べて、コンテンツサーバ２によって提供されるコンテンツの多様性が広がる。

なお、上述した動作においては、グループ情報４２２とＢＧＭ中の特定の音声（コマンド情報；図４参照）の組み合わせによってコンテンツが特定されるから、ＢＧＭの内容に対応したコンテンツ選択が自動的に行われる。また、ユーザやその近傍に居る人が特定の音声（コマンド情報；図４参照）を発した場合は、これとグループ情報４２２との組み合わせによって定まるコンテンツが選択されるから、ユーザ等の意志を反映したコンテンツ選択も自動的に行われる。

２．変形例
以上が実施形態の説明であるが、この実施形態の内容は以下のように変形し得る。また、以下の変形例を組み合わせてもよい。
（変形例１）
上述した実施形態において、音響装置４が音を空気中に放音し、通信端末１がその音を取得した。しかし、音の伝搬媒体は空気に限らない。例えば、テーブルを構成する木材などの固体や水槽中に満たされている水などの液体を通じて音を伝搬させるものであってもよい。

この場合、音響装置４は、外部に振動を与える振動部材により出力を行う。すなわち、振動部材は、気体、液体、固体のいずれかの媒体に音波を伝搬させることで音を出力する。一方、通信端末１の音響信号取得部１６は、例えば振動ピックアップ（振動検出子）であり、部材を伝搬する音波を検出し、この音を表す音響信号を取得する。

このような構成であっても、取得音響信号がグループ情報４２２を含んでいれば、通信端末１が取得音響信号からグループ情報４２２を抽出し、このグループ情報４２２を用いてコンテンツサーバ２にコンテンツを要求することができる。つまり、本発明の音は、気体、固体及び液体のどれを伝搬するものであってもよい。また、本発明の音は、可聴帯域だけではなく、可聴帯域外（具体的には、超音波や超低周波のみに成分を持つもの）で、人間が知覚できないものであってもよい。

（変形例２）
上述した実施形態において、特定部１１３は、取得音響信号に対して音声認識処理を行ってこの取得音響信号に応じた種類情報を特定していたが、種類情報を特定するために行う処理は音声認識に限られない。すなわち、特定部１１３は、種類情報を特定する処理を行うのであれば、取得音響信号が示す音声によって表されている言語やテキストなど音韻性情報を認識しなくてもよい。特定部１１３は、例えば、話者認識やパターンマッチング処理などを行ってもよい。

話者認識とは、音声の個人性情報を抽出して、誰の声であるか判定するものである。音声の個人性情報には、発声内容に依存しないフォルマントの平均、声紋等の音声特徴量などがある。特定部１１３が話者認識を行って取得音響信号が示す声が誰の声であるかを判定する場合、種類表１２１には誰の声であるかに対応付けて種類情報が記述されていればよい。なお、制御部１１は、各ユーザが操作部１３によって入力した指示の履歴に基づいて嗜好、傾向を判断し、この判断結果に応じて種類表１２１の上述した対応付けを書き換えてもよい。

また、特定部１１３は、取得音響信号から音声の抑揚や調子、語調など音響的な特徴を測定して、この測定結果に基づいて音声を発した人物の喜怒哀楽等の感情を示す情報（以下、感情情報という）を推定し、この感情情報に応じた種類情報を特定してもよい。例えば、特定部１１３は、音声の音響的な特徴を測定し、その音声に対し、予め記憶部１２に記憶されている感情の分類を、音響的な特徴に関連付けて定義したテーブルを基に、「沈んでいる」、「活発」、「暗い」、「明るい」、「急いでいる」、「のんびりしている」、「苛立っている」、「落ち着いている」等の感情の分類を行う。そして、例えば、感情の分類が「沈んでいる」の場合に、特定部１１３は、例えば映画館やレストランなど、ユーザの気分を高揚させる種類情報を特定する。感情の分類とそれに対応する種類情報との関連付けは予め記憶部１２に記憶されていてもよいし、各ユーザによって編集されてもよい。

また、特定部１１３は、例えば感情の分類からユーザが応答を早急に求めているか否かを判断し、その判断結果をコンテンツサーバ２へ送信して、この判断結果に応じて処理を変更させてもよい。例えば、ユーザが応答を早急に求めていると判断した場合、特定部１１３はその旨を示す信号をコンテンツサーバ２に送る。この信号を受け取ったコンテンツサーバ２の制御部２１は、並列して実行している他の処理よりも、応答を早急に求められている処理を優先するように、例えば処理の待ち行列を書き換えればよい。また、コンテンツサーバ２の制御部２１は、応答を早急に求められている旨の信号を受け取った場合、ユーザの現在位置に近い施設に関するコンテンツを選択してもよい。この場合、通信端末にＧＰＳ（Global Positioning System）などの測位システムを設けていればよい。そして、通信端末１によって測位された通信端末１自身の位置を示す情報をコンテンツサーバ２が取得して、通信端末１を所持しているユーザの現在位置を特定すればよい。

なお、通信端末１は、ユーザの体温や脈拍などの身体に関する情報（以下、身体情報という）を検知するセンサを有していてもよい。そして、特定部１１３は、センサによって検知された身体情報と、上記の音響的な特徴とを組み合わせて、感情情報を推定してもよい。つまり、特定部１１３は、音韻性情報以外の情報を、個人性情報や感情情報として抽出して、コンテンツサーバ２が送信するコンテンツの特定に利用してもよい。

パターンマッチング処理とは、予め標準として決められた音である標準音と取得音響信号が示す音（以下、取得音という）とのそれぞれのパターンを照合する処理である。このパターンとは、例えば楽音（メロディ、リズム、ハーモニー等の要素を含む）の起伏を表すものや、音の波形を表すものなどである。パターンマッチング処理は、例えば特定部１１３によって以下のように行われる。

標準音と取得音とは、それぞれ時間軸に沿って配列された各単位時間における音圧レベルを表すデータ列として表される。特定部１１３は、一方のデータ列の時間軸を決められた範囲内で前後に移動させたり、伸縮したりして他方のデータ列の時間軸に対応付ける。双方の時間軸が対応付けられたら、例えば、一方の音圧レベルの最大値を他方の音圧レベルの最大値に合うように係数を乗じ、それぞれの単位時間における音圧レベルの差の絶対値を積算して相関係数として算出する。そして、特定部１１３は、算出した相関係数が閾値未満になった場合に、取得音と標準音とが一致したとして、標準音に予め対応付けられている種類情報を取得音響信号に応じた種類情報として特定する。この場合、種類表１２１には標準音に対応付けて種類情報が記述されていればよい。なお、前述の音圧レベルは、特定の周波数帯域の音圧レベルもよいし、全周波数帯域の音圧レベルでもよい。また、特定の周波数特性の重み付けをした全周波数帯域の音圧レベルでもよい。

（変形例３）
特定部１１３の機能は、通信端末１以外の外部装置によって実現されてもよい。図１１は、特定部１１３の機能を外部装置によって実現する場合の制御部１１の機能的構成を示す図である。この場合、情報要求部１１２が、通信部１５を介して、外部のサーバ（図１１によって図示せず）に、取得音響信号に応じた種類情報を要求する。外部のサーバは、種類表１２１を備えている。そして、この外部のサーバは、この要求に応じて、音声認識、話者認識、パターンマッチング処理などを行って取得音響信号に応じた種類情報を特定し、これを通信端末１に送信する。情報取得部１１４は、外部のサーバから送信されたこの種類情報を取得すればよい。なお、特定部１１３の機能は、コンテンツサーバ２によって実現されてもよい。

（変形例４）
上述した実施形態において、コンテンツ提供システム９の音響装置４は、小売店の店頭にコンテンツを提供するエリアを形成するために用いられていたが、他の場所に提供エリアを形成するために用いられてもよい。例えば、バスの停留所や駅などの車両の乗降場所に音響装置４が設けられて、特定のサービスを提供する場所に提供エリアを形成する目的に用いられてもよい。この場合、音響装置４は、その付近に来たユーザの通信端末１に対してのみ、車両の運行ダイヤや接近・遅延情報、車両の行き先に関する情報を配信することも可能である。これ以外にも、カフェやレストラン、駅構内、ホテルやオフィスのロビーなど、不特定多数の人物が出入りする場所にコンテンツ提供システム９を構成してもよく、本発明において特定の場所に限定されることはない。

（変形例５）
上述した実施形態において、通信端末１が取得音響信号から抽出したグループ情報４２２が、直接、コンテンツ群を特定するために用いられていたが、グループ情報４２２は、外部のサーバなどに送信されて、コンテンツ群を特定するための他の情報に変換されてもよい。図１２は、変形例５に係るコンテンツ提供システム９ａの全体構成を示す図である。コンテンツ提供システム９ａは、ネットワーク３に接続された複数のコンテンツサーバ２を備え、さらにネットワーク３に接続された変換サーバ５を備える。変換サーバ５は、通信端末１から送信されるグループ情報４２２を受信し、このグループ情報４２２に対応するコンテンツサーバ２のアドレスを特定し、特定したアドレスを通信端末１に送信するサーバである。

図１３は、変形例５に係る変換サーバ５の構成を示す図である。制御部５１は、ＣＰＵ、ＲＯＭ、ＲＡＭを備えており、ＣＰＵがＲＯＭに記憶されているブートローダや記憶部５２に記憶されているプログラムを読み出して実行することにより変換サーバ５の各部を制御する。

通信部５５は、通信端末１とネットワーク３を介して通信するためのインターフェースである。記憶部５２は、ハードディスクドライブなどの大容量の記憶手段であり、制御部５１に読み込まれるプログラムを記憶する。また、記憶部５２は、変換表５２１を記憶する。

図１４は、変形例５に係る変換表５２１の一例を示す図である。変換表５２１には、グループ情報とコンテンツサーバアドレスとが対応付けられている。コンテンツサーバアドレスは、コンテンツサーバ２のそれぞれに割り当てられた固有のＩＰアドレスなどであり、コンテンツサーバ２を特定して通信するための識別情報である。なお、変換表５２１には、一のグループ情報に対して一のコンテンツサーバアドレスが対応付けられていてもよいし、一のグループ情報に対して複数のコンテンツサーバアドレスが対応付けられていてもよい。

通信端末１は、取得音響信号から音響透かしであるグループ情報４２２を抽出すると、ネットワーク３を介してこのグループ情報４２２を変換サーバ５に送信する。変換サーバ５は、通信端末１からグループ情報４２２を受信すると、変換表５２１を参照して、受信したこのグループ情報４２２に一致するグループ情報を検索する。一致するグループ情報が見つかった場合、変換表５２１においてそのグループ情報に対応付けられているコンテンツサーバアドレスを読み出して、通信部５５を介してこれを通信端末１に送信する。例えば、図１４に示す例において、通信端末１が変換サーバ５に送信したグループ情報４２２が「Ｇ１」であれば、変換サーバ５はこれに対応付けられているコンテンツサーバアドレス「１２１．１．２４７．ｘｘｘ」を通信端末１に送信する。

通信端末１は、変換サーバ５からグループ情報４２２に対応する情報であるコンテンツサーバアドレスを受信（取得）する。そして、通信端末１は、受信したコンテンツサーバアドレスを用いて、これが示すコンテンツサーバ２に接続すると共に、後述するように種類情報をコンテンツサーバ２に送信する。図１５は、変形例５に係るコンテンツサーバ２の構成を示す図である。このコンテンツサーバ２が実施形態に係るコンテンツサーバ２と相違する点は、記憶部２２がコンテンツＤＢ２２１に替えてコンテンツ表２２１ａを有する点である。コンテンツ表２２１ａは、コンテンツサーバ２ごとに異なっていてもよい。

図１６は、変形例５に係るコンテンツ表２２１ａの一例を示す図である。コンテンツ表２２１ａは、種類情報とコンテンツとを対応付ける。コンテンツサーバ２の制御部２１は、コンテンツ表２２１ａを参照して通信端末１から送信された種類情報に対応付けられているコンテンツを特定すると、通信部２５を介して、特定したこのコンテンツを通信端末１に送信する。以上により、通信端末１は、取得音響信号から抽出したグループ情報４２２に対応するコンテンツサーバアドレスを取得し、取得したコンテンツサーバアドレスによって特定されるコンテンツサーバ２から、種類情報に応じたコンテンツの提供を受ける。すなわち、通信端末１は、グループ情報（またはコンテンツサーバアドレス）および種類情報の組に対応するコンテンツを受信する。

なお、この場合、通信端末１の制御部１１によって実現される抽出部１１１は、要求部１１５にグループ情報４２２を送らなくてもよい。抽出部１１１は、例えば図１１に破線で示すように、情報要求部１１２にグループ情報４２２を送ってもよい。この場合、情報要求部１１２は、通信部１５を介して、グループ情報４２２に対応するコンテンツサーバアドレスを変換サーバ５に要求するとともに、外部のサーバ（図１１によって図示せず）に、取得音響信号に応じた種類情報を要求する。そして、情報取得部１１４は、上記のコンテンツサーバアドレスと種類情報とを取得し、要求部１１５は、このコンテンツサーバアドレスと種類情報との組に応じたコンテンツをコンテンツサーバ２に要求すればよい。

また、例えば複数の音響装置４がネットワーク３を介して通信可能に構成されている場合、変換サーバ５は、音響装置４とコンテンツサーバ２とを対応付けて記憶していてもよい。この場合、変換サーバ５は、各音響装置４に対応付けられたコンテンツサーバ２を特定する。そして、変換サーバ５は、コンテンツ表２２１ａにおいて、このコンテンツサーバ２のコンテンツサーバアドレスと対応付けて記述されているグループ情報を音響装置４に送信すればよい。音響装置４は、変換サーバ５から受信したグループ情報を基礎音情報に重畳して得られたデータに基づく放音をすればよい。

（変形例６）
上述した実施形態において、音響装置４は、記憶部４２に記憶された基礎音情報４２１とグループ情報４２２とを読み出して、基礎音情報４２１のうち人間に聴こえ難い周波数帯域にグループ情報４２２を重畳して音響信号を出力する装置であったが、音響装置４は、外部装置と通信する通信部を備えていてもよく、基礎音情報４２１やグループ情報４２２を外部装置から通信により取得してもよい。

また、上述した実施形態において、音響装置４は、基礎音情報４２１にグループ情報４２２を重畳して音響信号を出力していたが、音響装置４に接続された外部装置がこの重畳を行ってもよい。この外部装置は、例えばショッピングモールのグループ情報を取りまとめるサーバなどである。このサーバは、ショッピングモールの設立地域や建物、フロア単位でショッピングモール全体をグループに分類しており、それぞれのグループにグループ情報を関連付けて記憶している。そして、このサーバは、ショッピングモール内の各小売店舗がどのグループに属しているかを記憶しているため、各小売店舗に向けて、その小売店舗に対応するグループ情報４２２を基礎音情報４２１に重畳して送信する。このとき、このサーバは、コンテンツサーバ２とグループ情報に関する調整を行ってもよい。例えば、グループ情報を管理する管理者が、これらのグループ情報を追加したり削除したりする編集をした場合に、この編集内容がコンテンツサーバ２およびこのサーバの双方に反映されるようになっていればよい。

また、音響装置４は、放送される信号を受信して基礎音情報４２１やグループ情報４２２を取得してもよい。図１７は、変形例６に係るコンテンツ提供システム９ｂの全体構成を示す図である。このコンテンツ提供システム９ｂは、図１２に示したコンテンツ提供システム９ａの構成に加えて種類情報サーバ６と放送局７とを備える。種類情報サーバ６は、放送局７が放送する番組を構成する動画データおよび音声データなどの番組データを記憶するコンピュータである。また、種類情報サーバ６は、番組の音声を示す音声データを、例えば、その音声データによって示される音声が誰の声であるかに応じて区分けしており、この区分けごとに種類情報が関連付けられている。

放送局７は、種類情報サーバ６から番組データを取得し、これにその番組固有の識別情報をグループ情報４２２として重畳させて、生成したデータに基づく番組信号を電波によって放送する。音響装置４は、この放送局７が放送する番組の番組信号を受信して、その番組に含まれる音響信号に応じた音を出力する。

種類情報サーバ６が、ネットワーク３を介して通信端末１から取得音響信号の送信とともにその取得音響信号に応じた種類情報を要求されると、種類情報サーバ６は、送信された取得音響信号と記憶している番組データに含まれる音響信号とを照合するパターンマッチング処理を行う。そして、種類情報サーバ６は、取得音響信号に応じた音が番組内に出現する時間軸上の位置を特定し、その位置に応じた種類情報を通信端末１に送信する。

これにより、例えば、放送局７は、或るドラマ番組の音を示す音響信号に、その番組固有の識別情報をグループ情報４２２として重畳して放送する。音響装置４は、放送を受信して、番組固有のグループ情報４２２が含まれた音響信号に基づく音を出力する。出力されたこの音を取得した通信端末１の音響信号取得部１６は、この音から取得音響信号を取得する。通信端末１は、取得音響信号からグループ情報４２２を抽出して変換サーバ５に送信し、変換サーバ５からグループ情報４２２に応じたコンテンツサーバアドレスを受信する。また、通信端末１は、ユーザの操作を操作部１３によって受け付けて、受け付けたタイミングに応じて決まる期間に音響信号取得部１６が取得した取得音響信号を種類情報サーバ６へ送信する。

種類情報サーバ６は、通信端末１から取得音響信号を受信して、その取得音響信号に応じた音が番組内に出現する時間軸上の位置を特定する。ここで例えば、このドラマ番組の音声データは、役者が話す台詞の開始から終了までを一つの区間として区切っており、各区間にはその台詞を話す役者の役者名が種類情報として対応付けられている。したがって、通信端末１から送信された取得音響信号に含まれる音声が或る役者の台詞であった場合、種類情報サーバ６は、その役者名を種類情報として通信端末１に送信する。通信端末１は、その役者名を、送信した取得音響信号に応じた種類情報として受信する。

通信端末１は、変換サーバ５から受信したコンテンツサーバアドレスによってコンテンツサーバ２を特定する。そして、通信端末１は、特定したこのコンテンツサーバ２へ、種類情報サーバ６から取得した種類情報（役者名）を送信する。コンテンツサーバ２は、コンテンツ表２２１ａから種類情報に対応付けられたコンテンツを見つけると、このコンテンツを通信端末１に送信する。具体的に、このコンテンツとは、例えば、その役者名の役者がドラマ中で着用していた衣服の広告などである。そして、通信端末１には、この衣服の広告が提供される。

この構成により、テレビドラマを視聴している視聴者が、そのドラマに出演している役者が着用している衣服や小物などに興味を示した場合に、その視聴者は通信端末１を操作するだけでそれらに関する広告の情報を得ることができる。なお、番組はテレビ番組に限られず、ラジオ番組であってもよい。要するに番組は、音を表す音響信号を含む信号により放送されるものであればよい。また、グループ情報を重畳させる構成は放送局７に限られず、種類情報サーバ６が重畳してもよいし、種類情報サーバ６に記憶されている番組データに予めグループ情報が含められていてもよい。

なお、この変形例において、通信端末１は、ユーザの操作を操作部１３によって受け付けて、受け付けたタイミングに応じて決まる期間に音響信号取得部１６が取得した取得音響信号を種類情報サーバ６へ送信していたが、受け付けたタイミングそのものを示すタイミング信号を種類情報サーバ６へ送信してもよい。具体的には、操作部１３がユーザの操作を受け付けると、通信端末１の制御部１１は内蔵されたタイマを参照して、現在の時刻を示す現在時刻情報を取得する。そして、通信端末１は、ネットワーク３を介してこの現在時刻情報に基づいたタイミング信号を種類情報サーバ６へ送信する。上記タイミング信号は、種類情報サーバ６が通信端末から取得音響信号を受信したタイミングを示すタイミング信号でも良い。要するに、タイミング信号は通信端末１の送信時刻を示す信号だけではなく、種類情報サーバ６の受信時刻を示す信号でもよい

この場合、種類情報サーバ６は、番組に含まれる複数の内容を、その各内容が放送された時間（放送時間）に対応付けるスケジュール表を記憶するとともに、この各内容に応じた種類情報をそれぞれ記憶している。そして、種類情報サーバ６は、送信されたタイミング信号と記憶しているスケジュール表とを照合し、タイミング信号が示す時刻が、スケジュール表におけるどの放送時間に含まれるかを特定し、その放送時間に放送された番組の内容を特定して、その内容に応じた種類情報を通信端末１に送信すればよい。これにより、通信端末１は、操作部１３がユーザの操作を受け付けたタイミングに対応する種類情報を取得する。

（変形例７）
上述した実施形態において、コンテンツ群はグループ情報によって特定され、そのコンテンツ群に含まれる一つのコンテンツは種類情報によって特定されていたが、種類情報がコンテンツ群を特定し、グループ情報がコンテンツ群に含まれる一つのコンテンツを特定してもよい。要するに、グループ情報と種類情報との組によって、通信端末１に送信される一つのコンテンツが特定されればよい。即ち、第１情報（グループ情報）が複数個集まって、上位の階層である一の第２情報（種類情報）を構成してもよい。

（変形例８）
上述した実施形態におけるグループ情報は、単なる番号（Ｇ１，Ｇ２、・・・）であったが、コンテンツサーバ２において記憶されているコンテンツ群を特定するための情報であればどのようなものであってもよい。例えば、グループ情報は、俳優名、放音時刻、音響装置４や放送局７の識別情報等、何らかの意味を持つ文字列の情報であってもよい。また、一つの種類情報に複数のコンテンツが対応する構成では、これら複数のコンテンツから一つのコンテンツを特定する情報でもよい。例えば、「地図」という種類情報に対しては、「住所（番地）」でもよいし、「商品広告」に対しては「商品名」でもよい。

（変形例９）
本発明の通信端末１は、携帯電話機に限られず、ＰＤＡ（Personal Digital Assistant）やモバイルコンピュータ、ゲーム機、デジタルサイネージなどの、無線通信を行うことのできる種々の通信端末でもよい。

（変形例１０）
上述した実施形態における通信端末１の制御部１１や、コンテンツサーバ２の制御部２１によって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ、ＦＤ）など）、光記録媒体（光ディスク（ＣＤ、ＤＶＤ）など）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でダウンロードさせることも可能である。このように制御部１１や制御部２１によって実現される機能は、１又は複数のソフトウエアにより実現されてもよいし、１又は複数のハードウエアにより実現されてもよい。

（変形例１１）
上述した実施形態において、受信部１１６により受信されたコンテンツは、このコンテンツに応じた画像を表示部１４に表示させるために用いられていたが、このコンテンツは他の処理に用いられてもよい。例えば、受信したコンテンツが音楽を示す音楽データである場合、通信端末１に備えられた放音部によってこの音楽データによって示される音楽を放音してもよい。

１…通信端末、１１…制御部、１１１…抽出部、１１２…情報要求部、１１３…特定部、１１４…情報取得部、１１５…要求部、１１６…受信部、１２…記憶部、１２１…種類表、１３…操作部、１４…表示部、１５…通信部、１６…音響信号取得部、２…コンテンツサーバ、２１…制御部、２１１…選択部、２１２…送信部、２２…記憶部、２２１…コンテンツＤＢ、２２１ａ…コンテンツ表、２５…通信部、３…ネットワーク、４…音響装置、４１…制御部、４２…記憶部、４２１…基礎音情報、４２２…グループ情報、４３…放音部、５…変換サーバ、５１…制御部、５２…記憶部、５２１…変換表、５５…通信部、６…種類情報サーバ、７…放送局、９…コンテンツ提供システム、９ａ…コンテンツ提供システム、９ｂ…コンテンツ提供システム

Claims (1)

1. 通信端末とコンテンツサーバとを備える通信システムであって、
   前記通信端末は、
   音響透かしが重畳された音響信号を取得する音響信号取得手段と、
   取得された前記音響信号から当該音響信号に含まれている前記音響透かしを抽出する抽出手段と、
   前記音響透かしに対応する第１情報と、前記音響信号の発音に対応する第２情報とを取得する情報取得手段と、
   前記第１情報と前記第２情報との組をコンテンツサーバに送信し、下位の階層の要素が複数個集められたグループを当該各要素の上位の階層として表す階層構造において当該第１情報が当該第２情報の上位の階層を示す、当該組に対応するコンテンツを要求する要求手段と、
   前記要求手段の要求に応じて前記コンテンツサーバから送信されるコンテンツを受信する受信手段と
   を有し、
   前記コンテンツサーバは、
   音響信号を取得した前記通信端末から、当該音響信号に重畳された音響透かしに対応する第１情報と、音響信号の発音に対応する第２情報との組を受信する組受信手段と、
   前記組受信手段が受信した前記組に基づいて、下位の階層の要素が複数個集められたグループを当該各要素の上位の階層として表す階層構造において当該組の前記第１情報が当該組の前記第２情報の上位の階層を示す場合に当該組に対応したコンテンツを選択する選択手段と、
   前記選択手段により選択されたコンテンツを前記通信端末に送信する送信手段と、
   を有することを特徴とする通信システム。

Images