JP5396769B2 - 音声出力制御装置、音声出力装置、音声出力制御方法、及び、プログラム - Google Patents

Description

本発明は、超指向性スピーカからの音声出力を制御する音声出力制御装置、音声出力装置、音声出力制御方法、及び、プログラムに関する。

従来、広告を表示する方法としては、ポスターを掲示する方法や、壁面にディスプレイ装置を設置して広告を表示する方法がある。また、広告効果を高めるため、横長のディスプレイ装置を９０度回転させて縦長に設置し、この縦長のディスプレイ装置の画面に広告を表示する方法が提案されている（例えば、特許文献１参照）。
特開２００４−２２６４９４号公報

ところで、広告効果を高めるためには、広告への注目を集めることが有効であるが、視覚的効果によって注目を集めることには限度があり、また、広告そのものに気付いていない人を広告に注目させることは非常に困難であった。このため、広告に対する注目を効果的に集めることが望まれていた。
また、広告効果を高めるための手法とともに、その手法による効果がどの程度であったかを正確に判定することも強く望まれていた。
本発明は、上述した事情に鑑みてなされたものであり、広告に対する注目を効果的に集めるとともに、注目を集めた効果を知ることができるようにすることを目的とする。

上記課題を解決するため、本発明は、特定の方向に音声を出力する超指向性スピーカと、前記超指向性スピーカの音声出力方向を調整する音声方向調整機構と、に接続された音声出力制御装置であって、広告の表示面を視認可能な範囲を撮影する撮影手段と、前記撮影手段により撮影された撮影画像に写っている人物を対象者として検出する対象者検出手段と、前記音声方向調整機構によって、前記超指向性スピーカの音声出力方向を前記対象者検出手段により検出された対象者の方に向けさせて、前記超指向性スピーカから音声を出力させる音声出力制御手段と、前記音声出力制御手段の制御によって前記超指向性スピーカから音声を出力させた後に前記撮影手段により撮影された撮影画像に基づいて、前記対象者の顔の向きを判定する向き判定手段と、を備えることを特徴とする音声出力制御装置を提供する。
この構成によれば、広告の表示面を視認可能な範囲にいる人を対象者として、この対象者に向けて超指向性スピーカから音声を出力させ、音声を出力した後の対象者の顔の向きを判定するので、音声を出力することで広告への注目を喚起する一方で、音声出力後における対象者の広告への注目の状態を判定できる。また、超指向性スピーカを用いることで、僅かな人数にしか聞こえないように音声を出力することができ、広い範囲の人に聞こえるように音声を出力する場合に比べて、広告への注目を強く喚起できる。これにより、超指向性スピーカを用いた音声出力によって広告に対する注目を集めるとともに、この音声出力によって実際に広告への注目が喚起されたかどうかを知ることができる。

上記構成において、前記向き判定手段によって前記対象者の顔が前記広告の表示面を向いていると判定されてから、前記対象者の顔が前記広告の表示面を向いていた時間を求める注目時間検出手段をさらに備えるものとしてもよい。
この場合、超指向性スピーカから音声を出力させた後に対象者が広告の表示面を向いてから、この対象者が広告の表示面に注目していた時間を求めるので、音声によって広告への注目を喚起するとともに、音声出力が対象者に与えた影響を詳細に知ることができる。

また、上記構成において、前記音声出力制御手段は、前記撮影手段により撮影された撮影画像に写っている人物のうち、その顔が前記広告の表示面を向いていない人物を対象者として検出するものとしてもよい。
この場合、広告の表示面を向いていない人を対象として、超指向性スピーカから音声を出力させて、その後に対象者が広告の表示面を向いたか否かを判定するので、広告に注目していない人に対して、ほぼその人のみを対象として超指向性スピーカによって音声による訴求を行い、広告への注目を喚起することができ、さらに、実際に広告に注目したか否かを判定できる。

さらに、上記構成において、前記撮影手段は、前記広告の表示面として、広告画像を表示する表示装置の表示画面を視認可能な範囲を撮影するものであり、前記音声出力制御手段は、前記超指向性スピーカから、前記表示装置により表示中の広告画像に関連する音声を出力させるものとしてもよい。
この場合、広告画像が表示される表示装置の表示画面を視認可能な範囲にいる人に対し、超指向性スピーカを用いて、広告画像に関連する音声を出力させることにより、広告への注目をより強く喚起するとともに、広告の訴求力を高める一方で、この音声出力による広告効果への影響を知ることができる。

また、本発明は、特定の方向に音声を出力する超指向性スピーカと、前記超指向性スピーカの音声出力方向を調整する音声方向調整機構と、広告の表示面を視認可能な範囲を撮影する撮影手段と、前記撮影手段により撮影された撮影画像に写っている人物を対象者として検出する対象者検出手段と、前記音声方向調整機構によって、前記超指向性スピーカの音声出力方向を前記対象者検出手段により検出された対象者の方に向けさせて、前記超指向性スピーカから音声を出力させる音声出力制御手段と、前記音声出力制御の制御によって前記超指向性スピーカから音声を出力させた後に前記撮影手段により撮影された撮影画像に基づいて、前記対象者の顔の向きを判定する向き判定手段と、を備えることを特徴とする音声出力装置を提供する。
この構成によれば、広告の表示面を視認可能な範囲にいる人を対象者として、この対象者に向けて超指向性スピーカから音声を出力し、音声を出力した後の対象者の顔の向きを判定するので、超指向性スピーカを用いた音声出力により、広告への注目を強く喚起する一方で、音声出力後に対象者が広告したかどうかを判定できる。これにより、超指向性スピーカを用いた音声出力によって広告に対する注目を集めるとともに、この音声出力によって実際に広告への注目が喚起されたかどうかを知ることができる。

また、本発明は、特定の方向に音声を出力する超指向性スピーカと、前記超指向性スピーカの音声出力方向を調整する音声方向調整機構と、に接続された音声出力制御装置が、広告の表示面の前方を撮影し、撮影画像に写っている人物を対象者として検出し、前記音声方向調整機構によって、前記超指向性スピーカの音声出力方向を前記対象者の方に向くよう調整し、前記超指向性スピーカから音声を出力させ、前記超指向性スピーカから音声を出力させた後に前記広告の表示面の前方の撮影を行い、この撮影画像に基づいて、前記対象者の顔の向きを判定すること、を特徴とする音声出力制御方法を提供する。
この方法によれば、広告の表示面を視認可能な範囲にいる人を対象者として、この対象者に向けて超指向性スピーカから音声を出力し、音声を出力した後の対象者の顔の向きを判定するので、超指向性スピーカを用いた音声出力により、広告への注目を強く喚起する一方で、音声出力後に対象者が広告したかどうかを判定できる。これにより、超指向性スピーカを用いた音声出力によって広告に対する注目を集めるとともに、この音声出力によって実際に広告への注目が喚起されたかどうかを知ることができる。

また、本発明は、特定の方向に音声を出力する超指向性スピーカと、前記超指向性スピーカの音声出力方向を調整する音声方向調整機構と、広告の表示面を視認可能な範囲を撮影する撮影手段と、に接続された制御部が有するコンピュータにより実行されるプログラムであって、前記プログラムを実行することによって、前記制御部が、前記撮影手段を制御して撮影した撮影画像に写っている人物を対象者として検出する対象者検出と、前記音声方向調整機構を制御して、前記超指向性スピーカの音声出力方向を前記対象者検出手段により検出した対象者の方に向けさせて、前記超指向性スピーカから音声を出力させる音声出力制御と、前記超指向性スピーカから音声を出力させた後に前記撮影手段を制御して撮影した撮影画像に基づいて、前記対象者の顔の向きを判定する向き判定と、を実施することを特徴とするプログラムを提供する。
このプログラムを実行するコンピュータによれば、広告の表示面を視認可能な範囲にいる人を対象者として、この対象者に向けて超指向性スピーカから音声を出力し、音声を出力した後の対象者の顔の向きを判定するので、超指向性スピーカを用いた音声出力により、広告への注目を強く喚起する一方で、音声出力後に対象者が広告に注目したかどうかを判定できる。これにより、超指向性スピーカを用いた音声出力によって広告に対する注目を集めるとともに、この音声出力によって実際に広告への注目が喚起されたかどうかを知ることができる。

本発明によれば、広告を視認可能な範囲にいる人に対し、超指向性スピーカを用いた音声出力によって広告への注目を強く喚起するとともに、この音声出力による広告効果への影響を知ることができる。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本実施形態に係る音声出力システム１の機能的構成を示すブロック図である。
音声出力システム１は、制御装置１０に、超指向性スピーカ４０、カメラ５０、及び、表示装置６０を各々接続して構成される。
音声出力装置としての音声出力システム１は、表示装置６０によって商品やサービス等の広告の画像を表示するとともに、この表示装置６０に表示される広告を視認可能な範囲をカメラ５０により撮影し、この範囲にいる人を、撮影画像に基づいて検出し、検出した人に向けて超指向性スピーカ４０から音声を出力する。

超指向性スピーカ４０は、パラメトリックスピーカと呼ばれる高い指向性を有するスピーカであって、その音声出力方向に位置する人のみ、或いは、その人の近傍にいる人を含めた少数の人にのみ聞こえるように音声を出力する。具体的な例を挙げると、超音波トランスデューサを備え、この超音波トランスデューサによって超音波帯域の搬送波を可聴帯域の音声信号によって変調した変調波を出力する超音波スピーカを、超指向性スピーカ４０として用いることができる。
超指向性スピーカ４０は、スピーカ台座４１により支持される。スピーカ台座４１は、超指向性スピーカ４０を設置する際の台座であり、超指向性スピーカ４０の音声出力方向を調整する音声方向調整機構として機能する。本実施形態のスピーカ台座４１は、一例として、１または複数の可動軸（図示略）と、これらの可動軸を中心として超指向性スピーカ４０の向きを変えるモータ（図示略）とを備えている。後述するように、制御装置１０の制御によってスピーカ台座４１を動作させることで、超指向性スピーカ４０の音声出力方向を任意の向きに変更することが可能である。

カメラ５０は、静止画像及び／又は動画像を撮影するカメラであって、制御装置１０の制御に従って撮影を行い、撮影画像データを制御装置１０に出力する。
カメラ５０は、制御装置１０に接続されるインタフェース部５１と、撮影制御部５２と、撮影部５３と、を備える。
撮影部５３は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子（図示略）、撮影レンズ群（図示略）、ズームやフォーカス等の調整を行うためにレンズ群を駆動するレンズ駆動部（図示略）等を備え、撮影制御部５２の制御に従って撮影を行う。撮影制御部５２は、インタフェース部５１を介して入力される制御信号に従って、撮影部５３のレンズ駆動部を動作させて所定の撮影条件を実現させ、この条件下で撮影部５３が備える撮像素子から出力されるデータを所定形式のデータに変換し、撮影画像データとして、インタフェース部５１を介して出力する。インタフェース部５１は、有線のケーブルまたは無線通信回線を介して制御装置１０に接続され、制御装置１０から入力される制御信号を受信して撮影制御部５２に出力するとともに、撮影制御部５２から入力される撮影画像データ等を制御装置１０に出力する。

表示装置６０は、制御装置１０の制御に従って広告の画像（静止画像及び動画像のどちらでもよい）を表示する。
表示装置６０は、制御装置１０に接続されるインタフェース部６１と、インタフェース部６１を介して入力された表示信号を取得する描画制御部６２と、描画制御部６２に接続された描画メモリ６３と、描画制御部６２の制御に従って表示パネル６５を駆動する表示駆動回路６４と、表示パネル６５とを備えている。
描画制御部６２は、インタフェース部６１を介して制御装置１０から入力された表示信号に基づいて、表示用の画像を描画メモリ６３に描画する。そして、描画制御部６２は、表示パネル６５における描画タイミングに合わせて描画メモリ６３から画像を読み出し、表示駆動回路６４に出力する。表示駆動回路６４は、描画制御部６２から入力された画像に基づいて表示パネル６５を駆動し、画像を表示させる。

ここで、表示パネル６５は、液晶表示パネル、プラズマ表示パネル、或いは有機ＥＬパネル等のフラットディスプレイパネルにより構成される。表示パネル６５が透過型の液晶表示パネルで構成される場合、表示装置６０はバックライト装置（図示略）を備え、表示駆動回路６４は、表示パネル６５を駆動するとともにバックライト装置の点灯制御を行い、所定のタイミングで点灯させる。また、表示パネル６５がプラズマ表示パネルや有機ＥＬパネル等の自発光型のものである場合、バックライト装置は不要である。

図２は、超指向性スピーカ４０及びカメラ５０の設置状態を示す斜視図である。また、図３はカメラ５０の撮影範囲を示す平面図である。
図２に示すように、超指向性スピーカ４０及びカメラ５０は、表示装置６０の上端部に取り付けられている。
超指向性スピーカ４０は、その音声出力方向が主に表示パネル６５の前方に向くよう取り付けられる。本実施形態では、スピーカ台座４１は二つの直交する可動軸を有し、図中矢印ＭＨで示す方向（水平方向）及び矢印ＭＶで示す方向（垂直方向）に、超指向性スピーカ４０の音声出力方向を変更する。スピーカ台座４１の可動範囲は特に限定されないが、典型的な例としては、矢印ＭＨ及び矢印ＭＶで示すように、超指向性スピーカ４０の音声出力方向を、表示パネル６５の正面方向を中心として左右及び上下に変更する態様が挙げられる。超指向性スピーカ４０の音声出力方向は、表示パネル６５から音声を聴かせる対象者までの距離に応じて矢印ＭＶ方向に変化し、対象者の左右方向の位置に応じて矢印ＭＨ方向に変化する。

撮影手段としてのカメラ５０は、図２及び図３に示すように、広告の表示面としての表示パネル６５の正面を含む表示パネル６５の前方を撮影するよう設置されている。カメラ５０の撮影範囲は、図３に符号Ｇで示す領域であり、表示パネル６５に表示される広告の画像を視認可能な範囲である。すなわち、カメラ５０は、表示パネル６５を視認できる位置にいる人を撮影できるように配置される。ここで、音声出力システム１がカメラ５０を一台のみ使用する場合には、カメラ５０に、焦点距離が35〜24mmの広角レンズや、21mm以下の超広角レンズ（焦点距離はいずれも35mmフィルム換算）、或いは魚眼レンズを用いて広範囲を撮影することが好ましく、カメラ５０の設置位置は、図２及び図３に示すように、表示パネル６５のほぼ中央が好ましい。音声出力システム１が複数のカメラ５０を備え、これら複数のカメラ５０の撮影画像を、制御装置１０が重複の排除等の処理を行って利用する場合には、各々のカメラ５０の撮影範囲は図３の領域Ｇの一部のみをカバーすればよい。この場合、カメラ５０は通常の広角レンズを備えていれば十分に機能を果たすことができる。

また、音声出力システム１が超指向性スピーカ４０を一台のみ使用する場合には、スピーカ台座４１による水平方向の可動範囲を広くして、例えば矢印ＭＨで示す水平方向に１８０度以上とすることが考えられる。
なお、超指向性スピーカ４０及びカメラ５０の設置場所の高さ位置は、表示装置６０の上端に限定されず、より高い位置であってもよい。カメラ５０によって領域Ｇ全体を効率よく撮影し、この領域Ｇ内の特定の人に確実に超指向性スピーカ４０の音声を聴かせるためには、超指向性スピーカ４０及びカメラ５０は高い場所に設置される方が、比較的好ましいといえる。

音声出力システム１の各部を制御する制御装置１０は、例えば、パーソナルコンピュータとして実現されるものであり、音声出力制御装置として機能する。制御装置１０は、図１に示すように、音声出力部１１、台座駆動部１２、入力部１３、表示部１４、記録媒体読取部１５、インタフェース部１６、制御装置１０の各部を制御する制御部２０、及び、記憶部３０を備えている。

音声出力部１１は、超指向性スピーカ４０に接続され、制御部２０の制御に従って、記憶部３０に記憶された音声データに係る音声を出力するための音声信号を生成し、この音声信号を超指向性スピーカ４０に出力する。
台座駆動部１２は、制御部２０の制御に従って、スピーカ台座４１が備えるモータ（図示略）を駆動するための駆動信号や電源を供給する。この台座駆動部１２がスピーカ台座４１に出力する駆動信号や電源によって上記モータが所定角度だけ回動し、超指向性スピーカ４０の音声出力方向が、制御部２０が決定した方向となる。

入力部１３は、マウスやキーボード等の入力デバイスに接続され、これら入力デバイスの操作を検出して、この操作に対応する操作信号を制御部２０に出力する。
表示部１４は、制御部２０の制御に従って、各種情報を表示するものであり、例えば液晶表示パネルを用いて構成される。
記録媒体読取部１５は、ＣＤ、ＤＶＤ、或いは次世代型ＤＶＤ等の光ディスク型記録媒体、ＭＯ等の光磁気記録媒体、磁気記録媒体、半導体記憶素子を利用した記憶装置、磁気的記録媒体を利用した記録装置等から、プログラムやデータを読み取る装置である。記録媒体読取部１５は、制御部２０の制御に従って、表示パネル６５に表示する画像に係るデータや、超指向性スピーカ４０から出力する音声に係るデータ、制御部２０が実行するプログラムや処理対象のデータ等を読み取って、制御部２０に出力する。記録媒体読取部１５により読み取られたデータやプログラムは、制御部２０の制御に基づいて、記憶部３０に記憶される。

インタフェース部１６は、カメラ５０が備えるインタフェース部５１、及び、表示装置６０が備えるインタフェース部６１に対し、有線または無線により接続される。インタフェース部１６は、インタフェース部５１、６１との間において、制御信号や表示情報、撮影画像データ等の入出力を実行する。

制御部２０は、制御装置１０の各部を中枢的に制御するものであり、ＣＰＵ、ＣＰＵによって実行される基本制御プログラムや処理されるデータ等を不揮発的に記憶するＲＯＭ、ＣＰＵによって実行されるプログラムや処理されるデータ等を一時的に記憶するＲＡＭ、及び、その他の周辺回路等を備えている。制御部２０は、ＲＯＭに記憶された基本制御プログラムを読み出して実行することにより、制御装置１０の各部を制御する。さらに、制御部２０は、ＲＯＭや記憶部３０に記憶されたプログラムを読み出して実行することで、制御装置１０に接続された各部を制御することにより、制御装置１０の各種機能を実現する。
すなわち、制御部２０は、顔方向判定部２１（対象者検出手段、向き判定手段）、属性判別部２２、音声出力制御部２３（音声出力制御手段）、及び、スピーカ台座制御部２４の各機能部を有する。これらの機能部は、制御部２０が有するＣＰＵが所定のプログラムを実行することで、実現される。

顔方向判定部２１は、カメラ５０から入力される撮影画像データを解析して、カメラ５０の撮影画像に写っている人毎に、顔の向きを判定する処理を行う。顔方向判定部２１は、少なくとも、各々の人の顔が表示パネル６５を向いているか否かを判定する。
図３に示すように、カメラ５０は領域Ｇにいる人を撮影可能なものであり、例えば領域Ｇに三人の人Ｕ１、Ｕ２、Ｕ３がいる場合には、カメラ５０の撮影画像には三人の人Ｕ１〜Ｕ３の顔が写る。図３中、人Ｕ１の顔の向きを方向Ａ１とし、人Ｕ２の顔の向きを方向Ａ２とし、人Ｕ３の顔の向きを方向Ａ３とする。図３の例では、人Ｕ１の顔の向き方向Ａ１は表示パネル６５に対して横向きであり、人Ｕ３の顔の向き方向Ａ３は表示パネル６５とは反対側の斜め方向である。これに対し、人Ｕ２の顔の向き方向Ａ２は正面から表示パネル６５側を向いている。
カメラ５０は表示パネル６５の表示面と同じ側から、表示パネル６５の前方、すなわち表示パネル６５を視認可能な範囲（領域Ｇ）を撮影するので、カメラ５０の撮影画像において、表示パネル６５を向いている人Ｕ２の顔は正面向きに写っている。
顔方向判定部２１は、カメラ５０の撮影画像における人の姿を検出し、各々の人の顔が正面向きの顔であるか否かを判定することで、顔の向きを判定する。なお、顔方向判定部２１は、人の顔が表示パネル６５を正面から見ているか否かを判定するだけでなく、表示パネル６５に対して横方向や斜め方向、或いは表示パネル６５の反対側を向いている人の顔について、その向きやおよその角度を判定できるものであってもよい。

属性判別部２２は、カメラ５０から入力される撮影画像データを解析して、カメラ５０の撮影画像に写っている人毎に、属性を判別する処理を行う。属性判別部２２は、少なくとも、各々の人の顔が表示パネル６５を向いているか否かを判定する。
属性判別部２２は、カメラ５０の撮影画像から人の姿の部分を検出し、その人の姿の部分について特徴を検出する。ここで検出される特徴は、画像中の頭髪の占める割合、頭髪及び皮膚の色調、身長及び身幅とその比、顔の特徴、服装の色調等である。続いて属性判別部２２は、検出した画像の特徴に基づいて、その人の属性として、例えば性別や年代を判別する。

音声出力制御部２３は、カメラ５０の撮影画像に写っている人のうち、顔方向判定部２１により判定された人毎の顔の方向、及び、属性判別部２２により判別された人毎の属性に基づいて、超指向性スピーカ４０によって音声を聴かせる対象者を選択する。そして、音声出力制御部２３は、対象者に適した音声を、記憶部３０に記憶された音声選択用テーブル３３に基づいて選択し、選択した音声のデータを広告音声データ３２から読み出して、この音声を出力するための音声信号を、音声出力部１１から超指向性スピーカ４０へ出力させる。
スピーカ台座制御部２４は、音声出力制御部２３によって選択された対象者に超指向性スピーカ４０の音声を聴かせるため、カメラ５０の撮影画像における対象者の位置に基づいて、スピーカ台座４１を駆動する方向及び駆動量を算出し、算出結果に基づいて台座駆動部１２を制御し、スピーカ台座４１を動作させる。
この音声出力制御部２３及びスピーカ台座制御部２４の動作により、カメラ５０によって撮影された人のうち、特定の人（対象者）に対して超指向性スピーカ４０から音声が出力される。

記憶部３０は、磁気的、光学的記録媒体或いは半導体記憶素子を用いた記憶装置を備え、各種のプログラムやデータ等を不揮発的に記憶する。また、記憶部３０は、広告画像データ３１、広告音声データ３２、音声選択用テーブル３３、及び対象者履歴情報３４の各情報を記憶する。
広告画像データ３１は、表示装置６０によって表示される画像のデータであり、商品やサービス等の広告用の静止画像または動画像のデータである。広告画像データ３１は、複数の画像のデータを含んでいる。
広告音声データ３２は、超指向性スピーカ４０から出力される音声のデータであり、広告画像データ３１に含まれる各画像データの種類、及び、音声を聴かせる対象者の属性等に対応して、複数の音声データが広告音声データ３２に含まれる。

音声選択用テーブル３３は、広告音声データ３２の中から、超指向性スピーカ４０が出力する音声を選択するためのテーブルであり、一つの音声データを決定するための条件等が設定されている。
対象者履歴情報３４は、カメラ５０の撮影画像から検出された人物の画像について、その人物の異同を人ごとに識別するための情報であり、属性判別部２２が属性を判別する際に検出した撮影画像の特徴が登録されている。また、対象者履歴情報３４には、各々の人物がカメラ５０の撮影画像において複数回にわたって検出された場合に、最新の撮影画像の撮影時刻が登録され、さらに、最新の撮影画像において顔方向判定部２１によって表示パネル６５の正面を向いていると判定されたか否かを示す注目フラグが登録される。

図４は、音声選択用テーブル３３の構成例を模式的に示す図である。
この図４に示す例の音声選択用テーブル３３によれば、表示装置６０に表示される広告画像の種類と、対象者がカメラ５０撮影画像において検出された回数と、対象者の属性と、をもとに音声データが決定される。
すなわち、音声選択用テーブル３３には、表示装置６０に表示される広告画像の種類、対象者がカメラ５０撮影画像において検出された回数、対象者の属性（年代、性別）毎に、対応する音声データが設定されている。例えば、表示装置６０に表示中の広告画像が広告画像Ａであり、音声出力制御部２３が検出した対象者がカメラ５０の撮影画像から検出されたのが最初（１回目）であり、対象者の属性が２０−３０代の男性である場合、音声データとしては、音声データＡ１が設定されている。
従って、音声出力制御部２３は、制御部２０の制御によって表示装置６０に表示させている広告画像の種類、属性判別部２２によって対象者がカメラ５０撮影画像から検出された回数、及び、属性判別部２２が判別した対象者の属性（年代、性別）に基づいて、広告音声データ３２に含まれる複数の音声データから、適切な音声データを選択できる。
さらに、図４の例では、音声選択用テーブル３３において、検出回数が２回目以後の場合についても、属性毎に音声データが対応づけられている。従って、音声出力システム１は、各対象者の属性とともに、各対象者が撮影画像に写った回数が１回目であるか、２回目以後であるかに応じて、異なる音声を超指向性スピーカ４０から出力できる。

図５は、対象者履歴情報３４の構成例を模式的に示す図である。
対象者履歴情報３４は、カメラ５０の撮影画像において人物画像として制御部２０が検出した人物毎に情報が登録された一種のデータベースである。
対象者履歴情報３４には、各人物に対して制御部２０が自動的に付与したＩＤ、その人物について属性判別部２２が判別した属性、属性判別部２２が検出した人物画像の特徴（特徴量）、その人物に対して音声出力制御部２３により出力された音声データ、注目フラグ、及び撮影時刻が、対応づけて登録されている。
ここで、一人の人物が複数回撮影画像において検出され、その都度、この人物に対して超指向性スピーカ４０から音声が出力された場合には、音声データとしては最後に出力された音声データを示す情報が登録される。
また、注目フラグは、最新の撮影画像において顔方向判定部２１により判定された顔の向きを示すフラグであり、表示パネル６５の正面を向いていればＯＮとなり、表示パネル６５の正面でなければＯＦＦとなる。
対象者履歴情報３４の撮影時刻は、その人物が写った撮影画像のうち、その人物が表示パネル６５の正面を向いてから最初に撮影された撮影画像の撮影時刻である。言い換えれば、注目フラグがＯＦＦからＯＮに設定されたときの撮影画像の撮影時刻である。

対象者履歴情報３４を利用すれば、対象者がカメラ５０の撮影画像において検出された回数や、過去に撮影画像に写った時刻等を知ることができる。
すなわち、制御部２０は、属性判別部２２によってカメラ５０の撮影画像から人の姿の部分の特徴を検出した後、検出した特徴に固有のＩＤを付して、対象者履歴情報３４に登録する。そして、制御部２０は、属性判別部２２によってカメラ５０の撮影画像から人の姿の部分の特徴を検出した後で、対象者履歴情報３４に同様の特徴を有する人の画像の情報が登録されているか否かを判定する。この判定により、カメラ５０の撮影画像から検出された人物画像が、以前にもカメラ５０の撮影画像において検出された人であるかどうかを速やかに判定できる。

対象者履歴情報３４は、撮影時刻から所定時間（例えば３０分、或いは１時間）経過する毎に、クリアされる。これは、同一の人物が表示装置６０を見ることができる範囲（領域Ｇ）から立ち去り、その後に領域Ｇに戻った場合に、この人物を新たな対象者として処理するためである。表示パネル６５に表示される広告が切り替わる可能性や、広告効果を判定する時間的スパンからみて、いったん撮影画像に写った人物を長期間にわたって対象者として対応し続けるよりも、所定時間が経過する毎に、新たに検出された対象者として対応した方が、良好な広告効果が期待でき、広告効果を正確に判定できるという利点がある。また、対象者履歴情報３４のデータ量を抑えることができるという利点もある。

図６は、音声出力システム１の動作を示すフローチャートである。
この図６に示す動作は、制御装置１０の制御部２０が、カメラ５０の撮影画像を所定時間毎にサンプリングする毎に、行われる。この図６の動作の実行時、制御部２０は、対象者検出手段、音声出力制御手段、注目時間検出手段として機能する。
制御部２０は、まず、カメラ５０の撮影画像を、インタフェース部１６を介して取得する（ステップＳ１１）。ここで取得される撮影画像は、静止画像データであってもよいし、動画像データから一つのフレームを切り出したものであってもよい。
制御部２０は、顔方向判定部２１及び属性判別部２２による検出を行って、カメラ５０の撮影画像中に人の姿の画像（人物画像）があるか否かを判別する（ステップＳ１２）。ここで、撮影画像中に人物の画像がない場合（ステップＳ１２；Ｎｏ）、制御部２０は本処理を終了する。

一方、撮影画像中に人物の画像があった場合、すなわち人が写っていた場合（ステップＳ１２；Ｙｅｓ）、制御部２０は、撮影画像において検出された全ての人物の画像から処理対象となる人物の画像を一つ選択し（ステップＳ１３）、この画像が、対象者履歴情報３４に登録されている人物の画像であるか否かを判定する（ステップＳ１４）。この判定は、上述したように処理対象の人物の画像の特徴を検出し、検出した特徴と同じ特徴を有する画像が対象者履歴情報３４に登録されているか否かを判定することで、行われる。
処理対象の人物の画像が、まだ対象者履歴情報３４に登録されていなかった場合（ステップＳ１４；Ｎｏ）、制御部２０は、顔方向判定部２１の機能によって処理対象の人物の画像から顔の向きを判定する（ステップＳ１５）。

ここで、処理対象の人物の画像から判定された顔の向きが、表示パネル６５の正面向きであった場合（ステップＳ１６；Ｙｅｓ）、制御部２０は、音声出力などの処理を行わずにステップＳ２３に移行する。つまり、本実施形態で、制御部２０は、表示パネル６５に表示される広告画像を既に見ている人には、超指向性スピーカ４０による音声出力を行わない。これは、広告画像を見ていない人に超指向性スピーカ４０の音声を聴かせることで、広告に注目させるためであり、広告への注目を集めることを最優先とする場合に特に有効である。

また、処理対象の人物の画像から判定された顔の向きが、表示パネル６５の正面を向いていない場合（ステップＳ１６；Ｎｏ）、制御部２０は、この人物を超指向性スピーカ４０の音声出力の対象者として決定し（ステップＳ１７）、この人物の画像に基づいて属性判別部２２による属性判別を行い（ステップＳ１８）、音声出力制御部２３の機能により、音声選択用テーブル３３に従って音声データを選択するとともに選択した音声データを広告音声データ３２から取得する（ステップＳ１９）。
続いて、制御部２０は、超指向性スピーカ４０の音声出力方向をステップＳ１７で決定した対象者の方向に合わせるため、スピーカ台座制御部２４の機能によって台座駆動部１２を制御し、超指向性スピーカ４０の向きを調整する（ステップＳ２０）。そして、制御部２０は、音声出力制御部２３の機能によって超指向性スピーカ４０から音声を出力させ（ステップＳ２１）、この人物画像についてステップＳ１８で検出した特徴を対象者履歴情報３４に登録し（ステップＳ２２）、ステップＳ２３に移行する。
ステップＳ２３では、カメラ５０の撮影画像において検出された人物の画像の全てについて処理が完了したか否かを判別し、全ての人物の画像の処理が済んでいれば（ステップＳ２３；Ｙｅｓ）、本処理を終了し、まだ処理されていない人物の画像がある場合は（ステップＳ２３；Ｎｏ）、ステップＳ１３に戻って、別の人物の画像を処理対象とする。

ところで、ステップＳ１３で選択された処理対象の人物の画像が、対象者履歴情報３４に登録されていた対象者の画像であった場合（ステップＳ１４；Ｙｅｓ）、制御部２０は、この対象者について、注目時間検出処理を実行する（ステップＳ２４）。
図７は、注目時間検出処理を詳細に示すフローチャートである。
この注目時間検出処理において、制御部２０は、顔方向判定部２１の機能によって、撮影画像に基づいて、検出された対象者の顔の向きを判定する（ステップＳ３１）。
次に、制御部２０は、この対象者について対象者履歴情報３４に設定されている注目フラグがＯＮかＯＦＦかを判別する（ステップＳ３２）。

対象者履歴情報３４の注目フラグがＯＦＦであった場合（ステップＳ３２；Ｎｏ）、制御部２０は、顔方向判定部２１が判定した顔の向きが表示パネル６５を正面から見る向きか否かを判別する（ステップＳ３３）。顔の向きが表示パネル６５の正面であれば（ステップＳ３３；Ｙｅｓ）、制御部２０は、この対象者に対応する対象者履歴情報３４の注目フラグをＯＮに設定し（ステップＳ３４）、ステップＳ１１（図６）で取得した撮影画像の撮影時刻を、対象者履歴情報３４の撮影時刻として登録し（ステップＳ３５）、図６のステップＳ２３に移行する。
また、顔の向きが表示パネル６５の正面でなければ（ステップＳ３３；Ｎｏ）、制御部２０は、この対象者に対応する音声データを音声選択用テーブル３３に基づいて選択するとともに、選択した音声データを広告音声データ３２から取得する（ステップＳ３６）。続いて、制御部２０は、超指向性スピーカ４０の音声出力方向を対象者の方向に合わせるため、スピーカ台座制御部２４の機能によって台座駆動部１２を制御し、超指向性スピーカ４０の向きを調整する（ステップＳ３７）。そして、制御部２０は、音声出力制御部２３の機能によって超指向性スピーカ４０から音声を出力させ（ステップＳ３８）、ステップＳ２３に移行する。

一方、対象者履歴情報３４の注目フラグがＯＮであった場合（ステップＳ３２；Ｙｅｓ）、制御部２０は、顔方向判定部２１が判定した顔の向きが表示パネル６５を正面から見る向きか否かを判別する（ステップＳ３９）。ここで、顔の向きが表示パネル６５の正面であれば（ステップＳ３９；Ｙｅｓ）、制御部２０は、そのまま図６のステップＳ２３に移行する。

ここで、顔の向きが表示パネル６５の正面でなければ（ステップＳ３９；Ｎｏ）、制御部２０は、対象者の顔の向きが正面向きであった時間を算出する（ステップＳ４０）。すなわち、ステップＳ３２で判別した注目フラグがＯＮであったことから、この対象者は、対象者履歴情報３４の撮影時刻より後は、表示パネル６５を正面から見ていたことになる。そして、ステップＳ３９で顔が表示パネル６５の正面を向いていないと判別されたので、この対象者は表示パネル６５を正面から見るのをやめたことになる。このため、対象者履歴情報３４の撮影時刻から、ステップＳ１１で取得した撮影画像の撮影時刻までの間、この対象者は表示パネル６５を正面から注目していたと見なすことができる。そこで、制御部２０は、ステップＳ４０において、対象者履歴情報３４の撮影時刻から、ステップＳ１１で取得した撮影画像の撮影時刻までの時間を算出し、この時間を、対象者が表示パネル６５に注目していた時間として記憶部３０に記憶する。
その後、制御部２０は、この対象者に関する対象者履歴情報３４の注目フラグをＯＦＦに設定して（ステップＳ４１）、図６のステップＳ２３に移行する。

この図７に示す注目時間算出処理では、一人の対象者が写った複数の撮影画像に基づいて、対象者の顔の向きが表示パネル６５の正面以外から表示パネル６５の正面に変化したときの撮影画像と、表示パネル６５の正面から表示パネル６５の正面以外に変化したときの撮影画像とを検出し、これら２つの撮影画像の撮影時刻をもとに、対象者が表示パネル６５を正面から見ていた時間を算出する。

以上説明したように、本発明を適用した実施形態に係る音声出力システム１によれば、広告を表示する表示パネル６５を視認可能な範囲にいる人を対象者として、この対象者に向けて超指向性スピーカ４０から音声を出力し、音声を出力した後の対象者の顔の向きを判定するので、音声を出力することで広告への注目を喚起する一方、音声出力後における対象者の広告への注目の状態を判定できる。
また、超指向性スピーカ４０を用いることで、僅かな人数にしか聞こえないように音声を出力することができ、広い範囲の人に聞こえるように音声を出力する場合に比べて、広告への注目を強く喚起できる。これにより、超指向性スピーカ４０を用いた音声出力によって広告に対する注目を集めるとともに、この音声出力によって実際に広告への注目が喚起されたかどうか、すなわち、超指向性スピーカ４０による注目喚起の効果を正確に知ることができる。

また、音声出力システム１は、制御部２０によって、超指向性スピーカ４０によって音声を出力した後に、対象者の顔が表示パネル６５の正面向きであると判定してから、対象者の顔が広告の表示面を向いていた時間を求める。つまり、対象者が表示パネル６５に注目していた時間を求めるので、超指向性スピーカ４０の音声が対象者に与えた影響を詳細に知ることができる。制御部２０は、超指向性スピーカ４０によって音声を出力した後に対象者の顔が表示パネル６５を正面から見る向きになった時点を起点とし、その後に対象者の顔の向きが表示パネル６５を正面から見る向きでなくなった時点までの時間を求めるので、他の要因による影響を極力排して、超指向性スピーカ４０の音声による直接の効果を知ることができる。

さらに、音声出力システム１は、カメラ５０の撮影画像に写っている人物のうち、その顔が表示パネル６５を正面から見ていない人物を対象者として検出し、超指向性スピーカ４０によって音声を出力する。つまり、既に表示パネル６５を正面から見ている人を除いて、広告に注目していない人のみを対象として超指向性スピーカ４０によって音声による訴求を行うので、効果的に広告への注目を喚起できる。さらに、超指向性スピーカ４０によって音声を出力した後の顔の向きを判定することで、その対象者が実際に広告に注目したか否かを判定でき、超指向性スピーカ４０による注目喚起の効果を正確に知ることができる。
さらにまた、音声出力システム１は、カメラ５０によって、広告画像を表示する表示装置６０の表示パネル６５を視認可能な範囲を撮影し、超指向性スピーカ４０から、表示装置６０により表示中の広告画像に関連する音声を出力するので、広告画像に関連する音声を出力することによって広告への注目をより強く喚起し、広告の訴求力を高めることができる。

また、音声出力システム１は、超指向性スピーカ４０によって音声を出力した後に、その対象者の顔の向きが、表示パネル６５を正面から見る向きでないと判定した場合には、その対象者に対して、さらに超指向性スピーカ４０から音声を出力するので、広告に注目していない対象者に、より強く広告への注目を喚起できる。また、音声選択用テーブル３３に従って、同じ対象者に対して２回目以後に超指向性スピーカ４０から出力される音声として、１回目とは異なる音声が選択されるので、より強く広告への注目を喚起できる。

なお、上述した実施形態は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形および応用が可能である。
例えば、上記実施形態においては、対象者の属性に応じて音声選択用テーブル３３に基づいて音声データを選択する構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、例えば、対象者の属性を予め設定しておき、この属性に該当する人物の画像があった場合に、この人物に対してのみ音声を出力することも可能である。この場合、カメラ５０の撮影画像から検出された人物の画像が、予め対象者の属性として設定された属性であった場合のみ、超指向性スピーカ４０による音声出力を行い、設定された属性以外の属性の人物に対しては、超指向性スピーカ４０による音声を聴かせないことになるが、広告対象として想定されている属性から外れる人に注目を喚起する意味は薄く、広告対象の属性に該当する人に注目を喚起する方が高い広告効果が望めることから、効果的に広告への注目を集めることができる。

また、例えば、上記の実施形態では、属性判別部２２が属性として人物の性別や年代を判別する構成としたが、判別される属性は性別に限らず、日本人であるか外国人であるかを判別する構成とし、日本人の場合にはこの人物に対し日本語の音声が出力されるようにし、外国人の場合にはこの人物に対し外国語の音声が出力されるようにしてもよい。
また、上記実施形態では、例えば壁掛け設置される表示装置６０に超指向性スピーカ４０及びカメラ５０が設置される構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、表示装置６０から離れた場所に超指向性スピーカ４０及びカメラ５０を設置することも勿論可能であり、超指向性スピーカ４０とカメラ５０とを互いに離れた場所に設置することも可能である。さらに、広告を表示する表示面としては、表示装置６０の表示パネル６５に限定されず、例えば紙または合成樹脂製のシートからなるポスターを掲示する掲示板も、広告を表示する表示面に相当するし、壁面に直接広告が描かれている場合に、この壁面自体を広告の表示面として扱うことも可能である。すなわち、この壁面を視認可能な範囲をカメラ５０により撮影するとともに、この撮影画像に基づいて音声を聴かせる対象者を選択してから、対象者に向けて超指向性スピーカ４０により音声を出力することが可能である。

さらに、上記実施形における超指向性スピーカ４０及びカメラ５０の数についても任意であり、制御部２０が実行するプログラムは記憶部３０や記録媒体読取部１５によって読み取り可能な記録媒体に記録するほか、通信回線（図示略）を介してダウンロードすることも可能であり、その他、音声出力システム１を構成する細部構成等についても、任意に変更可能であることは勿論である。

音声出力システムの構成を示す機能ブロック図である。 超指向性スピーカ及びカメラの設置状態を示す斜視図である。 カメラの撮影範囲を示す平面図である。 音声選択用テーブルの構成例を模式的に示す図である。 対象者履歴情報の構成例を模式的に示す図である。 音声出力システムの動作を示すフローチャートである。 音声出力システムの動作を示すフローチャートである。

符号の説明

１…音声出力システム（音声出力装置）、１０…制御装置（音声出力制御装置）、１１…音声出力部、１２…台座駆動部、２０…制御部（対象者検出手段、注目時間検出手段）、２１…顔方向判定部（対象者検出手段）、２２…属性判別部、２３…音声出力制御部（音声出力制御手段）、２４…スピーカ台座制御部、３０…記憶部、３１…広告画像データ、３２…広告音声データ、３２…音声選択用テーブル、３３…音声選択用テーブル、３４…対象者履歴情報、４０…超指向性スピーカ、４１…スピーカ台座（音声方向調整機構）、５０…カメラ（撮影手段）、６０…表示装置、６５…表示パネル。

Claims (7)

1. 特定の方向に音声を出力する超指向性スピーカと、前記超指向性スピーカの音声出力方向を調整する音声方向調整機構と、に接続された音声出力制御装置であって、
   広告の表示面を視認可能な範囲を撮影する撮影手段と、
   前記撮影手段により撮影された撮影画像に写っている人物を対象者として検出する対象者検出手段と、
   前記音声方向調整機構によって、前記超指向性スピーカの音声出力方向を前記対象者検出手段により検出された対象者の方に向けさせて、前記超指向性スピーカから音声を出力させる音声出力制御手段と、
   前記音声出力制御手段の制御によって前記超指向性スピーカから音声を出力させた後に前記撮影手段により撮影された撮影画像に基づいて、前記対象者の顔の向きを判定する向き判定手段と、
   を備えることを特徴とする音声出力制御装置。
2. 前記向き判定手段によって前記対象者の顔が前記広告の表示面を向いていると判定されてから、前記対象者の顔が前記広告の表示面を向いていた時間を求める注目時間検出手段をさらに備えること、
   を特徴とする請求項１記載の音声出力制御装置。
3. 前記音声出力制御手段は、前記撮影手段により撮影された撮影画像に写っている人物のうち、その顔が前記広告の表示面を向いていない人物を対象者として検出すること、
   を特徴とする請求項１または２記載の音声出力制御装置。
4. 前記撮影手段は、前記広告の表示面として、広告画像を表示する表示装置の表示画面を視認可能な範囲を撮影するものであり、
   前記音声出力制御手段は、前記超指向性スピーカから、前記表示装置により表示中の広告画像に関連する音声を出力させること、
   を特徴とする請求項１から３のいずれかに記載の音声出力制御装置。
5. 特定の方向に音声を出力する超指向性スピーカと、
   前記超指向性スピーカの音声出力方向を調整する音声方向調整機構と、
   広告の表示面を視認可能な範囲を撮影する撮影手段と、
   前記撮影手段により撮影された撮影画像に写っている人物を対象者として検出する対象者検出手段と、
   前記音声方向調整機構によって、前記超指向性スピーカの音声出力方向を前記対象者検出手段により検出された対象者の方に向けさせて、前記超指向性スピーカから音声を出力させる音声出力制御手段と、
   前記音声出力制御の制御によって前記超指向性スピーカから音声を出力させた後に前記撮影手段により撮影された撮影画像に基づいて、前記対象者の顔の向きを判定する向き判定手段と、
   を備えることを特徴とする音声出力装置。
6. 特定の方向に音声を出力する超指向性スピーカと、前記超指向性スピーカの音声出力方向を調整する音声方向調整機構と、静止画像及び／又は動画像を撮影し撮影画像データを出力するカメラと、に接続された音声出力制御装置が、
   前記カメラを制御して広告の表示面の前方を撮影し、
   前記カメラから送出された撮影画像に写っている人物を対象者として検出し、
   前記音声方向調整機構によって、前記超指向性スピーカの音声出力方向を前記対象者の方に向くよう調整し、前記超指向性スピーカから音声を出力させ、
   前記超指向性スピーカから音声を出力させた後に前記広告の表示面の前方の撮影を行い、この撮影画像に基づいて、前記対象者の顔の向きを判定すること、
   を特徴とする音声出力制御方法。
7. 特定の方向に音声を出力する超指向性スピーカと、前記超指向性スピーカの音声出力方向を調整する音声方向調整機構と、広告の表示面を視認可能な範囲を撮影する撮影手段と、に接続された制御部が有するコンピュータにより実行されるプログラムであって、
   前記プログラムを実行することによって、前記制御部が、
   前記撮影手段を制御して撮影した撮影画像に写っている人物を対象者として検出する対象者検出と、
   前記音声方向調整機構を制御して、前記超指向性スピーカの音声出力方向を前記対象者検出手段により検出した対象者の方に向けさせて、前記超指向性スピーカから音声を出力させる音声出力制御と、
   前記超指向性スピーカから音声を出力させた後に前記撮影手段を制御して撮影した撮影画像に基づいて、前記対象者の顔の向きを判定する向き判定と、
   を実施することを特徴とするプログラム。

Images