JP5698574B2 - 音声・映像情報報知システム及びその制御方法 - Google Patents

Description

本発明は、例えば大型のモニタ装置を用い、広告等のコンテンツを音声情報や映像情報を用いて報知する音声・映像情報報知システム及びその制御方法に関する。

最近、大型で薄型のモニタ装置（以下、大型モニタ表示装置と称する）は、そのコストが安価になっている。これにより、当該大型モニタ表示装置を公共の場に設置し、この大型モニタ表示装置に例えば広告等のコンテンツを再生表示し、かかる大型モニタ表示装置の周辺域に存在する被報知対象の人物すなわち視聴者に広告等のコンテンツを報知するという新たな使用方法が多く見受けられるようになっている。

このような広告等のコンテンツの報知では、大型モニタ表示装置の周辺域に視聴者が不在の状況で広告等のコンテンツを再生表示しても広告等のコンテンツの報知の点で効果的でない。又、常に広告等のコンテンツを再生表示しては、視聴者に与えるインパクトが小さく、かつ常に電力を消費して省エネルギーの観点からも望ましくない。

かかる広告等のコンテンツの報知の技術としては、例えば特許文献１がある。この特許文献１は、大型モニタ表示装置の表示画面の前方の周辺状況を撮像し、大型モニタ表示装置の表示画面の前方に存在する視聴者の人数が予め設定された第１の所定値を超えれば、第１のコンテンツ情報として少なくとも発声部から大型モニタ表示装置の表示画面に対して注視を促す少なくとも音声情報を発生させ、この後、大型モニタ表示装置の表示画面を見ている視聴者の正面顔の人数が予め設定された第２の所定値を超えれば、第２のコンテンツ情報として少なくとも大型モニタ表示装置の表示画面に主情報の映像データを映し出すものである。
特開２０１０−００４３５５号公報

しかしながら、大型モニタ表示装置に映し出された映像データの内容が視聴者にとって興味深い内容でない場合、視聴者はすぐに視線をそらしてしまうことが考えられる。特許文献１には、視聴者が望む映像を選択的に映し出すような機能は有していない。

本発明の目的は、視聴者に対して効果的に広告等の情報を提供できる音声・映像情報報知システム及びその制御方法を提供することにある。

本発明の主要な局面に係る音声・映像情報報知システムは、音声データを再生する音声出力装置と映像コンテンツを表示する表示装置とを有しており、上記表示装置の前方の周辺域を撮像する撮像手段と、上記撮像手段の撮像により取得された画像データに基づいて、上記表示装置の前方周辺に人物が存在しているか否かを判定する人物検知手段と、上記撮像手段の撮像により取得された画像データに基づいて、上記人物の顔が上記表示装置の方向に向いているか否かを判定する顔部検知手段と、上記撮像手段の撮像により取得された画像データに基づいて、上記人物の視線方向を検知する視線検知手段と、上記音声出力装置にて再生する複数の音声データを記憶する音声データ記憶手段と、上記表示装置にて表示する複数の映像コンテンツを記憶する映像コンテンツ記憶手段と、上記人物検知手段、上記顔部検知手段、及び、上記視線検知手段の出力に応じて、上記映像コンテンツ記憶手段に記憶された複数の映像コンテンツの１つを選択的に読み出して上記表示装置にて表示させるとともに、上記出力に応じて上記音声データ記憶部に記憶された複数の音声データの１つを選択的に読み出して上記音声出力装置にて再生させる制御手段を具備し、上記制御手段は、上記人物検知手段によって上記表示装置の前方周辺に人物が存在していることが検知されたら第１の映像コンテンツを表示させつつ、第１の音声データを再生し、上記顔部検知手段によって上記人物の顔が上記表示装置の方向に向いていることが検知されたら第２の映像コンテンツを表示させつつ、第２の音声データを再生し、上記視線検知手段によって上記人物の視線方向が検知されたらその視線方向に応じて第３の映像コンテンツを表示させつつ、第３の音声データを再生させる。

本発明の主要な局面に係る音声・映像情報報知システムの制御方法は、音声データを再生する音声出力装置と映像コンテンツを表示する表示装置とを有する音声・映像情報報知システムの制御方法であって、上記表示装置の前方周辺に人物が存在していることを検知したら第１の映像コンテンツを表示させつつ、第１の音声データを再生するステップと、上記人物の顔が上記表示装置の方向に向いていることが検知されたら第２の映像コンテンツを表示させつつ、第２の音声データを再生するステップと、上記人物の視線方向が検知されたらその視線方向に応じて第３の映像コンテンツを表示させつつ、第３の音声データを再生するステップを具備する。

本発明によれば、視聴者に対して効果的に広告等の情報を提供できる音声・映像情報報知システム及びその制御方法を提供できる。

以下、本発明の一実施の形態について図面を参照して説明する。

図１は音声・映像情報報知システムの構成図を示す。レンズ系１と撮像部２とは、撮像装置３を構成する。また、映像表示部４は映像コンテンツを表示する表示装置、発音部１５は音声データを発する音声出力装置（スピーカ）である。

撮像装置３は、例えば 図２に示すように映像表示部４の周辺部、例えば上部に設けられている。この撮像装置３は、映像表示部４の表示画面４ａを注視している被報知対象、すなわち人物５の顔面に対向するように撮像視野の方向を向けて設置される。すなわち、撮像装置３は、例えば映像表示部４の表示画面４ａの前方において当該表示画面４ａを注視している人物５の顔面を撮像することを可能とする方向に撮像視野が向けられている。なお、撮像部２は、レンズ系１によって結像された映像表示部４の前方の周辺状況の光像を光電変換して画像信号を出力する。この撮像部２は、例えばＣＣＤ又はＣＭＯＳにより形成される。この撮像装置３は、映像表示部４の前方の周辺状況を動画として撮像するものであるが、所定間隔毎に単写により撮像するものであってもよい。

画像処理部６は、撮像装置３から出力される画像信号を入力し、この画像信号をデジタル変換し、かつ各種画像処理を施して画像データを取得する。

ここで、上記撮像装置３と画像処理装置６は撮像手段を構成するものである。

人物検知手段としての人物検知部７は、画像処理部６により取得された画像データを受け取り、この画像データを解析して当該画像データ中に含まれる人物５を認識する。この人物検知部７には人物５を認識するための複数の基準体型データが予め記憶されており、その基準体型データに類似の部位が取得した画像内に含まれているかを判定する。これら基準体型データは、例えば人物５の頭部、上半身の形状、全身である。さらにそのバリエーションとして、子供や大人、男性や女性等、複数有する。画像データの中に人物が認識された場合には、画像内に人物が存在することを示す信号を出力する。

顔部検知手段としての顔部検知部８は、画像処理部６により取得された画像データを受け取り、この画像データを解析して当該画像データ中に含まれる人物５の顔部を認識する。この顔部検知部８には、人物５の正面顔を認識するための複数の基準正面顔データが予め記憶されており、その基準正面顔データに類似の部位が取得した画像内に含まれているかを判定する。これら基準正面顔データは、例えば人物５の目、鼻、口の形状、大きさ、位置等に応じて複数有する。画像データの中に存在する人物の顔部が認識された場合、それは人物が映像表示部４の方向を見ていると考えられるので、その場合には画像内の人物が表示画面４ａを見ていることを示す信号を出力する。

視線検知手段としての視線検知部９は、画像処理部６により取得された画像データを受け取り、この画像データを解析して当該画像データ中に含まれる人物５の視線方向を認識する。視線方向の検出手法としては、画像認識による方法を用いる。すなわち、取得した顔画像から三次元顔画像モデルを作成し、三次元顔データベースとマッチングを取ることにより顔の方向を求め、さらに顔画像の内眼球部分に当たる領域において、黒目と白目の位置関係から眼球の方向を求める。この顔の方向と眼球の方向から視線の方向を得るものである。視線方向が認識できれば、画像データの中に存在する人物が表示画面４ａのどの部分を注視しているかがわかるので、視線検知部９はその検知結果に基づいて表示画面４ａの特定部分（つまり、人物５が注視している部分）を示す信号を出力する。

人物検知部７、顔部検知部８、視線検知部９の判定結果は、それぞれ制御手段としての制御部１０に供給される。この制御部１０は、人物検知部７、顔部検知部８、視線検知部９の検知結果に基づき、告知すべき内容を決定して告知部１２に制御信号を出力する。制御部１０には、図３に示す音声・映像情報報知フローチャートに従った音声・映像情報報知プログラムが予め格納されており、この音声・映像情報報知プログラムにより告知部１２を通して音声出力装置（スピーカ）としての発音部１５、及び、表示装置としての映像表示部４の動作を制御するものである。

告知手段としての告知部１２は、制御部１０からの制御信号に基づいて映像コンテンツ記憶部１３に記憶されている映像コンテンツ、もしくは、音声データ記憶部１４に記憶されている音声データを読み出し、映像表示部４、発音部１５にそれぞれ出力する。

音声データ記憶手段としての音声データ記憶部１４には、第１の音声データとして映像表示部４の周辺域に存在する人物５に対して表示画面４ａに対して注視を促すための音声が記憶されている。この音声は、例えば「いらっしゃいませ。」であり、各種の音声内容に変更可能である。

また、音声データ記憶部１４には、第２の音声データとして映像表示部４の表示画面４ａを見ている人物５に対して報知する音声が記憶されている。この音声は、例えば「弊社の新製品をご覧ください。」であり、各種の音声内容に変更可能である。

さらに、音声データ記憶部１４には、第３の音声データとして映像表示部４の表示画面４ａの一部分を注視している人物５に対し、その注視方向に対応して報知する音声が記憶されている。この音声は、例えば「こちらが新製品の××××です。」という広告音声であり、同様の音声内容に変更可能である。

映像コンテンツ記憶手段としての映像コンテンツ記憶部１３には、上記第1の音声データと共に映像表示部４の表示画面４ａに表示する第１の映像コンテンツ情報が記憶されている。この映像は、例えば「いらっしゃいませ。」を発生するガイドの女性が映し出される内容を有する。この映像データは、各種の映像内容に変更可能である。

また、映像コンテンツ記憶部１３には、上記第２の音声データと共に映像表示部４の表示画面４ａに表示する第２の映像コンテンツ情報が記憶されている。この映像は、例えば「弊社の新製品をご覧ください。」に対応する製品ラインナップ画像等であり、第１の広告情報である。

さらに、映像コンテンツ記憶部１３には、上記第３の音声データと共に映像表示部４の表示画面４ａに表示する第３の映像コンテンツ情報が記憶されている。この映像は、例えば「こちらが新製品の××××です。」に対応する個別の製品広告であり、第２の広告情報である。

次に、上記の如く構成されたシステムによる音声・映像情報の報知動作について 図３に示す音声・映像情報報知フローチャートに従って説明する。

制御部１０は、ステップＳ１において、撮像装置３に対して映像表示部４の前方の動画像の取得を開始させる。撮像装置３にて取得された画像信号は、画像処理部６に随時送られる。このとき、画像処理部６はこの画像信号をデジタル変換し、かつ各種画像処理を施した後に人物検知部７、顔部検知部８、視線検知部９に対して出力する。

次に、ステップＳ２において、撮像部３の撮像範囲内に人物５が存在しているか否かを人物検知部７からの出力結果に基づいて判断する。図４に示すように人物５が撮像部３の撮像範囲内に存在しない場合は、人物５が撮像範囲１６内に侵入するまで動画像の取得のみが繰り返させる。

図５ａに示すように人物５が撮像範囲１６内に進入し、人物検知部７によって人物５が撮像範囲１６内に存在していることが検知されると、ステップＳ３に進んで第1の映像コンテンツ情報を表示画面４ａにて再生させ、さらにステップＳ４にて発音部１５から第1の音声データを発声させる。その様子を図６ａにて模式的に示す。

映像表示部４の前方周辺に位置する人物５は、発音部１５にて再生された音声（第1の音声データ）が聞こえるとその声がする方向、つまり映像表示部４の方向に顔を向ける確率が高い。したがって、第１の音声データの再生と、第１の映像コンテンツを表示した後は、ステップＳ５にて人物５が映像表示部４の方向に顔を向けるのを待つ。

図５ｂに示すように人物５が映像表示部４を見たことが顔部検知部８にて検知されると、それを受けてステップＳ６に進んで第２の映像コンテンツ情報を表示画面４ａにて再生させ、さらにステップＳ７にて発音部１５から第２の音声データを発声させる。その様子を図６ｂにて模式的に示す。

ここで、第２の映像コンテンツは、例えば商品ラインナップを示す画像であり、複数のアイテム（個別の商品）が並べて表示されている。また、第２の音声データは、それら複数のアイテムをまとめて紹介するためのものである。人物５にとって、この複数のアイテムの中に自分の興味を引くアイテムがあれば、表示画面４ａ内のそのアイテムが存在する部分を注視することが予想される。したがって、人物５の視線方向を検知し、現在何を見ているかが検知できれば、人物５が興味を持っているアイテムを特定できる。

ステップ８においては、視線検知部９から人物５の視線方向を表す信号が出力されるのを待ち、視線方向が検知されればステップＳ９にてその視線方向に存在するアイテムに関する詳細情報を説明するための第３の映像コンテンツを表示画面４ａにて再生させ、さらにステップＳ１０にて発音部１５からそのアイテムを説明するための第３の音声データを発声させる。その様子を図６ｂにて模式的に示す。

以上のように、本発明の音声・映像情報報知システムにおいては、人物が表示装置の前方周辺に存在することを検知してから音声や映像の再生を始めるようにしているので、誰もいない場所で無駄な報知が行なわれることが無く、電力消費の無駄をはぶくことが可能である。

また、本発明の音声・映像情報報知システムにおいては、表示装置の前方周辺に位置する人物が検知されたら最初にその人物に対して表示装置の方向に顔を向けるように注意を促す音声および映像を報知し、その後に広告情報を報知するようにしているので、確実に視聴者である人物に広告情報を伝えることが出来る。

さらに、表示画面に複数のアイテムを表示した状態で視聴者である人物の視線方向を検知し、その人物が表示画面の何処を注視しているかによって次の広告情報を選択するようにしたので、その人物にとって興味のある情報を的確に提供できる。

上記の実施の形態に示した音声データや映像コンテンツは、本発明を説明するための例示に過ぎない。本発明の主要部分は、はじめに視聴者の注意を促す情報を提供することで表示装置に視聴者の興味を引き、次に複数のアイテムに関する情報を提供しながらその視聴者にとって感心の高いアイテムを探り、視聴者の関心の高いアイテムが判明したらそれに関する詳細情報を提供するという一連のステップ及びそれを実現するシステムであることはいうまでもない。

本発明に係る音声・映像情報報知システムの一実施の形態を示す構成図。 同システムにおける表示装置、撮像装置及び発音装置等を示す図。 同システムにおける音声・映像情報報知フローチャート。 同システムにおける撮像装置の撮像範囲外に１人の人物が存在する場合を示す図。 同システムにおける撮像装置の撮像範囲内に人物が進入した様子を示す模式図。 同システムにおける撮像装置の撮像範囲内において人物が正面を見た様子を示す模式図。 同装置における表示装置に表示される第１の映像コンテンツと、音声出力装置から発せられる第１の音声データを示す模式図。 同装置における表示装置に表示される第２の映像コンテンツと、音声出力装置から発せられる第２の音声データを示す模式図。 同装置における表示装置に表示される第３の映像コンテンツと、音声出力装置から発せられる第３の音声データを示す模式図。

１：レンズ系、２：撮像部、３：撮像装置、４：映像表示部４ａ：表示画面、５：人物（表示の視聴者）、６：画像処理部、７：人物検知部、８：顔部検知部、９：視線検知部、１０：制御部、１２：告知部、１３：映像コンテンツ記憶部、１４：音声データ記憶部、１５：発音部。

Claims (2)

1. 音声データを再生する音声出力装置と映像コンテンツを表示する表示装置とを有する音声・映像情報報知システムにおいて、
   上記表示装置の前方の周辺域を撮像する撮像手段と、
   上記撮像手段の撮像により取得された画像データに基づいて、上記表示装置の前方周辺に人物が存在しているか否かを判定する人物検知手段と、
   上記撮像手段の撮像により取得された画像データに基づいて、上記人物の顔が上記表示装置の方向に向いているか否かを判定する顔部検知手段と、
   上記撮像手段の撮像により取得された画像データに基づいて、上記人物の視線方向を検知する視線検知手段と、
   上記音声出力装置にて再生する複数の音声データを記憶する音声データ記憶手段と、
   上記表示装置にて表示する複数の映像コンテンツを記憶する映像コンテンツ記憶手段と、
   上記人物検知手段、上記顔部検知手段、及び、上記視線検知手段の出力に応じて、上記映像コンテンツ記憶手段に記憶された複数の映像コンテンツの１つを選択的に読み出して上記表示装置にて表示させるとともに、上記出力に応じて上記音声データ記憶部に記憶された複数の音声データの１つを選択的に読み出して上記音声出力装置にて再生させる制御手段と、
   を具備し、
   上記制御手段は、上記人物検知手段によって上記表示装置の前方周辺に人物が存在していることが検知されたら第１の映像コンテンツを表示させつつ、第１の音声データを再生し、上記顔部検知手段によって上記人物の顔が上記表示装置の方向に向いていることが検知されたら第２の映像コンテンツを表示させつつ、第２の音声データを再生し、上記視線検知手段によって上記人物の視線方向が検知されたらその視線方向に応じて第３の映像コンテンツを表示させつつ、第３の音声データを再生させることを特徴とする音声・映像情報報知システム。
2. 音声データを再生する音声出力装置と映像コンテンツを表示する表示装置とを有する音声・映像情報報知システムの制御方法において、
   上記表示装置の前方周辺に人物が存在していることを検知したら第１の映像コンテンツを表示させつつ、第１の音声データを再生するステップと、
   上記人物の顔が上記表示装置の方向に向いていることが検知されたら第２の映像コンテンツを表示させつつ、第２の音声データを再生するステップと、
   上記人物の視線方向が検知されたらその視線方向に応じて第３の映像コンテンツを表示させつつ、第３の音声データを再生するステップと、
   を具備することを特徴とする音声・映像情報報知システムの制御方法。

Images