JP5633155B2 - 映像情報提示装置 - Google Patents

Description

本発明は、通行人に対して映像情報を提示する映像情報提示装置に関し、特に、不特定多数の者が往来する街頭や公共施設などに設置して、広告その他の情報をディスプレイ画面上で提示する装置に関する。

不特定多数の者が往来する街頭や、駅、空港、ホテル、ショッピングモール、映画館などの公共施設において、通行人に対して広告その他の情報をディスプレイ画面上で提示する映像情報提示装置は古くから利用されている。近年は、デジタル映像を作成し、これを配信する技術が向上したため、コンピュータを利用した様々なデジタル技術を活用して情報提示を行うデジタルサイネージと呼ばれる広告媒体も普及している。

たとえば、下記の特許文献１には、ディスプレイ画面上に表示する映像の視野角を制御することにより、観察位置に応じて異なる映像を提示する技術が開示されている。また、特許文献２には、テレビ放送を街頭で提示する際に、時間帯ごとに放送局を切り替え、当該切替時に広告を挿入することにより、広告への誘因頻度を高める技術が開示されている。更に、特許文献３には、利用者自身が入力した文字情報を、街頭に設置したディスプレイ画面上に表示させることにより、注目度を高める技術が開示されており、特許文献４には、ディスプレイ画面上に提示した質問に対する回答を利用者の端末装置経由で収集し、回答の集計結果に基づく広告をディスプレイ画面上に表示することにより、利用者の需要に適合した広告を提示する技術が開示されている。

特開平６−２３０７３５号公報 特開２００２−２５１５６６号公報 特開２００３−１５５６７号公報 特開２００３−２２３４６号公報

不特定多数の者が往来する街頭や公共施設などに映像情報提示装置を設置する目的は、当然ながら、広告その他の提示対象情報を通行人に伝達することにある。街頭に設置された大型ディスプレイ装置を用いた広告提示や、通信技術やＣＧ技術を利用したデジタルサイネージは、当初は物珍しさから注目度も高かったが、最近は様々な場所で頻繁に見かけるようになってきており、今後は陳腐化の一途を辿ることは避けられない。このため、前掲の各特許文献に開示されているような技術を導入することにより、通行人の注目度を高める工夫がなされているが、通行人の注意を引きつける効果がそれほど向上していないのが現状である。特に、商業的な広告情報の提示を行う場合、投資に見合う十分な費用対効果が得られないことは大きな問題になる。

そこで本発明は、通行人の注目度をより向上させることが可能な映像情報提示装置を提供することを目的とする。

(1) 本発明の第１の態様は、通行人に対して映像情報を提示する映像情報提示装置において、
通行人の移動経路もしくは立寄場所に設置されたディスプレイ装置と、
ディスプレイ装置の表示画面を観察中の通行人を撮影するのに適した位置に設置された撮影装置と、
通行人に提示するための提示対象映像を提供する提示対象映像提供手段と、
撮影装置によって撮影されたリアルタイム映像と、提示対象映像提供手段によって提供される提示対象映像と、のいずれか一方を選択してディスプレイ装置に与え、画面上に提示される映像を切り替える処理を行う映像切替手段と、
を設け、
提示対象映像提供手段が、撮影装置の撮影視野に写る背景画像を示す背景データを含む材料データを格納した材料データ格納部と、材料データ格納部に格納されている背景データを材料として用いて提示対象映像を作成し、これを出力する映像作成部と、を有するようにしたものである。

(2) 本発明の第２の態様は、上述の第１の態様に係る映像情報提示装置において、
材料データ格納部が、撮影装置の撮影視野に写る背景画像を初期画像として、時々刻々と変化する背景を示す背景動画データを格納しており、映像作成部が背景動画データを用いて提示対象映像を作成するようにしたものである。

(3) 本発明の第３の態様は、上述の第２の態様に係る映像情報提示装置において、
映像作成部が、材料データ格納部に格納されている材料データと、撮影装置によって撮影されたリアルタイム映像と、の双方を用いて提示対象映像を作成するようにしたものである。

(4) 本発明の第４の態様は、上述の第３の態様に係る映像情報提示装置において、
映像作成部が、リアルタイム映像から通行人の部分を認識して切り出し、その一部もしくは全部を背景動画データに合成する処理を行うことにより、提示対象映像を作成するようにしたものである。

(5) 本発明の第５の態様は、上述の第３の態様に係る映像情報提示装置において、
映像作成部が、リアルタイム映像から通行人の部分を認識し、その大きさ、形状、姿勢もしくは色彩に関する特徴を抽出し、抽出した特徴に関連した特徴をもった提示対象物が含まれる提示対象映像を作成するようにしたものである。

(6) 本発明の第６の態様は、通行人に対して映像情報を提示する映像情報提示装置において、
通行人の移動経路もしくは立寄場所に設置されたディスプレイ装置と、
ディスプレイ装置の表示画面を観察中の通行人を撮影するのに適した位置に設置された撮影装置と、
通行人に提示するための提示対象映像を提供する提示対象映像提供手段と、
撮影装置によって撮影されたリアルタイム映像と、提示対象映像提供手段によって提供される提示対象映像と、のいずれか一方を選択してディスプレイ装置に与え、画面上に提示される映像を切り替える処理を行う映像切替手段と、
を設け、
提示対象映像提供手段が、通行人がいない状態で撮影することにより予め作成された撮影装置の撮影視野に写る背景画像を背景とする提示対象映像を格納する映像格納部と、映像格納部に格納されている提示対象映像を出力する映像出力部と、を有するようにしたものである。

(7) 本発明の第７の態様は、上述の第６の態様に係る映像情報提示装置において、
映像格納部が、撮影装置の撮影視野に写る背景画像を含む画像を初期画像として、少なくとも背景画像が時々刻々と変化する動画からなる提示対象映像を格納しているようにしたものである。

(8) 本発明の第８の態様は、通行人に対して映像情報を提示する映像情報提示装置において、
通行人の移動経路もしくは立寄場所に設置されたディスプレイ装置と、
ディスプレイ装置の表示画面を観察中の通行人を撮影するのに適した位置に設置された撮影装置と、
通行人に提示するための提示対象映像を提供する提示対象映像提供手段と、
撮影装置によって撮影されたリアルタイム映像と、提示対象映像提供手段によって提供される提示対象映像と、のいずれか一方を選択してディスプレイ装置に与え、画面上に提示される映像を切り替える処理を行う映像切替手段と、
を設け、
提示対象映像提供手段が、提示対象映像を作成するための材料となる材料データを格納した材料データ格納部と、材料データ格納部に格納されている材料データを用いて提示対象映像を作成し、これを出力する映像作成部と、を有し、
映像作成部が、撮影装置によって撮影されたリアルタイム映像から通行人の部分を認識して切り出し、その一部もしくは全部を材料データ格納部に格納されている材料データと合成する処理を行うことにより、提示対象映像を作成するようにしたものである。

(9) 本発明の第９の態様は、通行人に対して映像情報を提示する映像情報提示装置において、
通行人の移動経路もしくは立寄場所に設置されたディスプレイ装置と、
ディスプレイ装置の表示画面を観察中の通行人を撮影するのに適した位置に設置された撮影装置と、
通行人に提示するための提示対象映像を提供する提示対象映像提供手段と、
撮影装置によって撮影されたリアルタイム映像と、提示対象映像提供手段によって提供される提示対象映像と、のいずれか一方を選択してディスプレイ装置に与え、画面上に提示される映像を切り替える処理を行う映像切替手段と、
を設け、
提示対象映像提供手段が、提示対象映像を作成するための材料となる材料データを格納した材料データ格納部と、材料データ格納部に格納されている材料データを用いて提示対象映像を作成し、これを出力する映像作成部と、を有し、
映像作成部が、材料データ格納部に格納されている材料データと、撮影装置によって撮影されたリアルタイム映像と、の双方を用いて提示対象映像を作成し、かつ、リアルタイム映像から通行人の部分を認識し、その大きさ、形状、姿勢もしくは色彩に関する特徴を抽出し、抽出した大きさ、形状、姿勢もしくは色彩に関する特徴をもった提示対象物が含まれる提示対象映像を作成するようにしたものである。

(10) 本発明の第１０の態様は、上述の第１〜第９の態様に係る映像情報提示装置における提示対象映像提供手段および映像切替手段を、コンピュータに専用のプログラムを組み込むことにより構成したものである。

本発明に係る映像情報提示装置では、通行人自身の映像がリアルタイム映像として撮影され、ディスプレイ装置の画面上には、当該リアルタイム映像と本来の提示対象映像（たとえば、広告映像）とが切り替えられて表示される。このため、ディスプレイ画面上に自分自身が登場している映像を認識した通行人は、必然的に当該映像に注意を向けることになる。やがて、映像は本来の提示対象映像に切り替えられるので、通行人の注意が向いた状態で提示対象映像の提示が行われることになり、通行人の注目度をより向上させることができる。

リアルタイム映像と本来の提示対象映像との切り替えは、予め決められた設定時間ごとに行うこともできるが、ディスプレイ装置の近傍に通行人がいるか否かを検出する検出手段を設け、この検出手段の検出結果に基づいて切り替えを行うようにすると、より効果的なタイミングで提示対象映像を提示することが可能になる。

また、提示対象映像としては、予め用意しておいた既存の提示対象映像を用いてもよいが、予め用意しておいた材料データを素材とするＣＧの技術により、その都度、提示対象映像を作成するようにしてもよい。後者の場合、リアルタイム映像として撮影した通行人自身の映像を組み込んだ提示対象映像を作成することも可能になるので、提示対象映像それ自身に対する注目度を向上させることができる。

一方、提示対象映像の背景として、撮影装置の撮影視野に写る背景画像を用いるようにすれば、リアルタイム映像の背景と提示対象映像の背景とが同じになるため、映像の切り替えが行われても、通行人は、切替前後において背景映像が連続した一体感をもつ映像を認識することができ、臨場感をもって提示対象映像を体験することができるようになる。この場合、リアルタイム映像として撮影した通行人自身の映像を組み込んだ提示対象映像を作成すれば、臨場感を更に高めることができる。

更に、リアルタイム映像から通行人の大きさ、形状、姿勢もしくは色彩に関する特徴を抽出し、抽出した特徴と関連した特徴をもった提示対象物が含まれる提示対象映像を作成すれば、リアルタイム映像として撮影された現実世界と、提示対象映像として提示される仮想世界とが、当該特徴を介して関連性をもつことになるので、通行人の関心を更に高めることができる。

本発明の第１の実施形態に係る映像情報提示装置の基本構成を示すブロック図である。 図１に示す映像情報提示装置の撮影装置１００とディスプレイ装置２００との具体的な位置関係を示す正面図である。 図２に示す撮影装置１００およびディスプレイ装置２００の具体的な設置状態を示す上面図である。 図１に示す映像情報提示装置の撮影装置１００によって撮影されたリアルタイム映像Ｖ１の一例を示す平面図である。 図１に示す映像情報提示装置の提示対象映像提供手段４００によって提供される提示対象映像Ｖ２の一例を示す平面図である。 図１に示す映像情報提示装置の映像切替手段３００の切替動作の例を示すタイミングチャートである。 本発明の第２の実施形態に係る映像情報提示装置の基本構成を示すブロック図である。 図７に示す映像情報提示装置の通行人検出手段５００の具体的な構成例を示す正面図である。 図７に示す映像情報提示装置の通行人検出手段５００の具体的な構成例を示す上面図である。 図７に示す映像情報提示装置における映像切替手段３００Ａの切替動作の一例を示すタイミングチャートである。 本発明の第３の実施形態に係る映像情報提示装置の基本構成を示すブロック図である。 図１１に示す映像情報提示装置の動体認識部５４０によって認識された通行人画像領域（ハッチング部分）を示す平面図である。 本発明の第４の実施形態に係る映像情報提示装置の基本構成を示すブロック図である。 本発明の第５の実施形態に係る映像情報提示装置の基本構成を示すブロック図である。 図１４に示す映像情報提示装置の提示対象映像提供手段４００Ａによって提供される提示対象映像Ｖ２の一例を示す平面図である。 図１５に示す提示対象映像Ｖ２を作成するための材料データＭ１，Ｍ２を示す平面図である。 図１４に示す映像情報提示装置の通行人検出手段５００Ａによって得られた通行人画像領域（ハッチング部分）を示す平面図である。 図１７に示す通行人画像領域（ハッチング部分）に基づいて認識した通行人の姿勢に関する特徴に関連した特徴をもった提示対象物（ボトル）が含まれる提示対象映像Ｖ２の一例を示す平面図である。 通行人の色彩に関する特徴と提示対象物（ボトル）の色彩に関する特徴との関連性の一例を示す平面図である。 本発明の第６の実施形態に係る映像情報提示装置で利用される背景画像Ｂｋの一例を示す平面図である。 図２０に示す背景画像Ｂｋを利用して作成された提示対象映像Ｖ２の一例を示す平面図である。 図２０に示す背景画像Ｂｋを利用して作成された提示対象映像Ｖ２の別な一例を示す平面図である。 図２０に示す背景画像Ｂｋを利用して作成された提示対象映像Ｖ２の更に別な一例を示す平面図である。

以下、本発明を図示する実施形態に基づいて説明する。

＜＜＜ §１．第１の実施形態（基本的実施形態） ＞＞＞
図１は、本発明の第１の実施形態に係る映像情報提示装置の基本構成を示すブロック図である。図示のとおり、この装置は、撮影装置１００、ディスプレイ装置２００，映像切替手段３００、提示対象映像提供手段４００によって構成され、通行人に対して映像情報を提示する機能を果たす。

ディスプレイ装置２００は、通行人の移動経路もしくは立寄場所に設置され、撮影装置１００は、このディスプレイ装置２００の表示画面を観察中の通行人を撮影するのに適した位置に設置される。図２は、この映像情報提示装置の撮影装置１００とディスプレイ装置２００との具体的な位置関係を示す正面図である。ディスプレイ装置２００は、不特定多数の者が往来する街頭や、駅、空港、ホテル、ショッピングモール、映画館など、様々な場所に設置することが可能である。図には、このディスプレイ装置２００の正面を通行しながら、その表示画面を観察している通行人Ｐが描かれている。撮影装置１００は、このように、ディスプレイ装置２００の表示画面を観察中の通行人Ｐを撮影するのに適した位置に設置される。図示の例の場合、ディスプレイ装置２００の上部中央に撮影装置１００が取り付けられている。

撮影装置１００は、通行人を撮影してその映像信号を生成する機能をもった装置であれば、どのような装置を用いてもかまわない。一般的には、動画を撮影して映像データを生成する機能をもったデジタルビデオカメラを用いるのが好ましいが、静止画の撮影機能しかもたないデジタルカメラや、アナログ式のビデオカメラでもかまわない。一方、ディスプレイ装置２００は、この撮影装置１００によって生成された映像信号等に基づいて画面上に映像を提示する機能をもった装置であれば、どのような装置を用いてもかまわない。図には、比較的大型の平面型ディスプレイを用いた例が示されているが、提示対象となる映像の内容、提示目的、設置場所などに応じて、任意のサイズの任意の方式のディスプレイ装置を用いることができる。

図３は、図２に示す撮影装置１００およびディスプレイ装置２００の具体的な設置状態を示す上面図である。ここでは、説明の便宜上、撮影装置１００およびディスプレイ装置２００が、ホテル内の通路に設置されている例を示すことにする。図示のとおり、この通路は、壁１０，２０によって仕切られており、通行人Ｐは通路の床３０上を歩行することになる。壁１０には、壁掛け式のディスプレイ装置２００が取り付けられており、その上部中央には撮影装置１００が取り付けられている。図の一点鎖線は、この撮影装置１００の撮影視野を示しており、壁２０を背景として通行人Ｐが撮影視野内に入っている。

図４は、図３に示す撮影視野内の映像を示す平面図である。ここでは、説明の便宜上、壁２０には、額絵４１，４２および照明器具４３が取り付けられており、壁２０の近傍には、飾り壺５０が置かれているものとする。撮影視野内の映像には、これらの物品を含め、壁２０および床３０を背景として、通行人Ｐが写っている。当該映像は、撮影装置１００によってリアルタイムで撮影された映像であるため、以下、「リアルタイム映像Ｖ１」と呼ぶことにする。ここに示す実施形態の場合、撮影装置１００としてデジタルビデオカメラを用いており、リアルタイム映像Ｖ１は、このデジタルビデオカメラによって撮影された現時点の映像ということになる。

一方、図５は、通行人に提示すべき本来の映像の一例を示す平面図である。ここでは、「Patent Drink」なる商品の広告映像の例が示されている。以下、このように、通行人に対して提示すべき本来の映像を「提示対象映像Ｖ２」と呼ぶことにする。ここでは、提示対象映像Ｖ２が、動画によって構成されている例を示すが、提示対象映像Ｖ２は静止画であってもかまわない。また、提示対象映像Ｖ２は、必ずしも広告映像である必要はなく、通行人に対して伝達したい何らかの情報を表示するための映像であればよい。

さて、図１の構成において、撮影装置１００により図４に示すようなリアルタイム映像Ｖ１が生成される点は既に述べたとおりである。一方、提示対象映像提供手段４００は、予め作成された提示対象映像Ｖ２を格納する映像格納部４１０と、この映像格納部４１０に格納されている提示対象映像Ｖ２を出力する映像出力部４２０と、を有しており、通行人Ｐに提示するための提示対象映像Ｖ２を提供する機能を果たす。具体的には、映像格納部４１０には、図５に示すような提示対象映像Ｖ２を表示するための映像データが格納されており、映像出力部４２０は、この映像データに含まれている静止画データを時系列で順次出力する処理を行う。

もちろん、映像格納部４１０内に複数通りの映像データを格納しておき、映像出力部４２０によって、いずれかの映像データを選択して出力させるようにしてもかまわない。あるいは、映像出力部４２０によって、複数の映像データを同時に選択して、マルチウインドウ形式の合成映像を生成して出力するようにしてもよい。また、映像格納部４１０内に用意されている映像が静止画である場合は、映像出力部４２０は、この静止画を継続的に出力すればよい。

映像切替手段３００は、撮影装置１００によって撮影されたリアルタイム映像Ｖ１と、提示対象映像提供手段４００によって提供される提示対象映像Ｖ２と、のいずれか一方を選択してディスプレイ装置２００に与え、画面上に提示される映像を切り替える処理を行う。すなわち、ディスプレイ装置２００の画面上には、図４に示すリアルタイム映像Ｖ１と図５に示す提示対象映像Ｖ２とが切替表示されることになる。

図６は、この映像切替手段３００の切替動作の例を示すために、横方向に時間軸ｔをとったタイミングチャートである。

図６(a) は、映像切替手段３００が、予め決められた所定の設定時間が経過するたびに、リアルタイム映像Ｖ１と提示対象映像Ｖ２とを交互に切り替える処理を行う例を示す。この例の場合、時間軸上の期間Ｔ１〜Ｔ５は、いずれも１５秒に設定されており、図示のとおり、１５秒おきにリアルタイム映像Ｖ１と提示対象映像Ｖ２とが交互に切り替えられる。この場合、提示対象映像Ｖ２として、１５秒間の動画映像を用意しておき、映像切替手段３００によって提示対象映像Ｖ２への切り替えが行われた時点から、映像出力部４２０が提示対象映像Ｖ２の出力を開始するようにすればよい。そうすれば、各期間Ｔ２，Ｔ４の先頭から、提示対象映像Ｖ２の上映が開始することになる。もちろん、映像出力部４２０の選択機能により、期間Ｔ２と期間Ｔ４とで、異なる提示対象映像Ｖ２が選択されるようにしてもよい。

一方、図６(b) は、映像切替手段３００が、リアルタイム映像Ｖ１への切替時から予め決められた所定の設定時間が経過した時点で提示対象映像Ｖ２への切り替えを行い、提示対象映像Ｖ２の上映が終了した時点でリアルタイム映像Ｖ１への切り替えを行うことにより、リアルタイム映像Ｖ１と提示対象映像Ｖ２とを交互に切り替える処理を行う例を示す。この場合、映像出力部４２０は、映像切替手段３００によって提示対象映像Ｖ２への切り替えが行われた時点から提示対象映像Ｖ２の上映を開始すればよい。

具体的には、図示の例は、映像格納部４１０内に３種類の提示対象映像Ｖ２Ａ，Ｖ２Ｂ，Ｖ２Ｃが用意されており、映像出力部４２０が、これらを順番に、Ｖ２Ａ→Ｖ２Ｂ→Ｖ２Ｃ→Ｖ２Ａ→Ｖ２Ｂ→Ｖ２Ｃ→...と選択して出力する処理を行う例である。映像切替手段３００は、図示のとおり、時間軸上の期間Ｔ１〜Ｔ６がそれぞれ経過するたびに、リアルタイム映像Ｖ１と提示対象映像Ｖ２とを交互に切り替える処理を行う。この例では、期間Ｔ１＝１５秒、期間Ｔ２＝映像Ｖ２Ａの上映時間、期間Ｔ３＝６秒、期間Ｔ４＝映像Ｖ２Ｂの上映時間、期間Ｔ５＝１３秒、期間Ｔ６＝映像Ｖ２Ｃの上映時間に設定されている。

したがって、リアルタイム映像Ｖ１を提示する期間Ｔ１の１５秒が経過した時点で、映像出力部４２０が映像Ｖ２Ａの出力を開始し、映像切替手段３００が提示対象映像Ｖ２への切替を行うことになり、期間Ｔ２が経過して映像Ｖ２Ａの上映が終了した時点で、映像切替手段３００がリアルタイム映像Ｖ１への切替を行うことになる。続いて、リアルタイム映像Ｖ１を提示する期間Ｔ３の６秒が経過した時点で、映像出力部４２０が映像Ｖ２Ｂの出力を開始し、映像切替手段３００が提示対象映像Ｖ２への切替を行うことになり、期間Ｔ４が経過して映像Ｖ２Ｂの上映が終了した時点で、映像切替手段３００がリアルタイム映像Ｖ１への切替を行うことになる。以下、同様である。

結局、この映像情報提示装置では、通行人Ｐに対して、図４に示すようなリアルタイム映像Ｖ１と、図５に示すような提示対象映像Ｖ２とが、時間軸ｔに沿って交互に提示されることになる。もちろん、通行人Ｐに対して提示すべき本来の映像は、図５に示すような提示対象映像Ｖ２（この例では、「Patent Drink」なる商品の広告映像）であるが、この提示対象映像Ｖ２のみを単独で提示する形態に比べて、リアルタイム映像Ｖ１との交互提示を行う形態は、通行人Ｐの注目度を向上させる効果が得られる。

これは、単にディスプレイ装置２００の前を通りかかった通行人Ｐにとって、自分には直接関係のない情報しか含まない提示対象映像Ｖ２は、それほど注意を引くものではないが、現在通行中の場所を背景として自分自身が写っているリアルタイム映像Ｖ１は、極めて関心の高い情報になるためである。多くの通行人は、ディスプレイ画面上に自分自身が登場している映像を認識した時点で、ディスプレイ画面を注視することになろう。こうして、通行人の注意を画面上に誘導した状態で、リアルタイム映像Ｖ１から提示対象映像Ｖ２への切替が行われるので、通行人は、必然的に当該提示対象映像Ｖ２にも注意を向けることになる。そして、提示対象映像Ｖ２の提示が終了した時点で、再びリアルタイム映像Ｖ１への切替が行われるので、通行人の注意を更に持続させることができ、再度の切替後に表示される提示対象映像Ｖ２への注視も期待できる。

なお、図１にブロックとして示す各構成要素のうち、ディスプレイ装置２００は、たとえば、通行人に映像を提示するのに適した場所に設置する必要があり、撮影装置１００は、この通行人を撮影するのに適した場所に設置する必要があるが、映像切替手段３００や提示対象映像提供手段４００は、任意の場所に設置してかまわない。これら手段３００，４００は、実用上は、電子回路やコンピュータ、その他の周辺機器によって構成することができるので、たとえば、ディスプレイ装置２００のフレーム内に組み込むことも可能である。もちろん、映像格納部４１０と映像出力部４２０との間、映像出力部４２０と映像切替手段３００との間、映像切替手段３００とディスプレイ装置２００との間は、ＬＡＮやインターネットを介した接続が可能であるので、映像切替手段３００や提示対象映像提供手段４００は、ディスプレイ装置２００や撮影装置１００の設置場所に対する遠隔地に設置してもかまわない。

＜＜＜ §２．第２の実施形態（通行人の検出） ＞＞＞
上述した第１の実施形態では、映像切替手段３００による映像切替が、通行人Ｐの有無とは無関係に所定のタイミングで自動的に行われていた。ここでは、通行人Ｐの有無を検出して、その検出結果に基づいて映像切替を行う実施形態を述べる。

図７は、本発明の第２の実施形態に係る映像情報提示装置の基本構成を示すブロック図である。この装置は、図１に示す第１の実施形態に係る装置に、更に、通行人検出手段５００を付加し、映像切替手段３００の代わりに、映像切替手段３００Ａを用いるようにしたものである。

通行人検出手段５００は、ディスプレイ装置２００の近傍に設定された所定の検出領域内に通行人が存在するか否かを検出する装置であり、図示のとおり、波動照射部５１０、反射波受信部５２０、存在判定部５３０によって構成されている。波動照射部５１０は、検出領域内に電磁波（光を含む）もしくは音波を照射する機能を有し、反射波受信部５２０は、この電磁波もしくは音波に基づく通行人からの反射波を受信する機能を有している。そして、存在判定部５３０は、この反射波受信部５２０が受信した反射波に基づいて、検出領域内に通行人が存在するか否かを判定し、その結果を映像切替手段３００Ａに通知する。一方、映像切替手段３００Ａは、この通行人検出手段５００の検出結果に基づいて、映像の切替処理を行う。

図８は、図７に示す通行人検出手段５００の具体的な構成例を示す正面図である。ここでは、床３０上の通行人Ｐの上方に、３台の物体センサ５０１〜５０３を配置した例が示されている。各物体センサ５０１〜５０３は、たとえば、床３０の上方の天井などに取り付けられ、それぞれ下方へ向かって電磁波もしくは音波を照射する機能と、これらの反射波を受信する機能とを備えている。別言すれば、各物体センサ５０１〜５０３は、それぞれが図７に示す波動照射部５１０と反射波受信部５２０の機能を備えている。図の一点鎖線は、個々の物体センサ５０１〜５０３からの電磁波もしくは音波の照射範囲を示している。

図９は、この図８に示す各物体センサ５０１〜５０３の検出領域を示す上面図である。ここでは、壁１０，２０によって仕切られた通路の床３０を歩行する通行人Ｐの存在を検出するために、３台の物体センサ５０１〜５０３が天井に設置された例が示されている。図示のとおり、壁１０には、壁掛け式のディスプレイ装置２００が取り付けられており、その上部中央には撮影装置１００が取り付けられている。通行人検出手段５００は、ディスプレイ装置２００の近傍に設定された所定の検出領域内に通行人が存在するか否かを検出する装置であり、図示の例の場合、各物体センサ５０１〜５０３による電磁波もしくは音波の照射範囲である一点鎖線の円内が検出領域として設定されていることになる。この検出領域は、ディスプレイ装置２００上の映像を観察するのに適した領域であれば、どのような範囲に設定してもかまわない。

上述したとおり、各物体センサ５０１〜５０３は、照射した電磁波もしくは音波に基づく反射波を受信する機能を備えている。この反射波の強度や検出タイミングは、検出領域内に侵入した物体の有無によって変化する。そこで、存在判定部５３０は、この反射波の情報に基づいて、検出領域内に通行人が存在するか否かの判定を行う。具体的には、たとえば、得られる反射波が、床３０上に存在する比較的大きな物体からの反射波の特性をもっていた場合に、当該物体を通行人と判断すればよい。なお、このように所定領域における人間の存在の有無を検知する機能をもった装置や、判定のアルゴリズム自体は、既に公知の技術であるため、ここでは詳しい説明は省略する。

結局、存在判定部５３０から映像切替手段３００Ａに対しては、検出領域内に通行人を検出したか否か（「通行人検出／非検出」）の信号が与えられることになる。もちろん、存在判定部５３０の検出基準を変えることにより検出の感度も変わり、また、同じ「通行人」であっても、大人と子供では身長差があるため、検出／非検出の基準も変わってくる。更に、「通行人検出」という結果は、少なくとも１人の通行人が検出されたことを示しており、実際に何人の通行人が検出されたのかは不明である。ただ、存在判定部５３０による判定結果は、単に、映像切替手段３００Ａが行う切替処理のタイミングを決定するのに利用されるだけなので、それほど高い検出精度が要求されるわけではない。

図１０は、図７に示す映像情報提示装置における映像切替手段３００Ａの切替動作の一例を示すタイミングチャートである。図１０(a) は、通行人検出手段５００（存在判定部５３０）の検出結果（「通行人検出／非検出」の別）を示している。具体的には、時刻ｔ０〜ｔ１の間は「非検出」、時刻ｔ１〜ｔ４の間は「検出」、時刻ｔ４以降は「非検出」となっている。これは、時刻ｔ１まではディスプレイ装置２００の近傍には通行人は存在せず、時刻ｔ１に通行人が来訪して時刻ｔ４まで滞在し、時刻ｔ４に立ち去った、といった例に対応する検出結果である。

一方、図１０(b) は、図１０(a) に示す検出結果に基づく映像切替手段３００Ａによる切替処理の一例を示している。すなわち、この例の場合、映像切替手段３００Ａによるリアルタイム映像Ｖ１から提示対象映像Ｖ２への切替処理は、リアルタイム映像Ｖ１への切り替え後に通行人検出手段５００が通行人の存在を検出し、かつ、当該検出が所定時間だけ継続した時点で行われる。一方、提示対象映像Ｖ２からリアルタイム映像Ｖ１への切替処理は、提示対象映像Ｖ２の上映が終了した時点で行われる。

具体的には、まず、時刻ｔ０の時点では、リアルタイム映像Ｖ１が選択されている。その後、時刻ｔ１において、通行人検出手段５００の検出結果は、「非検出」から「通行人検出」へと転じるが、このように通行人の存在が検出されただけでは、映像の切替処理は行われず、当該検出状態が所定時間Ｔ１だけ継続した時刻ｔ２において、はじめて提示対象映像Ｖ２への切替処理が行われる。

このように、所定時間Ｔ１だけ時差を設けているのは、ディスプレイ装置２００近傍の検出領域に入ってきた通行人に対して、所定時間Ｔ１だけリアルタイム映像Ｖ１（通行人自身が写った映像）を提示して注意を引くためである。もし、所定時間Ｔ１が経過する前に「非検出」状態に転じてしまった場合は、一度は検出領域に入ってきた通行人が、ディスプレイ装置２００近傍から立ち去ってしまったと考えられるので、提示対象映像Ｖ２への切り替えは行わない。

さて、提示対象映像提供手段４００は、映像切替手段３００Ａによって提示対象映像Ｖ２への切り替えが行われた時点ｔ２から、提示対象映像Ｖ２の上映を開始する。ここでは、当該提示対象映像Ｖ２の上映時間がＴ２であったものとしよう。この場合、上映時間Ｔ２が経過した時刻ｔ３において、リアルタイム映像Ｖ１への切替処理が行われる。当該切替処理は、通行人検出手段５００の検出結果とは無関係である。図示の例の場合、通行人は、提示対象映像Ｖ２の上映終了時刻ｔ３から時間Ｔ３だけ経過した時刻ｔ４において、検出領域外へと立ち去ったことになる。

結局、当該通行人の観点では、ディスプレイ装置２００の近くを通りかかると、自分自身が写っているリアルタイム映像Ｖ１が上映されていたので、画面に注意を向けると、やがて提示対象映像Ｖ２の上映が始まり、この提示対象映像Ｖ２を最後まで見終わると、再び自分自身が写っているリアルタイム映像Ｖ１が上映されたので、しばらく見て立ち去った、という経験をすることになる。このように、通行人検出手段５００を用いて、所定の検出領域内に通行人が存在するか否かを検出し、映像切替手段３００Ａが、この検出結果に基づいて映像の切り替えを行うようにすると、通行人に対してより適切なタイミングで提示対象映像Ｖ２の提示を行うことができるようになり、提示対象映像Ｖ２に対する注目度を更に向上させることができる。

なお、時刻ｔ４において、通行人が立ち去らずにディスプレイ装置２００の近傍に立ち続けた場合は（すなわち、図１０(a) にハッチングを施して示した「通行人検出」の帯が更に右側へと伸び続けた場合は）、リアルタイム映像Ｖ１への切り替え後の時刻ｔ３において、通行人検出手段５００は通行人の存在を検出しているので、時刻ｔ３から所定時間Ｔ１だけ経過した時点で、再び、提示対象映像Ｖ２への切替処理が行われることになり、通行人には、再度、提示対象映像Ｖ２が提示されることになる。

＜＜＜ §３．第３の実施形態（動体認識による通行人検出） ＞＞＞
§２では、図７に示すように、通行人検出手段５００によって通行人の存在を検出し、最適なタイミングで映像切替を行う例を述べた。ここで、通行人検出手段５００としては、図８，図９に示すような物体センサ５０１〜５０３を用いていた。ここで述べる第３の実施形態は、通行人の存在を検出して最適なタイミングで映像切替を行う点に変わりはないが、撮影装置１００によって得られたリアルタイム映像Ｖ１を利用した動体認識処理によって通行人の検出を行う点が特徴である。

図１１は、この第３の実施形態に係る映像情報提示装置の基本構成を示すブロック図である。図７に示す第２の実施形態との相違点は、通行人検出手段５００の代わりに、通行人検出手段５００Ａを用いている点である。この通行人検出手段５００Ａは、図示のとおり、撮影装置１００によって撮影されたリアルタイム映像Ｖ１に基づいて動体認識を行う動体認識部５４０と、この動体認識部５４０によって認識された動体が検出領域内に存在する通行人か否かを判定する通行人判定部５５０と、を有する。

動体認識部５４０は、撮影装置１００から与えられるリアルタイム映像Ｖ１を構成する１コマ１コマの静止画像を時系列的に分析し、動体が存在すると予想される領域を認識する処理を行う。図１２は、このような動体認識処理によって認識された通行人画像領域６０（ハッチング部分）を示す平面図である。一般的な動体認識処理は、時系列的に連続する多数の静止画像の各画素の画素値の変動を調べ、過去のサンプル期間内（たとえば、過去１時間）の平均画素値に対する画素値の変動が所定の許容範囲内である画素は背景領域の画素と判断し、画素値の変動が許容範囲を超える画素は動体領域の画素と判断する、という基本原理に基づくものである。このような動体認識の具体的方法は、様々な分野で実用化されている公知の技術であるため、ここでは詳しい説明は省略する。

通行人判定部５５０は、こうして動体認識部５４０によって認識された動体が、検出領域内に存在する通行人か否かを判定する。たとえば、動体認識部５４０が、図１２にハッチングを施した領域６０が動体であると認識した場合、通行人判定部５５０は、当該領域６０が、人間の画像に対応する領域であり、かつ、当該人間が所定の検出領域内に存在するか否かを判定することになる。このような判定を行うための最も単純な方法は、領域６０の面積が所定のしきい値以上か否かを判定する方法である。

たとえば、「領域６０の面積が、全画面の面積に対して１／１０以上」という条件を設定しておき、当該条件を満たした場合に、「検出領域内に通行人が存在する」との判定を行うようにすればよい。上記条件を満足する領域６０を構成する動体は、通常、「人間」と判断することができ、しかも「ある程度、撮影装置１０に近い位置に居る」と判断することができる。「１／１０」という基準を下げれば、より広い検出領域を設定することが可能であり、「１／１０」という基準を上げれば、より狭い検出領域を設定することが可能である。もちろん、「領域６０の縦横比が２：１以上」というように、領域６０の形状に関する付加条件を課すようにしてもよい。

こうして、通行人判定部５５０から映像切替手段３００Ａに対して、「通行人検出／非検出」の信号が与えられることになる。映像切替手段３００Ａが、この判定結果に基づいて、リアルタイム映像Ｖ１と提示対象映像Ｖ２との切替処理を行う点は、§２で述べた第２の実施形態と全く同じである。この通行人判定部５５０による判定結果は、単に、映像切替手段３００Ａが行う切替処理のタイミングを決定するのに利用されるだけなので、それほど高い検出精度が要求されるわけではない

前述した第２の実施形態の場合、天井に物体センサ５０１〜５０３を設ける必要があったが、この第３の実施形態で用いられる通行人検出手段５００Ａ（動体認識部５４０と通行人判定部５５０）は、コンピュータやマイクロプロセッサによって構成することができるので、第２の実施形態に比べて省スペース化を図るメリットが得られる。

＜＜＜ §４．第４の実施形態（提示対象映像の作成） ＞＞＞
これまで述べた実施形態の場合、図１，図７，図１１に示すように、提示対象映像提供手段４００は、予め作成された提示対象映像Ｖ２を格納する映像格納部４１０と、この映像格納部４１０に格納されている提示対象映像Ｖ２を出力する映像出力部４２０と、によって構成されていた。ここで述べる実施形態は、予め作成しておいた提示対象映像Ｖ２をそのまま提示する代わりに、提示対象映像Ｖ２をその都度作成して提示する方法を採るものである。

図１３は、この第４の実施形態に係る映像情報提示装置の基本構成を示すブロック図である。図１に示す第１の実施形態との違いは、提示対象映像提供手段４００の代わりに、提示対象映像提供手段４００Ａが用いられている点である。提示対象映像提供手段４００Ａは、図示のとおり、材料データ格納部４３０と映像作成部４４０とによって構成されている。ここで、材料データ格納部４３０は、提示対象映像Ｖ２を作成するための材料となる材料データを格納する機能を果たす構成要素であり、映像作成部４４０は、この材料データ格納部４３０に格納されている材料データを用いて提示対象映像Ｖ２を作成し、これを映像切替手段３００へと出力する機能を果たす構成要素である。

実際には、提示対象映像提供手段４００Ａはコンピュータやマイクロプロセッサによって構成することができる。材料データ格納部４３０内には、材料となる様々な静止画データ、動画データ、文字データなどが用意されており、映像作成部４４０は、これらのデータを適宜組み合わせて、提示対象映像Ｖ２を作成することになる。ＣＧ技術の発達により、様々な材料データを組み合わせて新たな映像を作成する方法が知られており、映像作成部４４０内に、このような映像作成用のプログラムを用意しておけば、当該プログラムの処理機能に応じて、新たな提示対象映像Ｖ２をその都度作成することが可能になる。

このように、提示対象映像Ｖ２をその都度作成すると、より自由度の高い映像表現が可能になり、通行人の注意を更に引きつける提示対象映像Ｖ２を提示することが可能になる。その典型例が、次の§５で述べる第５の実施形態である。

＜＜＜ §５．第５の実施形態（通行人を利用した映像作成） ＞＞＞
§４において第４の実施形態として述べたように、新たな提示対象映像Ｖ２をその都度作成して提示する手法を採った場合の大きなメリットは、撮影装置１０によって撮影されたリアルタイム映像Ｖ１の一部もしくは全部を組み込んだ提示対象映像Ｖ２を作成して提示できる点である。すなわち、図１３において、撮影装置１０によって撮影されたリアルタイム映像Ｖ１を、そのまま映像作成部４４０にも与えるようにし、映像作成部４４０に、材料データ格納部４３０に格納されている材料データと、撮影装置１００によって撮影されたリアルタイム映像Ｖ１と、の双方を用いて提示対象映像Ｖ２を作成する機能をもたせておけばよい。ここでは、特に、リアルタイム映像Ｖ１に含まれる通行人自身の映像を利用して、提示対象映像Ｖ２を作成する例を第５の実施形態として述べることにする。

図１４は、本発明の第５の実施形態に係る映像情報提示装置の基本構成を示すブロック図である。図１３に示す第４の実施形態との相違点は、通行人検出手段５００Ａが新たに付加され、映像切替手段３００の代わりに、映像切替手段３００Ａが用いられている点である。ここで、通行人検出手段５００Ａは、図１１に示す通行人検出手段５００Ａと同じものであり、撮影装置１００によって撮影されたリアルタイム映像Ｖ１に基づいて動体認識を行う動体認識部５４０と、この動体認識部５４０によって認識された動体が検出領域内に存在する通行人か否かを判定する通行人判定部５５０と、を有している。そして、映像切替手段３００Ａは、§２で述べたとおり、この通行人検出手段５００Ａの検出結果に基づいて映像の切り替えを行う。なお、通行人検出手段５００Ａの代わりに、図７に示す通行人検出手段５００を用いてもかまわない。この場合は、たとえば、図８および図９に示すような物体センサ５０１〜５０３を設ける必要がある。

この図１４に示す第５の実施形態の最も重要な特徴は、撮影装置１００で撮影されたリアルタイム映像Ｖ１が、映像作成部４４０にも与えられている点である。映像作成部４４０は、材料データ格納部４３０に格納されている材料データと、このリアルタイム映像Ｖ１と、の双方を用いて提示対象映像Ｖ２を作成することができる。特に、ここで述べる実施形態の場合、映像作成部４４０は、リアルタイム映像Ｖ１から通行人の部分を認識して切り出し、その一部もしくは全部を材料データと合成する処理を行うことにより、提示対象映像Ｖ２を作成する機能を有している。

このような機能は、映像作成部４４０に、図１１に示す動体認識部５４０と同等の機能をもたせることにより実現できる（実用上は、通行人検出手段５００Ａ内に設けられる動体認識部５４０を、映像作成部４４０における動体認識処理に流用すればよい）。既に述べたとおり、動体認識部５４０は、図１２に示すように、リアルタイム映像Ｖ１について、動体認識を行うことができ、通行人画像領域６０を認識することができる。したがって、リアルタイム映像Ｖ１から、この通行人画像領域６０の部分のみを切り出して、これを材料として用いて提示対象映像Ｖ２を作成することが可能である。

図１５は、このようにして映像作成部４４０によって作成された提示対象映像Ｖ２の一例を示す平面図である。図示のとおり、この提示対象映像Ｖ２は、「Patent Drink」なる商品の広告映像であるが、この広告映像内には、通行人Ｐ自身の映像が含まれている。すなわち、図示する提示対象映像Ｖ２は、図１６に示すような２つの材料データＭ１，Ｍ２を合成することによって構成されている。ここで、材料データＭ１は、「Patent Drink」なる商品の広告映像として予め作成され、材料データ格納部４３０内に格納されていた映像データであるのに対して、材料データＭ２は、撮影装置１００によって撮影されたリアルタイム映像Ｖ１（たとえば、図４に示すような映像）から、動体認識処理によって得られた通行人画像領域６０（図１２のハッチングを施した領域）の部分のみを切り出すことによって得られる映像データである。

ここで、材料データＭ１，Ｍ２は、静止画であってもよいし、動画であってもよい。動体認識は、動画として連続的に与えられる１コマ１コマの静止画像について行うことができるので、リアルタイム映像Ｖ１として与えられる動画に基づいて、通行人の部分のみを動画として切り出すことが可能であり、そのような切り出し処理を行った場合、材料データＭ２は、リアルタイムで通行人の部分のみを示す動画になる。動画として用意された材料データＭ１に、動作として切り出された材料データＭ２を合成すれば、図１５に示すような提示対象映像Ｖ２を、動画として作成することができる。

この図１５に示すような提示対象映像Ｖ２は、通行人にとって、極めて関心度の高い映像になる。図示の例の場合、「Patent Drink」なる商品の広告映像の中に、自分自身が出演しており、しかも、出演中の自分自身の映像（材料データＭ２の部分）は、リアルタイム映像であるから、この広告映像を観察中の通行人が右腕を上げれば、広告映像に出演中の自分も同じく右腕を上げることになり、現実世界の自分の動作と、広告映像中の仮想世界の自分の動作とがシンクロナイズすることになる。このようなシンクロナイズ現象に気付いた通行人は、様々なポーズをとりながら、広告映像に見入ることになろう。このように、通行人自身のリアルタイム映像を利用して作成した提示対象映像Ｖ２は、通行人の注目度を格段に向上させる効果を奏する。

この第５の実施形態の特徴は、上述したとおり、映像作成部４４０が、材料データ格納部４３０に格納されている材料データと、撮影装置１００によって撮影されたリアルタイム映像１００と、の双方を利用して提示対象映像Ｖ２を作成することにあるが、リアルタイム映像１００の利用の仕方としては、必ずしも通行人の部分を切り出し、当該切り出した通行人の映像そのものを用いて提示対象映像Ｖ２を作成する方法に限定されるものではない。たとえば、切り出した通行人の映像から、当該通行人の大きさ、形状、姿勢、色彩などの特徴を抽出し、抽出した特徴に関連した特徴をもった提示対象物が含まれる提示対象映像Ｖ２を作成することも可能である。

たとえば、通行人が体を一方向へ傾けるような動作を行ったとすると、リアルタイム映像Ｖ１に対する動体認識処理によって得られる通行人画像領域６０は、図１７のように変化することになる。そこで、映像作成部４４０に、この通行人画像領域６０の傾斜度を認識する機能をもたせておき（たとえば、図にハッチングを施した通行人画像領域６０について、各水平ラインごとに中心点を求め、これら中心点を上下に連結して得られる線の近似直線の傾斜度を演算すればよい）、当該傾斜度に合致するように提示対象物を傾斜させた提示対象映像Ｖ２を作成させればよい。

図１８は、図１７に示す通行人画像領域６０（ハッチング部分）に基づいて認識した通行人の姿勢に関する特徴に関連した特徴をもった提示対象物６５（ボトル）が含まれる提示対象映像Ｖ２の一例を示す平面図である。この例では、提示対象物６５（ボトル）が、図の左方向へ傾いた例が示されているが、これは、映像作成部４４０によって、ボトル６５の向きを、図１７に示す通行人画像領域６０の傾きに合致させる処理が行われたためである。要するに、映像作成部４４０は、リアルタイム映像Ｖ１から通行人の部分を認識し、その姿勢（体の傾斜方向）に関する特徴を抽出し、抽出した特徴に関連した特徴をもった提示対象物６５（ボトル）が含まれる提示対象映像Ｖ２を作成する処理を行うことになる。このため、通行人が体を左右に傾斜させると、ディスプレイ画面に表示されている提示対象映像Ｖ２中の提示対象物６５（ボトル）も、通行人の体の動きに合わせて左右に傾斜することになる。

このように、通行人の観点からは、提示対象映像Ｖ２内の提示対象物６５（ボトル）が、自分の姿勢にシンクロナイズしてその姿勢を変えるので、このようなシンクロナイズ現象に気付いた通行人は、様々な姿勢をとりながら、広告映像に見入ることになろう。その結果、「Patent Drink」なる商品ボトル（広告対象物６５）に対する通行人の注目度は極めて高いものとなり、極めて大きな広告効果が得られることになる。

通行人画像領域６０から抽出する特徴は、必ずしも通行人の姿勢に限定されるものではない。たとえば、通行人画像領域６０の大きさを特徴として抽出し、この抽出した大きさに応じて、提示対象映像Ｖ２内の提示対象物６５の大きさを変えるような処理を行うことも可能である。具体的には、映像作成部４４０によって、通行人画像領域６０の面積（画素数）を求める処理を行い、提示対象映像Ｖ２内の提示対象物６５（ボトル）を当該面積に比例した大きさとすればよい。そうすれば、通行人がディスプレイ装置２００から離れると（リアルタイム映像Ｖ１内の通行人画像領域６０の面積が小さくなると）、提示対象映像Ｖ２内の提示対象物６５（ボトル）も小さくなる。結局、通行人がディスプレイ装置２００に近づいたり離れたりすると、それにシンクロナイズして、提示対象物６５（ボトル）がその大きさを変えることになる。

あるいは、通行人画像領域６０の形状（輪郭）を抽出し、抽出した形状と同じ形状をもった提示対象物が含まれる提示対象映像Ｖ２を作成してもよい。たとえば、通行人の輪郭と同じ輪郭をもった商品ボトル（広告対象物６５）を表示すればよい。

また、リアルタイム映像Ｖ１から通行人の部分を認識し、その色彩に関する特徴を抽出し、抽出した特徴に関連した特徴をもった提示対象物が含まれる提示対象映像Ｖ２を作成することも可能である。図１９は、このような通行人の色彩に関する特徴と提示対象物７５（ボトル）に関する特徴との関連性の一例を示す平面図である。図１９(a) は、リアルタイム映像Ｖ１から認識された通行人画像７０を示しており、図１９(b) は、提示対象映像Ｖ２内に表示する提示対象物７５（ボトル）を示している。ここで、提示対象物７５（ボトル）の各部の色彩を、通行人画像７０の各部に色彩に応じて決定するようにする。

具体的には、たとえば、リアルタイム映像Ｖ１に対する動体認識処理により、図１９(a) に示すような通行人画像７０を抽出したら、その縦寸法Ｌを測定し、この縦寸法Ｌを基準として、下から１０％，４０％，６０％，８０％，９８％の位置に、それぞれ高さレベルＬ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５を設定する。そして、通行人画像７０の画素のうち、高さレベルＬ５にある画素の色の平均値を、ボトル栓部７５Ａの色彩とし、高さレベルＬ１〜Ｌ２の範囲内にある画素の色の平均値を、ボトル本体部７５Ｂの色彩とし、高さレベルＬ３〜Ｌ４の範囲内にある画素の色の平均値を、ボトルラベル部７５Ｃの色彩とする。

このような方法で色彩を決定した提示対象物７５（ボトル）を用いて提示対象映像Ｖ２を作成すれば、通行人の全身の色彩分布に類似した色彩分布をもつ提示対象物７５（ボトル）を提示することができる。たとえば、通行人が赤い帽子、黄色いジャケット、水色のジーンズを着用していたとすると、赤いボトル栓部７５Ａ、水色のボトル本体部７５Ｂ、黄色いラベル部７５Ｃをもったボトル７５が、提示対象物として、提示対象映像Ｖ２内に表示されることになる。もちろん、色彩をより細かく反映させるようにすれば、衣服の柄と同じ模様をもったボトルを表示させることも可能である。

このように、リアルタイム映像から通行人の大きさ、形状、姿勢もしくは色彩に関する特徴を抽出し、抽出した特徴と類似した特徴をもった提示対象物が含まれる提示対象映像を作成すれば、リアルタイム映像として撮影された現実世界と、提示対象映像として提示される仮想世界とが、当該特徴を介して関連性をもつことになるので、通行人の関心を更に高めることができる。

＜＜＜ §６．第６の実施形態（背景を利用した映像） ＞＞＞
これまで述べた実施形態では、リアルタイム映像Ｖ１と提示対象映像Ｖ２との間に、背景に関する共通点は何もなかった。たとえば、図４に示すリアルタイム映像Ｖ１には、通行人Ｐが立っている場所の背景（壁２０，床３０など）がそのまま写っているのに対して、図５に示す提示対象映像Ｖ２や、図１５に示す提示対象映像Ｖ２は、このような背景をもつリアルタイム映像Ｖ１とは全く異質な広告映像によって構成されている。

ここで述べる第６の実施形態の特徴は、提示対象映像提供手段４００もしくは４００Ａによって、撮影装置１００の撮影視野に写る背景画像を背景とする提示対象映像Ｖ２を提供させる点にある。たとえば、図３に示すような環境に撮影装置１００を設置した場合、図４に例示するようなリアルタイム映像Ｖ１が撮影される。この例では、通行人Ｐが写っているが、通行人Ｐがいない状態で撮影すれば、図２０に示すような背景画像Ｂｋが得られる。すなわち、この図２０に示す背景画像Ｂｋは、図３に示すような環境に設置された撮影装置１００の撮影視野に写る画像ということになる。

そこで、このような背景画像Ｂｋを利用して、たとえば、図２１に示すような提示対象映像Ｖ２を作成し、これを通行人に提示すればよい。この図２１に示す提示対象映像Ｖ２は、「Patent Drink」なる商品の広告映像であるが、その背景には、図２０に示す背景画像Ｂｋが用いられている。このように、提示対象映像Ｖ２の背景として、撮影装置１００の撮影視野に写る背景画像Ｂｋを用いるようにすれば、リアルタイム映像Ｖ１の背景と提示対象映像Ｖ２の背景とが同じになるため、映像の切り替えが行われても、通行人は、切替前後において背景映像Ｂｋを共通とする一体感を認識することができ、臨場感をもって提示対象映像Ｖ２を体験することができるようになる。

たとえば、図１、図７、図１１に示されている装置をベースとして、この第６の実施形態を実施する場合、通行人がいないときに、撮影装置１００によって図２０に示すような背景画像Ｂｋを予め撮影しておき、この背景画像Ｂｋを用いて、図２１に示すような提示対象映像Ｖ２を作成しておく。そして、映像格納部４１０内には、この予め作成された提示対象映像Ｖ２を格納しておく。そうすれば、映像出力部４２０は、この図２１に示すような提示対象映像Ｖ２を出力することができる。結局、通行人に対しては、図４に示すようなリアルタイム映像Ｖ１と、図２１に示すような提示対象映像Ｖ２とが切り替えられて提示されることになり、同じ背景をもった画像でありながら、自分自身が写った現実世界の映像（リアルタイム映像Ｖ１）から、商品（提示対象物）が写った仮想世界の映像（提示対象映像Ｖ２）への切り替えが行われる。その結果、通行人には、切替前後において映像が連続しているような一体感、臨場感を与えることができ、注目度を向上させる効果が得られる。

図２２は、通行人に対して、より強いインパクトを与えることができる提示対象映像Ｖ２の一例を示す平面図である。この提示対象映像Ｖ２は、図２０，図２２(a) ，(b) ，(c) と徐々に変化してゆく動画によって構成されている。すなわち、この動画は、図２０に示すような背景画像Ｂｋを初期画像として始まり、やがて、図２２(a) に示すように、壁２０に掛けられている額絵４２が、飾り壺５０の中に吸い込まれてゆき、更に、図２２(b) に示すように、額絵４１も飾り壺５０の中に吸い込まれてゆき、最後に、額絵４１，４２が無くなった左側の空間に、図２２(c) に示すように、「Patent Drink」なる商品の広告映像が出現する、という内容の動画である。

このように、撮影装置１００の撮影視野に写る背景画像Ｂｋを含む画像を初期画像として、当該背景画像Ｂｋが時々刻々と変化する動画からなる提示対象映像Ｖ２を映像格納部４１０に格納しておけば、通行人には、自分自身が、いま現実に立っている場所の景色が、突然、変化し始める映像を提示することができるので、通行人の着目度は極めて高くなる。実際、図２２に示す例では、通行人が現在歩行中のホテルの廊下において、額絵が魔法のように壺に吸い込まれてゆくという非現実的な映像が提示されるので、臨場感がありながら、「現実的には決してあり得ない事象」が提示されるので、通行人に与えるインパクトは非常に大きなものになる。

また、「現実的には決してあり得ない事象」を提示する代わりに、「現実的に起こり得る事象」を提示してもよい。たとえば、「額絵が壺に吸い込まれる」という現実的にはあり得ない事象の代わりに、「額絵が床に落下する」という現実的に起こり得る事象を提示した場合、通行人の反応は別なものになるであろう。ディスプレイ画面上で額絵が落下するのを見た通行人の中には、実際に額絵が落下したものと思って、壁２０側を振り返って確認する者もいるであろう。現実世界では、額絵には異常がないことを認識した通行人が再びディスプレイ画面を見たタイミングで、図２２(c) のような広告映像が提示されれば、非常にインパクトのある広告効果が得られる。

もちろん、図１３、図１４に示されている装置をベースとして、この第６の実施形態を実施することも可能である。この場合、図２０に示すような背景画像Ｂｋを予め撮影しておき、材料データ格納部４３０内に材料データの１つとして予め格納しておき、映像作成部４４０が、この材料データ格納部４３０に格納されている背景データＢｋを材料として用いて提示対象映像Ｖ２を作成し、これを出力すればよい。更に、提示対象物となるボトルの画像を、材料データ格納部４３０内に材料データの１つとして用意しておけば、映像作成部４４０は、これらを合成して、図２１に示すような提示対象映像Ｖ２を作成することができる。

あるいは、材料データ格納部４３０内に、背景画像Ｂｋを初期画像として、時々刻々と変化する背景を示す背景動画データ（図２０から図２２(a) ，(b) に至る動画データ）を格納しておき、映像作成部４４０がこの背景動画データを用いて提示対象映像Ｖ２を作成する処理（たとえば、図２２(c) のような映像を追加する処理）を行うようにしてもよい。

この場合も、映像作成部４４０は、材料データ格納部４３０に格納されている材料データと、撮影装置１００によって撮影されたリアルタイム映像Ｖ１と、の双方を用いて提示対象映像Ｖ２を作成することができる。特に、リアルタイム映像Ｖ１として撮影した通行人自身の映像を組み込んだ提示対象映像Ｖ２を作成すれば、臨場感を更に高めることができる。具体的には、§５で述べたように、リアルタイム映像Ｖ１から通行人の部分を認識して切り出し、その一部もしくは全部を背景動画データに合成する処理を行うことにより、提示対象映像Ｖ２を作成すればよい。

図２３は、図２２に示す動画に、通行人の映像を合成することにより作成された動画の一例を示している。予め図２２に示す動画を材料データ格納部４３０内に用意しておき、当該動画に、リアルタイム映像Ｖ１から切り出した通行人の映像を合成することにより、図２３に例示するような映像を作成することが可能である。この場合、通行人には、まず図４に示すようなリアルタイム映像Ｖ１が提示され、続いて、図２３(a) 〜(c) に示すような提示対象映像Ｖ２が提示されることになる。

通行人の観点からは、図４に示すリアルタイム映像Ｖ１から、図２３(a) に示す提示対象映像Ｖ２に切り替わっても、自分自身および背景画像には大きな変化は見られないので、現実世界の映像がそのまま継続して提示されているように認識されるであろう。ところが、やがて図２３(b) のように、「額絵が壺に吸い込まれる」という非現実的な映像提示がなされることになり、非常に大きなインパクトを与える効果が得られる。そして、最後に図２３(c) のように、広告映像の提示が行われることになるので、通行人に対して広告対象物の強烈なイメージを与えることができる。

もちろん、この図２３に示すような映像提示を行う場合にも、§５で述べたように、映像作成部４４０が、リアルタイム映像Ｖ１から通行人の部分を認識し、その大きさ、形状、姿勢もしくは色彩に関する特徴を抽出し、抽出した特徴に関連した特徴をもった提示対象物（たとえば、ボトル）が含まれる提示対象映像Ｖ２を作成するようにしてもよい。たとえば、図２３(c) に示す映像が提示されているときに、通行人が姿勢を変えると、ボトルがそれに合わせて姿勢を変えるような動きをしたり、通行人がディスプレイ装置に近づいたり遠ざかったりすると、ボトルの大きさがそれに合わせて変化したりする、という演出を加えることができる。また、ボトルの色彩を通行人の服装の色彩に合致させて表示させるようなこともできる。

＜＜＜ §７．コンピュータを利用した装置構成 ＞＞＞
以上、本発明をいくつかの実施形態に基づいて述べた。これらの実施形態に係る装置は、いずれも、通行人の移動経路もしくは立寄場所に設置されたディスプレイ装置２００を用いて、通行人に対して映像情報を提示する機能を有しており、撮影装置１００を用いて、ディスプレイ装置２００の表示画面を観察中の通行人を撮影してリアルタイム映像Ｖ１を生成する機能を有している。そして、ディスプレイ装置に表示するための提示対象映像Ｖ２を提供する提示対象映像提供手段４００，４００Ａおよびディスプレイ装置に表示する映像を切り替える映像切替手段３００，３００Ａが設けられる。更に、実施形態によっては、通行人検出手段５００，５００Ａが付加される。

ここで、映像切替手段３００，３００Ａや、提示対象映像提供手段４００，４００Ａは、実用上はコンピュータを利用して構成するのが好ましい。また、通行人検出手段５００の一部（存在判定部５３０）や通行人検出手段５００Ａも、実用上はコンピュータを利用して構成するのが好ましい。その場合、これらの手段によって行われる処理は、コンピュータに組み込まれたプログラムの機能によって実行されることになる。

具体的には、映像切替手段３００，３００Ａとして機能するコンピュータが、撮影装置１００によって撮影されたリアルタイム映像Ｖ１と、通行人に提示するために予め用意されていた提示対象映像Ｖ２（もしくは、予め用意されていた材料データを利用して作成した提示対象映像Ｖ２）と、のいずれか一方を選択してディスプレイ装置２００に与え、画面上に提示される映像を切り替える処理を行うことになる。ここで、提示対象映像Ｖ２を作成する場合、予め用意されていた材料データと、撮影装置１００によって撮影されたリアルタイム映像Ｖ１の一部もしくは全部と、の双方を利用して作成することができ、このような提示対象映像Ｖ２の作成処理には、公知の様々なＣＧ技術を利用したプログラムを利用することができる。

また、コンピュータはＬＡＮやインターネットで相互接続することができるので、本発明に係る装置の構成要素をコンピュータによって実現する場合は、個々の構成要素を分散配置された複数のコンピュータによって構成し、これら複数のコンピュータをＬＡＮやインターネットで相互接続することにより、本発明に係る装置全体を構築することも可能である。

なお、これまで述べた実施形態では、ディスプレイ装置２００を用いて通行人に映像を提示する例のみを述べたが、もちろん、映像とともに音声を提示するようにしてもよい。特に、コンピュータは、映像とともに音声を取り扱うことが可能であり、リアルタイム映像Ｖ１のデータや提示対象映像Ｖ２のデータに、音声データを含ませておき、ディスプレイ装置２００とともにスピーカを用いるようにすれば、映像とともに音声を提示することができる。

１０：壁
２０：壁
３０：床
４１，４２：額絵
４３：照明器具
５０：飾り壺
６０：通行人画像領域
６５：提示対象物（ボトル）
７０：通行人画像
７５：提示対象物（ボトル）
７５Ａ：ボトル栓部
７５Ｂ：ボトル本体部
７５Ｃ：ボトルラベル部
１００：撮影装置
２００：ディスプレイ装置
３００，３００Ａ：映像切替手段
４００，４００Ａ：提示対象映像提供手段
４１０：映像格納部
４２０：映像出力部
４３０：材料データ格納部
４４０：映像作成部
５００，５００Ａ：通行人検出手段
５０１〜５０３：物体センサ
５１０：波動照射部
５２０：反射波受信部
５３０：存在判定部
５４０：動体認識部
５５０：通行人判定部
Ｂｋ：背景画像
Ｌ：通行人画像の縦寸法
Ｌ１〜Ｌ５：通行人画像の高さレベル
Ｍ１，Ｍ２：材料データ
Ｐ：通行人
Ｔ１〜Ｔ６：時間軸上の期間
ｔ：時間軸
ｔ０〜ｔ４：時刻
Ｖ１：リアルタイム映像
Ｖ２：提示対象映像

Claims (10)

1. 通行人に対して映像情報を提示する映像情報提示装置であって、
   通行人の移動経路もしくは立寄場所に設置されたディスプレイ装置と、
   前記ディスプレイ装置の表示画面を観察中の通行人を撮影するのに適した位置に設置された撮影装置と、
   通行人に提示するための提示対象映像を提供する提示対象映像提供手段と、
   前記撮影装置によって撮影されたリアルタイム映像と、前記提示対象映像提供手段によって提供される提示対象映像と、のいずれか一方を選択して前記ディスプレイ装置に与え、画面上に提示される映像を切り替える処理を行う映像切替手段と、
   を備え、
   前記提示対象映像提供手段が、前記撮影装置の撮影視野に写る背景画像を示す背景データを含む材料データを格納した材料データ格納部と、前記材料データ格納部に格納されている背景データを材料として用いて提示対象映像を作成し、これを出力する映像作成部と、を有することを特徴とする映像情報提示装置。
2. 請求項１に記載の映像情報提示装置において、
   材料データ格納部が、撮影装置の撮影視野に写る背景画像を初期画像として、時々刻々と変化する背景を示す背景動画データを格納しており、映像作成部が前記背景動画データを用いて提示対象映像を作成することを特徴とする映像情報提示装置。
3. 請求項２に記載の映像情報提示装置において、
   映像作成部が、材料データ格納部に格納されている材料データと、撮影装置によって撮影されたリアルタイム映像と、の双方を用いて提示対象映像を作成することを特徴とする映像情報提示装置。
4. 請求項３に記載の映像情報提示装置において、
   映像作成部が、リアルタイム映像から通行人の部分を認識して切り出し、その一部もしくは全部を背景動画データに合成する処理を行うことにより、提示対象映像を作成することを特徴とする映像情報提示装置。
5. 請求項３に記載の映像情報提示装置において、
   映像作成部が、リアルタイム映像から通行人の部分を認識し、その大きさ、形状、姿勢もしくは色彩に関する特徴を抽出し、抽出した特徴に関連した特徴をもった提示対象物が含まれる提示対象映像を作成することを特徴とする映像情報提示装置。
6. 通行人に対して映像情報を提示する映像情報提示装置であって、
   通行人の移動経路もしくは立寄場所に設置されたディスプレイ装置と、
   前記ディスプレイ装置の表示画面を観察中の通行人を撮影するのに適した位置に設置された撮影装置と、
   通行人に提示するための提示対象映像を提供する提示対象映像提供手段と、
   前記撮影装置によって撮影されたリアルタイム映像と、前記提示対象映像提供手段によって提供される提示対象映像と、のいずれか一方を選択して前記ディスプレイ装置に与え、画面上に提示される映像を切り替える処理を行う映像切替手段と、
   を備え、
   前記提示対象映像提供手段が、通行人がいない状態で撮影することにより予め作成された前記撮影装置の撮影視野に写る背景画像を背景とする提示対象映像を格納する映像格納部と、前記映像格納部に格納されている提示対象映像を出力する映像出力部と、を有することを特徴とする映像情報提示装置。
7. 請求項６に記載の映像情報提示装置において、
   映像格納部が、撮影装置の撮影視野に写る背景画像を含む画像を初期画像として、少なくとも前記背景画像が時々刻々と変化する動画からなる提示対象映像を格納していることを特徴とする映像情報提示装置。
8. 通行人に対して映像情報を提示する映像情報提示装置であって、
   通行人の移動経路もしくは立寄場所に設置されたディスプレイ装置と、
   前記ディスプレイ装置の表示画面を観察中の通行人を撮影するのに適した位置に設置された撮影装置と、
   通行人に提示するための提示対象映像を提供する提示対象映像提供手段と、
   前記撮影装置によって撮影されたリアルタイム映像と、前記提示対象映像提供手段によって提供される提示対象映像と、のいずれか一方を選択して前記ディスプレイ装置に与え、画面上に提示される映像を切り替える処理を行う映像切替手段と、
   を備え、
   前記提示対象映像提供手段が、提示対象映像を作成するための材料となる材料データを格納した材料データ格納部と、前記材料データ格納部に格納されている材料データを用いて提示対象映像を作成し、これを出力する映像作成部と、を有し、
   前記映像作成部が、前記撮影装置によって撮影されたリアルタイム映像から通行人の部分を認識して切り出し、その一部もしくは全部を前記材料データ格納部に格納されている材料データと合成する処理を行うことにより、提示対象映像を作成することを特徴とする映像情報提示装置。
9. 通行人に対して映像情報を提示する映像情報提示装置であって、
   通行人の移動経路もしくは立寄場所に設置されたディスプレイ装置と、
   前記ディスプレイ装置の表示画面を観察中の通行人を撮影するのに適した位置に設置された撮影装置と、
   通行人に提示するための提示対象映像を提供する提示対象映像提供手段と、
   前記撮影装置によって撮影されたリアルタイム映像と、前記提示対象映像提供手段によって提供される提示対象映像と、のいずれか一方を選択して前記ディスプレイ装置に与え、画面上に提示される映像を切り替える処理を行う映像切替手段と、
   を備え、
   前記提示対象映像提供手段が、提示対象映像を作成するための材料となる材料データを格納した材料データ格納部と、前記材料データ格納部に格納されている材料データを用いて提示対象映像を作成し、これを出力する映像作成部と、を有し、
   前記映像作成部が、前記材料データ格納部に格納されている材料データと、撮影装置によって撮影されたリアルタイム映像と、の双方を用いて提示対象映像を作成し、かつ、リアルタイム映像から通行人の部分を認識し、その大きさ、形状、姿勢もしくは色彩に関する特徴を抽出し、抽出した大きさ、形状、姿勢もしくは色彩に関する特徴をもった提示対象物が含まれる提示対象映像を作成することを特徴とする映像情報提示装置。
10. 請求項１〜９のいずれかに記載の映像情報提示装置における提示対象映像提供手段および映像切替手段としてコンピュータを機能させるプログラム。

Images