以下、図面を参照しながら実施形態の説明を述べる。なお、以降、説明済みの要素と同一または類似の要素には同一または類似の符号を付し、重複する説明については基本的に省略する。例えば、複数の同一または類似の要素が存在する場合に、各要素を区別せずに説明するために共通の符号を用いることがあるし、各要素を区別して説明するために当該共通の符号に加えて枝番号を用いることもある。
以下、図面を参照しながら実施形態の説明を述べる。なお、以降、説明済みの要素と同一または類似の要素には同一または類似の符号を付し、重複する説明については基本的に省略する。例えば、複数の同一または類似の要素が存在する場合に、各要素を区別せずに説明するために共通の符号を用いることがあるし、各要素を区別して説明するために当該共通の符号に加えて枝番号を用いることもある。
(第1の実施形態)
第1の実施形態に係る注目度利活用サーバは、ゲストの端末(以降、ゲスト端末と称する)が、ホストの端末(以降、ホスト端末と称する)によって撮影、投稿された映像データを映像配信サーバを介して共有する映像共有システムに、後述される注目度算出サーバおよび注目度利活用クライアントとともに組み込むことができる。図1に、第1の実施形態に係る注目度利活用サーバ50を含む映像共有システムを例示する。
図1の映像共有システムは、ホスト端末10と、映像配信サーバ20と、ゲスト端末30-1,30-2,・・・と、注目度算出サーバ40と、注目度利活用サーバ50と、注目度利活用クライアント60を含む。映像配信サーバ20は、ホスト端末10、ゲスト端末30、注目度算出サーバ40、注目度利活用サーバ50、および注目度利活用クライアント60の一部または全部と、例えばインターネットなどのネットワーク経由で接続されており、互いにデータを送受信し得る。また、注目度算出サーバ40は、ホスト端末10,映像配信サーバ20、ゲスト端末30、注目度利活用サーバ50、および注目度利活用クライアント60の一部または全部とネットワーク経由で接続されており、互いにデータを送受信し得る。さらに、注目度利活用サーバ50は、ホスト端末10、映像配信サーバ20、ゲスト端末30、注目度算出サーバ40、および注目度利活用クライアント60の一部または全部と、例えばインターネットなどのネットワーク経由で接続されており、互いにデータを送受信し得る。
ホスト端末10、映像配信サーバ20およびゲスト端末30は、以下に説明するように、映像共有サービスを授受するための基本的な機能を有する。なお、以降の説明では、図1の映像共有システムがライブ映像を共有すること、すなわちライブストリーミング、を仮定するが、ライブ映像に限らずホストが予め作成した映像を共有する場合にも後述する注目度の算出は可能である。故に、第1の実施形態、および後述される他の実施形態は、ライブ映像に限らず映像一般に適用が可能である。また、映像は、ホストによる展示会の撮影を前提とする。すなわち、ゲストは、ホストが展示会を撮影した映像データを共有することになる。ここで、展示会とは、典型的には業界向け見本市であるが、これに限らず、人工物(例えば、製品、作品、建造物、(仮想)オブジェクト、など)、天然物(風景、人間を含む生物、気象)、人物による歌唱、ダンス、演奏、スポーツ、などの実演、またはこれらの組み合わせなどの展示対象を鑑賞可能な場を広く意味し得る。具体的には、展示会として、コンサート、演劇、スポーツ大会、などが含まれ得る。
ホスト端末10は、逐次、例えば当該ホスト端末10に接続されたカメラ/マイクロフォンによって生成されたライブ映像/音声データをエンコードし、エンコード済み(映像またはマルチメディア)データを映像配信サーバ20へ送信(アップロード)する。ここで、カメラは、全天球もしくは半天球の360度カメラまたはその他のパノラマカメラであってもよいし、通常の単眼カメラであってもよい。
ホスト端末10は、コンピュータなどの電子デバイス、例えば、モバイル端末(例えば、スマートフォン、タブレット、ラップトップ、など)、PC(Personal Computer)、などであってもよいし、通信機能を有するVR(Virtual Reality)/AR/MR端末、例えばHMDであってもよいが、これらに限られない。なお、ホスト端末10としてHMDのような頭部装着型のデバイスを使用する場合には、単眼型または透過型のデバイスを採用することで、ホストの視界をある程度確保することができる。
映像配信サーバ20は、ホスト端末10からエンコード済みデータを受信し、これに対して、例えば、再エンコード、などの加工を必要に応じて行う。映像配信サーバ20は、(加工後の)エンコード済みデータをゲスト端末30へ配信する。
ゲスト端末30は、映像配信サーバ20からエンコード済みデータを受信し、これをデコードし、ライブ映像(音声を含み得る)を再生する。なお、360度映像を含むパノラマ映像を再生する場合に、ゲスト端末30は、例えば、ゲストの頭部および/または視線の方向、または当該ゲスト端末30の方向を検出し、これに基づいて再生する映像の視点を切り替えてもよい。同様に、パノラマ映像を再生する場合に、ゲスト端末30は、例えば、ゲストによる視点切り替えのための操作、例えば、フリック、ストローク、タッチ、タップ、スワイプ、ドラグ、クリック、などを検出し、これに基づいて再生する映像の視点を切り替えてもよい。
ゲスト端末30は、典型的には、没入感に優れたHMDなどのVR/AR/MR端末などの表示デバイスと、この制御装置、例えば、モバイル端末、PC、ゲーム機、などの組み合わせであってよい。なお、表示デバイスおよびその制御装置は、分離型である必要はなく一体化されていてもよい。
ゲストは、遠隔地に居るホストによって撮影され、ゲスト端末30によって再生される映像を通じて、あたかも展示会に参加しているかのような体験をすることができる。注目度算出サーバ40は、映像再生時にゲスト端末30において取得された入力に基づくゲストの視聴行動データを収集し、この視聴行動データに基づいて、展示会における複数の展示対象のうちゲストの注目した対象を特定する。さらに、注目度算出サーバ40は、このゲストの注目した対象に基づいて、これらの展示対象の注目度を算出する。このように注目度算出サーバ40は、展示会に仮想的に参加するゲストからの注目度を算出するので、展示会の実際の参加者へのアンケートなどとは異なるアプローチで、展示対象への興味・関心に関わるデータを収集する。この注目度は、従来のアンケートの分析結果などと組み合わせて、またはこれに代えて、様々な利活用が期待できる。
そこで、第1の実施形態または他の実施形態に係る注目度利活用サーバ50は、注目度算出サーバ40の算出した注目度に基づいて、例えば、ランキング、ドキュメント、要求データ、などの種々の注目度加工情報を生成し、これを注目度利活用クライアント60に提供することで、注目度の利活用を図る。
なお、ここで例示した注目度加工情報の詳細は後述する。かかる注目度加工情報によれば、注目度利活用サーバ50は、例えば、展示会に出展する企業などの出展主体または展示会の主催者などへフィードバック情報を提供したり、ゲストまたは他の(潜在)需要者へのマーケティングを支援したり、ゲストが最も撮影を望んでいるであろう展示対象(撮影対象)の撮影をホストに要求したりすることができる。
特に、第1の実施形態に係る注目度利活用サーバ50は、後述するように、複数の展示対象に関わるランキングを注目度に基づいて作成する。すなわち、この注目度利活用サーバ50は、複数の展示対象に関わるランキングを注目度加工情報として作成する。
注目度利活用クライアント60は、典型的には、注目度を利活用する主体、例えば、展示会の主催者、出展主体、ホスト、ゲスト、など、のコンピュータである。具体的には、注目度利活用クライアント60は、例えば、サーバコンピュータ、PC、モバイル端末、などであってもよいし、通信機能を有するVR/AR/MR端末、例えばHMDであってもよいが、これらに限られない。
なお、注目度利活用クライアント60は、注目度を利活用する主体がホストを含む場合にはホスト端末10を含み得る。また、注目度利活用クライアント60は、注目度を利活用する主体がゲストを含む場合にはゲスト端末30を含み得る。
注目度利活用クライアント60は、注目度利活用サーバ50から、例えば、ランキング、ドキュメント、要求データ、などの注目度加工情報をネットワーク経由で受信する。そして、注目度利活用クライアント60は、かかる注目度加工情報を、出力、例えば注目度を利活用する主体が当該情報の内容を視認できるように表示する。
なお、図1において示される各装置の数は、例示に過ぎない。例えば、ゲスト端末30の数は、時々刻々と変化するので、0となることがあり得るし、数百、数千となることもあり得る。また、図1の映像共有システムは、複数のライブ映像を並列的に配信することができるので、ホスト端末10の数も2以上となり得る。
以下、ゲスト端末30の構成について詳しく説明する。ゲスト端末30は、図2に例示されるように、通信I/F 100と、プロセッサ110と、メモリ120と、出力装置130と、入力装置140とを含む。
通信I/F 100は、ネットワーク経由で、外部装置、例えば、映像配信サーバ20、注目度算出サーバ40、などと通信をするためのモジュールであって、例えば、送受信のための信号処理回路、アンテナ、LAN(Local Area Network)端子などを含み得る。通信I/Fは、例えば移動通信などの広域通信用のモジュール、無線/有線LAN用のモジュール、Bluetooth(登録商標)用のモジュール、などであり得る。
プロセッサ110は、典型的にはCPU(Central Processing Unit)および/またはGPU(Graphics Processing Unit)であるが、マイコン、FPGA(Field Programmable Gate Array)、DSP(Digital Signal Processor)、またはその他の汎用または専用のプロセッサなどであってもよい。プロセッサ110は、例えば、入出力制御、通信制御、画像/音声処理、後述する視聴行動データの生成、などを行う。
メモリ120は、プロセッサ110が各処理を実現するために当該プロセッサ110によって実行されるプログラムおよび当該プロセッサ110によって使用されるデータ、例えば、入力データ、映像データ、視聴行動データ、などを一時的に格納する。メモリ120は、かかるプログラム/データが展開されるワークエリアを有するRAM(Random Access Memory)を含み得る。
出力装置130は、例えば、プロセッサによって再生された映像を出力する表示デバイス、プロセッサによって再生された音声を出力するスピーカ、などを含み得る。出力装置130は、HMDの要素の一部または全部であってもよい。
入力装置140は、例えば、センサ、タッチスクリーン、マイクロフォン、キーボード、マウス、などの一部または全部を含み得る。
ここで、センサは、例えば、加速度センサ、ジャイロスコープ、磁気センサ、などの動きセンサを含み得る。動きセンサによって検出されたセンサデータは、ゲストの頭部および/またはゲスト端末30の方向(例えば3軸の傾き)の推定に利用することができる。具体的には、パノラマ映像の再生時には、このセンサデータに基づいて、ゲストの頭部および/またはゲスト端末30の3次元的な回転角であるYaw角、Roll角、およびPitch角が推定され、これに応じてゲスト端末30に表示される映像の視点が制御され得る。
また、センサは、いわゆるアイトラッキングデバイスを含み得る。アイトラッキングデバイスは、ゲストの眼球の動きを捉え、ゲストの視線方向を表す入力データを生成する。かかる入力データもまた、ゲスト端末30に表示される映像の視点の制御に利用され得る。
プロセッサ110は、メモリ120に保存されたプログラムを実行することで、図2の受信データ取得部111、デコーダ112、映像出力部113、入力データ取得部114、視聴行動データ生成部115、および視聴行動報告部116として機能し得る。また、メモリ120は、図2の映像データ記憶部121、視聴行動データ記憶部122、および入力データ記憶部123を含み得る。
通信I/F 100は、外部装置から種々のデータをネットワーク経由で受信する受信部101と、外部装置へ種々のデータをネットワーク経由で送信する送信部102とを含む。受信部101は、映像配信サーバ20から前述のエンコード済みデータを受信し、これを受信データ取得部111へ送る。また、送信部102は、視聴行動報告部116から視聴行動データを受け取り、これを注目度算出サーバ40へ送信する。
受信データ取得部111は、受信部101から受信データを取得し、これをメモリ120に書き込む。一例として、受信データ取得部111は、受信部101からエンコード済みデータを取得し、これを映像データ記憶部121に書き込む。
映像データ記憶部121は、受信データ取得部111によって取得されたエンコード済みデータを保存する。このエンコード済みデータは、少なくともエンコード済み映像データを含み、さらにエンコード済み音声データを含み得る。映像データ記憶部121に保存されたエンコード済み映像データは、プロセッサ110の種々の機能部、例えばデコーダ112によって読み出され得る。
デコーダ112は、映像データ記憶部121からエンコード済み映像データを映像データ記憶部121から読み出す。デコーダ112は、エンコード済み映像データを適切なコーデックに従ってデコードして映像データを再生する。なお、デコーダ112は、ビデオデコーダに加えて音声デコーダを含んでいてもよい。デコーダ112は、再生した映像データを映像出力部113へ送る。また、デコーダ112は、図2においてプロセッサ110の機能の一部であるかのように描かれているが、専用の回路であってもよい。
映像出力部113は、デコーダ112から映像データを適時に、すなわち当該映像データに対応する出力タイミングの到来前に、受け取り、これを出力装置130へ送る。なお、映像出力部113は、映像データに限らず音声データの出力を制御してもよい。
映像データがパノラマ映像を表す場合には、映像出力部113は、再生する映像の視点を制御してもよい。例えば、映像出力部113は、入力データ記憶部123に保存されているゲストの頭部および/または視線の方向、またはゲスト端末30の姿勢を表す入力データ、および/またはゲストによる視点切り替えのための操作を表す入力データに基づいて、再生する映像の視点を決定し得る。そして、映像出力部113は、決定した視点に応じた映像データを、デコーダ112からの映像データに基づいて生成し、これを出力装置130へ送ってもよい。
また、映像出力部113は、映像データに必要に応じてGUI(Graphical User Interface)部品、および/または後述されるパーティションを明示するための表示(例えば、パーティションの境界線および/またはパーティションのラベル)を付加してから出力装置130へ送ってもよい。
出力装置130は、映像出力部113から映像データを受け取り、これを表示する。なお、出力装置130は、映像データの表示に加えて、音声データを出力してもよい。
入力装置140は、ゲスト端末30における入力に基づいて入力データを発生し、これを入力データ取得部114へ送る。ここで、入力データは、例えば、ゲストの頭部および/または視線の方向、またはゲスト端末30の方向を表すデータ、ゲストによるゲスト端末30の表示映像に対する操作(例えば、キャプチャ操作、視点切り替えのための操作、映像に重畳されたGUI部品を選択する操作、映像のパーティションを選択する操作)を表すデータ、などの一部または全部と、かかるデータの生成時に対応する映像データの再生時刻を示す再生時刻データとを含み得る。
なお、ゲスト端末30は、オプションとしてキャプチャ機能を実装し得る。ゲスト端末30がキャプチャ機能を実装する場合には、プロセッサ110が、例えばキャプチャ操作を表す入力データに応じて、出力装置130に含まれる表示デバイスに表示されている映像をキャプチャしてキャプチャ画像を生成するキャプチャ部(図示しない)として機能し得る。
入力データ取得部114は、入力装置140から種々の入力データを受け取り、これを入力データ記憶部123に書き込む。
入力データ記憶部123は、入力データ取得部114によって取得された入力データを保存する。入力データ記憶部123に保存された入力データは、プロセッサ110の種々の機能部、例えば、視聴行動データ生成部115によって読み出される。
視聴行動データ生成部115は、入力データ記憶部123から入力データを読み出し、これに基づいてゲストの映像視聴時の意識的なまたは無意識の行動を表す視聴行動データを生成する。視聴行動データ生成部115は、生成した視聴行動データを視聴行動データ記憶部122に書き込む。
具体的には、映像データがパノラマ映像、すなわち視点の切り替えが可能な映像である場合に、視聴行動データ生成部115は、ある時点におけるゲストの視野方向を表す視野方向データと、当該時点に対応する映像データの再生時刻を示す再生時刻データとを含む視聴行動データを生成してもよい。ここで、ある時点とは、例えば予め定められたタイミングであってもよいし、例えばゲストがキャプチャ操作などの所定の入力を行ったタイミングであってもよい。
視聴行動データ生成部115は、例えば入力データに含まれ得る、ゲストの頭部および/または視線の方向、またはゲスト端末30の方向を表すデータに基づいて視野方向データを生成し得る。一例として、視聴行動データ生成部115は、ゲストの視野を図4に例示されるように、ホストの視野を基準として正面方向(F)、右方向(R)、左方向(L)および後方(B)の4つの視野領域に分割し、ゲストの頭部および/または視線の方向、またはゲスト端末30の方向がいずれの視野領域に該当するかを判定し、判定した視野領域を表すインデックスを視野方向データとして生成してもよい。なお、図4は例示に過ぎず、ゲストの視野は3以下の視野領域に分割されてもよいし、5以上の視野領域に分割されてもよい。また、視野領域は、映像の視点切り替えの単位と一致していてもよいししなくてもよい。
後述するように、これら視野方向データおよび再生時刻データと、映像データとを組み合わせれば、再生時刻データの示す再生時刻におけるゲストの視野画像をある程度再現することができる。この視野画像には、ゲストの注目した対象が含まれている可能性がある。例えば図5に例示される視野画像は、被写体として、ブース301、展示物301-1,301-2,301-3,ブース302、および展示物302-1を含んでいるが、ゲストがこれらの一部または全部に興味・関心がある可能性がある。
また、映像データがパノラマ映像、または通常の映像、すなわち視点切り替えが不可能な映像、である場合に、視聴行動データ生成部115は、ゲストによるキャプチャ操作に応じて生成されたキャプチャ画像と、このキャプチャ操作のなされた時に対応する映像データの再生時刻を示す再生時刻データとを含む視聴行動データを生成してもよい。キャプチャ画像は、データ容量が視野方向データに比べて大きい反面、キャプチャ操作がなされた時のゲストの視野画像そのものであるので、視野画像を再現する処理が不要であるうえにかかる処理に起因する視野の誤差も生じないという利点がある。また、ゲストが能動的にキャプチャ操作を行って保存したキャプチャ画像には、当該ゲストの注目した対象が含まれている可能性が高いと推定できる。
なお、映像は、例えば図6に示されるように、複数のパーティションに区切って表示されてもよい。図6の例では、映像は3つのパーティションL(左)、C(中央)、およびR(右)に区切られている。ゲストがいずれかのパーティションを選択する操作を行ったとすると、そのパーティションには、当該ゲストの注目した対象が含まれている可能性が高いと推定できる。例えば、図6の例では、ゲストがパーティションLを選択すれば当該ゲストは展示物301-1および/またはブース301に興味・関心があると推定できるし、ゲストがパーティションCを選択すれば当該ゲストは展示物301-2,展示物301-2および/またはブース301に興味・関心があると推定できるし、ゲストがパーティションRを選択すれば当該ゲストは展示物302-1および/またはブース302に興味・関心があると推定できる。ただし、図6は例示に過ぎず、映像は2以下のパーティションに区切られてもよいし、4以上のパーティションに区切られてもよい。また、例えば、物体認識技術などを利用して、物体毎に対応するパーティションが定められてもよい。
そこで、視聴行動データ生成部115は、ゲストによるパーティションの選択がなされた時の視野方向データおよび/またはキャプチャ画像と、選択されたパーティションを示すパーティション選択データと、パーティションの選択がなされた時に対応する映像データの再生時刻を示す再生時刻データとを含む視聴行動データを生成してもよい。
さらに、映像には、例えば図7に示されるように、GUI部品が重畳して表示され得る。図7のGUI部品401を選択したゲストは、現在表示されている映像の被写体であるブース301、および展示物301-1,301-2,301-3の少なくとも一部に興味・関心があると推定できる。他方、図7のGUI部品402を選択したゲストは、現在表示されている映像の被写体であるブース301、および展示物301-1,301-2,301-3の少なくとも一部に興味・関心がないか、他のブースおよび/または展示物に興味・関心があると推定できる。
そこで、視聴行動データ生成部115は、映像に重畳して表示されたGUI部品のうちゲストに選択されたものを示すGUI選択データと、かかる選択のなされた時に対応する映像データの再生時刻を示す再生時刻データとを含む視聴行動データを生成してもよい。なお、映像データがパノラマ映像である場合には、ゲストの視野画像を再現可能とするために、視聴行動データ生成部115は、GUI部品が選択された時の視野方向データおよび/またはキャプチャ画像を視聴行動データに含める必要がある。
視聴行動データ記憶部122は、視聴行動データ生成部115によって生成された視聴行動データを保存する。視聴行動データ記憶部122に保存された視聴行動データは、プロセッサ110の種々の機能部、例えば、視聴行動報告部116によって読み出される。
視聴行動報告部116は、視聴行動データ記憶部122から視聴行動データを読み出し、これを注目度算出サーバ40に報告する。具体的には、視聴行動報告部116は、視聴行動データを送信部102へ送り、送信部102はこの視聴行動データをネットワーク経由で注目度算出サーバ40へ送信する。
次に、注目度算出サーバ40の構成について詳しく説明する。注目度算出サーバ40は、図3に例示されるように、通信I/F 200と、プロセッサ210と、メモリ220とを含む。
通信I/F 200は、ネットワーク経由で、外部装置、例えば、ホスト端末10、映像配信サーバ20、ゲスト端末30、注目度利活用サーバ50、などと通信をするためのモジュールであって、例えば、送受信のための信号処理回路、光コネクタなどを含み得る。通信I/F 200は、例え光通信モジュール、などであり得る。
プロセッサ210は、汎用または専用のプロセッサなどであってもよい。プロセッサ210は、例えば、入出力制御、通信制御、後述される注目対象の特定および注目度の算出、などを行う。
メモリ220は、プロセッサ210が各処理を実現するために当該プロセッサ210によって実行されるプログラムおよび当該プロセッサ210によって使用されるデータ、例えば、視聴行動データ、注目対象データ、注目度、などを一時的に格納する。さらに、メモリ220は、視聴行動データに関連付けられるゲストの視野画像を再現するために、映像データを格納し、および/または後述される基準位置姿勢データおよびマップデータを格納し得る。メモリ220は、かかるプログラム/データが展開されるワークエリアを有するRAMを含み得る。
プロセッサ210は、メモリ220に保存されたプログラムを実行することで、図3の受信データ取得部211、注目対象特定部212、注目度算出部213、および注目度報告部214として機能し得る。また、メモリ220は、図3の視聴行動データ記憶部221、注目度記憶部222および注目対象データ記憶部223を含み得る。
通信I/F 200は、外部装置から種々のデータをネットワーク経由で受信する受信部201と、外部装置へ種々のデータをネットワーク経由で送信する送信部202とを含む。受信部201は、ゲスト端末30から視聴行動データを受信し、これを受信データ取得部211へ送る。受信部201は、ホスト端末10および/または映像配信サーバ20から(エンコード済み)映像データおよび/または基準位置姿勢データを受信し、これを受信データ取得部211へ送り得る。ここで、基準位置姿勢データは、所与の時刻におけるホストの位置と映像データの基準アングルとを示す。また、送信部202は、注目度報告部214から注目度を受け取り、これを注目度利活用サーバ50へ送信する。
受信データ取得部211は、受信部201から受信データを取得し、これをメモリ220に書き込む。一例として、受信データ取得部211は、受信部201から視聴行動データを取得し、これを視聴行動データ記憶部221に書き込む。また、受信データ取得部211は、受信部201から(エンコード済み)映像データおよび/または基準位置姿勢データを取得し、これをメモリ120に書き込み得る。
視聴行動データ記憶部221は、受信データ取得部211によって取得された視聴行動データを保存する。視聴行動データ記憶部221に保存された視聴行動データは、プロセッサ210の種々の機能部、例えば注目対象特定部212によって読み出され得る。
なお、視聴行動データは、ホストおよびゲストの区別なく集積されてもよいし、ホストまたはゲストを区別して集積されてもよい。すなわち、あるホスト端末10によって発信される映像の視聴時に生成された視聴行動データと、別のホスト端末10によって発信される映像の視聴時に視聴行動データとは区別されてもよい。この場合に、視聴行動データは、どのホスト端末10をソースとする映像の視聴時に当該視聴行動データが生成されたかを表すホスト識別子を含み得る。また、あるゲストのゲスト端末30により生成された視聴行動データと、別のゲストのゲスト端末30により生成された視聴行動データとは区別されてもよい。この場合に、視聴行動データは、どのゲスト端末30により当該視聴行動データが生成されたかを表すゲスト識別子を含み得る。
注目対象特定部212は、視聴行動データ記憶部221から視聴行動データを読み出し、メモリ220から展示会における複数の展示対象の参照データを読み出す。ここで、参照データは、例えば、展示対象の外観(展示対象および/またはその属する出展主体のロゴおよび/または商標、展示対象としての人物の顔、などの部分的な外観を含み得る)、展示対象に付与されたコード(例えば、一次元コード、二次元コード、など)、展示対象に関連付けられるテキスト(例えば、名称、愛称、識別番号、説明文など)、展示対象の位置、などを示し得る。なお、複数の展示対象の位置を示す参照データは、マップデータと呼ぶこともできる。注目対象特定部212は、視聴行動データおよび参照データに基づいて、当該視聴行動データに含まれる再生時刻データの示す映像データの再生時刻において、ゲストが注目した対象を特定する。そして、注目対象特定部212は、例えば、この再生時刻データと、特定した対象を識別する展示対象識別子とを含む注目対象データを生成し、これを注目対象データ記憶部223に書き込む。
なお、視聴行動データが前述のホスト識別子および/またはゲスト識別子を含む場合には、注目対象データもまたこれを含んでもよい。また、ホスト識別子および/またはゲスト識別子は、それぞれ1つまたは複数の属性、例えば、性別、年代、嗜好、スキル、などを識別する属性識別子に変換されてもよい。なお、ホスト識別子および/またはゲスト識別子から属性識別子への変換ルールは、例えば図1の映像共有システムのユーザ情報を管理するサーバによって作成され、注目度算出サーバ40がこれを取得してもよい。例えば、あるゲスト識別子が「男性」、「30代」、「アーリーアダプター」、「専門家」などの属性を識別する属性識別子に変換され、注目対象データに含められてもよい。
具体的には、注目対象特定部212は、以下に列挙するように様々な技法により、ゲストが注目した対象を特定することができる。
(1)視聴行動データが前述の視野方向データおよび再生時刻データを含み、メモリ220には(パノラマ映像を表す)映像データが保存されているとする。この場合に、注目対象特定部212は、再生時刻データおよび視野方向データに基づいて、映像データから当該再生時刻データの示す再生時刻におけるゲストの視野画像を抽出する。例えば、注目対象特定部212は、映像データのうち再生時刻データの示す再生時刻に対応する1枚のパノラマ画像を抽出し、さらにこのパノラマ画像から視野方向データの示す視野方向に対応する1視点分の画像をゲストの視野画像として抽出し得る。
そして、注目対象特定部212は、この視野画像の被写体から、再生時刻データの示す再生時刻においてゲストが注目した対象を特定する。具体的には、注目対象特定部212は、被写体の外観を参照データに含まれる複数の展示対象の外観と比較したり、被写体に含まれるテキスト領域またはコード領域を抽出し、抽出した領域を参照データに含まれる複数の展示対象に関連付けられるテキストまたは展示対象に付与されたコードと比較したりすることで、視野画像に含まれる被写体が複数の展示対象のいずれかに該当するか否かを判定できる。
(2)視聴行動データが前述のキャプチャ画像および再生時刻データを含んでいるとする。この場合に、注目対象特定部212は、このキャプチャ画像の被写体から、再生時刻データの示す再生時刻においてゲストが注目した対象を特定する。具体的には、注目対象特定部212は、上記(1)と同様の技法により、キャプチャ画像に含まれる被写体が複数の展示対象のいずれかに該当するか否かを判定できる。
(3)視聴行動データが前述のGUI選択データおよび再生時刻データを含んでいるとする。なお、視聴行動データがキャプチャ画像をさらに含んでいる場合、またはメモリ220に(通常の映像を表す)映像データが保存されている場合には、注目対象特定部212は、このキャプチャ画像、または映像データのうち再生時刻データの示す再生時刻に対応する1枚の画像、をゲストの視野画像として扱うことができる。他方、視聴行動データが視野方向データをさらに含んでいて、かつメモリ220に(パノラマ映像を表す)映像データが保存されている場合には、注目対象特定部212は、上記(1)と同様の技法により、ゲストの視野画像を抽出できる。
そして、注目対象特定部212は、この視野画像の被写体から上記(1)と同様の技法により複数の展示対象のいずれかに該当するものを抽出し、抽出した展示対象をさらにGUI選択データに基づいて絞り込むことで、再生時刻データの示す再生時刻においてゲストが注目した対象を特定する。例えば、GUI選択データが「右の展示物」のようなGUI部品が選択されたことを示す場合には、注目対象特定部212は、視野画像において右側に位置する展示物をゲストが注目した対象として特定し得る。また、GUI選択データが例えば図7のGUI部品401が選択されたことを示す場合には、注目対象特定部212は、視野画像に含まれる展示対象をゲストが注目した対象として特定し得る。他方、GUI選択データが例えば図7のGUI部品402が選択されたことを示す場合には、注目対象特定部212は、視野画像に含まれる展示対象をゲストが注目した対象から除外し得る。
(4)視聴行動データが前述のパーティション選択データおよび再生時刻データを含んでいるとする。なお、視聴行動データがキャプチャ画像をさらに含んでいる場合、またはメモリ220に(通常の映像を表す)映像データが保存されている場合には、注目対象特定部212は、このキャプチャ画像、または映像データのうち再生時刻データの示す再生時刻に対応する1枚の画像、をゲストの視野画像として扱うことができる。他方、視聴行動データが視野方向データをさらに含んでいて、かつメモリ220に(パノラマ映像を表す)映像データが保存されている場合には、注目対象特定部212は、上記(1)と同様の技法により、ゲストの視野画像を抽出できる。
そして、注目対象特定部212は、この視野画像をパーティション選択データに基づいてさらに絞り込む。例えば、パーティション選択データが例えば図6のパーティションLが選択されたことを示す場合には、注目対象特定部212は、視野画像からこのパーティションLに該当する部分をトリミングし得る。そして、注目対象特定部212は、上記(1)と同様の技法により、この絞り込み後の視野画像に含まれる被写体が複数の展示対象のいずれかに該当するか否かを判定できる。
(5)視聴行動データが前述の視野方向データおよび再生時刻データを含み、メモリ220にはマップデータおよび基準位置姿勢データが保存されているとする。注目対象特定部212は、再生時刻データ、基準位置姿勢データに基づいて、再生時刻データの示す再生時刻におけるホストの位置と映像データの基準アングルとを決定する。さらに、注目対象特定部212は、決定した映像データの基準アングルを、視野方向データの示す視野方向に応じて回転させて、再生時刻データの示す再生時刻におけるゲストの視野範囲を推定する。マップデータは、展示会における複数の展示対象をその位置に関連付ける。そして、注目対象特定部212は、推定したゲストの視野範囲内に展示されている展示対象を、再生時刻データの示す再生時刻においてゲストが注目した対象として特定する。具体的には、図8に例示されるように、注目対象特定部212は、ホストの位置501を中心にゲストの視野範囲502を推定し、この視野範囲502の内に展示されているブースA01、および/または当該ブースA01内の展示物を、ゲストが注目した対象として特定し得る。
上記(5)の技法によれば、上記(1),(3)~(4)のようなメモリ220に大容量の映像データを保存する必要のある技法に比べて、メモリ220の使用量を節約できる可能性がある。加えて、上記(5)の技法によれば、同じ展示会に参加する他のホストの映像に関わる注目度の算出時にも同じマップデータを利用することで、メモリ220の使用量をさらに節約できる。或いは、上記(1),(3)~(4)の技法において、注目度算出サーバ40が、ホスト端末10または映像配信サーバ20に映像データのうち再生時刻データの示す再生時刻に対応する画像を要求するようにしてもよい。
注目対象データ記憶部223は、注目対象特定部212によって生成された注目対象データを保存する。注目対象データ記憶部223に保存された注目対象データは、プロセッサ210の種々の機能部、例えば注目度算出部213によって読み出される。なお、注目対象データは、例えば、再生時刻、ゲスト識別子、ホスト識別子、および/または属性識別子をキーとして含んでいてもよく、所望のキーにマッチするものを選択的に読み出し可能であってもよい。
注目度算出部213は、注目対象データ記憶部223から注目対象データを読み出し、これに基づいて複数の展示対象の注目度を算出する。そして、注目度算出部213は、算出した注目度を注目度記憶部222に書き込む。
注目度算出部213は、注目対象データの示す対象の注目度が相対的に増加するように複数の展示対象の注目度を算出し得る。具体的には、注目度算出部213は、あるゲストについて得られた注目対象データの示す対象の注目度が、当該ゲストによる当該対象への注目の持続時間の長さに応じて増加するように複数の展示対象の注目度を算出してもよい。例えば、注目度算出部213は、複数の再生時刻に亘って、展示対象毎に、注目対象データにおける当該展示対象の出現数を集計し、この集計結果に基づいて当該展示対象の注目度を算出する。また、注目度算出部213は、あるゲストについて得られた一連の注目対象データの示すある対象への注目の持続時間が閾値未満である場合に、当該一連の注目対象データを破棄してもよい。換言すれば、注目度算出部213は、あるゲストについて得られた一連の注目対象データの示すある対象への注目の持続時間が閾値を超える場合に、当該一連の注目対象データに基づいて注目度を算出してもよい。
注目度算出部213は、ゲスト別/属性別に注目度を算出してもよい。すなわち、注目度算出部213は、あるゲスト識別子/属性識別子を含む注目対象データを注目対象データ記憶部223から読み出し、展示対象毎に、読み出した注目対象データにおける当該展示対象の出現数を複数の再生時刻に亘って集計し、この集計結果に基づいて当該ゲスト識別子の示すゲスト/属性識別子の示す属性値を持つゲストの当該展示対象の注目度を算出してもよい。
また、注目度算出部213は、ホスト別に注目度を算出してもよい。すなわち、注目度算出部213は、あるホスト識別子を含む注目対象データを注目対象データ記憶部223から読み出し、展示対象毎に、読み出した注目対象データにおける当該展示対象の出現数を複数の再生時刻に亘って集計し、この集計結果に基づいて当該ホスト識別子の示すホストによる撮影映像を視聴するゲストの当該展示対象の注目度を算出してもよい。
さらに、注目度算出部213は、展示会における総合的な注目度を算出してもよい。すなわち、注目度算出部213は、全ての注目対象データを注目対象データ記憶部223から読み出し、展示対象毎に、読み出した注目対象データにおける当該展示対象の出現数を複数の再生時刻に亘って集計し、この集計結果に基づいて当該展示会に仮想的に参加する全ゲストの当該展示対象の注目度を算出してもよい。
注目度記憶部222は、注目度算出部213によって算出された注目度を保存する。注目度記憶部222に保存された注目度は、プロセッサ210の種々の機能部、例えば注目度報告部214によって読み出される。なお、注目度は、例えば、所望の再生時刻、ゲスト識別子、ホスト識別子、および/または属性識別子をキーとして含んでいてもよく、所望のキーにマッチするものを選択的に読み出し可能であってもよい。
注目度報告部214は、注目度記憶部222から注目度を読み出し、これを注目度利活用サーバ50に報告する。具体的には、注目度報告部214は、注目度を送信部202へ送り、送信部202はこの注目度をネットワーク経由で注目度利活用サーバ50へ送信する。
以下、図9を用いて、注目度算出サーバ40の動作例を説明する。図9の動作はステップS601から開始する。
ステップS601において、受信部201は、ゲスト端末30から視聴行動データを受信するのを待ち受ける。受信部201が、視聴行動データを受信すると処理はステップS602へ進む。他方、受信部201が視聴行動データを受信する前に、注目度の算出タイミングが到来すると処理はステップS606へと進む(ステップS605)。
ここで、注目度の算出タイミングは任意に定められ得る。例えば展示会の開催中にリアルタイムに注目度を算出する場合には、例えば、1分おき、10分おき、1時間おき、などで注目度の算出タイミングが定められてもよい。或いは、例えば展示会の半日分、または1日分の日程の終了後、または展示会の全日程の終了後に、注目度の算出タイミングが定められてもよい。
ステップS602において、受信データ取得部211は、受信部201によって受信された視聴行動データを取得し、これを視聴行動データ記憶部221に書き込む。次に、注目対象特定部212は、ステップS602において取得された視聴行動データに基づいて、当該視聴行動データに含まれる再生時刻データの示す再生時刻にゲストが注目した対象を特定し、注目対象データを生成する(ステップS603)。
なお、ステップS602およびステップS603は、必ずしも連続的に行われる必要はなく、例えばステップS602が複数回実行される毎に、または所定の周期で、ステップS603が実行されてもよい。この場合に、ステップS602の後に、処理は、ステップS603の代わりに、ステップS601に戻ってもよいし、ステップS605へ進んでもよい。
注目対象特定部212は、ステップS603において生成した注目対象データを注目対象データ記憶部223に書き込み(ステップS604)、処理はステップS605へと進む。なお、ステップS604の後に、処理はステップS605の代わりにステップS601に戻ってもよい。
ステップS606において、注目度算出部213は、ステップS604において注目対象データ記憶部223に保存された注目対象データに基づいて、複数の展示対象の注目度を算出し、注目度記憶部222に保存する。
そして、注目度報告部214は、ステップS606において算出された注目度を注目度利活用サーバ50に報告し(ステップS607)、図9の動作は終了する。
なお、ステップS606およびステップS607は、必ずしも連続的に行われる必要はなく、例えばステップS606が複数回実行される毎に、または所定の周期で、ステップS607が実行されてもよい。この場合に、ステップS606の後に、処理は、ステップS607の代わりに、ステップS601に戻ってもよいし、ステップS605に戻ってもよい。
次に、第1の実施形態に係る注目度利活用サーバ50の構成について詳しく説明する。この注目度利活用サーバ50は、図10に例示されるように、通信I/F 700と、プロセッサ710と、メモリ720とを含む。
通信I/F 700は、ネットワーク経由で、外部装置、例えば、注目度算出サーバ40、注目度利活用クライアント60、などと通信をするためのモジュールであって、例えば、送受信のための信号処理回路、光コネクタなどを含み得る。通信I/F 700は、例え光通信モジュール、などであり得る。
プロセッサ710は、汎用または専用のプロセッサなどであってもよい。プロセッサ710は、例えば、入出力制御、通信制御、後述されるランキングの作成、などを行う。
メモリ720は、プロセッサ710が各処理を実現するために当該プロセッサ710によって実行されるプログラムおよび当該プロセッサ710によって使用されるデータ、例えば、注目度、ランキング、などを一時的に格納する。メモリ720は、かかるプログラム/データが展開されるワークエリアを有するRAMを含み得る。
プロセッサ710は、メモリ720に保存されたプログラムを実行することで、図10の受信データ取得部711、ランキング作成部712、およびランキング報告部713として機能し得る。また、メモリ720は、図10の注目度記憶部721およびランキング記憶部723を含み得る。
通信I/F700は、外部装置から種々のデータをネットワーク経由で受信する受信部701と、外部装置へ種々のデータをネットワーク経由で送信する送信部702とを含む。受信部701は、注目度算出サーバ40から注目度を受信し、これを受信データ取得部711へ送る。また、送信部702は、ランキング報告部713からランキングを受け取り、これを注目度利活用クライアント60へ送信する。
ここで、前述のように、注目度は、ホストが展示会を撮影した映像データを共有するゲストの端末において取得された入力に基づいて、注目度算出サーバ40によって算出される。注目度は、その対応する展示対象にゲストが注目した度合いを示す。
受信データ取得部711は、受信部701から受信データを取得し、これをメモリ720に書き込む。一例として、受信データ取得部711は、受信部701から注目度を取得し、これを注目度記憶部721に書き込む。
注目度記憶部721は、受信データ取得部711によって取得された注目度を保存する。注目度記憶部721に保存された注目度は、プロセッサ710の種々の機能部、例えばランキング作成部712によって読み出される。なお、注目度は、例えば、所望の再生時刻、ゲスト識別子、ホスト識別子、および/または属性識別子をキーとして含んでいてもよく、所望のキーにマッチするものを選択的に読み出し可能であってもよい。
ランキング作成部712は、ランキングの対象となる複数の展示対象の注目度を注目度記憶部721から読み出し、これに基づいて複数の展示対象に関わるランキングを作成する。ランキング作成部712は、作成したランキングをランキング記憶部723に書き込む。
具体的には、ランキング作成部712は、注目度の降順に複数の展示対象を配列してランキングを作成し得る。なお、各展示対象の注目度が識別子毎に区別して注目度記憶部721に保存されている場合には、ランキング作成部712は、所望の識別子に対応する注目度を用いてランキングを作成してもよい。所望の識別子が複数の識別子の組み合わせである場合には、ランキング作成部712は、展示対象毎に、所望の識別子に関連付けられる注目度を読み出して合算するなどして、当該展示対象の注目度を統合してもよい。
ランキング作成部712は、例えば注目度が上位の所定数の展示対象をランキングに含め、その他の展示対象をランキングに含めなくてもよい。また、ランキング作成部712は、例えば注目度が閾値以上であった展示対象をランキングに含め、その他の展示対象をランキングに含めなくてもよい。
ランキング作成部712は、種々の観点のランキングを作成可能である。例えば、ランキング作成部712は、展示会の全日程に亘る全展示対象に関わるランキングを作成してもよいし、展示会の全日程に亘る一部の展示対象に関わるランキングを作成してもよいし、展示会の一部の日程に亘る全展示対象に関わるランキングを作成してもよいし、展示会の一部の日程に亘る一部の展示対象に関わるランキングを作成してもよい。さらに、ランキング作成部712は、例えばある属性識別子に関連付けられる注目度を注目度記憶部721から読み出し、読み出した注目度に基づいてこれらのランキングを作成してもよい。
例えば、ランキング作成部712は、図11に例示されるように複数の出展主体のランキングを作成してもよい。ここで、複数の展示対象、例えば、製品、見本品、ブース、などの各々は、複数の出展主体、例えば、企業、公的団体、個人、などのいずれかに関連付けられているとする。そして、展示対象と出展主体との関係を定義するデータが、例えばメモリ720に保存されており、ランキング作成部712はこのデータを参照可能であるとする。ランキング作成部712は、出展主体毎に当該出展主体に関連付けられる展示対象の注目度を合算して当該出展主体のスコアを算出し、このスコアの降順に複数の出展主体を配列して図11のようなランキングを作成し得る。
かかるランキングは、例えば各出展主体にとっては、自らの出展内容を見直す材料、競合の出展内容へのゲストの反応を分析する材料、ゲストの反応が良かった他の出展主体を分析する材料、などとなり得る。また、かかるランキングは、例えば展示会の主催者にとっては、各出展主体へのゲストの反応を分析する材料となり得る。さらに、かかるランキングは、ホストにとっては、これから訪ねるべき出展主体を決定する材料となり得る。例えば、ホストは、次に訪ねる出展主体の候補としてゲストの反応が良かった出展主体を追加できる。加えて、かかるランキングは、ゲストにとっては、ホストを選択する材料、またはホストに次に訪ねて欲しい出展主体を選択する材料となり得る。例えば、ゲストは、他のゲストの反応が良かった出展主体を特定し、当該出展主体やその近くの出展主体を撮影しているホストの映像を選択して視聴したり当該出展対象を訪れるようにホストに要求したりできる。
また、例えば、ランキング作成部712は、図12に例示されるように出展主体毎にその展示対象のランキングを作成してもよい。ランキング作成部712は、所望の出展主体に関連付けられる展示対象を、当該展示対象の注目度の降順に配列して図12のようなランキングを作成し得る。
かかるランキングは、例えば出展主体にとっては、自らの各展示対象へのゲストの反応を分析する材料となり得る。また、かかるランキングは、ホストにとっては、現在訪れている出展主体に関して、掘り下げる展示対象を決定する材料となり得る。例えば、ホストは、ゲストの反応が良かった展示対象について近接撮影を行ったり、ガイドに質問をしたり、説明文を読み上げたりしてゲストのニーズに応えることができる。加えて、かかるランキングは、ゲストにとっては、ホストに掘り下げて欲しい展示対象を選択する材料となり得る。例えば、ゲストはホストが現在訪ねている出展主体に関連付けられる展示対象のうち他のゲストの反応が良かった展示対象を特定し、当該展示対象を掘り下げるようにホストに要求できる。
ランキング記憶部723は、ランキング作成部712によって作成されたランキングを保存する。ランキング記憶部723に保存されたランキングは、プロセッサ710の種々の機能部、例えばランキング報告部713によって読み出される。
ランキング報告部713は、ランキング記憶部723からランキングを読み出し、これを注目度利活用クライアント60に報告する。具体的には、ランキング報告部713は、ランキングを送信部702へ送り、送信部702はこのランキングをネットワーク経由で注目度利活用クライアント60へ送信する。
以下、図13を用いて、注目度利活用サーバ50の動作例を説明する。図13の動作はステップS801から開始する。
ステップS801において、受信部701は、注目度算出サーバ40から注目度を受信するのを待ち受ける。受信部701が、注目度を受信すると処理はステップS802へ進む。他方、受信部701が注目度を受信する前に、ランキングの作成タイミングが到来すると処理はステップS805へと進む(ステップS804)。
ここで、ランキングの作成タイミングは任意に定められ得る。例えば展示会の開催中にリアルタイムにランキングを作成する場合には、例えば、1分おき、10分おき、1時間おき、などでランキングの作成タイミングが定められてもよい。或いは、例えば展示会の半日分、または1日分の日程の終了後、または展示会の全日程の終了後に、ランキングの作成タイミングが定められてもよい。
ステップS802において、受信データ取得部711は、受信部701によって受信された注目度を取得する。そして、受信データ取得部711は、ステップS802において取得した注目度を注目度記憶部721に書き込み(ステップS803)、処理はステップS804へと進む。なお、ステップS803の後に、処理はステップS804の代わりにステップS801に戻ってもよい。
ステップS805において、ランキング作成部712は、ステップS803において注目度記憶部721に保存された注目度に基づいて、複数の展示対象に関わるランキングを作成し、ランキング記憶部723に保存する。
そして、ランキング報告部713は、ステップS805において作成されたランキングを、注目度利活用クライアント60に報告し(ステップS806)、図13の動作は終了する。
なお、ステップS805およびステップS806は、必ずしも連続的に行われる必要はなく、例えばステップS805が複数回実行される毎に、または所定の周期で、ステップS806が実行されてもよい。この場合に、ステップS805の後に、処理は、ステップS806の代わりに、ステップS801に戻ってもよいし、ステップS804に戻ってもよい。
以上説明したように、第1の実施形態に係る注目度利活用サーバは、ホストが展示会を撮影した映像データを共有するゲストの端末において取得された入力に基づいて算出された、展示会における複数の展示対象の注目度を取得し、これに基づいて、複数の展示対象に関わるランキングを作成する。故に、この注目度利活用サーバによれば、例えば展示会の出展主体または展示会の主催者などにこのランキングを有用なフィードバック情報として提供したり、ホストまたはゲストなどにこのランキングを行動決定の支援情報として提供したりすることができる。一例として、複数の人物による歌唱などを鑑賞するコンサートにおいて、ゲストの注目度に基づいてこれらの人物のランキングを作成してもよい。かかるランキングによれば、ゲストやこれらの人物のファンには自分のお気に入りの人物の順位を楽しむという娯楽を提供することができるし、これらの人物やその管理者、スポンサーなどには誰がどのくらい人気があるのかという評価を提供することができる。
(第2の実施形態)
第2の実施形態に係る注目度利活用サーバ50は、注目度に基づいて例えばゲストに推薦する展示対象を抽出し、抽出した展示対象の関連情報を含むドキュメントを注目度加工情報として作成する。
以降、第2の実施形態に係る注目度利活用サーバ50の構成について詳しく説明する。この注目度利活用サーバ50は、図14に例示されるように、通信I/F 900と、プロセッサ910と、メモリ920とを含む。
通信I/F 900、プロセッサ910、およびメモリ920はそれぞれ、図10の通信I/F 700、プロセッサ710、およびメモリ720と同様のハードウェアであり得る。
プロセッサ910は、メモリ920に保存されたプログラムを実行することで、図14の受信データ取得部911、報告対象抽出部912、ドキュメント作成部913、およびドキュメント報告部914として機能し得る。また、メモリ920は、図14の注目度記憶部921、報告対象データ記憶部922、展示対象関連情報記憶部923、およびドキュメント記憶部924を含み得る。
通信I/F900は、外部装置から種々のデータをネットワーク経由で受信する受信部901と、外部装置へ種々のデータをネットワーク経由で送信する送信部902とを含む。受信部901は、注目度算出サーバ40から注目度を受信し、これを受信データ取得部911へ送る。受信部901は、例えば展示会の出展主体または展示会の主催者などのコンピュータ(例えば、図示されないサーバコンピュータ)から、展示会の複数の展示対象のうちの一部または全部の関連情報を受信した場合には、これを受信データ取得部911へ送ってもよい。なお、展示対象の関連情報は必ずしも外部装置から受信する必要はなく、展示対象関連情報記憶部923に予め保存されていてもよい。また、送信部902は、ドキュメント報告部914からドキュメントを受け取り、これを注目度利活用クライアント60へ送信する。
受信データ取得部911は、受信部901から受信データを取得し、これをメモリ920に書き込む。一例として、受信データ取得部911は、受信部901から注目度を取得し、これを注目度記憶部921に書き込む。また、受信データ取得部911は、受信部901から展示会の複数の展示対象のうちの一部または全部の関連情報を取得し、これを展示対象関連情報記憶部923に書き込んでもよい。
注目度記憶部921は、受信データ取得部911によって取得された注目度を保存する。注目度記憶部921に保存された注目度は、プロセッサ910の種々の機能部、例えば報告対象抽出部912によって読み出される。なお、注目度は、例えば、所望の再生時刻、ゲスト識別子、ホスト識別子、および/または属性識別子をキーとして含んでいてもよく、所望のキーにマッチするものを選択的に読み出し可能であってもよい。
報告対象抽出部912は、複数の展示対象の注目度を注目度記憶部921から読み出し、これに基づいて、少なくともこれらの展示対象のうちの少なくとも1つを報告対象群として当該複数の展示対象から抽出する。報告対象抽出部912は、抽出した報告対象群に属する展示対象を識別する展示対象識別子を含む報告対象データを生成し、これを報告対象データ記憶部922に書き込む。
なお、各展示対象の注目度が識別子毎に区別して注目度記憶部921に保存されている場合には、報告対象抽出部912は、所望の識別子に対応する注目度を用いて報告対象群を抽出してもよい。所望の識別子が複数の識別子の組み合わせである場合には、報告対象抽出部912は、展示対象毎に、所望の識別子に関連付けられる注目度を読み出して合算するなどして、当該展示対象の注目度を統合してもよい。
一例として、報告対象抽出部912は、あるゲスト識別子を含む注目度を注目度記憶部921から読み出し、例えば注目度が上位の所定数の展示対象を報告対象群として抽出してもよいし、例えば注目度が閾値以上であった展示対象を報告対象群として抽出してもよい。このように抽出された報告対象群には、当該ゲスト識別子によって識別されるゲストが展示会において強い興味・関心を示した展示対象が含まれる可能性が高い。
また、報告対象抽出部912は、ある属性識別子を含む注目度を注目度記憶部921から読み出し、例えば注目度が上位の所定数の展示対象を報告対象群として抽出してもよいし、例えば注目度が閾値以上であった展示対象を報告対象群として抽出してもよい。このように抽出された報告対象群には、当該属性識別子によって識別される属性値を持つゲスト群が展示会において強い興味・関心を示した展示対象が含まれる可能性が高い。
報告対象データ記憶部922は、報告対象抽出部912によって生成された報告対象データを保存する。例えば、報告対象データは、その対応するゲスト識別子、属性識別子、などが存在する場合には、当該識別子を含み得る。報告対象データ記憶部922に保存された報告対象データは、プロセッサ910の種々の機能部、例えばドキュメント作成部913によって読み出される。
展示対象関連情報記憶部923は、複数の展示対象に関する関連情報を保存する。例えば、関連情報は、その対応する展示対象を識別する展示対象識別子に関連付けられる。関連情報は、例えば、展示対象に関する映像、画像(静止画)、テキスト、などの一部または全部を含み得る。具体的には、関連情報は、展示対象のプロモーション映像、写真、展示対象の説明文、スペック情報、価格、発売日、などであり得る。関連情報は、展示対象関連情報記憶部923に予め保存しておいてもよいし、外部装置からネットワークを介して登録/更新可能としてもよい。展示対象関連情報記憶部923に保存された関連情報は、プロセッサ910の種々の機能部、例えばドキュメント作成部913によって読み出される。
ドキュメント作成部913は、報告対象データ記憶部922から報告対象データを読み出し、当該報告対象データに含まれる展示対象識別子をキーとして展示対象関連情報記憶部923から報告対象群の関連情報を読み出す。なお、報告対象データが何らかの識別子を含む場合には、ドキュメント作成部913は所望の識別子をキーとして報告対象データを読み出し得る。ドキュメント作成部913は、読み出した関連情報を掲載したドキュメントの少なくとも一部を含むドキュメントを作成する。
具体的には、ドキュメント作成部913は、読み出した関連情報の一部または全部を、必要に応じて加工してドキュメントを作成し得る。例えば、注目度の高い展示対象の関連情報をその視認性が向上するように、ドキュメントの上部に掲載したり、掲載する画像を大きくしたり増やしたりしてもよい。また、ドキュメントに関わる例えば、文字数、データ容量、レイアウト、などの制限をクリアするために、ドキュメント作成部913は、読み出した関連情報の一部をドキュメントに含めなくてもよい。
ドキュメントは、例えば、ドキュメントファイル、電子メール、Webページ、SNS(Social Networking Service)の投稿データ、またはDM(Direct Mail)、広告、もしくは記事などの入稿データであってもよいし、これらの草稿データであってもよい。ドキュメントとして草稿データを提供することで、人間による最終的な手直しを可能としつつ、人間が一からドキュメントを作成する場合に比べてその手間を軽減できる。
例えば、あるゲスト識別子を含む報告対象データに基づいて作成したドキュメントは、当該ゲスト識別子によって識別されるゲストの個人的な興味・関心に合致したピンポイントな販促用のドキュメントとなり得る。
また、ある属性識別子を含む報告対象データに基づいて作成したドキュメントは、当該属性値によって識別される属性値を持つゲスト群の統計的な興味・関心に合致した有用な販促用のドキュメントとなり得る。例えば、あるゲストが視聴していた映像に映らなかった展示対象、または当該ゲストが見落とした展示対象であっても、当該ゲストと(部分的に)同じ属性値を持つゲスト群が当該展示対象に強い興味・関心を示していれば、当該展示対象を当該ゲストに気に入る可能性の高い展示対象として推薦することができる。さらに、かかるドキュメントは、展示会の関係者でない人物を対象に広く提供されてもよい。あるゲスト群が強い興味・関心を示した展示対象の関連情報を掲載したドキュメントをWebページ、広告、記事などの形で公表することで、当該ゲスト群と同じ属性値を持つ(潜在)需要者の興味・関心を惹き付けられる可能性がある。
ドキュメント作成部913は、作成したドキュメントをドキュメント記憶部924に書き込む。なお、報告対象データの読み出し時に何らかの識別子をキーとして用いた場合には、ドキュメント作成部913は当該識別子をドキュメントに含めてもよい。
ドキュメント記憶部924は、ドキュメント作成部913によって作成されたドキュメントを保存する。ドキュメント記憶部924に保存されたドキュメントは、プロセッサ910の種々の機能部、例えばドキュメント報告部914によって読み出される。なお、ドキュメントは、例えば、ゲスト識別子、属性識別子、などをキーとして含んでいてもよく、所望のキーにマッチするものを選択的に読み出し可能であってもよい。
ドキュメント報告部914は、ドキュメント記憶部924からドキュメントを読み出し、これを注目度利活用クライアント60に報告する。具体的には、ドキュメント報告部914は、ドキュメントを送信部902へ送り、送信部902はこのドキュメントをネットワーク経由で注目度利活用クライアント60へ送信する。
以下、図15を用いて、注目度利活用サーバ50の動作例を説明する。図15の動作はステップS1001から開始する。
ステップS1001において、受信部901は、注目度算出サーバ40から注目度を受信するのを待ち受ける。受信部901が、注目度を受信すると処理はステップS1002へ進む。他方、受信部901が注目度を受信する前に、ドキュメントの作成タイミングが到来すると処理はステップS1005へと進む(ステップS1004)。
ここで、ドキュメントの作成タイミングは任意に定められ得る。例えば展示会の半日分、または1日分の日程の終了後、または展示会の全日程の終了後に、ドキュメントの作成タイミングが定められてもよい。
ステップS1002において、受信データ取得部911は、受信部901によって受信された注目度を取得する。そして、受信データ取得部911は、ステップS1002において取得した注目度を注目度記憶部921に書き込み(ステップS1003)、処理はステップS1004へと進む。なお、ステップS1003の後に、処理はステップS1004の代わりにステップS1001に戻ってもよい。
ステップS1005において、報告対象抽出部912は、ステップS1003において注目度記憶部921に保存された注目度に基づいて、報告対象群を複数の展示対象から抽出して報告対象データを生成し、これを報告対象データ記憶部922に書き込む。
そして、ドキュメント作成部913は、ステップS1005において生成された報告対象データの示す報告対象群に属する展示対象の関連情報を展示対象関連情報記憶部923から読み出す(ステップS1006)。
なお、ステップS1005およびステップS1006は、必ずしも連続的に行われる必要はなく、例えばステップS1005が複数回実行される毎に、または所定の周期で、ステップS1006が実行されてもよい。この場合に、ステップS1005の後に、処理は、ステップS1006の代わりに、ステップS1005に再び戻ってもよい。
ドキュメント作成部913は、ステップS1006において読み出した関連情報に基づいて、報告対象群に属する展示対象の関連情報を掲載したドキュメントを作成し、ドキュメント記憶部924に保存する(ステップS1007)。
そして、ドキュメント報告部914は、ステップS1007において作成されたドキュメントを、注目度利活用クライアント60に報告し(ステップS1008)、図15の動作は終了する。
なお、ステップS1007およびステップS1008は、必ずしも連続的に行われる必要はなく、例えばステップS1007が複数回実行される毎に、または所定の周期で、ステップS1008が実行されてもよい。この場合に、ステップS1007の後に、処理は、ステップS1008の代わりに、ステップS1001に戻ってもよいし、ステップS1004に戻ってもよい。
以上説明したように、第2の実施形態に係る注目度利活用サーバは、ホストが展示会を撮影した映像データを共有するゲストの端末において取得された入力に基づいて算出された、展示会における複数の展示対象の注目度を取得し、これに基づいて、複数の展示対象の少なくとも一部を報告対象群として抽出し、この報告対象群の関連情報を掲載したドキュメントを作成する。故に、この注目度利活用サーバによれば、例えばゲスト個人に対して当人の興味・関心に合致したピンポイントな販促用ドキュメントを提供したり、同じ属性値を持つゲスト群の統計的な興味・関心に合致した販促用ドキュメントを当該ゲスト群、および/または展示会の関係者でない(潜在)需要者に提供したりすることができる。一例として、複数の人物による歌唱などを鑑賞するコンサートにおいて、ゲスト個人が興味・関心を強く惹かれた人物を当該ゲストの注目度に基づいて特定し、当該人物からのメッセージを含むドキュメントを当該ゲストへ送付することもできる。
(第3の実施形態)
第3の実施形態に係る注目度利活用サーバ50は、注目度に基づいてゲストがホストに撮影を望んでいる展示対象群を抽出し、抽出した展示対象群の撮影をホストに要求する。
以降、第3の実施形態に係る注目度利活用サーバ50の構成について詳しく説明する。この注目度利活用サーバ50は、図16に例示されるように、通信I/F 1100と、プロセッサ1110と、メモリ1120とを含む。
通信I/F 1100、プロセッサ1110、およびメモリ1120はそれぞれ、図10の通信I/F 700、プロセッサ710、およびメモリ720と同様のハードウェアであり得る。
プロセッサ1110は、メモリ1120に保存されたプログラムを実行することで、図16の受信データ取得部1111、撮影対象抽出部1112、要求データ生成部1113、および要求データ通知部1114として機能し得る。また、メモリ1120は、図16の注目度記憶部1121、撮影対象データ記憶部1122、および要求データ記憶部1123を含み得る。
通信I/F 1100は、外部装置から種々のデータをネットワーク経由で受信する受信部1101と、外部装置へ種々のデータをネットワーク経由で送信する送信部1102とを含む。受信部1101は、注目度算出サーバ40から注目度を受信し、これを受信データ取得部1111へ送る。また、送信部1102は、要求データ通知部1114から要求データを受け取り、これを注目度利活用クライアント60へ送信する。なお、第3の実施形態において、注目度利活用クライアント60は、ホスト端末10と同一であり得る。
受信データ取得部1111は、受信部1101から受信データを取得し、これをメモリ1120に書き込む。一例として、受信データ取得部1111は、受信部1101から注目度を取得し、これを注目度記憶部1121に書き込む。
注目度記憶部1121は、受信データ取得部1111によって取得された注目度を保存する。注目度記憶部1121に保存された注目度は、プロセッサ1110の種々の機能部、例えば撮影対象抽出部1112によって読み出される。なお、注目度は、例えば、所望の再生時刻、ゲスト識別子、ホスト識別子、および/または属性識別子をキーとして含んでいてもよく、所望のキーにマッチするものを選択的に読み出し可能であってもよい。
撮影対象抽出部1112は、複数の展示対象の注目度を注目度記憶部1121から読み出し、これに基づいて、少なくともこれらの展示対象のうちの少なくとも1つを撮影対象群として当該複数の展示対象から抽出する。撮影対象抽出部1112は、抽出した撮影対象群に属する展示対象を識別する展示対象識別子を含む撮影対象データを生成し、これを撮影対象データ記憶部1122に書き込む。
なお、各展示対象の注目度が識別子毎に区別して注目度記憶部1121に保存されている場合には、撮影対象抽出部1112は、所望の識別子に対応する注目度を用いて撮影対象群を抽出してもよい。所望の識別子が複数の識別子の組み合わせである場合には、撮影対象抽出部1112は、展示対象毎に、所望の識別子に関連付けられる注目度を読み出して合算するなどして、当該展示対象の注目度を統合してもよい。
一例として、撮影対象抽出部1112は、あるホスト識別子を含む注目度を注目度記憶部1121から読み出し、例えば注目度が上位の所定数の展示対象を撮影対象群として抽出してもよいし、例えば注目度が閾値以上であった展示対象を撮影対象群として抽出してもよい。このように抽出された撮影対象群には、当該ホスト識別子によって識別されるホストの映像を視聴するゲストが展示会において強い興味・関心を示した展示対象が含まれる可能性が高い。
また、撮影対象抽出部1112は、あるホスト識別子および属性識別子を含む注目度を注目度記憶部1121から読み出し、例えば注目度が上位の所定数の展示対象を撮影対象群として抽出してもよいし、例えば注目度が閾値以上であった展示対象を撮影対象群として抽出してもよい。このように抽出された撮影対象群には、当該ホスト識別子によって識別される映像を視聴するゲストのうち当該属性識別子によって識別される属性値を持つゲストが展示会において強い興味・関心を示した展示対象が含まれる可能性が高い。
撮影対象データ記憶部1122は、撮影対象抽出部1112によって生成された撮影対象データを保存する。例えば、撮影対象データは、その対応するホスト識別子、属性識別子、などが存在する場合には、当該識別子を含み得る。撮影対象データ記憶部1122に保存された撮影対象データは、プロセッサ1110の種々の機能部、例えば要求データ生成部1113によって読み出される。
要求データ生成部1113は、撮影対象データ記憶部1122から撮影対象データを読み出す。なお、撮影対象データが何らかの識別子を含む場合には、要求データ生成部1113は所望の識別子をキーとして撮影対象データを読み出し得る。
要求データ生成部1113は、読み出した撮影対象データに基づいて要求データを生成する。要求データは、例えば、注目度利活用クライアント60が提示すべきメッセージを表すテキスト、画像もしくは音声データであってもよいし、かかるデータを特定するデータ(インデックス等)であってもよい。メッセージは、例えば、「このブースをもっと撮影して」、「展示物○○をもっと掘り下げて」、「別のブースに行って」、「△△のブースに行って」、などであり得る。注目度利活用クライアント60は、このようなメッセージをテキストまたは画像として表示したり、音声として出力したりすることで、ホストに行動決定の支援情報、例えばこのまま同じブースの撮影を続けた方がよいか次のブースに行った方がよいか、どの展示物を掘り下げるべきか、どのブースへ行くべきか、などを提供することができる。
例えば、ホストに自らの映像を視聴するゲストの注目度に基づくメッセージを提示することで、当該ホストは自らの映像の視聴者の総合的なニーズに合致した展示対象や出展主体を的確に把握し、視聴者の満足度向上に努めることができる。また、ホストに自らの映像を視聴するゲストのうち特定の属性値を持つゲスト群、一例として当該ホストに対する課金に応じたゲスト群、の注目度に基づくメッセージを提示することで、当該ホストは自らの映像の視聴者のうち特定の視聴者層のニーズに合致した展示対象や出展主体を的確に把握し、当該視聴者層の満足度向上に努めることができる。さらに、ホストに複数のホストに亘るゲストの注目度に基づく要求データに基づくメッセージを提示することで、当該ホストは展示会におけるトレンドとなる展示対象や出展主体を的確に把握し、現在の視聴者の満足度向上や、新たな視聴者の開拓に努めることができる。
或いは、ホストは、人間に限らず、例えば移動式のカメラロボットなどの移動手段および撮影手段を備えた機械であってもよい。この場合に、要求データは、ホストの移動先および/または映像データのアングルの決定を支援するための制御データとして用いられ得る。
要求データ生成部1113は、生成した要求データを要求データ記憶部1123に書き込む。なお、要求データ生成部1113は、ホスト別に要求データを生成した場合には、対応するホストを識別するホスト識別子を要求データに含めてもよい。
要求データ記憶部1123は、要求データ生成部1113によって生成された要求データを保存する。要求データ記憶部1123に保存された要求データは、プロセッサ1110の種々の機能部、例えば要求データ通知部1114によって読み出される。なお、要求データは、例えばホスト識別子をキーとして含んでいてもよく、所望のキーにマッチするものを選択的に読み出し可能であってもよい。
要求データ通知部1114は、要求データ記憶部1123から要求データを読み出し、これを注目度利活用クライアント60に通知する。具体的には、要求データ通知部1114は、要求データを送信部1102へ送り、送信部1102はこの要求データをネットワーク経由で注目度利活用クライアント60へ送信する。
以下、図17を用いて、注目度利活用サーバ50の動作例を説明する。図17の動作はステップS1201から開始する。
ステップS1201において、受信部1101は、注目度算出サーバ40から注目度を受信するのを待ち受ける。受信部1101が、注目度を受信すると処理はステップS1202へ進む。他方、受信部1101が注目度を受信する前に、要求データの生成タイミングが到来すると処理はステップS1205へと進む(ステップS1204)。
ここで、要求データの生成タイミングは任意に定められ得る。例えば展示会の開催中にリアルタイムに、例えば、1分おき、10分おき、1時間おき、などで要求データの生成タイミングが定められてもよい。
ステップS1202において、受信データ取得部1111は、受信部1101によって受信された注目度を取得する。そして、受信データ取得部1111は、ステップS1202において取得した注目度を注目度記憶部1121に書き込み(ステップS1203)、処理はステップS1204へと進む。なお、ステップS1203の後に、処理はステップS1204の代わりにステップS1201に戻ってもよい。
ステップS1205において、撮影対象抽出部1112は、ステップS1203において注目度記憶部1121に保存された注目度に基づいて、撮影対象群を複数の展示対象から抽出して撮影対象データを生成し、これを撮影対象データ記憶部1122に書き込む。
そして、要求データ生成部1113は、ステップS1205において生成した撮影対象データに基づいて、撮影対象群に属する展示対象の撮影をホストに要求する要求データを生成し、要求データ記憶部1123に保存する(ステップS1206)。
なお、ステップS1205およびステップS1206は、必ずしも連続的に行われる必要はなく、例えばステップS1205が複数回実行される毎に、または所定の周期で、ステップS1206が実行されてもよい。この場合に、ステップS1205の後に、処理は、ステップS1206の代わりに、ステップS1205に再び戻ってもよい。
そして、要求データ通知部1114は、ステップS1206において生成された要求データを、注目度利活用クライアント60に通知し(ステップS1207)、図17の動作は終了する。
なお、ステップS1206およびステップS1207は、必ずしも連続的に行われる必要はなく、例えばステップS1206が複数回実行される毎に、または所定の周期で、ステップS1207が実行されてもよい。この場合に、ステップS1206の後に、処理は、ステップS1207の代わりに、ステップS1201に戻ってもよいし、ステップS1204に戻ってもよい。
以上説明したように、第3の実施形態に係る注目度利活用サーバは、ホストが展示会を撮影した映像データを共有するゲストの端末において取得された入力に基づいて算出された、展示会における複数の展示対象の注目度を取得し、これに基づいて、複数の展示対象の少なくとも一部を撮影対象群として抽出し、この撮影対象群の撮影をホストに要求する要求データを生成する。故に、この注目度利活用サーバによれば、ホストに行動決定の支援情報、例えばこのまま同じブースの撮影を続けた方がよいか次のブースに行った方がよいか、どの展示物を掘り下げるべきか、どのブースへ行くべきか、などを提供することができる。一例として、複数の人物による歌唱などを鑑賞するコンサートにおいて、人気の高い人物をゲストの注目度に基づいて特定し、ホストに、どの人物をメインに撮影すべきか、などの行動決定の支援情報を提供することができる。
(変形例)
実施形態の説明では、注目度利活用サーバおよび注目度利活用クライアントを分離した装置としたが、注目度利活用クライアントが注目度利活用サーバの機能の一部または全部を有していてもよい。例えば、注目度利活用クライアントが、注目度算出サーバから注目度を収集し、注目度に基づいて注目度加工情報を生成し、注目度加工情報を出力してもよい。注目度利活用サーバ、注目度利活用クライアント、などの注目度を利活用する装置を注目度利活用装置と呼ぶことができる。
実施形態の説明では、注目度算出サーバが注目度を算出することとしたが、ゲスト端末または他のコンピュータなどが注目度を算出してもよい。注目度算出サーバ、ゲスト端末、などの注目度を算出する装置を注目度算出装置と呼ぶことができる。また、注目度の算出と、注目対象の特定とは異なる装置によって行われてもよい。
上述の実施形態は、本発明の概念の理解を助けるための具体例を示しているに過ぎず、本発明の範囲を限定することを意図されていない。実施形態は、本発明の要旨を逸脱しない範囲で、様々な構成要素の付加、削除または転換をすることができる。
上述の実施形態では、いくつかの機能部を説明したが、これらは各機能部の実装の一例に過ぎない。例えば、1つの装置に実装されると説明された複数の機能部が複数の別々の装置に亘って実装されることもあり得るし、逆に複数の別々の装置に亘って実装されると説明された機能部が1つの装置に実装されることもあり得る。
上記各実施形態において説明された種々の機能部は、回路を用いることで実現されてもよい。回路は、特定の機能を実現する専用回路であってもよいし、プロセッサのような汎用回路であってもよい。
上記各実施形態の処理の少なくとも一部は、例えば汎用のコンピュータに搭載されたプロセッサを基本ハードウェアとして用いることでも実現可能である。上記処理を実現するプログラムは、コンピュータで読み取り可能な記録媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記録媒体に記憶される。記録媒体としては、磁気ディスク、光ディスク(CD-ROM、CD-R、DVD等)、光磁気ディスク(MO等)、半導体メモリなどである。記録媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ(サーバ)上に格納し、ネットワーク経由でコンピュータ(クライアント)にダウンロードさせてもよい。