JP5551913B2

JP5551913B2 - 動画追尾による情報提供システム

Info

Publication number: JP5551913B2
Application number: JP2009236664A
Authority: JP
Inventors: ▲逸▼郎杉山; 実松本
Original assignee: CRAWLER RESEARCH INSTITUTE, INC.
Current assignee: CRAWLER RESEARCH INSTITUTE, INC.
Priority date: 2009-10-13
Filing date: 2009-10-13
Publication date: 2014-07-16
Anticipated expiration: 2029-10-13
Also published as: JP2011087017A; US8776104B2; WO2011046051A1; US20130117772A1

Description

本発明は、動画追尾による情報提供システムに関するものである。

従来、インターネット等の通信ネットワーク上での動画の視聴情報は、動画プレイヤーを起動することでの間接的な視聴開始情報と、動画プレイヤーを終了することでの間接的な視聴終了情報以外は取得することが出来ず、単に動画リンク回数を取得することで視聴したものとみなされており、インターネット動画のタイムライン内、或いは画面内で視聴者がいつ画面のどこに興味を持ったか、どこで停止し、繰り返し再生をどこでしたか等のユーザ視聴行動を効果的に収集することが望まれている。

一方、特許文献１には、画面内を移動するオブジェクトに対し、希望するオブジェクト軌跡を選択し、そのときの詳細情報を表示する技術が提案されており、特許文献２には、視聴中のビデオプログラム動画中の逐次的に変化するビデオ・オブジェクトに対して多様なサブ・コンテンツを付加する技術が提案されている。

特開２００８−２５７５２４号公報特開２００２−２１８４３３号公報

しかしながら、前述の従来例では、動画の画面に追加情報を付加するためには、元動画の編集が必要になり、動画作成時にメタデータ（元動画データに関する事項を記したデータ）の形態で作成することは出来るが、動画完成後に付加することは困難である。また、動画の企画時にすべての使用目的を予測することは困難であり、動画の利用目的は限られてしまうという問題がある。元動画の対象物に対して特定の動作を実装しようとすると特別なプログラムを必要とするため高度なプログラミング知識を有する者しか作成することが出来ないといった制約により動画の双方向使用には大きな制限があった。

本発明は前記課題を解決するものであり、その目的とするところは、元動画を編集加工することなく、高度なプログラミング知識を必要とせず元画像に追尾して容易に情報提供が出来る動画追尾による情報提供システムを提供せんとするものである。

前記目的を達成するための本発明に係る動画追尾による情報提供システムの第１の構成は、元動画画面内で一度または場面に応じて複数回表示される元動画画像が表象する対象物に対して所定の情報提供の目的に応じた制御情報を設けた透明または半透明のオーバーレイ画面を、前記元動画画面上に重畳すると共に前記元動画に同期して表示する動画追尾による情報提供システムであって、元動画を再生する元動画再生部と、前記元動画再生部により再生される元動画に同期して前記元動画の対象物に定義されるオブジェクト図形を描画するオブジェクト図形描画部と、前記オブジェクト図形描画部により描画したオブジェクト図形動画を再生するオブジェクト図形動画再生部と、前記元動画再生部に設けられ、クロック信号を発生するクロック発生部と、前記オブジェクト図形動画再生部に設けられるクロック同期部と、を有し、前記オブジェクト図形動画再生部は、前記元動画再生部の前記クロック発生部から発生するクロック信号に基づいて、現在の再生クロック値を前記クロック発生部から読み出して前記オブジェクト図形動画再生部の前記クロック同期部に送り、前記オブジェクト図形動画再生部のオブジェクト図形動画再生のクロック値を設定し、前記オブジェクト図形動画再生部のオブジェクト図形動画再生のクロック値を前記元動画再生部の前記再生クロック値に同期させることを特徴とする。

また、本発明に係る動画追尾による情報提供システムの第２の構成は、前記第１の構成において、前記元動画再生部により再生される前記元動画の特定の対象物が前記元動画画面内で表示される期間の少なくとも初期画像と末期画像とから前記特定の対象物が現在表示される再生クロックにおける座標情報を演算する座標演算部を有し、前記オブジェクト図形描画部は、前記座標演算部により演算された座標情報に基づいて、前記オーバーレイ画面上で、前記元動画画面上に重畳して元動画上の対象物を特定するオブジェクト図形を描画すると共に該オブジェクト図形に前記制御情報を付加し、前記オブジェクト図形動画再生部は、前記元動画再生部により再生される前記元動画に同期して前記オブジェクト図形描画部により描画したオブジェクト図形動画を再生することを特徴とする。

また、本発明に係る動画追尾による情報提供システムの第３の構成は、前記第２の構成において、前記オブジェクト図形をクリックすることで、予め設定された所定のウエブサイトを起動するか、所定の別動画を起動するか、所定の広告情報を起動するかの少なくとも何れか１つを実行する制御部を有することを特徴とする。

また、本発明に係る動画追尾による情報提供システムの第４の構成は、前記第２、第３の構成において、前記オブジェクト図形動画再生部により再生される前記オブジェクト図形をクリックした回数からなる前記元動画の特定の対象物の視聴ランキング情報、前記オブジェクト図形をクリックした前記元画像上の特定の対象物の再生時間別の再生・停止情報、前記オーバーレイ画面上に複数設けられた前記オブジェクト図形別にクリックした回数からなる前記元動画の特定の対象物の視聴ランキング情報、視聴ユーザ毎の視聴履歴情報のうちの少なくとも１つを収集して統計する情報統計処理部を有することを特徴とする。

また、本発明に係る動画追尾による情報提供システムの第５の構成は、前記第４の構成において、サーバ装置との間で通信可能な通信部を前記オブジェクト図形動画再生部に有し、該通信部は、インターネットを介して前記サーバ装置との間で前記情報統計処理部により収集して統計した前記オブジェクト図形動画再生部により再生される前記オブジェクト図形をクリックした回数からなる前記元動画の特定の対象物の視聴ランキング情報、前記オブジェクト図形をクリックした前記元画像の再生時間別の再生・停止情報、前記オーバーレイ画面上に複数設けられた前記オブジェクト図形別にクリックした回数からなる前記元動画の特定の対象物の視聴ランキング情報、視聴ユーザ毎の視聴履歴情報のうちの少なくとも１つの情報を通信し、前記オブジェクト図形動画再生部の稼働中は、生存信号を定期的に送信することで、外部からの前記元動画再生部及び前記オブジェクト図形動画再生部の強制終了時に前記生存信号の喪失により、前記サーバ装置に視聴の終了を認識させることを特徴とする。

本発明に係る動画追尾による情報提供システムの第１の構成によれば、元動画画面内で一度または場面に応じて複数回表示される元動画画像が表象する対象物に対して所定の情報提供の目的に応じた制御情報を設けた透明または半透明のオーバーレイ画面を、該元動画画面上に重畳すると共に該元動画に同期して表示したことで、元動画を編集加工することなく、元動画画面上に重畳したオーバーレイ画面に設けた制御情報を利用して所望の情報提供が出来る。

また、本発明に係る動画追尾による情報提供システムの第２の構成によれば、座標演算部により元動画の特定の対象物が該元動画画面内で表示される期間の少なくとも初期画像と末期画像とから該特定の対象物が現在表示される再生クロックにおける座標情報を演算することが出来る。そして、オブジェクト図形描画部により座標演算部が演算した座標情報に基づいて、オーバーレイ画面上で、元動画画面上に重畳してオブジェクト図形を描画すると共に該オブジェクト図形に前記制御情報を付加する。そして、オブジェクト図形動画再生部により元動画再生部により再生される元動画に同期して、オブジェクト図形描画部により描画したオブジェクト図形動画を再生することが出来る。

また、本発明に係る動画追尾による情報提供システムの第３の構成によれば、オブジェクト図形をクリックすることで、制御部により元動画の特定の対象物に関連する予め設定された所定のウエブサイトを起動するか、所定の別動画を起動するか、所定の広告情報を起動して所望の情報提供が出来る。

また、本発明に係る動画追尾による情報提供システムの第４の構成によれば、情報統計処理部により、オブジェクト図形動画再生部により再生されるオブジェクト図形をクリックした回数からなる元動画の特定の対象物の視聴ランキング情報、オブジェクト図形をクリックした元画像の再生時間別の再生・停止情報、オーバーレイ画面上に複数設けられたオブジェクト図形別にクリックした回数からなる元動画の特定の対象物の視聴ランキング情報、視聴ユーザ毎の視聴履歴情報を適宜収集して統計することが出来、これを出力すれば元動画の視聴情報に関する有用な統計データを得ることが出来、動画提供者と動画視聴者との双方向使用が可能となる。

また、本発明に係る動画追尾による情報提供システムの第５の構成によれば、通信部によりオブジェクト図形動画再生部の稼働中は、生存信号を定期的に送信することで、視聴者側のパーソナルコンピュータ等が異常終了した場合等の外部からの元動画再生部及びオブジェクト図形動画再生部の強制終了時に生存信号の喪失により、サーバ装置に視聴の終了を認識させることが出来る。これにより、通常の方法で監視をしていたときに、オブジェクト図形動画の再生が継続しているとサーバ装置が誤認することを防止することが出来る。

本発明に係る動画追尾による情報提供システムの全体構成を示すブロック図である。プレイヤー部の構成を示すブロック図である。プレイヤー部とサーバ装置との間の通信を説明する図である。プレイヤー部とサーバ装置との間の通信を説明する図である。プレイヤー部とサーバ装置との間の通信を説明する図である。プレイヤー部とサーバ装置との間の通信を説明する図である。プレイヤー部とサーバ装置との間の通信を説明する図である。元動画画面上にオーバーレイ画面を重畳した構成を説明する模式図である。（ａ），（ｂ）は座標演算部により元動画の特定の対象物が現在表示される再生クロックにおける座標情報を演算する原理を説明する図である。（ａ）はオブジェクト図形描画部により描写されたオブジェクト図形が元動画の特定の対象物として高速道路を走行中の軽トラックを追尾する様子を示す図、（ｂ）は元動画の特定の２つの対象物として高速道路を走行中の軽トラックとシルバー乗用車をそれぞれ追尾する２つのオブジェクト図形のうちの一方をクリックして、その対象物となるシルバー乗用車に関連するウエブサイトを起動した様子を示す図である。（ａ）は元動画の特定の対象物となる交通情報表示板を追尾するオブジェクト図形をクリックして一般道混雑情報動画を起動した様子を示す図、（ｂ）は元動画の特定の対象物として行き先案内のオブジェクト図形をクリックして行き先案内板画像を起動した様子を示す図である。（ａ）は元動画の特定の対象物となるトンネル出口を追尾するオブジェクト図形をクリックして「国境の長いトンネルを抜けると雪国であった。」という書き出しで始まる川端康成の「雪国」の書籍広告のウエブサイトを起動した様子を示す図、（ｂ）は元動画の特定の対象物となる首都高速案内板を追尾するオブジェクト図形をクリックして首都高速道路株式会社が提供するリアルタイム道路交通情報のウエブサイトを起動した様子を示す図である。情報統計処理部により収集して統計された統計情報例で、（ａ）はサイト単位の視聴及びイベント発生状況、（ｂ）は動画単位のイベント発生状況、（ｃ）はユーザクラス単位の視聴履歴をそれぞれ示す図である。

図により本発明に係る動画追尾による情報提供システムの一実施形態を具体的に説明する。

図１において、１は動画追尾による情報提供システムであり、図８、図10〜図12に示すように、元動画画面２内で一度または場面に応じて複数回表示される元動画画像が表象する対象物４に対して所定の情報提供の目的に応じた制御情報となるオブジェクト図形５を設けた透明または半透明のオーバーレイ画面10を、元動画画面２上に重畳すると共に元動画に同期して表示し得るように構成したものである。これにより元動画上にビットマップ画像として存在する対象物４に意味を与え、所望の機能を作動させることが出来るオブジェクト図形５を対応させる。元動画像はＭＰＥＧ（Moving Picture Expert Groupの頭文字を取ったもので映像や音声の圧縮方式の一つ）、ＦＬＶ（Adobe社が同社製品のFlash上で再生するための動画フォーマットとして開発した動画ファイル形式）等の一般的な動画像記録フォーマットで記録され、入力ファイルやオブジェクト図形５はＸＭＬ（Extensible Markup Language）ファイルフォーマットで記録される。

動画追尾による情報提供システム１は、図１及び図２に示すように、元動画再生部３により再生される元動画の特定の対象物４が元動画画面２内で表示される期間の少なくとも初期画像と末期画像とから該特定の対象物４が現在表示される再生クロックにおける座標情報を演算する座標演算部11を有する。具体的には元動画画面２上の元動画の所定の再生クロックにおいて表示される特定の対象物４に対応してオーバーレイ画面10上に制御情報となるオブジェクト図形５が描画され、該オブジェクト図形５の描画座標をオブジェクト図形描画部６に設けられた座標演算部11により計算する。

図９に示すように、先ず、元動画再生部３により所定の再生クロック時間ｔにおいて再生される元動画の特定の対象物４の頂点を元動画画面２上に重畳したオーバーレイ画面10上に複数抽出し、座標演算部11は、その複数の頂点に対応するオーバーレイ画面10上（元動画画面２上）に予め設定された所定の座標位置を原点としたベクトルｖ，ｕ，…を設定する。そして、元動画の特定の対象物４が元動画画面２内で表示される期間の初期画像として初期再生クロック時間ｔ0における元動画の特定の対象物４の頂点座標ベクトルｖ0，ｕ0と、元動画の特定の対象物４が元動画画面２内で表示される期間の末期画像として末期再生クロック時間ｔ1における元動画の特定の対象物４の頂点座標ベクトルｖ1，ｕ1と、更には、元動画の特定の対象物４が元動画画面２内で表示される期間の中期画像として所定の中期再生クロック時間ｔｎにおける元動画の特定の対象物４の頂点座標ベクトルｖｎ，ｕｎとを演算する。

図９（ｂ）に示すように、再生クロック時間ｔｎ（ｔ0＜ｔｎ＜ｔ1）における頂点座標ベクトルｖｎは以下の数１式で表される。

[数１]
ｖｎ＝ｖ0＋（ｖ1−ｖ0）×{（ｔｎ−ｔ0）／（ｔ1−ｔ0）}

また、動画追尾による情報提供システム１は、座標演算部11により演算された座標情報に基づいて、オーバーレイ画面10上で、元動画画面２上に重畳してオブジェクト図形５を描画すると共に該オブジェクト図形５に制御情報を付加するオブジェクト図形描画部６を有する。オブジェクト図形５は、図10（ｂ）に示すように、再生中のある時間に複数の箇所に現れても良いし、四角形や円形、三角形の枠や図11（ｂ）に示すようにキャプション（見出し）として表示しても良い。

図８は元動画画面２上にオーバーレイ画面10を重畳した構成を説明する模式図であり、実際には真上に一致して配置されている。５はオーバーレイ画面10上に設けられる矩形状のオブジェクト図形である。元動画の対象物４にオブジェクト図形５を定義して視聴者に情報を提供しようとする場合、図１に示すエディタ14を使って元動画画面２を目で見て元動画の対象物４にオブジェクト図形５を定義する。例えば、図８に示すように、矩形のオブジェクト図形５を定義する場合には、矩形の左上と右下の２点の座標を指定することで矩形のオブジェクト図形５を定義することが出来る。また、円形のオブジェクト図形５を定義する場合には、円の中心点の座標と円周上の一点（半径）との２点の座標を指定することで円形のオブジェクト図形５を定義することが出来る。また、楕円形のオブジェクト図形５を定義する場合には、左上と右下の２点の座標を指定することでその矩形内に内接する楕円形のオブジェクト図形５を定義することが出来る。また、三角形のオブジェクト図形５を定義する場合には、３つの頂点の座標をそれぞれ指定することで三角形のオブジェクト図形５を定義することが出来る。また、隠しオブジェクト図形５として視聴者には見えない形態でも良い。

また、動画追尾による情報提供システム１は、元動画再生部３により再生される元動画に同期してオブジェクト図形描画部６により描画したオブジェクト図形動画を再生するオブジェクト図形動画再生部７を有する。

上記のようにして元動画の特定の対象物４の頂点を求めた座標情報に基づいてオブジェクト図形５を描画したオーバーレイ画面10を元動画に対応する所望の数だけ作成し、これを元動画の再生に同期させてコマ送りして動画化することが出来る。このようにして動画レイヤからなるオーバーレイ画面10上に描画したオブジェクト図形５が動画として再生されるため視聴者には元動画の上に新たな表示が付け加わったように見える。

動画追尾による情報提供システム１は、サーバ装置８との間で通信可能な通信部12を有し、オーバーレイ画面10上に表示されたオブジェクト図形５をクリックすることで、制御部となるユーザアクション監視部27により、予め設定された所定のウエブサイトを起動するか、所定の別動画を起動するか、所定の広告情報を起動するかの少なくとも何れか１つを実行する。

図１に示すストレージ部18に設けられたオブジェクト情報ファイル16は、図２に示すオブジェクトＵＲＬ24（ＵＲＬ（Uniform Resource Locator；インターネット上に存在する情報資源(文書や画像など)の場所を指し示す記述方式））情報に関連付けられたファイル本体（ＸＭＬファイル）が蓄積される。動画ファイル15は動画ＵＲＬ25が指す先としてＵＲＬ情報に関連付けられたファイル本体が蓄積される。そして、動画ファイル15とオブジェクト情報ファイル16とはインターネット等の通信ネットワーク13上ではそれぞれ独立しており両者を同時起動することが出来る。プロジェクトファイル23はオブジェクトＵＲＬ24と動画ＵＲＬ25とサーバ装置ＵＲＬ31の情報を含み、プレイヤー部17に入力されるファイルである。

図１に示す再生手段となるプレイヤー部17は通信ネットワーク13を介して記憶手段となるストレージ部18にあるデータをロードし、元動画再生部３による元動画の再生及びオブジェクト図形動画再生部７によるオブジェクト図形動画の再生を行う。ここで、ストレージ部18は各種ＵＲＬで指し示されるファイルが配置されている具体的な物理媒体を指す。ストレージ部18へのファイル配置は専用のエディタ14によって行われる。サーバ装置８は通信ネットワーク13を介してプレイヤー部17からの視聴情報を視聴情報収集サーバ20により収集して情報統計処理部９により集計する。プレイヤー部17からサーバ装置８への送信では常に視聴者のユーザ情報が付加される。情報統計処理部９による統計結果は出力手段となる専用の統計ビューア19によって表示することが出来る。

図２に示すように、プレイヤー部17に対してユーザ属性26とプロジェクトファイル23のファイル名が通信ネットワーク13を経由してＨＴＭＬ（HyperText Markup Language）ファイルによって送信される。プレイヤー部17はプロジェクトファイル23を取得し、それから動画ＵＲＬ25、表示オプションを取り出す。表示オプションが「再生禁止」になっている場合は、その旨を表示して終了する。表示オプションが「再生可能」になっている場合は、元動画、オブジェクト図形動画をストレージ部18から取得する。

元動画再生部３のクロック発生部21から発生するクロック信号に基づいて現在の再生クロック値を読出し、オブジェクト図形動画再生部７のクロック同期部22に送られてオブジェクト図形動画再生部７のオブジェクト図形動画再生のクロック値を設定する。オブジェクト図形動画再生部７のクロック値は元動画再生部３のクロック値に常に同期している。

元動画再生部３が元動画の再生を開始した場合、ユーザアクション監視部27は元動画再生部３の再生開始位置情報をサーバ装置８に送信し、元動画再生部３のクロック発生部21にクロック発生を指示する。また、元動画再生部３が再生を中止した場合、ユーザアクション監視部27は元動画再生部３の再生中止信号をサーバ装置８に送信し、元動画再生部３のクロック発生部21にクロック中断を指示する。また、元動画再生部３の再生中止から再生を再開した場合、ユーザアクション監視部27は元動画再生部３の再生再開信号をサーバ装置８に送信し、元動画再生部３のクロック発生部21に新しいクロック開始を指示する。

図３に示すように、視聴者がプレイヤー部17で所定の操作を行うと（ステップＳ_１）、ユーザアクション監視部27により操作名、クリック対象のオブジェクト図形５、元動画再生部３による元動画の再生位置、プロジェクトＵＲＬ、ユーザ、リンク元等の通信データが作成され（ステップＳ_２）、通信部12により通信ネットワーク13を介してサーバ装置８に送信される（ステップＳ_３）。サーバ装置８はプレイヤー部17から送られてきた再生信号、クリック信号、一時停止信号、生存信号となるハートビート（再生部が定期的に発信する信号）信号等を視聴情報収集サーバ20により受信して（ステップＳ_４）、視聴者側の操作状態を判断し、受信時刻、ＩＰアドレス等のプレイヤー部17に関する情報を追加し（ステップＳ_５）、中間ファイル28に随時記憶する。中間ファイル28は同時処理が容易になるように時刻毎にＩＰアドレスハッシュ値毎に作成される。一方、制御部となるユーザアクション監視部27はクリック対象のオブジェクト図形５、元動画再生部３による元動画の再生位置をサーバ装置８に送信し、エディタ14によりクリック対象のオブジェクト図形５に対応して予め設定されたアクションとしてブラウザをオープンするか、別動画を再生するか、キャプション（見出し）を表示するか、何もアクションしないかを判別し制御する。

サーバ装置８に元動画再生部３による元動画の「再生開始」を送信し、元動画及びオブジェクト図形動画再生部７によるオブジェクト図形動画の再生を開始する。元動画を最後まで再生しきった場合や、視聴者が一時停止を押した場合にはサーバ装置８に「再生中止」を送信し、元動画及びオブジェクト図形動画の再生を中止する。元動画の巻き戻しやスキップを行った場合には新しい再生位置をサーバ装置８に送信し、指定された時間から元動画の再生を再スタートする。特定のオブジェクト図形５がクリックされた場合は、どのオブジェクト図形５がクリックされたかを通信部12を介してサーバ装置８に送信し、オブジェクト図形５に定義されたアクションに従って別動画の再生、或いはブラウザの起動、或いはアクションを起こさないなどの所望のアクションを実行する。

特定のオブジェクト図形５をクリックしてエディタ14により予め設定されたオブジェクトＵＲＬ24を読み出し、オブジェクト情報ファイル16からオブジェクトファイルをロードする。ロードしたオブジェクトファイルをオブジェクト、図形情報、表示期間、表示オプションに分解し、オブジェクト情報として保存する。

サーバ装置８の情報統計処理部９では、図４に示すように、中間ファイル28に格納されたユーザ処理に基づいて時刻順のユーザ挙動であるユーザログが作成され、プロジェクト処理に基づいて再生、クリック、一時停止回数とその位置、アクセスドメインなどからプロジェクト統計が作成され、ランキング処理に基づいてアクセスの多いプロジェクト、最近アクセスされたプロジェクト、クリックの多いオブジェクト図形５に基づいてランキングが作成される。

オブジェクト図形５の従属情報として定義されている表示期間情報を元に現在の再生クロックにおいて表示されていると推定されるオブジェクト図形５の集合を算出する。各オブジェクト図形５について表示オプションを参照する。ここで、非表示になっているオブジェクト図形５は表示しない。キャプション（見出し）やアイコン等の代替図形が指定されているオブジェクト図形５はそれらをオブジェクト図形描画部６により描画する。

図10（ａ）〜図12（ｂ）は元動画再生部３により再生される一連の元動画の時系列的なコマの一例を示し、図10（ａ）はオブジェクト図形描画部６により描写されたオブジェクト図形５が元動画の特定の対象物４として高速道路を走行中の軽トラックを追尾する様子を示す。図10（ｂ）は元動画の特定の２つの対象物４として高速道路を走行中の軽トラックとシルバー乗用車をそれぞれ追尾する２つのオブジェクト図形５のうちの一方をクリックして、その対象物４となるシルバー乗用車に関連するウエブサイトの動画ＵＲＬ25を起動した様子を示す。図11（ａ）は元動画の特定の対象物４となる交通情報表示板を追尾するオブジェクト図形５をクリックして一般道混雑情報動画29を起動した様子を示す。図11（ｂ）は元動画の特定の対象物４として行き先案内のオブジェクト図形５をクリックして行き先案内板画像30を起動した様子を示す。

図12（ａ）は元動画の特定の対象物４となるトンネル出口を追尾するオブジェクト図形５をクリックして「国境の長いトンネルを抜けると雪国であった。」という書き出しで始まる川端康成著の小説「雪国」の書籍広告のウエブサイトのオブジェクトＵＲＬ24を起動した様子を示す。図12（ｂ）は元動画の特定の対象物４となる首都高速案内板を追尾するオブジェクト図形５をクリックして首都高速道路株式会社が提供するリアルタイム道路交通情報のウエブサイトのオブジェクトＵＲＬ24を起動した様子を示す。

動画追尾による情報提供システム１は、オブジェクト図形動画再生部７により再生されるオブジェクト図形５をクリックした回数からなる元動画の特定の対象物４の視聴ランキング情報、オブジェクト図形５をクリックした元画像の再生時間別の再生・停止情報、オーバーレイ画面上に複数設けられたオブジェクト図形５別にクリックした回数からなる元動画の特定の対象物の視聴ランキング情報、視聴ユーザ毎の視聴履歴情報のうちの少なくとも１つを収集して統計する情報統計処理部９を有する。

視聴者の元動画の再生開始、停止、オブジェクト図形５のクリック操作等がサーバ装置８で収集されて情報統計処理部９により図13に示すように統計処理されて情報提供者に表示される。

本実施形態では、通信部12をオブジェクト図形動画再生部７に有し、該通信部12は、インターネット等の通信ネットワーク13を介してサーバ装置８との間で情報統計処理部９により収集して統計したオブジェクト図形動画再生部７により再生されるオブジェクト図形５をクリックした回数からなる元動画の特定の対象物４の視聴ランキング情報、オブジェクト図形５をクリックした元画像の再生時間別の再生・停止情報、オーバーレイ画面10上に複数設けられたオブジェクト図形５別にクリックした回数からなる元動画の特定の対象物４の視聴ランキング情報、視聴ユーザ毎の視聴履歴情報のうちの少なくとも１つの情報を通信し、オブジェクト図形動画再生部７の稼働中は、図５及び図７に示す生存信号となるハートビート信号を定期的に送信することで、外部からの元動画再生部３及びオブジェクト図形動画再生部７の強制終了時に該生存信号の喪失により、サーバ装置８に視聴の終了を認識させるように構成している。

図５に示すように、プレイヤー部17において、再生クロックが一定の時間を経過すると（ステップＳ₁₁）、ユーザアクション監視部27により生存信号であるハートビート信号を作成し（ステップＳ₁₂）、通信部12により通信ネットワーク13を介してサーバ装置８に送信する（ステップＳ₁₃）。ステップＳ₁₄において、ハートビート信号を受信したサーバ装置８は、ステップＳ₁₅において、受信時刻、ＩＰアドレス等のプレイヤー部17に関連する情報を追加して視聴情報収集サーバ20に設けられた中間ファイル28に記憶する。

一方、情報統計処理部９では受信データが直近に再生信号またはハートビート信号を受信した場合には、受信したプレイヤー部17のＩＰアドレスとその前回処理時刻を集合Ｘとして中間ファイル28に記憶しておく。そして、中間ファイル28からのハートビート信号が定期的にタイマーで起動される定期起動の場合には（ステップＳ₁₇）、ステップＳ₁₈に進んで情報統計処理部９により中間ファイル28の内容を順次読み出して統計処理を実行する。そして、ステップＳ₁₉に進んでプレイヤー部17のＩＰアドレス集合（集合Ｘ）の操作を行う。初期値は空集合とし、再生信号またはハートビート信号ならば処理が進んだ時刻（以下「前回処理時刻」という）情報を集合Ｘに追加する。既に集合Ｘに再生信号またはハートビート信号が存在する場合は、前回処理時刻のみが更新される。一旦停止信号ならば集合Ｘから除外する。そして、全ての受信信号の処理が終わるまで受信した各信号について前記ステップＳ₁₈，Ｓ₁₉の処理を繰り返す。全ての受信信号の処理が終わると、次にステップＳ₂₀に進んで、前記ステップＳ₁₉において、記憶した集合Ｘの各要素ｙに対して検査処理を行う。集合Ｘの各要素ｙに対する検査は、集合Ｘの各要素ｙに対する信号が中間ファイル28に含まれていたか否かを調べる。図６のタイムアウト検出のフローチャートに示すように、ステップＳ₃₁において集合Ｘの各要素をｙとし、ステップＳ₃₂において、要素ｙの信号を受信したか否かを判断し、要素ｙの信号を受信していた場合には処理を終了する。また、ステップＳ₃₂において、要素ｙの信号を受信していない場合にはステップＳ₃₃において、前回処理時刻と現在時刻との時間差が予め設定した設定値よりも大きいと判断した場合には、ステップＳ₃₄に進んで一旦停止信号を生成して終了する。また、前記ステップＳ₃₃において前回処理時刻と現在時刻との時間差が予め設定した設定値以内であると判断した場合には処理を終了する。そして、全ての受信信号の処理が終わるまで受信した各信号について前記ステップＳ₃₁〜Ｓ₃₄の処理を繰り返す。全ての受信信号の処理が終わると、次に図５のステップＳ₂₁に進んで、１つ以上の一旦停止信号を生成したか否かを判断し、１つ以上の一旦停止信号を生成した場合には前記ステップＳ₁₈に進んで情報統計処理部９により統計処理を実行する。前記ステップＳ₂₁において一旦停止信号が生成されていない場合には処理を終了する。検査処理において一旦停止信号が生成される場合にはプログラム内でテンポラリに処理される。

図７に示すように、プレイヤー部17から送信されたハートビート信号は視聴情報収集サーバ20に設けられた中間ファイル28にそのまま記憶され、該視聴情報収集サーバ20の通信部は情報を認識しない。情報統計処理部９は定期的にタイマーで起動される。図７に示す時刻Ａ１〜Ａ３の時点ではプレイヤー部17のユーザアクション監視部27が再生情報またはハートビート情報を作成し、情報統計処理部９が最終的にこの情報を認識する。個々のプレイヤー部17について、どの時刻まで処理が進んだかを記憶する。図７に示す時刻Ｂの時点では、プレイヤー部17は強制終了されており、受信データは無いので「前回処理時刻」は更新されない。図７に示す時刻Ｃの時点では、再度、統計処理が起動されたときも「前回処理時刻」は時刻Ａ３のままである。時刻Ａ３から時刻Ｃまでの時間が予め設定された時間よりも長くなった場合、プレイヤー部17は強制終了されたと認識し、一時停止情報を挿入する。

情報統計処理部９により統計処理された各種統計情報は、出力手段となる統計ビューア19により元動画のアクセスランキング情報、オブジェクト図形５のクリック回数ランキング情報、アクセスドメイン情報、再生、一時停止、検索ボタンの押下時間情報、オブジェクト図形５毎のクリック回数情報、ユーザアクセス履歴情報等が情報提供者に提供される。図13は情報統計処理部９により収集して統計された統計情報例で、図13（ａ）はサイト単位の視聴及びイベント発生状況を示し、サイト単位で動画の再生回数の多い順に表示し、サイト内の動画の再生の新しい順に結果を表示し、クリック数の多いオブジェクト図形５を降順に表示した一例である。図13（ｂ）は動画単位のイベント発生状況を示し、元動画開始時点を基点として視聴者がオブジェクト図形５をクリックした経過時間、クリックしたオブジェクト図形５単位の集計結果を表示した一例である。図13（ｃ）はユーザクラス単位の視聴履歴を示し、視聴者の視聴行動を１日単位で表示し、視聴を開始した時刻、クリックしたオブジェクト図形５とその時刻、元動画を中断、再開した時刻を表示した一例である。

上記構成によれば、元動画画面２内で表示される元動画画像に対して所定の情報提供の目的に応じた制御情報を設けたオーバーレイ画面10を、該元動画画面２上に重畳すると共に該元動画に同期して表示したことで、元動画を編集加工することなく、元動画画面２上に重畳したオーバーレイ画面10に設けた制御情報となるオブジェクト図形５を利用して所定の情報提供が出来る。尚、制御情報としてオブジェクト図形５の代わりに、オーバーレイ画面10を複数の格子状に区切り、それぞれの格子に意味付けを定義して視聴者のアンケート画面や投票画面等の選択画面として構成することも出来る。

また、座標演算部11により元動画の特定の対象物４が該元動画画面２内で表示される期間の少なくとも初期画像と末期画像とから該特定の対象物４が現在表示される再生クロックにおける座標情報を演算することが出来る。そして、オブジェクト図形描画部６により座標演算部11が演算した座標情報に基づいて、オーバーレイ画面10上で、元動画画面２上に重畳してオブジェクト図形５を描画すると共に該オブジェクト図形５に制御情報を付加する。そして、オブジェクト図形動画再生部７により元動画再生部３により再生される元動画に同期して、オブジェクト図形描画部６により描画したオブジェクト図形動画を再生することが出来る。

また、オブジェクト図形５をクリックすることで、元動画の特定の対象物４に関連する予め設定された所定のウエブサイトを起動するか、所定の別動画を起動するか、所定の広告情報等を起動して所望の情報提供が出来る。

また、情報統計処理部９により、オブジェクト図形動画再生部７により再生されるオブジェクト図形５をクリックした回数からなる元動画の特定の対象物４の視聴ランキング情報、オブジェクト図形５をクリックした元画像の再生時間別の再生・停止情報、オーバーレイ画面上に複数設けられたオブジェクト図形５別にクリックした回数からなる元動画の特定の対象物４の視聴ランキング情報、視聴ユーザ毎の視聴履歴情報を適宜収集して統計することが出来、これを出力すれば元動画の視聴情報に関する有用な統計データを得ることが出来、動画提供者と動画視聴者との双方向使用が可能となる。

また、通信部12によりオブジェクト図形動画再生部７の稼働中は、生存信号となるハートビート信号を定期的に送信することで、視聴者側のパーソナルコンピュータ等が異常終了した場合等の外部からの元動画再生部３及びオブジェクト図形動画再生部７の強制終了時に生存信号の喪失により、サーバ装置８に視聴の終了を認識させることが出来る。これにより、通常の方法で監視をしていたときに、オブジェクト図形動画の再生が継続しているとサーバ装置８が誤認することを防止することが出来る。

本発明の活用例として、動画追尾による情報提供システムに適用できる。

１ …情報提供システム
２ …元動画画面
３ …元動画再生部
４ …対象物
５ …オブジェクト図形(制御情報)
６ …オブジェクト図形描画部
７ …オブジェクト図形動画再生部
８ …サーバ装置
９ …情報統計処理部
10 …オーバーレイ画面
11 …座標演算部
12 …通信部
13 …通信ネットワーク
14 …エディタ
15 …動画ファイル
16 …オブジェクト情報ファイル
17 …プレイヤー部
18 …ストレージ部
19 …統計ビューア
20 …視聴情報収集サーバ
21 …クロック発生部
22 …クロック同期部
23 …プロジェクトファイル
24 …オブジェクトＵＲＬ
25 …動画ＵＲＬ
26 …ユーザ属性
27 …ユーザアクション監視部
28 …中間ファイル
29 …一般道混雑情報動画
30 …先案内板画像
31 …サーバ装置ＵＲＬ

Claims

元動画画面内で一度または場面に応じて複数回表示される元動画画像が表象する対象物に対して所定の情報提供の目的に応じた制御情報を設けた透明または半透明のオーバーレイ画面を、前記元動画画面上に重畳すると共に前記元動画に同期して表示する動画追尾による情報提供システムであって、
元動画を再生する元動画再生部と、
前記元動画再生部により再生される元動画に同期して前記元動画の対象物に定義されるオブジェクト図形を描画するオブジェクト図形描画部と、
前記オブジェクト図形描画部により描画したオブジェクト図形動画を再生するオブジェクト図形動画再生部と、
前記元動画再生部に設けられ、クロック信号を発生するクロック発生部と、
前記オブジェクト図形動画再生部に設けられるクロック同期部と、
を有し、
前記オブジェクト図形動画再生部は、
前記元動画再生部の前記クロック発生部から発生するクロック信号に基づいて、現在の再生クロック値を前記クロック発生部から読み出して前記オブジェクト図形動画再生部の前記クロック同期部に送り、前記オブジェクト図形動画再生部のオブジェクト図形動画再生のクロック値を設定し、
前記オブジェクト図形動画再生部のオブジェクト図形動画再生のクロック値を前記元動画再生部の前記再生クロック値に同期させることを特徴とする動画追尾による情報提供システム。
前記元動画再生部により再生される前記元動画の特定の対象物が前記元動画画面内で表示される期間の少なくとも初期画像と末期画像とから前記特定の対象物が現在表示される再生クロックにおける座標情報を演算する座標演算部を有し、
前記オブジェクト図形描画部は、前記座標演算部により演算された座標情報に基づいて、前記オーバーレイ画面上で、前記元動画画面上に重畳して元動画上の対象物を特定するオブジェクト図形を描画すると共に該オブジェクト図形に前記制御情報を付加し、
前記オブジェクト図形動画再生部は、前記元動画再生部により再生される前記元動画に同期して前記オブジェクト図形描画部により描画したオブジェクト図形動画を再生することを特徴とする請求項１に記載の動画追尾による情報提供システム。
前記オブジェクト図形をクリックすることで、予め設定された所定のウエブサイトを起動するか、所定の別動画を起動するか、所定の広告情報を起動するかの少なくとも何れか１つを実行する制御部を有することを特徴とする請求項２に記載の動画追尾による情報提供システム。
前記オブジェクト図形動画再生部により再生される前記オブジェクト図形をクリックした回数からなる前記元動画の特定の対象物の視聴ランキング情報、前記オブジェクト図形をクリックした前記元画像上の特定の対象物の再生時間別の再生・停止情報、前記オーバーレイ画面上に複数設けられた前記オブジェクト図形別にクリックした回数からなる前記元動画の特定の対象物の視聴ランキング情報、視聴ユーザ毎の視聴履歴情報のうちの少なくとも１つを収集して統計する情報統計処理部を有することを特徴とする請求項２または請求項３に記載の動画追尾による情報提供システム。
サーバ装置との間で通信可能な通信部を前記オブジェクト図形動画再生部に有し、該通信部は、インターネットを介して前記サーバ装置との間で前記情報統計処理部により収集して統計した前記オブジェクト図形動画再生部により再生される前記オブジェクト図形をクリックした回数からなる前記元動画の特定の対象物の視聴ランキング情報、前記オブジェクト図形をクリックした前記元画像の再生時間別の再生・停止情報、前記オーバーレイ画面上に複数設けられた前記オブジェクト図形別にクリックした回数からなる前記元動画の特定の対象物の視聴ランキング情報、視聴ユーザ毎の視聴履歴情報のうちの少なくとも１つの情報を通信し、前記オブジェクト図形動画再生部の稼働中は、生存信号を定期的に送信することで、外部からの前記元動画再生部及び前記オブジェクト図形動画再生部の強制終了時に前記生存信号の喪失により、前記サーバ装置に視聴の終了を認識させることを特徴とする請求項４に記載の動画追尾による情報提供システム。