以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下に説明する実施の形態は、情報処理システムに対して本発明を適用した場合の実施形態である。
[1.情報処理システムの構成および機能概要]
まず、本実施形態に係る情報処理システム1の構成および機能概要について、図1を用いて説明する。図1は、一実施形態に係る情報処理システム1の概要構成の一例を示す模式図である。
図1に示すように、情報処理システム1は、視聴ユーザに動画のコンテンツを配信する動画配信サーバ装置10と、動画配信サーバ装置10に動画をコンテンツとして提供するコンテンツ提供者のコンテンツ提供装置20と、動画に登録を希望する広告等の付加コンテンツを提供する広告提供者の広告提供装置30と、動画を視聴する視聴ユーザの視聴ユーザ端末装置40と、を備えている。なお、動画は、複数の画像フレームから構成される。
動画配信サーバ装置10と、コンテンツ提供装置20と、広告提供装置30と、視聴ユーザ端末装置40とは、ネットワーク3により接続され、通信プロトコル(例えば、TCP/IP)により、データの送受信が可能になっている。なお、ネットワーク3は、例えば、インターネット、専用通信回線(例えば、CATV(Community Antenna Television)回線)、移動体通信網(基地局5等を含む)、および、ゲートウェイ等により構築されている。なお、動画配信サーバ装置10と、コンテンツ提供装置20とは、セキュリティ向上のため専用回線で接続されていてもよい。
動画配信サーバ装置10(情報処理装置の一例)は、コンテンツ提供装置20から提供された動画を登録し、視聴ユーザ端末装置40から要求に応じて動画のコンテンツを視聴ユーザ端末装置40へ配信する。また、動画配信サーバ装置10は、視聴ユーザ端末装置40から要求に応じて動画のコンテンツを視聴ユーザ端末装置40へ配信する際に、商品またはサービスに関する広告等の付加コンテンツを視聴ユーザ端末装置40へ配信する。
コンテンツ提供者はそれぞれのコンテンツ提供装置20を用いて、コンテンツ提供者が提供する動画を登録するために当該動画を動画配信サーバ装置10に送信する。
広告提供者はそれぞれの広告提供装置30を用いて、広告提供者が提供する広告等の付加コンテンツを登録するために当該広告等の付加コンテンツを、動画配信サーバ装置10に送信する。
なお、付加コンテンツの種別として、広告と非広告とはある。例えば、非広告として、商品またはサービスの広告以外に、広告提供者等が動画で視聴ユーザ毎に示したいメッセージや映像等が挙げられる。また、付加コンテンツのデータ形式として、テキスト、デザイン文字等の文字や画像、および、これらの組み合わせが挙げられる。また、映像として、静止画像と、動画像と、これらの組合せが挙げられる
また、広告提供者はそれぞれの広告提供装置30を用いて、動画に付加コンテンツを表示するための付加コンテンツ表示条件を示す情報を動画配信サーバ装置10に送信する。
ここで、付加コンテンツ表示条件の一例として、付加コンテンツの形状(例えば、矩形、円形、楕円形、星形等)が挙げられる。また、矩形であれば、アスペクト比(広告の横の長さに対する縦の長さの比率)、楕円であれば、長軸および短軸の比等も挙げられる。また、付加コンテンツ表示条件は、付加コンテンツの基準表示サイズ(例えば横または縦の長さを示すピクセル数)でもよいし、付加コンテンツの最小表示サイズでもよい。
さらに、付加コンテンツ表示条件の一例として、付加コンテンツの表示時間が挙げられ、時間的に表示が連続する複数のフレームを1つのグループ単位とする場合の表示時間と、当該グループ単位が複数あって、これらのグループ単位を合算した場合のグループ合算表示時間と、がある。これら2つの場合の付加コンテンツの表示時間に関して、各々、合計表示時間、最小の合計表示時間、最大の合計表示時間、最小の連続表示時間、最大の連続表示時間、平均の連続表示時間等がある。
また、付加コンテンツ表示条件の一例として、付加コンテンツの表示回数が挙げられ、時間的に表示が連続する複数のフレームを1つのグループ単位とする場合の表示回数と、当該グループ単位が複数あって、これらのグループ単位を合算した場合のグループ合算表示回数と、がある。これら2つの場合の付加コンテンツの表示回数に関して、各々、合計表示回数、最小の合計表示回数、最大の合計表示回数、最小の連続表示回数、最大の連続表示回数、平均の表示回数等がある。
また、付加コンテンツ表示条件の一例として、付加コンテンツの表示面積が挙げられ、時間的に表示が連続する複数のフレームを1つのグループ単位の場合とする表示面積と、当該グループ単位が複数あって、これらのグループ単位を合算した場合のグループ合算表示面積と、がある。これら2つの場合の付加コンテンツの表示面積に関して、各々、最小の表示面積、最大の表示面積、平均の表示面積、画像フレームの1/10等の所定の表示面積等がある。
また、付加コンテンツ表示条件の一例として、動画において空間および時間の少なくとも一方の積算で表示される積算表示量が挙げられ、時間的に表示が連続する1つのグループ単位の場合の積算表示量と、当該グループ単位が複数あって、これらのグループ単位を合算した場合のグループ合算積算表示量と、がある。これら2つの場合の積算表示量に関して、各々、最低積算表示量、画像フレームの1/10の面積で5秒間等の所定積算表示量等)等がある。
また、付加コンテンツ表示条件の一例として、動画を構成する画像フレームにおける付加コンテンツの表示許可位置(上部、下部、右側、左側、右下、左下、中央部等)、または、表示禁止位置(例えば、広告提供者が画像フレームにおいて付加コンテンツを表示させたくない位置)等が挙げられる。
また、付加コンテンツ表示条件の一例として、付加コンテンツの表示が許可または禁止される動画における時間的な表示位置等の条件(例えば、動画の前半/後半への表示許可または禁止、所定のチャプターのみ許可または禁止、最初/最後の5分のみ許可または禁止など)が挙げられる。
また、付加コンテンツ表示条件の一例として、付加コンテンツの表示が許可または禁止される動画(ホワイトリストやブラックリストまたは特定キーワードを含む動画など)、または付加コンテンツの表示が許可または禁止される動画のカテゴリ等が挙げられる。
視聴ユーザは視聴ユーザ端末装置40を用いて、動画配信サーバ装置サービスにおいて提供されている動画を、検索キーワードやカテゴリの選択などを用いて検索して、視聴したい動画を選択する。視聴ユーザ端末装置40は、ユーザの入力や選択に応じた動画の配信要求を動画配信サーバ装置10に送信し、当該配信要求に対応する動画を、動画配信サーバ装置10から受信し、当該受信した動画を再生する。
[2.各装置の構成および機能]
(2.1 動画配信サーバ装置10の構成および機能)
次に、動画配信サーバ装置10の構成および機能について、図2から図9を用いて説明する。
図2は、一実施形態に係る動画配信サーバ装置10の概要構成の一例を示すブロック図である。図3から図8は、動画配信サーバ装置10の記憶部に構築されたデータベースに登録される内容の一例を示す図である。
図2に示すように、コンピュータとして機能する動画配信サーバ装置10は、通信部11と、記憶部12と、入出力インターフェース部13と、システム制御部14と、を備えている。そして、システム制御部14と入出力インターフェース部13とは、システムバス15を介して接続されている。
通信部11は、ネットワーク3に接続して、動画提供者のコンテンツ提供装置20と、広告提供者の広告提供装置30と、視聴ユーザ端末装置40等との通信を制御するようになっている。
記憶部12は、例えば、ハードディスクドライブやシリコンディスクドライブ等により構成されており、オペレーティングシステムおよびサーバプログラム等の各種プログラムや、視聴ユーザに提供する動画等を記憶する。
なお、各種プログラムは、例えば、他のサーバ装置等からネットワーク3を介して取得されるようにしてもよいし、記録媒体に記録されてドライブ装置(図示せず)を介して読み込まれるようにしてもよい。また、配信プログラム等は、プログラム製品であってもよい。
また、記憶部12には、コンテンツ提供装置20から取得した動画を記憶する動画データベース12a(以下「動画DB12a」とする。)と、コンテンツ提供装置20から取得した広告等を記憶する広告データベース12b(以下「広告DB12b」とする。)と、動画を構成する各画像フレームの中に表示されているオブジェクトのオブジェクト表示領域に含まれない領域(例えば、オブジェクトが含まれていない領域)の中から特定された、付加コンテンツ表示領域の候補となる表示候補領域に関する情報(以下「フレーム・表示候補領域情報」と称する)(表示候補領域に関する情報の一例)を記憶するフレーム・表示候補領域情報データベース12c(以下「フレーム・表示候補領域情報DB12c」とする。)と、動画毎に集計した表示候補領域の情報(表示候補領域に関する情報の一例)を記憶する集計表示候補領域情報データベース12d(以下「集計表示候補領域情報DB12d」とする。)と、動画に対して、広告等の付加コンテンツを表示させるための制御情報(表示情報の一例)を記憶する制御情報データベース12e(以下「制御情報DB12e」とする。)と、視聴ユーザに関する情報を記憶するユーザ情報データベース12f(以下「ユーザ情報DB12f」とする。)等が構築されている。
なお、これらのデータベースは、同一のデバイスで構成されてもよいし、互いに異なるデバイスで構成されてもよい。
動画DB12a(動画記憶手段の一例)には、配信可能な動画に関する情報が登録される。具体的に、動画DB12aには、図3に示すように、動画IDに対応付けて、カテゴリID、動画のタイトル、動画の収録時間、動画データ等が動画毎に登録される。なお、動画DB12aには、動画を構成する画像フレームのフレーム数、付加コンテンツ表示可否フラグ、付加コンテンツの表示上限数、付加コンテンツの表示上限時間などが記憶されていてもよい。
動画IDは、動画を識別するための識別情報である。なお、動画IDは、コンテンツ提供者を識別するためのコンテンツ提供者IDと対応付けて管理されていてもよい。
カテゴリIDは、動画IDに対応する動画が属するカテゴリを識別するための情報である。情報処理システム1においては、複数のカテゴリが定義されており、各動画は少なくともひとつのカテゴリに属している。
動画データは、動画を表示するためのデータである。動画データの形式は、例えばMPEG−1、MPEG−2、MPEG−4,MPEG−7,MPEG−21などのMPEG形式、DivX形式、Xvid形式、Huffyuv形式等のコーデックや、AVI形式、MOV形式、ASF形式、Ogg形式、Matroska形式等のコンテナフォーマットであってもよい。
広告DB12bには、配信可能な広告に関する情報が登録される。具体的に、図4に示すように、広告DB12bには、広告IDと対応付けて、広告表示条件、広告データ、提供情報URL(Uniform Resource Locator)等が広告毎に登録される。
広告IDは、広告を識別するための識別情報である。
広告表示条件は、付加コンテンツ条件の一例であり、付加コンテンツとしての広告の情報を動画に表示するための条件である。
広告データは、配信される動画に対応つけて表示されるデータである。例えば、広告データとしては、文字データ、静止画データ、動画データ等があり、またこれらのデータのうち少なくとも2つの種類のデータの組み合わせであってもよい。提供情報URLは、広告IDが示す広告に関連付けられた提供情報のURLである。
フレーム・表示候補領域情報DB12cには、付加コンテンツを表示するための付加コンテンツ表示領域の候補となる表示候補領域に関する情報が登録される。具体的に、図5に示すように、フレーム・表示候補領域DB12cには、動画ID、画像フレームのフレームID、表示候補領域ID、画像フレームに存在する表示候補領域に関するフレーム・表示候補領域情報(表示候補領域に関する情報の一例)等が登録される。
画像フレームのフレームIDは、動画における画像フレームを識別するための識別情報である。例えば、フレームIDは、各画像フレームに順に割り振られたシリアル番号(フレーム番号)でもよい。
表示候補領域IDは、画像フレームから抽出された表示候補領域を識別するための識別情報である。異なる画像フレーム間で抽出されたオブジェクト同士が同じオブジェクトであると判定された場合には、同じ表示候補領域IDが付与される。
ここで、表示候補領域は、動画を構成する各画像フレームから画像処理により抽出されたオブジェクト以外の領域から特定される。また、オブジェクトの一例として、画像フレームの中に表示されている建造物、看板、移動体(車両、自転車、人物、動物、キャラクタ等)、樹木、人物およびキャラクタが身につけている衣服、カバン等が挙げられる。
フレーム・表示候補領域情報の一例として、画像フレームにおいて抽出された表示候補領域の形状、画像フレームにおける表示候補領域が存在する位置情報(例えば、画像フレームの左上端を原点とする座標や、画像フレームを所与の領域に分割した分割領域のうち表示候補領域と重なる領域等がある。また、表示候補領域の自体の位置を示す際に基準となる部位として表示候補領域の重心等の中心部、または、表示候補領域の各端部等がある)画像フレームに占める表示候補領域の面積、表示候補領域内または外縁にある各画素の座標、色等の画素情報等の情報が挙げられる。
集計表示候補領域情報DB12dには、動画を構成する各画像フレームのフレーム・表示候補領域情報を、集計した表示候補領域情報(表示候補領域に関する情報の一例)が登録される。具体的に、図6に示すように、集計表示候補領域情報DB12dには、動画ID、表示候補領域ID、集計された表示候補領域情報等が登録される。
集計した表示候補領域情報の一例として、動画における各表示候補領域の出現数(表示回数)、所与の条件を満たす複数の表示候補領域における平均出現数、最も多く出現した表示候補領域の最大出現数、最も少なく出現した表示候補領域最小出現数等が挙げられる。また、出現数の代わりに、表示時間(=出現数/フレームレート)でもよい。フレームレートは、一般的に30fps(frames per second)から60fpsであるが、10fps、24fps、25fpsのように、どのようなフレームレートでもよい。
また、集計した表示候補領域情報の一例として、動画における各表示候補領域の積算表示面積、平均表示面積、最大表示面積、最小表示面積等が挙げられる。また、集計した表示候補領域情報の一例として、画像フレームに連続して表示される表示候補領域の連続出現数等が挙げられる。なお、集計した表示候補領域情報は、表示候補領域が動画において空間および時間の少なくとも一方の積算で表示される積算表示量の一例である。
また、集計した表示候補領域情報の一例として、複数の画像フレームにおいて共通する表示候補領域の共通領域の出現数、平均出現数、最大出現数、最小出現数等でもよい。また、集計した表示候補領域情報の一例として、動画における各共通領域の積算表示面積、平均表示面積、最大表示面積、最小表示面積等でもよい。また、集計した表示候補領域情報の一例として、画像フレームに連続して表示される共通領域の連続出現数等でもよい。なお、集計した表示候補領域情報は、複数の前記画像フレームにおいて共通する前記表示候補領域の共通領域が前記動画において空間および時間の少なくとも一方の積算で表示される積算表示量の一例である。
ここで、複数の画像フレームにおいて共通する共通領域は、画像フレーム間において、オブジェクトが表示されていない領域が互いに重なり合っている領域で、例えば、画像フレーム間において、オブジェクトが表示されていない領域を示す座標が共通する領域である。
また、集計した表示候補領域情報の一例として、共通領域の形状、共通領域の位置情報(例えば、画像フレームの左上端を原点とし、共通領域の重心等の中心位置、または、共通領域の端の位置等)、共通領域の面積、共通領域内または外縁にある各画素の座標、色等の画素情報等の情報が挙げられる。
制御情報DB12eには、動画を構成する各画像フレームに、広告等の付加コンテンツを表示させるための制御情報が登録される。具体的に、図7に示すように、制御情報DB12eには、動画ID、制御情報等が登録される。
制御情報は、動画において付加コンテンツを表示させる時間的な位置を示す情報(例えば、画像フレームのフレームID)と、当該時点において付加コンテンツを表示させる画像フレーム内の位置を示す情報(例えば、座標情報)などを含む。また、制御情報は、付加コンテンツを識別する情報や付加コンテンツのデータ(例えば、広告データ)を含んでもよい。
付加コンテンツが静止画の場合、制御情報は、フレームID毎に、付加コンテンツを付加する画像フレームにおける位置情報、付加コンテンツの縮小率または拡大率を含む。または、制御情報は、フレームID毎に、付加コンテンツを付加する付加コンテンツ表示領域の内部または輪郭の画素の位置情報(例えば、画像フレームの左上端を原点とする座標)を含む。
付加コンテンツが動画の場合、制御情報は、フレームID毎に、付加コンテンツの画像フレームデータ、付加コンテンツを付加する画像フレームにおける位置情報、付加コンテンツの縮小率または拡大率などを含む。または、制御情報は、フレームID毎に、付加コンテンツの画像フレームデータ、付加コンテンツを付加する付加コンテンツ表示領域の内部または外縁の画素の位置情報を含む。
ユーザ情報DB12fには、情報処理システム1に会員登録しているユーザに関するユーザ情報が、ユーザIDと対応付けてユーザ毎に登録される。具体的に、図8に示すように、ユーザ情報DB12eには、ユーザIDと対応付けてパスワード、ニックネーム、電子メールアドレス等のユーザの属性などがユーザ情報として登録される。ユーザIDは、ユーザを識別するための識別情報である。
また、記憶部12には、更にウェブページを表示するためのHTML文書、XML(Extensible Markup Language)文書、画像データ、テキストデータ、電子文書等の各種データが記憶されている。また、記憶部12には、各種の設定値、閾値、基準値、規定値、定数、テーブル等が記憶されている。
入出力インターフェース部13は、通信部11および記憶部12とシステム制御部14との間のインターフェース処理を行うようになっている。
システム制御部14は、CPU14a、ROM(Read Only Memory)14b、RAM(Random Access Memory)14c等により構成されている。CPU14aは、プロセッサの一例である。なお、本発明は、CPUと異なる様々なプロセッサに対しても適用可能である。記憶部12、ROM14bおよびRAM14cは、それぞれメモリの一例である。なお、本発明は、ハードディスク、ROMおよびRAMと異なる様々なメモリに対しても適用可能である。
なお、動画配信サーバ装置10が複数のサーバ装置で構成されてもよい。例えば、コンテンツ提供装置20から提供されるコンテンツの動画を登録するサーバ装置、動画のコンテンツを配信するサーバ装置、広告提供装置30から広告を受け付けして保存するサーバ装置、および、データベースを管理するサーバ装置等が互いにLAN等で接続されてもよい。
次に、動画配信サーバ装置の機能ブロックについて図9を用いて説明する。
図9は、一実施形態に係る動画配信サーバ装置10の機能ブロックの一例を示す図である。
図9に示すように、動画配信サーバ装置10は、画像フレーム取得部10aと、表示候補領域特定部10bと、付加コンテンツ表示領域選択部10cと、表示情報生成部10dとを含む。
画像フレーム取得部10aは、動画を記憶する動画DB12aから取得された動画について当該動画を構成する複数の画像フレームのうち、少なくとも一部の画像フレームを取得する。
表示候補領域特定部10bは、画像フレーム取得部10aによって取得された画像フレーム毎に当該画像フレーム内に表示されているオブジェクトのオブジェクト表示領域を、画像フレーム毎に特定し、当該オブジェクト表示領域に含まれない領域の中から、動画に付加する付加コンテンツを表示するための付加コンテンツ表示領域の候補となる表示候補領域を少なくとも1つ特定する。
付加コンテンツ表示領域選択部10cは、表示候補領域特定部10bによって特定された表示候補領域に関する情報と、付加コンテンツを表示するための付加コンテンツ表示条件と、に基づいて、特定された表示候補領域の中から付加コンテンツ表示領域を選択する。
表示情報生成部10dは、付加コンテンツ表示領域選択部10cによって選択された付加コンテンツ表示領域に付加コンテンツを表示するための表示情報を生成する。
(2.2 コンテンツ提供装置20の構成および機能)
次に、コンテンツ提供装置20の構成および機能について、図10を用いて説明する。
図10は、コンテンツ提供装置20の概要構成の一例を示すブロック図である。
図10に示すように、コンピュータとして機能するコンテンツ提供装置20は、例えば、パーソナルコンピュータまたはサーバである。コンテンツ提供装置20は、通信部21と、記憶部22と、表示部23と、操作部24と、入出力インターフェース部25と、システム制御部26とを備えている。そして、システム制御部26と入出力インターフェース部25とは、システムバス27を介して接続されている。なお、コンテンツ提供装置20は、スマートフォンおよびタブレット等のコンピュータでもよい。
通信部21は、ネットワーク3を通して、動画配信サーバ装置10等と通信を制御する。
記憶部22は、例えば、ハードディスクドライブ等からなり、オペレーティングシステム等のプログラム等を記憶する。
表示部23(各コミュニティ用の表示画面の一例)は、例えば、液晶表示素子またはEL(Electro Luminescence)素子等によって構成されている。
操作部24は、例えば、キーボードおよびマウス等によって構成されている。
入出力インターフェース部25は、通信部21および記憶部22とシステム制御部26とのインターフェースである。
システム制御部26は、例えば、CPU26aと、ROM26bと、RAM26cとを有する。システム制御部26は、CPU26aが、ROM26bや、RAM26cや、記憶部22に記憶された各種プログラムを読み出して実行する。
(2.3 広告提供装置30の構成および機能)
次に、広告提供装置30の構成および機能について、図11を用いて説明する。
図11は、広告提供装置30の概要構成の一例を示すブロック図である。
図11に示すように、コンピュータとして機能する広告提供装置30は、例えば、パーソナルコンピュータやスマートフォンを含む携帯型無線電話機やPDA等の携帯端末である。広告提供装置30は、通信部31と、記憶部32と、表示部33と、操作部34と、入出力インターフェース部35と、システム制御部36とを備えている。そして、システム制御部36と入出力インターフェース部35とは、システムバス47を介して接続されている。なお、広告提供装置30の構成および機能は、コンテンツ提供装置20の構成および機能とほぼ同じであるが、システム制御部36が、通信部31を介して、広告の情報として、広告を表示するための広告表示条件、広告データ、提供情報URL等を、動画配信サーバ装置10に送信する。また、表示部33には、広告表示条件を入力するための広告表示条件入力画面が表示される。
(2.4 視聴ユーザ端末装置40の構成および機能)
次に、視聴ユーザ端末装置40の構成および機能について、図12を用いて説明する。
図12は、視聴ユーザ端末装置40の概要構成の一例を示すブロック図である。
図12に示すように、視聴ユーザのコンピュータとして機能する視聴ユーザ端末装置40は、例えば、パーソナルコンピュータやスマートフォンを含む携帯型無線電話機やPDA等の携帯端末である。視聴ユーザ端末装置40は、通信部41と、記憶部42と、表示部43と、操作部44と、入出力インターフェース部45と、システム制御部46とを備えている。そして、システム制御部46と入出力インターフェース部45とは、システムバス47を介して接続されている。なお、視聴ユーザ端末装置40の構成および機能は、コンテンツ提供装置20の構成および機能とほぼ同じであるが、システム制御部46が、動画配信サーバ装置10から、通信部41を介して、動画のコンテンツおよび付加コンテンツを受信して、表示部43にこれらのコンテンツを表示させる。
[3.情報処理システムの動作]
次に、本発明の1実施形態に係る情報処理システム1の動作について図を用い説明する。
(3.1 動画登録処理の動作例)
まず、動画配信サーバ装置10における動画登録処理の動作例について図13から図15を用いて説明する。
図13は、動画データにおける画像フレームのフレーム番号の一例を示す模式図である。図14Aから図14Iは、画像フレームの一例を示す模式図である。図15は、一実施形態に係る動画配信サーバ装置10のシステム制御部14の動画登録処理の一例を示すフローチャートである。
まず、動画配信サーバ装置10上で運営されるサイトの動画配信サービスに、配信対象となるコンテンツ(動画)を登録するために、各コンテンツ提供装置20が、コンテンツ提供者が登録を希望する動画についてと当該動画のカテゴリID、タイトル、収録時間、動画データなどを、コンテンツ提供者を識別するためのコンテンツ提供者IDと共に、動画配信サーバ装置10に送信する。なお、動画配信サービスに、コンテンツ提供者がログインした後に、登録対象となる動画に関する情報を送信する場合には、必ずしも、コンテンツ提供者IDと共に送信しなくてもよい。
例えば、収録時間10分の動画で、フレームレートが30fpsの画像の場合、動画データは、18,000枚の画像フレームから構成される。図13に示すように、動画データにおける画像フレームは、フレーム番号順に並んでいる。図14Aから図14Iに示すように、各フレーム番号(フレームID)に画像フレーム50が対応している。
ここで、各画像フレームの一例として、図14Aから図14Iに示すように、フレーム番号”000,001”、フレーム番号”000,015”、フレーム番号”000,060”、フレーム番号”000,120”、フレーム番号”000,135”、フレーム番号”000,165”、フレーム番号”000,240”、フレーム番号”000,330”、および、フレーム番号”000,360”の画像フレーム50が挙げられる。
次に、図15に示すように、動画配信サーバ装置10は、動画の情報を取得する(ステップS1)。具体的には、動画配信サーバ装置10のシステム制御部14が、各コンテンツ提供装置20から送信された動画の情報を受信する。
次に、動画配信サーバ装置10は、取得した動画に動画IDを発行する(ステップS2)。具体的には、動画配信サーバ装置10のシステム制御部14が、コンテンツ提供装置20から動画の情報を受信したとき、動画に対して動画IDを生成する。動画IDは、受信順を示す番号や、コンテンツ提供者IDに受信時刻等を組み合わせたIDでもよい。なお、動画IDを発行するタイミングは、取得時に限らず、次のステップS3における動画DB12aへの取得した動画を登録する時でもよい。
次に、動画配信サーバ装置10は、動画の情報と動画IDとを対応付けて動画DB12aに記憶する(ステップS3)。具体的には、システム制御部14が、動画IDに紐付けて、カテゴリID、タイトル、収録時間、動画データ等を、動画DB12aに記録する。
動画配信サーバ装置10は、随時、各コンテンツ提供装置20から動画の情報を受け付け、受け付けた動画の情報を、動画IDと共に、動画DB12aに登録する。なお、動画配信サーバ装置10は、コンテンツ提供装置20から動画の情報を受信して、ある程度一時的に蓄積しておいて、所定のタイミングで、動画の情報を動画DB12aに登録してもよい。
(3.2 広告登録処理の動作例)
動画配信サーバ装置10における広告登録処理の動作例について図16を用いて説明する。
図16は、一実施形態に係る動画配信サーバ装置10のシステム制御部14の広告登録処理の一例を示すフローチャートである。
まず、動画配信サーバ装置10上で運営されるサイトに、広告提供者が動画に掲載とともに表示を希望する広告を登録するために、各広告提供装置30が、広告の情報として、広告を表示するための広告表示条件、広告データ、提供情報URL等を、広告提供者IDと共に、動画配信サーバ装置10に送信する。
広告表示条件は、例えば、広告提供装置30の表示部33上において、広告表示条件入力画面にから、入力される。
次に、図16に示すように、動画配信サーバ装置10は、広告の情報を取得する(ステップS4)。具体的には、動画配信サーバ装置10のシステム制御部14が、各広告提供装置30から送信された広告の情報として、広告表示条件、広告データ、提供情報URL、広告提供者ID等を受信する。
次に、動画配信サーバ装置10は、取得した広告に広告IDを発行する(ステップS5)。具体的には、動画配信サーバ装置10のシステム制御部14が、広告提供装置30から広告を受信したとき、広告に対して広告IDを生成する。広告IDは、受信順を示す番号や、広告提供者IDに受信時刻等を組み合わせたIDでもよい。
次に、動画配信サーバ装置10は、少なくとも広告表示条件を含む広告の情報と広告IDとを対応付けて動画DBに記憶する(ステップS6)。具体的には、システム制御部14が、広告IDに紐付けて、広告表示条件、広告データ、提供情報URL等を、広告DB12bに記録する。
なお、動画配信サーバ装置10は、随時、各広告提供装置30から広告を受け付け、受け付けた広告の情報を、広告IDと共に、広告DB12bに登録する。
(3.3 表示候補領域特定処理の動作例)
動画配信サーバ装置10における表示候補領域特定処理の動作例について図17から図20を用いて説明する。
図17は、一実施形態に係る動画配信サーバ装置のシステム制御部の表示候補領域特定処理の一例を示すフローチャートである。図18Aから図18Dは、画像フレームの特徴点画像の一例を示す模式図である。図19Aから図19Dは、画像フレームにおけるオブジェクト表示領域に含まれない領域の一例を示す模式図である。図20Aから図20Eは、画像フレームにおける表示候補領域の一例を示す模式図である。
図17に示すように、動画配信サーバ装置10は、動画DB12aに記憶されている複数の動画のうち1つの動画を取得する(ステップS10)。具体的には、動画配信サーバ装置10のシステム制御部14が、オブジェクト特定処理が未だ行われていない動画の動画IDにより、動画DB12aを参照して、動画IDに対応する1つの動画の動画データを読み出す。システム制御部14が、動画DB12aから読み出した動画データを、作業用に一時的に、RAM14cまたは記憶部12に保存してもよい。
次に、動画配信サーバ装置10は、取得した動画に含まれる複数の画像フレームのうち、少なくとも1つの画像フレームを取得する(ステップS11)。具体的には、システム制御部14が、例えば、処理対象のフレームIDに対応する画像フレームを抽出する。
次に、動画配信サーバ装置10は、取得した画像フレームから当該画像フレームに含まれるオブジェクトを抽出し、特定する(ステップS12)。具体的には、システム制御部14が、画像フレーム内の各オブジェクトを、例えば、背景差分法、微分処理等によるエッジの抽出、SIFT(Scale-invariant feature transform)、または、HoG(Histogram of Oriented Gradients)等の手法により抽出し、特定する。なお、パーティクルフィルタ法により、オブジェクトを追跡し、パーティクルにより、オブジェクトを特定してもよい。
ステップS12の処理により、画像フレーム50の中に写っている建造物、看板、移動体(車両、自転車、人物、動物等)、樹木、衣服等の各オブジェクトが特定され、各オブジェクトにオブジェクトIDが割り当てられる。
なお、画像フレーム50上で、エッジ検出等により、図18Aから図18Dのいずれか1つに示すように、エッジ等の特徴点画像51が得られ、オブジェクトが抽出される。
システム制御部14が、特徴点画像51に基づき、オブジェクトを特定する。例えば、システム制御部14が、図18Aのフレーム番号”000,001”の特徴点画像52のエッジ群ed1、ed2、ed3、ed4、ed5、ed6に基づき、図14Aに示すように、フレーム番号”000,001”の画像フレーム50から建物の看板のオブジェクトob1、建物のオブジェクトob2、立て看板のオブジェクトob3、鳥のオブジェクトob4、樹木のオブジェクトob5、車両のオブジェクトob6を抽出し、各オブジェクトにオブジェクトIDを割り当て、オブジェクトを特定する。
なお、フレーム番号が所定範囲以内の他の画像フレームに含まれるオブジェクトとの比較に基づいて、当該他の画像フレームに含まれるオブジェクトと同じオブジェクトであると判定された場合に、当該他の画像フレームに含まれるオブジェクトに付与されたオブジェクトIDと同じオブジェクトIDを割り当ててもよい。
例えば、図14Aのオブジェクトob1、ob2、ob3、ob4、ob5、ob6と、図14Bのオブジェクトob1、ob2、ob3、ob4、ob5、ob6とは、各々同じオブジェクトIDが割り当てられる。
図14Eに示すように、オブジェクトob3と、図14Fに示すように、オブジェクトob13とが、オブジェクト追跡や、オブジェクトの形状の類似性等により、同じオブジェクトと判定された場合、同じオブジェクトIDが割り当てられるようにしてもよい。また、図14Eに示すように、オブジェクトob6と、図14Fに示すように、オブジェクトob16とが、オブジェクト追跡や、オブジェクトの形状の類似性等により、同じオブジェクトと判定された場合、同じオブジェクトIDが割り当てられるようにしてもよい。
なお、動画配信サーバ装置10が、前記取得した画像フレーム毎に当該画像フレーム内に表示されている複数のオブジェクトを特定してもよい。また、オブジェクトが小さすぎる、不鮮明、形状が不明瞭等、オブジェクトが特定できない場合、動画配信サーバ装置10は、オブジェクトを特定してなくてもよい。また、動画配信サーバ装置10が、所与の上限数を限度としてオブジェクトを特定してもよい。例えば、動画配信サーバ装置10が、画像フレームにおける表示面積が大きいオブジェクトを、優先して特定してもよい。
次に、動画配信サーバ装置10は、特定されたオブジェクトを含むオブジェクト表示領域を特定する(ステップS13)。具体的には、システム制御部14が、抽出したエッジ等の特徴点に従って、オブジェクトが表示されている領域に対応するオブジェクト表示領域を設定する。
例えば、図18Aおよび図19Aに示すように、システム制御部14が、オブジェクトob1、ob2、ob3、ob4、ob5、ob6の輪郭、すなわち、オブジェクトob1、ob2、ob3、ob4、ob5、ob6のそれぞれのエッジ群ed1、ed1、ed2、ed3、ed4、ed5、ed6の最も外側を外縁とするオブジェクト表示領域ar1、ar2、ar3、ar4、ar5、ar6を特定する。
また、動画におけるオブジェクトの大きさが、カメラのズーム機能によりカメラの視点に対する遠近により変化したり、図19Bまたは図19Cに示すように、他のオブジェクトに隠れて、オブジェクトの形状が変わったり、オブジェクト自体の形状が変化したりする場合、システム制御部14が、オブジェクトの変化に合わせて、オブジェクト表示領域ar6の形状が変化するようにオブジェクト表示領域を設定してもよい。
具体的には、時間的に近い画像フレーム間におけるオブジェクト間で、システム制御部14が、例えば、オブジェクトの位置、色、形状、大きさ等のオブジェクトのパラメータにおいて、各パラメータが、所定の範囲内のオブジェクト同士を、同一のオブジェクトであると判定する。オブジェクトの大きさに関して所定の範囲に収まって、変化して行くオブジェクトが、同一のオブジェクトと判定される。オブジェクトの形状に関して所定範囲に収まって、変化して行くオブジェクトが、同一のオブジェクトと判定される(例えば、オブジェクトの中心を基準にして、1のオブジェクトの輪郭の座標と、他のオブジェクトの輪郭の座標と距離の最小値が、所定範囲内の場合)。なお、システム制御部14が、各パラメータに対して重みづけをしてもよい。システム制御部14が、所定の範囲を、フレーム間の時間差によって変えてもよい。
また、図14Eから図14Fに示すように、画像を撮像しているカメラのズーム(倍率)の変化により、オブジェクトの大きさが変化する場合、図19Bから図19Cに示すように、システム制御部14が、オブジェクトの変化に合わせて、オブジェクト表示領域の大きさを変えてもよい。なお、システム制御部14が、オブジェクト表示領域ar3とオブジェクト表示領域ar13とが同じオブジェクト表示領域であると判定してもよいし、別々のオブジェクト表示領域であると判定してもよい。
なお、ステップS12とステップS13の処理は、一緒に行ってもよい。すなわち、システム制御部14が、ステップS12で抽出されたオブジェクト自体を、オブジェクト表示領域にしてもよい。
これらのように、動画配信サーバ装置10が、前記取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトのオブジェクト表示領域を、前記画像フレーム毎に特定する特定手段の一例として機能する。
次に、動画配信サーバ装置10は、オブジェクト表示領域に含まれない領域の中から、動画に付加する付加コンテンツを表示する領域の候補となる表示候補領域を特定する(ステップS14)。具体的には、まず、図19Aから図19Dに示すように、システム制御部14が、各画像フレームにおいて、特徴点画像52から、特定されたオブジェクト表示領域ar1、ar2、ar3、ar4、ar5、ar6を差し引き、領域n−ar(オブジェクト表示領域に含まれない領域の一例)を生成する。
そして、図20Aから図20Dに示すように、システム制御部14が、領域n−arから、画像フレーム毎の表示候補領域であるフレーム・表示候補領域cnd−arを生成する。例えば、システム制御部14が、矩形、楕円、三角形等の所定の形状に基づき、領域n−arを切り分ける。すなわち、システム制御部14が、オブジェクト表示領域を避けるように、所定の面積(例えば、視聴者が見分けることができる限界の広告の最低表示面積)以上のフレーム・表示候補領域cnd−arを設定する。
図20Aから図20Dに示すように、オブジェクトが画像フレーム上を動きに合わせて、システム制御部14が、できるだけ、領域n−arを、フレーム・表示候補領域cnd−arで隙間が無く満たすように(例えば、最適化の手法により隙間の面積ができるだけ少なくなるように)、各フレーム・表示候補領域cnd−arを算出する。そのため、画像フレーム53におけるフレーム・表示候補領域cnd−arの形状(アスペクト比、および、楕円の長軸および短軸の比等)、大きさ、数、および、位置等が変化してもよい。また、最適化の手法、または、最適化の基準により、フレーム・表示候補領域cnd−arが異なってもよい。
なお、フレーム・表示候補領域cnd−arの形状は、最適化しやすいように、予め全て矩形、または、楕円形等の統一しておいてもよいし、広告表示条件に基づいた形状でもよい。また、図20Eに示すように、フレーム・表示候補領域cnd−arの形状は、矩形、楕円形等の様々な形状が混合してもよい。
そして、フレーム・表示候補領域cnd−arを設定が設定されたら、システム制御部14が、各フレーム・表示候補領域cnd−arのフレーム・表示候補領域情報を算出する。
ここで、フレーム・表示候補領域情報の一例として、表示候補領域表示領域の基準になる座標(xy座標)、例えば、表示候補領域表示領域が矩形の場合、矩形の四隅のいずれかの座標や、矩形の中心の座標や中心の座標などがあり、表示候補領域表示領域が例えば楕円形などの円形状の場合、円形状の中心の座標や重心の座標などがあり、また何れかの形状の場合もオブジェクト表示領域の中心/重心付近の画素の座標、中心部分の画素の座標等が挙げられる。
また、フレーム・表示候補領域情報の一例として、表示候補領域の面積、形状、表示候補領域の輪郭の画素の座標、表示候補領域に含まれる画素の全ての座標、または、複数の画素の座標等が挙げられる。
また、フレーム・表示候補領域情報は、表示候補領域の形状が矩形の場合、アスペクト比、縦の長さおよび横の長さ、楕円の場合、長軸および短軸の比、長軸の長さおよび短軸の長さでもよい。
また、フレーム・表示候補領域情報は、表示候補領域内の画素の色を含んでもよい。
なお、システム制御部14が、領域n−arを表示候補領域としてもよい。すなわち、システム制御部14が、画像フレーム50におけるオブジェクトが表示されていない全ての領域n−arを表示候補領域としてもよい。
また、システム制御部14が、広告DB12bを参照して、登録されている広告の形状の情報に基づき、広告の形状のうち、互いに異なるすべての広告の形状を抽出し、表示候補領域の対象となる形状として、記憶部12(表示候補形状データベースとして構築してもよい)等に登録しておいてもよい。また、システム制御部14が、広告DB12b等に登録されている広告の形状のうち登録数の相対的に多い(登録数の順位が上位から所定数個の)形状のみを表示候補領域の対象となる形状として表示候補形状データベース等に登録してもよい。そして、システム制御部14が、ステップS14において、領域n−arのうち、表示候補形状データベース等に登録されている少なくとも1つの形状に適合する範囲を、表示候補領域として特定してもよい。
これらのように、動画配信サーバ装置10が、当該オブジェクト表示領域に含まれない領域の中から、前記動画に付加する付加コンテンツを表示するための付加コンテンツ表示領域の候補となる表示候補領域を少なくとも1つ特定する表示候補領域特定手段の一例として機能する。また、動画配信サーバ装置10が、前記オブジェクト表示領域に含まれない領域の中から、前記付加コンテンツ表示条件に基づいた形状に適合する前記表示候補領域を特定する表示候補領域特定手段の一例として機能する。
次に、動画配信サーバ装置10は、動画IDと、画像フレームを識別するフレームIDと、表示候補領域の情報と、表示候補領域を識別する表示候補領域IDと、を対応付けて記憶する(ステップS15)。具体的には、システム制御部14が、動画IDと、フレームIDと、各表示候補領域の情報(フレーム・表示候補領域情報)と、表示候補領域IDと、を対応付けて、フレーム・表示候補領域情報DB12cに記憶する。
なお、システム制御部14が、動画IDと、フレームIDと、各表示候補領域の情報(フレーム・表示候補領域情報)と、表示候補領域IDと、を対応付けて、一時的に、RAM14c等のキャッシュメモリに記憶してもよい。
次に、動画配信サーバ装置10は、全ての画像フレームに対して処理を行ったか否かを判定する(ステップS16)。例えば、動画を先頭の画像フレームから順に処理する場合、システム制御部14が、フレームIDであるフレーム番号が、動画の最後のフレーム番号が否かを判定する。なお、動画配信サーバ装置10は、一部(例えば、半分)の画像フレームに対して処理を行ったか否かを判定してもよい。
全ての画像フレームに対して処理を行っていない場合(ステップS16;NO)、動画配信サーバ装置10は、ステップS11の処理に戻り、次の画像フレーム50を取得する。
このように、動画配信サーバ装置10が、動画を記憶する動画記憶手段から取得した前記動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレームを取得する画像フレーム取得手段の一例として機能する。
全ての画像フレームに対して処理を行った場合(ステップS16;YES)、動画配信サーバ装置10は、表示候補領域特定処理を終了する。
次に、動画配信サーバ装置10は、他の動画の動画IDに基づき、ステップS10からステップS16の処理を行い、フレーム・表示候補領域情報DB12cを構築していく。
(3.4 制御情報生成処理の動作例)
次に、動画配信サーバ装置10における制御情報生成処理の動作例について図21から図22を用いて説明する。
図21は、一実施形態に係る動画配信サーバ装置のシステム制御部の制御情報生成処理の一例を示すフローチャートである。図22Aから図22Cは、集計された表示候補領域の一例を示す模式図である。図23Aから図23Dは、広告が付加された画像フレームの一例を示す模式図である。図24Aから図24Dは、広告が付加された画像フレームの一例を示す模式図である。図25は、一部がマスクされた画像フレームの一例を示す模式図である。
まず、動画配信サーバ装置10は、制御情報生成処理が終わっていない動画の動画IDを抽出する。
図21に示すように、動画配信サーバ装置10は、フレーム・表示候補領域情報DB12cを参照し、動画IDが一致し、かつ、フレームIDが異なる画像フレームの表示候補領域の情報に基づいて、表示候補領域毎の情報を算出する(ステップS20)。
具体的には、システム制御部14が、フレーム・表示候補領域情報DB12cから、同じ動画IDに対して、フレーム番号(フレームID)順に検索して、表示候補領域ID毎にフレーム・表示候補領域情報を集計して、集計した表示候補領域情報を算出する。
さらに具体的には、まず、図22Aおよび図22Bに示すように、システム制御部14が、フレーム・表示候補領域情報DB12cを参照して、複数の画像フレームにおいて、各フレーム・表示候補領域cnd−arで共通する共通領域co−ar1、co−ar2を生成する。特に、フレーム・表示候補領域cnd−arは、移動したり大きさが変化したりするオブジェクトの周りで、各画像フレームにおいて変化しやすいので、システム制御部14が、共通領域を算出することが好ましい。なお、図22Aおよび図22Bに示すように、画像54において、共通領域と、各画像フレームにおけるフレーム・表示候補領域cnd−arとが、模式的に記載されている。
システム制御部14が、複数の画像フレームを、例えば、フレーム番号”000,001”からフレーム番号”000,135”まで、フレーム番号”000,165”からフレーム番号”000,360”、または、フレーム番号”000,001”からフレーム番号”000,360”まで等と区切って、共通領域を生成してもよい。例えば、システム制御部14が、図22Aに示すように、フレーム番号”000,001”からフレーム番号”000,135”の共通領域co−ar1を生成し、図22Bに示すように、フレーム番号”000,165”からフレーム番号”000,360”の共通領域co−ar2を生成する。システム制御部14が、生成した各共通領域を識別するために、集積表示候補領域IDを割り当てる。
また、システム制御部14が、図22Cに示すように、フレーム番号”000,001”からフレーム番号”000,360”の共通領域co−ar3を生成してもよい。図22Cに示すように、システム制御部14が、共通領域co−ar1および共通領域co−ar2の共通領域co−ar3を生成してもよい。図22Cに示すように、システム制御部14が、各共通領域co−ar1および各共通領域co−ar1の重なっている領域を算出し、共通領域co−ar3を生成する。なお、図22Cに示すように、画像54において、共通領域co−ar1と、共通領域co−ar2と、共通領域co−ar3とが、模式的に記載されている。
ここで、共通領域co−ar1を例に挙げて、共通領域の生成の一例について、説明する。
まず、システム制御部14が、フレーム・表示候補領域情報DB12cを参照して、フレームIDに基づき、例えば、フレーム番号”000,001”およびフレーム番号”000,002”のフレーム・表示候補領域情報を読み出す。システム制御部14が、フレーム番号”000,001”の各フレーム・表示候補領域cnd−arの座標情報と、フレーム番号”000,002”の各フレーム・表示候補領域cnd−arの座標情報と、から、フレーム・表示候補領域cnd−arが重なる部分の共通する共通領域を算出する。システム制御部14が、フレーム番号”000,003”のフレーム・表示候補領域情報をフレーム・表示候補領域情報DB12cから読み出し、この算出した共通領域の座標情報と、フレーム番号”000,003”の各フレーム・表示候補領域cnd−arの座標情報と、から、次の共通領域(フレーム番号”000,001”から”000,003”の共通領域)を算出する。システム制御部14が、これらの処理をフレーム番号”000,135”まで繰り返し、各共通領域co−ar1を生成する。システム制御部14が、各共通領域に、それぞれ共通領域IDを割り当てる。
なお、システム制御部14が、共通領域を求めるフレーム番号の範囲内のフレーム番号を、上記のような順に処理しなくても、逆順やランダムな順番で処理してよい。
逆順で処理する場合、システム制御部14が、フレーム・表示候補領域情報DB12cを参照して、フレームIDに基づき、例えば、フレーム番号”000,135”およびフレーム番号”000,134”のフレーム・表示候補領域情報を読み出す。システム制御部14が、フレーム番号”000,135”の各フレーム・表示候補領域cnd−arの座標情報と、フレーム番号”000,134”の各フレーム・表示候補領域cnd−arの座標情報と、から、フレーム・表示候補領域cnd−arが重なる部分の共通する共通領域を算出する。システム制御部14が、フレーム番号”000,133”のフレーム・表示候補領域情報をフレーム・表示候補領域情報DB12cから読み出し、この算出した共通領域の座標情報と、フレーム番号”000,133”の各フレーム・表示候補領域cnd−arの座標情報と、から、次の共通領域(フレーム番号”000,135”から”000,133”の共通領域)を算出する。システム制御部14が、これらの処理をフレーム番号”000,001”まで繰り返し、各共通領域co−ar1を生成する。
ランダムな順番で処理する場合、システム制御部14が、フレーム・表示候補領域情報DB12cを参照して、フレームIDに基づき、例えば、フレーム番号”000,001”からフレーム番号”000,135”のうち、例えば、任意のフレーム番号”000,111”およびフレーム番号”000,077”のフレーム・表示候補領域情報を読み出す。システム制御部14が、フレーム番号”000,111”の各フレーム・表示候補領域cnd−arの座標情報と、フレーム番号”000,077”の各フレーム・表示候補領域cnd−arの座標情報と、から、フレーム・表示候補領域cnd−arが重なる部分の共通する共通領域を算出する。システム制御部14が、フレーム番号”000,111”およびフレーム番号”000,077”以外のフレーム番号、例えば、フレーム番号”000,063”のフレーム・表示候補領域情報をフレーム・表示候補領域情報DB12cから読み出し、この算出した共通領域の座標情報と、フレーム番号”000,063”の各フレーム・表示候補領域cnd−arの座標情報と、から、次の共通領域(フレーム番号”000,111”、”000,077”および”000,063”の共通領域)を算出する。システム制御部14が、これらの処理を、共通領域を求めるフレーム番号の範囲内における残りの全てのフレーム番号に対して繰り返し、各共通領域co−ar1を生成する。
なお、システム制御部14が、共通領域を求めるフレーム番号の範囲内のすべてのフレーム番号について処理をせずに、所与の間隔(例えば10個のフレーム)のフレーム毎を対象として処理してもよい。システム制御部14が、この所与の間隔を、画像フレーム間における差分データ(動きベクトル等)に応じて設定する。例えば、システム制御部14が、共通領域を求めるフレーム番号の範囲に含まれるすべての画像フレームにおける差分データ量と所与の条件とに応じて、所与の間隔を決定する。この場合、所与の間隔は一定間隔になる。所与の間隔は、差分データ量が大きいほど(例えば、動きベクトルの長さが長いほど)、画像フレーム間におけるオブジェクト位置の変化が多いので、システム制御部14が、所与の間隔を小さくする。一方、差分データ量が小さいほど、画像フレーム間におけるオブジェクト位置の変化が少ないので、システム制御部14が、所与の間隔を大きくする。
なお、先に設定された共通領域を求めるフレーム番号の範囲に含まれるすべての画像フレームについて、フレーム毎の差分データ量を算出し、当該画像フレーム毎の差分データ量をひとつ目の画像フレームから積算して、所定の閾値を超えた画像フレームを処理対象としてもよい。この場合、処理対象となる画像フレームの間隔は変動する。
共通領域co−ar1等が生成された後、システム制御部14が、共通領域co−ar1、共通領域co−ar2、共通領域co−ar3等に対して、共通領域の情報(例えば、各共通領域の面積、形状、共通領域に含まれる位置の座標、外縁の画素の座標、共通領域を求めたフレーム番号の範囲等)から、集計した表示候補領域情報を算出する。なお、共通領域co−ar1、co−ar2、co−ar3は、複数のフレーム・表示候補領域から生成されるので、共通領域co−ar1、co−ar2、co−ar3自体の共通領域の情報も、集積した表示候補領域情報の一例である。
ここで、共通領域を生成したフレーム番号の範囲が、共通領域の出現数(表示回数:表示フレーム数)(集積した表示候補領域情報の一例)である。共通領域の出現数は、共通領域が動画において空間および時間の少なくとも一方の積算で表示される積算表示量の一例である。この積算表示量の一例として合計表示時間(=合計の出現数/フレームレート)でもよい。また、共通領域の出現数は、例えば、図22Aに示すように、フレーム番号”000,001”からフレーム番号”000,135”の共通領域co−ar1のうち、ある共通領域co−ar1が、フレーム番号”000,135”以降のある区間の共通領域と、ほぼ同じ領域にある場合(例えば、領域同士の重なりの割合が高い)、システム制御部14が、これらの出現数を加算してもよい。
また、システム制御部14が、連続する画像フレームにおいて、出現した共通領域の連続出現数(積算表示量の一例)を算出してもよい。例えば、システム制御部14が、フレーム番号を飛ばすこと無く、フレーム番号順に共通領域を生成する場合、共通領域を生成したフレーム番号の範囲が、連続出現数である。また、システム制御部14が、フレーム番号を間引きして、共通領域を生成した場合、フレーム番号の最大値と最小値の差の範囲のフレーム数を連続出現数(または、時間を連続表示時間)としてもよい。
また、システム制御部14が、共通領域の最大および最小連続出現数(連続出現数/フレームレート=連続表示時間)を算出してもよい。
システム制御部14が、全てまたは一部のフレーム番号に対して合計したら、フレーム数で割って、出現割合を算出してもよい。
また、集積した表示候補領域情報の一例として、システム制御部14が、各共通領域の形状、各共通領域の位置情報、各共通領域の面積、各共通領域内または外縁にある各画素の座標、色等の画素情報等を算出してもよい。
システム制御部14が、全てまたは一部のフレーム番号に対して、共通領域毎に、共通領域の面積を合計して、積算表示面積(積算表示量の一例)を算出する。なお、システム制御部14が、積算表示面積を、全てまたは一部のフレーム数で割った平均表示面積(積算表示量の一例)を算出してもよい。また、システム制御部14が、共通領域毎の最大および最小の表示面積を算出してもよい。
集計される期間が、動画全体でなく、所定の区切り毎に、システム制御部14が、フレーム・表示候補領域情報を集計してもよい。例えば、システム制御部14が、チャプター情報や、画像が切り替わる時点等で、区切ってフレーム・表示候補領域情報を集計し、集計した表示候補領域情報を算出する。
また、システム制御部14が、積算表示量の一例として、複数の表示候補領域または共通領域をグルーピングして、グループ毎の表示候補領域情報を算出してもよい。例えば、システム制御部14が、各表示候補領域または共通領域の形状等(例えば、アスペクト比等)が同一または類似するか否かを判定して、形状等が同一または類似する表示候補領域または共通領域同士に同じグループIDを割り当てる。そして、システム制御部14が、グループ単位の出現回数(グループに属する表示候補領域または共通領域が少なくとも1つ出現したらカウントする、少なくとも所定数以上出現したらカウントする等)、グループ単位の表示面積(グループに属する表示候補領域または共通領域の面積を足し合わせる)等のグループ単位の積算表示量を算出する。
なお、各表示候補領域または共通領域が同一または類似するか否かを判定方法は、時間的に近い画像フレーム間における表示候補領域または共通領域間で、システム制御部14が、例えば、表示候補領域または共通領域の位置、色、形状、大きさ等の表示候補領域または共通領域のパラメータにおいて、各パラメータが、所定の範囲内の表示候補領域または共通領域同士を、同一または類似する表示候補領域または共通領域であると判定する。そして、システム制御部14が、同一または類似する表示候補領域または共通領域同士をグルーピングする。
なお、システム制御部14が、色が同一または類似する類似する表示候補領域または共通領域同士のグループ毎に、グループ単位の積算表示量を算出してもよい。
次に、システム制御部14が、集計した表示候補領域情報を、動画IDおよび集積表示候補領域IDに関連付けて、集計表示候補領域情報DB12dに記憶する。また、システム制御部14が、集計された期間のフレーム番号、共通領域が最大の表示面積を示したフレーム番号、共通領域が最小の表示面積を示したフレーム番号等のフレーム番号またはフレームIDも、集計表示候補領域情報DB12dに記憶してもよい。また、システム制御部14が、オブジェクトの形状や、矩形の場合のアスペクト比、楕円形の場合の長軸短軸の比も、集計表示候補領域情報DB12dに記憶してもよい。また、システム制御部14が、動画におけるオブジェクトの最頻出の出現位置の座標、平均の出現位置の座標のオブジェクトの座標情報も、オブジェクト情報と共に、集計表示候補領域情報DB12dに記憶してもよい。
次に、動画配信サーバ装置10は、表示候補領域毎の情報と表示する広告の広告主が設定した広告表示条件とに基づいて、広告を表示する広告表示領域を選択する(ステップS21)。具体的には、システム制御部14が、集計表示候補領域情報DB12dを参照して、広告表示条件と集積した表示候補領域情報を照合して共通領域を広告表示領域として選択する。
例えば、広告”AD−a1”の広告表示条件が、広告の形状が矩形で、表示時間が3秒以上で、表示面積が所定値以上で、かつ画面の右上に表示したいという場合、図23Aから図23Dに示すように、広告表示領域ad−ar1が該当する。システム制御部14が、集計表示候補領域情報DB12dを参照して、画像フレーム55の図中右上の共通領域co−arを広告表示領域ad−ar1として選択する。
例えば、広告”AD−d1”の広告表示条件が、広告の形状のアスペクト比が横に細長く(例えば、アスペクト比5:1のような棒形状)、画面の下側で、10秒以上という場合、図23Aから図23Dに示すように、広告表示領域ad−ar4が該当する。
なお、広告を表示させる広告表示領域が選択されたら、システム制御部14が、広告を表示させる各画像フレームにおいて、広告を付加する広告表示領域と、基準の広告のサイズとの比(拡大率または縮小率)を、算出して、集計表示候補領域情報DB12d等に記憶してもよい。
また、システム制御部14が、集計表示候補領域情報DB12dを参照して、各共通領域の出現数のうち、出現数が相対的に多い(出現数の順位が上位から所定数個の)共通領域を広告表示領域として選択してもよい。この場合、システム制御部14が、広告表示条件に基づいて、広告表示領域を選択してもよいし、広告表示条件に基づかないで、集積した表示候補領域情報のみで、広告表示領域を選択してもよい。システム制御部14が、広告表示条件にも基づく場合、出現数が相対的に多い共通領域のうち、広告表示条件を満たす共通領域を選択する。
また、システム制御部14が、集計表示候補領域情報DB12dを参照して、各共通領域の平均表示面積のうち、平均表示面積が相対的に大きい(平均表示面積の順位が上位から所定数個の)共通領域を広告表示領域として選択してもよい。この場合、システム制御部14が、広告表示条件に基づいて、共通領域を選択してもよいし、広告表示条件に基づかないで、集積した表示候補領域情報のみで、共通領域を選択してもよい。システム制御部14が、広告表示条件にも基づく場合、平均表示面積が相対的に大きい共通領域のうち、広告表示条件を満たす共通領域を選択する。
また、システム制御部14が、集計表示候補領域情報DB12dを参照して、各共通領域の積算表示数のうち、積算表示数が相対的に多い(積算表示数の順位が上位から所定数個の)共通領域を広告表示領域として選択してもよい。この場合、システム制御部14が、広告表示条件に基づいて、共通領域を選択してもよいし、広告表示条件に基づかないで、集積した表示候補領域情報のみで、共通領域を選択してもよい。システム制御部14が、広告表示条件にも基づく場合、積算表示数が相対的に多い共通領域のうち、広告表示条件を満たす共通領域を選択する。
また、システム制御部14が、集計表示候補領域情報DB12dを参照して、各共通領域の連続出現数のうち、連続出現数が相対的に多い(連続出現数の順位が上位から所定数個の)共通領域を広告表示領域として選択してもよい。この場合、システム制御部14が、広告表示条件に基づいて、共通領域を選択してもよいし、広告表示条件に基づかないで、集積した表示候補領域情報のみで、共通領域を選択してもよい。システム制御部14が、広告表示条件にも基づく場合、連続出現数が相対的に多い共通領域のうち、広告表示条件を満たす共通領域を選択する。
また、システム制御部14が、共通領域のうち、複数の画像フレームにおいて積算表示量が最も大きい領域の組み合わせを広告表示領域として選択してもよい。例えば、図22Aおよび図22Bに示すように、共通領域co−ar1(54a)がフレーム番号”000,001”からフレーム番号”000,135”までであり、共通領域co−ar1(54b1)が、フレーム番号”000,001”からフレーム番号”000,135”までであり、共通領域co−ar2(54b2)が、フレーム番号”000,136”からフレーム番号”000,360”までであり、共通領域(54a)の積算表示量<共通領域(54b1)の積算表示量+共通領域(54b2)の積算表示量の場合、システム制御部14が、共通領域(54a)でなく、共通領域(54b1)および、共通領域(54b2)を、広告表示領域として選択する。すなわち、システム制御部14が、フレーム番号”000,001”からフレーム番号”000,135”まで、共通領域(54b1)に広告を表示し、フレーム番号”000,136”からフレーム番号”000,360”まで、共通領域(54b2)に広告を表示するように、表示情報を生成する。
また、システム制御部14が、画像フレーム間における共通領域の差分データ量が、所定の閾値より大きい場合の共通領域を広告表示領域として選択してもよい。システム制御部14が、所定の閾値を、各共通領域の差分データ量により設定する。例えば、システム制御部14が、ステップS20において、各共通領域を別々に単一色で塗りつぶした場合における動画の圧縮率(または、動画のエンコード時のデータの減少量)を、共通領域毎の集積した表示候補領域情報として算出する。そして、システム制御部14が、ステップS21において、共通領域毎の圧縮率を比較して、圧縮率が相対的に高い(圧縮率が最も高く圧縮される共通領域から所定順位の)共通領域を選択してもよい。
この場合、システム制御部14が、広告表示条件に基づいて、共通領域を選択してもよいし、広告表示条件に基づかないで集積した表示候補領域情報のみで、共通領域を選択してもよい。システム制御部14が、広告表示条件にも基づく場合、所定の閾値より大きい場合の共通領域を共通領域のうち、広告表示条件を満たす共通領域を選択する。
ここで、配信のために、システム制御部14が、所定の符号化方式により、動画のコンテンツを配信用の動画データに変換して圧縮する。動画の符号化方式は、フレーム間の差分を利用した符号化方式があり、圧縮率を高めるために、フレーム間予測が用いられる。システム制御部14が、所定の画像フレームに対して、前の画像フレームおよび後の画像フレームの少なくとも1つの画像フレームからの予測画像フレームとの差分を利用して符号化する。さらに、画像フレーム間でのオブジェクト等の動きを補償する動き補償を行うためにシステム制御部14が、動きベクトルも求め、動きベクトルを符号化する。1つの画像フレームと予測画像フレームとの差分情報や、動きベクトルの情報等が、差分データの一例である。
このように、差分データ量が、所定の閾値より大きい場合の共通領域が選択され、選択された共通領域が単一色で塗りつぶされた場合、情報量の多い共通領域が消されたことになり、動画の符号化方式による圧縮率が高くなり、データ量が減少する。
なお、システム制御部14が、これら出現数、平均表示面積、積算表示量、連続出現数、差分データ量の少なくとも2つを組み合わせて、共通領域を広告表示領域として選択してもよい。
また、システム制御部14が、広告表示条件である、広告の表示時間、広告の表示面積、広告の形状等の少なくとも2つを組み合わせて、共通領域を広告表示領域として選択してもよい。さらに、システム制御部14が、出現数、平均表示面積、積算表示量、連続出現数、差分データ量、広告の表示時間、広告の表示面積、広告の形状等の少なくとも2つを組み合わせて、共通領域を広告表示領域として選択してもよい。
これら集積した表示候補領域情報および広告表示条件を組み合わせることにより、広告提供者の様々なニーズにあった広告表示領域を的確に選択できる。
これらのように、動画配信サーバ装置10が、前記特定された表示候補領域に関する情報と前記付加コンテンツを表示するための付加コンテンツ表示条件とに基づき、前記特定された表示候補領域から前記付加コンテンツ表示領域を選択する付加コンテンツ表示領域選択手段の一例として機能する。また、動画配信サーバ装置10が、前記共通領域の大きさに応じて、前記共通領域から、前記付加コンテンツ表示領域を選択する付加コンテンツ表示領域選択手段の一例として機能する。の一例として機能する。また、動画配信サーバ装置10が、前記積算表示量に応じて、前記共通領域から、前記付加コンテンツ表示領域を選択する付加コンテンツ表示領域選択手段の一例として機能する。また、動画配信サーバ装置10が、前記共通領域の画像の差分データ量により設定される閾値より、前記差分データ量が大きい共通領域を、前記付加コンテンツ表示領域として選択する付加コンテンツ表示領域選択手段の一例として機能する。また、動画配信サーバ装置10が、前記付加コンテンツの形状に適合するように、前記共通領域の形状の情報に応じて選択される前記共通領域を、前記付加コンテンツ表示領域として選択する付加コンテンツ表示領域選択手段の一例として機能する。
次に、動画配信サーバ装置10は、選択した広告表示領域に広告を表示するための制御情報を生成する(ステップS22)。具体的には、システム制御部14が、集計表示候補領域情報DB12dを参照して、選択したオブジェクトの集積表示候補領域IDに基づき、広告を表示する各フレームIDと、これらの画像フレームにおける広告表示領の座標情報を取得して、各フレームIDと、これらのフレームIDに対応する座標情報とを含む制御情報を生成する。例えば、図23Aから図23Dに示すように、画像フレーム55から構成される動画が再生されるように、システム制御部14が、制御情報を生成する。
この制御情報は、動画の再生時に、動画における広告表示領域に重畳して広告を表示させるための情報である。
広告表示領域は、選択された共通領域の少なくとも一部を含んでいる。例えば、システム制御部14が、広告表示領域ad−ar1を、図23Aから図23Dに示すように、広告”AD−a1”のために選択された共通領域co−ar3と一致するように設定してもよい。
また、システム制御部14が、広告表示領域ad−ar2を、図23Aから図23Dに示すように、広告”AD−b1”のために選択された共通領域co−ar3の内部に設定してもよい。また、また、システム制御部14が、広告表示領域ad−ar2を、図23Aから図23Dに示すように、広告”AD−b1”の広告表示条件を満たすように、共通領域co−ar3の内部の上部に設定してもよい。また、システム制御部14が、広告表示領域ad−ar2において、広告”AD−b1”から広告”AD−b2”に、場面が変わった時点で変えてもよい。
また、システム制御部14が、広告表示領域ad−ar3を、図23Aから図23Dに示すように、オブ、広告”AD−c1”のために選択された共通領域co−ar3の一部を含むように設定してもよい。このように、広告”AD−c1”の形状と、共通領域co−ar3の形状とが必ずしても一致していなくてもよい。また、システム制御部14が、広告表示領域ad−ar3において、広告”AD−c1”から広告”AD−c2”に変えてもよい。
また、また、システム制御部14が、広告表示領域ad−ar4を、図23Aから図23Dに示すように、広告”AD−d1”の広告表示条件を満たすように、共通領域co−ar3の内部の下部に設定してもよい。
また、システム制御部14が、図23Bから図23Cに示すように、広告”AD−e1”の広告表示領域ad−ar5から、広告”AD−e2”の広告表示領域ad−ar6のように、広告表示領域の形状を変化させてもよい。また、システム制御部14が、広告”AD−e1”の広告表示領域ad−ar5を共通領域co−ar3の内部に設定して、あるフレーム番号から、広告”AD−e2”の広告表示領域ad−ar6を共通領域co−ar3から一部がはみ出すように設定してもよい。コンテンツ提供者が、動画のオブジェクトob13に広告が重なることを禁止した条件を設定した場合、システム制御部14が、オブジェクトob13を避けて、動画のオブジェクトob12に被さるように、広告表示領域ad−ar6を設定してもよい。
また、図24Aおよび図24Bに示すように、画像フレーム55における位置が比較的近くて対応する共通領域が変わっている場合、システム制御部14が、共通領域の大きさの変化に応じて、広告表示領域ad−ar14から広告表示領域ad−ar24、および、広告表示領域ad−ar17から広告表示領域ad−ar27のように、広告表示領域の大きさを変えてもよい。例えば、システム制御部14が、広告”AD−f1”の大きさを、広告表示領域の大きさに合わせて変化させる。
また、共通領域に対する広告の表示に関して、図23Bおよび図23Cに示すように、システム制御部14が、広告表示条件に応じて、広告表示領域ad−ar3に表示する広告を広告”AD−c1”から広告”AD−c2”変えるように、制御情報を生成してもよい。また、図23Bおよび図23Cに示すように、システム制御部14が、広告表示条件に応じて、広告表示領域ad−ar5から広告表示領域ad−ar6のように、広告の大きさ、形状を変えるように、制御情報を生成してもよい。
なお、制御情報に、共通表示領域の輪郭等の座標情報の代わりに、共通領域の外縁または内部の一点の座標情報および共通領域の大きさの情報が含まれていてもよい。この場合、システム制御部14が、共通領域の大きさに合わせて広告の大きさを変形させ、共通領域の一点を含む位置に、広告を表示させるように、制御情報を生成してもよい。
なお、これらの制御情報に、広告表示条件に合う広告の広告データを含めてもよいし、含めなくてもよい。制御情報に、広告データを含めた場合、制御情報で設定された広告を、状況に応じたタイミングで、選択した共通領域の位置に柔軟に表示できる。この制御情報に、広告データを含めない場合、視聴ユーザ端末装置40における動画の再生時に、視聴ユーザの操作情報や購入履歴等のユーザ情報等の状況に応じた様々な広告を、選択したオブジェクトの位置に柔軟に表示できる。
これらのように、動画配信サーバ装置10が、前記選択された付加コンテンツ表示領域に前記付加コンテンツを表示するための表示情報を生成する表示情報生成手段の一例として機能する。
次に、動画配信サーバ装置10は、生成された制御情報を動画IDと対応付けて記憶する(ステップS23)。具体的には、システム制御部14が、表示される広告IDと、広告を表示する画像フレームの各フレーム番号と、フレーム番号に対応した、広告を表示させる広告表示領域または共通領域の座標情報とを含む制御情報を、動画IDと対応付けて、制御情報DB12eに登録する。
なお、図25に示すように、システム制御部14が、選択された共通領域の全体または一部(マスク領域ms1、ms2)を単一色に塗りつぶした画像フレーム53から構成される動画を、マスクされた表示情報として、生成してもよい。システム制御部14が、ステップS22において、選択した共通領域に対応するように、広告を表示する位置に、このマスク領域を設定する。システム制御部14が、マスク領域を同色に塗りつぶした各画像フレームから構成された表示情報を生成する。そして、システム制御部14が、ステップS22において、マスクされた表示情報を、動画IDと対応付けて、動画DB12a等に登録する。
また、システム制御部14が、共通領域の大きさや形状の変化に合わせて、マスク領域の大きさや形状を変化させてもよい。
マスクされた表示情報は、マスクされた分、動画のデータ量が削減されている。特に、エンコード時に動画を、動画の符号化方式により圧縮した際の圧縮率が高くなる。
マスクされた表示情報を使用する場合、ステップS22において生成された制御情報と共に、マスクされた表示情報を視聴ユーザ端末装置40に送信する。視聴ユーザ端末装置40は、マスクされた表示情報を再生する時に、制御情報に基づき、マスク領域に広告を重畳して表示する。
この制御情報に、広告データを含めた場合、制御情報で設定された広告を、状況に応じたタイミングで、マスク領域に柔軟に表示できる。この制御情報に、広告データを含めない場合、視聴ユーザ端末装置40における動画の再生時に、視聴ユーザの操作情報や購入履歴等のユーザ情報等の状況に応じた様々な広告を、マスク領域に柔軟に表示できる。
なお、システム制御部14が、マスク領域に設定する色を、共通領域の色、共通領域の回りの背景色、付加する広告の色により、決定する。
具体的には、システム制御部14が、共通領域の画素の色の情報、共通領域の境界から外の所定の範囲の画素の色の情報、および、付加する広告の色の情報の少なくとも1つを取得する。マスク領域に設定する色として、例えば、システム制御部14が、共通領域の画素の色に類似する色(例えば、RGBの各値の差が所定以内)、共通領域の境界から外の所定の範囲の画素の色に類似する色、または、付加する広告の色に類似する色等を設定する。または、マスク領域に設定する色として、例えば、システム制御部14が、共通領域の画素の色と共通領域の境界から外の所定の範囲の画素の色との中間の色(例えば、共通領域のRGBの値と、背景色のRGBの値との間にあるRGBの値)、共通領域の画素の色と広告の画素の色との中間色、共通領域の境界から外の所定の範囲の画素の色と広告の画素の色との中間色等を設定する。
マスク領域に設定する色が、これら類似する色や中間色である場合、動画の符号化方式により動画を圧縮した際に、画像フレーム間での色の変化が少なくなり、動画の圧縮率が高くなる。
また、図23Aから図23D、図24Aおよび図24Bに示すように、システム制御部14が、予め広告が埋め込まれた動画データを表示情報として生成しておいてもよい。
例えば、システム制御部14が、広告を埋め込む領域(例えば、共通領域)を削除して、代わりに広告データを、画像フレーム毎に挿入しておいてもよい。この場合、制御情報が不要で、動画の情報を視聴ユーザ端末装置40に送信する。
また、視聴ユーザ端末装置40への動画の配信時に、システム制御部14が、上記マスクされた表示情報を、動画DB12a等から読み出し、ユーザ情報等の情報等に応じて、広告を選択し、マスクされた表示情報のマスク領域に広告を埋め込み、新たな動画の情報である表示情報を生成してもよい。この場合、制御情報が不要で、動画の情報を視聴ユーザ端末装置40に送信する。
なお、マスクする共通領域を選択する際に、システム制御部14が、ステップS21において、画像フレーム間における共通領域の差分データ量が、所定の閾値より大きい場合の共通領域を選択してもよい。システム制御部14が、所定の閾値を、共通領域の差分データ量により設定する。例えば、各共通領域がマスクされた画像フレームに置き換えた場合、システム制御部14が、動画の符号化方式による動画の圧縮率を比較して、圧縮率が最も高く圧縮される共通領域から所定順位の共通領域までを、マスクをかける共通領域として選択する。
(3.5 動画配信処理の動作例)
まず、動画配信サーバ装置10における動画配信処理の動作例について図26を用いて説明する。
図26は、一実施形態に係る動画配信サーバ装置のシステム制御部の動画配信処理の一例を示すフローチャートである。
図26に示すように、動画配信サーバ装置10は、動画の視聴を希望する視聴ユーザ端末装置40から視聴を希望する動画のコンテンツ条件を取得する(ステップS30)。具体的には、システム制御部14が、視聴ユーザ端末装置40から、検索キーワード(映画のタイトル、俳優名、監督名等)、動画のカテゴリ等の動画コンテンツ条件の情報を取得する。
次に、動画配信サーバ装置10は、取得したコンテンツ条件を満たす動画を、動画DB12aから抽出する(ステップS31)。具体的には、システム制御部14が、動画DB12aを参照して、コンテンツ条件に基づき検索を行い、コンテンツ条件を満たす動画を抽出し、リスト化した検索結果の表示情報を生成する。
次に、動画配信サーバ装置10は、抽出した動画を視聴ユーザ端末装置40に提示する(ステップS32)。具体的には、システム制御部14が、生成した検索結果の表示情報を、視聴ユーザ端末装置40に送信する。
次に、動画配信サーバ装置10は、視聴ユーザ端末装置40から動画の選択を取得する(ステップS33)。検索結果の一覧から視聴ユーザにより選択された動画の動画IDを、ユーザIDおよび動画表示要求と共に視聴ユーザ端末装置40が、動画配信サーバ装置10に送信する。システム制御部14が、視聴ユーザ端末装置40から、選択された動画の動画IDを受信する。
次に、動画配信サーバ装置10は、動画と、動画に対応する制御情報と、を視聴ユーザ端末装置40に提供する(ステップS34)。具体的には、システム制御部14が、受信した動画IDに基づき、動画DB12aを検索して、受信した動画IDに対応する動画データを取得する。また、システム制御部14が、受信した動画IDに基づき、制御情報DB12eを検索して、受信した動画IDに対応する制御情報を取得する。
システム制御部14が、動画IDの動画の情報および制御情報を視聴ユーザ端末装置40に送信する。
なお、動画配信サーバ装置10は、動画IDの動画の全体のデータ、および、この動画のデータに対応した制御情報を、視聴ユーザ端末装置40にまとめて送信してもよいし、動画のチャプター毎に送信してもよいし、ストリーミング方式で、動画IDの動画のデータの一部および動画のデータに対応した制御情報を、視聴ユーザ端末装置40に送信してもよい。
(3.6 制御情報変更処理の動作例)
次に、動画配信サーバ装置10における制御情報変更処理の動作例について図27および図28を用いて説明する。
図27は、一実施形態に係る動画配信サーバ装置のシステム制御部の制御情報変更処理の一例を示すフローチャートである。図28は、動画データにおけるスキップまたは巻き戻しの一例を示す模式図である。
図27に示すように、動画配信サーバ装置10は、視聴ユーザ端末装置40から操作情報を取得する(ステップS40)。具体的には、視聴ユーザ端末装置40の表示部43に再生されている動画に対する操作情報(例えば、スキップを開始した画像フレームのフレームIDおよびスキップが終了した画像フレームのフレームID、または、巻き戻しを開始した画像フレームのフレームIDおよび巻き戻しが終了した画像フレームのフレームID等)の情報を、システム制御部14が、視聴ユーザ端末装置40から取得する。
図28に示すように、フレーム番号”000,015”からスキップを開始し、フレーム番号”000,135”でスキップを終了した場合、視聴ユーザ端末装置40は、スキップ開始のフレーム番号”000,015”および、スキップ終了のフレーム番号”000,135”の情報を、操作情報として、ユーザIDと共に、動画配信サーバ装置10に送信する。
図28に示すように、フレーム番号”000,360”から巻き戻しを開始し、フレーム番号”000,165”で巻き戻しを終了した場合、視聴ユーザ端末装置40は、巻き戻し開始のフレーム番号”000,360”および、巻き戻し終了のフレーム番号”000,165”の情報を、操作情報として、ユーザIDと共に、動画配信サーバ装置10に送信する。
次に、動画配信サーバ装置10は、操作情報と、操作情報に対応する画像フレームにおける表示候補領域の情報と、表示候補領域IDと、に基づいた表示候補領域の情報を算出する(ステップS41)。スキップした場合は、システム制御部14が、ステップS20のように、スキップした箇所のフレーム番号の画像フレームを除外した画像フレームにおいて、各フレーム・表示候補領域情報と、オブジェクトIDと、に基づいて、表示候補領域毎の表示候補領域の情報を再集計する。
巻き戻した場合は、システム制御部14が、ステップS20のように、巻き戻した箇所のフレーム番号の画像フレームを重複した画像フレームにおいて、各フレーム・表示候補領域情報と、表示候補領域IDと、に基づいて、表示候補領域毎の表示候補領域の情報を再集計する。すなわち、システム制御部14が、巻き戻した箇所のフレーム番号の画像フレームに存在する表示候補領域のフレーム・表示候補領域情報を、余分に集計する。
このように、新たに集計した表示候補領域情報は、集計表示候補領域情報DB12dに記録されてもよい。
次に、動画配信サーバ装置10は、新たに集計した表示候補領域情報と、表示する広告の広告主が設定した広告表示条件と、基づいて、広告を表示する表示候補領域を選択する(ステップS42)。具体的には、システム制御部14が、ステップS21のように、集計表示候補領域情報DB12dを参照して、広告表示条件に合う集積した表示候補領域情報を検索し、広告を表示する共通領域を広告表示領域として選択する。
次に、動画配信サーバ装置10は、選択した表示候補領域に対応するように、広告を表示するための制御情報を生成する(ステップS43)。具体的には、システム制御部14が、ステップS22のように、集計表示候補領域情報DB12dを参照して、選択した共通領域の共通領域IDに基づき、広告表示条件に合っている広告を表示する各フレームIDと、これらの画像フレームにおける共通領域の座標情報を取得して、各フレームIDと、これらのフレームIDに対応する座標情報を含む制御情報を生成する。なお、この制御情報は、上述した、表示情報を含む様々な制御情報の変形例でもよい。
次に、動画配信サーバ装置10は、制御情報を視聴ユーザ端末装置40に提供する(ステップS44)。具体的には、システム制御部14が、ステップS34のように、新たに生成された制御情報を視聴ユーザ端末装置40に送信する。なお、以前の制御情報と比較して、新たに生成された制御情報の場合の方が、広告の出現数が減少して、広告表示条件等を満たさなくなる場合、システム制御部14は、新たに生成された制御情報を視聴ユーザ端末装置40に送信しなくてもよい。
なお、図23Aに示すように、広告”AD−a1”の削除ボタンbtがクリックされた場合、視聴ユーザ端末装置40は、広告”AD−a1”の広告IDおよび削除要求を、操作情報として、ユーザIDと共に、動画配信サーバ装置10に送信してもよい。また、広告”AD−a1”等の広告がクリックされた場合、視聴ユーザ端末装置40は、広告”AD−a1”の広告IDおよび広告選択された旨の情報を、操作情報として、ユーザIDと共に、動画配信サーバ装置10に送信してもよい。そして、ステップS40のように、システム制御部14が、視聴ユーザ端末装置40から操作情報を取得する。
システム制御部14が、広告の削除の操作情報を受信した場合、広告IDに対応する広告を削除した制御情報を含む表示情報を生成したり、広告IDに対応する広告の表示回数や表示面積を減少した制御情報を含む表示情報を生成したりして、表示情報の更新を行う。
システム制御部14が、広告選択された旨の操作情報を受信した場合、広告IDに対応するリンク先のWebページを別のウィンドウに開く制御情報を生成したり、広告IDに対応する広告を削除した制御情報を含む表示情報を生成したり、広告IDに対応する広告の表示回数や表示面積を減少した制御情報を含む表示情報を生成したりして、表示情報の更新を行う。
なお、視聴ユーザ端末装置40から操作情報として、視聴ユーザ端末装置40の表示部43に再生されている動画の表示サイズの変更操作の情報でもよい。そして、動画配信サーバ装置10が、この動画の表示サイズの変更操作に応じて広告を更新してもよい。
動画の表示サイズの変更操作が、表示ウィンドウを縮小する操作の場合、動画の表示サイズの縮小に連れて、各表示候補領域(または共通領域)の表示面積が小さくなる。各表示候補領域の表示面積が小さくなると、広告表示条件を満たさなくなることがあるので、動画配信サーバ装置10は、新たな広告に置き換える処理、または、広告を消去する処理を行う。
一方、動画の表示サイズの変更操作が、表示ウィンドウを拡大する操作の場合、動画の表示サイズの拡大に連れて、各表示候補領域の表示面積が大きくなる。各表示候補領域の表示面積が大きくなると、現在表示されている広告よりも広告表示条件を満足する度合いが高い広告がある可能性があるので、動画配信サーバ装置10は、現在広告よりも広告表示条件を満足する度合いが高い広告があれば、それの広告に置き換える処理を行う。
動画配信サーバ装置10は、ステップS40で、これらのような動画の表示サイズの縮小または拡大の操作情報と、操作された画像フレームのフレームIDとを、視聴ユーザ端末装置40から取得する。
動画配信サーバ装置10は、ステップS41で、操作された画像フレーム以降における表示候補領域の情報を算出する。この表示候補領域の情報には、表示サイズの縮小または拡大に伴う表示候補領域の面積の情報が含まれる。
動画配信サーバ装置10は、ステップS42で、新たに算出した表示候補領域の情報と、表示する広告の広告主が設定した広告表示条件と、基づいて、広告を表示する表示候補領域を選択する。なお、広告表示条件を満たす広告がない場合、表示候補領域から広告が削除されてもよい。また、動画の表示サイズの変更に伴い、現在表示されている広告が、広告表示条件を満たす別の表示候補領域に表示されるように変更されてもよい。
動画配信サーバ装置10は、ステップS43で、広告表示条件を満たした別の広告がある場合、この広告を表示するための制御情報を生成する。
動画配信サーバ装置10は、ステップS44で、広告表示条件を満たした別の広告がある場合、この別の広告が表示される制御情報を視聴ユーザ端末装置40に提供する。
以上、本実施形態によれば、付加コンテンツを表示するための付加コンテンツ表示領域の一例である広告表示領域(ad−ar1、ad−ar2、・・・)の候補となる表示候補領域cnd−arが、オブジェクト表示領域(ar1、ar2、・・・)に含まれない領域から特定され、特定された表示候補領域に関する情報と広告表示条件とに基づき、表示候補領域cnd−arから選択された広告表示領域にコンテンツを表示するための表示情報が生成されるので、コンテンツのオブジェクト(ob1、ob2、・・・)に、広告のコンテンツ等の他の画像が重ならず、広告表示領域を、視聴ユーザによる視聴を妨げとならない領域として生成できる。また、広告表示領域の位置、形状、大きさ等に合わせて、広告表示条件に合うように、柔軟に広告を表示させることができる。
また、表示候補領域に関する情報が、複数の前記画像フレーム50において共通する表示候補領域cnd−arの共通領域(co−ar1、co−ar2、co−ar3)の大きさの情報を含み、共通領域の大きさに応じて、共通領域(co−ar1、co−ar2、co−ar3)から、広告表示領域(ad−ar1、ad−ar2、・・・)を選択する場合、各画像フレームにおいてオブジェクト(ob1、ob2、・・・)に重ならない領域で、各画像フレームにおける固定した位置に、共通領域(co−ar1、co−ar2、co−ar3)の大きさに合った広告を安定して表示できる。
表示候補領域に関する情報が、複数の画像フレーム50において共通する表示候補領域cnd−arの共通領域(co−ar1、co−ar2、co−ar3)が動画において空間および時間の少なくとも一方の積算で表示される積算表示量を含み、積算表示量に応じて、共通領域(co−ar1、co−ar2、co−ar3)から、広告表示領域(ad−ar1、ad−ar2、・・・)を選択する場合、各画像フレームにおいてオブジェクト(ob1、ob2、・・・)に重ならない領域で、各画像フレームにおける固定した位置に、共通領域の積算表示量に合った広告を安定して表示できる。
表示候補領域に関する情報が、複数の画像フレーム50において共通する表示候補領域cnd−arの共通領域(co−ar1、co−ar2、co−ar3)であって、画像フレーム50の隣接するフレーム間における共通領域(co−ar1、co−ar2、co−ar3)の画像の差分データ量を含み、共通領域(co−ar1、co−ar2、co−ar3)の画像の差分データ量により設定される閾値より、差分データ量が大きい共通領域(co−ar1、co−ar2、co−ar3)を、広告表示領域として選択する場合、差分データ量が大きい共通領域(co−ar1、co−ar2、co−ar3)が、画像フレーム毎の色等の変化が少ない広告と入れ替わることにより、動画の符号化方式による動画を圧縮した際のデータ量を削減することができる。
表示候補領域に関する情報が、複数の画像フレーム50において共通する表示候補領域cnd−arの共通領域(co−ar1、co−ar2、co−ar3)の形状の情報を含み、広告表示条件が、広告の形状の情報を含み、広告の形状に適合するように、共通領域(co−ar1、co−ar2、co−ar3)の形状の情報に応じて選択される共通領域(co−ar1、co−ar2、co−ar3)を、広告表示領域として選択する場合、広告の形状を変形することなく、共通領域(co−ar1、co−ar2、co−ar3)の形状に合うように、広告を表示できるので、広告の形状を変形する処理を省くことができる。
表示情報が、選択された広告表示領域の少なくとも一部を単一の色でマスクした動画を含む場合、単一の色でマスクされるため、動画を圧縮した際のデータ量を削減できる。
オブジェクト表示領域ar1、ar2、・・・)に含まれない領域の中から、広告表示条件に基づいた形状に適合する表示候補領域cnd−arを特定する場合、広告表示領域(ad−ar1、ad−ar2、・・・)を選択する前に、表示候補領域cnd−arが広告表示条件に基づいた形状(例えば、矩形等)に適合するように限定されているので、矩形に楕円形等の表示候補領域を組み合わせたときの表示候補領域cnd−arの数が増加しなく、処理を軽減できる。
次に、一部がマスクされた画像フレームの変形例について図29および図30を用いて説明する。
図29および図30は、画像フレームの一部をマスクするマスクの変形例を示す模式図である。
システム制御部14が、図29に示すように、広告表示領域ad−arと広告adとから、領域内の画素毎の中間色から構成されるマスク画像msを生成してもよい。図30に示すように、例えば、システム制御部14が、共通領域co−ar内の広告表示領域ad−arに対して、所定のフレーム番号に、共通領域co−arの一部の領域にマスク画像msを埋め込んだ画像フレームを作成する。共通領域co−arの一部の領域に広告adを埋め込んだ画像フレームの前に、マスク画像msを埋め込んだ画像フレームが表示されることにより、共通領域co−arの一部の領域に対して、画像情報の変化が軽減する。
選択された共通領域co−arのオブジェクト情報に従った領域内の画素の色と、当該領域に付加する広告adの画素の色に基づき、当該領域をマスクする色が画素毎に決定され、表示情報が、領域を当該画素毎に決定された色でマスクした動画を含む場合、例えば、対応する画素毎の中間色で領域をマスクできるので、広告を表示させた画像フレーム前と、広告を表示させた後の画像フレームと、の間の画像フレームの一部を画素毎の中間色でマスクするので、動画を圧縮した際のデータ量を削減できる。
なお、コンテンツ提供者が提供する動画に出現するオブジェクトに関して、オブジェクトに付加コンテンツの表示の許可または禁止の情報に基づき、システム制御部14が、ステップS21において、共通領域を選択してもよい。この場合、コンテンツ提供者の表示条件に満たすように、表示情報を生成できる。
さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。
上記課題を解決するために、請求項1に記載の発明は、動画を記憶する動画記憶手段から取得した前記動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレームを取得する画像フレーム取得手段と、前記取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトのオブジェクト表示領域を、前記画像フレーム毎に特定し、当該オブジェクト表示領域に含まれない領域の中から、前記動画に付加する付加コンテンツを表示するための付加コンテンツ表示領域の候補となる表示候補領域を少なくとも1つ特定する表示候補領域特定手段と、前記特定された表示候補領域毎に、各前記画像フレームにおける前記表示候補領域に関する表示候補領域情報を算出する表示候補領域情報算出手段と、前記算出された表示候補領域情報と前記付加コンテンツを表示するための付加コンテンツ表示条件とに基づき、前記特定された表示候補領域から前記付加コンテンツ表示領域を選択する付加コンテンツ表示領域選択手段と、前記選択された付加コンテンツ表示領域に前記付加コンテンツを表示するための表示情報を生成する表示情報生成手段と、前記表示情報を、前記動画を視聴するユーザの端末装置に送信する送信手段と、前記端末装置から前記動画に対して操作された操作情報を受信する受信手段と、を備え、前記表示候補領域情報算出手段が、前記操作情報に基づき前記表示候補領域情報を算出し、前記付加コンテンツ表示領域選択手段が、前記操作情報に基づいて算出された表示候補領域情報に基づき、前記特定された表示候補領域から前記付加コンテンツ表示領域を選択し、前記表示情報生成手段が、前記選択された付加コンテンツ表示領域に前記付加コンテンツを表示するための表示情報を再度生成し、前記送信手段が、前記再度生成された前記表示情報を、前記端末装置に送信することを備えたことを特徴とする。
請求項9に記載の発明は、画像フレーム取得手段が、動画を記憶する動画記憶手段から取得した前記動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレームを取得する画像フレーム取得ステップと、表示候補領域特定手段が、前記取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトのオブジェクト表示領域を、前記画像フレーム毎に特定し、当該オブジェクト表示領域に含まれない領域の中から、前記動画に付加する付加コンテンツを表示するための付加コンテンツ表示領域の候補となる表示候補領域を少なくとも1つ特定する表示候補領域特定ステップと、表示候補領域情報算出手段が、前記特定された表示候補領域毎に、各前記画像フレームにおける前記表示候補領域に関する表示候補領域情報を算出する表示候補領域情報算出ステップと、付加コンテンツ表示領域選択手段が、前記算出された表示候補領域情報と前記付加コンテンツを表示するための付加コンテンツ表示条件とに基づき、前記特定された表示候補領域から前記付加コンテンツ表示領域を選択する付加コンテンツ表示領域選択ステップと、表示情報生成手段が、前記選択された付加コンテンツ表示領域に前記付加コンテンツを表示するための表示情報を生成する表示情報生成ステップと、送信手段が、前記表示情報を、前記動画を視聴するユーザの端末装置に送信する送信ステップと、受信手段が、前記端末装置から前記動画に対して操作された操作情報を受信する受信ステップと、を含み、前記表示候補領域情報算出ステップにおいて、前記操作情報に基づき前記表示候補領域情報を算出し、前記付加コンテンツ表示領域選択ステップにおいて、前記操作情報に基づいて算出された表示候補領域情報に基づき、前記特定された表示候補領域から前記付加コンテンツ表示領域を選択し、前記表示情報生成ステップにおいて、前記選択された付加コンテンツ表示領域に前記付加コンテンツを表示するための表示情報を再度生成し、前記送信ステップにおいて、前記再度生成された前記表示情報を、前記端末装置に送信することを特徴とする。
請求項10に記載の発明は、コンピュータを、動画を記憶する動画記憶手段から取得した前記動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレームを取得する画像フレーム取得手段、前記取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトのオブジェクト表示領域を、前記画像フレーム毎に特定し、当該オブジェクト表示領域に含まれない領域の中から、前記動画に付加する付加コンテンツを表示するための付加コンテンツ表示領域の候補となる表示候補領域を少なくとも1つ特定する表示候補領域特定手段、前記特定された表示候補領域毎に、各前記画像フレームにおける前記表示候補領域に関する表示候補領域情報を算出する表示候補領域情報算出手段、前記特定された表示候補領域に関する情報と前記付加コンテンツを表示するための付加コンテンツ表示条件とに基づき、前記特定された表示候補領域から前記付加コンテンツ表示領域を選択する付加コンテンツ表示領域選択手段、前記選択された付加コンテンツ表示領域に前記付加コンテンツを表示するための表示情報を生成する表示情報生成手段、前記表示情報を、前記動画を視聴するユーザの端末装置に送信する送信手段、および、前記端末装置から前記動画に対して操作された操作情報を受信する受信手段として機能させ、前記表示候補領域情報算出手段が、前記操作情報に基づき前記表示候補領域情報を算出し、前記付加コンテンツ表示領域選択手段が、前記操作情報に基づいて算出された表示候補領域情報に基づき、前記特定された表示候補領域から前記付加コンテンツ表示領域を選択し、前記表示情報生成手段が、前記選択された付加コンテンツ表示領域に前記付加コンテンツを表示するための表示情報を再度生成し、前記送信手段が、前記再度生成された前記表示情報を、前記端末装置に送信することを特徴とする。