WO2017056230A1

WO2017056230A1 - 情報処理装置、情報処理方法および情報処理装置用プログラム

Info

Publication number: WO2017056230A1
Application number: PCT/JP2015/077724
Authority: WO
Inventors: 久範山原
Original assignee: 楽天株式会社
Priority date: 2015-09-30
Filing date: 2015-09-30
Publication date: 2017-04-06
Also published as: JPWO2017056230A1; JP6446144B2

Abstract

動画を記憶する動画記憶手段（１２ａ）から取得した動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレーム５０を取得し（Ｓ１１）、取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトのオブジェクト表示領域を、画像フレーム毎に特定し、当該オブジェクト表示領域に含まれない領域の中から、動画に付加する付加コンテンツを表示するための付加コンテンツ表示領域の候補となる表示候補領域を少なくとも１つ特定し（Ｓ１２）、特定された表示候補領域に関する情報と付加コンテンツを表示するための付加コンテンツ表示条件とに基づき、特定された表示候補領域から付加コンテンツ表示領域を選択し（Ｓ２１）、選択された付加コンテンツ表示領域に付加コンテンツを表示するための表示情報を生成する（Ｓ２２）。

Description

情報処理装置、情報処理方法および情報処理装置用プログラム

　本発明は、動画内に他の画像を表示する情報処理装置、情報処理方法および情報処理装置用プログラムの技術分野に関する。

　動画等のコンテンツの提供者が提供したコンテンツをコンテンツ配信サイトに登録し、当該コンテンツ配信サイトにおいて視聴ユーザからの要求に応じてコンテンツを配信するサービスが知られている。上記サービスにおいては配信されたコンテンツに関連する広告をコンテンツ表示領域の一部に重ねて表示し、視聴ユーザによる当該広告へのクリックなどに応じて報酬を得ている。コンテンツ表示領域の一部に画像を重ねて表示する技術として、例えば、特許文献１には、画像の動き量が少ない領域に動画及び静止画の何れか一方を表示し、それ以外の領域に他方を表示する技術が開示されている。

特開２００８-０４２３２６号公報

　しかしながら、特許文献１の技術を、コンテンツを配信するサービスに適用すると、動画の画像におけるオブジェクトの動き量と比べて背景などの動き量のほうが多い動画の画像などの場合に、動き量の少ないオブジェクトが表示されている場所に重なるように広告が表示されてしまい、視聴ユーザによる視聴の妨げとなってしまうという問題があった。

　本発明は、このような問題に鑑みてなされたものであり、その課題の一例は、動画等のコンテンツのオブジェクトに、広告等の他の画像が重ならず、視聴ユーザによる視聴を妨げとならない領域を新たな表示領域として生成するサービスを提供することを目的とする。

　上記課題を解決するために、請求項１に記載の発明は、動画を記憶する動画記憶手段から取得した前記動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレームを取得する画像フレーム取得手段と、前記取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトのオブジェクト表示領域を、前記画像フレーム毎に特定し、当該オブジェクト表示領域に含まれない領域の中から、前記動画に付加する付加コンテンツを表示するための付加コンテンツ表示領域の候補となる表示候補領域を少なくとも１つ特定する表示候補領域特定手段と、前記特定された表示候補領域に関する情報と前記付加コンテンツを表示するための付加コンテンツ表示条件とに基づき、前記特定された表示候補領域から前記付加コンテンツ表示領域を選択する付加コンテンツ表示領域選択手段と、前記選択された付加コンテンツ表示領域に前記付加コンテンツを表示するための表示情報を生成する表示情報生成手段と、を備えたことを特徴とする。

　この発明によれば、付加コンテンツを表示するための付加コンテンツ表示領域の候補となる表示候補領域が、オブジェクト表示領域に含まれない領域から特定され、特定された表示候補領域に関する情報と付加コンテンツ表示条件とに基づき、表示候補領域から選択された付加コンテンツ表示領域にコンテンツを表示するための表示情報が生成されるので、コンテンツのオブジェクトに、広告のコンテンツ等の他の画像が重ならず、付加コンテンツ表示領域を、視聴ユーザによる視聴を妨げとならない領域として生成できる。

　請求項２に記載の発明は、請求項１に記載の情報処理装置おいて、前記表示候補領域に関する情報が、複数の前記画像フレームにおいて共通する前記表示候補領域の共通領域の大きさの情報を含み、前記付加コンテンツ表示領域選択手段が、前記共通領域の大きさに応じて、前記共通領域から、前記付加コンテンツ表示領域を選択することを特徴とする。

　この場合、各画像フレームにおいてオブジェクトに重ならない領域で、各画像フレームにおける固定した位置に、共通領域の大きさに合った付加コンテンツを安定して表示できる。

　請求項３に記載の発明は、請求項１または請求項２に記載の情報処理装置おいて、前記表示候補領域に関する情報が、複数の前記画像フレームにおいて共通する前記表示候補領域の共通領域が前記動画において空間および時間の少なくとも一方の積算で表示される積算表示量を含み、前記付加コンテンツ表示領域選択手段が、前記積算表示量に応じて、前記共通領域から、前記付加コンテンツ表示領域を選択することを特徴とする。

　この場合、この場合、各画像フレームにおいてオブジェクトに重ならない領域で、各画像フレームにおける固定した位置に、共通領域の積算表示量に合った付加コンテンツを安定して表示できる。

　請求項４に記載の発明は、請求項１から請求項３のいずれか１項に記載の情報処理装置おいて、前記表示候補領域に関する情報が、複数の前記画像フレームにおいて共通する前記表示候補領域の共通領域であって、前記画像フレームの隣接するフレーム間における前記共通領域の画像の差分データ量を含み、前記付加コンテンツ表示領域選択手段が、前記共通領域の画像の差分データ量により設定される閾値より、前記差分データ量が大きい共通領域を、前記付加コンテンツ表示領域として選択することを特徴とする。

　この場合、差分データ量が大きい共通領域が、画像フレーム毎の色等の変化が少ない付加コンテンツと入れ替わることにより、動画を圧縮した際のデータ量を削減することができる。

　請求項５に記載の発明は、請求項１から請求項４のいずれか１項に記載の情報処理装置おいて、前記表示候補領域に関する情報が、複数の前記画像フレームにおいて共通する前記表示候補領域の共通領域の形状の情報を含み、前記付加コンテンツ表示条件が、前記付加コンテンツの形状の情報を含み、前記付加コンテンツ表示領域選択手段が、前記付加コンテンツの形状に適合するように、前記共通領域の形状の情報に応じて選択される前記共通領域を、前記付加コンテンツ表示領域として選択することを特徴とする。

　この場合、付加コンテンツの形状を変形することなく、共通領域の形状に合うように、付加コンテンツを表示できるので、付加コンテンツの形状を変形する処理を省くことができる。

　請求項６に記載の発明は、請求項１から請求項５のいずれか１項に記載の情報処理装置おいて、前記表示情報が、前記選択された前記付加コンテンツ表示領域の少なくとも一部を単一の色でマスクした動画を含むことを特徴とする。

　この場合、単一の色でマスクされるため、動画を圧縮した際のデータ量を削減できる。

　請求項７に記載の発明は、請求項１から請求項６のいずれか１項に記載の情報処理装置おいて、前記付加コンテンツ表示領域の前記付加コンテンツを表示する領域の画素の色と、当該領域に付加する付加コンテンツの画素の色に基づき、当該領域をマスクする色が画素毎に決定され、前記表示情報が、前記領域を当該画素毎に決定された色でマスクした動画を含むことを特徴とする。

　この場合、例えば、対応する画素毎の中間色で領域をマスクできるので、付加コンテンツを表示させる画像フレーム前と、付加コンテンツを表示させた後の画像フレームと、の間の画像フレームの一部を画素毎の中間色でマスクするので、動画を圧縮した際のデータ量を削減できる。

　請求項８に記載の発明は、請求項１から請求項７のいずれか１項に記載の情報処理装置おいて、前記表示候補領域特定手段が、前記オブジェクト表示領域に含まれない領域の中から、前記付加コンテンツ表示条件に基づいた形状に適合する前記表示候補領域を特定することを特徴とする。

　この場合、付加コンテンツ表示領域を選択する前に、表示候補領域が付加コンテンツ表示条件に基づいた形状に適合するように限定されているので、表示候補領域の数が増加しなく、処理を軽減できる。

　請求項９に記載の発明は、画像フレーム取得手段が、動画を記憶する動画記憶手段から取得した前記動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレームを取得する画像フレーム取得ステップと、表示候補領域特定手段が、前記取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトのオブジェクト表示領域を、前記画像フレーム毎に特定し、当該オブジェクト表示領域に含まれない領域の中から、前記動画に付加する付加コンテンツを表示するための付加コンテンツ表示領域の候補となる表示候補領域を少なくとも１つ特定する表示候補領域特定ステップと、付加コンテンツ表示領域選択手段が、前記特定された表示候補領域に関する情報と前記付加コンテンツを表示するための付加コンテンツ表示条件とに基づき、前記特定された表示候補領域から前記付加コンテンツ表示領域を選択する付加コンテンツ表示領域選択ステップと、表示情報生成手段が、前記選択された付加コンテンツ表示領域に前記付加コンテンツを表示するための表示情報を生成する表示情報生成ステップと、を含むことを特徴とする。

　請求項１０に記載の発明は、コンピュータを、動画を記憶する動画記憶手段から取得した前記動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレームを取得する画像フレーム取得手段、前記取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトのオブジェクト表示領域を、前記画像フレーム毎に特定し、当該オブジェクト表示領域に含まれない領域の中から、前記動画に付加する付加コンテンツを表示するための付加コンテンツ表示領域の候補となる表示候補領域を少なくとも１つ特定する表示候補領域特定手段、前記特定された表示候補領域に関する情報と前記付加コンテンツを表示するための付加コンテンツ表示条件とに基づき、前記特定された表示候補領域から前記付加コンテンツ表示領域を選択する付加コンテンツ表示領域選択手段、および、前記選択された付加コンテンツ表示領域に前記付加コンテンツを表示するための表示情報を生成する表示情報生成手段として機能させることを特徴とする。

　本発明によれば、動画の画像内で視聴ユーザに違和感を与えない領域に広告等の他の画像を表示するサービスを提供できる。

一実施形態に係る情報処理システムの概要構成の一例を示す模式図である。一実施形態に係る動画配信サーバ装置の概要構成の一例を示すブロック図である。動画配信サーバ装置の記憶部に構築されたデータベースに登録される内容の一例を示す図である。動画配信サーバ装置の記憶部に構築されたデータベースに登録される内容の一例を示す図である。動画配信サーバ装置の記憶部に構築されたデータベースに登録される内容の一例を示す図である。動画配信サーバ装置の記憶部に構築されたデータベースに登録される内容の一例を示す図である。動画配信サーバ装置の記憶部に構築されたデータベースに登録される内容の一例を示す図である。動画配信サーバ装置の記憶部に構築されたデータベースに登録される内容の一例を示す図である。一実施形態に係る動画配信サーバ装置の機能ブロックの一例を示す図である。図１のコンテンツ提供装置の概要構成の一例を示すブロック図である。図１の広告提供装置の概要構成の一例を示すブロック図である。図１の視聴ユーザ端末装置の概要構成の一例を示すブロック図である。動画データにおける画像フレームのフレーム番号の一例を示す模式図である。画像フレームの一例を示す模式図である。画像フレームの一例を示す模式図である。画像フレームの一例を示す模式図である。画像フレームの一例を示す模式図である。画像フレームの一例を示す模式図である。画像フレームの一例を示す模式図である。画像フレームの一例を示す模式図である。画像フレームの一例を示す模式図である。画像フレームの一例を示す模式図である。一実施形態に係る動画配信サーバ装置のシステム制御部の動画登録処理の一例を示すフローチャートである。一実施形態に係る動画配信サーバ装置のシステム制御部の広告登録処理の一例を示すフローチャートである。一実施形態に係る動画配信サーバ装置のシステム制御部の表示候補領域特定処理の一例を示すフローチャートである。画像フレームの特徴点画像の一例を示す模式図である。画像フレームの特徴点画像の一例を示す模式図である。画像フレームの特徴点画像の一例を示す模式図である。画像フレームの特徴点画像の一例を示す模式図である。画像フレームにおけるオブジェクト表示領域に含まれない領域の一例を示す模式図である。画像フレームにおけるオブジェクト表示領域に含まれない領域の一例を示す模式図である。画像フレームにおけるオブジェクト表示領域に含まれない領域の一例を示す模式図である。画像フレームにおけるオブジェクト表示領域に含まれない領域の一例を示す模式図である。画像フレームにおける表示候補領域の一例を示す模式図である。画像フレームにおける表示候補領域の一例を示す模式図である。画像フレームにおける表示候補領域の一例を示す模式図である。画像フレームにおける表示候補領域の一例を示す模式図である。画像フレームにおける表示候補領域の一例を示す模式図である。一実施形態に係る動画配信サーバ装置のシステム制御部の制御情報生成処理の一例を示すフローチャートである。集計された表示候補領域の一例を示す模式図である。集計された表示候補領域の一例を示す模式図である。集計された表示候補領域の一例を示す模式図である。広告が付加された画像フレームの一例を示す模式図である。広告が付加された画像フレームの一例を示す模式図である。広告が付加された画像フレームの一例を示す模式図である。広告が付加された画像フレームの一例を示す模式図である。広告が付加された画像フレームの一例を示す模式図である。広告が付加された画像フレームの一例を示す模式図である。一部がマスクされた画像フレームの一例を示す模式図である。一実施形態に係る動画配信サーバ装置のシステム制御部の動画配信処理の一例を示すフローチャートである。一実施形態に係る動画配信サーバ装置のシステム制御部の制御情報変更処理の一例を示すフローチャートである。動画データにおけるスキップまたは巻き戻しの一例を示す模式図である。画像フレームの一部をマスクするマスクの変形例を示す模式図である。画像フレームの一部をマスクするマスクの変形例を示す模式図である。

　以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下に説明する実施の形態は、情報処理システムに対して本発明を適用した場合の実施形態である。

［１．情報処理システムの構成および機能概要］
　まず、本実施形態に係る情報処理システム１の構成および機能概要について、図１を用いて説明する。図１は、一実施形態に係る情報処理システム１の概要構成の一例を示す模式図である。

　図１に示すように、情報処理システム１は、視聴ユーザに動画のコンテンツを配信する動画配信サーバ装置１０と、動画配信サーバ装置１０に動画をコンテンツとして提供するコンテンツ提供者のコンテンツ提供装置２０と、動画に登録を希望する広告等の付加コンテンツを提供する広告提供者の広告提供装置３０と、動画を視聴する視聴ユーザの視聴ユーザ端末装置４０と、を備えている。なお、動画は、複数の画像フレームから構成される。

　動画配信サーバ装置１０と、コンテンツ提供装置２０と、広告提供装置３０と、視聴ユーザ端末装置４０とは、ネットワーク３により接続され、通信プロトコル（例えば、ＴＣＰ／ＩＰ）により、データの送受信が可能になっている。なお、ネットワーク３は、例えば、インターネット、専用通信回線（例えば、ＣＡＴＶ（Community Antenna Television）回線）、移動体通信網（基地局５等を含む）、および、ゲートウェイ等により構築されている。なお、動画配信サーバ装置１０と、コンテンツ提供装置２０とは、セキュリティ向上のため専用回線で接続されていてもよい。

　動画配信サーバ装置１０（情報処理装置の一例）は、コンテンツ提供装置２０から提供された動画を登録し、視聴ユーザ端末装置４０から要求に応じて動画のコンテンツを視聴ユーザ端末装置４０へ配信する。また、動画配信サーバ装置１０は、視聴ユーザ端末装置４０から要求に応じて動画のコンテンツを視聴ユーザ端末装置４０へ配信する際に、商品またはサービスに関する広告等の付加コンテンツを視聴ユーザ端末装置４０へ配信する。

　コンテンツ提供者はそれぞれのコンテンツ提供装置２０を用いて、コンテンツ提供者が提供する動画を登録するために当該動画を動画配信サーバ装置１０に送信する。

　広告提供者はそれぞれの広告提供装置３０を用いて、広告提供者が提供する広告等の付加コンテンツを登録するために当該広告等の付加コンテンツを、動画配信サーバ装置１０に送信する。

　なお、付加コンテンツの種別として、広告と非広告とはある。例えば、非広告として、商品またはサービスの広告以外に、広告提供者等が動画で視聴ユーザ毎に示したいメッセージや映像等が挙げられる。また、付加コンテンツのデータ形式として、テキスト、デザイン文字等の文字や画像、および、これらの組み合わせが挙げられる。また、映像として、静止画像と、動画像と、これらの組合せが挙げられる

　また、広告提供者はそれぞれの広告提供装置３０を用いて、動画に付加コンテンツを表示するための付加コンテンツ表示条件を示す情報を動画配信サーバ装置１０に送信する。

　ここで、付加コンテンツ表示条件の一例として、付加コンテンツの形状（例えば、矩形、円形、楕円形、星形等）が挙げられる。また、矩形であれば、アスペクト比（広告の横の長さに対する縦の長さの比率）、楕円であれば、長軸および短軸の比等も挙げられる。また、付加コンテンツ表示条件は、付加コンテンツの基準表示サイズ（例えば横または縦の長さを示すピクセル数）でもよいし、付加コンテンツの最小表示サイズでもよい。

　さらに、付加コンテンツ表示条件の一例として、付加コンテンツの表示時間が挙げられ、時間的に表示が連続する複数のフレームを１つのグループ単位とする場合の表示時間と、当該グループ単位が複数あって、これらのグループ単位を合算した場合のグループ合算表示時間と、がある。これら２つの場合の付加コンテンツの表示時間に関して、各々、合計表示時間、最小の合計表示時間、最大の合計表示時間、最小の連続表示時間、最大の連続表示時間、平均の連続表示時間等がある。

　また、付加コンテンツ表示条件の一例として、付加コンテンツの表示回数が挙げられ、時間的に表示が連続する複数のフレームを１つのグループ単位とする場合の表示回数と、当該グループ単位が複数あって、これらのグループ単位を合算した場合のグループ合算表示回数と、がある。これら２つの場合の付加コンテンツの表示回数に関して、各々、合計表示回数、最小の合計表示回数、最大の合計表示回数、最小の連続表示回数、最大の連続表示回数、平均の表示回数等がある。

　また、付加コンテンツ表示条件の一例として、付加コンテンツの表示面積が挙げられ、時間的に表示が連続する複数のフレームを１つのグループ単位の場合とする表示面積と、当該グループ単位が複数あって、これらのグループ単位を合算した場合のグループ合算表示面積と、がある。これら２つの場合の付加コンテンツの表示面積に関して、各々、最小の表示面積、最大の表示面積、平均の表示面積、画像フレームの１／１０等の所定の表示面積等がある。

　また、付加コンテンツ表示条件の一例として、動画において空間および時間の少なくとも一方の積算で表示される積算表示量が挙げられ、時間的に表示が連続する１つのグループ単位の場合の積算表示量と、当該グループ単位が複数あって、これらのグループ単位を合算した場合のグループ合算積算表示量と、がある。これら２つの場合の積算表示量に関して、各々、最低積算表示量、画像フレームの１／１０の面積で５秒間等の所定積算表示量等）等がある。

　また、付加コンテンツ表示条件の一例として、動画を構成する画像フレームにおける付加コンテンツの表示許可位置（上部、下部、右側、左側、右下、左下、中央部等）、または、表示禁止位置（例えば、広告提供者が画像フレームにおいて付加コンテンツを表示させたくない位置）等が挙げられる。

　また、付加コンテンツ表示条件の一例として、付加コンテンツの表示が許可または禁止される動画における時間的な表示位置等の条件（例えば、動画の前半／後半への表示許可または禁止、所定のチャプターのみ許可または禁止、最初／最後の５分のみ許可または禁止など）が挙げられる。

　また、付加コンテンツ表示条件の一例として、付加コンテンツの表示が許可または禁止される動画（ホワイトリストやブラックリストまたは特定キーワードを含む動画など）、または付加コンテンツの表示が許可または禁止される動画のカテゴリ等が挙げられる。

　視聴ユーザは視聴ユーザ端末装置４０を用いて、動画配信サーバ装置サービスにおいて提供されている動画を、検索キーワードやカテゴリの選択などを用いて検索して、視聴したい動画を選択する。視聴ユーザ端末装置４０は、ユーザの入力や選択に応じた動画の配信要求を動画配信サーバ装置１０に送信し、当該配信要求に対応する動画を、動画配信サーバ装置１０から受信し、当該受信した動画を再生する。

［２．各装置の構成および機能］
（２．１　動画配信サーバ装置１０の構成および機能）
　次に、動画配信サーバ装置１０の構成および機能について、図２から図９を用いて説明する。

　図２は、一実施形態に係る動画配信サーバ装置１０の概要構成の一例を示すブロック図である。図３から図８は、動画配信サーバ装置１０の記憶部に構築されたデータベースに登録される内容の一例を示す図である。

　図２に示すように、コンピュータとして機能する動画配信サーバ装置１０は、通信部１１と、記憶部１２と、入出力インターフェース部１３と、システム制御部１４と、を備えている。そして、システム制御部１４と入出力インターフェース部１３とは、システムバス１５を介して接続されている。

　通信部１１は、ネットワーク３に接続して、動画提供者のコンテンツ提供装置２０と、広告提供者の広告提供装置３０と、視聴ユーザ端末装置４０等との通信を制御するようになっている。

　記憶部１２は、例えば、ハードディスクドライブやシリコンディスクドライブ等により構成されており、オペレーティングシステムおよびサーバプログラム等の各種プログラムや、視聴ユーザに提供する動画等を記憶する。

　なお、各種プログラムは、例えば、他のサーバ装置等からネットワーク３を介して取得されるようにしてもよいし、記録媒体に記録されてドライブ装置（図示せず）を介して読み込まれるようにしてもよい。また、配信プログラム等は、プログラム製品であってもよい。

　また、記憶部１２には、コンテンツ提供装置２０から取得した動画を記憶する動画データベース１２ａ（以下「動画ＤＢ１２ａ」とする。）と、コンテンツ提供装置２０から取得した広告等を記憶する広告データベース１２ｂ（以下「広告ＤＢ１２ｂ」とする。）と、動画を構成する各画像フレームの中に表示されているオブジェクトのオブジェクト表示領域に含まれない領域（例えば、オブジェクトが含まれていない領域）の中から特定された、付加コンテンツ表示領域の候補となる表示候補領域に関する情報（以下「フレーム・表示候補領域情報」と称する）（表示候補領域に関する情報の一例）を記憶するフレーム・表示候補領域情報データベース１２ｃ（以下「フレーム・表示候補領域情報ＤＢ１２ｃ」とする。）と、動画毎に集計した表示候補領域の情報（表示候補領域に関する情報の一例）を記憶する集計表示候補領域情報データベース１２ｄ（以下「集計表示候補領域情報ＤＢ１２ｄ」とする。）と、動画に対して、広告等の付加コンテンツを表示させるための制御情報（表示情報の一例）を記憶する制御情報データベース１２ｅ（以下「制御情報ＤＢ１２ｅ」とする。）と、視聴ユーザに関する情報を記憶するユーザ情報データベース１２ｆ（以下「ユーザ情報ＤＢ１２ｆ」とする。）等が構築されている。

　なお、これらのデータベースは、同一のデバイスで構成されてもよいし、互いに異なるデバイスで構成されてもよい。

　動画ＤＢ１２ａ（動画記憶手段の一例）には、配信可能な動画に関する情報が登録される。具体的に、動画ＤＢ１２ａには、図３に示すように、動画ＩＤに対応付けて、カテゴリＩＤ、動画のタイトル、動画の収録時間、動画データ等が動画毎に登録される。なお、動画ＤＢ１２ａには、動画を構成する画像フレームのフレーム数、付加コンテンツ表示可否フラグ、付加コンテンツの表示上限数、付加コンテンツの表示上限時間などが記憶されていてもよい。

　動画ＩＤは、動画を識別するための識別情報である。なお、動画ＩＤは、コンテンツ提供者を識別するためのコンテンツ提供者ＩＤと対応付けて管理されていてもよい。

　カテゴリＩＤは、動画ＩＤに対応する動画が属するカテゴリを識別するための情報である。情報処理システム１においては、複数のカテゴリが定義されており、各動画は少なくともひとつのカテゴリに属している。

　動画データは、動画を表示するためのデータである。動画データの形式は、例えばＭＰＥＧ－１、ＭＰＥＧ－２、ＭＰＥＧ－４，ＭＰＥＧ－７，ＭＰＥＧ－２１などのＭＰＥＧ形式、ＤｉｖＸ形式、Ｘｖｉｄ形式、Ｈｕｆｆｙｕｖ形式等のコーデックや、ＡＶＩ形式、ＭＯＶ形式、ＡＳＦ形式、Ｏｇｇ形式、Ｍａｔｒｏｓｋａ形式等のコンテナフォーマットであってもよい。

　広告ＤＢ１２ｂには、配信可能な広告に関する情報が登録される。具体的に、図４に示すように、広告ＤＢ１２ｂには、広告ＩＤと対応付けて、広告表示条件、広告データ、提供情報ＵＲＬ（Uniform Resource Locator）等が広告毎に登録される。

　広告ＩＤは、広告を識別するための識別情報である。

　広告表示条件は、付加コンテンツ条件の一例であり、付加コンテンツとしての広告の情報を動画に表示するための条件である。

　広告データは、配信される動画に対応つけて表示されるデータである。例えば、広告データとしては、文字データ、静止画データ、動画データ等があり、またこれらのデータのうち少なくとも２つの種類のデータの組み合わせであってもよい。提供情報ＵＲＬは、広告ＩＤが示す広告に関連付けられた提供情報のＵＲＬである。

　フレーム・表示候補領域情報ＤＢ１２ｃには、付加コンテンツを表示するための付加コンテンツ表示領域の候補となる表示候補領域に関する情報が登録される。具体的に、図５に示すように、フレーム・表示候補領域ＤＢ１２ｃには、動画ＩＤ、画像フレームのフレームＩＤ、表示候補領域ＩＤ、画像フレームに存在する表示候補領域に関するフレーム・表示候補領域情報（表示候補領域に関する情報の一例）等が登録される。

　画像フレームのフレームＩＤは、動画における画像フレームを識別するための識別情報である。例えば、フレームＩＤは、各画像フレームに順に割り振られたシリアル番号（フレーム番号）でもよい。

　表示候補領域ＩＤは、画像フレームから抽出された表示候補領域を識別するための識別情報である。異なる画像フレーム間で抽出されたオブジェクト同士が同じオブジェクトであると判定された場合には、同じ表示候補領域ＩＤが付与される。

　ここで、表示候補領域は、動画を構成する各画像フレームから画像処理により抽出されたオブジェクト以外の領域から特定される。また、オブジェクトの一例として、画像フレームの中に表示されている建造物、看板、移動体（車両、自転車、人物、動物、キャラクタ等）、樹木、人物およびキャラクタが身につけている衣服、カバン等が挙げられる。

　フレーム・表示候補領域情報の一例として、画像フレームにおいて抽出された表示候補領域の形状、画像フレームにおける表示候補領域が存在する位置情報（例えば、画像フレームの左上端を原点とする座標や、画像フレームを所与の領域に分割した分割領域のうち表示候補領域と重なる領域等がある。また、表示候補領域の自体の位置を示す際に基準となる部位として表示候補領域の重心等の中心部、または、表示候補領域の各端部等がある）画像フレームに占める表示候補領域の面積、表示候補領域内または外縁にある各画素の座標、色等の画素情報等の情報が挙げられる。

　集計表示候補領域情報ＤＢ１２ｄには、動画を構成する各画像フレームのフレーム・表示候補領域情報を、集計した表示候補領域情報（表示候補領域に関する情報の一例）が登録される。具体的に、図６に示すように、集計表示候補領域情報ＤＢ１２ｄには、動画ＩＤ、表示候補領域ＩＤ、集計された表示候補領域情報等が登録される。

　集計した表示候補領域情報の一例として、動画における各表示候補領域の出現数（表示回数）、所与の条件を満たす複数の表示候補領域における平均出現数、最も多く出現した表示候補領域の最大出現数、最も少なく出現した表示候補領域最小出現数等が挙げられる。また、出現数の代わりに、表示時間（＝出現数／フレームレート）でもよい。フレームレートは、一般的に３０ｆｐｓ（frames per second）から６０ｆｐｓであるが、１０ｆｐｓ、２４ｆｐｓ、２５ｆｐｓのように、どのようなフレームレートでもよい。

　また、集計した表示候補領域情報の一例として、動画における各表示候補領域の積算表示面積、平均表示面積、最大表示面積、最小表示面積等が挙げられる。また、集計した表示候補領域情報の一例として、画像フレームに連続して表示される表示候補領域の連続出現数等が挙げられる。なお、集計した表示候補領域情報は、表示候補領域が動画において空間および時間の少なくとも一方の積算で表示される積算表示量の一例である。

　また、集計した表示候補領域情報の一例として、複数の画像フレームにおいて共通する表示候補領域の共通領域の出現数、平均出現数、最大出現数、最小出現数等でもよい。また、集計した表示候補領域情報の一例として、動画における各共通領域の積算表示面積、平均表示面積、最大表示面積、最小表示面積等でもよい。また、集計した表示候補領域情報の一例として、画像フレームに連続して表示される共通領域の連続出現数等でもよい。なお、集計した表示候補領域情報は、複数の前記画像フレームにおいて共通する前記表示候補領域の共通領域が前記動画において空間および時間の少なくとも一方の積算で表示される積算表示量の一例である。

　ここで、複数の画像フレームにおいて共通する共通領域は、画像フレーム間において、オブジェクトが表示されていない領域が互いに重なり合っている領域で、例えば、画像フレーム間において、オブジェクトが表示されていない領域を示す座標が共通する領域である。

　また、集計した表示候補領域情報の一例として、共通領域の形状、共通領域の位置情報（例えば、画像フレームの左上端を原点とし、共通領域の重心等の中心位置、または、共通領域の端の位置等）、共通領域の面積、共通領域内または外縁にある各画素の座標、色等の画素情報等の情報が挙げられる。

　制御情報ＤＢ１２ｅには、動画を構成する各画像フレームに、広告等の付加コンテンツを表示させるための制御情報が登録される。具体的に、図７に示すように、制御情報ＤＢ１２ｅには、動画ＩＤ、制御情報等が登録される。

　制御情報は、動画において付加コンテンツを表示させる時間的な位置を示す情報（例えば、画像フレームのフレームＩＤ）と、当該時点において付加コンテンツを表示させる画像フレーム内の位置を示す情報（例えば、座標情報）などを含む。また、制御情報は、付加コンテンツを識別する情報や付加コンテンツのデータ（例えば、広告データ）を含んでもよい。

　付加コンテンツが静止画の場合、制御情報は、フレームＩＤ毎に、付加コンテンツを付加する画像フレームにおける位置情報、付加コンテンツの縮小率または拡大率を含む。または、制御情報は、フレームＩＤ毎に、付加コンテンツを付加する付加コンテンツ表示領域の内部または輪郭の画素の位置情報（例えば、画像フレームの左上端を原点とする座標）を含む。

　付加コンテンツが動画の場合、制御情報は、フレームＩＤ毎に、付加コンテンツの画像フレームデータ、付加コンテンツを付加する画像フレームにおける位置情報、付加コンテンツの縮小率または拡大率などを含む。または、制御情報は、フレームＩＤ毎に、付加コンテンツの画像フレームデータ、付加コンテンツを付加する付加コンテンツ表示領域の内部または外縁の画素の位置情報を含む。

　ユーザ情報ＤＢ１２ｆには、情報処理システム１に会員登録しているユーザに関するユーザ情報が、ユーザＩＤと対応付けてユーザ毎に登録される。具体的に、図８に示すように、ユーザ情報ＤＢ１２ｅには、ユーザＩＤと対応付けてパスワード、ニックネーム、電子メールアドレス等のユーザの属性などがユーザ情報として登録される。ユーザＩＤは、ユーザを識別するための識別情報である。

　また、記憶部１２には、更にウェブページを表示するためのＨＴＭＬ文書、ＸＭＬ（Extensible Markup Language）文書、画像データ、テキストデータ、電子文書等の各種データが記憶されている。また、記憶部１２には、各種の設定値、閾値、基準値、規定値、定数、テーブル等が記憶されている。

　入出力インターフェース部１３は、通信部１１および記憶部１２とシステム制御部１４との間のインターフェース処理を行うようになっている。

　システム制御部１４は、ＣＰＵ１４ａ、ＲＯＭ（Read Only Memory）１４ｂ、ＲＡＭ（Random Access Memory）１４ｃ等により構成されている。ＣＰＵ１４ａは、プロセッサの一例である。なお、本発明は、ＣＰＵと異なる様々なプロセッサに対しても適用可能である。記憶部１２、ＲＯＭ１４ｂおよびＲＡＭ１４ｃは、それぞれメモリの一例である。なお、本発明は、ハードディスク、ＲＯＭおよびＲＡＭと異なる様々なメモリに対しても適用可能である。

　なお、動画配信サーバ装置１０が複数のサーバ装置で構成されてもよい。例えば、コンテンツ提供装置２０から提供されるコンテンツの動画を登録するサーバ装置、動画のコンテンツを配信するサーバ装置、広告提供装置３０から広告を受け付けして保存するサーバ装置、および、データベースを管理するサーバ装置等が互いにＬＡＮ等で接続されてもよい。

　次に、動画配信サーバ装置の機能ブロックについて図９を用いて説明する。

　図９は、一実施形態に係る動画配信サーバ装置１０の機能ブロックの一例を示す図である。

　図９に示すように、動画配信サーバ装置１０は、画像フレーム取得部１０ａと、表示候補領域特定部１０ｂと、付加コンテンツ表示領域選択部１０ｃと、表示情報生成部１０ｄとを含む。

　画像フレーム取得部１０ａは、動画を記憶する動画ＤＢ１２ａから取得された動画について当該動画を構成する複数の画像フレームのうち、少なくとも一部の画像フレームを取得する。

　表示候補領域特定部１０ｂは、画像フレーム取得部１０ａによって取得された画像フレーム毎に当該画像フレーム内に表示されているオブジェクトのオブジェクト表示領域を、画像フレーム毎に特定し、当該オブジェクト表示領域に含まれない領域の中から、動画に付加する付加コンテンツを表示するための付加コンテンツ表示領域の候補となる表示候補領域を少なくとも１つ特定する。

　付加コンテンツ表示領域選択部１０ｃは、表示候補領域特定部１０ｂによって特定された表示候補領域に関する情報と、付加コンテンツを表示するための付加コンテンツ表示条件と、に基づいて、特定された表示候補領域の中から付加コンテンツ表示領域を選択する。

　表示情報生成部１０ｄは、付加コンテンツ表示領域選択部１０ｃによって選択された付加コンテンツ表示領域に付加コンテンツを表示するための表示情報を生成する。

（２．２　コンテンツ提供装置２０の構成および機能）
　次に、コンテンツ提供装置２０の構成および機能について、図１０を用いて説明する。

　図１０は、コンテンツ提供装置２０の概要構成の一例を示すブロック図である。

　図１０に示すように、コンピュータとして機能するコンテンツ提供装置２０は、例えば、パーソナルコンピュータまたはサーバである。コンテンツ提供装置２０は、通信部２１と、記憶部２２と、表示部２３と、操作部２４と、入出力インターフェース部２５と、システム制御部２６とを備えている。そして、システム制御部２６と入出力インターフェース部２５とは、システムバス２７を介して接続されている。なお、コンテンツ提供装置２０は、スマートフォンおよびタブレット等のコンピュータでもよい。

　通信部２１は、ネットワーク３を通して、動画配信サーバ装置１０等と通信を制御する。

　記憶部２２は、例えば、ハードディスクドライブ等からなり、オペレーティングシステム等のプログラム等を記憶する。

　表示部２３（各コミュニティ用の表示画面の一例）は、例えば、液晶表示素子またはＥＬ（Electro Luminescence）素子等によって構成されている。

　操作部２４は、例えば、キーボードおよびマウス等によって構成されている。

　入出力インターフェース部２５は、通信部２１および記憶部２２とシステム制御部２６とのインターフェースである。

　システム制御部２６は、例えば、ＣＰＵ２６ａと、ＲＯＭ２６ｂと、ＲＡＭ２６ｃとを有する。システム制御部２６は、ＣＰＵ２６ａが、ＲＯＭ２６ｂや、ＲＡＭ２６ｃや、記憶部２２に記憶された各種プログラムを読み出して実行する。

（２．３　広告提供装置３０の構成および機能）
　次に、広告提供装置３０の構成および機能について、図１１を用いて説明する。

　図１１は、広告提供装置３０の概要構成の一例を示すブロック図である。

　図１１に示すように、コンピュータとして機能する広告提供装置３０は、例えば、パーソナルコンピュータやスマートフォンを含む携帯型無線電話機やＰＤＡ等の携帯端末である。広告提供装置３０は、通信部３１と、記憶部３２と、表示部３３と、操作部３４と、入出力インターフェース部３５と、システム制御部３６とを備えている。そして、システム制御部３６と入出力インターフェース部３５とは、システムバス４７を介して接続されている。なお、広告提供装置３０の構成および機能は、コンテンツ提供装置２０の構成および機能とほぼ同じであるが、システム制御部３６が、通信部３１を介して、広告の情報として、広告を表示するための広告表示条件、広告データ、提供情報ＵＲＬ等を、動画配信サーバ装置１０に送信する。また、表示部３３には、広告表示条件を入力するための広告表示条件入力画面が表示される。

（２．４　視聴ユーザ端末装置４０の構成および機能）
　次に、視聴ユーザ端末装置４０の構成および機能について、図１２を用いて説明する。

　図１２は、視聴ユーザ端末装置４０の概要構成の一例を示すブロック図である。

　図１２に示すように、視聴ユーザのコンピュータとして機能する視聴ユーザ端末装置４０は、例えば、パーソナルコンピュータやスマートフォンを含む携帯型無線電話機やＰＤＡ等の携帯端末である。視聴ユーザ端末装置４０は、通信部４１と、記憶部４２と、表示部４３と、操作部４４と、入出力インターフェース部４５と、システム制御部４６とを備えている。そして、システム制御部４６と入出力インターフェース部４５とは、システムバス４７を介して接続されている。なお、視聴ユーザ端末装置４０の構成および機能は、コンテンツ提供装置２０の構成および機能とほぼ同じであるが、システム制御部４６が、動画配信サーバ装置１０から、通信部４１を介して、動画のコンテンツおよび付加コンテンツを受信して、表示部４３にこれらのコンテンツを表示させる。

［３．情報処理システムの動作］
　次に、本発明の１実施形態に係る情報処理システム１の動作について図を用い説明する。

（３．１　動画登録処理の動作例）
　まず、動画配信サーバ装置１０における動画登録処理の動作例について図１３から図１５を用いて説明する。

　図１３は、動画データにおける画像フレームのフレーム番号の一例を示す模式図である。図１４Ａから図１４Ｉは、画像フレームの一例を示す模式図である。図１５は、一実施形態に係る動画配信サーバ装置１０のシステム制御部１４の動画登録処理の一例を示すフローチャートである。

　まず、動画配信サーバ装置１０上で運営されるサイトの動画配信サービスに、配信対象となるコンテンツ（動画）を登録するために、各コンテンツ提供装置２０が、コンテンツ提供者が登録を希望する動画についてと当該動画のカテゴリＩＤ、タイトル、収録時間、動画データなどを、コンテンツ提供者を識別するためのコンテンツ提供者ＩＤと共に、動画配信サーバ装置１０に送信する。なお、動画配信サービスに、コンテンツ提供者がログインした後に、登録対象となる動画に関する情報を送信する場合には、必ずしも、コンテンツ提供者ＩＤと共に送信しなくてもよい。

　例えば、収録時間１０分の動画で、フレームレートが３０ｆｐｓの画像の場合、動画データは、18,000枚の画像フレームから構成される。図１３に示すように、動画データにおける画像フレームは、フレーム番号順に並んでいる。図１４Ａから図１４Ｉに示すように、各フレーム番号（フレームＩＤ）に画像フレーム５０が対応している。

　ここで、各画像フレームの一例として、図１４Ａから図１４Ｉに示すように、フレーム番号”000,001”、フレーム番号”000,015”、フレーム番号”000,060”、フレーム番号”000,120”、フレーム番号”000,135”、フレーム番号”000,165”、フレーム番号”000,240”、フレーム番号”000,330”、および、フレーム番号”000,360”の画像フレーム５０が挙げられる。

　次に、図１５に示すように、動画配信サーバ装置１０は、動画の情報を取得する（ステップＳ１）。具体的には、動画配信サーバ装置１０のシステム制御部１４が、各コンテンツ提供装置２０から送信された動画の情報を受信する。

　次に、動画配信サーバ装置１０は、取得した動画に動画ＩＤを発行する（ステップＳ２）。具体的には、動画配信サーバ装置１０のシステム制御部１４が、コンテンツ提供装置２０から動画の情報を受信したとき、動画に対して動画ＩＤを生成する。動画ＩＤは、受信順を示す番号や、コンテンツ提供者ＩＤに受信時刻等を組み合わせたＩＤでもよい。なお、動画ＩＤを発行するタイミングは、取得時に限らず、次のステップＳ３における動画ＤＢ１２ａへの取得した動画を登録する時でもよい。

　次に、動画配信サーバ装置１０は、動画の情報と動画ＩＤとを対応付けて動画ＤＢ１２ａに記憶する（ステップＳ３）。具体的には、システム制御部１４が、動画ＩＤに紐付けて、カテゴリＩＤ、タイトル、収録時間、動画データ等を、動画ＤＢ１２ａに記録する。

　動画配信サーバ装置１０は、随時、各コンテンツ提供装置２０から動画の情報を受け付け、受け付けた動画の情報を、動画ＩＤと共に、動画ＤＢ１２ａに登録する。なお、動画配信サーバ装置１０は、コンテンツ提供装置２０から動画の情報を受信して、ある程度一時的に蓄積しておいて、所定のタイミングで、動画の情報を動画ＤＢ１２ａに登録してもよい。

（３．２　広告登録処理の動作例）
　動画配信サーバ装置１０における広告登録処理の動作例について図１６を用いて説明する。

　図１６は、一実施形態に係る動画配信サーバ装置１０のシステム制御部１４の広告登録処理の一例を示すフローチャートである。

　まず、動画配信サーバ装置１０上で運営されるサイトに、広告提供者が動画に掲載とともに表示を希望する広告を登録するために、各広告提供装置３０が、広告の情報として、広告を表示するための広告表示条件、広告データ、提供情報ＵＲＬ等を、広告提供者ＩＤと共に、動画配信サーバ装置１０に送信する。

　広告表示条件は、例えば、広告提供装置３０の表示部３３上において、広告表示条件入力画面にから、入力される。

　次に、図１６に示すように、動画配信サーバ装置１０は、広告の情報を取得する（ステップＳ４）。具体的には、動画配信サーバ装置１０のシステム制御部１４が、各広告提供装置３０から送信された広告の情報として、広告表示条件、広告データ、提供情報ＵＲＬ、広告提供者ＩＤ等を受信する。

　次に、動画配信サーバ装置１０は、取得した広告に広告ＩＤを発行する（ステップＳ５）。具体的には、動画配信サーバ装置１０のシステム制御部１４が、広告提供装置３０から広告を受信したとき、広告に対して広告ＩＤを生成する。広告ＩＤは、受信順を示す番号や、広告提供者ＩＤに受信時刻等を組み合わせたＩＤでもよい。

　次に、動画配信サーバ装置１０は、少なくとも広告表示条件を含む広告の情報と広告ＩＤとを対応付けて動画ＤＢに記憶する（ステップＳ６）。具体的には、システム制御部１４が、広告ＩＤに紐付けて、広告表示条件、広告データ、提供情報ＵＲＬ等を、広告ＤＢ１２ｂに記録する。

　なお、動画配信サーバ装置１０は、随時、各広告提供装置３０から広告を受け付け、受け付けた広告の情報を、広告ＩＤと共に、広告ＤＢ１２ｂに登録する。

（３．３　表示候補領域特定処理の動作例）
　動画配信サーバ装置１０における表示候補領域特定処理の動作例について図１７から図２０を用いて説明する。

　図１７は、一実施形態に係る動画配信サーバ装置のシステム制御部の表示候補領域特定処理の一例を示すフローチャートである。図１８Ａから図１８Ｄは、画像フレームの特徴点画像の一例を示す模式図である。図１９Ａから図１９Ｄは、画像フレームにおけるオブジェクト表示領域に含まれない領域の一例を示す模式図である。図２０Ａから図２０Ｅは、画像フレームにおける表示候補領域の一例を示す模式図である。

　図１７に示すように、動画配信サーバ装置１０は、動画ＤＢ１２ａに記憶されている複数の動画のうち１つの動画を取得する（ステップＳ１０）。具体的には、動画配信サーバ装置１０のシステム制御部１４が、オブジェクト特定処理が未だ行われていない動画の動画ＩＤにより、動画ＤＢ１２ａを参照して、動画ＩＤに対応する１つの動画の動画データを読み出す。システム制御部１４が、動画ＤＢ１２ａから読み出した動画データを、作業用に一時的に、ＲＡＭ１４ｃまたは記憶部１２に保存してもよい。

　次に、動画配信サーバ装置１０は、取得した動画に含まれる複数の画像フレームのうち、少なくとも１つの画像フレームを取得する（ステップＳ１１）。具体的には、システム制御部１４が、例えば、処理対象のフレームＩＤに対応する画像フレームを抽出する。

　次に、動画配信サーバ装置１０は、取得した画像フレームから当該画像フレームに含まれるオブジェクトを抽出し、特定する（ステップＳ１２）。具体的には、システム制御部１４が、画像フレーム内の各オブジェクトを、例えば、背景差分法、微分処理等によるエッジの抽出、ＳＩＦＴ（Scale-invariant feature transform）、または、ＨｏＧ（Histogram of Oriented Gradients）等の手法により抽出し、特定する。なお、パーティクルフィルタ法により、オブジェクトを追跡し、パーティクルにより、オブジェクトを特定してもよい。

　ステップＳ１２の処理により、画像フレーム５０の中に写っている建造物、看板、移動体（車両、自転車、人物、動物等）、樹木、衣服等の各オブジェクトが特定され、各オブジェクトにオブジェクトＩＤが割り当てられる。

　なお、画像フレーム５０上で、エッジ検出等により、図１８Ａから図１８Ｄのいずれか１つに示すように、エッジ等の特徴点画像５１が得られ、オブジェクトが抽出される。

　システム制御部１４が、特徴点画像５１に基づき、オブジェクトを特定する。例えば、システム制御部１４が、図１８Ａのフレーム番号”000,001”の特徴点画像５２のエッジ群ｅｄ１、ｅｄ２、ｅｄ３、ｅｄ４、ｅｄ５、ｅｄ６に基づき、図１４Ａに示すように、フレーム番号”000,001”の画像フレーム５０から建物の看板のオブジェクトｏｂ１、建物のオブジェクトｏｂ２、立て看板のオブジェクトｏｂ３、鳥のオブジェクトｏｂ４、樹木のオブジェクトｏｂ５、車両のオブジェクトｏｂ６を抽出し、各オブジェクトにオブジェクトＩＤを割り当て、オブジェクトを特定する。

　なお、フレーム番号が所定範囲以内の他の画像フレームに含まれるオブジェクトとの比較に基づいて、当該他の画像フレームに含まれるオブジェクトと同じオブジェクトであると判定された場合に、当該他の画像フレームに含まれるオブジェクトに付与されたオブジェクトＩＤと同じオブジェクトＩＤを割り当ててもよい。

　例えば、図１４Ａのオブジェクトｏｂ１、ｏｂ２、ｏｂ３、ｏｂ４、ｏｂ５、ｏｂ６と、図１４Ｂのオブジェクトｏｂ１、ｏｂ２、ｏｂ３、ｏｂ４、ｏｂ５、ｏｂ６とは、各々同じオブジェクトＩＤが割り当てられる。

　図１４Ｅに示すように、オブジェクトｏｂ３と、図１４Ｆに示すように、オブジェクトｏｂ１３とが、オブジェクト追跡や、オブジェクトの形状の類似性等により、同じオブジェクトと判定された場合、同じオブジェクトＩＤが割り当てられるようにしてもよい。また、図１４Ｅに示すように、オブジェクトｏｂ６と、図１４Ｆに示すように、オブジェクトｏｂ１６とが、オブジェクト追跡や、オブジェクトの形状の類似性等により、同じオブジェクトと判定された場合、同じオブジェクトＩＤが割り当てられるようにしてもよい。

　なお、動画配信サーバ装置１０が、前記取得した画像フレーム毎に当該画像フレーム内に表示されている複数のオブジェクトを特定してもよい。また、オブジェクトが小さすぎる、不鮮明、形状が不明瞭等、オブジェクトが特定できない場合、動画配信サーバ装置１０は、オブジェクトを特定してなくてもよい。また、動画配信サーバ装置１０が、所与の上限数を限度としてオブジェクトを特定してもよい。例えば、動画配信サーバ装置１０が、画像フレームにおける表示面積が大きいオブジェクトを、優先して特定してもよい。

　次に、動画配信サーバ装置１０は、特定されたオブジェクトを含むオブジェクト表示領域を特定する（ステップＳ１３）。具体的には、システム制御部１４が、抽出したエッジ等の特徴点に従って、オブジェクトが表示されている領域に対応するオブジェクト表示領域を設定する。

　例えば、図１８Ａおよび図１９Ａに示すように、システム制御部１４が、オブジェクトｏｂ１、ｏｂ２、ｏｂ３、ｏｂ４、ｏｂ５、ｏｂ６の輪郭、すなわち、オブジェクトｏｂ１、ｏｂ２、ｏｂ３、ｏｂ４、ｏｂ５、ｏｂ６のそれぞれのエッジ群ｅｄ１、ｅｄ１、ｅｄ２、ｅｄ３、ｅｄ４、ｅｄ５、ｅｄ６の最も外側を外縁とするオブジェクト表示領域ａｒ１、ａｒ２、ａｒ３、ａｒ４、ａｒ５、ａｒ６を特定する。

　また、動画におけるオブジェクトの大きさが、カメラのズーム機能によりカメラの視点に対する遠近により変化したり、図１９Ｂまたは図１９Ｃに示すように、他のオブジェクトに隠れて、オブジェクトの形状が変わったり、オブジェクト自体の形状が変化したりする場合、システム制御部１４が、オブジェクトの変化に合わせて、オブジェクト表示領域ａｒ６の形状が変化するようにオブジェクト表示領域を設定してもよい。

　具体的には、時間的に近い画像フレーム間におけるオブジェクト間で、システム制御部１４が、例えば、オブジェクトの位置、色、形状、大きさ等のオブジェクトのパラメータにおいて、各パラメータが、所定の範囲内のオブジェクト同士を、同一のオブジェクトであると判定する。オブジェクトの大きさに関して所定の範囲に収まって、変化して行くオブジェクトが、同一のオブジェクトと判定される。オブジェクトの形状に関して所定範囲に収まって、変化して行くオブジェクトが、同一のオブジェクトと判定される（例えば、オブジェクトの中心を基準にして、１のオブジェクトの輪郭の座標と、他のオブジェクトの輪郭の座標と距離の最小値が、所定範囲内の場合）。なお、システム制御部１４が、各パラメータに対して重みづけをしてもよい。システム制御部１４が、所定の範囲を、フレーム間の時間差によって変えてもよい。

　また、図１４Ｅから図１４Ｆに示すように、画像を撮像しているカメラのズーム（倍率）の変化により、オブジェクトの大きさが変化する場合、図１９Ｂから図１９Ｃに示すように、システム制御部１４が、オブジェクトの変化に合わせて、オブジェクト表示領域の大きさを変えてもよい。なお、システム制御部１４が、オブジェクト表示領域ａｒ３とオブジェクト表示領域ａｒ１３とが同じオブジェクト表示領域であると判定してもよいし、別々のオブジェクト表示領域であると判定してもよい。

　なお、ステップＳ１２とステップＳ１３の処理は、一緒に行ってもよい。すなわち、システム制御部１４が、ステップＳ１２で抽出されたオブジェクト自体を、オブジェクト表示領域にしてもよい。

　これらのように、動画配信サーバ装置１０が、前記取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトのオブジェクト表示領域を、前記画像フレーム毎に特定する特定手段の一例として機能する。

　次に、動画配信サーバ装置１０は、オブジェクト表示領域に含まれない領域の中から、動画に付加する付加コンテンツを表示する領域の候補となる表示候補領域を特定する（ステップＳ１４）。具体的には、まず、図１９Ａから図１９Ｄに示すように、システム制御部１４が、各画像フレームにおいて、特徴点画像５２から、特定されたオブジェクト表示領域ａｒ１、ａｒ２、ａｒ３、ａｒ４、ａｒ５、ａｒ６を差し引き、領域ｎ－ａｒ（オブジェクト表示領域に含まれない領域の一例）を生成する。

　そして、図２０Ａから図２０Ｄに示すように、システム制御部１４が、領域ｎ－ａｒから、画像フレーム毎の表示候補領域であるフレーム・表示候補領域ｃｎｄ－ａｒを生成する。例えば、システム制御部１４が、矩形、楕円、三角形等の所定の形状に基づき、領域ｎ－ａｒを切り分ける。すなわち、システム制御部１４が、オブジェクト表示領域を避けるように、所定の面積（例えば、視聴者が見分けることができる限界の広告の最低表示面積）以上のフレーム・表示候補領域ｃｎｄ－ａｒを設定する。

　図２０Ａから図２０Ｄに示すように、オブジェクトが画像フレーム上を動きに合わせて、システム制御部１４が、できるだけ、領域ｎ－ａｒを、フレーム・表示候補領域ｃｎｄ－ａｒで隙間が無く満たすように（例えば、最適化の手法により隙間の面積ができるだけ少なくなるように）、各フレーム・表示候補領域ｃｎｄ－ａｒを算出する。そのため、画像フレーム５３におけるフレーム・表示候補領域ｃｎｄ－ａｒの形状（アスペクト比、および、楕円の長軸および短軸の比等）、大きさ、数、および、位置等が変化してもよい。また、最適化の手法、または、最適化の基準により、フレーム・表示候補領域ｃｎｄ－ａｒが異なってもよい。

　なお、フレーム・表示候補領域ｃｎｄ－ａｒの形状は、最適化しやすいように、予め全て矩形、または、楕円形等の統一しておいてもよいし、広告表示条件に基づいた形状でもよい。また、図２０Ｅに示すように、フレーム・表示候補領域ｃｎｄ－ａｒの形状は、矩形、楕円形等の様々な形状が混合してもよい。

　そして、フレーム・表示候補領域ｃｎｄ－ａｒを設定が設定されたら、システム制御部１４が、各フレーム・表示候補領域ｃｎｄ－ａｒのフレーム・表示候補領域情報を算出する。

　ここで、フレーム・表示候補領域情報の一例として、表示候補領域表示領域の基準になる座標（ｘｙ座標）、例えば、表示候補領域表示領域が矩形の場合、矩形の四隅のいずれかの座標や、矩形の中心の座標や中心の座標などがあり、表示候補領域表示領域が例えば楕円形などの円形状の場合、円形状の中心の座標や重心の座標などがあり、また何れかの形状の場合もオブジェクト表示領域の中心／重心付近の画素の座標、中心部分の画素の座標等が挙げられる。

　また、フレーム・表示候補領域情報の一例として、表示候補領域の面積、形状、表示候補領域の輪郭の画素の座標、表示候補領域に含まれる画素の全ての座標、または、複数の画素の座標等が挙げられる。

　また、フレーム・表示候補領域情報は、表示候補領域の形状が矩形の場合、アスペクト比、縦の長さおよび横の長さ、楕円の場合、長軸および短軸の比、長軸の長さおよび短軸の長さでもよい。

　また、フレーム・表示候補領域情報は、表示候補領域内の画素の色を含んでもよい。

　なお、システム制御部１４が、領域ｎ－ａｒを表示候補領域としてもよい。すなわち、システム制御部１４が、画像フレーム５０におけるオブジェクトが表示されていない全ての領域ｎ－ａｒを表示候補領域としてもよい。

　また、システム制御部１４が、広告ＤＢ１２ｂを参照して、登録されている広告の形状の情報に基づき、広告の形状のうち、互いに異なるすべての広告の形状を抽出し、表示候補領域の対象となる形状として、記憶部１２（表示候補形状データベースとして構築してもよい）等に登録しておいてもよい。また、システム制御部１４が、広告ＤＢ１２ｂ等に登録されている広告の形状のうち登録数の相対的に多い（登録数の順位が上位から所定数個の）形状のみを表示候補領域の対象となる形状として表示候補形状データベース等に登録してもよい。そして、システム制御部１４が、ステップＳ１４において、領域ｎ－ａｒのうち、表示候補形状データベース等に登録されている少なくとも１つの形状に適合する範囲を、表示候補領域として特定してもよい。

　これらのように、動画配信サーバ装置１０が、当該オブジェクト表示領域に含まれない領域の中から、前記動画に付加する付加コンテンツを表示するための付加コンテンツ表示領域の候補となる表示候補領域を少なくとも１つ特定する表示候補領域特定手段の一例として機能する。また、動画配信サーバ装置１０が、前記オブジェクト表示領域に含まれない領域の中から、前記付加コンテンツ表示条件に基づいた形状に適合する前記表示候補領域を特定する表示候補領域特定手段の一例として機能する。

　次に、動画配信サーバ装置１０は、動画ＩＤと、画像フレームを識別するフレームＩＤと、表示候補領域の情報と、表示候補領域を識別する表示候補領域ＩＤと、を対応付けて記憶する（ステップＳ１５）。具体的には、システム制御部１４が、動画ＩＤと、フレームＩＤと、各表示候補領域の情報（フレーム・表示候補領域情報）と、表示候補領域ＩＤと、を対応付けて、フレーム・表示候補領域情報ＤＢ１２ｃに記憶する。

　なお、システム制御部１４が、動画ＩＤと、フレームＩＤと、各表示候補領域の情報（フレーム・表示候補領域情報）と、表示候補領域ＩＤと、を対応付けて、一時的に、ＲＡＭ１４ｃ等のキャッシュメモリに記憶してもよい。

　次に、動画配信サーバ装置１０は、全ての画像フレームに対して処理を行ったか否かを判定する（ステップＳ１６）。例えば、動画を先頭の画像フレームから順に処理する場合、システム制御部１４が、フレームＩＤであるフレーム番号が、動画の最後のフレーム番号が否かを判定する。なお、動画配信サーバ装置１０は、一部（例えば、半分）の画像フレームに対して処理を行ったか否かを判定してもよい。

　全ての画像フレームに対して処理を行っていない場合（ステップＳ１６；ＮＯ）、動画配信サーバ装置１０は、ステップＳ１１の処理に戻り、次の画像フレーム５０を取得する。

　このように、動画配信サーバ装置１０が、動画を記憶する動画記憶手段から取得した前記動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレームを取得する画像フレーム取得手段の一例として機能する。

　全ての画像フレームに対して処理を行った場合（ステップＳ１６；ＹＥＳ）、動画配信サーバ装置１０は、表示候補領域特定処理を終了する。

　次に、動画配信サーバ装置１０は、他の動画の動画ＩＤに基づき、ステップＳ１０からステップＳ１６の処理を行い、フレーム・表示候補領域情報ＤＢ１２ｃを構築していく。

（３．４　制御情報生成処理の動作例）
　次に、動画配信サーバ装置１０における制御情報生成処理の動作例について図２１から図２２を用いて説明する。

　図２１は、一実施形態に係る動画配信サーバ装置のシステム制御部の制御情報生成処理の一例を示すフローチャートである。図２２Ａから図２２Ｃは、集計された表示候補領域の一例を示す模式図である。図２３Ａから図２３Ｄは、広告が付加された画像フレームの一例を示す模式図である。図２４Ａから図２４Ｄは、広告が付加された画像フレームの一例を示す模式図である。図２５は、一部がマスクされた画像フレームの一例を示す模式図である。

　まず、動画配信サーバ装置１０は、制御情報生成処理が終わっていない動画の動画ＩＤを抽出する。

　図２１に示すように、動画配信サーバ装置１０は、フレーム・表示候補領域情報ＤＢ１２ｃを参照し、動画ＩＤが一致し、かつ、フレームＩＤが異なる画像フレームの表示候補領域の情報に基づいて、表示候補領域毎の情報を算出する（ステップＳ２０）。

　具体的には、システム制御部１４が、フレーム・表示候補領域情報ＤＢ１２ｃから、同じ動画ＩＤに対して、フレーム番号（フレームＩＤ）順に検索して、表示候補領域ＩＤ毎にフレーム・表示候補領域情報を集計して、集計した表示候補領域情報を算出する。

　さらに具体的には、まず、図２２Ａおよび図２２Ｂに示すように、システム制御部１４が、フレーム・表示候補領域情報ＤＢ１２ｃを参照して、複数の画像フレームにおいて、各フレーム・表示候補領域ｃｎｄ－ａｒで共通する共通領域ｃｏ－ａｒ１、ｃｏ－ａｒ２を生成する。特に、フレーム・表示候補領域ｃｎｄ－ａｒは、移動したり大きさが変化したりするオブジェクトの周りで、各画像フレームにおいて変化しやすいので、システム制御部１４が、共通領域を算出することが好ましい。なお、図２２Ａおよび図２２Ｂに示すように、画像５４において、共通領域と、各画像フレームにおけるフレーム・表示候補領域ｃｎｄ－ａｒとが、模式的に記載されている。

　システム制御部１４が、複数の画像フレームを、例えば、フレーム番号”000,001”からフレーム番号”000,135”まで、フレーム番号”000,165”からフレーム番号”000,360”、または、フレーム番号”000,001”からフレーム番号”000,360”まで等と区切って、共通領域を生成してもよい。例えば、システム制御部１４が、図２２Ａに示すように、フレーム番号”000,001”からフレーム番号”000,135”の共通領域ｃｏ－ａｒ１を生成し、図２２Ｂに示すように、フレーム番号”000,165”からフレーム番号”000,360”の共通領域ｃｏ－ａｒ２を生成する。システム制御部１４が、生成した各共通領域を識別するために、集積表示候補領域ＩＤを割り当てる。

　また、システム制御部１４が、図２２Ｃに示すように、フレーム番号”000,001”からフレーム番号”000,360”の共通領域ｃｏ－ａｒ３を生成してもよい。図２２Ｃに示すように、システム制御部１４が、共通領域ｃｏ－ａｒ１および共通領域ｃｏ－ａｒ２の共通領域ｃｏ－ａｒ３を生成してもよい。図２２Ｃに示すように、システム制御部１４が、各共通領域ｃｏ－ａｒ１および各共通領域ｃｏ－ａｒ１の重なっている領域を算出し、共通領域ｃｏ－ａｒ３を生成する。なお、図２２Ｃに示すように、画像５４において、共通領域ｃｏ－ａｒ１と、共通領域ｃｏ－ａｒ２と、共通領域ｃｏ－ａｒ３とが、模式的に記載されている。

　ここで、共通領域ｃｏ－ａｒ１を例に挙げて、共通領域の生成の一例について、説明する。

　まず、システム制御部１４が、フレーム・表示候補領域情報ＤＢ１２ｃを参照して、フレームＩＤに基づき、例えば、フレーム番号”000,001”およびフレーム番号”000,002”のフレーム・表示候補領域情報を読み出す。システム制御部１４が、フレーム番号”000,001”の各フレーム・表示候補領域ｃｎｄ－ａｒの座標情報と、フレーム番号”000,002”の各フレーム・表示候補領域ｃｎｄ－ａｒの座標情報と、から、フレーム・表示候補領域ｃｎｄ－ａｒが重なる部分の共通する共通領域を算出する。システム制御部１４が、フレーム番号”000,003”のフレーム・表示候補領域情報をフレーム・表示候補領域情報ＤＢ１２ｃから読み出し、この算出した共通領域の座標情報と、フレーム番号”000,003”の各フレーム・表示候補領域ｃｎｄ－ａｒの座標情報と、から、次の共通領域（フレーム番号”000,001”から”000,003”の共通領域）を算出する。システム制御部１４が、これらの処理をフレーム番号”000,135”まで繰り返し、各共通領域ｃｏ－ａｒ１を生成する。システム制御部１４が、各共通領域に、それぞれ共通領域ＩＤを割り当てる。

　なお、システム制御部１４が、共通領域を求めるフレーム番号の範囲内のフレーム番号を、上記のような順に処理しなくても、逆順やランダムな順番で処理してよい。

　逆順で処理する場合、システム制御部１４が、フレーム・表示候補領域情報ＤＢ１２ｃを参照して、フレームＩＤに基づき、例えば、フレーム番号”000,135”およびフレーム番号”000,134”のフレーム・表示候補領域情報を読み出す。システム制御部１４が、フレーム番号”000,135”の各フレーム・表示候補領域ｃｎｄ－ａｒの座標情報と、フレーム番号”000,134”の各フレーム・表示候補領域ｃｎｄ－ａｒの座標情報と、から、フレーム・表示候補領域ｃｎｄ－ａｒが重なる部分の共通する共通領域を算出する。システム制御部１４が、フレーム番号”000,133”のフレーム・表示候補領域情報をフレーム・表示候補領域情報ＤＢ１２ｃから読み出し、この算出した共通領域の座標情報と、フレーム番号”000,133”の各フレーム・表示候補領域ｃｎｄ－ａｒの座標情報と、から、次の共通領域（フレーム番号”000,135”から”000,133”の共通領域）を算出する。システム制御部１４が、これらの処理をフレーム番号”000,001”まで繰り返し、各共通領域ｃｏ－ａｒ１を生成する。

　ランダムな順番で処理する場合、システム制御部１４が、フレーム・表示候補領域情報ＤＢ１２ｃを参照して、フレームＩＤに基づき、例えば、フレーム番号”000,001”からフレーム番号”000,135”のうち、例えば、任意のフレーム番号”000,111”およびフレーム番号”000,077”のフレーム・表示候補領域情報を読み出す。システム制御部１４が、フレーム番号”000,111”の各フレーム・表示候補領域ｃｎｄ－ａｒの座標情報と、フレーム番号”000,077”の各フレーム・表示候補領域ｃｎｄ－ａｒの座標情報と、から、フレーム・表示候補領域ｃｎｄ－ａｒが重なる部分の共通する共通領域を算出する。システム制御部１４が、フレーム番号”000,111”およびフレーム番号”000,077”以外のフレーム番号、例えば、フレーム番号”000,063”のフレーム・表示候補領域情報をフレーム・表示候補領域情報ＤＢ１２ｃから読み出し、この算出した共通領域の座標情報と、フレーム番号”000,063”の各フレーム・表示候補領域ｃｎｄ－ａｒの座標情報と、から、次の共通領域（フレーム番号”000,111”、”000,077”および”000,063”の共通領域）を算出する。システム制御部１４が、これらの処理を、共通領域を求めるフレーム番号の範囲内における残りの全てのフレーム番号に対して繰り返し、各共通領域ｃｏ－ａｒ１を生成する。

　なお、システム制御部１４が、共通領域を求めるフレーム番号の範囲内のすべてのフレーム番号について処理をせずに、所与の間隔（例えば１０個のフレーム）のフレーム毎を対象として処理してもよい。システム制御部１４が、この所与の間隔を、画像フレーム間における差分データ（動きベクトル等）に応じて設定する。例えば、システム制御部１４が、共通領域を求めるフレーム番号の範囲に含まれるすべての画像フレームにおける差分データ量と所与の条件とに応じて、所与の間隔を決定する。この場合、所与の間隔は一定間隔になる。所与の間隔は、差分データ量が大きいほど（例えば、動きベクトルの長さが長いほど）、画像フレーム間におけるオブジェクト位置の変化が多いので、システム制御部１４が、所与の間隔を小さくする。一方、差分データ量が小さいほど、画像フレーム間におけるオブジェクト位置の変化が少ないので、システム制御部１４が、所与の間隔を大きくする。

　なお、先に設定された共通領域を求めるフレーム番号の範囲に含まれるすべての画像フレームについて、フレーム毎の差分データ量を算出し、当該画像フレーム毎の差分データ量をひとつ目の画像フレームから積算して、所定の閾値を超えた画像フレームを処理対象としてもよい。この場合、処理対象となる画像フレームの間隔は変動する。

　共通領域ｃｏ－ａｒ１等が生成された後、システム制御部１４が、共通領域ｃｏ－ａｒ１、共通領域ｃｏ－ａｒ２、共通領域ｃｏ－ａｒ３等に対して、共通領域の情報（例えば、各共通領域の面積、形状、共通領域に含まれる位置の座標、外縁の画素の座標、共通領域を求めたフレーム番号の範囲等）から、集計した表示候補領域情報を算出する。なお、共通領域ｃｏ－ａｒ１、ｃｏ－ａｒ２、ｃｏ－ａｒ３は、複数のフレーム・表示候補領域から生成されるので、共通領域ｃｏ－ａｒ１、ｃｏ－ａｒ２、ｃｏ－ａｒ３自体の共通領域の情報も、集積した表示候補領域情報の一例である。

　ここで、共通領域を生成したフレーム番号の範囲が、共通領域の出現数（表示回数：表示フレーム数）（集積した表示候補領域情報の一例）である。共通領域の出現数は、共通領域が動画において空間および時間の少なくとも一方の積算で表示される積算表示量の一例である。この積算表示量の一例として合計表示時間（＝合計の出現数／フレームレート）でもよい。また、共通領域の出現数は、例えば、図２２Ａに示すように、フレーム番号”000,001”からフレーム番号”000,135”の共通領域ｃｏ－ａｒ１のうち、ある共通領域ｃｏ－ａｒ１が、フレーム番号”000,135”以降のある区間の共通領域と、ほぼ同じ領域にある場合（例えば、領域同士の重なりの割合が高い）、システム制御部１４が、これらの出現数を加算してもよい。

　また、システム制御部１４が、連続する画像フレームにおいて、出現した共通領域の連続出現数（積算表示量の一例）を算出してもよい。例えば、システム制御部１４が、フレーム番号を飛ばすこと無く、フレーム番号順に共通領域を生成する場合、共通領域を生成したフレーム番号の範囲が、連続出現数である。また、システム制御部１４が、フレーム番号を間引きして、共通領域を生成した場合、フレーム番号の最大値と最小値の差の範囲のフレーム数を連続出現数（または、時間を連続表示時間）としてもよい。

　また、システム制御部１４が、共通領域の最大および最小連続出現数（連続出現数／フレームレート＝連続表示時間）を算出してもよい。

　システム制御部１４が、全てまたは一部のフレーム番号に対して合計したら、フレーム数で割って、出現割合を算出してもよい。

　また、集積した表示候補領域情報の一例として、システム制御部１４が、各共通領域の形状、各共通領域の位置情報、各共通領域の面積、各共通領域内または外縁にある各画素の座標、色等の画素情報等を算出してもよい。

　システム制御部１４が、全てまたは一部のフレーム番号に対して、共通領域毎に、共通領域の面積を合計して、積算表示面積（積算表示量の一例）を算出する。なお、システム制御部１４が、積算表示面積を、全てまたは一部のフレーム数で割った平均表示面積（積算表示量の一例）を算出してもよい。また、システム制御部１４が、共通領域毎の最大および最小の表示面積を算出してもよい。

　集計される期間が、動画全体でなく、所定の区切り毎に、システム制御部１４が、フレーム・表示候補領域情報を集計してもよい。例えば、システム制御部１４が、チャプター情報や、画像が切り替わる時点等で、区切ってフレーム・表示候補領域情報を集計し、集計した表示候補領域情報を算出する。

　また、システム制御部１４が、積算表示量の一例として、複数の表示候補領域または共通領域をグルーピングして、グループ毎の表示候補領域情報を算出してもよい。例えば、システム制御部１４が、各表示候補領域または共通領域の形状等（例えば、アスペクト比等）が同一または類似するか否かを判定して、形状等が同一または類似する表示候補領域または共通領域同士に同じグループＩＤを割り当てる。そして、システム制御部１４が、グループ単位の出現回数（グループに属する表示候補領域または共通領域が少なくとも１つ出現したらカウントする、少なくとも所定数以上出現したらカウントする等）、グループ単位の表示面積（グループに属する表示候補領域または共通領域の面積を足し合わせる）等のグループ単位の積算表示量を算出する。

　なお、各表示候補領域または共通領域が同一または類似するか否かを判定方法は、時間的に近い画像フレーム間における表示候補領域または共通領域間で、システム制御部１４が、例えば、表示候補領域または共通領域の位置、色、形状、大きさ等の表示候補領域または共通領域のパラメータにおいて、各パラメータが、所定の範囲内の表示候補領域または共通領域同士を、同一または類似する表示候補領域または共通領域であると判定する。そして、システム制御部１４が、同一または類似する表示候補領域または共通領域同士をグルーピングする。

　なお、システム制御部１４が、色が同一または類似する類似する表示候補領域または共通領域同士のグループ毎に、グループ単位の積算表示量を算出してもよい。

　次に、システム制御部１４が、集計した表示候補領域情報を、動画ＩＤおよび集積表示候補領域ＩＤに関連付けて、集計表示候補領域情報ＤＢ１２ｄに記憶する。また、システム制御部１４が、集計された期間のフレーム番号、共通領域が最大の表示面積を示したフレーム番号、共通領域が最小の表示面積を示したフレーム番号等のフレーム番号またはフレームＩＤも、集計表示候補領域情報ＤＢ１２ｄに記憶してもよい。また、システム制御部１４が、オブジェクトの形状や、矩形の場合のアスペクト比、楕円形の場合の長軸短軸の比も、集計表示候補領域情報ＤＢ１２ｄに記憶してもよい。また、システム制御部１４が、動画におけるオブジェクトの最頻出の出現位置の座標、平均の出現位置の座標のオブジェクトの座標情報も、オブジェクト情報と共に、集計表示候補領域情報ＤＢ１２ｄに記憶してもよい。

　次に、動画配信サーバ装置１０は、表示候補領域毎の情報と表示する広告の広告主が設定した広告表示条件とに基づいて、広告を表示する広告表示領域を選択する（ステップＳ２１）。具体的には、システム制御部１４が、集計表示候補領域情報ＤＢ１２ｄを参照して、広告表示条件と集積した表示候補領域情報を照合して共通領域を広告表示領域として選択する。

　例えば、広告”ＡＤ－ａ１”の広告表示条件が、広告の形状が矩形で、表示時間が３秒以上で、表示面積が所定値以上で、かつ画面の右上に表示したいという場合、図２３Ａから図２３Ｄに示すように、広告表示領域ａｄ－ａｒ１が該当する。システム制御部１４が、集計表示候補領域情報ＤＢ１２ｄを参照して、画像フレーム５５の図中右上の共通領域ｃｏ－ａｒを広告表示領域ａｄ－ａｒ１として選択する。

　例えば、広告”ＡＤ－ｄ１”の広告表示条件が、広告の形状のアスペクト比が横に細長く（例えば、アスペクト比５：１のような棒形状）、画面の下側で、１０秒以上という場合、図２３Ａから図２３Ｄに示すように、広告表示領域ａｄ－ａｒ４が該当する。

　なお、広告を表示させる広告表示領域が選択されたら、システム制御部１４が、広告を表示させる各画像フレームにおいて、広告を付加する広告表示領域と、基準の広告のサイズとの比（拡大率または縮小率）を、算出して、集計表示候補領域情報ＤＢ１２ｄ等に記憶してもよい。

　また、システム制御部１４が、集計表示候補領域情報ＤＢ１２ｄを参照して、各共通領域の出現数のうち、出現数が相対的に多い（出現数の順位が上位から所定数個の）共通領域を広告表示領域として選択してもよい。この場合、システム制御部１４が、広告表示条件に基づいて、広告表示領域を選択してもよいし、広告表示条件に基づかないで、集積した表示候補領域情報のみで、広告表示領域を選択してもよい。システム制御部１４が、広告表示条件にも基づく場合、出現数が相対的に多い共通領域のうち、広告表示条件を満たす共通領域を選択する。

　また、システム制御部１４が、集計表示候補領域情報ＤＢ１２ｄを参照して、各共通領域の平均表示面積のうち、平均表示面積が相対的に大きい（平均表示面積の順位が上位から所定数個の）共通領域を広告表示領域として選択してもよい。この場合、システム制御部１４が、広告表示条件に基づいて、共通領域を選択してもよいし、広告表示条件に基づかないで、集積した表示候補領域情報のみで、共通領域を選択してもよい。システム制御部１４が、広告表示条件にも基づく場合、平均表示面積が相対的に大きい共通領域のうち、広告表示条件を満たす共通領域を選択する。

　また、システム制御部１４が、集計表示候補領域情報ＤＢ１２ｄを参照して、各共通領域の積算表示数のうち、積算表示数が相対的に多い（積算表示数の順位が上位から所定数個の）共通領域を広告表示領域として選択してもよい。この場合、システム制御部１４が、広告表示条件に基づいて、共通領域を選択してもよいし、広告表示条件に基づかないで、集積した表示候補領域情報のみで、共通領域を選択してもよい。システム制御部１４が、広告表示条件にも基づく場合、積算表示数が相対的に多い共通領域のうち、広告表示条件を満たす共通領域を選択する。

　また、システム制御部１４が、集計表示候補領域情報ＤＢ１２ｄを参照して、各共通領域の連続出現数のうち、連続出現数が相対的に多い（連続出現数の順位が上位から所定数個の）共通領域を広告表示領域として選択してもよい。この場合、システム制御部１４が、広告表示条件に基づいて、共通領域を選択してもよいし、広告表示条件に基づかないで、集積した表示候補領域情報のみで、共通領域を選択してもよい。システム制御部１４が、広告表示条件にも基づく場合、連続出現数が相対的に多い共通領域のうち、広告表示条件を満たす共通領域を選択する。

　また、システム制御部１４が、共通領域のうち、複数の画像フレームにおいて積算表示量が最も大きい領域の組み合わせを広告表示領域として選択してもよい。例えば、図２２Ａおよび図２２Ｂに示すように、共通領域ｃｏ－ａｒ１（５４ａ）がフレーム番号”000,001”からフレーム番号”000,135”までであり、共通領域ｃｏ－ａｒ１（５４ｂ１）が、フレーム番号”000,001”からフレーム番号”000,135”までであり、共通領域ｃｏ－ａｒ２（５４ｂ２）が、フレーム番号”000,136”からフレーム番号”000,360”までであり、共通領域（５４ａ）の積算表示量＜共通領域（５４ｂ１）の積算表示量＋共通領域（５４ｂ２）の積算表示量の場合、システム制御部１４が、共通領域（５４ａ）でなく、共通領域（５４ｂ１）および、共通領域（５４ｂ２）を、広告表示領域として選択する。すなわち、システム制御部１４が、フレーム番号”000,001”からフレーム番号”000,135”まで、共通領域（５４ｂ１）に広告を表示し、フレーム番号”000,136”からフレーム番号”000,360”まで、共通領域（５４ｂ２）に広告を表示するように、表示情報を生成する。　　　　

　また、システム制御部１４が、画像フレーム間における共通領域の差分データ量が、所定の閾値より大きい場合の共通領域を広告表示領域として選択してもよい。システム制御部１４が、所定の閾値を、各共通領域の差分データ量により設定する。例えば、システム制御部１４が、ステップＳ２０において、各共通領域を別々に単一色で塗りつぶした場合における動画の圧縮率（または、動画のエンコード時のデータの減少量）を、共通領域毎の集積した表示候補領域情報として算出する。そして、システム制御部１４が、ステップＳ２１において、共通領域毎の圧縮率を比較して、圧縮率が相対的に高い（圧縮率が最も高く圧縮される共通領域から所定順位の）共通領域を選択してもよい。

　この場合、システム制御部１４が、広告表示条件に基づいて、共通領域を選択してもよいし、広告表示条件に基づかないで集積した表示候補領域情報のみで、共通領域を選択してもよい。システム制御部１４が、広告表示条件にも基づく場合、所定の閾値より大きい場合の共通領域を共通領域のうち、広告表示条件を満たす共通領域を選択する。

　ここで、配信のために、システム制御部１４が、所定の符号化方式により、動画のコンテンツを配信用の動画データに変換して圧縮する。動画の符号化方式は、フレーム間の差分を利用した符号化方式があり、圧縮率を高めるために、フレーム間予測が用いられる。システム制御部１４が、所定の画像フレームに対して、前の画像フレームおよび後の画像フレームの少なくとも１つの画像フレームからの予測画像フレームとの差分を利用して符号化する。さらに、画像フレーム間でのオブジェクト等の動きを補償する動き補償を行うためにシステム制御部１４が、動きベクトルも求め、動きベクトルを符号化する。１つの画像フレームと予測画像フレームとの差分情報や、動きベクトルの情報等が、差分データの一例である。

　このように、差分データ量が、所定の閾値より大きい場合の共通領域が選択され、選択された共通領域が単一色で塗りつぶされた場合、情報量の多い共通領域が消されたことになり、動画の符号化方式による圧縮率が高くなり、データ量が減少する。

　なお、システム制御部１４が、これら出現数、平均表示面積、積算表示量、連続出現数、差分データ量の少なくとも２つを組み合わせて、共通領域を広告表示領域として選択してもよい。

　また、システム制御部１４が、広告表示条件である、広告の表示時間、広告の表示面積、広告の形状等の少なくとも２つを組み合わせて、共通領域を広告表示領域として選択してもよい。さらに、システム制御部１４が、出現数、平均表示面積、積算表示量、連続出現数、差分データ量、広告の表示時間、広告の表示面積、広告の形状等の少なくとも２つを組み合わせて、共通領域を広告表示領域として選択してもよい。

　これら集積した表示候補領域情報および広告表示条件を組み合わせることにより、広告提供者の様々なニーズにあった広告表示領域を的確に選択できる。

　これらのように、動画配信サーバ装置１０が、前記特定された表示候補領域に関する情報と前記付加コンテンツを表示するための付加コンテンツ表示条件とに基づき、前記特定された表示候補領域から前記付加コンテンツ表示領域を選択する付加コンテンツ表示領域選択手段の一例として機能する。また、動画配信サーバ装置１０が、前記共通領域の大きさに応じて、前記共通領域から、前記付加コンテンツ表示領域を選択する付加コンテンツ表示領域選択手段の一例として機能する。の一例として機能する。また、動画配信サーバ装置１０が、前記積算表示量に応じて、前記共通領域から、前記付加コンテンツ表示領域を選択する付加コンテンツ表示領域選択手段の一例として機能する。また、動画配信サーバ装置１０が、前記共通領域の画像の差分データ量により設定される閾値より、前記差分データ量が大きい共通領域を、前記付加コンテンツ表示領域として選択する付加コンテンツ表示領域選択手段の一例として機能する。また、動画配信サーバ装置１０が、前記付加コンテンツの形状に適合するように、前記共通領域の形状の情報に応じて選択される前記共通領域を、前記付加コンテンツ表示領域として選択する付加コンテンツ表示領域選択手段の一例として機能する。

　次に、動画配信サーバ装置１０は、選択した広告表示領域に広告を表示するための制御情報を生成する（ステップＳ２２）。具体的には、システム制御部１４が、集計表示候補領域情報ＤＢ１２ｄを参照して、選択したオブジェクトの集積表示候補領域ＩＤに基づき、広告を表示する各フレームＩＤと、これらの画像フレームにおける広告表示領の座標情報を取得して、各フレームＩＤと、これらのフレームＩＤに対応する座標情報とを含む制御情報を生成する。例えば、図２３Ａから図２３Ｄに示すように、画像フレーム５５から構成される動画が再生されるように、システム制御部１４が、制御情報を生成する。

　この制御情報は、動画の再生時に、動画における広告表示領域に重畳して広告を表示させるための情報である。

　広告表示領域は、選択された共通領域の少なくとも一部を含んでいる。例えば、システム制御部１４が、広告表示領域ａｄ－ａｒ１を、図２３Ａから図２３Ｄに示すように、広告”ＡＤ－ａ１”のために選択された共通領域ｃｏ－ａｒ３と一致するように設定してもよい。

　また、システム制御部１４が、広告表示領域ａｄ－ａｒ２を、図２３Ａから図２３Ｄに示すように、広告”ＡＤ－ｂ１”のために選択された共通領域ｃｏ－ａｒ３の内部に設定してもよい。また、また、システム制御部１４が、広告表示領域ａｄ－ａｒ２を、図２３Ａから図２３Ｄに示すように、広告”ＡＤ－ｂ１”の広告表示条件を満たすように、共通領域ｃｏ－ａｒ３の内部の上部に設定してもよい。また、システム制御部１４が、広告表示領域ａｄ－ａｒ２において、広告”ＡＤ－ｂ１”から広告”ＡＤ－ｂ２”に、場面が変わった時点で変えてもよい。

　また、システム制御部１４が、広告表示領域ａｄ－ａｒ３を、図２３Ａから図２３Ｄに示すように、オブ、広告”ＡＤ－ｃ１”のために選択された共通領域ｃｏ－ａｒ３の一部を含むように設定してもよい。このように、広告”ＡＤ－ｃ１”の形状と、共通領域ｃｏ－ａｒ３の形状とが必ずしても一致していなくてもよい。また、システム制御部１４が、広告表示領域ａｄ－ａｒ３において、広告”ＡＤ－ｃ１”から広告”ＡＤ－ｃ２”に変えてもよい。

　また、また、システム制御部１４が、広告表示領域ａｄ－ａｒ４を、図２３Ａから図２３Ｄに示すように、広告”ＡＤ－ｄ１”の広告表示条件を満たすように、共通領域ｃｏ－ａｒ３の内部の下部に設定してもよい。

　また、システム制御部１４が、図２３Ｂから図２３Ｃに示すように、広告”ＡＤ－ｅ１”の広告表示領域ａｄ－ａｒ５から、広告”ＡＤ－ｅ２”の広告表示領域ａｄ－ａｒ６のように、広告表示領域の形状を変化させてもよい。また、システム制御部１４が、広告”ＡＤ－ｅ１”の広告表示領域ａｄ－ａｒ５を共通領域ｃｏ－ａｒ３の内部に設定して、あるフレーム番号から、広告”ＡＤ－ｅ２”の広告表示領域ａｄ－ａｒ６を共通領域ｃｏ－ａｒ３から一部がはみ出すように設定してもよい。コンテンツ提供者が、動画のオブジェクトｏｂ１３に広告が重なることを禁止した条件を設定した場合、システム制御部１４が、オブジェクトｏｂ１３を避けて、動画のオブジェクトｏｂ１２に被さるように、広告表示領域ａｄ－ａｒ６を設定してもよい。

　また、図２４Ａおよび図２４Ｂに示すように、画像フレーム５５における位置が比較的近くて対応する共通領域が変わっている場合、システム制御部１４が、共通領域の大きさの変化に応じて、広告表示領域ａｄ－ａｒ１４から広告表示領域ａｄ－ａｒ２４、および、広告表示領域ａｄ－ａｒ１７から広告表示領域ａｄ－ａｒ２７のように、広告表示領域の大きさを変えてもよい。例えば、システム制御部１４が、広告”ＡＤ－ｆ１”の大きさを、広告表示領域の大きさに合わせて変化させる。

　また、共通領域に対する広告の表示に関して、図２３Ｂおよび図２３Ｃに示すように、システム制御部１４が、広告表示条件に応じて、広告表示領域ａｄ－ａｒ３に表示する広告を広告”ＡＤ－ｃ１”から広告”ＡＤ－ｃ２”変えるように、制御情報を生成してもよい。また、図２３Ｂおよび図２３Ｃに示すように、システム制御部１４が、広告表示条件に応じて、広告表示領域ａｄ－ａｒ５から広告表示領域ａｄ－ａｒ６のように、広告の大きさ、形状を変えるように、制御情報を生成してもよい。

　なお、制御情報に、共通表示領域の輪郭等の座標情報の代わりに、共通領域の外縁または内部の一点の座標情報および共通領域の大きさの情報が含まれていてもよい。この場合、システム制御部１４が、共通領域の大きさに合わせて広告の大きさを変形させ、共通領域の一点を含む位置に、広告を表示させるように、制御情報を生成してもよい。

　なお、これらの制御情報に、広告表示条件に合う広告の広告データを含めてもよいし、含めなくてもよい。制御情報に、広告データを含めた場合、制御情報で設定された広告を、状況に応じたタイミングで、選択した共通領域の位置に柔軟に表示できる。この制御情報に、広告データを含めない場合、視聴ユーザ端末装置４０における動画の再生時に、視聴ユーザの操作情報や購入履歴等のユーザ情報等の状況に応じた様々な広告を、選択したオブジェクトの位置に柔軟に表示できる。

　これらのように、動画配信サーバ装置１０が、前記選択された付加コンテンツ表示領域に前記付加コンテンツを表示するための表示情報を生成する表示情報生成手段の一例として機能する。

　次に、動画配信サーバ装置１０は、生成された制御情報を動画ＩＤと対応付けて記憶する（ステップＳ２３）。具体的には、システム制御部１４が、表示される広告ＩＤと、広告を表示する画像フレームの各フレーム番号と、フレーム番号に対応した、広告を表示させる広告表示領域または共通領域の座標情報とを含む制御情報を、動画ＩＤと対応付けて、制御情報ＤＢ１２ｅに登録する。

　なお、図２５に示すように、システム制御部１４が、選択された共通領域の全体または一部（マスク領域ｍｓ１、ｍｓ２）を単一色に塗りつぶした画像フレーム５３から構成される動画を、マスクされた表示情報として、生成してもよい。システム制御部１４が、ステップＳ２２において、選択した共通領域に対応するように、広告を表示する位置に、このマスク領域を設定する。システム制御部１４が、マスク領域を同色に塗りつぶした各画像フレームから構成された表示情報を生成する。そして、システム制御部１４が、ステップＳ２２において、マスクされた表示情報を、動画ＩＤと対応付けて、動画ＤＢ１２ａ等に登録する。

　また、システム制御部１４が、共通領域の大きさや形状の変化に合わせて、マスク領域の大きさや形状を変化させてもよい。

　マスクされた表示情報は、マスクされた分、動画のデータ量が削減されている。特に、エンコード時に動画を、動画の符号化方式により圧縮した際の圧縮率が高くなる。

　マスクされた表示情報を使用する場合、ステップＳ２２において生成された制御情報と共に、マスクされた表示情報を視聴ユーザ端末装置４０に送信する。視聴ユーザ端末装置４０は、マスクされた表示情報を再生する時に、制御情報に基づき、マスク領域に広告を重畳して表示する。

　この制御情報に、広告データを含めた場合、制御情報で設定された広告を、状況に応じたタイミングで、マスク領域に柔軟に表示できる。この制御情報に、広告データを含めない場合、視聴ユーザ端末装置４０における動画の再生時に、視聴ユーザの操作情報や購入履歴等のユーザ情報等の状況に応じた様々な広告を、マスク領域に柔軟に表示できる。

　なお、システム制御部１４が、マスク領域に設定する色を、共通領域の色、共通領域の回りの背景色、付加する広告の色により、決定する。

　具体的には、システム制御部１４が、共通領域の画素の色の情報、共通領域の境界から外の所定の範囲の画素の色の情報、および、付加する広告の色の情報の少なくとも１つを取得する。マスク領域に設定する色として、例えば、システム制御部１４が、共通領域の画素の色に類似する色（例えば、ＲＧＢの各値の差が所定以内）、共通領域の境界から外の所定の範囲の画素の色に類似する色、または、付加する広告の色に類似する色等を設定する。または、マスク領域に設定する色として、例えば、システム制御部１４が、共通領域の画素の色と共通領域の境界から外の所定の範囲の画素の色との中間の色（例えば、共通領域のＲＧＢの値と、背景色のＲＧＢの値との間にあるＲＧＢの値）、共通領域の画素の色と広告の画素の色との中間色、共通領域の境界から外の所定の範囲の画素の色と広告の画素の色との中間色等を設定する。

　マスク領域に設定する色が、これら類似する色や中間色である場合、動画の符号化方式により動画を圧縮した際に、画像フレーム間での色の変化が少なくなり、動画の圧縮率が高くなる。

　また、図２３Ａから図２３Ｄ、図２４Ａおよび図２４Ｂに示すように、システム制御部１４が、予め広告が埋め込まれた動画データを表示情報として生成しておいてもよい。

　例えば、システム制御部１４が、広告を埋め込む領域（例えば、共通領域）を削除して、代わりに広告データを、画像フレーム毎に挿入しておいてもよい。この場合、制御情報が不要で、動画の情報を視聴ユーザ端末装置４０に送信する。

　また、視聴ユーザ端末装置４０への動画の配信時に、システム制御部１４が、上記マスクされた表示情報を、動画ＤＢ１２ａ等から読み出し、ユーザ情報等の情報等に応じて、広告を選択し、マスクされた表示情報のマスク領域に広告を埋め込み、新たな動画の情報である表示情報を生成してもよい。この場合、制御情報が不要で、動画の情報を視聴ユーザ端末装置４０に送信する。

　なお、マスクする共通領域を選択する際に、システム制御部１４が、ステップＳ２１において、画像フレーム間における共通領域の差分データ量が、所定の閾値より大きい場合の共通領域を選択してもよい。システム制御部１４が、所定の閾値を、共通領域の差分データ量により設定する。例えば、各共通領域がマスクされた画像フレームに置き換えた場合、システム制御部１４が、動画の符号化方式による動画の圧縮率を比較して、圧縮率が最も高く圧縮される共通領域から所定順位の共通領域までを、マスクをかける共通領域として選択する。

（３．５　動画配信処理の動作例）
　まず、動画配信サーバ装置１０における動画配信処理の動作例について図２６を用いて説明する。

　図２６は、一実施形態に係る動画配信サーバ装置のシステム制御部の動画配信処理の一例を示すフローチャートである。

　図２６に示すように、動画配信サーバ装置１０は、動画の視聴を希望する視聴ユーザ端末装置４０から視聴を希望する動画のコンテンツ条件を取得する（ステップＳ３０）。具体的には、システム制御部１４が、視聴ユーザ端末装置４０から、検索キーワード（映画のタイトル、俳優名、監督名等）、動画のカテゴリ等の動画コンテンツ条件の情報を取得する。

　次に、動画配信サーバ装置１０は、取得したコンテンツ条件を満たす動画を、動画ＤＢ１２ａから抽出する（ステップＳ３１）。具体的には、システム制御部１４が、動画ＤＢ１２ａを参照して、コンテンツ条件に基づき検索を行い、コンテンツ条件を満たす動画を抽出し、リスト化した検索結果の表示情報を生成する。

　次に、動画配信サーバ装置１０は、抽出した動画を視聴ユーザ端末装置４０に提示する（ステップＳ３２）。具体的には、システム制御部１４が、生成した検索結果の表示情報を、視聴ユーザ端末装置４０に送信する。

　次に、動画配信サーバ装置１０は、視聴ユーザ端末装置４０から動画の選択を取得する（ステップＳ３３）。検索結果の一覧から視聴ユーザにより選択された動画の動画ＩＤを、ユーザＩＤおよび動画表示要求と共に視聴ユーザ端末装置４０が、動画配信サーバ装置１０に送信する。システム制御部１４が、視聴ユーザ端末装置４０から、選択された動画の動画ＩＤを受信する。

　次に、動画配信サーバ装置１０は、動画と、動画に対応する制御情報と、を視聴ユーザ端末装置４０に提供する（ステップＳ３４）。具体的には、システム制御部１４が、受信した動画ＩＤに基づき、動画ＤＢ１２ａを検索して、受信した動画ＩＤに対応する動画データを取得する。また、システム制御部１４が、受信した動画ＩＤに基づき、制御情報ＤＢ１２ｅを検索して、受信した動画ＩＤに対応する制御情報を取得する。

　システム制御部１４が、動画ＩＤの動画の情報および制御情報を視聴ユーザ端末装置４０に送信する。

　なお、動画配信サーバ装置１０は、動画ＩＤの動画の全体のデータ、および、この動画のデータに対応した制御情報を、視聴ユーザ端末装置４０にまとめて送信してもよいし、動画のチャプター毎に送信してもよいし、ストリーミング方式で、動画ＩＤの動画のデータの一部および動画のデータに対応した制御情報を、視聴ユーザ端末装置４０に送信してもよい。

（３．６　制御情報変更処理の動作例）
　次に、動画配信サーバ装置１０における制御情報変更処理の動作例について図２７および図２８を用いて説明する。

　図２７は、一実施形態に係る動画配信サーバ装置のシステム制御部の制御情報変更処理の一例を示すフローチャートである。図２８は、動画データにおけるスキップまたは巻き戻しの一例を示す模式図である。

　図２７に示すように、動画配信サーバ装置１０は、視聴ユーザ端末装置４０から操作情報を取得する（ステップＳ４０）。具体的には、視聴ユーザ端末装置４０の表示部４３に再生されている動画に対する操作情報（例えば、スキップを開始した画像フレームのフレームＩＤおよびスキップが終了した画像フレームのフレームＩＤ、または、巻き戻しを開始した画像フレームのフレームＩＤおよび巻き戻しが終了した画像フレームのフレームＩＤ等）の情報を、システム制御部１４が、視聴ユーザ端末装置４０から取得する。

　図２８に示すように、フレーム番号”000,015”からスキップを開始し、フレーム番号”000,135”でスキップを終了した場合、視聴ユーザ端末装置４０は、スキップ開始のフレーム番号”000,015”および、スキップ終了のフレーム番号”000,135”の情報を、操作情報として、ユーザＩＤと共に、動画配信サーバ装置１０に送信する。

　図２８に示すように、フレーム番号”000,360”から巻き戻しを開始し、フレーム番号”000,165”で巻き戻しを終了した場合、視聴ユーザ端末装置４０は、巻き戻し開始のフレーム番号”000,360”および、巻き戻し終了のフレーム番号”000,165”の情報を、操作情報として、ユーザＩＤと共に、動画配信サーバ装置１０に送信する。

　次に、動画配信サーバ装置１０は、操作情報と、操作情報に対応する画像フレームにおける表示候補領域の情報と、表示候補領域ＩＤと、に基づいた表示候補領域の情報を算出する（ステップＳ４１）。スキップした場合は、システム制御部１４が、ステップＳ２０のように、スキップした箇所のフレーム番号の画像フレームを除外した画像フレームにおいて、各フレーム・表示候補領域情報と、オブジェクトＩＤと、に基づいて、表示候補領域毎の表示候補領域の情報を再集計する。

　巻き戻した場合は、システム制御部１４が、ステップＳ２０のように、巻き戻した箇所のフレーム番号の画像フレームを重複した画像フレームにおいて、各フレーム・表示候補領域情報と、表示候補領域ＩＤと、に基づいて、表示候補領域毎の表示候補領域の情報を再集計する。すなわち、システム制御部１４が、巻き戻した箇所のフレーム番号の画像フレームに存在する表示候補領域のフレーム・表示候補領域情報を、余分に集計する。

　このように、新たに集計した表示候補領域情報は、集計表示候補領域情報ＤＢ１２ｄに記録されてもよい。

　次に、動画配信サーバ装置１０は、新たに集計した表示候補領域情報と、表示する広告の広告主が設定した広告表示条件と、基づいて、広告を表示する表示候補領域を選択する（ステップＳ４２）。具体的には、システム制御部１４が、ステップＳ２１のように、集計表示候補領域情報ＤＢ１２ｄを参照して、広告表示条件に合う集積した表示候補領域情報を検索し、広告を表示する共通領域を広告表示領域として選択する。

　次に、動画配信サーバ装置１０は、選択した表示候補領域に対応するように、広告を表示するための制御情報を生成する（ステップＳ４３）。具体的には、システム制御部１４が、ステップＳ２２のように、集計表示候補領域情報ＤＢ１２ｄを参照して、選択した共通領域の共通領域ＩＤに基づき、広告表示条件に合っている広告を表示する各フレームＩＤと、これらの画像フレームにおける共通領域の座標情報を取得して、各フレームＩＤと、これらのフレームＩＤに対応する座標情報を含む制御情報を生成する。なお、この制御情報は、上述した、表示情報を含む様々な制御情報の変形例でもよい。

　次に、動画配信サーバ装置１０は、制御情報を視聴ユーザ端末装置４０に提供する（ステップＳ４４）。具体的には、システム制御部１４が、ステップＳ３４のように、新たに生成された制御情報を視聴ユーザ端末装置４０に送信する。なお、以前の制御情報と比較して、新たに生成された制御情報の場合の方が、広告の出現数が減少して、広告表示条件等を満たさなくなる場合、システム制御部１４は、新たに生成された制御情報を視聴ユーザ端末装置４０に送信しなくてもよい。

　なお、図２３Ａに示すように、広告”ＡＤ－ａ１”の削除ボタンｂｔがクリックされた場合、視聴ユーザ端末装置４０は、広告”ＡＤ－ａ１”の広告ＩＤおよび削除要求を、操作情報として、ユーザＩＤと共に、動画配信サーバ装置１０に送信してもよい。また、広告”ＡＤ－ａ１”等の広告がクリックされた場合、視聴ユーザ端末装置４０は、広告”ＡＤ－ａ１”の広告ＩＤおよび広告選択された旨の情報を、操作情報として、ユーザＩＤと共に、動画配信サーバ装置１０に送信してもよい。そして、ステップＳ４０のように、システム制御部１４が、視聴ユーザ端末装置４０から操作情報を取得する。

　システム制御部１４が、広告の削除の操作情報を受信した場合、広告ＩＤに対応する広告を削除した制御情報を含む表示情報を生成したり、広告ＩＤに対応する広告の表示回数や表示面積を減少した制御情報を含む表示情報を生成したりして、表示情報の更新を行う。

　システム制御部１４が、広告選択された旨の操作情報を受信した場合、広告ＩＤに対応するリンク先のＷｅｂページを別のウィンドウに開く制御情報を生成したり、広告ＩＤに対応する広告を削除した制御情報を含む表示情報を生成したり、広告ＩＤに対応する広告の表示回数や表示面積を減少した制御情報を含む表示情報を生成したりして、表示情報の更新を行う。

　なお、視聴ユーザ端末装置４０から操作情報として、視聴ユーザ端末装置４０の表示部４３に再生されている動画の表示サイズの変更操作の情報でもよい。そして、動画配信サーバ装置１０が、この動画の表示サイズの変更操作に応じて広告を更新してもよい。

　動画の表示サイズの変更操作が、表示ウィンドウを縮小する操作の場合、動画の表示サイズの縮小に連れて、各表示候補領域（または共通領域）の表示面積が小さくなる。各表示候補領域の表示面積が小さくなると、広告表示条件を満たさなくなることがあるので、動画配信サーバ装置１０は、新たな広告に置き換える処理、または、広告を消去する処理を行う。

　一方、動画の表示サイズの変更操作が、表示ウィンドウを拡大する操作の場合、動画の表示サイズの拡大に連れて、各表示候補領域の表示面積が大きくなる。各表示候補領域の表示面積が大きくなると、現在表示されている広告よりも広告表示条件を満足する度合いが高い広告がある可能性があるので、動画配信サーバ装置１０は、現在広告よりも広告表示条件を満足する度合いが高い広告があれば、それの広告に置き換える処理を行う。

　動画配信サーバ装置１０は、ステップＳ４０で、これらのような動画の表示サイズの縮小または拡大の操作情報と、操作された画像フレームのフレームＩＤとを、視聴ユーザ端末装置４０から取得する。

　動画配信サーバ装置１０は、ステップＳ４１で、操作された画像フレーム以降における表示候補領域の情報を算出する。この表示候補領域の情報には、表示サイズの縮小または拡大に伴う表示候補領域の面積の情報が含まれる。

　動画配信サーバ装置１０は、ステップＳ４２で、新たに算出した表示候補領域の情報と、表示する広告の広告主が設定した広告表示条件と、基づいて、広告を表示する表示候補領域を選択する。なお、広告表示条件を満たす広告がない場合、表示候補領域から広告が削除されてもよい。また、動画の表示サイズの変更に伴い、現在表示されている広告が、広告表示条件を満たす別の表示候補領域に表示されるように変更されてもよい。

　動画配信サーバ装置１０は、ステップＳ４３で、広告表示条件を満たした別の広告がある場合、この広告を表示するための制御情報を生成する。

　動画配信サーバ装置１０は、ステップＳ４４で、広告表示条件を満たした別の広告がある場合、この別の広告が表示される制御情報を視聴ユーザ端末装置４０に提供する。

　以上、本実施形態によれば、付加コンテンツを表示するための付加コンテンツ表示領域の一例である広告表示領域（ａｄ－ａｒ１、ａｄ－ａｒ２、・・・）の候補となる表示候補領域ｃｎｄ－ａｒが、オブジェクト表示領域（ａｒ１、ａｒ２、・・・）に含まれない領域から特定され、特定された表示候補領域に関する情報と広告表示条件とに基づき、表示候補領域ｃｎｄ－ａｒから選択された広告表示領域にコンテンツを表示するための表示情報が生成されるので、コンテンツのオブジェクト（ｏｂ１、ｏｂ２、・・・）に、広告のコンテンツ等の他の画像が重ならず、広告表示領域を、視聴ユーザによる視聴を妨げとならない領域として生成できる。また、広告表示領域の位置、形状、大きさ等に合わせて、広告表示条件に合うように、柔軟に広告を表示させることができる。

　また、表示候補領域に関する情報が、複数の前記画像フレーム５０において共通する表示候補領域ｃｎｄ－ａｒの共通領域（ｃｏ－ａｒ１、ｃｏ－ａｒ２、ｃｏ－ａｒ３）の大きさの情報を含み、共通領域の大きさに応じて、共通領域（ｃｏ－ａｒ１、ｃｏ－ａｒ２、ｃｏ－ａｒ３）から、広告表示領域（ａｄ－ａｒ１、ａｄ－ａｒ２、・・・）を選択する場合、各画像フレームにおいてオブジェクト（ｏｂ１、ｏｂ２、・・・）に重ならない領域で、各画像フレームにおける固定した位置に、共通領域（ｃｏ－ａｒ１、ｃｏ－ａｒ２、ｃｏ－ａｒ３）の大きさに合った広告を安定して表示できる。

　表示候補領域に関する情報が、複数の画像フレーム５０において共通する表示候補領域ｃｎｄ－ａｒの共通領域（ｃｏ－ａｒ１、ｃｏ－ａｒ２、ｃｏ－ａｒ３）が動画において空間および時間の少なくとも一方の積算で表示される積算表示量を含み、積算表示量に応じて、共通領域（ｃｏ－ａｒ１、ｃｏ－ａｒ２、ｃｏ－ａｒ３）から、広告表示領域（ａｄ－ａｒ１、ａｄ－ａｒ２、・・・）を選択する場合、各画像フレームにおいてオブジェクト（ｏｂ１、ｏｂ２、・・・）に重ならない領域で、各画像フレームにおける固定した位置に、共通領域の積算表示量に合った広告を安定して表示できる。

　表示候補領域に関する情報が、複数の画像フレーム５０において共通する表示候補領域ｃｎｄ－ａｒの共通領域（ｃｏ－ａｒ１、ｃｏ－ａｒ２、ｃｏ－ａｒ３）であって、画像フレーム５０の隣接するフレーム間における共通領域（ｃｏ－ａｒ１、ｃｏ－ａｒ２、ｃｏ－ａｒ３）の画像の差分データ量を含み、共通領域（ｃｏ－ａｒ１、ｃｏ－ａｒ２、ｃｏ－ａｒ３）の画像の差分データ量により設定される閾値より、差分データ量が大きい共通領域（ｃｏ－ａｒ１、ｃｏ－ａｒ２、ｃｏ－ａｒ３）を、広告表示領域として選択する場合、差分データ量が大きい共通領域（ｃｏ－ａｒ１、ｃｏ－ａｒ２、ｃｏ－ａｒ３）が、画像フレーム毎の色等の変化が少ない広告と入れ替わることにより、動画の符号化方式による動画を圧縮した際のデータ量を削減することができる。

　表示候補領域に関する情報が、複数の画像フレーム５０において共通する表示候補領域ｃｎｄ－ａｒの共通領域（ｃｏ－ａｒ１、ｃｏ－ａｒ２、ｃｏ－ａｒ３）の形状の情報を含み、広告表示条件が、広告の形状の情報を含み、広告の形状に適合するように、共通領域（ｃｏ－ａｒ１、ｃｏ－ａｒ２、ｃｏ－ａｒ３）の形状の情報に応じて選択される共通領域（ｃｏ－ａｒ１、ｃｏ－ａｒ２、ｃｏ－ａｒ３）を、広告表示領域として選択する場合、広告の形状を変形することなく、共通領域（ｃｏ－ａｒ１、ｃｏ－ａｒ２、ｃｏ－ａｒ３）の形状に合うように、広告を表示できるので、広告の形状を変形する処理を省くことができる。

　表示情報が、選択された広告表示領域の少なくとも一部を単一の色でマスクした動画を含む場合、単一の色でマスクされるため、動画を圧縮した際のデータ量を削減できる。

　オブジェクト表示領域ａｒ１、ａｒ２、・・・）に含まれない領域の中から、広告表示条件に基づいた形状に適合する表示候補領域ｃｎｄ－ａｒを特定する場合、広告表示領域（ａｄ－ａｒ１、ａｄ－ａｒ２、・・・）を選択する前に、表示候補領域ｃｎｄ－ａｒが広告表示条件に基づいた形状（例えば、矩形等）に適合するように限定されているので、矩形に楕円形等の表示候補領域を組み合わせたときの表示候補領域ｃｎｄ－ａｒの数が増加しなく、処理を軽減できる。

　次に、一部がマスクされた画像フレームの変形例について図２９および図３０を用いて説明する。

　図２９および図３０は、画像フレームの一部をマスクするマスクの変形例を示す模式図である。

　システム制御部１４が、図２９に示すように、広告表示領域ａｄ－ａｒと広告ａｄとから、領域内の画素毎の中間色から構成されるマスク画像ｍｓを生成してもよい。図３０に示すように、例えば、システム制御部１４が、共通領域ｃｏ－ａｒ内の広告表示領域ａｄ－ａｒに対して、所定のフレーム番号に、共通領域ｃｏ－ａｒの一部の領域にマスク画像ｍｓを埋め込んだ画像フレームを作成する。共通領域ｃｏ－ａｒの一部の領域に広告ａｄを埋め込んだ画像フレームの前に、マスク画像ｍｓを埋め込んだ画像フレームが表示されることにより、共通領域ｃｏ－ａｒの一部の領域に対して、画像情報の変化が軽減する。

　選択された共通領域ｃｏ－ａｒのオブジェクト情報に従った領域内の画素の色と、当該領域に付加する広告ａｄの画素の色に基づき、当該領域をマスクする色が画素毎に決定され、表示情報が、領域を当該画素毎に決定された色でマスクした動画を含む場合、例えば、対応する画素毎の中間色で領域をマスクできるので、広告を表示させた画像フレーム前と、広告を表示させた後の画像フレームと、の間の画像フレームの一部を画素毎の中間色でマスクするので、動画を圧縮した際のデータ量を削減できる。

　なお、コンテンツ提供者が提供する動画に出現するオブジェクトに関して、オブジェクトに付加コンテンツの表示の許可または禁止の情報に基づき、システム制御部１４が、ステップＳ２１において、共通領域を選択してもよい。この場合、コンテンツ提供者の表示条件に満たすように、表示情報を生成できる。

　さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。

１：情報処理システム
１０：動画配信サーバ装置
１２：記憶部
１２ａ：動画ＤＢ（動画記憶手段）
１２ｂ：広告ＤＢ
１２ｃ：フレーム・表示候補領域情報ＤＢ
１２ｄ：集計表示候補領域情報ＤＢ
１２ｅ：制御情報ＤＢ
１４：システム制御部
２０：コンテンツ提供装置
３０：広告提供装置
４０：視聴ユーザ端末装置
５０：画像フレーム

Claims

　動画を記憶する動画記憶手段から取得した前記動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレームを取得する画像フレーム取得手段と、
　前記取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトのオブジェクト表示領域を、前記画像フレーム毎に特定し、当該オブジェクト表示領域に含まれない領域の中から、前記動画に付加する付加コンテンツを表示するための付加コンテンツ表示領域の候補となる表示候補領域を少なくとも１つ特定する表示候補領域特定手段と、
　前記特定された表示候補領域に関する情報と前記付加コンテンツを表示するための付加コンテンツ表示条件とに基づき、前記特定された表示候補領域から前記付加コンテンツ表示領域を選択する付加コンテンツ表示領域選択手段と、
　前記選択された付加コンテンツ表示領域に前記付加コンテンツを表示するための表示情報を生成する表示情報生成手段と、
　を備えたことを特徴とする情報処理装置。
　請求項１に記載の情報処理装置おいて、
　前記表示候補領域に関する情報が、複数の前記画像フレームにおいて共通する前記表示候補領域の共通領域の大きさの情報を含み、
　前記付加コンテンツ表示領域選択手段が、前記共通領域の大きさに応じて、前記共通領域から、前記付加コンテンツ表示領域を選択することを特徴とする情報処理装置。
　請求項１または請求項２に記載の情報処理装置おいて、
　前記表示候補領域に関する情報が、複数の前記画像フレームにおいて共通する前記表示候補領域の共通領域が前記動画において空間および時間の少なくとも一方の積算で表示される積算表示量を含み、
　前記付加コンテンツ表示領域選択手段が、前記積算表示量に応じて、前記共通領域から、前記付加コンテンツ表示領域を選択することを特徴とする情報処理装置。
　請求項１から請求項３のいずれか１項に記載の情報処理装置おいて、
　前記表示候補領域に関する情報が、複数の前記画像フレームにおいて共通する前記表示候補領域の共通領域であって、前記画像フレームの隣接するフレーム間における前記共通領域の画像の差分データ量を含み、
　前記付加コンテンツ表示領域選択手段が、前記共通領域の画像の差分データ量により設定される閾値より、前記差分データ量が大きい共通領域を、前記付加コンテンツ表示領域として選択することを特徴とする情報処理装置。
　請求項１から請求項４のいずれか１項に記載の情報処理装置おいて、
　前記表示候補領域に関する情報が、複数の前記画像フレームにおいて共通する前記表示候補領域の共通領域の形状の情報を含み、
　前記付加コンテンツ表示条件が、前記付加コンテンツの形状の情報を含み、
　前記付加コンテンツ表示領域選択手段が、前記付加コンテンツの形状に適合するように、前記共通領域の形状の情報に応じて選択される前記共通領域を、前記付加コンテンツ表示領域として選択することを特徴とする情報処理装置。
　請求項１から請求項５のいずれか１項に記載の情報処理装置おいて、
　前記表示情報が、前記選択された前記付加コンテンツ表示領域の少なくとも一部を単一の色でマスクした動画を含むことを特徴とする情報処理装置。
　請求項１から請求項６のいずれか１項に記載の情報処理装置おいて、
　前記付加コンテンツ表示領域の前記付加コンテンツを表示する領域の画素の色と、当該領域に付加する付加コンテンツの画素の色に基づき、当該領域をマスクする色が画素毎に決定され、
　前記表示情報が、前記領域を当該画素毎に決定された色でマスクした動画を含むことを特徴とする情報処理装置。
　請求項１から請求項７のいずれか１項に記載の情報処理装置おいて、
　前記表示候補領域特定手段が、前記オブジェクト表示領域に含まれない領域の中から、前記付加コンテンツ表示条件に基づいた形状に適合する前記表示候補領域を特定することを特徴とする情報処理装置。
　画像フレーム取得手段が、動画を記憶する動画記憶手段から取得した前記動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレームを取得する画像フレーム取得ステップと、
　表示候補領域特定手段が、前記取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトのオブジェクト表示領域を、前記画像フレーム毎に特定し、当該オブジェクト表示領域に含まれない領域の中から、前記動画に付加する付加コンテンツを表示するための付加コンテンツ表示領域の候補となる表示候補領域を少なくとも１つ特定する表示候補領域特定ステップと、
　付加コンテンツ表示領域選択手段が、前記特定された表示候補領域に関する情報と前記付加コンテンツを表示するための付加コンテンツ表示条件とに基づき、前記特定された表示候補領域から前記付加コンテンツ表示領域を選択する付加コンテンツ表示領域選択ステップと、
　表示情報生成手段が、前記選択された付加コンテンツ表示領域に前記付加コンテンツを表示するための表示情報を生成する表示情報生成ステップと、
　を含むことを特徴とする情報処理方法。
　コンピュータを、
　動画を記憶する動画記憶手段から取得した前記動画に含まれる画像フレームのうち、少なくとも一部の複数の画像フレームを取得する画像フレーム取得手段、
　前記取得した画像フレーム毎に当該画像フレーム内に表示されているオブジェクトのオブジェクト表示領域を、前記画像フレーム毎に特定し、当該オブジェクト表示領域に含まれない領域の中から、前記動画に付加する付加コンテンツを表示するための付加コンテンツ表示領域の候補となる表示候補領域を少なくとも１つ特定する表示候補領域特定手段、
　前記特定された表示候補領域に関する情報と前記付加コンテンツを表示するための付加コンテンツ表示条件とに基づき、前記特定された表示候補領域から前記付加コンテンツ表示領域を選択する付加コンテンツ表示領域選択手段、および、
　前記選択された付加コンテンツ表示領域に前記付加コンテンツを表示するための表示情報を生成する表示情報生成手段として機能させることを特徴とする情報処理装置用のプログラム。