JP5861684B2 - 情報処理装置、及びプログラム - Google Patents

Description

本発明は、動画が表示される表示画面に広告を表示させる装置等の技術分野に関する。

従来、情報表示装置が、広告配信装置からネットワークを介して配信された広告情報及びシナリオ情報を受信し、シナリオ情報に基づいて、仮想３次元空間上に広告画面を表示する技術が知られている（特許文献１参照）。このシナリオ情報は、どの広告情報がどの形状の広告画面に貼り付けられ、この広告画面がどのような動きをし、これらの広告画面が表示される仮想３次元空間がどのようなものかを定義する。これにより、利用者の能動的な働きかけを必要とせずに高い訴求効果を発揮することが可能になっている。

特開２００４−１７８０８６号公報

ところで、例えばパノラマ動画などの動画において真にユーザが興味を持っている表示対象は、一画面内で時間経過とともに移動する場合がある。しかし、特許文献１の技術では、真にユーザが興味を持っている表示対象が時間経過とともに移動する場合にも、シナリオ情報に基づく同じ広告が表示される。そのため、動画において真にユーザが興味を持っている表示対象に対して、広告を関連付けて表示させることは困難である。

本発明は、以上の点に鑑みてなされたものである。真にユーザが興味を持っている表示対象に対して、広告を関連付けて表示させることが可能な情報処理装置、及びプログラムを提供する。

上記課題を解決するために、請求項１に記載の発明は、複数の画素から構成される画像フレームであって、複数の前記画像フレームをから構成される動画において、前記複数の画素の中で特定された１画素以上の第１特定画素領域と、前記複数の画像フレームの中で前記第１特定画素領域が特定された特定の第１特定画像フレームが出力される第１再生時間であって、所定の第１時間範囲を示す前記第１再生時間とに、広告コンテンツの広告識別情報を対応付けて記憶する第１記憶手段と、前記動画の再生中に前記複数の画素の中で、端末装置の表示手段により表示された１画素以上の第２特定画素領域と、前記複数の画像フレームの中で前記第２特定画素領域が特定された特定の第２特定画像フレームが出力される第２再生時間であって、所定の第２時間範囲を示す前記第２再生時間とを対応付けて記憶する第２記憶手段と、前記第２再生時間に対応付けられた前記第２特定画素領域を基準とした所定範囲内に、前記第２再生時間に対応する前記第１再生時間に対応付けられた前記第１特定画素領域が所定時間以上継続して含まれるかを、前記第１再生時間と前記第２再生時間とに基づいて判定する判定手段と、前記判定手段により前記所定時間以上継続して含まれると判定された場合、前記第１特定画素領域に対応付けられた前記広告識別情報に対応する広告コンテンツを前記動画と共に表示する表示対象として決定する決定手段と、を備えることを特徴とする。

請求項２に記載の発明は、請求項１に記載の情報処理装置において、前記決定手段は、前記所定時間以上継続して含まれると判定された複数の前記第１特定画素領域それぞれに異なる前記広告識別情報が対応付けられている場合、複数の前記広告識別情報の中で、それぞれの前記広告識別情報が対応付けられた前記第１特定画素領域と前記所定範囲内の所定座標との距離が最も短い前記広告識別情報に対応する広告コンテンツを前記表示対象として決定することを特徴とする。

請求項３に記載の発明は、請求項１に記載の情報処理装置において、前記第１記憶手段は、前記第２再生時間に、前記第２特定画素領域の表示倍率を対応付けてさらに記憶し、前記決定手段は、それぞれの前記第２特定画素領域の表示倍率に応じた値を、それぞれの前記第１特定画素領域と前記所定範囲内の所定座標との距離に乗算し、前記値が乗算された距離が最も小さい前記広告識別情報に対応する広告コンテンツを前記表示対象として決定することを特徴とする。

請求項４に記載の発明は、複数の画素から構成される画像フレームであって、複数の前記画像フレームから構成される動画において、前記複数の画素の中で特定された１画素以上の第１特定画素領域と、前記複数の画像フレームの中で前記第１特定画素領域が特定された特定の第１特定画像フレームが出力される第１再生時間であって、所定の第１時間範囲を示す前記第１再生時間とに、広告コンテンツの広告識別情報を対応付けて取得するステップと、前記動画の再生中に前記複数の画素の中で、端末装置の表示手段により表示された１画素以上の第２特定画素領域と、前記複数の画像フレームの中で前記第２特定画素領域が特定された特定の第２特定画像フレームが出力される第２再生時間であって、所定の第２時間範囲を示す前記第２再生時間とを対応付けて取得するステップと、前記第２再生時間に対応付けられた前記第２特定画素領域を基準とした所定範囲内に、前記第２再生時間に対応する前記第１再生時間に対応付けられた前記第１特定画素領域が所定時間以上継続して含まれるかを、前記第１再生時間と前記第２再生時間とに基づいて判定するステップと、前記所定時間以上継続して含まれると判定された場合、前記第１特定画素領域に対応付けられた前記広告識別情報に対応する広告コンテンツを前記動画と共に表示する表示対象として決定するステップと、をコンピュータに実行させることを特徴とするプログラムである。

請求項１、４に記載の発明によれば、真にユーザが興味を持っている表示対象に対して、広告を関連付けて表示させることができる。

請求項２に記載の発明によれば、表示対象となる広告コンテンツの候補が複数あっても、ユーザが、より興味を持っている表示対象に対応する広告コンテンツを決定することができる。

請求項３に記載の発明によれば、第２特定画素領域の表示倍率に応じて第２特定画素領域を基準とした所定範囲が変動する場合であっても、広告識別情報ごとの距離を適切に比較することができる。

本実施形態の通信システムＳの概要構成例を示す図である。 （Ａ）〜（Ｃ）は、動画を構成する複数の画像フレームにおける広告設定画素領域を示す図である。（Ｄ）は、（Ａ）〜（Ｃ）に示す広告設定画素領域R1-1〜R1-3に対応する広告設定データＤ１の一例を示す図である。（Ｅ）は、（Ａ）〜（Ｃ）に示す広告設定画素領域R2-1〜R2-3に対応する広告設定データＤ２の一例を示す図である。 クライアント端末２の制御部２１またはＣＰＵにより実行されるメイン処理の一例を示すフローチャートである。 広告サーバ３の制御部３１またはＣＰＵにより実行されるメイン処理の一例を示すフローチャートである。 （Ａ）は、表示画素領域を基準とした所定範囲Ｒ内に広告設定画素領域の中心座標が所定時間である２５秒以上継続して含まれる場合の例を示す図である。（Ｂ）は、表示画素領域を基準とした所定範囲Ｒ内に広告設定画素領域の中心座標が所定時間以上継続して含まれない場合の例を示す図である。 （Ａ）〜（Ｃ）は、広告設定画素領域内の中心座標と、表示画素領域を基準とした所定範囲内の中心座標との位置関係を示す図である。（Ｄ）は、広告設定画素領域内の中心座標と、表示画素領域を基準とした所定範囲内の中心座標との間の距離の一覧を示す図である。

以下、本発明の一実施形態を図面に基づいて説明する。

［１．通信システムの構成及び動作概要］
始めに、図１を参照して、本発明の一実施形態の通信システムＳの構成及び動作概要について説明する。図１は、本実施形態の通信システムＳの概要構成例を示す図である。図１に示すように、通信システムＳは、配信サーバ１、クライアント端末２、広告サーバ３、及び管理者端末４を含んで構成される。クライアント端末２は、本発明の端末装置の一例である。広告サーバ３は、本発明の情報処理装置の一例である。配信サーバ１、クライアント端末２、広告サーバ３、及び管理者端末４は、ネットワークＮＷに接続される。ネットワークＮＷは、例えば、インターネット等により構成される。

配信サーバ１は、例えばクライアント端末２からのコンテンツ要求に応じて、コンテンツをクライアント端末２へ送信する。コンテンツには、動画データが含まれる。なお、コンテンツは、音声データを含んでもよい。コンテンツの送信は、例えば、ネットワークＮＷを介してストリーミング配信により行われる。クライアント端末２は、配信サーバ１からストリーミングで配信されたコンテンツを受信する。クライアント端末２は、受信されたコンテンツに含まれる動画データを再生する。そして、クライアント端末２は、複数の画素から構成される画像フレームであって、複数の画像フレームから構成される動画を表示手段に表示させる。このとき、ユーザは、疑似的なカメラワーク（以下、「疑似カメラワーク」という）の操作を行うことができる。疑似カメラワークにより、二次元平面または三次元仮想空間における仮想カメラの位置または仮想カメラの向きと、画角（視野範囲）とが制御される。これにより、動画の再生中に画像フレームを構成する複数の画素の中で、クライアント端末２の表示手段により表示された１画素以上の画素領域が特定される。ここで、この画素領域を、以下、「表示画素領域」という。表示画素領域は、第２特定画素領域の一例である。また、表示画素領域は、動画を構成する画像フレームにおける表示範囲である。表示画素領域は、１画像フレームのうち表示画面に描画される描画領域に相当する。言い換えれば、表示範囲は、画像フレームから切り出される範囲である。なお、三次元仮想空間は、例えば、コンピュータを用いて表示可能な仮想的な三次元空間を示す。仮想カメラとは、二次元平面または三次元仮想空間における仮想スクリーンに投影される動画に対して仮想的に設定された視点をいう。仮想スクリーンには、平面スクリーン、円筒形のスクリーン、及び球形のスクリーンがある。例えば、動画を撮影したカメラのレンズが魚眼レンズや３６０度レンズである場合、仮想スクリーンは球形のスクリーンとなる。クライアント端末２は、ユーザの疑似カメラワークの操作により特定された表示画素領域を表示画面に表示させる。

また、クライアント端末２は、ユーザの疑似カメラワークの操作中に、カメラワークデータを作成する。このカメラワークデータには、クライアント端末２において動画の再生中に疑似カメラワークの操作により表示された表示画素領域と、複数の画像フレームの中で表示画素領域が特定された特定の画像フレームが出力される再生時間とが対応付けられて含まれている。ここで、表示画素領域が特定された特定の画像フレームは、第２特定画像フレームの一例である。また、第２特定画像フレームが出力される再生時間を、以下、「第２再生時間」という。第２再生時間は、表示画素領域に対応付けられた再生時間である。また、第２再生時間は、動画の再生開始からの経過時間であり、所定の第２時間範囲を示す。カメラワークデータには、第２再生時間に、この表示画素領域の表示倍率が対応付けられて含まれてもよい。表示画素領域の表示倍率は、第２表示倍率の一例である。カメラワークデータにより、動画を構成する画像フレームにおける表示画素領域が特定される。なお、１つのカメラワークデータは、例えば、動画の再生開始からの再生終了までの時間範囲に対応するとは限らない。つまり、１つのカメラワークデータは、動画の再生時間における一部の時間範囲に対応する場合もある。例えば、複数の画像フレームにおいて表示画素領域に変更がない時間範囲ごとにカメラワークデータが作成される。そして、クライアント端末２は、作成したカメラワークデータを広告サーバ３へ送信する。

広告サーバ３は、クライアント端末２から送信されたカメラワークデータを取得する。広告サーバ３は、クライアント端末２から取得したカメラワークデータを記憶する第２記憶手段を備える。また、広告サーバ３は、動画を構成する画像フレームにおける特定の画素領域に広告ＩＤが対応付けられる広告設定データを記憶する第１記憶手段を備える。この広告設定データには、動画を構成する複数の画像フレームにおいて複数の画素の中で特定された１画素以上の画素領域と、複数の画像フレームの中で上記画素領域が特定された特定の画像フレームが出力される再生時間と、広告コンテンツの広告ＩＤとが対応付けられて含まれる。広告設定データは、例えば管理者端末４により作成される。この場合、管理者端末４は、配信サーバ１から動画データを取得する。そして、管理者端末４は、取得した動画データを再生し、動画を表示手段に表示させる。このとき、例えば広告の管理者は、画像フレームにおける特定の画素領域に広告ＩＤを対応付ける広告設定操作を行うことができる。これにより、動画を構成する複数の画像フレームにおいて複数の画素の中で、広告ＩＤが対応付けられる１画素以上の画素領域が特定される。ここで、この画素領域を、以下、「広告設定画素領域」という。広告設定画素領域は、第１特定画素領域の一例である。広告設定画素領域が特定された特定の画像フレームは、第１特定画像フレームの一例である。また、第１特定画像フレームが出力される再生時間を、以下、「第１再生時間」という。第１再生時間は、広告設定画素領域に対応付けられた再生時間である。また、第１再生時間は、動画の再生開始からの経過時間であり、所定の第１時間範囲を示す。また、広告ＩＤは、広告コンテンツを識別する広告識別情報の一例である。なお、広告設定データには、第１再生時間に、この広告設定画素領域の表示倍率が対応付けられて含まれてもよい。なお、広告設定データは、管理者端末４以外の装置により作成されてもよい。

そして、広告サーバ３は、カメラワークデータに含まれる第２再生時間に対応付けられた表示画素領域を基準とした所定範囲内に、この第２再生時間に対応する第１再生時間に対応付けられた広告設定画素領域が所定時間以上継続して含まれるかを、第１再生時間と第２再生時間とに基づいて判定する。広告サーバ３は、所定時間以上継続して含まれると判定した場合、広告設定画素領域に対応付けられた広告ＩＤに対応する広告コンテンツを動画と共に表示する表示対象として決定する。なお、表示画素領域を基準とした所定範囲内に、広告設定画素領域が継続して含まれる時間を、以下、「継続時間」という。広告サーバ３は、決定した広告コンテンツをクライアント端末２へ送信する。これにより、真にユーザが興味を持っている表示対象に対して、広告を関連付けてクライアント端末２に表示させることができる。そして、クライアント端末２は、広告サーバ３から送信された広告コンテンツを受信する。こうして、クライアント端末２は、受信した広告コンテンツを、例えば、再生中の動画と共に表示手段に表示させる。なお、広告サーバ３は、広告コンテンツを送信する代わりに、広告コンテンツの所在を示すＵＲＬ（Uniform Resource Locator）をクライアント端末２へ送信してもよい。この場合、クライアント端末２は、広告サーバ３から送信されたＵＲＬを受信する。そして、クライアント端末２は、受信したＵＲＬにアクセスして所定のサーバから広告コンテンツを取得して表示手段に表示させる。

次に、配信サーバ１、クライアント端末２、及び広告サーバ３の構成例について説明する。

配信サーバ１は、図１に示すように、制御部１１、記憶部１２、及びインターフェース部１３等を備えて構成される。これらの構成要素は、バス１４に接続されている。制御部１１は、ＣＰＵ、ＲＯＭ、及びＲＡＭ等により構成される。記憶部１２は、例えばハードディスクドライブにより構成される。記憶部１２には、ＯＳ、及びコンテンツ配信処理プログラム等が記憶されている。記憶部１２には、クライアント端末２からの要求に応じて、クライアント端末２へ送信されるＷｅｂページのデータが記憶される。さらに、記憶部１２には、動画データが記憶される。動画データには、動画ＩＤが付与される。動画ＩＤは、動画を識別する識別情報である。記憶部１２には、音声データが記憶されてもよい。動画データは、動画を構成する画像フレーム内で、表示手段により表示される表示範囲が、動画の再生時間に応じて変化可能である。動画には、例えば、カメラにより撮影された動画や編集により生成された動画等が含まれる。このような動画の一例として、例えばパノラマ動画がある。パノラマ動画は、例えば高解像度のカメラで、且つ広範囲を撮影可能なレンズを搭載するカメラにより被写体が撮影された動画である。広範囲を撮影可能なレンズには、ワイドレンズ、魚眼レンズ、３６０度レンズ等がある。

クライアント端末２は、図１に示すように、制御部２１、記憶部２２、ビデオＲＡＭ２３、映像制御部２４、操作処理部２５、音声制御部２６、及びインターフェース部２７等を備えて構成される。これらの構成要素は、バス２８に接続されている。映像制御部２４には、ディスプレイを備える表示部２４ａが接続される。表示部２４ａは、表示手段の一例である。操作処理部２５には、操作部２５ａが接続される。操作部２５ａには、例えば、マウス、キーボード、リモコン等がある。表示部２４ａと操作部２５ａとを兼ねるタッチパネルが適用されてもよい。制御部２１は、ユーザによる操作部２５ａからの操作指示を、操作処理部２５を介して受け付ける。ユーザは、操作部２５ａを用いて、上述した疑似カメラワークの操作を行うことができる。音声制御部２６には、スピーカ２６ａが接続される。インターフェース部２７は、ネットワークＮＷに接続される。制御部２１は、ＣＰＵ、ＲＯＭ、及びＲＡＭ等により構成される。制御部２１は、タイマー機能を備える。記憶部２２は、例えば、ハードディスクドライブ（ＨＤＤ）により構成される。記憶部２２には、ＯＳ、及びプレイヤーソフトウェア等が記憶されている。プレイヤーソフトウェアは、コンテンツを再生するためのプログラムである。制御部２１は、プレイヤーソフトウェアを実行することでコンテンツを再生するプレイヤーとして機能する。具体的には、制御部２１は、プレイヤーの機能により、配信サーバ１からストリーミングで配信されたコンテンツを順次受信し、例えばＲＡＭに設けられたバッファメモリに、コンテンツに含まれる動画データ等を一時的に保持する。そして、制御部２１は、バッファメモリからビデオＲＡＭ２３へ動画データを出力する。ビデオＲＡＭ２３には、描画データを格納するフレームバッファがＲＡＭに設けられている。映像制御部２４は、制御部２１からの制御信号に従って、フレームバッファに書き込まれた描画データを表示画面に描画することで動画を表示させる。また、制御部２１は、後述するように、広告コンテンツを動画と共に表示させる処理を行う。ここで、「広告コンテンツを動画と共に表示」には、「広告コンテンツを動画に重ね合わせて表示」と、「広告コンテンツを動画に重ね合わせずに同時に表示」とが含まれる。なお、例えば配信サーバ１からバッファメモリに保持されたコンテンツに音声データが含まれる場合がある。この場合、制御部２１は、バッファメモリから音声データを再生して音声制御部２６へ出力する。音声制御部２６は、音声データからアナログ音声信号を生成し、生成したアナログ音声信号をスピーカ２６ａへ出力する。

広告サーバ３は、図１に示すように、制御部３１、記憶部３２、及びインターフェース部３３等を備えて構成される。これらの構成要素は、バス３４に接続されている。制御部３１は、コンピュータとしてのＣＰＵ、ＲＯＭ、及びＲＡＭ等により構成される。制御部３１は、本発明の判定手段、及び決定手段の一例である。制御部３１は、タイマー機能を備える。記憶部３２は、例えば、例えばハードディスクドライブ（ＨＤＤ）により構成される。制御部３１のＲＡＭまたは記憶部３２は、第１記憶手段及び第２記憶手段の一例である。記憶部３２には、ＯＳ（Operating System）、及び広告決定処理プログラム等が記憶されている。制御部３１またはＣＰＵは、広告決定処理プログラムを実行することで後述する処理を行う。また、記憶部３２には、広告設定データと動画ＩＤとが対応付けられて記憶される。この動画ＩＤは、広告設定データが作成されるときに再生された動画データの動画ＩＤである。また、記憶部３２には、カメラワークデータと動画ＩＤとが対応付けられて記憶される。この動画ＩＤは、カメラワークデータが作成されるときに再生された動画データの動画ＩＤである。また、記憶部３２には、広告ＩＤが付与された広告コンテンツが記憶される。広告コンテンツには、例えば静止画データまたは動画データが含まれる。なお、広告コンテンツには、音声データが含まれてもよい。

ここで、図２を参照して、広告設定データの詳細について説明する。図２（Ａ）〜（Ｃ）は、動画を構成する複数の画像フレームにおける広告設定画素領域を示す図である。図２（Ａ）は、再生時間“０〜１０秒”に出力される複数の画像フレームにおいて特定された広告設定画素領域R1-1と、広告設定画素領域R2-1を示す。図２（Ｂ）は、再生時間“１０〜２０秒”に出力される複数の画像フレームにおいて特定された広告設定画素領域R1-2と、広告設定画素領域R2-2を示す。図２（Ｃ）は、再生時間“２０〜３０秒”に出力される複数の画像フレームにおいて特定された広告設定画素領域R1-3と、広告設定画素領域R2-3を示す。なお、図２（Ａ）〜（Ｃ）の例では、説明の便宜上、それぞれ、１つの画像フレームを示しているが、実際には、複数の画像フレームがある。図２（Ｄ）は、図２（Ａ）〜（Ｃ）に示す広告設定画素領域R1-1〜R1-3に対応する広告設定データＤ１の一例を示す図である。図２（Ｄ）に示す広告設定データＤ１では、広告設定画素領域R1-1〜R1-3と、広告設定画素領域R1-1〜R1-3が特定された画像フレームが出力される再生時間とに、１つの広告ＩＤ“0001”を対応付けている。なお、図２（Ｄ）の例では、広告設定画素領域R1-1〜R1-3は、それぞれ、広告設定画素領域R1-1〜R1-3の中心座標C1-1〜C1-3及び表示倍率で表される。中心座標は、画像フレームの左上頂点座標を原点（０，０）とする（Ｘ，Ｙ）座標である。一方、図２（Ｅ）は、図２（Ａ）〜（Ｃ）に示す広告設定画素領域R2-1〜R2-3に対応する広告設定データＤ２の一例を示す図である。図２（Ｅ）に示す広告設定データＤ２では、広告設定画素領域R2-1〜R2-3と、広告設定画素領域R2-1〜R2-3が特定された画像フレームが出力される再生時間とに、１つの広告ＩＤ“0002”を対応付けている。なお、図２（Ｅ）の例では、広告設定画素領域R2-1〜R2-3は、それぞれ、広告設定画素領域R2-1〜R2-3の中心座標C2-1〜C2-3及び表示倍率で表される。なお、広告設定画素領域は、広告設定画素領域の中心座標以外の座標で表されてもよい。

［２．通信システムの動作］
次に、通信システムＳの動作について説明する。

（クライアント端末２の処理）
先ず、図３を参照して、クライアント端末２が配信サーバ１からコンテンツを受信するときの動作について説明する。図３は、クライアント端末２の制御部２１またはＣＰＵにより実行されるメイン処理の一例を示すフローチャートである。図３に示す処理は、例えば、ユーザから処理開始指示があった場合に開始される。

図３に示す処理が開始されると、クライアント端末２の制御部２１は、コンテンツの再生処理を開始する（ステップＳ１）。コンテンツの再生処理では、クライアント端末２の制御部２１は、配信サーバ１へコンテンツの要求を送信する。制御部２１は、コンテンツの要求に応じて、配信サーバ１からストリーミングで配信されたコンテンツを受信する。制御部２１は、受信されたコンテンツに含まれる動画データ等をバッファメモリに記憶する。そして、制御部２１は、バッファメモリに記憶された動画データを再生し、表示画面に動画を表示させる。コンテンツの再生処理は、図３に示す処理の終了まで継続する。

次いで、制御部２１は、動画の再生中に、疑似カメラワークの操作に従ってカメラワークデータの作成処理を開始する（ステップＳ２）。カメラワークデータの作成処理では、上述したカメラワークデータが作成される。このカメラワークデータには、例えば、動画の再生中に特定された表示画素領域と、表示画素領域が特定された特定の画像フレームが出力される再生時間とが対応付けられて含まれる。ここで、上述した仮想スクリーンが平面スクリーンの場合、表示画素領域は、例えば、表示画素領域の左上頂点座標と、左上頂点座標からＸ軸方向の画素数（幅）と、左上頂点座標からＹ軸方向の画素数（高さ）とで表される。仮想スクリーンが平面スクリーンの場合、表示画素領域は、図２（Ｄ）に示す広告設定画素領域と同様、表示画素領域の中心座標及び表示倍率で表されてもよい。或いは、上述した仮想スクリーンが円筒形のスクリーンの場合、表示画素領域は、例えば、方位角、横視野角、及び高さで表される。或いは、上述した仮想スクリーンが球形のスクリーンの場合、表示画素領域は、例えば、方位角、仰俯角、横視野角、及び縦視野角で表される。或いは、表示画素領域は、仮想スクリーンの種類に依らず、例えば、パン，チルトパラメータ（pan,tilt）、及びズームパラメータ（zoom）で表されてもよい。パン，チルトパラメータ（pan,tilt）は、仮想カメラの左右振りを規定するパンに対応するパラメータと、仮想カメラの上下振りを規定するチルトに対応するパラメータとから構成される。ズームパラメータ（zoom）は、表示倍率を規定するパラメータである。

なお、疑似カメラワークの具体的な操作として、例えば、ドラッグ操作、及びフリック操作がある。ドラッグ操作では、例えば、ユーザが表示画面をマウスによりドラッグすることで表示画素領域を移動させることができる。また、フリック操作では、例えば、ユーザがタッチパネル方式の表示画面上で指やペン等の接触物を素早くスライドすることで表示画素領域を移動させることができる。また、疑似カメラワークの具体的な操作として、例えば、ユーザが操作部２５ａに設けられたボタンや画面上に表示されたボタン等を押すことにより、表示画素領域を拡大したり縮小させたりする操作がある。この操作の場合、表示画素領域の単位時間あたり変動量が大きくなりながら表示画素領域が拡大又は縮小する変動が行われ、その後、単位時間あたり変動量が一定となって、表示画素領域が変動する。ユーザがボタンを押すことをやめる操作を行わない限り、表示画素領域が変動し、表示画素領域の大きさが最大又は最少となった時点で、変動は停止する。仮想スクリーンが平面スクリーンである場合、表示画素領域の拡大・縮小は、表示画素領域の幅及び高さの変動である。仮想スクリーンが円筒形のスクリーンである場合、表示画素領域の拡大・縮小は、横視野角及び高さの変動である。仮想スクリーンが球形のスクリーンである場合、表示画素領域の拡大・縮小は、横視野角及び縦視野角の変動である。なお、上述した操作は、あくまでも例示に過ぎず、その他の操作により疑似カメラワークが行われてもよい。カメラワークデータの作成処理は、図３に示す処理の終了まで継続する。

次いで、制御部２１は、カメラワークデータの送信条件を満たしたか否かを判定する（ステップＳ３）。例えば、制御部２１は、カメラワークデータの前回の送信から所定時間が経過した場合に、カメラワークデータの送信条件を満たしたと判定する。より具体的には、制御部２１は、カメラワークデータを送信してからの経過時間をタイマー機能によりカウントする。そして、制御部２１は、カウントされたカウント値が所定時間に到達したときにカメラワークデータの送信条件を満たすと判定する。なお、カウントされたカウント値が所定時間に到達した場合、タイマーのカウント値がリセットされる。そして、カメラワークデータを送信により、再び、タイマーによるカウントが開始される。これにより、動画の再生終了まで、カメラワークデータを定期的に広告サーバ３へ送信することができる。或いは、制御部２１は、ユーザから操作部２５ａを介して所定の操作があった場合に、カメラワークデータの送信条件を満たしたと判定する。ここで、所定の操作の例として、ユーザが表示画面内を指等でタップすることやマウスでクリックすることなどがある。これにより、ユーザから所定の操作があったときだけ、カメラワークデータを広告サーバ３へ送信することができる。そのため、カメラワークデータを定期的に送信することと比較して、ネットワークＮＷの負荷、及び広告サーバ３の送信負荷を低減することができる。そして、カメラワークデータの送信条件を満たしたと判定された場合（ステップＳ３：ＹＥＳ）、ステップＳ４へ進む。ステップＳ４では、制御部２１は、広告サーバ３へカメラワークデータと再生された動画データの動画ＩＤとを対応付けて送信し、ステップＳ５へ進む。一方、カメラワークデータの送信条件を満たしていないと判定された場合（ステップＳ３：ＮＯ）、ステップＳ７へ進む。

ステップＳ５では、制御部２１は、広告サーバ３から、広告コンテンツを受信したか否かを判定する。広告コンテンツを受信したと判定された場合（ステップＳ５：ＹＥＳ）、ステップＳ６へ進む。なお、ステップＳ５において、制御部２１は、広告サーバ３から、広告コンテンツの所在を示すＵＲＬを受信したか否かを判定してもよい。広告コンテンツの所在を示すＵＲＬが受信された場合、制御部２１は、このＵＲＬにアクセスして所定のサーバから広告コンテンツを取得することになる。ＵＲＬのデータ量は、広告コンテンツのデータ量と比べて少ない。そのため、広告サーバ３がクライアント端末２へ、広告コンテンツの所在を示すＵＲＬを送信することで、広告サーバ３の送信負荷を低減することができる。一方、広告コンテンツ、またはＵＲＬを受信していないと判定された場合（ステップＳ５：ＮＯ）、つまり、広告コンテンツ無を示す情報が受信された場合、ステップＳ７へ進む。

ステップＳ６では、制御部２１は、ステップＳ５で取得された広告コンテンツを、例えば、表示画面に表示されている動画に重ね合わせて表示させる。なお、制御部２１は、広告コンテンツを、動画に重ね合わせずに、動画と同時に表示させてもよい。この場合、広告コンテンツは、例えば、動画が表示されている表示画面上の領域と異なる領域に表示される。ステップＳ７では、制御部２１は、再生中の動画が再生終了に到達したか否かを判定する。動画が再生終了に到達していないと判定された場合（ステップＳ７：ＮＯ）、ステップＳ３に戻る。これにより、再生処理及びカメラワークデータの作成処理が継続する。一方、動画が再生終了に到達したと判定された場合（ステップＳ７：ＹＥＳ）、図３に示す処理が終了する。

（広告サーバ３の処理）
次に、図４を参照して、広告サーバ３がクライアント端末２からカメラワークデータを受信するときの動作について説明する。図４は、広告サーバ３の制御部３１またはＣＰＵにより実行されるメイン処理の一例を示すフローチャートである。図４に示す処理は、例えば、クライアント端末２からカメラワークデータと動画ＩＤとが受信された場合に開始される。受信されたカメラワークデータは、例えば、表示画素領域に変更がない時間範囲ごとに時系列で区別されてＲＡＭに記憶される。

図４に示す処理が開始されると、広告サーバ３の制御部３１は、記憶部３２から受信された動画ＩＤが対応付けられた広告設定データをＲＡＭに読み込む。なお、ＲＡＭに記憶されたカメラワークデータに含まれる表示画素領域を表す形式が、広告設定データに含まれる広告設定画素領域を表す形式と同一でない場合がある。この場合、制御部３１は、カメラワークデータに含まれる表示画素領域を表す形式を、広告設定データに含まれる広告設定画素領域を表す形式に変換する。例えば、広告設定画素領域が、中心座標及び表示倍率で表される一方、表示画素領域が、パン，チルトパラメータ（pan,tilt）、及びズームパラメータ（zoom）で表される場合がある。この場合、制御部３１は、所定の変換式により、パン，チルトパラメータ（pan,tilt）、及びズームパラメータ（zoom）の形式を、表示画素領域の中心座標及び表示倍率の形式に変換する。

そして、制御部３１は、表示画素領域に変更がない時間範囲ごとに区別されて記憶されたカメラワークデータの中から、カメラワークデータを一つ特定する（ステップＳ２１）。次いで、制御部３１は、特定されたカメラワークデータが、前回処理されたカメラワークデータに含まれる第２再生時間に続くカメラワークデータであるか否かを判定する（ステップＳ２２）。ここで、前回処理されたカメラワークデータとは、前回のステップＳ２１で特定され、ステップＳ２２以降の処理が行われるカメラワークデータを意味する。また、第２再生時間に続くカメラワークデータとは、例えば第２再生時間 “０〜１０秒”に続く例えば“１０〜１５秒”の範囲内の第２再生時間を含むカメラワークデータを意味する。特定されたカメラワークデータが、前回処理されたカメラワークデータに含まれる第２再生時間に続くカメラワークデータでないと判定された場合（ステップＳ２２：ＮＯ）、ステップＳ２３へ進む。ステップＳ２３では、制御部３１は、継続時間の累積値をリセットし、ステップＳ２４へ進む。これにより、継続時間の累積値が“０”になる。この継続時間は、上述したように、表示画素領域を基準とした所定範囲内に広告設定画素領域が継続して含まれる時間を示す。一方、特定されたカメラワークデータが、前回処理されたカメラワークデータに含まれる第２再生時間に続くカメラワークデータであると判定された場合（ステップＳ２２：ＹＥＳ）、ステップＳ２４へ進む。つまり、前回の処理から、継続時間の累積値が引き継がれる。

ステップＳ２４では、制御部３１は、広告設定データに、カメラワークデータに含まれる表示画素領域に対応付けられた第２再生時間に対応する第１再生時間があるか否かを判定する。ここで、第２再生時間に対応する第１再生時間には、例えば、第２再生時間と一致する第１再生時間、または第２再生時間が含まれる第１再生時間が該当する。第２再生時間に対応する第１再生時間があると判定された場合（ステップＳ２４：ＹＥＳ）、ステップＳ２５へ進む。一方、第２再生時間に対応する第１再生時間がないと判定された場合（ステップＳ２４：ＮＯ）、ステップＳ２９へ進む。

ステップＳ２５では、制御部３１は、広告設定データから、ステップＳ２４で判定された第２再生時間に対応する第１再生時間が対応付けられた広告設定画素領域を特定する。次いで、制御部３１は、ステップＳ２５で特定された広告設定画素領域が、上記第２再生時間が対応付けられた表示画素領域を基準とした所定範囲内に含まれるか否かを判定する（ステップＳ２６）。ここで、表示画素領域を基準とした所定範囲の例として、表示画素領域の中心座標を中心とした半径距離（例えば画素数）の範囲がある。例えば、広告設定画素領域内の例えば中心座標が所定範囲内に含まれる場合、広告設定画素領域が表示画素領域を基準とした所定範囲内に含まれると判定され（ステップＳ２６：ＹＥＳ）、ステップＳ２７へ進む。一方、広告設定画素領域が表示画素領域を基準とした所定範囲内に含まれないと判定された場合（ステップＳ２６：ＮＯ）、ステップＳ２９へ進む。

ステップＳ２７では、制御部３１は、継続時間の累積値を更新する。制御部３１は、例えば表示画素領域に対応付かれた第１再生時間を、継続時間の累積値に加算することで更新する。次いで、制御部３１は、継続時間の累積値が所定時間以上である否かを判定する（ステップＳ２８）。この判定は、表示画素領域を基準とした所定範囲内に広告設定画素領域が所定時間以上継続して含まれるかの判定である。ここで、所定時間は、例えば１０〜６０秒に設定される。継続時間の累積値が所定時間以上でないと判定された場合（ステップＳ２８：ＮＯ）、ステップＳ２９へ進む。一方、継続時間の累積値が所定時間以上であると判定された場合（ステップＳ２８：ＹＥＳ）、ステップＳ３１へ進む。

図５（Ａ）は、表示画素領域を基準とした所定範囲Ｒ内に広告設定画素領域の中心座標が所定時間である２５秒以上継続して含まれる場合の例を示す図である。表示画素領域を基準とした所定範囲Ｒは、再生時間“０〜１０秒”と、再生時間“１０〜２０秒”と、再生時間“２０〜３０秒”とで異なっている。つまり、表示画素領域を基準とした所定範囲Ｒは、時間経過に従って、動画を構成する画像フレーム上を移動している。図５（Ａ）の例では、再生時間“０〜１０秒”と、再生時間“１０〜２０秒”と、再生時間“２０〜３０秒”との全ての範囲に亘って、表示画素領域を基準とした所定範囲Ｒ内に広告設定画素領域の中心座標が含まれていることになる。そのため、図５（Ａ）の例の場合、ステップＳ２８において、制御部３１は、継続時間の累積値が所定時間以上であると判定する。一方、図５（Ｂ）は、表示画素領域を基準とした所定範囲Ｒ内に広告設定画素領域の中心座標が所定時間以上継続して含まれない場合の例を示す図である。図５（Ａ）の例では、再生時間“１０〜２０秒”において、表示画素領域を基準とした所定範囲Ｒから、広告設定画素領域の中心座標が外れている。そのため、図５（Ｂ）の例の場合、ステップＳ２８において、制御部３１は、継続時間の累積値が所定時間以上でないと判定する。

ステップＳ２９では、制御部３１は、まだ処理されていないカメラワークデータがあるか否かを判定する。例えばＲＡＭにまだ処理されていないカメラワークデータが記憶されている場合、まだ処理されていないカメラワークデータがあると判定され（ステップＳ２９：ＹＥＳ）、ステップＳ２１に戻る。ステップＳ２１に戻ると、制御部３１は、ＲＡＭに記憶されている次のカメラワークデータを特定し、ステップＳ２２以降の処理を行う。まだ処理されていないカメラワークデータがないと判定された場合（ステップＳ２９：ＮＯ）、ステップＳ３０へ進む。ステップＳ３０では、制御部３１は、広告コンテンツ無を示す情報をクライアント端末２へ送信し、図４に示す処理を終了する。

ステップＳ３１では、制御部３１は、表示画素領域を基準とした所定範囲内に含まれると判定された広告設定画素領域に対応付けられた広告ＩＤを特定する。次いで、制御部３１は、ステップＳ３１で複数の広告ＩＤが特定されたか否かを判定する（ステップＳ３２）。例えば、図２（Ｄ）に示す広告設定画素領域R1-1〜R1-3と、図２（Ｅ）に示す広告設定画素領域R2-1〜R2-3とが、それぞれ、表示画素領域を基準とした所定範囲内に含まれる場合、広告ＩＤ“0001”と広告ＩＤ“0002”が特定されることになる。複数の広告ＩＤが特定されたと判定された場合（ステップＳ３２：ＹＥＳ）、ステップＳ３３へ進む。一方、１つの広告ＩＤのみが特定された場合、制御部３１は、複数の広告ＩＤが特定されないと判定し（ステップＳ３２：ＮＯ）、ステップＳ３５へ進む。ステップＳ３３では、制御部３１は、ステップＳ３１で特定された複数の広告ＩＤごとに、それぞれの広告設定画素領域と、表示画素領域を基準とした所定範囲内の所定座標との距離を算出する。例えば、制御部３１は、それぞれの広告設定画素領域内の中心座標と、表示画素領域を基準とした所定範囲内の中心座標との間の距離を、広告ＩＤごとの距離として算出する。

図６（Ａ）〜（Ｃ）は、広告設定画素領域内の中心座標と、表示画素領域を基準とした所定範囲内の中心座標との位置関係を示す図である。図６（Ｄ）は、広告設定画素領域内の中心座標と、表示画素領域を基準とした所定範囲内の中心座標との間の距離の一覧を示す図である。図６（Ａ）〜（Ｃ）の例では、広告設定画素領域R1-1〜R1-3内の中心座標C1-1〜C1-3それぞれと所定範囲Ｒ内の中心座標Cx1〜Cx3との間の距離d1-1〜d1-3と、広告設定画素領域R2-1〜R2-3内の中心座標C2-1〜C2-3それぞれと所定範囲Ｒ内の中心座標Cx1〜Cx3との間の距離d2-1〜d2-3とが算出される。つまり、ステップＳ３３では、再生時間“０〜１０秒”、再生時間“１０〜２０秒”、及び再生時間“２０〜３０秒”のそれぞれにおいて、広告ＩＤごとに距離が算出される。この場合、広告ＩＤごとの距離は、図６（Ｄ）に示すように、再生時間“０〜１０秒”、再生時間“１０〜２０秒”、及び再生時間“２０〜３０秒”のそれぞれにおける距離d1-1〜d1-3の合計と、距離d2-1〜d2-3の合計で表される。なお、広告ＩＤごとの距離は、距離d1-1〜d1-3の平均と、距離d2-1〜d2-3の平均で表されてもよい。

次いで、制御部３１は、ステップＳ３１で特定された複数の広告ＩＤの中で、それぞれの広告ＩＤが対応付けられた広告設定画素領域と表示画素領域を基準とした所定範囲内の所定座標との距離が最も短い広告ＩＤを特定し（ステップＳ３４）、ステップＳ３５へ進む。これにより、表示対象となる広告コンテンツの候補が複数あっても、ユーザが、より興味を持っている表示対象に対応する広告コンテンツを決定することができる。図６（Ｄ）の例では、広告ＩＤ“0001”と広告ＩＤ“0002”の中で、広告ＩＤ“0001”が特定されることになる。ここで、表示画素領域の表示倍率が異なる場合、表示画素領域の表示倍率に応じて表示画素領域を基準とした所定範囲は変動する。この場合、制御部３１は、表示画素領域の表示倍率に応じた値を、それぞれの広告設定画素領域と上記所定範囲内の所定座標との距離に乗算する。例えば、表示画素領域の表示倍率が２倍の場合、広告設定画素領域と上記所定範囲内の所定座標との距離に、表示倍率の逆数である“１／２”の値が乗算される。これにより、表示画素領域の表示倍率に応じて表示画素領域を基準とした所定範囲が変動する場合であっても、広告ＩＤごとの距離を適切に比較することができる。そして、制御部３１は、この値が乗算された距離が小さい広告ＩＤを特定する。

ステップＳ３５では、制御部３１は、ステップＳ３１またはステップＳ３４で特定された広告ＩＤに対応する広告コンテンツを動画と共に表示する表示対象として決定する。次いで、制御部３１は、ステップＳ３６で決定された広告コンテンツをクライアント端末２へ送信し、図４に示す処理を終了する。なお、制御部３１は、決定された広告コンテンツに代えて、決定された広告コンテンツの所在を示すＵＲＬをクライアント端末２へ送信してもよい。

以上説明したように、上記実施形態によれば、広告サーバ３は、少なくとも、動画を構成する複数の画像フレームにおいて複数の画素の中で特定された広告設定画素領域と、広告設定画素領域が特定された特定の画像フレームが出力される第１再生時間と、広告コンテンツの広告ＩＤとを対応付けて記憶する。また、広告サーバ３は、少なくとも、クライアント端末２において動画の再生中に表示された表示画素領域と、表示画素領域が特定された特定の画像フレームが出力される第２再生時間とを対応付けて記憶する。そして、広告サーバ３は、第２再生時間に対応付けられた表示画素領域を基準とした所定範囲内に、この第２再生時間に対応する第１再生時間に対応付けられた広告設定画素領域が所定時間以上継続して含まれるかを、第１再生時間と第２再生時間とに基づいて判定する。広告サーバ３は、所定時間以上継続して含まれると判定した場合、広告設定画素領域に対応付けられた広告ＩＤに対応する広告コンテンツを動画と共に表示する表示対象として決定する。そのため、真にユーザが興味を持っている表示対象に対して、広告を関連付けて表示させることができる。

なお、上記実施形態においては、広告サーバ３に、本発明の情報処理装置を適用した場合の例を説明した。しかし、クライアント端末２に、本発明の情報処理装置を適用してもよい。この場合、クライアント端末２の制御部２１が、本発明の判定手段、及び決定手段の一例となる。そして、クライアント端末２の制御部２１は、広告サーバ３から広告設定データを取得し、図３に示すステップＳ３〜Ｓ５の処理に代えて、図４に示すステップＳ２１〜Ｓ３５の処理を行うことになる。この場合、ステップＳ３０の処理は行われずに図４に示す処理が終了する。

１ 配信サーバ
２ クライアント端末
３ 広告サーバ
４ 管理者端末
Ｓ 通信システム

Claims (4)

1. 複数の画素から構成される画像フレームであって、複数の前記画像フレームから構成される動画において、前記複数の画素の中で特定された１画素以上の第１特定画素領域と、前記複数の画像フレームの中で前記第１特定画素領域が特定された特定の第１特定画像フレームが出力される第１再生時間であって、所定の第１時間範囲を示す前記第１再生時間とに、広告コンテンツの広告識別情報を対応付けて記憶する第１記憶手段と、
   前記動画の再生中に前記複数の画素の中で、端末装置の表示手段により表示された１画素以上の第２特定画素領域と、前記複数の画像フレームの中で前記第２特定画素領域が特定された特定の第２特定画像フレームが出力される第２再生時間であって、所定の第２時間範囲を示す前記第２再生時間とを対応付けて記憶する第２記憶手段と、
   前記第２再生時間に対応付けられた前記第２特定画素領域を基準とした所定範囲内に、前記第２再生時間に対応する前記第１再生時間に対応付けられた前記第１特定画素領域が所定時間以上継続して含まれるかを、前記第１再生時間と前記第２再生時間とに基づいて判定する判定手段と、
   前記判定手段により前記所定時間以上継続して含まれると判定された場合、前記第１特定画素領域に対応付けられた前記広告識別情報に対応する広告コンテンツを前記動画と共に表示する表示対象として決定する決定手段と、
   を備えることを特徴とする情報処理装置。
2. 前記決定手段は、前記所定時間以上継続して含まれると判定された複数の前記第１特定画素領域それぞれに異なる前記広告識別情報が対応付けられている場合、複数の前記広告識別情報の中で、それぞれの前記広告識別情報が対応付けられた前記第１特定画素領域と前記所定範囲内の所定座標との距離が最も短い前記広告識別情報に対応する広告コンテンツを前記表示対象として決定することを特徴とする請求項１に記載の情報処理装置。
3. 前記第１記憶手段は、前記第２再生時間に、前記第２特定画素領域の表示倍率を対応付けてさらに記憶し、
   前記決定手段は、それぞれの前記第２特定画素領域の表示倍率に応じた値を、それぞれの前記第１特定画素領域と前記所定範囲内の所定座標との距離に乗算し、前記値が乗算された距離が最も小さい前記広告識別情報に対応する広告コンテンツを前記表示対象として決定することを特徴とする請求項１に記載の情報処理装置。
4. 複数の画素から構成される画像フレームであって、複数の前記画像フレームから構成される動画において、前記複数の画素の中で特定された１画素以上の第１特定画素領域と、前記複数の画像フレームの中で前記第１特定画素領域が特定された特定の第１特定画像フレームが出力される第１再生時間であって、所定の第１時間範囲を示す前記第１再生時間とに、広告コンテンツの広告識別情報を対応付けて取得するステップと、
   前記動画の再生中に前記複数の画素の中で、端末装置の表示手段により表示された１画素以上の第２特定画素領域と、前記複数の画像フレームの中で前記第２特定画素領域が特定された特定の第２特定画像フレームが出力される第２再生時間であって、所定の第２時間範囲を示す前記第２再生時間とを対応付けて取得するステップと、
   前記第２再生時間に対応付けられた前記第２特定画素領域を基準とした所定範囲内に、前記第２再生時間に対応する前記第１再生時間に対応付けられた前記第１特定画素領域が所定時間以上継続して含まれるかを、前記第１再生時間と前記第２再生時間とに基づいて判定するステップと、
   前記所定時間以上継続して含まれると判定された場合、前記第１特定画素領域に対応付けられた前記広告識別情報に対応する広告コンテンツを前記動画と共に表示する表示対象として決定するステップと、
   をコンピュータに実行させることを特徴とするプログラム。

Images