JP4932779B2 - Ｔｖ番組と連動した動画対応広告装置及び方法 - Google Patents

Description

本発明は、動画対応広告装置及び方法に関し、より詳細には、ＴＶ番組と連動して広告を提供する技術に関する。

従来、テレビは強力な広告媒体として利用されている。一方、近年インターネットによる広告提供が伸張し、２つの媒体は、国民生活上不可欠の情報提供手段となっている。これらは異なる情報ソースを持ち、筐体も分かれていたが、情報家電化により、テレビがインターネットにつながりる一方、パソコンでＴＶ放送を受信できるようになる等、両者の融合が進んでいる。

一方、パソコンによるインターネット広告は、ユーザがリンクをクリックすることにより広告が表示される、いわゆるデマンド型の広告が中心であるが、テレビの広告は、番組の合間に放送局から一方的に流される一律提供型の広告である。

また、最近のＴＶゲーム機であるＷｉｉ（登録商標）のように、テレビ画面中の任意の点をリモートで指定できる仕組みも出現している（例えば、特許文献１）。これにより、従来複数人で視聴することが多かったテレビにおいて、個々の視聴者が簡単に情報の入力をすることが可能となっている。

特開２００８−０３５９６２号公報

このように、家庭を取り巻く技術環境が変化する中で、テレビ放送とインターネットという巨大情報メディアを融合した新たな広告システムが望まれる。

そこで、本発明は、テレビの娯楽性とインターネットの個別情報提供力を融合させ、これに画像処理の諸技術を組み合わせることで、ＴＶ番組のシーン中に現れた対象についての広告を、関心のあるユーザに伝えるという技術を提供することを課題とする。

本発明者は、動画中のシーンに現れる対象と、予め広告等の情報を関連付けた対象との画像上の同一性を確認することにより、ＴＶ番組に現れる対象についてユーザが広告を得る仕組みを見出し、本発明を完成するに至った。本発明は、具体的には次のようなものを提供する。

（１） 動画中の特定のシーンにおける特定の部分画像に関連する情報をユーザから受け取るユーザ指示取得手段と、
動画中の特定のシーンにおける特定の部分画像に関連する情報に基づいて前記シーンから該情報に関連する部分画像を抽出する部分画像抽出手段と、
動画中の特定のシーンにおける特定の部分画像に広告を関連付けて、該部分画像に係る情報と該広告に係る情報とを記録する部分画像対応広告記録手段と、
前記ユーザ指示取得手段により受け取った情報に基づいて前記部分画像抽出手段により抽出した部分画像と、前記部分画像対応広告記録手段に記録した情報に係る部分画像との同一性を確認する部分画像同一性確認手段と、
前記部分画像同一性確認手段による確認結果に基づいて、前記ユーザ指示取得手段により受け取った情報に基づいて前記部分画像抽出手段により抽出した部分画像に対応付けるべき広告を決定する広告決定手段と、
前記広告決定手段により決定した広告をユーザの使用する端末装置に表示するために送信する広告伝達手段と、
を備える動画対応広告装置。

本発明のこのような構成によれば、刻々変化する動画中に現れる対象について、ユーザがリモコンやマウス等で指定をすると、その部分画像を特定し、別途部分画像と対応付けて保存してある広告を、部分画像の同一性を確認することにより取得し、ユーザに対して伝達するので、ＴＶ番組や動画提供サービスと連動した広告をユーザの関心に合わせて提供することができる。

また、ユーザが指定した部分画像に関連する広告を伝達するので、効果的な広告伝達を行うことができ、広告効果を高めることができる。

（２） 前記動画はＴＶ番組であり、
前記ユーザ指示取得手段によりユーザから受け取る情報は、前記ＴＶ番組を特定する情報と該ＴＶ番組のシーンを特定する情報とを含み、
前記部分画像抽出手段は、前記ユーザ指示取得手段によりユーザから受け取った前記ＴＶ番組を特定する情報と該ＴＶ番組のシーンを特定する情報とに基づいて部分画像を抽出するシーンを決定することを特徴とする（１）に記載の動画対応広告装置。

本発明のこのような構成によれば、ＴＶ番組として放映されるドラマ等で使われた物の広告を伝達することができる。したがって、企業が積極的に販売したい物をＴＶドラマの中で使用することによりイメージを伝えるとともに、それと連動した広告で購買意欲を捕捉することができる。

（３） 異なる２つのシーンからそれぞれ前記部分画像抽出手段により抽出した部分画像間の同一性を判定する部分画像連続性判定手段をさらに備え、
前記部分画像同一性確認手段は、前記部分画像連続性判定手段により、前記ユーザ指示取得手段により受け取った情報に基づいて前記部分画像抽出手段により抽出した部分画像と同一と判定される部分画像を、前記ユーザ指示取得手段により受け取った情報に係るシーンと前記部分画像対応広告記録手段に記録した情報に係るシーンとの間のシーンについて繰り返し抽出することにより、前記ユーザ指示取得手段により受け取った情報に基づいて前記部分画像抽出手段により抽出した部分画像と、前記部分画像対応広告記録手段に記録した情報に係る部分画像との同一性を確認することを特徴とする（１）または（２）に記載の動画対応広告装置。

本発明のこのような構成によれば、時間的に近接するシーンにおける画像の動きは小さいことから、シーン間の時間間隔を小さくして部分画像の連続性を確認するので、時間的に離れて、部分画像の色や形が変化するような場合にも、部分画像の連続性を確実に確認することができる。その結果、連続するシーンの最初に出現する部分画像と広告を関連付けておけば、連続するシーン中の任意のシーンから同一の部分画像を特定することができるので、シーン中に現れた物の広告をユーザに伝えるという本発明の目的を効率的に実現することができる。

（４） 前記部分画像対応広告記録手段に記録した部分画像に係る情報は、該部分画像に係る情報の特徴情報であり、
前記部分画像同一性確認手段は、前記特徴情報と、前記ユーザ指示取得手段により受け取った情報に基づいて前記部分画像抽出手段により抽出した部分画像の特徴情報とを比較することにより、前記ユーザ指示取得手段により受け取った情報に基づいて前記部分画像抽出手段により抽出した部分画像と、前記部分画像対応広告記録手段に記録した情報に係る部分画像との同一性を確認することを特徴とする（１）または（２）に記載の動画対応広告装置。

本発明のこのような構成によれば、広告と関連付けて記録した部分画像とユーザが指定した部分画像との同一性を部分画像の特徴情報を比較して判定するので、２つの部分画像が連続性のない異なるシーンに現れる場合であっても、同一性の確認を行うことができる。

ＴＶ番組をはじめとする多くの動画は、連続性のない複数のシーンで構成されることが多いので、そのような場合にも、いずれかのシーンにおいて部分画像と広告を関連付けておけば、各シーンにおいてそれぞれ部分画像と広告を関連付けなくても、シーン中に現れた物の広告をユーザに伝えるという本発明の目的を実現することができる。

（５） 前記ユーザ指示取得手段によりユーザから受け取る情報は、動画中の特定のシーンにおける位置を特定する情報を含み、
前記部分画像抽出手段は、前記ユーザ指示取得手段によりユーザから受け取った情報により特定される位置を含む部分画像を抽出することを特徴とする（１）に記載の動画対応広告装置。

本発明のこのような構成によれば、部分画像という一定の広がり（面積）があるものをユーザがその内部の点を指定することにより特定することができるので、ユーザは、簡単に自分の興味ある部分画像を指定することができ、シーン中に現れた物の広告をユーザに伝えるという本発明の目的を実現することができる。

（６） 前記部分画像連続性判定手段は、２つの異なるシーンからそれぞれ前記部分画像抽出手段により抽出した部分画像の内部の領域の重複度によって、前記部分画像間の同一性を判定することを特徴とする（３）に記載の動画対応広告装置。

本発明のこのような構成によれば、部分画像の連続性を、変化した部分画像の重複度によって判定するので、部分画像を抽出するシーン間の時間間隔を短くすることにより連続性の判定精度を限りなく高めることができ、確実に部分画像の同一性を確認することができる。

（７） 前記広告決定手段により決定する広告は、関連する複数の広告を決定することを特徴とする（１）に記載の動画対応広告装置。

本発明のこのような構成によれば、１つの対象について関連する多様な広告を伝達することができるので、ユーザの興味を捉える可能性を高めることができる。

（８） 前記広告決定手段により決定する広告は、前記ユーザの属性に応じて前記広告を決定することを特徴とする（１）に記載の動画対応広告装置。

本発明のこのような構成によれば、ユーザの属性に応じて伝えるべき広告を決定するので、ユーザに応じたきめ細かな広告を伝達することができる。

（９） 前記広告伝達手段は、動画の進行に応じて広告を前記ユーザの使用する端末装置に表示するために送信するタイミングを決めることを特徴とする（１）に記載の動画対応広告装置。

本発明のこのような構成によれば、動画の進行に応じて広告を伝達するので、ユーザの動画視聴の邪魔をすることなく、例えば、動画終了時等に広告を伝達することができる。したがって、ユーザは、動画視聴中に関心のある対象を指定しておけば、動画終了時やＣＭ開始時に指定した対象に関する広告を見ることができる。

（１０） コンピュータが、動画中の特定のシーンにおける特定の部分画像に関連する情報をユーザから受け取るユーザ指示取得ステップと、
コンピュータが、前記ユーザから受け取った情報に基づいて前記シーンから該情報に関連する部分画像を抽出する部分画像抽出ステップと、
動画中の特定のシーンにおける特定の部分画像に広告を関連付けて、該部分画像に係る情報と該広告に係る情報とが記憶装置に記録されており、
コンピュータが、前記ユーザから受け取った情報に基づいて抽出した部分画像と、前記記憶装置に記録されている情報に係る部分画像との同一性を確認する部分画像同一性確認ステップと、
コンピュータが、前記確認した結果に基づいて、前記ユーザから受け取った情報に基づいて抽出した部分画像に対応付けるべき広告を決定する広告決定ステップと、
コンピュータが、前記決定した広告をユーザの使用する端末装置に表示するために送信する広告伝達ステップと、
を備える動画対応広告方法。

この発明によれば、ユーザは、ＴＶ番組等の視聴中に関心のある対象を指定することにより、その対象に関する広告を見ることができるので、別途自分で広告を探す負担がなく、興味を持った対象について簡単に詳しい情報を知ることができる。

また、企業は、自社の製品を、単に広告するだけでなく、ＴＶドラマ等の中で使用することにより製品イメージを構築するとともに、それに連動した広告を関心のあるユーザに対して伝達することができるので、「見せて、購買意欲を高めさせて、買わせる」という販売パターンを構築することができる。

また、このような方法によれば、ＴＶ番組自体が広告媒体となるので、ＴＶ放送とインターネットの融合による新たなビジネスチャンスを創造することが期待できる。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

（第１の実施形態）
［動画対応広告装置と関連要素の全体構成］
図１は、本実施形態に係る動画対応広告装置と関連要素の全体構成を示す図である。
動画対応広告装置１００は、動画対応広告サーバ２０とＴＶ番組ＤＢ３０とを備え、インターネット５０を介してユーザ端末１０と接続されている。

ユーザ端末１０は、放送局４０から放送されるテレビジョン番組（以下、ＴＶ番組という）を受信して画面に表示する。ユーザは、画面上に表示される動画中のシーンに対し、無線リモコンやマウス等を用いて各種の入力を行う。

動画対応広告サーバ２０は、後述の各手段の処理を実行する。

ＴＶ番組ＤＢ３０は、放送局から放送されるドラマ等のＴＶ番組を予め放送局から入手し、記録している。複数のＴＶ番組が記録されるため、ＴＶ番組には番組ＩＤが付されており、各ＴＶ番組は番組ＩＤとシーンの時間を指定することで、任意のシーンを取り出すことができる。

［動画対応広告装置の機能構成］
図２は、本実施形態に係る動画対応広告装置１００の機能構成を示す図である。
動画対応広告装置１００は、ユーザ指示取得手段１２０、動画記録手段１３０、部分画像抽出手段１４０、部分画像対応広告記録手段１５０、部分画像連続性判定手段１６０、部分画像同一性確認手段１７０、広告決定手段１８０及び広告伝達手段１９０を備える。

ユーザ指示取得手段１２０は、ユーザがユーザ端末１０の画面上に表示される動画中のシーンに対し、無線リモコンやマウス等を用いて入力した特定の部分画像に関連する情報をユーザ端末１０から受け取る。本実施形態において、この動画はＴＶ番組の動画であり、特定の部分画像に関連する情報には、当該ＴＶ番組を特定する情報である番組ＩＤと当該ＴＶ番組のシーンを特定する情報であるシーンの時間と当該シーンにおいてユーザが指定した位置を特定する情報を含む。

動画記録手段１３０は、ユーザから部分画像に関連する情報を受け取るシーンを含む動画が記録されており、ＴＶ番組ＤＢ３０が対応する。

部分画像抽出手段１４０は、ユーザ指示取得手段１２０により受け取った情報に含まれる番組ＩＤとシーンの時間に基づいて、動画記録手段１３０に記録された動画からシーンを読出し、当該シーンにおける位置を特定する情報に基づいて、関連する部分画像を抽出する。部分画像は一定の広がり（面積）がある一方、位置の情報は点の情報であるので、抽出する部分画像はその点を含む部分画像である。

部分画像は、エッジ処理により切り出すことができるので、前述の点を含む部分画像は、複数個、重畳的に抽出される可能性がある。具体的には後述するが、例えば、ある服を着ている人が現れるシーンにおいて、服のある場所が上記の点として指定されると、その点を含む部分画像としては、その服とその服を着ている人の２つの部分画像が抽出されることになる。

部分画像対応広告記録手段１５０は、動画中の特定のシーンにおける特定の部分画像に広告を関連付けて、当該部分画像に係る情報と当該広告に係る情報とを記録する。部分画像に係る情報には、当該部分画像が含まれるＴＶ番組の番組ＩＤと当該部分画像が含まれるシーンの時間と当該シーン中で当該部分画像を他の部分画像から識別するための情報が含まれる。部分画像を他の部分画像から識別するための情報としては、例えば、当該部分画像を囲む四角形の各辺の座標値や当該部分画像の面積や当該部分画像の色数等が考えられる。本実施形態においては、当該部分画像を囲む四角形の各辺の座標値を用いる。

部分画像連続性判定手段１６０は、時間的に近接した２つの異なるシーンからそれぞれ部分画像抽出手段１４０により抽出した部分画像間の同一性を判定する。時間的に近接したシーンにおいては、部分画像のシーン内の場所はそれほど大きくは変化しない点に着目し、それぞれのシーンから抽出される部分画像の重複度を基準として、異なるシーンにおける部分画像の連続性すなわち同一性を判定する。

部分画像同一性確認手段１７０は、ユーザ指示取得手段１２０により受け取った情報に基づいて部分画像抽出手段１４０により抽出した部分画像と、部分画像対応広告記録手段１５０に広告と関連付けて記録した部分画像との同一性を確認する。上記２つの部分画像が含まれるシーンは、通常異なるので、本実施形態においては、近接するシーンにおける部分画像の連続性を部分画像連続性判定手段１６０により確認しながら、最終的に上記２つの部分画像が同一であることを確認する。

具体的には、ユーザ指示取得手段１２０により受け取った情報に基づいて抽出した部分画像と同一と判定される部分画像を、前者の部分画像が含まれるシーンと時間的に少し異なる別のシーンから抽出する操作を繰り返すことにより、最終的に、時間的に離れたシーンに現れる部分画像の同一性を確認する。

時間的に離れたシーンであっても、これらのシーンの間にある複数のシーンを経由することにより、時間的に近接したシーンの連続として捉えられるので、部分画像同一性確認手段１７０は、ユーザ指示取得手段１２０により受け取った情報に基づいて抽出した部分画像と、部分画像対応広告記録手段１５０に広告と対応付けて記録した部分画像との同一性を確認することができる。

広告決定手段１８０は、部分画像同一性確認手段１７０で上記２つの部分画像の同一性が確認された場合に、同一性が確認された部分画像と対応付けて部分画像対応広告記録手段１５０に記録されている広告を、ユーザ指示取得手段１２０により受け取った情報に基づいて抽出した部分画像に対応付けるべき広告として決定する。

広告伝達手段１９０は、広告決定手段１８０により決定した広告をユーザ端末１０に表示するために送信する。本実施形態において、表示は、後述するように、ユーザが広告の有無を把握した後、見たい広告を見たいときに適宜選択して見ることができるようにして行う。

［動画対応広告装置のハードウェア構成図］
図３は、本実施形態に係る動画対応広告装置１００のハードウェア構成を示す図である。本発明が実施されるサーバは標準的なものでよく、以下に構成の一例を示す。

動画対応広告装置１００は、制御部３００を構成するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１０（マルチプロセッサ構成ではＣＰＵ３２０等複数のＣＰＵが追加されてもよい）、バスライン２００、通信Ｉ／Ｆ（Ｉ／Ｆ：インターフェイス）３３０、メインメモリ３４０、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）３５０、表示装置３６０、Ｉ／Ｏコントローラ３７０、キーボード及びマウス等の入力装置３８０、ハードディスク３９０、光ディスクドライブ４００、並びに半導体メモリ４２０を備える。なお、ハードディスク３９０、光ディスクドライブ４００、並びに半導体メモリ４２０はまとめて記憶装置４３０と呼ぶ。

制御部３００は、動画対応広告装置１００を統括的に制御する部分であり、ハードディスク３９０（後述）に記憶された各種プログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、本発明に係る各種機能を実現している。

通信Ｉ／Ｆ３３０は、動画対応広告装置１００が、インターネット５０（図１）を介してユーザ端末１０等（図１）と情報を送受信する場合のネットワーク・アダプタである。通信Ｉ／Ｆ３３０は、モデム、ケーブル・モデム及びイーサネット（登録商標）・アダプタを含んでよい。

ＢＩＯＳ３５０は、動画対応広告装置１００の起動時にＣＰＵ３１０が実行するブートプログラムや、動画対応広告装置１００のハードウェアに依存するプログラム等を記録する。

表示装置３６０は、ブラウン管表示装置（ＣＲＴ）、液晶表示装置（ＬＣＤ）等のディスプレイ装置を含む。

Ｉ／Ｏコントローラ３７０には、ハードディスク３９０、光ディスクドライブ４００、及び半導体メモリ４２０等の記憶装置４３０を接続することができる。

入力装置３８０は、動画対応広告装置１００の管理者による入力の受け付けを行うものである。

ハードディスク３９０は、本ハードウェアを動画対応広告装置１００として機能させるための各種プログラム、本発明の機能を実行するプログラム及び後述するテーブル及びレコードを記憶する。なお、動画対応広告装置１００は、外部に別途設けたハードディスク（図示せず）を外部記憶装置として利用することもできる。

光ディスクドライブ４００としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＣＤ−ＲＡＭドライブを使用することができる。この場合は各ドライブに対応した光ディスク４１０を使用する。光ディスク４１０から光ディスクドライブ４００によりプログラムまたはデータを読み取り、Ｉ／Ｏコントローラ３７０を介してメインメモリ３４０またはハードディスク３９０に提供することもできる。

なお、本発明でいうコンピュータとは、記憶装置、制御部等を備えた情報処理装置をいい、動画対応広告装置１００は、記憶装置４３０、制御部３００等を備えた情報処理装置により構成され、この情報処理装置は、本発明のコンピュータの概念に含まれる。

ユーザ指示取得手段１２０、部分画像抽出手段１４０、部分画像連続性判定手段１６０、部分画像同一性確認手段１７０、広告決定手段１８０及び広告伝達手段１９０には制御部３００が主として対応する。動画記録手段１３０と部分画像対応広告記録手段１５０には記憶装置４３０が主として対応する。

［ユーザ端末１０のハードウェア構成］
ユーザ端末１０も、上述の動画対応広告装置１００と同様な構成を持つ。また、上述の例ではいわゆるコンピュータで実現した例について説明したが、さらに、本発明の原理が適用可能である限り、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄａｔａ Ａｓｓｉｓｔａｎｔ）、ゲーム機等の様々な端末で実現してよい。

［部分画像の指定］
図４は、本実施形態に係る動画中の部分画像の指定方法を示す図である。
動画中の部分画像を指定する方法は種々考えられるが、図４（ａ）は無線リモコンにより指定する方法を示している。セットトップボックス（以下、ＳＴＢという）５００がＴＶ受像機５１０と接続されるとともに、インターネット５０に接続されている。無線リモコン５２０は電波や赤外線を用いてＳＴＢ５００と信号の送受が可能である。

無線リモコン５２０は、ボタンを操作することによりＴＶ受像機の画面上に表示されたポインタ５４０を上下左右に動かすことができるが、傾きや動きの変化を検出するモーションセンサーを内蔵させて、ボタン操作をせずにポインタ５４０を動かすこともできる。これは、テレビで複数人で動画を見るときに便利な指定方法である。

図４（ｂ）は、マウスにより指定する方法を示している。無線リモコン５２０と無線通信５３０がマウス５５０と有線通信５６０に置き換わったことを除き図４（ａ）と同様である。これは、パソコン等で１人で動画を見るときに便利な指定方法である。

このようにしてＴＶ番組の特定のシーン内の特定の場所が指定されると、当該ＴＶ番組の番組ＩＤと、シーンの時間と、指定された場所の座標情報が、動画中の特定のシーンにおける特定の部分画像に関連する情報として、ＳＴＢ５００からインターネット５０を介して、動画対応広告装置１００に送信される。なお、ＳＴＢ５００、ＴＶ受像機５１０、無線リモコン５２０及びマウス５５０はユーザ端末１０（図１）を構成する要素である。

［部分画像の特定］
図５は、本実施形態に係る部分画像の特定方法を示す図である。
ユーザ端末から前記の情報を受け取った動画対応広告装置１００は、ＴＶ番組の番組ＩＤと、シーンの時間に基づいて動画記録手段１３０から当該シーンを読み出し、受け取った座標情報から、当該シーンのどの場所が指定されているのかを知る。図５（ａ）は、シーン６００が読み出され、当該シーン上の点Ｐが指定された例を示している。

シーン６００において、点Ｐを含む部分画像６１０があるとする。ここで、説明を簡単にするために、部分画像６１０は、Ｒ、Ｓ、Ｔ、Ｕを４つの頂点とする四角形であると仮定している。部分画像の切り出しは、前述したように、エッジ処理により行う。このとき、Ｐが部分画像６１０に含まれるか否かは、点Ｐと４つの頂点Ｒ、Ｓ、Ｔ、Ｕをそれぞれ結んで生成される４つの三角形の面積の合計と部分画像６１０の四角形の面積とを比較することでわかる。両者が等しければＰは部分画像６１０に含まれる。

点Ｐと頂点Ｒ、Ｓの３つの点で囲まれる三角形を△ＰＲＳと書くことにすると、４つの三角形とは、△ＰＲＳと△ＰＳＴと△ＰＴＵと△ＰＵＲである。図５（ｂ）においては、これらの４つの三角形の面積の合計は、四角形ＲＳＴＵの面積に一致する。一方、図５（ｃ）に示すように、Ｐが四角形ＲＳＴＵの外にある場合は、これらの４つの三角形の面積の合計は、四角形ＲＳＴＵの面積に一致しない。

なお、ここで、部分画像６１０は四角形として説明したが、どのような形の部分画像であっても、適当に点を仮定し、多角形として考えれば同様の方法で判定することができる。

このようにして、シーン内にある複数の部分画像から、指定された点を含む部分画像を抽出することができる。このようにして抽出された部分画像が、指定された点に基づいて抽出された部分画像であり、動画中の特定のシーンにおける特定の部分画像に関連する情報に基づいて抽出した部分画像に該当する。

図６は、本実施形態に係る部分画像の重複を示す図である。
１つのシーンには、複数個の部分画像が含まれている。それらは互いに重複していることもあるので、指定された点Ｐを含む部分画像も複数個ある場合がある。図６（ａ）は部分画像６２０（ハッチングで表示）と部分画像６３０（太枠で表示）がともに点Ｐを含む例を示している。この場合、点Ｐに基づいて部分画像６２０と部分画像６３０の２つの部分画像が抽出される。

図６（ｂ）は、部分画像６２０（ハッチングで表示）が点Ｐを含む。一方、部分画像６４０（ブランクで表示−四角形ＩＥＧＪ）は点Ｐを含まない。しかし、これらを２つ合成した部分画像（太枠で表示−四角形ＩＦＨＪ）は点Ｐを含む。このように境界線を共有する部分画像は、それらを合成した部分画像も構成するため、１つの点に基づいて抽出する部分画像は複数になることが多い。

図７は、本実施形態に係る部分画像の重複の具体例を示す図である。
点Ｐが指定されているものとし、点Ｐから抽出される部分画像は、女性の服と女性その人の２つが考えられる。

［部分画像の時間変化］
図８は、本実施形態に係る部分画像の時間変化を示す図である。
図８（ａ）は、シーン６６０において、点Ｐ０が指定されており、２つの部分画像Ｘ１とＹ１があるものとする。このうち点Ｐ０を含む部分画像はＸ１である。図８（ｂ）は、シーン６６０と時間的に近接するシーン６７０において、点Ｐ０と、点Ｐ０の近傍に配置した４つの点Ｐ１〜Ｐ４と、シーン６７０に含まれる部分画像Ｘ２とＹ２を示している。

ここで、シーン６７０はシーン６６０に時間的に近接しているが、時間的には前であっても後であってもよい。しかし、本実施例においては、時間的に前であるものとする。このとき、シーンが連続的に変化する限り、シーン６７０に含まれる部分画像は、シーン６６０において少ししか変化しないと考えられる。

そこで、シーン６６０において指定された点Ｐ０とその近傍の４つの点Ｐ１〜Ｐ４の計５つの点のいずれかが、シーン６７０において含まれる部分画像を抽出する。そうすると、部分画像Ｘ２には、点Ｐ０、点Ｐ１、点Ｐ２、点Ｐ３の４つの点が含まれ、部分画像Ｙ２には、点Ｐ４が含まることがわかる。

この事実に基づき、シーン６６０の部分画像Ｘ１は、シーン６７０の部分画像Ｘ２またはＹ２のいずれかと連続すると考えることができる。そこで、次に、これらのいずれであるかを決定する。

図９は、本実施形態に係る部分画像の重複状況を示す図である。部分画像の連続性の判断は、部分画像の重複率により行う。図９（ａ）は、シーン６６０の部分画像Ｘ１とシーン６７０の部分画像Ｘ２の重複状況、図９（ｂ）は、シーン６６０の部分画像Ｘ１とシーン６７０の部分画像Ｙ２の重複状況をそれぞれ示している。

それぞれの部分画像の面積と重複部分の面積を求めて比較することにより、重複率を計算することができるが、一目してわかるように、図９（ａ）に示す方が部分画像の重複率は大きい。このようにして、シーン６６０の部分画像Ｘ１はシーン６７０の部分画像Ｘ２に連続するものであると判定することができる。

シーン６７０をさらに前のシーンと比較するときは、部分画像Ｘ２に含まれる点Ｐ０、Ｐ１、Ｐ２、Ｐ３のうちいずれかを選び、その近傍に改めて４つの点を配置して同様の処理を行う。このようにすれば、シーンが連続的に変化する限り、時間的に離れたシーンであっても、部分画像の同一性を判断することができる。最初に抽出される部分画像が複数個あるときは、それぞれの部分画像について同様の処理を行えばよい。

なお、シーンの移動方向によっては、４つ以上の点を近傍に配置してもよい。シーン間の時間間隔と近傍に配置する点の数は、適宜選べばよい。

図１０は、本実施形態に係る連続的に変化するシーンの具体例を示す図である。
図１０の左側に示す現在のシーン６５０は、図７のシーンを再掲したものであり、ユーザが部分画像を指定したシーンを示している。図１０の右側に示す図は当該シーンを時間的に遡ったシーンであり、連続的に変化するシーンの中の最初のシーン６８０を示している。

ここで、女性の部分画像に着目すると、これらの２つのシーンにおいて、女性の部分画像は形も場所も異なっており、直接には２つの部分画像が同一性を有する部分画像であると判断することは困難である。しかし、上記で説明した方法により、これらの間にある複数のシーンを介することにより、２つの部分画像が同一であると判定することができる。

［広告との対応付け］
図１１は、本実施形態に係る部分画像の特定方法を示す図である。
部分画像対応広告記録手段１５０に、ＴＶ番組に係る特定のシーンにおける特定の部分画像に広告を関連付けて、当該部分画像に係る情報と当該広告に係る情報とを記録するために部分画像を特定する必要がある。部分画像の特定方法は種々考えられるが、ここでは最も簡便な方法を示す。

女性の部分画像が示されたシーン６８０において、当該部分画像に接する直立の四角形を観念し、その４辺の座標情報で部分画像を特定する。４辺のうち、上辺の座標情報をＴ、下辺の座標情報をＢ、左辺の座標情報をＬ、右辺の座標情報をＲとすると、Ｔ、Ｂ、Ｌ、Ｒで部分画像を特定することができる。このほかにも、例えば、部分画像の面積を用いたり、部分画像の色数を用いるようにしてもよい。

図１２は、本実施形態に係る広告関連付けテーブルを示す図である。
部分画像は、当該部分画像が含まれるＴＶ番組の番組ＩＤと当該部分画像が含まれるシーンの時間と、当該シーンにおいて当該部分画像に接する四角形の４辺の座標情報によって特定することができる。図１２は、そのようにして特定された部分画像に広告ＵＲＬを関連付けて保有するテーブルである。

ここでは、番組ＩＤがいずれも１００のＴＶ番組において、時間が１２：００：００のシーンの３つの部分画像（部分画像ＩＤが１〜３）にそれぞれ広告ＵＲＬが関連付けられている。また、時間が１２：００：１５のシーンの１つの部分画像（部分画像ＩＤが４）に広告ＵＲＬが関連付けられている。なお、広告ＵＲＬのほかに、広告に係る対象名とジャンルが保有されている。

［シーンの遡り］
図１３は、本実施形態に係るシーンの遡りを示す図である。
ＴＶ番組中のシーンは常時変化するが、そのうち、ある特定のシーンにおいて、部分画像に広告ＵＲＬが関連付けられているものとする。図１２で説明した例では、時間が１２：００：００と１２：００：１５のシーンにおいて、部分画像に広告ＵＲＬが関連付けられている。

図１３（ａ）に従って説明する。いま、そのＴＶ番組の１２：０１：００のシーンにおいて、ユーザがある部分画像に係る点を指定したとする。ここで、そのシーン番号を０として、１秒ごとに時間を遡るシーンを順次シーン番号を１、２、３、…とすると、広告ＵＲＬが関連付けられた１２：００：００と１２：００：１５の２つのシーンは、それぞれシーン番号６０と４５となる。

つまり、現在のシーンからスタートして、上記で説明した部分画像の連続性判定に係る処理を４５回繰り返せば１２：００：１５のシーンに、６０回繰り返せば１２：００：００のシーンに、それぞれ到達することができる。

このようにして、広告関連付けテーブル（図１２）に登録された部分画像とユーザが最初に指定した部分画像の同一性が確認されとき、対応する広告ＵＲＬを決定することができる。

なお、この例では、現在のシーンから１秒ごとに遡れば広告ＵＲＬが関連付けられたシーンに到達できたが、もし、１秒以下の時間の食い違いがある場合は、１秒ごとに遡り、最後に１秒未満の端数を調整すればよい。例えば、図１３（ｂ）に従って説明すると、指定されたシーンの時間が１２：００：５９：１５であるとし、広告ＵＲＬに関連付けられたシーンの時間が１２：００：１５：３５である場合、１秒ごとに４３回遡り、１２：００：１６：１５のシーンに到達した後、最後に０．４秒遡ればよい。

また、画像の動きが早く、１秒の間隔では部分画像の連続性の確認が困難な場合は、さらに時間間隔を短くして行えばよい。

［広告情報の表示］
図１４は、本実施形態に係る広告情報の表示方法を示す図である。
上記で説明した方法により、ユーザがＴＶ番組の視聴中に指定した部分画像に関連する広告があることがわかった場合には、その件数をＴＶ番組画面の上部隅７００に表示する。ユーザが特定のシーンにおいてある１つの点を指定した場合であっても、すでに説明したように、複数の部分画像が抽出される可能性があるので、それに関連する広告の件数も複数個ありえる。

例えば、図７の例に戻って説明すれば、女性がタレントであるとして、そのタレントが着ている服とそのタレント自身についての２種類の広告があることが考えられる。また、ユーザが、さらに別のシーンにおいて別の部分画像を指定したときに、その部分画像に関連する広告があることもある。件数が表示されると、ユーザは、無線リモコン５２０やマウス５５０を操作することにより、広告の内容をいつでも画面に表示して見ることができる。

図１５は、本実施形態に係る広告のメニューを示す図である。
ユーザが広告の内容を表示するための操作を行うと、動画対応広告装置１００が広告関連付けテーブル（図１２）から取得した広告の対象名とジャンルがメニュー情報として表示される。ユーザは、この中から自分が見たい広告を表示してみることができる。動画対応広告装置１００は、広告情報をユーザ端末１０に送信する際、メニュー情報と併せ、広告ＵＲＬを送ることにより、ユーザ端末１０はユーザの選択する広告ＵＲＬにアクセスすることができる。

このような方法によれば、異なるシーンにおける部分画像の色や形が大きく異なる場合であっても、そのシーンの間にある複数のシーンに分けて、部分画像の連続性をトレースするので、確実に部分画像の同一性を確認することができる。したがって、連続して変化するシーンの中の１つのシーンにおいて特定の部分画像に広告情報を関連付けておけば、そのシーンとは異なるシーンからでも、その広告情報を見つけることができる。

なお、上記で説明した例では、部分画像に広告情報を関連付けたシーンは、ユーザがある部分画像に係る点を指定したシーンより時間的に前であるとしたが、時間的順序が逆になってもよい。シーンの時間が戻る方向ではなく、時間が進む方向に部分画像の連続性をトレースすれば、上記の方法で部分画像の同一性を確認できるからである。

（第２の実施形態）
第２の実施形態は、異なるシーンに現れる部分画像の同一性を、時間的に近接するシーンにおける部分画像の連続性を判断するのではなく、部分画像の特徴情報に着目して判定する。また、第２の実施形態は、ＴＶ番組ではなく、サーバ上に蓄積した動画をサーバからユーザ端末１０に送信するものとする。

なお、以下の説明及び図面において、前述した第１の実施形態と同様の機能を果たす部分には、同一の符号を付して、重複する説明を適宜省略する。

［動画対応広告装置と関連要素の全体構成］
図１６は、本実施形態に係る動画対応広告装置と関連要素の全体構成を示す図である。
本実施形態においては、動画はＴＶ番組ではなく、サーバから送信されるので、図１にあった放送局４０がなく、また、ＴＶ番組ＤＢ３０の代わりに動画ＤＢ６０がある。

［動画対応広告装置の機能構成］
図１７は、本実施形態に係る動画対応広告装置の機能構成を示す図である。
動画記録手段１３０に記録された動画をユーザ端末１０に送信するための動画送信手段１１０を備える。それ以外は図２と同じである。

［広告との対応付け］
図１８は、本実施形態に係る広告関連付けテーブルを示す図である。部分画像の特徴情報を記録した検索用タグと、当該部分画像に関連付けた広告ＵＲＬ、対象名、ジャンルを保有している。特徴情報としては、例えば、部分画像の輪郭や部分画像を構成する色数等がある。広告関連付けテーブルは、部分画像対応広告記録手段１５０を構成する記憶装置４３０（図３）に記録されている。したがって、本実施形態において、部分画像対応広告記録手段１５０に記録した部分画像に係る情報は、当該部分画像に係る情報の特徴情報である。

広告関連付けテーブルの検索に当たっては、第１の実施形態で説明した方法で抽出した部分画像について、すでに実用化されている類似画像検索技術に基づき、特徴情報を比較することにより行う。その際、特徴情報が完全に一致するものがない場合には、類似度が最も大きいものを選ぶ。類似画像検索では、検索の対象となる画像から視覚的な情報を数百次元の数値列データ（画像特徴量）で示し、データ同士の似ている度合い（類似度）を、画像特徴量ベクトル間の距離、すなわち、この画像特徴量の違いとして評価する。

このようにして、ユーザが動画中のシーンで特定をした部分画像と、広告と対応付けた部分画像との同一性を確認し、表示すべき広告を決定することができる。

また、このような方法によれば、シーンの連続性を前提としないため、広告を対応付けた部分画像が、動画中のまったく別のシーンに登場した場合にも、対応することができる。

［広告の階層構造］
図１９は、本実施形態に係る動画のシーンの一例を示す図である。ピラミッドが３つ表示されており、真ん中のピラミッドがユーザにより指示されている。

図２０は、本実施形態に係る広告ＵＲＬ階層構造ツリーを示す図である。
最上位に海外旅行に係る広告のＵＲＬ８００、ＵＲＬ８００の下にエジプト旅行に係る広告のＵＲＬ８１０と中国旅行に係る広告のＵＲＬ８２０他、ＵＲＬ８１０の下にピラミッド観光に係る広告のＵＲＬ８３０とナイル川下りに係るＵＲＬ８４０他が階層構造を構成している。この広告ＵＲＬ階層構造ツリーは記憶装置４３０（図３）に記録されている。

［広告の決定フロー］
図２１は、本実施形態に係る広告の決定に係る処理フローを示す図である。
ユーザが指定した部分画像への広告の決定は、前述の広告関連付テーブル（図１８）と広告ＵＲＬ階層構造ツリー（図２０）を用い、以下のように行う。

Ｓ１０００：ユーザ指示取得手段１２０は、ユーザ端末１０からユーザ指示を受け取る。動画のＩＤ（番組ＩＤに相当）とシーンの時間とユーザにより指定された場所の座標情報が含まれている。

Ｓ１０１０：部分画像抽出手段１４０は、動画記録手段１３０を参照し、当該シーンのおける部分画像を抽出する。以上は、第１の実施形態と同様である。なお、本実施形態において、動画記録手段１３０は動画ＤＢ６０（図１６）に対応する。

Ｓ１０２０：部分画像同一性確認手段１７０は、前記で抽出した部分画像から特徴情報を抽出する。

Ｓ１０３０：広告決定手段１８０は、広告関連付テーブル（図１８）を検索し、特徴情報が同一または類似の広告ＵＲＬを取得する。

Ｓ１０４０：広告決定手段１８０は、広告ＵＲＬ階層構造ツリー（図２０）より、前記で取得した広告ＵＲＬの上位階層にある広告ＵＲＬを取得する。

Ｓ１０５０：広告伝達手段１９０は、上階層を含む、取得した広告ＵＲＬをユーザ端末１０に送信する。

［広告情報の表示］
図２２は、本実施形態に係る広告情報の表示方法を示す図である。

図２２のようにユーザに指定された場合、上記のような処理を行うことにより、ピラミッド観光、エジプト旅行、海外旅行の３つの広告ＵＲＬが抽出される。広告ＵＲＬと併せ、当該広告に係る対象名やジャンルの情報も抽出することにより、図２２に示すような内容をユーザ端末に表示させることができる。

この後の処理は、第１の実施形態と同様である。

（第３の実施形態）
第３の実施形態は、ユーザ端末への広告の伝達方法が第１の実施形態と異なる。第１の実施形態では、表示すべき広告がある場合に、ＴＶ番組視聴中に広告の件数を画面上に表示するようにしたので（図１４参照）、広告決定手段１８０により表示すべき広告が決定されるとすぐにユーザ端末１０に送信すればよかった。

しかし、第３の実施形態では、視聴中のＴＶ番組が終了したときや、ＣＭが入ったときにタイミングを合わせて広告情報を送信する。ＴＶ番組の終了のタイミングやＣＭ放映のタイミングはサーバ側でもＴＶ放送を受信することにより把握することができるので、その信号検知をしたときに、ユーザ端末１０に対して広告情報を送信する。

この方法では、ユーザから最初にユーザ指示を受け取って広告決定するまでの一連のプロセスと、広告を伝達するプロセスが時間的に連続性を持たないため、決定した広告とユーザＩＤを対応付けて記録しておく必要がある。

図２３は、本実施形態に係るユーザＩＤ広告ＵＲＬ対応テーブルを示す図である。
広告決定手段１８０が、広告決定時にこのテーブルを作成し、広告伝達手段１９０が、ＴＶ番組の終了時等にこのテーブルを参照し、ユーザ端末１０に広告ＵＲＬを送信する。そうするとユーザ端末１０から、そのＵＲＬにアクセスが行われ、広告内容が表示される。

このようにＴＶ番組が終了したとき等に広告情報を送信することで、ユーザはＴＶ番組視聴中に広告情報が表示されることがないのでＴＶ番組視聴に集中することができる。

（第４の実施形態）
第４の実施形態は、同じ部分画像を指定しても、ユーザの属性に応じて伝達する広告を変える仕組みを提供する。

この仕組みを可能とするために、ユーザ指示取得手段１２０がユーザ端末１０から受け取る情報にはユーザを識別するためのユーザＩＤが含まれており、動画対応広告装置１００は、ユーザＩＤに対応してユーザの属性を保有する。

［ユーザ属性テーブル］
図２４は、本実施形態に係るユーザ属性テーブルを示す図である。
ユーザ属性テーブルには、ユーザＩＤと性別と年齢が保有されている。性別は、１が男性、２が女性を表す。保有する属性はこれに限られるものではなく、他の属性を持つようにしてもよい。

［ユーザ属性に応じた広告決定］
図２５は、本実施形態に係る広告関連付けテーブルを示す図である。
既述の実施形態では、１つの部分画像には１つの広告情報が関連付けられていたが、本実施形態では、ユーザ属性に応じて選択可能な複数の広告情報が関連付けれられている。

広告決定手段１８０は、広告関連付けテーブル（図２５）に基づいて広告を決定する際に、まず、ユーザ属性テーブル（図２４）を参照して、ユーザＩＤに基づいてユーザ属性を取得する。そして、そのユーザ属性と部分画像の情報に基づき、広告を決定する。

図２５の例によれば、部分画像ＩＤが１の部分画像に関連付けた広告は、ユーザ属性に対応して３つあり、その中からユーザ属性に応じた広告が決定される。

なお、ここでは、ユーザ属性は動画対応広告装置１００において保有することとしたが、ユーザ端末１０において保有するようにしてもよい。この場合には、ユーザ指示取得手段１２０がユーザ端末１０から受け取る情報にユーザ属性を含める。

また、ユーザＩＤはユーザ端末１０において保有されており、ユーザ端末１０を識別する情報としても機能するが、図４（ａ）のような構成において、無線リモコン５２０に枝番号を割り当て、複数の無線リモコンを家族等の別々のユーザに持たせるようにすると、１台のユーザ端末１０について複数のユーザに対応した複数のユーザＩＤを割り当てることが可能となる。この場合、ユーザ端末１０は、親番号で識別し、操作者としてのユーザは親番号と枝番号により識別するようにする。

このような方法によれば、ユーザの属性を反映した、きめ細かな広告情報の提供が可能となる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

本発明の第１の実施形態に係る動画対応広告装置と関連要素の全体構成を示す図である。 本発明の第１の実施形態に係る動画対応広告装置の機能構成を示す図である。 本発明の第１の実施形態に係る動画対応広告装置１００のハードウェア構成を示す図である。 本発明の第１の実施形態に係る動画中の部分画像の指定方法を示す図である。 本発明の第１の実施形態に係る部分画像の特定方法を示す図である。 本発明の第１の実施形態に係る部分画像の重複を示す図である。 本発明の第１の実施形態に係る部分画像の重複の具体例を示す図である。 本発明の第１の実施形態に係る部分画像の時間変化を示す図である。 本発明の第１の実施形態に係る部分画像の重複状況を示す図である。 本発明の第１の実施形態に係る連続的に変化するシーンの具体例を示す図である。 本発明の第１の実施形態に係る部分画像の特定方法を示す図である。 本発明の第１の実施形態に係る広告関連付けテーブルを示す図である。 本発明の第１の実施形態に係るシーンの遡りを示す図である。 本発明の第１の実施形態に係る広告情報の表示方法を示す図である。 本発明の第１の実施形態に係る広告のメニューを示す図である。 本発明の第２の実施形態に係る動画対応広告装置と関連要素の全体構成を示す図である。 本発明の第２の実施形態に係る動画対応広告装置の機能構成を示す図である。 本発明の第２の実施形態に係る広告関連付けテーブルを示す図である。 本発明の第２の実施形態に係る動画のシーンの一例を示す図である。 本発明の第２の実施形態に係る広告ＵＲＬ階層構造ツリーを示す図である。 本発明の第２の実施形態に係る広告の決定に係る処理フローを示す図である。 本発明の第２の実施形態に係る広告情報の表示方法を示す図である。 本発明の第３の実施形態に係るユーザＩＤ広告ＵＲＬ対応テーブルを示す図である。 本発明の第４の実施形態に係るユーザ属性テーブルを示す図である。 本発明の第４の実施形態に係る広告関連付けテーブルを示す図である。

符号の説明

１０ ユーザ端末
２０ 動画対応広告サーバ
３０ ＴＶ番組ＤＢ
４０ 放送局
５０ インターネット
６０ 動画ＤＢ
１００ 動画対応広告装置
２００ バスライン
３００ 制御部
４３０ 記憶装置
５００ セットトップボックス
５１０ ＴＶ受像機
５２０ 無線リモコン
５５０ マウス
６００、６５０、６６０、６７０、６８０ シーン
６１０、６２０、６３０、６４０ 部分画像

Claims (7)

1. 動画中の特定のシーンにおける特定の部分画像に関連する情報をユーザの使用する端末装置から受け取るユーザ指示取得手段と、
   動画中の特定のシーンにおける特定の部分画像に関連する情報に基づいて前記シーンから該情報に関連する部分画像を抽出する部分画像抽出手段と、
   動画中の特定のシーンにおける特定の部分画像に広告を関連付けて、該部分画像に係る情報と該広告に係る情報とを記録する部分画像対応広告記録手段と、
   前記ユーザ指示取得手段により受け取った情報に基づいて前記部分画像抽出手段により抽出した部分画像と、前記部分画像対応広告記録手段に記録した情報に係る部分画像との同一性を確認する部分画像同一性確認手段と、
   前記部分画像同一性確認手段による確認結果に基づいて、前記ユーザ指示取得手段により受け取った情報に基づいて前記部分画像抽出手段により抽出した部分画像に対応付けるべき広告を決定する広告決定手段と、
   前記広告決定手段により決定した広告を前記端末装置に表示するために送信する広告伝達手段と、
   異なる２つのシーンからそれぞれ前記部分画像抽出手段により抽出した部分画像間の同一性を判定する部分画像連続性判定手段と、
   を備え、
   前記部分画像連続性判定手段は、
   前記異なる２つのシーンのうち第１のシーンにおいて、前記ユーザ指示取得手段により受け取った情報に基づいて前記部分画像抽出手段により抽出した部分画像と同一と判定された部分画像を比較元として、
   前記異なる２つのシーンのうち第２のシーンにおいて、前記比較元の部分画像内の複数の点のうち少なくとも１点に対応する点を含む１以上の部分画像の各々を比較相手として、
   前記第１のシーンにおける前記比較元の部分画像と、前記第２のシーンにおける１以上の前記比較相手の部分画像の各々との内部の領域の重複度をそれぞれ求め、
   前記第２のシーンにおける１以上の前記比較相手の部分画像のうち最高の重複度を有する部分画像を、前記ユーザ指示取得手段により受け取った情報に基づいて前記部分画像抽出手段により抽出した部分画像と同一と判定し、
   前記部分画像同一性確認手段は、
   前記部分画像連続性判定手段により、前記ユーザ指示取得手段により受け取った情報に基づいて前記部分画像抽出手段により抽出した部分画像と同一と判定される部分画像を、前記ユーザ指示取得手段により受け取った情報に係るシーンと前記部分画像対応広告記録手段に記録した情報に係るシーンとの間のシーンについて繰り返し抽出することにより、
   時間的に近接する２つのシーンについての部分画像の連続性を順次確認し、最終的に、時間的に離れた、前記部分画像抽出手段により抽出した部分画像と、前記部分画像対応広告記録手段に記録した情報に係る部分画像との同一性を確認する
   ことを特徴とする動画対応広告装置。
2. 前記動画はＴＶ番組であり、
   前記ユーザ指示取得手段により前記端末装置から受け取る情報は、前記ＴＶ番組を特定する情報と該ＴＶ番組のシーンを特定する情報とを含み、
   前記部分画像抽出手段は、前記ユーザ指示取得手段により前記端末装置から受け取った前記ＴＶ番組を特定する情報と該ＴＶ番組のシーンを特定する情報とに基づいて部分画像を抽出するシーンを決定することを特徴とする請求項１に記載の動画対応広告装置。
3. 前記ユーザ指示取得手段により前記端末装置から受け取る情報は、動画中の特定のシーンにおける位置を特定する情報を含み、
   前記部分画像抽出手段は、前記ユーザ指示取得手段により前記端末装置から受け取った情報により特定される位置を含む部分画像を抽出することを特徴とする請求項１に記載の動画対応広告装置。
4. 前記広告決定手段により決定する広告は、関連する複数の広告を決定することを特徴とする請求項１に記載の動画対応広告装置。
5. 前記広告決定手段により決定する広告は、前記ユーザの属性に応じて前記広告を決定することを特徴とする請求項１に記載の動画対応広告装置。
6. 前記広告伝達手段は、動画の進行に応じて広告を前記端末装置に表示するために送信するタイミングを決めることを特徴とする請求項１に記載の動画対応広告装置。
7. コンピュータが、動画中の特定のシーンにおける特定の部分画像に関連する情報をユーザの使用する端末装置から受け取るユーザ指示取得ステップと、
   コンピュータが、前記端末装置から受け取った情報に基づいて前記シーンから該情報に関連する部分画像を抽出する部分画像抽出ステップと、
   動画中の特定のシーンにおける特定の部分画像に広告を関連付けて、該部分画像に係る情報と該広告に係る情報とが記憶装置に記録されており、
   コンピュータが、前記端末装置から受け取った情報に基づいて抽出した部分画像と、前記記憶装置に記録されている情報に係る部分画像との同一性を確認する部分画像同一性確認ステップと、
   コンピュータが、前記確認した結果に基づいて、前記端末装置から受け取った情報に基づいて抽出した部分画像に対応付けるべき広告を決定する広告決定ステップと、
   コンピュータが、前記決定した広告を前記端末装置に表示するために送信する広告伝達ステップと、
   コンピュータが、異なる２つのシーンからそれぞれ抽出した部分画像間の同一性を判定する部分画像連続性判定ステップと、
   を含み、
   前記部分画像連続性判定ステップは、前記コンピュータが、
   前記異なる２つのシーンのうち第１のシーンにおいて、前記端末装置から受け取った情報に基づいて抽出した部分画像と同一と判定された部分画像を比較元として、
   前記異なる２つのシーンのうち第２のシーンにおいて、前記比較元の部分画像内の複数の点のうち少なくとも１点に対応する点を含む１以上の部分画像の各々を比較相手として、
   前記第１のシーンにおける前記比較元の部分画像と、前記第２のシーンにおける１以上の前記比較相手の部分画像の各々との内部の領域の重複度をそれぞれ求め、
   前記第２のシーンにおける１以上の前記比較相手の部分画像のうち最高の重複度を有する部分画像を、前記端末装置から受け取った情報に基づいて抽出した部分画像と同一と判定する、
   ステップを含み、
   前記部分画像同一性確認ステップは、前記コンピュータが、
   前記部分画像連続性判定ステップの処理により、前記端末装置から受け取った情報に基づいて抽出した部分画像と同一と判定される部分画像を、前記端末装置から受け取った情報に係るシーンと前記記憶装置に記録された情報に係るシーンとの間のシーンについて繰り返し抽出することにより、
   時間的に近接する２つのシーンについての部分画像の連続性を順次確認し、最終的に、時間的に離れた、前記端末装置にから受け取った情報に基づいて抽出した部分画像と、前記記憶装置に記録された情報に係る部分画像との同一性を確認する
   ステップを含む
   動画対応広告方法。

Images