JP5334771B2

JP5334771B2 - 広告クリップをビデオ系列に挿入する方法、及び対応する装置

Info

Publication number: JP5334771B2
Application number: JP2009213544A
Authority: JP
Inventors: ルムールオリヴィエ; ニナッシアレクサンドル; アルバンファブリチェ
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2008-10-07
Filing date: 2009-09-15
Publication date: 2013-11-06
Anticipated expiration: 2029-09-15
Also published as: CN101714155B; JP2010093798A; US20100199300A1; CN101714155A; US8813119B2; EP2175654A1

Description

本発明は、クリップ又は広告シーケンスの、ビデオ・ピクチャ系列への挿入に関する。

インターネットを介したビデオ・コンテンツ配信の出現により、広告は、ヤフー（商標）、グーグル（商標）やマイクロソフト（商標）などの当該分野の当事者によって、成長の主要要因として考えられている。種々のツールがこの目的で、観客に不便をかけることを避けながらビデオにおける挿入広告の視覚的な影響を増加させるために開発されている。

特に、マイクロソフト（商標）は、「ＶｉｄｅｏＳｅｎｓｅ：ａｃｏｎｔｅｘｔｕａｌｖｉｄｅｏａｄｖｅｒｔｉｓｉｎｇｓｙｓｔｅｍ，Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ１５ｔｈｉｎｔｅｒｎａｔｉｏｎａｌｃｏｎｆｅｒｅｎｃｅｏｎＭｕｌｔｉｍｅｄｉａ，ｐｐ４６３−４６４，２００７」と題する文書に記載されたＶｉｄｅｏＳｅｎｓｅと呼ばれるツールを開発している。このツールは、広告クリップをビデオ系列に挿入するために作成されており、その目的は、ビデオ系列に適切なクリップを選択し、ビデオ系列の最初及び最後のみならず、ビデオ中の主たる時点にこれを挿入することである。挿入する対象のクリップを選択するために、色、動き、又は音のリズムのタイプの低位パラメータがクリップ及び系列から抽出され、次いで、互いに比較され、その場合に選択されるクリップは、ビデオ系列のものに最も近い低位パラメータを有するものである。クリップ又は系列に関連付けされ、クリップ又は系列に含まれるテキスト情報又はビデオ・コンテンツの放送業者又は広告主によって供給されるタイトルなどの更なる情報も、系列に挿入する対象のクリップを選択するために使用される。選択されると、クリップは、系列の特定の点において挿入され、特に、非連続性が高く、魅力度が低い、系列の点（例えば、動きを全く含まないシーン又はショットの最後）において挿入される。

選択されたクリップはしたがって、一般にショットの切り換え後に配置される。選択されたクリップのビデオ・コンテンツは、挿入される系列のコンテンツに関係するが、観客によるクリップの認識に対する前述のショット切り換えの影響は無視される。実際に、ショット切り換え後の凝視ゾーンの時間的延長に関する、いくつかの研究により、（特に、Ｏ．ＬｅＭｅｕｒ、Ｐ．ＬｅＣａｌｌｅｔ及びＤ．Ｂａｒｂａによる「Ｐｒｅｄｉｃｔｉｎｇｖｉｓｕａｌｆｉｘａｔｉｏｎｓｏｎｖｉｄｅｏｂａｓｅｄｏｎｌｏｗ−ｌｅｖｅｌｖｉｓｕａｌｆｅａｔｕｒｅｓＶｉｓｉｏｎＲｅｓｅａｒｃｈ，Ｖｏｌ．４７／１９ｐｐ２４８３−２４９８，Ｓｅｐｔ．２００７」と題する文書において）みられる現象は考慮に入れられない。前述の研究の結果は、観客が、ショット切り換え前に凝視していた領域を、ショット切り換え後の約２００ｍｓ乃至３００ｍｓの時間、凝視し続けるというものである。よって、観客が見る領域は、現時点において表示されているピクチャでなく、先行して表示されたピクチャに依存する。この現象は図１に示す。ビデオ・系列によって表す図の上部分におけるピクチャの行は、時間間隔１００ｍｓだけ、互いに離間した７個のピクチャを有する。ショット切り換えが、系列の第３のピクチャと第４のピクチャとの間で生じている。図の下部分におけるピクチャの行は、観客が凝視するピクチャ領域を白のドットで示す。観客は、６番目のピクチャの終わりに（すなわち、ショット切り換えの２ピクチャ後に）自分の凝視を移動させているに過ぎない。この時間的延長は、種々の要因（特に、知覚の動作を再初期化するために生体的に必要な時間、驚きの効果、時間マスキング）に起因する。５０Ｈｚのビデオの場合、この時間的延長は、ショット切り換え後の約１５ピクチャの間、持続する。

広告の関心領域が、ショット切り換え前のビデオ系列のものと同じ時点で配置されていない場合、広告のコンテンツはしたがって、観客によって直ちに認識されるものでなく、よって、観客に対する顧客の視覚的な影響は削減される。広告が含むメッセージは、直接的に認識されるものでない。

本発明の一目的は、ビデオ系列に挿入される広告クリップの視覚的な影響を最適化することである。

この目的で、挿入する対象の広告クリップの選択プロセスにおいて、ビデオ系列のピクチャの関心領域と広告クリップの関心領域との間に連続性が存在しているようにビデオ系列の関心領域及び広告クリップの関心領域を挿入することができるようにすることが提案されている。クリップのコンテンツは観客によって、よりすばやく認識される。

したがって、本発明は、ビデオ系列と呼ばれるビデオ・ピクチャ系列の２つのピクチャ間で、挿入点と呼ばれる点において広告クリップを挿入することが意図されたピクチャを処理する方法であって、
挿入点前の、ビデオ系列の顕著性を表す顕著性マップを生成する工程と、
顕著性マップを、広告クリップの組の広告クリップ毎に生成する工程と、
ビデオ系列の顕著性マップと広告クリップの顕著性マップとの間の類似度の度合いを広告クリップの組の広告クリップ毎に求める工程であって、上記類似度の度合いは、両方のマップ上の顕著性ゾーンの位置間の比較を表す工程と、
広告クリップの組のうちで、最高の類似度の度合いを有する広告クリップを選択する工程と、
選択された広告クリップを挿入点においてビデオ系列に挿入する工程とを含む方法に関する。

よって、挿入された広告クリップは、ビデオ系列と広告クリップとの間の顕著性における最善の連続性を挿入点のレベルで供給するものである。

特定の実施例によれば、挿入点は、ビデオ系列におけるショット切り換えに対応する、ビデオ系列の点である。

特定の実施例によれば、挿入点前のビデオ系列の顕著性を表す顕著性マップは、挿入点に先行する、ビデオ系列の最後のｎ個のピクチャの顕著性マップから生成され、ｎは１以上５０以下である。例えば、５０Ｈｚビデオの場合、挿入点前のビデオ系列の最後の１５個のピクチャの顕著性マップの平均をとる。

一実施例によれば、広告クリップの顕著性マップは、広告クリップの最初のｐ個のピクチャの顕著性マップから生成され、ｐは１以上５０以下である。例えば、５０Ｈｚのビデオの場合、クリップの最初の１５の顕著性マップの平均がとられる。

したがって、広告クリップの最初及び挿入点前のビデオ系列の最後のピクチャ間の顕著性の点で連続性をもたらすクリップが選択される。

特定の実施例によれば、広告クリップの類似度の度合いは、ビデオ系列の顕著性マップと広告クリップの顕著性マップとの間の相関係数を算出することによって求められ、類似度の度合いはよって、算出された相関係数に比例する。

本発明の方法の別の特定の実施例によれば、広告クリップの類似度の度合いは、ビデオ系列の顕著性マップと広告クリップの顕著性マップとの間のクルバック・ライブラー・ダイバージェンスを算出することによって求められ、類似度の度合いはよって、算出されるダイバージェンスに反比例する。

別の特定の実施例によれば、広告クリップの類似度の度合いを求めるために、
最大顕著点と呼ばれる、マップのＮ個の最も顕著な点を、広告クリップの顕著性マップ及びビデオ・ピクチャの顕著性マップから選択する工程であって、上記点は、少なくともｍ個の点だけ、互いに離間し、最も顕著なものから最も顕著でないものに配列され、Ｎは１以上である工程と、
ピクチャの顕著性マップのＮ個の最大顕著点毎に、広告クリップの顕著性マップの同じ順序の最大顕著点と、上記点との間のユークリッド距離を求める工程と、
求められたＮ個のユークリッド距離の平均を算出する工程であって、類似度の度合いが、算出された平均に反比例する工程とを含む工程が行われる。

この実施例では、ユ―クリッド距離は、同じ順序の最大顕著点間で求められ、上記点の顕著性値は、類似度の度合いを求めるうえである程度、考慮に入れられる。

変形の実施例によれば、Ｎ個の最大の顕著点は、配列されない。この実施例では、広告クリップの類似度の度合いを求める方法は、
最大顕著点と呼ばれる、マップのＮ個の最も顕著な点を、広告クリップの顕著性マップ及びビデオ・ピクチャの顕著性マップから選択する工程であって、上記点は、少なくともｍ個の点だけ、互いに離間し、Ｎは１以上である工程と、
ビデオ・ピクチャの顕著性マップのＮ個の最大顕著点毎に、広告クリップの顕著性マップの最も近い最大顕著点と、上記点との間のユークリッド距離を求める工程と、
求められたＮ個のユークリッド距離の平均を算出する工程であって、類似度の度合いが、よって、算出された平均と反比例する工程とを含む。

前述の最後の２つの実施例では、顕著性マップにおいて少なくともｍ個の点だけ、離間しているＮ個の最大顕著点の選択は以下のように行われる。

ａ）最大顕著性を有する点が顕著性マップから選択される。

ｂ）検出点を中心とした半径Ｒのゾーンに属する点は全て、抑制され、Ｒはｍ個の点に等しい。

ｃ）工程ａ）及びｂ）は、Ｎ個の最大顕著点が得られるまで、顕著性マップの抑制されていない点について繰り返される。

本発明は、ビデオ系列と呼ばれるビデオ・ピクチャ系列の、挿入点と呼ばれる点において広告クリップを挿入することが意図されたピクチャを処理する装置であって、
挿入点前のビデオ系列の顕著性を表す顕著性マップ、及び広告クリップの組の広告クリップ毎の顕著性マップを生成する手段と、
ビデオ系列の顕著性マップと広告クリップの顕著性マップとの間の類似度の度合いを広告クリップの組の広告クリップ毎に求める手段と
広告クリップの組のうちで、最高の類似度の度合いを有する広告クリップを選択する手段と、
選択された広告クリップを挿入点においてビデオ系列に挿入する手段とを備える装置にも関する。
特定の実施例によれば、装置は更に、ビデオ系列におけるショット切り換えを検出する手段を更に備え、選択された広告クリップはよって、このショット切り換えに対応するビデオ系列の点において挿入される。

ビデオ系列におけるショット切り換え後の時間的延長という現象を示す前述の図である。本発明の方法を示す機能図である。本発明の方法の工程を示すフローチャートである。第１の実施例による、広告クリップの顕著性マップとビデオ系列の顕著性マップとの類似度の度合いを求める方法を示す図である。別の実施例による、広告クリップの顕著性マップとビデオ系列の顕著性マップとの類似度の度合いを求める方法を示す図である。本発明の方法を実現することができる装置を示す概略図である。

添付図面を参照すれば、本発明の現在の好ましい特定のいくつかの実施例の以下の詳細な説明的な記載において、本発明がより理解され、他の目的、詳細、特徴及び利点がより明らかになるであろう。

以下明細書では、広告クリップは、広告又はロゴを表示する一連の静止画又は動画を表すものとし、挿入点は、広告クリップが挿入される、ビデオ系列の２つのピクチャ間の点を表すものとする。

本発明によれば、所定の広告クリップの組のうちの広告クリップの関心領域、及び挿入点前のビデオ系列の最後のピクチャの関心領域が求められ、挿入点前のビデオ系列の最後のピクチャのものに空間的に最も近い関心領域を有する広告クリップが選択される。この挿入点は、予め決定されるか、オペレータにより、方法の最初に手作業で規定されるか、方法の最初において同時に規定され得る。

挿入点は、効果的には、ビデオ系列における広告クリップの急な出現によって観客が不便になるか、又は動揺しないようにショット切り換えに対応するビデオ系列の点である。
図２は、挿入点（広告クリップが挿入されるビデオ系列の点）がショット切り換えに対応する本発明の方法の機能図である。本発明によれば、広告クリップの所定の組の広告クリップの関心領域、及び挿入点前のビデオ系列の最後のピクチャの関心領域が求められ、ショット切り換え前のビデオ系列の最後のピクチャのものに空間的に最も近い関心領域を有する広告クリップが選択される。このショット切り換えの場所は、ビデオ系列に関連付けられたメタデータに含まれるか、又は方法の最初において規定され得る。上記ショット切り換えは、例えば、Ｚ．Ｃｅｒｎｅｋｏｖａ、Ｉ．Ｐｉｔａｓ及びＣ．Ｎｉｋｏｕによる「ＩｎｆｏｒｍａｔｉｏｎＴｈｅｏｒｙ−ＢａｓｅｄＳｈｏｔＣｕｔ／ＦａｄｅＤｅｔｅｃｔｉｏｎａｎｄＶｉｄｅｏＳｕｍｍａｒｉｚａｔｉｏｎ，ＩＥＥＥｔｒａｎｓａｃｔｉｏｎｓｏｎｃｉｒｃｕｉｔｓａｎｄｓｙｓｔｅｍｓｆｏｒｖｉｄｅｏｔｅｃｈｎｏｌｏｇｙ，Ｖｏｌ．１６，ｎｏ．１，Ｊａｎｕａｒｙ２００６」と題する文書に開示されたものなどのアルゴリズムによって自動的に検出されるか、又はオペレータにより、手作業で選択され得る。

図３は、特に、本発明の方法の工程を示す。第１の工程Ｅ１によれば、挿入点前のビデオ系列の顕著性を表す顕著性マップが生成される。この顕著性マップは例えば、挿入点前の系列の最後のピクチャの顕著性マップであるか、又は、挿入点前の系列の最後のｎ個のピクチャの顕著性マップの平均である。顕著性マップを生成する方法は当業者が完全に分かっている。前述の方法は例えば、欧州特許出願第１５４４７９２号明細書に記載されている。前述のマップは、特定の顕著性値を有する点とビデオ・ピクチャの各画素を関連付ける。点の顕著性値が高いほど、関連付けられた画素の関心は大きくなり、この画素が観客の関心を強く引く度合いが大きくなる。点の顕著性値は例えば、０以上２５５以下（８ビット）である。

工程Ｅ２によれば、顕著性マップは、クリップの組の広告クリップそれぞれについて生成される。この顕著性マップは効果的には、広告クリップの最初のピクチャから（例えば、最初のｐ個のピクチャ）から規定される。クリップの顕著性マップは例えば、このクリップの最初のｐ個のピクチャの顕著性マップの平均である。

次の工程（Ｅ３と表される）によれば、広告クリップ毎に、ビデオ系列の顕著性マップと広告クリップの顕著性マップとの間で類似度の度合いが求められる。

前述の類似度の度合いは、種々のやり方で求めることが可能である。

第１の実施例によれば、工程Ｅ３は、ビデオ系列の顕著性マップと広告クリップの顕著性マップとの間の相関係数を、広告クリップ毎に算出する工程を含み、類似度の度合いはよって、算出された相関係数に比例する。

第２の実施例によれば、工程Ｅ３は、ビデオ系列の顕著性マップと広告クリップの顕著性マップとの間のクルバック・レイブラー・ダイバージェンス（Ｋｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒｄｉｖｅｒｇｅｎｃｅ）を、広告クリップ毎に算出する工程を含み、類似度の度合いはよって、算出されたダインバージェンスに比例する。

第３の特定の実施例では、工程Ｅ３は、
（ａ）ビデオ系列の顕著性マップにおいて、かつ、広告クリップの顕著性マップにおいて、マップの最も顕著なＮ個の最大顕著点と呼ばれる点を選択し、上記点は、少なくともｍ個の点だけ、互いに離間し、最も顕著な点から最も顕著でない点まで配列され、これを達成するために、まず、顕著性マップにおける最大顕著性を有する点が選択され、次いで、検出された点を取り囲むｍ個の点のゾーンが抑制され、顕著性マップの最も抑制されていない点のうちで、最大顕著性を有する点が次いで検出され、この最大顕著点を中心としたｍ個の点に等しい半径Ｒに属する点全てが抑制され、Ｎ個の最大顕著点が得られるまで繰り返され、Ｎ個の点がよって、ビデオ系列の顕著性マップにおいて得られ、Ｎ個の点が広告クリップの顕著性マップにおいて得られるサブ工程と、
（ｂ）ビデオ・ピクチャの顕著性マップのＮ個の最大顕著点毎に、広告クリップの顕著性マップの同じ順序の最大顕著点と、上記点との間のユークリッド距離が次いで求められるサブ工程と、
（ｃ）先行して算出されたＮ個のユークリッド距離の平均が算出され、考慮に入れられた広告クリップの類似度の度合いはよって、算出された平均と反比例するサブ工程と
を広告クリップ毎に行う。

工程Ｅ３のこの実施例は、３つの広告クリップについて図４で示す。この図では、最大顕著点３点（Ｎ＝３）が、ビデオ系列Ｖにおいて識別されており、Ｐ_Ｖ１、Ｐ_Ｖ２及びＰ_Ｖ３と表し、Ｓ（Ｐ_Ｖ１）＞Ｓ（Ｐ_Ｖ２）＞Ｓ（Ｐ_Ｖ３）であり、ここで、Ｓ（Ｐ）は点Ｐの顕著性値を表す。更に、Ｐ_Ａ１、Ｐ_Ａ２及びＰ_Ａ３は、広告クリップＡの３つの最大顕著点を表し、Ｓ（Ｐ_Ａ１）＞Ｓ（Ｐ_Ａ２）＞Ｓ（Ｐ_Ａ３）である。同様に、Ｐ_Ｂ１、Ｐ_Ｂ２及びＰ_Ｂ３は、広告クリップＢの３つの最大顕著点を表し、Ｓ（Ｐ_Ｂ１）＞Ｓ（Ｐ_Ｂ２）＞Ｓ（Ｐ_Ｂ３）である。最後に、Ｐ_Ｃ１、Ｐ_Ｃ２及びＰ_Ｃ３は、広告クリップＣの３つの最大顕著点を表し、Ｓ（Ｐ_Ｃ１）＞Ｓ（Ｐ_Ｃ２）＞Ｓ（Ｐ_Ｃ３）である。

この図では、工程Ｅ３は、同じ順序の点間のユークリッド距離ｄの、クリップ毎の算出（すなわち、ｄ（Ｐ_Ｖｉ，Ｐ_Ａｉ）、ｄ（Ｐ_Ｖｉ，Ｐ_Ｂｉ）及びｄ（Ｐ_Ｖｉ，Ｐ_Ｃｉ）、ｉ∈［１…３］）を含み、３つの算出距離の平均をクリップ毎に算出し、それら毎の類似度の度合いを推論するにあたり、この度合いは、算出された平均に反比例する。類似度の度合いは例えば、算出された平均の逆数である。

第３の実施例の変形である一実施例では、選択された最大顕著点は配列されない。よって、工程Ｅ３は広告クリップ毎に、
（ａ）ビデオ系列の顕著性マップにおいて、かつ、広告クリップの顕著性マップにおいて、マップの最も顕著なＮ個の点が選択され、上記点は、少なくともｍだけ、互いに離間し、先行する実施例と同様に、まず、顕著性マップにおける最大顕著性を有する点が選択され、次いで、検出された点を取り囲むｍ個の点のゾーンが抑制され、顕著性マップの抑制されていない点のうちで、最大顕著性を有する点が次いで検出され、この最大顕著点を中心としたｍ個の点に等しい半径Ｒに属する点全てが抑制され、Ｎ個の最大顕著点が得られるまでこの動作が繰り返され、Ｎ個の点がよって、ビデオ系列の顕著性マップにおいて得られ、Ｎ個の点が広告クリップの顕著性マップにおいて得られるサブ工程と、
（ｂ）ビデオ・ピクチャの顕著性マップのＮ個の最大顕著点毎に、広告クリップの顕著性マップの最も近い最大顕著点と、上記点との間のユークリッド距離が次いで求められるサブ工程と、
（ｃ）先行して算出されたＮ個のユークリッド距離の平均が算出され、考慮に入れられた広告クリップの類似度の度合いはよって、算出された平均と反比例するサブ工程とを行うことを含む。

この変形実施例は、３つの広告クリップについて図５に示す。この図は、図４について規定された最大顕著点を使用する。この実施例によれば、ビデオ系列の点Ｐ_ｖｉ毎に、各クリップの最大顕著点それぞれとのそのユークリッド距離ｄが算出され、最小距離のみが維持される。例えば、図５では、クリップＡ毎に、点Ｐ_Ａ２が点Ｐ_Ｖ１に最も近く、点Ｐ_Ａ２が点Ｐ_Ｖ２に最も近く、点Ｐ_Ａ１が点Ｐ_Ｖ３に最も近い。よって、クリップＡについて、距離ｄ（Ｐ_Ｖ１，Ｐ_Ａ２）、ｄ（Ｐ_Ｖ２，Ｐ_Ａ２）及びｄ（Ｐ_Ｖ３，Ｐ_Ａ１）の平均が算出される。このようにして、もう一度図５を参照することにより、クリップＢについて、距離ｄ（Ｐ_Ｖ１，Ｐ_Ｂ３）、ｄ（Ｐ_Ｖ２，Ｐ_Ｂ３）及びｄ（Ｐ_Ｖ３，Ｐ_Ｂ３）の平均が算出され、クリップＣについて、距離ｄ（Ｐ_Ｖ１，Ｐ_Ｃ１）、ｄ（Ｐ_Ｖ２，Ｐ_Ｃ２）及びｄ（Ｐ_Ｖ３，Ｐ_Ｃ３）の平均が算出される。前述から、算出された平均に反比例する、類似度の度合いがよって、３つのクリップ毎に推論される。類似度の度合いは例えば、算出された平均の逆数である。

当然、ビデオ系列の顕著性マップと広告クリップの顕著性マップとの間の類似度を算出することを可能にする他の方法は何れも、工程Ｅ３を実現するために使用することが可能である。

図３をもう一度参照すれば、Ｅ４と表す次の工程は、類似度の最高の度合いを有するクリップを広告クリップ全てから選択する工程を含む。

最後に、選択された広告クリップが、工程Ｅ５において、ビデオ系列の挿入点においてビデオ系列に挿入される。方法の最後に、広告クリップが挿入された拡充ビデオ系列が得られる。

当然、挿入する対象の広告クリップの選択は、より複雑であり、他の選択処理と組み合わせることが可能である。広告クリップの組に含まれるクリップは、挿入されたビデオ系列の意味論的内容に対するその意味論的内容に応じて既に予め選択されていることがあり得る。例えば、クリップの第１の事前選択は、ビデオ系列のテーマ、あるいは、ビデオ系列に含まれたテキスト及び／又はオブジェクトのテーマに応じて、あるいは、観客のプロファイルに応じて行われていることがあり得る。

本発明は、上記方法を実現する、図６中で１００と表すピクチャを処理する装置にも関する。この図では、図示されたモジュールは、物理的に区別可能な装置に対応していても対応していなくてもよい機能的装置である。例えば、前述のモジュール又はその一部は、単一の構成部分に集約するか、又は同じソフトウェアの機能を構成することが可能である。逆に、一部のモジュールが、別個の物理エンティティを含み得る。装置の重要な構成要素のみを図６に示す。装置１００は特に、ランダム・アクセス・メモリ１１０（ＲＡＭ若しくは同様な構成部分）と、リードオンリ・メモリ１２０（ハード・ディスク若しくは同様な構成部分）と、マイクロプロセッサや同様な構成部分などの処理装置１３０と、入出力インタフェース１４０と、場合によっては、マンマシン・インタフェース１５０とを含む。前述の構成要素は、互いにアドレス及びデータ・バス１６０によって接続される。リードオンリ・メモリは、本発明による方法の工程Ｅ１乃至Ｅ５を実現するアルゴリズムを含む。装置が、その中に広告クリップを挿入する対象のビデオ系列内の切り換えを検出する役目を担っている場合、メモリは、ショット切り換えを検出するためのアルゴリズムも含む。電源を入れると、処理装置１３０は、前述のアルゴリズムの命令をロードし、実行する。ランダム・アクセス・メモリ１１０は特に、装置の電源を入れる役目を担う、処理装置１３０のオペレーティング・プログラムを含み、処理する対象のビデオ系列、及びこのビデオ系列に挿入する対象の広告クリップを含む。入出力インタフェース１４０の機能は、入力信号（ビデオ系列及び広告クリップ）を受信し、広告クリップが挿入された拡充ビデオ系列を出力することである。場合によっては、オペレータは、マンマシン・インタフェース１６０により、広告クリップが挿入されるショット切り換えを選択する。拡充ビデオ系列は、ランダム・アクセス・メモリに記憶され、次いで、将来の処理が考えられるという見方でアーカイブされるようリードオンリ・メモリに転送される。

本発明は別々の特定の実施例に関して説明してきたが、これは決して限定でなく、本発明の範囲内に収まる場合、本願記載の手段の技術上の均等物、及びその組合せ全てを含むということは明らかである。特に、広告クリップは、ショット切り換えでないビデオ系列の点において挿入することが可能である。クリップは例えば、ビデオ系列に伴う、メタデータ内で規定されたシーケンスの特定の点において挿入することが可能である。場合によっては、等時間間隔で系列に挿入することも可能である。

１１０ＲＡＭ
１２０ＲＯＭ
１３０処理装置
１４０Ｉ／Ｏ
１５０インタフェース

Claims

ビデオ系列と呼ばれるビデオ・ピクチャ系列の２つのピクチャ間で、挿入点と呼ばれる点において広告クリップを挿入することが意図されたピクチャを処理する方法であって、
挿入点前の前記ビデオ系列の顕著性を表す顕著性マップを生成する工程と、
顕著性マップを、広告クリップの組の広告クリップ毎に生成する工程と、
前記ビデオ系列の顕著性マップと前記広告クリップの顕著性マップとの間の類似度の度合いを前記広告クリップの組の広告クリップ毎に求める工程であって、前記類似度の度合いは、両方のマップ上の顕著性ゾーンの位置間の比較を表す工程と、
前記広告クリップの組のうちで、最高の類似度の度合いを有する広告クリップを選択する工程と、
前記選択された広告クリップを前記挿入点において前記広告クリップに挿入する工程とを含む方法。
請求項１記載の方法であって、前記挿入点は、前記ビデオ系列におけるショット切り換えに対応する、前記ビデオ系列の点である方法。
請求項１又は２に記載の方法であって、前記ビデオ系列の顕著性を表す顕著性マップが前記挿入点に先行するビデオ系列の最後のｎ個のピクチャの顕著性マップから生成され、ｎは１と５０との間に含まれる方法。
請求項１乃至３のうちの何れか一項に記載の方法であって、広告クリップの顕著性マップは前記広告クリップの最初のｐ個のピクチャの顕著性マップから生成され、ｐは１から５０までの間に含まれる方法。
請求項１乃至４のうちの何れか一項に記載の方法であって、広告クリップの類似度の度合いを求めるために、前記ビデオ系列の顕著性マップと前記広告クリップの顕著性マップとの間の相関係数が算出され、前記類似度の度合いは、よって、前記算出された相関係数に比例する方法。
請求項１乃至４のうちの何れか一項に記載の方法であって、広告クリップの類似度の度合いを求めるために、前記ビデオ系列の顕著性マップと前記広告クリップの顕著性マップとの間のクルバックレイブラー・ダイバージェンスが算出され、前記類似度の度合いは、よって、前記算出されたダイバージェンスに反比例する方法。
請求項１乃至４のうちの何れか一項に記載の方法であって、広告クリップの類似度の度合いを求めるために、
最大顕著点と呼ばれる、マップのＮ個の最も顕著な点を、前記広告クリップの顕著性マップ及び前記ビデオ・ピクチャの顕著性マップから選択する工程であって、前記点は、少なくともｍ個の点だけ、互いに離間し、最も顕著なものから最も顕著でないものに配列され、Ｎは１以上である工程と、
前記ビデオ・ピクチャの顕著性マップのＮ個の最大顕著点毎に、前記広告クリップの顕著性マップの同じ順序の最大顕著点、及び前記点間のユークリッド距離を求める工程と、
求められたＮ個のユークリッド距離の平均を算出する工程であって、前記広告クリップの類似度の度合いはよって、前記算出された平均と反比例する工程が行われる方法。
請求項１乃至４のうちの何れか一項に記載の方法であって、広告クリップの類似度の度合いを求めるために、
最大顕著点と呼ばれる、マップのＮ個の最も顕著な点を、前記広告クリップの顕著性マップ及び前記ビデオ・ピクチャの顕著性マップから選択する工程であって、前記点は、少なくともｍ個の点だけ、互いに離間し、Ｎは１以上である工程と、
前記ビデオ・ピクチャの顕著性マップのＮ個の最大顕著点毎に、前記広告クリップの顕著性マップにおいて最も近い最大顕著点と、前記点との間のユークリッド距離を求める工程と、
求められたＮ個のユークリッド距離の平均を算出する工程であって、前記広告クリップの類似度の度合いは、前記算出された平均に反比例する工程が行われる方法。
請求項７又は８に記載の方法であって、顕著性マップにおいて少なくともｍ個の点だけ離間したＮ個の最大顕著点を選択するために、
ａ）最大顕著性を有する点が前記顕著性マップから選択される工程と、
ｂ）検出点を中心とした半径Ｒのゾーンに属する点は全て、抑制され、Ｒはｍ個の点に等しい工程と、
ｃ）工程ａ）及びｂ）が、Ｎ個の最大顕著性点が得られるまで、前記顕著性マップの抑制されていない点について繰り返される工程が行われる方法。
ビデオ系列と呼ばれるビデオ・ピクチャ系列の２つのピクチャ間で、挿入点と呼ばれる点において広告クリップを挿入することが意図されたピクチャを処理する装置であって、
前記挿入点前のビデオ系列の顕著性を表す顕著性マップ、及び広告クリップの組の広告クリップ毎の顕著性マップを生成する手段と、
前記ビデオ系列の顕著性マップと前記広告クリップの顕著性マップとの間の類似度の度合いを前記広告クリップの組の広告クリップ毎に求める手段と、
前記広告クリップの組のうちで、最高の類似度を有する広告クリップを選択する手段と、
前記選択された広告クリップを前記挿入点において前記ビデオ系列に挿入する手段とを備える装置。
請求項１０記載の装置であって、前記ビデオ系列におけるショット切り換えを検出する手段を更に備え、前記選択された広告クリップはよって、このショット切り換えに対応するビデオ系列の点において挿入される装置。