JP5226539B2 - 番組コンテンツにおける映画の舞台小道具の動的置換および挿入方法 - Google Patents

番組コンテンツにおける映画の舞台小道具の動的置換および挿入方法 Download PDF

Info

Publication number
JP5226539B2
JP5226539B2 JP2008558491A JP2008558491A JP5226539B2 JP 5226539 B2 JP5226539 B2 JP 5226539B2 JP 2008558491 A JP2008558491 A JP 2008558491A JP 2008558491 A JP2008558491 A JP 2008558491A JP 5226539 B2 JP5226539 B2 JP 5226539B2
Authority
JP
Japan
Prior art keywords
content
props
asset
prop
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008558491A
Other languages
English (en)
Other versions
JP2009529300A (ja
JP2009529300A5 (ja
Inventor
ザレウスキー、ゲイリー
アール. ラッセル、ライリー
Original Assignee
ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/371,215 external-priority patent/US8566865B2/en
Priority claimed from US11/371,367 external-priority patent/US8549554B2/en
Application filed by ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー filed Critical ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー
Publication of JP2009529300A publication Critical patent/JP2009529300A/ja
Publication of JP2009529300A5 publication Critical patent/JP2009529300A5/ja
Application granted granted Critical
Publication of JP5226539B2 publication Critical patent/JP5226539B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036Insert-editing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/10Arrangements for replacing or switching information during the broadcast or the distribution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389Multiplex stream processing, e.g. multiplex stream encrypting
    • H04N21/23892Multiplex stream processing, e.g. multiplex stream encrypting involving embedding information at multiplex stream level, e.g. embedding a watermark at packet level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/812Monomedia components thereof involving advertisement data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本願は、2006年3月7日に出願された米国特許出願第11/371,367号(表題は「番組コンテンツにおける映画の舞台小道具の動的置換」)、および2006年3月7日に出願された米国特許出願第11/371,215号(表題は「番組コンテンツにおける映画の舞台小道具の動的挿入」)の継続出願であり、両出願の開示内容全体を参照によりそっくりそのままここに組み入れる。
本発明は、一般にはデジタルビデオ処理に関し、特に、広告に用いられる番組コンテンツに画像をデジタル的に挿入することに関する。
広告の伝統的な形式はテレビ・コマーシャルである。テレビ・コマーシャルは、典型的には、2、3秒から数分までの長さの短時間の広告スポットから成る。コマーシャルは番組の間に現れ、一定の間隔で番組を中断する。広告主の目的は、視聴者の注意をコマーシャルに集中させることであるが、多くの場合、視聴者はコマーシャルを見るのを避けるため、コマーシャルの間、チャンネルを変えてしまう。
視聴者がテレビ・コマーシャルを避けるもう一つの方法は、デジタル・ビデオ・レコーダ(DVR)を用いることである。DVRを用いれば、番組を録画し、再生の間、コマーシャルを飛ばして早送りすることができる。他のメディアプレイヤには、視聴者にコマーシャルを追跡して、スキップするためのより強力な能力を提供することが期待されている。
こういった背景事情のもと本発明が考え出された。
本発明は番組コンテンツを修正する際に使用する方法を提供することにより上述のニーズおよびその他のニーズに有利に応えるものである。この方法は、置換するための小道具をコンテンツにおいて特定するステップと、特定された各小道具に対して位置情報を決定するステップと、特定された各小道具に関連づけられるビジュアルエフェクト情報を決定するステップと、コンテンツと特定された各小道具に関連づけられた位置情報およびビジュアルエフェクトの情報とを含む参照ファイルを生成するステップとを含む。
本発明の別の態様は、番組コンテンツを修正するためのシステムを提供することである。このシステムは、置換するための小道具をコンテンツにおいて特定する手段と、特定された各小道具に対して位置情報を決定する手段と、特定された各小道具に関連づけられるビジュアルエフェクト情報を決定する手段と、コンテンツと特定された各小道具に関連づけられた位置情報およびビジュアルエフェクトの情報とを含む参照ファイルを生成する手段とを含むことを特徴とするシステム。
本発明の別の態様は、番組コンテンツを生成する際に使用する方法提供することである。この方法は、コンテンツ、およびコンテンツ内の一つ以上の置換可能な小道具に関連づけられた位置とビジュアルエフェクトの情報を含む参照ファイルを提供するステップと、一つ以上の置換画像を取得するステップと、前記ビジュアルエフェクト情報を用いて少なくとも一つの置換画像の視覚的外観を修正するステップと、コンテンツに前記一つ以上の置換画像を挿入して前記一つ以上の置換可能な小道具を置換するステップとを含む。
本発明の別の態様は、番組コンテンツを再生するためのシステム提供することである。このシステムは、コンテンツ、およびコンテンツ内の一つ以上の置換可能な小道具に関連づけられた位置とビジュアルエフェクトの情報を含む参照ファイルを提供する手段と、一つ以上の置換画像を取得する手段と、前記ビジュアルエフェクト情報を用いて各置換画像の視覚的外観を修正する手段と、コンテンツに前記一つ以上の置換画像を挿入して前記一つ以上の置換可能な小道具を置換する手段とを含む。
本発明の別の態様は、コンピュータに入力するためのコンピュータプログラムが具現化された記録媒体を含むコンピュータプログラム製品を提供することである。記録媒体に具現化されたコンピュータプログラムはコンピュータに、コンテンツにアクセスするステップと、コンテンツ内の一つ以上の置換可能な小道具に関連づけられた位置とビジュアルエフェクトの情報を含む参照ファイルにアクセスするステップと、一つ以上の置換画像を取得するステップと、前記ビジュアルエフェクト情報を用いて少なくとも一つの置換画像の視覚的外観を修正するステップと、コンテンツに前記一つ以上の置換画像を挿入して前記一つ以上の置換可能な小道具を置換するステップとを実行させる。
本発明の別の態様は、番組コンテンツを修正する際に使用する方法を提供することである。その方法は、動的に置換可能なアセットを挿入することができるコンテンツ内の位置を特定するステップと、コンテンツ内の特定された一つ以上の位置に動的に置換可能なアセットを設定するステップと、設定された各動的に置換可能なアセットに対して位置情報を決定するステップと、設定された各動的に置換可能なアセットに関連づけられるビジュアルエフェクト情報を決定するステップと、設定された各動的に置換可能なアセットに関連づけられた位置情報およびビジュアルエフェクトの情報を含む参照ファイルを生成するステップとを含む。
本発明の別の態様は、番組コンテンツを修正するためのシステムを提供することである。そのシステムは、動的に置換可能なアセットを挿入することができるコンテンツ内の位置を特定する手段と、コンテンツ内の特定された一つ以上の位置に動的に置換可能なアセットを設定する手段と、設定された各動的に置換可能なアセットに対して位置情報を決定する手段と、設定された各動的に置換可能なアセットに関連づけられるビジュアルエフェクト情報を決定する手段と、設定された各動的に置換可能なアセットに関連づけられた位置情報およびビジュアルエフェクトの情報を含む参照ファイルを生成する手段とを含む。
本発明の特徴と利点は、本発明の原理を利用した例示的な実施の形態が説明された本発明の詳細な説明と添付図面を参照することによって、より理解することができる。
本発明の後述の態様、特徴および利点は、図面を参照しながら提示される、より具体的な説明からさらに明らかになる。
図面を通じて対応する構成要素は対応する参照符号で示される。
視聴者が前述のように伝統的なテレビ・コマーシャルを避けるとき、広告主のメッセージは視聴者によって受け取られず、不利である。そのような不利益があるため、本発明の実施の形態は、テレビ番組または他のコンテンツにおいて広告を使用することに関わる。
本発明の実施の形態は、コンテンツ自体にプロダクトプレースメント(商品配置)広告を置き換えたり、差し替えたりすることに関する。つまり、コンテンツは一つ以上のアセットを含む。アセットは、異なる製品の画像を挿入することができるビデオ内の場所である。たとえば、特定のテレビ番組のエピソードに現れるシリアルの箱は、異なるブランドのシリアルの箱と置き換えることができる。典型的には、挿入されたシリアルを販売する会社は、このアセットが広告の形を取ることから、アセットに対して代金を払うであろう。このように、番組のエピソードが放送される度に、アセットは同じまたは異なる広告主に売ることができる。
後述するように、そのようなアセットは、レガシー番組で特定されてもよい。つまり、多くの古いテレビ番組や映画は、時代遅れか、もはや存在しないか、あるいは、もはや存在しない会社によって提供されている製品や他の舞台小道具を含む。そのような古い番組の多くは再放送によって繰り返しリプレイされる。本発明の実施の形態は、こういったレガシー番組において固定されている舞台小道具を特定し、それを価値あるアセットになる動的に置換可能な小道具に変換するための方法を提供する。このように、番組が再放送されるたびに、現在の製品またはサービスの画像をアセットに挿入することができ、広告収益を生成するのに用いることができる。
本発明の他の実施の形態において、新しい番組コンテンツは、最初からそのような広告アセットを念頭に開発される。これにより、コンテンツは、アセットの適切で戦略的な位置決めとサイズ設定を提供するべく開発されるようになる。たとえば、映画会社は、映画の制作の間、アセット開発にあたって広告の専門家と密接に働くことができる。
本発明のさらに他の実施の形態において、新しいデジタル小道具/アセットが、以前は一定の小道具が存在しなかったレガシー番組に挿入される。つまり、例えば、広告に類するものやブランドなどを含む絵のような新しい小道具が何もない壁上に追加される。そのような実施の形態は、レガシー・コンテンツでは製品/舞台小道具の置き換えの機会が制限されているという問題を解決するのに役立つ。このように、たとえば、シーンにシリアルの箱を加えることができる場合、シリアルの箱を交換する必要がない。
一旦コンテンツが動的置換可能な広告アセットを含むように修正されるか、開発されるならば、いろいろな異なる製品やサービスの画像をネットワーク経由で変えることができる。
レガシー・コンテンツでアセットを特定すること:
レガシー・コンテンツは、おそらく過去、何年も前に製作されたコンテンツを含む。レガシー・コンテンツに対して、プロセスの第1の部分は、コンテンツを探索して、置き換えることができるアセットを特定することである。例えば、そのようなアセットは、シリアルの箱、ソーダの缶やボトル、ピザの箱、他の製品の箱、カートン、容器、サービスなどを含むが、これに制限されるわけではない。
アセットは、異なるブランドの異なるテクスチャ、ビットマップ画像、ビデオストリーム、JPEG画像などを既存のオブジェクト上にオーバーレイすることができるものなら何でもよい。
図1A、1B、1Cおよび1Dを参照して、固定された舞台小道具がレガシー・コンテンツで特定され、その後、動的に置換可能なアセットと入れ替えられる様子を例示する。具体的には、図1Aで、レガシー番組の中のシーン100は、テーブル104の隣に立っているキャラクタ102を含む。テーブル104の上には特定のブランドのシリアルの箱のような固定された舞台小道具があり、例えば「1960年代ベストシリアル」106と記されている。「1960年代ベストシリアル」106は時代遅れで、もはや手に入らないので、それを現在手に入る製品と入れ替えることが望ましい。そうすることにより、その舞台小道具の広告価値が増え、価値あるアセットになる。図1Bにおいて、「1960年代ベストシリアル」106は、シーン100において動的に置換可能な舞台小道具/アセット108で置き換えられた。動的に置換可能な舞台小道具/アセット108は、番組コンテンツに挿入されるデータを含む。番組コンテンツは、異なる製品またはサービスの異なるイメージが以前の舞台小道具を取り替えるためにシーンに挿入されるのを許容する。異なる製品またはサービスの新しいイメージは、視聴者によって見られるものとなる。
たとえば、図1Cにおいて、「新世紀シリアル」110と呼ばれる、新しい、より現代的なブランドのシリアルがシーン100のアセット108に挿入され、「1960年代ベストシリアル」106に取っ代わる。番組はしばらくの間、放送され、「新世紀シリアル」の供給元がこの広告機会に対して対価を支払う。その後、異なる広告主が、彼らの製品をアセット108に表示させるために対価を支払うことを望むかもしれない。たとえば、図1Dにおいて、全く異なる製品である「クリスピー・グッド・クラッカー」112がシーン100のアセット108に挿入される。「クリスピー・グッド・クラッカー」の供給元は、例えば、一つのエピソードまたは全シーズンまたはそれ以上にわたって、番組が再放送される間、彼らの製品を一定期間表示しておくために支払う。
図2Aを参照して、本発明の実施の形態に係る動に的置換可能な舞台小道具/アセットを生成する方法200を例示する。方法200は、舞台小道具がコンテンツで特定されるステップ202で始まる。特定される舞台小道具は、動的に置換可能なアセットで入れ替えることが有利でありうるものである。
具体的には、本発明のある実施の形態によれば、そのような舞台小道具/アセットを特定する処理は、コンテンツをフレーム単位で調べることにより、手動で実行してもよい。アセットの手動特定によれば、人がフレーム単位あるいはそれに類似したやり方で、コンテンツを調べてアセットを特定する。コンテンツ内のほぼ何でもアセットとして使ってよい。たとえば、コンテンツに現れるピザの箱、他の製品の箱または容器を舞台小道具として特定してもよい。
ステップ204において、各舞台小道具/アセットの参照座標または他の位置情報が決定され、経時的に記録される。つまり、置き換えられることになっている特定された舞台小道具のそれぞれに対して位置情報が決定される。たとえば、アセットが特定された後、コンテンツはアセットの最初のインスタンスまで巻き戻されてもよい。アセットはその後、拡大され、アセットの参照座標は手動で特定される。
たとえば、箱のようなアセットの場合、隅の一つをクリックする。左上または右下の隅など、どの隅をクリックしてもよい。その後、小道具の置き換えに対するオーバーレイ領域が、特定のフレームに対して遠近法で特定される。カメラは通常動いているため、典型的には人が手動で各フレームを調べて、カメラに対する箱の位置を決定する座標を入力する。
舞台小道具/アセットの手動特定は、フレーム単位でなされなくてもよい。すなわち、1フレームおきになされてもよく、数フレーム毎になされてもよく、任意のフレーム毎になされてもよい。たとえば、箱の隅は1つのフレームにおいて特定することもでき、その後、箱の位置が変わるまでは多数のフレームをスキップしてもよい。箱の参照座標は以前のフレームと同じであるだろうから、フレームをスキップすることができる。
自動スムージング機能が手動識別処理の後、適用される。これは、挿入領域がジッターがなく、適当なアスペクト比で適切に結合されていることを保証するためである。そのようなスムージング機能により、本発明が透過的に機能してエンドユーザにとって目標の心理視覚的経験が達成されることが保証される。ジッター、ストローブ、ハロー、その他の結果を生む他の機能が、置換小道具にコントラストやアテンションをもたらすために適用されてもよい。
フレームをまたいで各舞台小道具/アセットに対して特定される参照座標を追跡することに加えて、各アセットに関連づけられたアイデア、テーマ、コンセプトなども特定あるいは指定してもよい。シーン情報、例えば光源、ディフューザ、リフレクタその他、それらのタイプ、位置、色、強度などは、時間ベースの参照ファイルに記録される。各アセットの他の特性が特定または指定されてもよい。このデータは座標とともに保存される。
データのすべてあるいは一部は、コンテンツが流れている間、アセットのビデオ内の位置の適切な参照座標を提供する機能を開発するために用いられる。その結果、メディアへの置換コンテンツの挿入がスムーズになるように置換画像を調整することができる。
レガシー・コンテンツでアフターエフェクトを決定すること:
舞台小道具/アセットが特定された後、アセットのアフターエフェクトが決定される。具体的には、ステップ206において、コンテンツの各舞台小道具/アセットのアフターエフェクトまたは他のビジュアルエフェクトの情報が決定され、経時的に記録される。つまり、各特定された舞台小道具と関連づけられたビジュアルエフェクト情報が決定される。そのようなアフターエフェクトまたはビジュアルエフェクトの情報は、レンダリング機能、変数および設定値を含む。画像が所定の仕方で心理視覚的にシーン環境に対応するように、アフターエフェクトはシーン情報にしたがって適用される。つまり、ほとんどの場合、置換画像をシーンに調和させて混ざり合い、自然に見えるようにするためにデータを使用することができるように、元のアセットのアフターエフェクトは決定される。
そのようなアフターエフェクトは、色彩、シェーディング、焦点、シャープニング、ブラー(ぼやけさせること)などだけでなく、光特性に合致させるために元のアセットに適用される他の全ての視覚特性も含まれる。そのような視覚の特性は、たとえば、発光性、反射性やシェーディング特性を含んでもよい。レンダリング設定値は、典型的には現実の元のシーンの環境を反映する視覚特性を達成するために設定される。
画像にぼかし(ブラー)効果を与えたり、置換されるアセットの元の品質に合わせるために、画像にアフターエフェクトを適用しなければならないことを理解することは重要である。プロファイリング・ステップでは、ブラーレベルまたはブラー閾値の大きさを決定するために、たとえば、背景にあるソーダ瓶が観察される。
ポスト・フィルタは、元のオブジェクトの光学的品質を与えるように新しいテクスチャを調和させるために用いられる。光学的品質はフレーム単位でしばしば変わる。これをチェックする一つの方法として、第1のフレームのアセットの光学的品質をチェックし、それから、後のフレームにおいてアセットの光学的品質をチェックすることで、フレームが同じブラーレベルまたは同じ光学フィルター・レベルをもつことを確認する。アセットがカメラのビューに存在しなくなるまで、異なるフレームをチェックする。
一つの目標は、コンテンツが流れている間、どんなアフターエフェクトまたは他のビジュアルエフェクトの情報が新しいテクスチャに適用されたかを記録する機能を開発することである。この新しいテクスチャは、コンテンツが再生される際、以前には固定されていた舞台小道具を取り替えるためにコンテンツに動的に供給されるものである。アフターエフェクトまたは他のビジュアルエフェクトの情報は、コンテンツが流れている間に決定されてもよい。
レガシーコンテンツにおけるアセットの自動特定とアフターエフェクト:
本発明の他の実施の形態によれば、アセットを特定するプロセスやレガシー・コンテンツにおけるアセットのアフターエフェクトは、少なくとも部分的に自動化される。たとえば、これらのタスクのために設計されたソフトウェアツールを使ってもよい。すなわち、レガシー・ビデオ、テレビ番組、映画または他のコンテンツを処理するプロセスは、ソフトウェアツールがコンテンツを処理するのに用いられるツールのフェーズであってもよい。
図2Bを参照して、本発明の実施の形態に係るそのようなツールで実行される方法220が例示される。ステップ222において、ユーザはコンテンツにおいて舞台小道具をクリックする。つまり、そのようなツールによって、ユーザはレガシー・コンテンツにおいて、例えばシリアルの箱のようなアセットをクリックすることができる。ツールはその箱を拡大して、箱に対する参照座標または他の位置情報を特定する。ステップ224において、番組コンテンツが再生されるにつれて、ツールは自動的に舞台小道具の位置情報を追跡し、保存する。
ツールは、箱に関連づけられたビジュアルエフェクトの情報を決定するために構成されてもよい。ステップ226において、コンテンツの再生の間、舞台小道具が動くにつれて、ツールは自動的に舞台小道具に対してこの情報を追跡し、保存する。
さらに、本発明のある実施の形態において、ソフトウェアツールは箱のプロファイルを生成する。つまり、箱がクリックされた後、ツールは箱のプロファイルを生成し、その後、ユーザはシェーディング、ブラーなどを決めることができる。
ツールは、プロファイリング・プロセスの一部として箱に関する入力された情報を受け入れるように構成することができる。このように、ステップ228において、ツールはユーザから舞台小道具に関する入力情報を受け付ける。つまり、ユーザは、レガシー・コンテンツにおける箱に関する全ての情報をツールに提供することができる。たとえば、ユーザはツールに箱のタイプ、すなわち箱にパッケージされた特定のレガシー製品を提供することができる。ツールはその特定の箱を求めて画像を調べ、その映像環境でシェーディングを表す画素設定値を見る。ツールは、その後、その位置と方位にあることがわかっている特定のビットマップ・イメージに関連づけられた一般的な照明原理を決定することができる。ツールはそれから、この情報全てを使って、自動的に舞台小道具イメージを分析し、プロファイルを生成する。これはステップ230によって示されている。
生成されたプロファイルは、描画されたアセットがどこに陰影をつけられるべきかと、光源が箱のカメラ・ビューに基づいてどこに置かれるべきかを示すことができる。プロファイルは、挿入されたオブジェクトを描画するために情報も含んでもよく、または、変化しているカメラ環境の過程を通じて光源を予測してもよい。プロファイルは、光のグレーディングが一般的に、特定のパターンで箱に降りかかっていることを示すこともできる。ユーザはプロファイルの情報の全てをチェックして、調整することができる。
生成されたプロファイルのおかげで、ユーザはレガシー番組に対してキャリブレーション処理を実行し、レガシー・アセットを広告コンテンツで動的に置き換える機会をすべて見つけて決定することができる。
新しいコンテンツにおいてアセットを特定する:
上で述べたように、本発明の他の実施の形態において、新しい番組コンテンツは最初からそのような動的に置換可能な映画の舞台小道具と広告アセットを念頭において開発される。これにより、コンテンツは、適切で戦略的なアセットの位置決めと大きさ設定を提供するべく開発されるようになる。たとえば、映画会社は、映画の制作の間、アセットを開発するにあたって広告専門家とともに密接に働くことができる。
新しい番組コンテンツでは、舞台小道具の位置、シーン情報、およびアセットのアフターエフェクトのようなビジュアルエフェクト情報は、映画撮影の間、すでに知られているか、取得することができる。
映画制作の間、一組の小道具は、シーン情報とシーンの小道具の操作に基づいて、小道具の位置の追跡を自動化し、アセットに対するプロファイルを定めるために用いることができる。
受動的または能動的な小道具もしくはその組合せを本発明において用いてもよい。
小道具は、彼らが表す小道具(すなわち、シリアルの箱、ソーダ缶、クラッカーの箱、ボトル、壁の絵など)のカテゴリーに似るような形に作り上げるのが好ましいが、必ずしもそうでなくてもよい。
受動的な小道具はシーンの環境から区別できるようにしておく。それは、本発明がシーンを通じて、システムが小道具の上に反映されるシーン情報を記録できるような方法で、小道具を自動的に追跡できるようにするためである。受動的な小道具は、緑色のスクリーンの素材やレトロを感じさせる素材などを適当に組み合わせたもので作られてもよい。小道具をシーンで参照して追跡することができるように、小道具はインデックスを付けられたビジュアルなマーカーまたは類似の物でコード化される。たとえば、本発明によりビデオフレームを分析する間、各小道具の中心のX、Y、Z座標または小道具の周辺部の輪郭を自動的に追跡して、各小道具の定義と照合することができる。さらなる処理を施して、小道具のトラッキングの記録を小道具の輪郭に合わせ、アスペクト比やスムージングなどに合致するようにしてもよい。
アセットのビジュアルエフェクトとアフターエフェクトは、カメラと小道具の時系列の位置情報を含む既知のシーン情報に基づいて定めることができる。シーン情報が与えられ、ある瞬間における舞台小道具の位置とカメラ、ライト、その他の位置が決定されると、本発明は、挿入された舞台小道具に対して適当なアフターエフェクトの設定値を計算するための適切な入力を得る。
受動的な舞台小道具があるおかげで、アセット・タグの位置を特定するためにフレーム単位で映画を通じて手動でキャリブレーション処理をする必要性が減らされるか、取り除かれる。たとえば、ソーダ瓶のようなレトロを思わせるマーカーで作られた受動的な舞台小道具がシーン内に提供される。ソーダ瓶がキャラクタの手の中で動き回るとき、ソーダ瓶に対する時系列の位置情報が当該技術分野で知られているマシンビジョン追跡方法によって自動的に決定され、記録される。位置情報は、方向、チルト、ヨー、ロールといったメトリックスや、ソーダの小道具/アセットに対して適当な置換領域を与えるための適当な情報を含む。後で、新しい小道具や置換テクスチャが、ソーダ瓶が存在するフレームに描画されてもよい。それによって、シーンが作られた後、効果的にソーダ瓶をコカ・コーラ(登録商標)からペプシ(登録商標)に、または市場に入る新しいブランドに変えることができる。
受動的な小道具に加えて、能動的な小道具があるが、能動的な小道具は電子回路とシステムを含み、小道具が動作する環境をインテリジェントにセンシングすることができる。そのようなセンサは、グローバルかローカルな位置決め能力と、シーンの間、小道具がさらされている環境を記録すると他のセンサを使用可能にする。そのようなセンサは、光検出器、光検出器アレイ、CCDセンサ、CCDセンサ・アレイ、加速度計、その他を含むが、これらに限定されない。
能動的な小道具は、シーンの小道具を追跡する時系列の遠隔測定データを、シーン情報とリフレクション、シェーディング、ライティング、その他を含む小道具向けのシーン情報とともに記録するか、伝送する。
能動的な小道具は、位置、方向、チルト、ヨー、ロール、その他を含むいろいろな方法で追跡される。小道具は、形状の変形に対しても追跡される。小道具がどのように操作され、変形するかについて理解した上で小道具を追跡し、置換オブジェクトも同じ変形に従う。たとえば、シリアルの箱または歯みがきの小道具は、その小道具を操作する俳優が、小道具を押しつぶしたり、開いたり、閉じたり、アクセスすることによって、その形状がシーンにおいていかに変形するかを決定するべく、追跡される。
能動的な小道具は、小道具の上に反映されるオブジェクトの時系列のリフレクションを記録するか、伝送することができる。リフレクションデータおよびその他のセンサデータは、ビデオフレームのタイムインデックスにおいて小道具に対するアフターエフェクトの設定値を設定するために用いられる。小道具の上に新しいテクスチャを混合するとき、新しいテクスチャはアフターエフェクトの設定値で描画されるため、その新しいテクスチャは小道具オブジェクトの上にシーンからの現実のリフレクションをもって現れる。
このように、新しい番組コンテンツを用いて、広告アセットをコンテンツとともに開発することができ、上述の手動の処理は必要でなくなる。
参照ファイルの生成:
アセットが特定され、アフターエフェクトが決定された後、イメージまたは参照ファイルが作成される。具体的には、ステップ208において(図2A)、特定された置換可能な舞台小道具/アセットに関する位置とアフターエフェクト・データとともに元の番組コンテンツを含む参照ファイルが、作成される。ビデオフレームがそのフレームに係る舞台小道具の位置とアフターエフェクトの設定値を参照することができるように、参照ファイルは時間ベースで設けられるのが好ましい。
参照ファイルは、元の番組コンテンツにバンドルされる必要はない。元のコンテンツは、たとえばDVD、HD、メモリーカード上でエンドユーザにすでに手に入っているかもしれない。この場合、ユーザは、時間ベースの舞台小道具の位置とアフターエフェクト・データを含むが、元のコンテンツを含まない参照ファイルをダウンロードするか、ストリーム受信してもよい。本発明は、ユーザ参照ファイルが提供され、そのファイル自体には、時間ベースの舞台小道具の位置とアフターエフェクト・データが置換広告テクスチャとともに含まれるが、元のコンテンツは含まれないモードでも動作する。本発明は、ユーザ参照ファイルが提供され、そのファイル自体には、時間ベースの舞台小道具の位置とアフターエフェクト・データを置換広告テクスチャとともに含み、かつ、元のコンテンツも含むモードでも動作する。
前述のとおり、画像または参照ファイルは、プレーヤーが、いつ置換舞台小道具がシーンに、その形状、位置、およびレンダリングの設定値で存在するかを認識できるように時間ベースの情報を含むのが好ましい。
各アセットに対するインプレッションを評価する:
本発明の別の実施の形態によれば、各広告アセットに対する印象を評価する方法が提供される。具体的には、ステップ210において、価値が決定されて、コンテンツにおけるそれぞれの動的に置換可能な舞台小道具/アセットに割り当てられる。つまり、各アセット(例えば緑色の表示面のシリアルの箱)に対して、インプレッションの品質の適格性を判定するか価値評価するためのメカニズム、およびインプレッションの品質を追跡するためのメカニズムが提供される。各アセットの価値を決定することが価格に影響を及ぼし、潜在的な広告主によってその価格が払われるようになる。
各アセットの価値は、多くの異なる要因に依存することがある。そのような要因は、画面のサイズに対する小道具の相対サイズ、小道具が見える時間、小道具に適用される明瞭またはぼかし(ブラー)の効果などを含むがこれらに限られない。
小道具に適用される明瞭またはぼかし(ブラー)の効果に関して、たとえばソーダ瓶が、番組の後ろの方にあり、ぼんやりしたものであるかもしれない。カメラの焦点距離のため、ソーダ瓶は焦点が合っていないが、番組の主役には焦点が合っているかもしれない。このように、ソーダ瓶への焦点の度合いは要因の一つである。ソーダ瓶は多少ぼんやりしているから、ソーダ瓶がカメラのすぐ前に合ってフォーカスが合っている場合に比べて、広告アセットの価値をやや下げて評価するというインプレッション評価式を与えるかもしれない。
明瞭またはぼかしの効果の量は、アフターエフェクト後処理において混合されるかぼやけさせることで、画像が素材の残りと混ざり合う必要があるかどうかに依存する。これは、上述の手動のプロセスで特定される。自動化された緑色表示面の小道具処理の場合、明瞭またはぼかしの効果の量は、カメラの焦点距離、レンズのタイプ、小道具までの距離などにもとづいて自動的に計算される。
アセットの価値を評価するのに使うことのできる別の要因は、主役がアセットに触れ、何らかの形でアセットに注意を引くかどうかである。アセットの位置や方向も要因となりうる。たとえば、ソーダ瓶はアセットの価値を下げるような角度に位置するかもしれない。その角度では、芸術的なデザインとしては適切な位置にはないからである。コンテンツを制作するにあたってそのようなデザインを選ぶことは、露出および価値にインパクトを与える。
アセットの価値は、現実と、小道具に価値を与えて小道具を変える能力をもつ制作者の芸術的な自由度との間のバランスである。すべての異なる要因にもとづいて、潜在的な広告主は、最終的にアセットに広告を出すことに対して競争的に入札する。これについては後述する。
レガシーコンテンツに新しいアセットを追加する:
本発明の他の実施の形態によれば、固定された小道具が以前には存在していなかったレガシー番組に新しいデジタル小道具/アセットが挿入される。このようにして、動的に置換可能な舞台小道具/アセットがビデオ、ウェブ、番組コンテンツの何もない、開いた、都合の良い場所に設けられる。実施の形態は、レガシーコンテンツが製品/舞台小道具の置換のために限られた機会しかもたないという問題を解決するのに役立つ。
図3A、3B、3C、3D、3E、3Fを参照して、本発明の実施の形態において、動的に置換可能な小道具/アセットをどのようにして番組コンテンツに設けるかを例示的に説明する。番組コンテンツはレガシー番組を含む。具体的には、図3Aのように、番組のシーン300ではテーブル304の隣に人物302が立っている。上述のシナリオとは違って、テーブル304上には舞台小道具はない。
図3のように飲み物を示す動的に置換可能な舞台小道具/アセット306がシーン300に挿入され、テーブル304上にあるように置かれる。以前はテーブル304には何も表示されていなかったが、アセット306の挿入により、この番組の以前は何もなかった空間が利用価値のあるものになる。
動的に置換可能な舞台小道具/アセット306は今や、番組に製品を挿入したい広告主に売ることができるようになる。たとえば、図3Cのように、「レッドソーダ」308と呼ばれるソーダのブランドがシーン300のアセット306に挿入される。番組は、「レッドソーダ」の供給者がこの広告機会に対して支払う期間、放送される。その後、別の広告主がお金を払ってアセット306に自分の製品を表示してもよい。たとえば、図3のように、異なる製品、すなわち「ブルーポップ」310がシーン300のアセット306に挿入される。「ブルーポップ」の提供者は、番組が再放送されているある期間、たとえば、一つのエピソードについてだけ、あるいは全シーズンかそれ以上の期間、お金を払って自分の製品を表示させてもよい。
図3Eは、絵やポスターを表す動的に置換可能な舞台小道具/アセット314がシーン300に挿入され、テーブル304よりも上に配置されていることを示す。壁の上に以前は何も表示されていなかったが、アセット314の挿入により、以前は何もなかった空間が利用価値のあるものになる。この動的に置換可能な舞台小道具/アセット314もまた、番組に自分のメッセージを挿入したい広告主に売ることができる。たとえば、図3Fのように「アクションスポーツアパレル」316というアパレルブランドに関するメッセージがシーン300のアセット314に挿入される。このようにして新しい小道具/アセット、たとえば何もない壁の上の絵で広告アフィニティ、ブランドなどを含むものが追加される。
したがって、本発明の実施の形態において、新しい動的に置換可能な舞台小道具/アセットが、番組の開放された、もしくは都合のよい場所に追加される。たとえば、もしレガシー番組にシリアルの箱がないならば、シーンにシリアルの箱を追加することができる。
図4を参照して、本発明の実施の形態に係る、番組コンテンツに新しい動的に置換可能な舞台小道具/アセットを追加する方法400を例示する。ステップ402において、動的に置換可能なアセットを挿入できるか挿入するのが望ましい、コンテンツの開放された、何もない、あるいは都合の良い場所を特定する。ステップ404において動的に置換可能なアセットが一つ以上の特定された場所に設置される。
追加されたアセットに対して場所とビジュアルエフェクト情報を保存する上述のステップを、新しいアセットが挿入されるこの場合にも適用することができる。このようにして、ステップ406において、コンテンツのそれぞれの新しいアセットに対して参照座標のような位置情報が決定され、各瞬間で記録される。同様に、ビジュアルエフェクト情報を記録するプロセスとアフターエフェクトをブレンドするプロセスを使うこともできる。したがって、ステップ408においてコンテンツの各アセットのビジュアルエフェクト情報が決定され、各瞬間で記録される。アフターエフェクトとビジュアルエフェクトの情報をブレンディングすることに関して、番組には元々は小道具がなかったため、そのようなブレンディングはシーンの残りと最も良くフィットして見えるようにするためになされる。
ステップ410において、上述と同様に、動的に置換可能な小道具/アセットとともに元の番組コンテンツを含む参照ファイルが生成される。ステップ412において、価値が決められ、コンテンツのそれぞれの動的に置換可能な小道具/アセットに割り当てられる。
再生、置換イメージの挿入、およびネットワーキング:
図5を参照して、本発明の実施の形態に係る、動的に置換可能な舞台小道具/アセットを含む番組コンテンツを再生する一つの方法500を例示する。
TVショーをダウンロードするか、映画を再生することなどにより、参照ファイルを最終的に再生するとき、どんな置換イメージを動的に置換可能な舞台小道具/アセットに挿入するかを決めなければならない。置換小道具に広告オブジェクトを割り当てるためのスキームは数多く存在する。広告は重みをもってもよく、広告主が求めるインプレッションの要求数をかなえるために、システムは、様式や特定のタイトルを流用する広告を割り当ててもよい。
すべての異なる要因にもとづいて、潜在的な広告主は最終的にアセットに広告を出すことに対して競争的に入札することができる。このように、方法500のステップ502において、広告主はアセットに対して入札する。そのような入札はアセットの決定された価値にもとづいてもよい。
そのような入札が可能な方法は数多くある。たとえば、入札者が番組コンテンツと利用可能なアセットのタイプを提示されるオークションまたはそれに類似した方法がある。たとえば、アセットの一つがシリアルの箱であるなら、シリアルを広告したい会社はその特定のショーとアセットに対して入札する。
いったん、どんな置換イメージを動的に置換可能な舞台小道具/アセットに挿入するかを決定すると、この例では、ステップ504の例で示すように、コンテンツは参照ファイルを用いてブロードキャストされる。上述のように、本例では、イメージまたは参照ファイルは、各動的に置換可能な舞台小道具/アセットに対する位置とビジュアルエフェクトの情報を各瞬間で与える関数だけでなく、番組コンテンツも含む。番組が再生されると、参照ファイルは、各アセットの位置の参照座標と、当該技術分野で既知の通信方法を用いて記憶手段から動的に取り出された新しいテクスチャに適用されるべきアフターエフェクトとを提供する。
例示した方法のステップ506において、参照ファイルは置換イメージ、オブジェクトまたはテクスチャを取得する。より具体的には、メディアが再生されるとき、参照ファイルはネットワークサーバーと通信して、各IDに対する新しいイメージ、オブジェクト、またはテクスチャを受け取る。そのようなIDは動的に置換可能な舞台小道具/アセットを特定する。
ステップ508において置換テクスチャは、コンテンツの各アセットに対する適当なアフターエフェクトに通される。新しいテクスチャが適当なアフターエフェクトを通った後、テクスチャはコンテンツにマージされる。これはステップ510に例示されており、置換テクスチャは全国、地方、グループ、または個人ベースでコンテンツ内のアセットにデジタル的に挿入される。すなわち、置換小道具のイメージをダウンロードし、コンテンツに小道具をデジタル的にで挿入することにより、完成されたメディアが生成される。
ネットワークサーバは広告サーバを含んでもよい。置換小道具のイメージは広告サーバから動的に提供される。エンターテインメントシステムにおいてビデオゲームの中で広告を出すために使われる既存の広告サーバをこの目的のために修正してもよい。すなわち、そのような既存の広告サーバがビデオゲームの掲示板に広告を動的に提供する。そのようなインフラストラクチャは、コンテンツ内で特定されたアセットに置換小道具を動的に提供するように構成されてもよい。
ステップ510により、置換テクスチャが全国、地方、グループ、または個人単位でデジタル的にコンテンツに挿入される。図6は、本発明の実施の形態によって、これがどのようになされるかを例示する。すなわち、ネットワーク600はケーブル会社602のような一群のケーブル会社に番組コンテンツを提供する。置換小道具の挿入は、ネットワーク600によって、繰り返し、全国的にあるいはグローバルに行われ、それにより、すべての地方放送において同じまたは混合されたひとまとまりの置換小道具が現れる。あるいは、全国的あるいはグローバルに放送される番組に対して、異なる置換小道具と商用テクスチャを異なるローカルエリアのコンテンツに挿入してもよい。たとえば、置換小道具の挿入は地方ケーブル会社または地方の企業連合によってなされてもよい。地方ケーブル会社602は全国的に挿入される同じ小道具を挿入してもよく、その地方に意味のある小道具を挿入してもよい。
別の実施の形態では、視聴者のタイプやグループに依存して、異なる置換小道具と商用テクスチャをコンテンツに挿入してもよい。たとえば、テクスチャは末端の視聴者604のためだけに挿入されてもよい。他の実施の形態では、異なる置換小道具と商用テクスチャが、特定の個人の視聴者のためだけにコンテンツに挿入されてもよい。このシナリオは、末端の視聴者606に対して、視聴者のケーブルボックス、エンターテインメントシステム、あるいはそれに類するものによって広告挿入がなされるという例で説明されている。プログラムコンテンツは視聴者のケーブルボックスまたはエンターテインメントシステムにダウンロードされ、それから広告挿入がなされる。
置換小道具が視聴者のタイプに依存するシナリオに対してプロファイリングを使うことができる。そのようなプロファイリングは各視聴者に対するユーザプロファイルを利用することができる。たとえば、ホッケーファンである視聴者に対しては、番組コンテンツにホッケーの小道具を見せてもよい。このように、小道具と小道具のスタイルはユーザのプロファイルに依存する。
したがって、ネットワークがメディアに広告を流す方法は多数ある。
ここに記述される方法と技術は、多くの異なる種類のコンピュータ、グラフィックスワークステーション、ビデオゲーム・システム、DVDプレーヤー、DVR、メディア・プレーヤー、ホームサーバ、ビデオ・ゲーム機、携帯電話、携帯機器、無線装置などの上で利用され、実装され、実行される。図7を参照して、ここに述べた方法と技術を実装し、実行するのに用いられるシステム700を例示する。システム700は、中央演算処理装置(CPU)702、グラフィック処理装置(GPU)704、デジタル微分解析(DDA)ハードウェア706、ランダムアクセスメモリ(RAM)708、ディスクドライブのような大容量記憶装置710、表示装置712を含む。
CPU702および/またはGPU704はここに述べた方法と技術の各ステップを実行するために使うことができ、いろいろな番組コンテンツと画像は表示装置712に描画することができる。リムーバブル記録媒体714を大容量記憶装置710とともにオプションで使い、それをここに述べた方法と技術を実装するコードを格納するために使ってもよい。もっとも、RAM708や大容量記憶装置710のような記憶デバイスのいずれかをそのようなコードを格納するために使ってもよい。システム700の全体または一部を、コンピュータ、ビデオ・ゲーム機またはシステムのようなデバイス716に具体化してもよい。シミュレーションや処理は、他のグラフィクス・タスクと並行して動いてもよい。マルチ・プロセッシング・コアの上では、シミュレーションは別々のプロセッサーで実行することができる。
ここに開示した本発明は、特定の実施の形態、例、およびその応用を用いて説明したが、当業者であれば、請求項で示した発明の範囲を逸脱することなく、いろいろな変更、変形をすることができる。たとえば、置換画像は、ネットワーク経由で、あるいはDVD、メモリーカード、その他を含むの他の手段によって、受信してもよい。広告テクスチャと置換画像は、モデル、画像またはその組合せを含んでもよい。番組コンテンツと参照ファイルはストリーム受信されてもよい。元の番組コンテンツは、元の番組コンテンツおよび/また元の番組コンテンツの修正されコード化されたバージョンを含んでもよい。本発明は、従来の商業的な広告自体の中に舞台小道具を挿入するか、置換するために用いられてもよい。本発明は新しい没頭できるビデオゲームを含めいろいろな目的に使うことができ、エンターテイメントのモデル、メッセージ、コントロール、時計、ニュース、フレームが実体験として感じられるように置かれ、時間ベースのシーン特有の配置などのために最適化される。本発明は、放送、ウェブ、ネットワークTV、ゲームなどを含む従来の配信チャネルに置かれた商業的なバナー広告の中に小道具を挿入するか、置換するために用いてもよい。「コンテンツ」は、テレビ番組、番組、映画、動画、ビデオ、ウェブサイト、コマーシャル、ドキュメンタリー、ビデオゲーム、その他を含むが、これに限定されるものではないことは、十分理解されなければならない。
本発明は、媒体の使用と広告へのユーザの露出を追跡するためにフィードバックの記録をアップロードするように構成されてもよい。広告モデル、テクスチャはネットワーク・アクセスを一時止めたデバイス上に保管されバッファされてもよい。広告をローテーション・スケジュールにかけてもよい。参照ファイルは一つ以上のファイルであってもよく、他のエレメントやオブジェクトを含んでもよい。位置データとアフターエフェクトデータを物理的に異なるファイルに分け、異なるチャネル上のネットワークを介してストリーム受信しもよい。これもまた「参照ファイル」と呼ぶ。本発明を携帯機器、携帯電話などで用いてもよい。
このように、ある実施の形態において、レガシー番組コンテンツの消費製品のような舞台小道具が動的に置換可能なアセットに置き換えられる。異なる製品・サービスの画像を挿入し、ネットワーク経由で変えることができるという点で、そのようなアセットは広告目的で使うことができる。置き換えのためにコンテンツの小道具を特定し、特定された小道具ごとに位置とビジュアルエフェクトの情報を決定し、コンテンツと各特定された小道具に関連づけられた位置情報およびビジュアルエフェクト情報とを含む参照ファイルを作成することによって、そのようなアセットを生成してもよい。対価を各アセットに対して決定するか、広告主がコンテンツに対してさらなる広告収益チャネルを与えるためにアセットに入札してもよい。コンテンツとコンテンツにアセットを挿入することに対するパラメータを指定する参照情報とをブロードキャストすることによってコンテンツが再生されるようにしてもよい。製品の画像のような置換画像をネットワーク経由で取得してもよい。あたかも挿入されたオブジェクトが元のシーンの一部であるかのように自然に見えるように、各置換画像の視覚的外観をビジュアルエフェクト情報を使って修正してもよい。
ある実施の形態において、動的に置換可能なアセットを番組コンテンツに挿入し、その中に映画の舞台小道具を挿入するために使ってもよい。異なる製品・サービスの画像を挿入し、ネットワーク経由で変えることができるという点で、そのようなアセットは広告目的で使うことができる。アセットを挿入することができるコンテンツの位置を特定し、特定された位置にアセットを設定し、各アセットに対して位置とビジュアルエフェクトの情報を決定し、各アセットに関連づけられた位置情報およびビジュアルエフェクト情報を含む参照ファイルを作成することによって、そのようなアセットを生成してもよい。対価を各アセットに対して決定するか、広告主がコンテンツに対してさらなる広告収益チャネルを与えるためにアセットに入札してもよい。コンテンツとコンテンツにアセットを挿入することに対するパラメータを指定する参照情報とをブロードキャストすることによってコンテンツが再生されるようにしてもよい。製品の画像のような置換画像をネットワーク経由で取得してもよい。あたかも挿入されたオブジェクトが元のシーンの一部であるかのように自然に見えるように、各置換画像の視覚的外観をビジュアルエフェクト情報を使って修正してもよい。
本発明の実施の形態に係る動的に置換可能な舞台小道具/アセットの例を絵で説明するダイアグラムである。 本発明の実施の形態に係る動的に置換可能な舞台小道具/アセットの例を絵で説明するダイアグラムである。 本発明の実施の形態に係る動的に置換可能な舞台小道具/アセットの例を絵で説明するダイアグラムである。 本発明の実施の形態に係る動的に置換可能な舞台小道具/アセットの例を絵で説明するダイアグラムである。 本発明の実施の形態に係る動的に置換可能な舞台小道具/アセットとともにコンテンツを生成する方法を説明するフローダイアグラムである。 本発明の実施の形態に係る動的に置換可能な舞台小道具/アセットとともにコンテンツを生成する方法を説明するフローダイアグラムである。 本発明の実施の形態に係る動的に置換可能な舞台小道具/アセットの例を絵で説明するダイアグラムである。 本発明の実施の形態に係る動的に置換可能な舞台小道具/アセットの例を絵で説明するダイアグラムである。 本発明の実施の形態に係る動的に置換可能な舞台小道具/アセットの例を絵で説明するダイアグラムである。 本発明の実施の形態に係る動的に置換可能な舞台小道具/アセットの例を絵で説明するダイアグラムである。 本発明の実施の形態に係る動的に置換可能な舞台小道具/アセットの例を絵で説明するダイアグラムである。 本発明の実施の形態に係る動的に置換可能な舞台小道具/アセットの例を絵で説明するダイアグラムである。 本発明の実施の形態に係る動的に置換可能な舞台小道具/アセットとともにコンテンツを生成する方法を説明するフローダイアグラムである。 本発明の実施の形態に係る動的に置換可能な舞台小道具/アセットとともにコンテンツを再生する方法を説明するフローダイアグラムである。 本発明の実施の形態に係る図5の方法の一部の実装例を説明するシステムダイアグラムである。 本発明の実施の形態に係る方法を走らせ、実装し、あるいは実行するために用いられるコンピュータシステムを説明するブロックダイアグラムである。

Claims (12)

  1. コンテンツ、およびコンテンツ内の一つ以上の置換可能な舞台小道具であって、各舞台小道具は、シーン内に設置され前記コンテンツ内の形によって境界が示されたオブジェクトを含む舞台小道具に関連づけられたプロファイル、位置、およびビジュアルエフェクトの情報を含む参照ファイルを提供する手段と、
    潜在的な広告主によって提出された競争的な入札に基づいて選択された一つ以上の置換画像を取得する手段と、
    プロファイルおよび前記ビジュアルエフェクト情報を用いて少なくとも一つの置換画像の視覚的外観を修正する手段と、
    コンテンツに前記一つ以上の置換画像を挿入して前記一つ以上の置換可能な舞台小道具を置換する手段と、
    前記コンテンツを表示装置に描画する手段とを含み、
    前記置換可能な舞台小道具用の前記プロファイルは、各舞台小道具について置換画像がどこに陰影をつけられるべきか、および光源がカメラ・ビューに基づいてどこに置かれるべきかを示し、
    前記位置情報とビジュアルエフェクト情報とは、番組コンテンツが再生されるにつれて前記位置情報と前記ビジュアルエフェクト情報とを自動的に追跡して保存するソフトウェアツールによって決定されることを特徴とするシステム。
  2. 少なくとも一つの置換画像は前記参照ファイルに含まれる請求項に記載のシステム。
  3. 各置換画像の視覚的外観を修正する手段は、ブラー効果を調整する手段を含む請求項に記載のシステム。
  4. 挿入するステップは、全国単位でなされる請求項に記載のシステム。
  5. 挿入するステップは、地方単位でなされる請求項に記載のシステム。
  6. 挿入するステップは、個人単位でなされる請求項に記載のシステム。
  7. コンピュータに入力するためのコンピュータプログラムが具現化された記録媒体であって、記録媒体に具現化されたコンピュータプログラムはコンピュータに、
    コンテンツにアクセスするステップと、
    コンテンツ内の一つ以上の置換可能な舞台小道具であって、各舞台小道具は、シーン内に設置され前記コンテンツ内の形によって境界が示されたオブジェクトを含む舞台小道具に関連づけられたプロファイル、位置情報、およびビジュアルエフェクト情報を含む参照ファイルにアクセスするステップと、
    潜在的な広告主によって提出された競争的な入札に基づいて選択された一つ以上の置換画像を取得するステップと、
    プロファイルおよび前記ビジュアルエフェクト情報を用いて少なくとも一つの置換画像の視覚的外観を修正するステップと、
    コンテンツに前記一つ以上の置換画像を挿入して前記一つ以上の置換可能な舞台小道具を置換するステップと、
    前記コンテンツを表示装置に描画するステップとを実行させ、
    前記置換可能な舞台小道具用の前記プロファイルは、各舞台小道具について置換画像がどこに陰影をつけられるべきか、および光源がカメラ・ビューに基づいてどこに置かれるべきかを示し、
    前記位置情報とビジュアルエフェクト情報とは、番組コンテンツが再生されるにつれて前記位置情報と前記ビジュアルエフェクト情報とを自動的に追跡して保存することをコンピュータに実現させるコンピュータプログラムを格納した記録媒体。
  8. 前記置換画像はネットワークを介して伝送される請求項に記載の記録媒体。
  9. 各置換画像の視覚的外観を修正するステップは、画像のブラー効果を調整すること、3次元オブジェクトを描画すること、および3次元オブジェクト上に画像をテクスチャマッピングすることの内、いずれかのオペレーションを含む請求項に記載の記録媒体。
  10. 前記置換画像および前記参照ファイルはネットワークを介して伝送される請求項に記載の記録媒体。
  11. コンテンツはDVDに格納される請求項10に記載の記録媒体。
  12. コンテンツはネットワークを介してダウンロードされる請求項10に記載の記録媒体。
JP2008558491A 2006-03-07 2007-03-05 番組コンテンツにおける映画の舞台小道具の動的置換および挿入方法 Active JP5226539B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US11/371,215 2006-03-07
US11/371,367 2006-03-07
US11/371,215 US8566865B2 (en) 2006-03-07 2006-03-07 Dynamic insertion of cinematic stage props in program content
US11/371,367 US8549554B2 (en) 2006-03-07 2006-03-07 Dynamic replacement of cinematic stage props in program content
PCT/US2007/063326 WO2007103883A2 (en) 2006-03-07 2007-03-05 Dynamic replacement and insertion of cinematic stage props in program content

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2012055358A Division JP5433717B2 (ja) 2006-03-07 2012-03-13 番組コンテンツにおける映画の舞台小道具の動的置換および挿入方法
JP2012055357A Division JP5458131B2 (ja) 2006-03-07 2012-03-13 番組コンテンツにおける映画の舞台小道具の動的置換および挿入方法

Publications (3)

Publication Number Publication Date
JP2009529300A JP2009529300A (ja) 2009-08-13
JP2009529300A5 JP2009529300A5 (ja) 2009-12-24
JP5226539B2 true JP5226539B2 (ja) 2013-07-03

Family

ID=38475778

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2008558491A Active JP5226539B2 (ja) 2006-03-07 2007-03-05 番組コンテンツにおける映画の舞台小道具の動的置換および挿入方法
JP2012055357A Active JP5458131B2 (ja) 2006-03-07 2012-03-13 番組コンテンツにおける映画の舞台小道具の動的置換および挿入方法
JP2012055358A Active JP5433717B2 (ja) 2006-03-07 2012-03-13 番組コンテンツにおける映画の舞台小道具の動的置換および挿入方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2012055357A Active JP5458131B2 (ja) 2006-03-07 2012-03-13 番組コンテンツにおける映画の舞台小道具の動的置換および挿入方法
JP2012055358A Active JP5433717B2 (ja) 2006-03-07 2012-03-13 番組コンテンツにおける映画の舞台小道具の動的置換および挿入方法

Country Status (4)

Country Link
EP (3) EP2523192B1 (ja)
JP (3) JP5226539B2 (ja)
CN (1) CN103024293B (ja)
WO (1) WO2007103883A2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7994930B2 (en) * 2006-10-30 2011-08-09 Sony Ericsson Mobile Communications Ab Product placement
US20110107368A1 (en) * 2009-11-03 2011-05-05 Tandberg Television, Inc. Systems and Methods for Selecting Ad Objects to Insert Into Video Content
WO2012060803A1 (en) * 2010-11-05 2012-05-10 Thomson Licensing System and method for providing object substitution in video
BR112014013045A2 (pt) * 2011-11-29 2017-06-13 Watchitoo Inc método e sistema para difusão a uma pluralidade de dispositivos do lado do cliente
EP2765781A1 (en) * 2013-02-07 2014-08-13 Thomson Licensing Method for providing targetable content in images of a video sequence and corresponding device
CN105684011B (zh) * 2013-06-27 2020-04-21 英特尔公司 自适应嵌入视觉广告内容到媒体内容中
US20160094866A1 (en) * 2014-09-29 2016-03-31 Amazon Technologies, Inc. User interaction analysis module
EP3029940B1 (en) * 2014-12-04 2017-03-15 Axis AB Method and device for post processing of a video stream
TWI573451B (zh) * 2016-04-27 2017-03-01 王公誠 可替換物件之影片播放系統
US10291678B2 (en) * 2016-10-01 2019-05-14 Facebook, Inc. Architecture for augmenting video data obtained by a client device with one or more effects during rendering
CN106899807A (zh) * 2016-12-31 2017-06-27 天脉聚源(北京)科技有限公司 一种构建虚拟穹顶的方法和装置
KR102049499B1 (ko) * 2017-02-10 2020-01-08 주식회사 시어스랩 라이브 스트리밍 영상 생성 방법 및 장치, 라이브 서비스 제공 방법 및 장치, 및 라이브 스트리밍 시스템
EP4156694A1 (en) * 2017-07-07 2023-03-29 Nagravision Sàrl A method to insert ad content into a video scene
WO2019120592A1 (en) * 2017-12-22 2019-06-27 Sony Mobile Communications Inc Method and apparatus for image processing

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1054694A (zh) * 1990-03-08 1991-09-18 秦方 多画面电视
US7721307B2 (en) * 1992-12-09 2010-05-18 Comcast Ip Holdings I, Llc Method and apparatus for targeting of interactive virtual objects
US5903317A (en) * 1993-02-14 1999-05-11 Orad Hi-Tech Systems Ltd. Apparatus and method for detecting, identifying and incorporating advertisements in a video
US5953076A (en) * 1995-06-16 1999-09-14 Princeton Video Image, Inc. System and method of real time insertions into video using adaptive occlusion with a synthetic reference image
GB9514313D0 (en) * 1995-07-13 1995-09-13 Beattie Robert J Live-ads
US6381362B1 (en) * 1999-04-08 2002-04-30 Tata America International Corporation Method and apparatus for including virtual ads in video presentations
US7015978B2 (en) * 1999-12-13 2006-03-21 Princeton Video Image, Inc. System and method for real time insertion into video with occlusion on areas containing multiple colors
JP2002015217A (ja) * 2000-06-30 2002-01-18 Fujitsu Ltd オークションを用いたデジタルコンテンツ広告表示システム
US20030028432A1 (en) * 2001-08-01 2003-02-06 Vidius Inc. Method for the customization of commercial product placement advertisements in digital media
DE60239067D1 (de) * 2001-08-02 2011-03-10 Intellocity Usa Inc Nachbereitung von anzeige änderungen
US20040098753A1 (en) * 2002-03-20 2004-05-20 Steven Reynolds Video combiner
EP1416727A1 (en) * 2002-10-29 2004-05-06 Accenture Global Services GmbH Moving virtual advertising
US20040194128A1 (en) * 2003-03-28 2004-09-30 Eastman Kodak Company Method for providing digital cinema content based upon audience metrics
JP2004304792A (ja) * 2003-03-28 2004-10-28 Eastman Kodak Co 観客測定基準に基づいてデジタルシネマコンテンツを供給する方法
NO320345B1 (no) * 2004-02-05 2005-11-28 Gunnar Myhr Et intelligent system for integrert TV formidling og reklame, spesielt relatert til arrangementer og sosiookonomisk malretning mot seerne.
US7720554B2 (en) * 2004-03-29 2010-05-18 Evolution Robotics, Inc. Methods and apparatus for position estimation using reflected light sources

Also Published As

Publication number Publication date
JP5458131B2 (ja) 2014-04-02
JP2012135040A (ja) 2012-07-12
JP2009529300A (ja) 2009-08-13
WO2007103883A3 (en) 2008-11-27
EP2046043A2 (en) 2009-04-08
EP1994742A4 (en) 2010-05-05
EP2523192A1 (en) 2012-11-14
WO2007103883A2 (en) 2007-09-13
EP2523192B1 (en) 2015-08-19
CN103024293B (zh) 2016-06-29
CN103024293A (zh) 2013-04-03
JP2012135039A (ja) 2012-07-12
JP5433717B2 (ja) 2014-03-05
EP2046043A3 (en) 2010-05-05
EP1994742A2 (en) 2008-11-26
EP2046043B1 (en) 2012-11-28

Similar Documents

Publication Publication Date Title
US8860803B2 (en) Dynamic replacement of cinematic stage props in program content
JP5226539B2 (ja) 番組コンテンツにおける映画の舞台小道具の動的置換および挿入方法
US8566865B2 (en) Dynamic insertion of cinematic stage props in program content
US7444656B2 (en) Post production visual enhancement rendering
US20030028432A1 (en) Method for the customization of commercial product placement advertisements in digital media
US20180374116A1 (en) Advertising impression determination
US10387920B2 (en) System and method for offering and billing advertisement opportunities
US20040194128A1 (en) Method for providing digital cinema content based upon audience metrics
US20180012235A1 (en) On demand product placement
US20040194123A1 (en) Method for adapting digital cinema content to audience metrics
US20100164989A1 (en) System and method for manipulating adverts and interactive
US10726443B2 (en) Deep product placement
JP2004304791A (ja) デジタルシネマフレームコンテンツを修正する方法及び装置
WO2006074209A2 (en) Video-on-demand embedded advertising system and method
JP2004304792A (ja) 観客測定基準に基づいてデジタルシネマコンテンツを供給する方法
US20130198010A1 (en) Method for producing a media production whose profits are collected prior to the production thereof so that it can be provided and/or shown to the audience for free
JP2023520532A (ja) コンテンツ挿入用のビデオの作成
CN101535988A (zh) 控制或访问数字内容的方法
JP2002259796A (ja) 宣伝方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111115

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120214

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120807

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130116

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130314

R150 Certificate of patent or registration of utility model

Ref document number: 5226539

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160322

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250