JP7303754B2 - ユーザー固有コンテンツを映像制作に融合させる方法及びシステム - Google Patents

Description

本発明は、映像制作、特には、ユーザーに合わせたコンテンツの映像放映への融合に関する。

スポーツイベントの自動映像コンテンツ制作は、近年、専用のハードウェア及びソフトウェアの導入とともに、ますます普及している。長年の間、視聴者が、広告コンテンツを表示する面のいくつかの部分で映像放映を見ることのできる方法で、広告が映像コンテンツに融合されることが可能であることが示唆されている。

しかし、多くの挑戦、特には、前景の物体（例えば、プレイヤー）と背景の面との間の関係に関連する挑戦は、主に、融合されたコンテンツと前景の物体との間の障害物の干渉により、満足な結果を得ることを妨げている。

本発明の第１の態様は、視聴者固有のグラフィックコンテンツを、複数の視聴者端末に放映される映像コンテンツに融合する方法を提供し、前記方法は、映像処理サーバーによって、複数のフレームからなる映像コンテンツを受け取るステップであって、前記複数のフレームのそれぞれが、背景面及び関心対象からなる画面を表しているステップと、前記映像処理サーバーによって、前記複数のフレームの、フレームのサブセットの各フレームに対して、前記それぞれのフレームのピクセルの各々を、前記ピクセルと関連付けられる前記画面内の現実の地理上の位置と関係付ける仮想カメラモデルを引き出すステップと、前記映像処理サーバーによって、フレームの前記サブセットの各フレームに対して、前記関心対象に関連するピクセルからなる前景マスクを生成するステップと、前記複数の視聴者端末の少なくともいくつかによって、前記映像コンテンツのフレームの前記サブセットの前記フレームの少なくとも一部において、前記背景面の少なくとも一つの特定されたコンテンツ挿入領域内に含まれる前記それぞれのフレーム内の全てのピクセルを、前記それぞれのフレームの前景マスクによって示される前記ピクセルを除いて、前記それぞれのフレームの仮想カメラモデルを用いて、前記視聴者端末と関連付けられる視聴者固有のグラフィックコンテンツのピクセルと置き換えるステップと、を含む。

本発明の他の態様は、視聴者固有のグラフィックコンテンツを、複数の視聴者端末に放映される映像コンテンツに融合するシステムを提供し、前記システムは、映像処理サーバーと、前記映像処理サーバーと通信する複数の視聴者端末と、を備え、前記映像処理サーバーは、複数のフレームからなる映像コンテンツを受け取り、ここで、前記複数のフレームのそれぞれが、背景面及び関心対象からなる画面を表しており、前記映像コンテンツの前記複数のフレームの、フレームのサブセットに対して、前記それぞれのフレームのピクセルの各々を前記ピクセルと関連付けられる前記画面内の現実の地理上の位置と相互に関係付ける仮想カメラモデルを引き出し、フレームの前記サブセットの各フレームに対して、前記関心対象に関連する前記ピクセルからなる前景マスクを発生するように配置され、前記複数の視聴者端末の少なくともいくつかは、フレームの前記サブセットの前記フレームの少なくとも一部において、前記背景面の特定されたコンテンツ挿入領域内に含まれる前記それぞれのフレーム内の全てのピクセルを、前記関心対象と関連した前記それぞれの前景マスクによって示される前記ピクセルを除いて、前記それぞれの仮想カメラモデルを用いて、前記それぞれの視聴者端末と関連付けられる視聴者固有のグラフィックコンテンツのピクセルと置き換えるように配置されている。

本発明のこれらの、追加の、及び／又は他の態様及び／又は利点は、以下の詳細な説明に記載され、詳細な説明から推断できる、及び／又は本発明の実施によって学習できるであろう。

発明の実施形態のより良い理解と発明の実施形態がどのように実行されるかを示すために、純粋に例として、全体を通して同じ数字が対応する要素又はセクションを示す添付の図面に参照される。添付の図面は以下である。

発明のいくつかの実施形態における、視聴者固有のグラフィックコンテンツを、複数のユーザー端末に放映される映像コンテンツへ融合させるシステムの様々な構成を模式的に示す図である。 発明のいくつかの実施形態における、視聴者固有のグラフィックコンテンツを、複数のユーザー端末に放映される映像コンテンツへ融合させるシステムの様々な構成を模式的に示す図である。 発明のいくつかの実施形態における、視聴者固有のグラフィックコンテンツを、複数のユーザー端末に放映される映像コンテンツへ融合させるシステムの様々な構成を模式的に示す図である。 発明のいくつかの実施形態における、視聴者固有のグラフィックコンテンツを、複数のユーザー端末に放映される映像コンテンツへ融合させるシステムのより詳細な態様の様々な構成を模式的に示す図である。 発明のいくつかの実施形態における、視聴者固有のグラフィックコンテンツを、複数のユーザー端末に放映される映像コンテンツへ融合させるシステムのより詳細な態様の様々な構成を模式的に示す図である。 発明のいくつかの実施形態における、視聴者固有のグラフィックコンテンツを、複数のユーザー端末に放映される映像コンテンツへ融合させるシステムのより詳細な態様の様々な構成を模式的に示す図である。 発明のいくつかの実施形態における、視聴者固有のコンテンツを、複数のユーザー端末に放映される映像コンテンツへ融合させる方法を示すフローチャートである。 発明のいくつかの実施形態における、視聴者固有のコンテンツを、複数のユーザー端末に放映される映像コンテンツへ融合させる方法を示すフローチャートである。 発明のいくつかの実施形態における、視聴者固有のコンテンツを、複数のユーザー端末に放映される映像コンテンツへ融合させる方法を示すフローチャートである。

図示を簡易かつ明瞭とするために、図面に示される要素は、必ずしも正確な寸法で描かれていないことが理解される。例えば、いくつかの要素の寸法は、明瞭とするために、他の要素と比較して誇張されてもよい。さらに、適切と考えられる場合には、参照符号が、対応する又は類似する要素を示す図面の中に繰り返されてもよい。

以下の説明において、本発明の様々な局面が記載される。説明の目的として、本発明の完全な理解を提供するために、特定の構成及び詳細が記載される。しかし、本発明が、ここに表された特定の詳細なしに実施されることは、同業者には明らかであろう。さらに、本発明をあいまいにしないために、既知の特徴が、省略されたり簡易化されたりしている。図面を特に参照して、示されている部分は、例として及び本発明の例示的な検討の目的のためのみであり、発明の原理及び概念的な局面の最も有用で容易に理解される記載であると思われるものを提供するために表されることが、強調される。この点において、発明の基礎的な理解に必要とされる以上に詳細に発明の構造的な詳細を示す試みはなされず、図面を伴う記載は、同業者に、発明の様々な形態がどのように具体化されるかを明らかにする。

発明の少なくとも一つの実施形態が詳細に説明される前に、発明は、その適用において、以下の記載に明らかにされた又は図面に示された要素の構成及び配置の詳細に限定されないことが理解されるべきである。発明は、開示された実施形態の組合せと同様に、様々な方法で実施され又は実行される他の実施形態に適用可能である。また、ここに使用される表現及び用語は、説明の目的のためであり、限定としてみなされるべきではないことが理解されるべきである。

他に特別に述べない限り、以下の検討から明らかなように、明細書の検討を通して、「処理する」、「コンピューティングする」、「計算する」、「決定する」、「拡張する」等の用語を使用することは、コンピューティングシステムのレジスター及び／又はメモリー内の物理的な、例えば、電子的な、量として表されるデータを処理し、及び／又は、このデータを、コンピューティングシステムのメモリー、レジスター、又は、他のそのような情報記録装置、伝達装置、又は表示装置内の物理的な量として同様に表される他のデータに変換する、コンピューター又はコンピューティングシステム、又は、同様の電子コンピューティング装置の動作及び／又は処理に関することが認識される。開示されたモジュール又はユニットのいくつかは、少なくとも部分的に、コンピューター処理装置によって実行されてもよい。

本発明の実施形態は、視聴者固有のグラフィックコンテンツ（例えば、広告）を、複数のユーザー端末に放映される映像コンテンツに融合させるシステム及び方法を提供する。システムは、例えば、スポーツイベント（例えば、サッカー、バスケットボール、フットボール等）の場面を表す映像コンテンツを受け取る又は発生するように配置された映像処理サーバーを含んでもよい。映像コンテンツは、複数のフレームを含んでもよい。

映像処理サーバーは、映像コンテンツの複数のフレームの、フレームのサブセットに対して、仮想カメラモデルの対応するサブセット及び前景マスクの対応するサブセットを引き出してもよい。いくつかの実施形態において、フレームのサブセットは、視聴者固有のグラフィックコンテンツが、放映される映像コンテンツに融合されるように意図されているスポーツイベント中に、規定された時間／持続時間に基づいて選択される。映像処理サーバーは、さらに、サブセットのフレームがそれぞれの仮想カメラモデル及びそれぞれの前景マスクを含むメタデータを伴う映像コンテンツを放映してもよい。

様々な実施形態において、映像コンテンツは、融合される視聴者固有のグラフィックコンテンツ（例えば、広告、ロゴ等）と共に、視聴者の端末で、又は、仮想レンダリングサーバーで受け取られてもよい。

視聴者の端末／仮想レンダリングサーバーは、場面内の特定されたコンテンツ挿入領域内に含まれるサブセットのフレーム内の全てのピクセルを、それぞれのフレームの前景マスクによって示されるピクセルを除いて、それぞれのフレームの仮想カメラモデルを用いて、視聴者固有グラフィックコンテンツのピクセルを置き換えることによって、ユーザー固有のグラフィックコンテンツを映像コンテンツに融合させるように配置されてもよい。

様々な実施形態において、視聴者固有のグラフィックコンテンツは、個別に視聴者の各々に、又は、視聴者の異なるグループ（例えば、男性、女性、子供等）に合わせられてもよい。このため、いくつかの実施形態において、視聴者端末又は視聴者端末のグループの各々は、視聴者に合わせられた、場合によっては異なるグラフィックコンテンツが融合された映像コンテンツを受け取ってもよく、融合には、衝突及び妨害を排除するために前景が考慮される。

有利には、開示されるシステム及び方法は、代替グラフィックコンテンツの、視聴者端末又は仮想レンダリングサーバーのいずれかに直接（及び、映像処理サーバーから離れて）放映される映像コンテンツへの融合を可能とし、固有の視聴者／視聴者のグループへの代替グラフィックコンテンツの適用に高い柔軟性を提供する一方で、映像処理サーバーで一度だけ実行され得る映像コンテンツ（例えば、前景マスク及び仮想カメラモデルの生成）の、繰り返され、複雑で、リソースを消費する準備段階における必要性を排除する。

発明のいくつかの実施形態における、視聴者固有のグラフィックコンテンツを、複数のユーザー端末に放映される映像コンテンツに融合させるシステム１００の様々構成の模式図である図１Ａ、１Ｂ、１Ｃを参照する。

いくつかの実施形態において、システム１００は、映像処理サーバー１１０と、映像処理サーバー１１０と通信するユーザー端末１８０（１）～１８０（Ｍ）（例えば、スマートフォン、タブレットコンピューター、クラウド、スマートテレビ等）を含んでもよい。いくつかの実施形態において、ユーザー端末１８０（１）～１８０（Ｍ）は、複数の視聴者８０（１）～８０（Ｍ）と関連付けられてもよい。

映像処理サーバー１１０は、映像コンテンツ１０５（例えば、図１Ａに示されるように）を受け取ってもよい（例えば、特定の場所で、又は、ネットワーク上で）。映像コンテンツ１０５は、複数のフレームを含んでもよい。映像コンテンツ１０５は、例えば、スポーツイベント（例えば、サッカーの試合、バスケットボールの試合等）で場面５を表す。場面５は、例えば、固定／背景面１０及び関心対象２０を含んでもよい。例えば、固定／背景面１０は、試合場であり、及び／又は、関心対象２０は、スポーツイベントのボール２２、プレイヤー２４ａ～２４ｅ及び／又は審判２６のような移動物体であってもよい。したがって、映像コンテンツ１０５のフレームは、固定／背景面１０に関連するピクセル及び関心対象２０に関連するピクセルを含んでもよい。

いくつかの実施形態において、システム１００は、少なくとも一つのカメラ１２０（例えば、固定又は動的カメラ）を含んでもよい。カメラ１２０は、例えば、スポーツイベントの画面５に向けられ、動画映像を撮り込み、それらのそれぞれの映像ストリーム１２２を映像処理サーバー１１０に送信するように配置されてもよい。これらの実施形態において、映像処理サーバー１１０は、映像ストリーム１２２を受け取り、映像ストリーム１２２に基づいて映像コンテンツ１０５を生成するように配置されてもよい（例えば、図２Ａ、２Ｂを参照して以下に記載されるように）。

いくつかの実施形態において、システム１００は、スポーツイベントの画面５に向けられ、動画映像を撮り込み、それらのそれぞれの映像ストリーム１２２（１）～１２２（Ｎ）を映像処理サーバー１１０に送信するように配置された複数のカメラ１２０（１）～１２０（Ｎ）を含んでもよい（例えば、図１Ｂ、１Ｃに示されるように）。映像処理サーバー１１０は、さらに、映像ストリーム１２２（１）～１２２（Ｎ）の少なくともいくつかに基づいて映像コンテンツ１０５を生成するように配置されてもよい。これらの例において、複数のカメラ１２０（１）～１２０（Ｎ）のそれぞれは、異なる角度に向けられ、複数のカメラ１２０（１）～１２０（Ｎ）の全てが一緒に画面の全景を提供してもよく、映像コンテンツ１０５（映像処理サーバー１１０によって生成された）は、さらに、画面５の全ての可能な角度を含んでもよい。

いくつかの実施形態において、映像処理サーバー１１０は、映像コンテンツ１０５の複数のフレームの、フレームのサブセットの各フレームに対して、仮想カメラモデルを引き出し、仮想カメラモデル１１２の対応するサブセットを生じるように配置されてもよい（例えば、図２を参照して後述するように）。映像コンテンツ１０５のフレームのサブセットの各フレームの仮想カメラモデルは、例えば、それぞれのフレームのピクセルのそれぞれを、そのピクセルと関連付けられた現実の地理的な位置と互いに関連付けてもよい（例えば、図２を参照して後述するように）。

いくつかの実施形態において、サブセットのフレームは、視聴者固有のグラフィックコンテンツが映像コンテンツに融合されるように意図されているスポーツイベントの規定された時間／持続時間に基づいて選択される。いくつかの実施形態において、フレームのサブセットは、映像コンテンツ１０５の複数のフレームの全てを含む。

いくつかの実施形態において、映像処理サーバー１１０は、映像コンテンツ１０５のフレームのサブセットの各フレームに対して、前景マスクを生成し、前景マスク１１４の対応するサブセットをもたらすように配置されてもよい（例えば、図２Ａ、２Ｂを参照して後述するように）。フレームのサブセットの各フレームの全景マスクは、例えば、関心対象２０（スポーツイベントのボール２２、プレイヤー２４、審判２６等）に関連するピクセルを含んでもよい。

いくつかの実施形態によれば、映像処理サーバー１１０は、映像コンテンツ１０５を、複数のユーザー端末１８０（１）～１８０（Ｍ）の少なくともいくつかに放映するように（例えば、ネットワーク上で）配置されてもよく、映像コンテンツ１０５のフレームのサブセットの各フレームは、それぞれのフレームの仮想カメラ及びそれぞれのフレームの前景マスクを含むメタデータと関連付けられる（例えば、図１Ａ、１Ｂに示されるように）。

ユーザー端末１８０（１）～１８０（Ｍ）の少なくともいくつかは、それぞれ、場合によっては異なる視聴者固有のグラフィックコンテンツ１３０（１）～１３０（Ｍ）（例えば、広告、ロゴ等）を受け取ってもよい（例えば、図１Ａ、１Ｂに示されるように）。いくつかの実施形態において、視聴者固有のグラフィックコンテンツ１３０（１）～１３０（Ｍ）のそれぞれ（又は少なくともいくつか）は、個々に視聴者８０（１）～８０（Ｍ）の各々に、又は、視聴者の異なるグループ（例えば、男性、女性、子供等）に合わせられてもよい。

ユーザー端末１８０（１）～１８０（Ｍ）の少なくともいくつかは、背景／固定面１０の特定されたコンテンツ挿入領域３０内に含まれる映像コンテンツのフレームのサブセットのフレームの少なくとも一部の全てのピクセルを、関心対象２０（例えば、プレイヤー２４ｃ、２４ｄ、図１Ａ及び１Ｂに示されるように）に関連するそれぞれのフレームの前景マスク１１４によって示されるピクセルを除いて、それぞれのフレームの仮想カメラモデル１１２を用いて、少なくともいくつかのユーザー端末と関連付けられるユーザー固有のグラフィックコンテンツ１３０（１）～１３０（Ｍ）のピクセルと（例えば、コンピュータープロセッサーによって）置き換えるように配置されてもよい。このため、視聴者端末１８０（１）～１８０（Ｍ）の少なくともいくつかは、特定されたコンテンツ挿入領域３０に融合される異なるコンテンツを特定の場所で受け取ってもよく、ピクセルの、融合されたコンテンツとの置き換えは、衝突及び妨害を排除するために、前景の関心対象２０（例えば、移動物体）を考慮に入れる。

いくつかの実施形態において、システム１００は、仮想レンダリングサーバー１４０を含んでもよい（例えば、図１Ｃに示されるように）。仮想レンダリングサーバー１４０は、映像処理サーバー１１０とユーザー端末１８０（１）～１８０（Ｍ）と通信してもよい。仮想レンダリングサーバー１２０は、映像処理サーバー１１０から映像コンテンツ１０５を受け取ってもよく、映像コンテンツ１０５のフレームのサブセットの各フレームは、メタデータを伴ってもよい（例えば、図１Ａ及び１Ｂを参照して前述）。

仮想レンダリングサーバー１２０は、さらに、視聴者固有のグラフィックコンテンツ１３０（１）～１３０（Ｍ）を受け取るように配置されてもよい。いくつかの実施形態において、視聴者固有のグラフィックコンテンツ１３０（１）～１３０（Ｍ）の少なくともいくつかの少なくともいくつかのピクセルは、所定の透明度を有してもよい。

仮想レンダリングサーバー１４０は、背景／固定面１０の特定されたコンテンツ挿入領域３０内に含まれる映像コンテンツ１０５のフレームのサブセットのフレームの少なくとも一部の全てのピクセルを、関心対象２０に関連するそれぞれのフレームの前景マスク１１４によって示されたピクセルを除いて、それぞれのフレームの仮想カメラモデル１１２を用いて、対応するユーザー固有のグラフィックコンテンツ１３０（１）～１３０（Ｍ）のピクセルと置き換えることによって、ユーザー固有の映像コンテンツ１４２（１）～１４２（Ｍ）を生成するように配置されてもよい。仮想レンダリングサーバー１２０は、さらに、ユーザー固有の映像コンテンツ１４２（１）～１４２（Ｍ）の少なくともいくつかを、ユーザー端末１８０（１）～１８０（Ｍ）の少なくともいくつかに放映するように配置されてもよい。

発明のいくつかの実施形態における、視聴者固有のコンテンツを映像制作に融合させるシステム２００のより詳細な態様の様々な構成を模式的に示す、図２Ａ、２Ｂ及び２Ｃを参照する。

いくつかの実施形態によれば、システム２００は、映像処理サーバー２１０と、映像サーバー２１０と通信する複数のユーザー端末２８０を含んでもよい（例えば、図２Ａ及び２Ｂに示されるように）。

いくつかの実施形態によれば、映像処理サーバー２１０は、映像コンテンツ２３２を受け取ってもよい（例えば、図２Ａに示されるように）。映像コンテンツ２３２は、スポーツイベントにおいて画面５をそれぞれ表す複数のフレームを含んでもよい（例えば、図１Ａ、１Ｂ及び１Ｃを参照して前述したように）。

いくつかの実施形態によれば、映像処理サーバー２１０は、映像制作ジェネレーター２３０を含んでもよい（例えば、図２Ｂ及び２Ｃに示されるように）。映像制作ジェネレーター２３０は、例えば、複数の映像ストリーム２２０（１）～２２０（Ｎ）を受け取ってもよい（例えば、図１Ｂに対して上述したように、スポーツイベントの場面５に向けられるカメラ１２０（１）～１２０（Ｎ）のような、対応する複数の映像カメラによって生成される）。映像制作ジェネレーター２３０は、映像ストリーム２２０（１）～２２０（Ｎ）に基づいて、複数のフレームを含む映像コンテンツ２３２を生成してもよい。

例えば、映像制作モジュール２３０は、スポーツイベントの「話をする」ように、映像ストリーム２２０（１）～２２０（Ｎ）を、映像編集を通して映像コンテンツ２３２に選択的に結合してもよい。映像編集は、例えば、ライブイベント環境（例えば、ライブプロダクション）又はスポーツイベントが発生した後（例えば、ポストプロダクション）のいずれかにおいて、映像ストリーム２２０（１）～２２０（Ｎ）の一部の組合せ及び／又は削減を作り出すことを含んでもよい。

いくつかの実施形態によれば、映像処理サーバー２１０は、前景マスクジェネレーター２４０を含んでもよい。前景マスクジェネレーター２４０は、映像コンテンツ２３２の複数のフレームの、フレームのサブセット２３４の各フレームに対して前景マスクを生成し、前景マスク２４２の対応するサブセットをもたらすように配置されてもよい。例えば、複数の前景マスク２４２のそれぞれは、サブセット２３４の一つのフレームに対して生成されてもよい。複数の前景マスク２４２のそれぞれは、画面５内の関心対象２０に関連するピクセルを含んでもよい（例えば、図１Ａ、１Ｂ及び１Ｃに対して前述されたように）。いくつかの実施形態において、サブセット２３４のフレームは、視聴者固有のグラフィックコンテンツが、映像コンテンツに融合されるように意図されているスポーツイベントの規定された時間／持続時間に基づいて選択される。

いくつかの実施形態において、前景マスクジェネレーター２４０は、背景除去方法を用いて、前景マスク２４２を生成してもよい。前景マスクジェネレーター２４０は、映像コンテンツ２３２の複数のフレームの少なくともいくつかに基づいて、背景画像を決定してもよい。背景画像は、例えば、画面の固定／背景面１０に関連するピクセルを含んでもよい。前景マスクジェネレーター２４０は、例えば、映像コンテンツ２３２（背景／固定面１０と関心対象２０の双方に関連するピクセルを含む）のフレームのサブセットの各フレームから、背景画像（背景／固定面１０に関連するピクセルを含む）を除去して、前景マスク画像２４２（関心対象２０に関連するピクセルを含む）の対応するサブセットを生み出してもよい。前景マスクジェネレーター２４０は、他の背景除去技術を使用してもよい。

いくつかの実施形態において、前景マスクジェネレーター２４０は、クロマキー方法を使用して、前景マスク２４２を生成してもよい。前景マスクジェネレーター２４０は、例えば、背景／固定面１０（例えば、実質的に同じ色を有する）に関連する映像コンテンツ２３２のフレームのサブセットのフレーム内の全てのピクセルを検知し除去して、前景マスク画像２４２（関心対象２０に関連するピクセルを含む）の対応するサブセットを発生してもよい。これらの実施形態において、前景マスク２４２は、さらに、背景／固定面１０の第１の色と異なる色の背景／固定面１０上の要素を含んでもよい（例えば、白線マーキング等）。

背景マスクジェネレーター２４０は、他の方法（例えば、背景除去方法及び／又はクロマキー方法以外の）を用いて、前景マスク２４２、例えば、深層学習アルゴリズムを生成してもよい。

いくつかの実施形態によれば、システム２００は、仮想カメラモデルジェネレーター２０を含んでもよい。仮想カメラ発生モデル２５０は、映像コンテンツ２３２のフレームのサブセット２３４の各フレームに対して、仮想カメラモデルを引き出し、仮想カメラモデル２５２の対応するサブセットを生成してもよい。例えば、複数の仮想カメラモデル２５２のそれぞれは、サブセット２３４の一つのフレームに対して引き出されてもよい。

いくつかの実施形態において、映像コンテンツ２３２のサブセット２３４の一つのフレームに対して引き出された、仮想カメラモデル２５２のそれぞれは、それぞれのフレーム内の各ピクセルを、そのピクセルに関連付けられた画面５内の現実の地理上の位置に相関付けてもよい。この相関関係は、例えば、それぞれのフレームを生成したカメラの物理パラメーターに基づいてなされてもよいその物理パラメーターは、例えば、少なくとも、画面５に対するカメラの現実的な地理上の位置、画面５に対するカメラの向き及び／又は焦点距離、歪等のレンズパラメーターを含んでもよい。

様々な実施形態において、カメラの物理パラメーターは、例えば、カメラに位置するセンサー、コンピュータービジョン方法、及び／又は、複数のカメラ（例えば、図１Ｂを参照して上記したように、カメラ１２０（１）～１２０（Ｎ））を用いた画面のパノラマ的な撮り込みによって、の少なくとも一つを用いて決定されてもよい。あるいは又は補足的に、そのカメラに帰する物理パラメーターは、メタデータとして、仮想カメラ発生モデルによって受け取られてもよい。

いくつかの実施形態において、映像処理サーバー２１０は、入力として、少なくとも一つのコンテンツ挿入領域２６０を受け取ってもよい。コンテンツ挿入領域２６０は、視聴者固有のコンテンツと交換される画面５の背景／固定面１０上の現実的な地理上の位置に関する情報を含んでもよい（例えば、図１Ａ及び１Ｂを参照して上述したように）。コンテンツ挿入領域２６０は、例えば、試合場上、スポーツイベントが行われる競技場を囲む領域、及び／又は、全画面５であってもよい。様々な実施形態において、サブセット２３４の少なくともいくつかのフレームは、一つのコンテンツ挿入領域、又は、二つ以上のコンテンツ挿入領域２６０を含んでもよい。

いくつかの実施形態において、映像処理サーバー２１０は、サブセット２３４のフレームに対してメタデータ２７０を生成してもよく、これは、サブセット２３４の各フレームが、それぞれのフレームの前景マスク２４２、それぞれのマスク仮想カメラモデル２５２、及び、コンテンツ挿入領域２６０を伴ってもよいことを意味する（例えば、図２Ａ、２Ｂ及び２Ｃに示されるように）。いくつかの実施形態において、映像処理サーバー２１０は、さらに、映像コンテンツ２３２を放映してもよく、サブセット２３４の各フレームは、それぞれのフレームのメタデータ２７０を伴う。

いくつかの実施形態によれば、映像制作サーバー２１０によって放映される映像コンテンツ２３２及びメタデータ２７０は、視聴者端末２８０の少なくともいくつかによって受け取られてもよい。視聴者端末２８０の少なくともいくつかのそれぞれは、さらに、入力として、それぞれの及び場合によっては異なる視聴者固有のグラフィックコンテンツ２８２を受け取ってもよい（例えば、図２Ａ及び２Ｂに示されるように）。いくつかの実施形態において、少なくともいくつかの視聴者固有のグラフィックコンテンツ２８２の少なくともいくつかのピクセルは、所定の透明度を有してもよい。

ユーザー端末２８０の少なくともいくつかは、仮想レンダリングモジュール２８４を含んでもよい。ユーザー端末２８０のそれぞれの仮想レンダリングモジュール２８４は、映像コンテンツ２３２のサブセット２３４のフレームの少なくとも一部に対して、それぞれのフレームの仮想カメラモデルを用いて、特定されたコンテンツ挿入領域２６０内に含まれる全てのピクセルを、関心対象２０に関連するそれぞれのフレームの前景マスクによって示されたピクセルを除いて、それぞれのユーザー端末に関連付けられたユーザー固有のグラフィックコンテンツ２８２のピクセルと置き換えるように配置されてもよい。

このように、視聴者端末２８０に関連付けられた視聴者の少なくとも幾人かは、特定されたコンテンツ挿入領域２６０に融合される異なるコンテンツを特定の場所で受け取ってもよく、ピクセルの、融合されたコンテンツとの置き換えは、衝突及び妨害を排除するように、前景の関心対象２０（例えば、移動物体）を考慮に入れる。

いくつかの実施形態によれば、システム２００は、仮想レンダリングサーバー２９０を含んでもよい（例えば、図２Ｃに示されるように）。仮想レンダリングサーバー２９０は、映像処理サーバー２１０及びユーザー端末２８０と通信してもよい。仮想レンダリングサーバー２９０は、映像処理サーバー２１０から映像コンテンツ２３２を受け取ってもよく、サブセット２３４の各フレームは、メタデータ２７０を伴う（例えば、図２Ａ、２Ｂを参照して上述）。仮想レンダリングサーバー２９０は、さらに、視聴者固有のグラフィックコンテンツ２８２を受け取るように配置されてもよい（例えば、図２Ｃに示されるように）。いくつかの実施形態において、視聴者固有のグラフィックコンテンツ２８２は、特定の視聴者／視聴者のグループに合わせられた複数の代替グラフィックコンテンツを含んでもよい（例えば、図１Ｃを参照して前述したように）。

仮想レンダリングサーバー２９０は、背景／固定面１０の特定されたコンテンツ挿入領域２６０内に含まれる映像コンテンツ２３２のフレームのサブセット２３４のフレームの少なくとも一部内の全てのピクセルを、関心対象２０に関連するそれぞれのフレームの前景マスク２４２によって示されたピクセルを除いて、それぞれのフレームの仮想カメラモデル２５２を用いて、対応するユーザー固有のグラフィックコンテンツ２８２のピクセルと置き換えることによって、ユーザー固有の映像コンテンツを生成するように配置されてもよい。仮想レンダリングサーバー２９０は、さらに、ユーザー固有の映像コンテンツ２９２の少なくともいくつかを、ユーザー端末２８０の少なくともいくつかに放映するように配置されてもよい（例えば、図２Ｃに示されるように）。

発明のいくつかの実施形態に係る、視聴者固有のコンテンツを、複数の視聴者端末に放映される映像コンテンツに融合する方法を示すフローチャートである図３Ａ～図３Ｃを参照する。

いくつかの実施形態において、方法は、方法を実行するように構成されたシステム１００又はシステム２００によって実行されてもよい。方法は、図３Ａ～図３Ｃに示されるフローチャート及び対応する記載に限定されない。例えば、様々な実施形態において、方法はそれぞれ示されたボックス又は段階を通して、又は、示されて記載された順序と正確に同じ順序で必ずしも進行しない。

いくつかの実施形態において、方法は、複数のフレームを含む映像コンテンツを、映像処理サーバーによって受け取ることを含んでもよく、複数のフレームのそれぞれは、画面（例えば、スポーツイベントの）を表し、画面内の固定／背景面に関連するピクセル及び画面内の関心対象に関するピクセルを含む（ステージ３１０）。

いくつかの実施形態において、方法は、少なくとも一つの映像ストリーム（例えば、画面に向けられた少なくとも一つのカメラから）を、映像処理サーバーによって受け取り、さらに、その少なくとも一つの映像ストリームを基にして映像コンテンツを生成することを含んでもよい（ステージ３１２）。

いくつかの実施形態において、方法は、ライブイベント環境（例えば、ライブプロダクション）又はスポーツイベントが発生した後（例えば、ポストプロダクション）のいずれかにおいて少なくとも一つの映像ストリームの一部の組合せ、及び／又は、削減を選択的に創り出し、映像コンテンツを生成することを含んでもよい（ステージ３１４）。

いくつかの実施形態において、方法は、複数のフレームの、フレームのサブセットの各フレームに対して、それぞれのフレームのピクセルのそれぞれを、そのピクセルに関連付けられる画面内の現実の地理上の位置と相関付ける仮想カメラモデルを引き出し、仮想カメラモデルの対応するサブセットを生み出すことを含んでもよい（ステージ３２０）。

いくつかの実施形態において、方法は、それぞれの仮想カメラモデルが引き出されたフレームを生成したカメラの物理パラメーターに基づいて、仮想カメラモデルのサブセットのそれぞれを引き出すことを含んでもよい（例えば、少なくとも、画面に対するカメラの現実の地理上の位置、画面に対するカメラの向き、及び／又は、焦点距離や歪等のレンズパラメーター）（ステージ３２２）。

いくつかの実施形態において、方法は、映像処理サーバーによって、カメラに位置しているセンサー、コンピュータービジョン方法、及び／又は、複数のカメラを用いた画面のパノラマ式コンピューティングによって、の少なくとも一つを用いて、それぞれのカメラの物理パラメーターを決定することを含んでもよい（ステージ３２４）。

いくつかの実施形態において、方法は、映像処理サーバーによって、映像コンテンツ２３２のフレームのサブセットの各フレームに対して、関心対象と関連するピクセルからなる前景マスクを生成し、前景マスクの対応するサブセットを生み出すことを含んでもよい（ステージ３３０）。

いくつかの実施形態において、方法は、画面の背景面に関連するピクセルを含む映像コンテンツの複数のフレームの少なくともいくつかに基づいて、背景画像を生成することを含んでもよい（例えば、図２Ｂに対して前述したように）（ステージ３３２）。

いくつかの実施形態において、方法は、映像コンテンツのフレームのサブセットの各フレームから背景画像を除去して、前景マスクの対応するサブセットを生み出すことを含んでもよい（ステージ３３４）。

いくつかの実施形態において、方法は、背景面に関連する映像コンテンツのフレームのサブセットのフレーム内の全てのピクセルを検知して取り除き、前景マスク画像の対応するサブセットを生み出すことを含んでもよい（ステージ３３６）。

いくつかの実施形態において、方法は、視聴者固有コンテンツと交換される画面の背景面上の現実の地理上の位置に関連する情報を含む少なくとも一つのコンテンツ挿入領域を、入力として受け取ることを含んでもよい（ステージ３４０）。

いくつかの実施形態において、方法は、映像処理サーバーによって、映像コンテンツのフレームのサブセットの各フレームに対して、それぞれのフレームの前景マスク及びそれぞれのフレームの仮想カメラモデルを含むメタデータを生成することを含んでもよい（ステージ３４２）。

いくつかの実施形態において、方法は、映像処理サーバーによって、映像コンテンツをメタデータとともに放映することを含んでもよい（ステージ３５０）。

いくつかの実施形態において、方法は、さらに、複数の視聴者端末の少なくともくつかによって、映像コンテンツをメタデータ及び視聴者固有のグラフィックコンテンツとともに受け取ることを含んでもよい（ステージ３５２）。

いくつかの実施形態において、方法は、複数の視聴者端末の少なくともいくつかによって、背景面の少なくとも一つのコンテンツ挿入領域内に含まれるそれぞれのフレーム内の全てのピクセルを、それぞれのフレームの前景マスクによって示されるピクセルを除いて、それぞれのフレームの仮想カメラモデルを用いて、視聴者固有のグラフィックコンテンツのピクセルと置き換えることを含んでもよい（ステージ３５４）。

いくつかの実施形態において、方法は、さらに、仮想レンダリングサーバーによって、映像コンテンツをメタデータ及び視聴者固有のグラフィックコンテンツとともに受け取ることを含んでもよい（ステージ３６０）。

いくつかの実施形態において、方法は、仮想レンダリングサーバーによって、映像コンテンツのフレームのサブセットのフレームの少なくとも一部において、背景面の少なくとも一つのコンテンツ挿入領域内に含まれるそれぞれのフレーム内の全てのピクセルを、それぞれのフレームの前景マスクによって示されるピクセルを除いて、それぞれのフレームの仮想カメラモデルを用いて、視聴者固有のグラフィックコンテンツのピクセルと置き換え、視聴者固有の映像コンテンツを生成することを含んでもよい（ステージ３６２）。

いくつかの実施形態において、方法は、さらに、視聴者固有の映像コンテンツを、複数の視聴者端末の少なくともいくつかに放映することを含んでもよい（ステージ３６４）。

いくつかの実施形態において、方法は、さらに、複数の視聴者端末の少なくともいくつかが、異なる視聴者固有のグラフィックコンテンツを備えるように、視聴者固有の映像コンテンツを、特定の視聴者又は視聴者の特定のグループに適合させることを含んでもよい（ステージ３７０）。

有利には、開示されたシステム及び方法は、代替グラフィックコンテンツの、視聴者端末又は仮想レンダリングサーバー（及び、映像処理サーバーから離れて）のいずれかに直接放映される映像コンテンツへの融合を可能とし、代替グラフィックコンテンツの、特定の視聴者又は視聴者のグループへの適合に高い柔軟性を提供しつつ、映像処理サーバーで一度のみ実行される映像コンテンツ（例えば、前景マスク及び仮想カメラモデルの生成）の繰り返される、複雑で、リソースを消費する準備段階を抑制する。

本発明の態様は、発明の実施形態に係る方法、装置（システム）及びコンピュータープログラム製品のフローチャート図、及び／又は、部分図を参照して上記される。フローチャート図及び／又は部分図の各部分、及び、フローチャート図及び／又は部分図の一部の組合せは、コンピュータープログラムの命令によって実行可能であることが理解される。これらのコンピュータープログラムの命令は、汎用コンピューター、専用コンピューター、又は、他のプログラム可能なデータ処理装置の処理装置に提供されて、機械が製造されてもよく、コンピューター又は他のプログラム可能な処理装置を介して実行される命令は、フローチャート及び／又は、部分図又はその一部に特定された機能／動作を実行する手段を生成する。

これらのコンピュータープログラムの命令は、コンピューター、他のプログラム可能なデータ処理装置、又は、他の機器に命令することのできるコンピューター読み取り可能な媒体に保存されて、特定の方法で機能され、コンピューター読み取り可能媒体に保存された命令は、フローチャート、及び／又は、部分図又はその一部に特定された機能／動作を実行する命令を含む製造品を生産する。コンピュータープラグラムの命令は、コンピューター、他のプログラム可能なデータ処理装置、又は他の機器に読み込まれ、コンピューター、他のプログラム可能な装置又は他の機器で実行される一連の動作ステップを生じさせ、コンピューターで実行されたプロセスを発生してもよく、コンピューター又は他のプログラム可能な機器で実行される命令は、フローチャート、及び／又は、部分図又はその一部に特定された機能／動作を実行するためのプロセスを提供する。

上記のフローチャート及び図は、本発明の様々な実施形態による、システム、方法及びコンピュータープログラム製品の実行可能な構成、機能性及び動作を示している。この点において、フローチャート及び部分図の各部は、特定の論理機能を実行するための一つ以上の実行可能な命令を含む、モジュール、セグメント、コードの一部を表してもよい。いくつかの他の実行において、その部分に記された機能は、図に記された順序以外で起こる得ることも特筆される。例えば、含まれる機能性に応じて、連続して示される２つの部分は、実際、実質的に同時に実行され、又は、それらの部分は、いくつかの場合は、逆の順序で実行されてもよい。部分図及び又はフローチャート図の各部分、及び、部分図及び／又はフローチャート図の部分の組合せは、特定された命令又は動作、又は、専用ハードウェア及びコンピューターの命令の組合せを実行する、専用ハードウェアベースのシステムによって実行可能であることも特筆される。

上記の記載において、実施形態は、発明の例又は実行を示す。「一つの実施形態」、「実施形態」、「ある実施形態」又は「いくつかの実施形態」の様々な出現は、必ずしも全てがいくつかの実施形態に関与しない。発明の様々な特徴が、一つの実施形態の文脈に記載されているが、特徴は、別々に、又は、任意の適切な組み合わせで提供されてもよい。逆に、発明は、ここでは明確化のために別々の実施形態の文脈に記載されているが、発明は、一つの実施形態に実行されてもよい。発明のある実施形態は、上記の異なる実施形態から特徴を含んでもよく、ある実施形態は、上記の他の実施形態から要素を取り込んでもよい。特定の実施形態の文脈における発明の要素の開示は、特定の実施形態のみへのそれらの使用を限定すると解釈されるべきではない。さらに、発明は様々な方法で実行され、又は、実施されることが可能であり、発明は、上記に概略したもの以外のある実施形態に実行可能であることが理解されるべきである。

発明は、これらの図面、又は、対応する記載に限定されない。例えば、フローは、各図示されたボックス又は状態を通して、又は、図示されて記載されているものと正確に同じ順序で移動する必要はない。ここに使用された技術的及び科学的な用語の意味は、他に定義されなければ、発明が属する分野の同業者によって共通に理解されるべきである。発明は、限られた数の実施形態に対して記載されているが、それらは、発明の範囲において限定として解釈されるべきではなく、むしろ、好ましい実施形態のいくつかの例示である。他の可能な変形、改造、及び適用も、発明の範囲内である。したがって、発明の範囲は、記載されたものに限定されず、添付された請求項及びそれらと法的に等価なものによって限定されるべきである。

Claims (18)

1. 視聴者固有のグラフィックコンテンツを、複数の視聴者端末に放映される映像コンテンツに融合する方法であって、
   映像処理サーバーによって、複数のフレームからなる映像コンテンツを受け取るステップであって、前記複数のフレームのそれぞれが、背景面及び関心対象からなる画面を表しているステップと、
   前記映像処理サーバーによって、前記複数のフレームの、フレームのサブセットの各フレームに対して、前記それぞれのフレームのピクセルの各々を、前記ピクセルと関連付けられる前記画面内の現実の地理上の位置と関係付ける仮想カメラモデルを引き出すステップと、
   前記映像処理サーバーによって、フレームの前記サブセットの各フレームに対して、前記関心対象に関連するピクセルからなる前景マスクを生成するステップと、
   前記映像処理サーバーによって、前記映像コンテンツを前記複数の視聴者端末の少なくともいくつかに放映するステップであって、前記フレームのサブセットの各フレームは、それぞれのフレームの仮想カメラモデルおよび前景マスクを含むメタデータを伴うステップと、
   前記複数の視聴者端末の前記少なくともいくつかによって、前記映像コンテンツのフレームの前記サブセットの前記フレームの少なくとも一部において、前記背景面の少なくとも一つの特定されたコンテンツ挿入領域内に含まれる前記それぞれのフレーム内の全てのピクセルを、前記それぞれのフレームの前景マスクによって示される前記ピクセルを除いて、前記それぞれのフレームの仮想カメラモデルを用いて、前記視聴者端末と関連付けられる視聴者固有のグラフィックコンテンツのピクセルと置き換えるステップと、を含む方法。
2. さらに、前記映像処理サーバーによって、少なくとも一つの映像ストリームを受け取り、さらに、前記少なくとも一つの映像ストリームに基づいて前記映像コンテンツを生成するステップを含む、請求項１の方法。
3. さらに、前記映像処理サーバーによって、ライブイベント環境又はスポーツイベント発生後のいずれかにおいて、前記少なくとも一つの映像ストリームの一部の結合、及び／又は、削減を選択的に行い、前記映像コンテンツを生成するステップを含む、請求項２の方法。
4. さらに、前記映像処理サーバーによって、それぞれの仮想カメラモデルが引き出された前記フレームを生成したカメラの物理パラメーターに基づいて、仮想カメラモデルの前記サブセットのそれぞれを引き出すステップを含む、請求項１～３のいずれか一つの方法。
5. さらに、前記映像処理サーバーによって、前記カメラに位置するセンサー、コンピュータービジョン方法、及び／又は、複数のカメラを用いた前記画面のパノラマ的なコンピューティングによって、の少なくとも一つを用いて、前記カメラの前記物理パラメーターを決定するステップを含む、請求項４の方法。
6. さらに、前記映像処理サーバーによって、前記画面の前記背景面に関連するピクセルを含む映像コンテンツの前記複数のフレームの少なくともいくつかに基づいて、背景画像を生成するステップを含む、請求項１～５のいずれか一つの方法。
7. さらに、前記映像処理サーバーによって、前記映像コンテンツのフレームの前記サブセットの各フレームから前記背景画像を除去し、前景マスクの対応するサブセットを生成するステップを含む、請求項６の方法。
8. さらに、前記映像処理サーバーによって、前記背景面に関連する前記映像コンテンツのフレームの前記サブセットの前記フレーム内の全てのピクセルを検知して除去し、前景マスク画像の対応するサブセットを生成するステップを含む、請求項１～５のいずれか一つの方法。
9. さらに、前記映像処理サーバーによって、視聴者固有のコンテンツと交換される前記画面の前記背景面上の現実の地理上の位置に関連する情報からなる前記コンテンツ挿入領域を、入力として受け取るステップを含む、請求項１～８のいずれか一つの方法。
10. 視聴者固有のグラフィックコンテンツを、複数の視聴者端末に放映される映像コンテンツに融合するシステムであって、
    映像処理サーバーと、前記映像処理サーバーと通信する複数の視聴者端末と、を備え、
    前記映像処理サーバーは、
    複数のフレームからなる映像コンテンツを受け取り、ここで、前記複数のフレームのそれぞれが、背景面及び関心対象からなる画面を表しており、
    前記映像コンテンツの前記複数のフレームの、フレームのサブセットに対して、前記それぞれのフレームのピクセルの各々を、前記ピクセルと関連付けられる前記画面内の現実の地理上の位置と関係付ける仮想カメラモデルを引き出し、
    フレームの前記サブセットの各フレームに対して、前記関心対象に関連する前記ピクセルからなる前景マスクを生成し、
    前記映像コンテンツを前記複数の視聴者端末の少なくともいくつかに放映するステップであって、前記フレームのサブセットの各フレームは、それぞれのフレームの仮想カメラモデルおよび前景マスクを含むメタデータを伴うように配置され、
    前記複数の視聴者端末の前記少なくともいくつかは、フレームの前記サブセットの前記フレームの少なくとも一部において、前記背景面の特定されたコンテンツ挿入領域内に含まれる前記それぞれのフレーム内の全てのピクセルを、前記関心対象と関連した前記それぞれの前景マスクによって示される前記ピクセルを除いて、前記それぞれの仮想カメラモデルを用いて、前記それぞれの視聴者端末と関連付けられる視聴者固有のグラフィックコンテンツのピクセルと置き換えるように配置されている、システム。
11. さらに、前記画面に向けられ、動画映像を生成しそのそれぞれの映像ストリームを前記映像処理サーバーに伝達するように配置される少なくとも一つのカメラを備え、前記映像処理サーバーは、さらに、少なくとも一つの映像ストリームに基づいて前記映像コンテンツを生成するように配置されている、請求項１０のシステム。
12. 前記映像処理サーバーは、さらに、ライブイベント環境又はスポーツイベントの発生後のいずれかにおいて、前記少なくとも一つの映像ストリームの一部の結合、及び／又は、削減を選択的に行い、前記映像コンテンツを生成するように配置されている、請求項１１のシステム。
    
13. 前記映像処理サーバーは、さらに、前記それぞれの仮想カメラモデルが引き出された前記フレームを生成したカメラの物理パラメーターに基づいて、仮想カメラモデルの前記サブセットのそれぞれを引き出すように配置されている、請求項１０～１２のいずれか一つのシステム。
14. 前記映像処理サーバーは、さらに、前記カメラに位置するセンサー、コンピュータービジョン方法、及び／又は、複数のカメラを用いた前記画面のパノラマ的なコンピューティングによって、の少なくとも一つを用いて、前記カメラの前記物理パラメーターを決定するように配置されている、請求項１３のシステム。
15. 前記映像処理サーバーは、さらに、前記画面の前記背景面に関連するピクセルを含む映像コンテンツの前記複数のフレームの少なくともいくつかに基づいて、背景画像を生成するように配置されている、請求項１０～１４のいずれか一つのシステム。
16. 前記映像処理サーバーは、さらに、前記映像コンテンツのフレームの前記サブセットの各フレームから前記背景画像を除去し、前景マスクの対応するサブセットを生成するように配置されている、請求項１５のシステム。
17. 前記映像処理サーバーは、さらに、前記背景面に関連する前記映像コンテンツのフレームの前記サブセットの前記フレーム内の全てのピクセルを検知して除去し、前景マスク画像の対応するサブセットを生成するように配置されている、請求項１０～１４のいずれか一つのシステム。
18. 前記映像処理サーバーは、さらに、視聴者固有のコンテンツと交換される前記画面の前記背景面上の現実の地理上の位置に関連する情報からなる前記コンテンツ挿入領域を、入力として受け取るように配置されている、請求項１０～１７のいずれか一つのシステム。

Images