JP6412001B2 - 放送内で対象を追跡及びタグ付けするシステム及び方法 - Google Patents

Description

本発明は、放送内で対象を追跡及びタグ付けするシステム及び方法に関する。具体的には、本発明は、放送映像をシステマチックに解析する方法、特に、フィールド上のスポーツ選手をトラッキングし、かつ、これらの選手を選択的にタギングする方法に関する。

放送される映像内で対象を認識する手法は一般的に知られているが、未だ改良の余地が残されている。例えば、後述するように放送中に一つ若しくは二つ以上の対象を選択して追跡し、対象にタグ付けしたままその対象に関連する付加的な情報を含めることで改善することができる。

従って、本発明は、一つ若しくは二つ以上の対象、例えば、放送映像内のフィールド上の一人若しくは二人以上のフットボールプレイヤー、を追跡する技術を提供し、放送内での動きのある追跡及びプレイヤーに関する統計データ等の情報を提供する。

上述のように、本発明は、放送内で興味を引く対象を追跡し、タグ付けするシステム及び方法を提供する。以下では、アスリートに関するものを開示しているが、本発明はこれに限定されるものではない。本発明は、一般的に対象となるものを追跡し、タグ付けするものに広く適用可能である。

本実施形態では、放送内の一つ若しくは二つ以上の対象をその情報とともに追跡、タグ付けする。情報とは、例えばプレーに関する情報、フィールド内でのアスリートのパフォーマンスに関する情報である。

自動化されたシステムでは、一人、複数、若しくはフィールド上の全てのプレイヤーを追跡でき、オペレータは、放送中に一人若しくは複数のプレイヤーを簡単に選ぶことができる。このような選択において、オペレータは、事前に選択することも可能であり、選択することで、例えば、一般的なプレーにおける統計データ、又は特定のプレーに関する統計データ（レシーバーの一般的な状況、又は特定の状況でのパス成功数等）、そして、特定のプレイヤーに関する統計データを提供することができる。

他の実施形態では、プレイヤーの統計データ、名前等の統計データに関する情報を放送中又は放送後にビデオオーバーレイによって表示する。そのビデオは静的、動的のどちらでも良く、画面全体に表示しても部分的に表示しても良い（ビデオオーバーレイのタイミングは、例えば、プレイヤーが画面外に移動したときである）。さらに、画面上に濃く表示しても薄く表示しても良く、フェーズイン若しくはフェーズアウトさせて表示しても良い。

別実施形態では、フィールドを横切る一人若しくは複数のプレイヤーを追跡する。ここで、上記ビデオ情報は、プレー中の動きに完全に追従しても、途中で追従するのをやめても良い。追従を途中でやめる場合は、タックルをかいくぐる、パスカットする、突破する等のプレイヤーの動きを敏感に検知する必要がある場合等、特定の状況に適している。さらに、統計グラフを戦略的に準備して、画面下から移動させて表示させたり薄く表示して徐々に消したりすることで、プレーの見逃しを予防し、放送内容の控えめな二次情報を提供することにつなげることができる。

上述の構成及び他の特徴、そしてそれによって奏する効果は、当業者によって下記の詳細な説明及び図面から理解されるものである。

次に、図面について説明する。技術要素は図面中に符号を付して表示する。

図面は以下の通りである。

プレイフィールドで追跡されるアスリートを示す。

プレイフィールドで追跡されるアスリートを示す。

薄く表示された統計データが付加された状態で追跡されているアスリートを示す。

アスリートに関する他の統計データが付加された状態で追跡されているアスリートを示す。

薄く表示された統計データが付加された状態で追跡されているアスリートを示す。

複数の追跡されているアスリートを示す。

部分的に表示された統計データが付加された状態で追跡されるアスリートを示す。

ゲームの統計データが付加された状態で追跡されているアスリートを示す。

薄くなって消えていく統計データが付加された状態で追跡されているアスリートを示す。

リプレイ機能を示す。

グラフィックス機能を示す。

オペレータのユーザーインターフェースを示す。

カメラ及びセットアップを示す。

カメラ及びキャプチャーされた画像を示す。

本発明の一実施形態に係るシステムプランを示す。

本発明の別実施形態に係るシステムプランを示す。

本発明の一実施形態に係るワークステーションのレイアウトを示す。

本発明の別実施形態に係るワークステーションのレイアウトを示す。

７２０ｐの抽出ウインドーを用いて４Ｋでキャプチャーされた画像のグラフィックユーザーインターフェースを示す。

相対抽出の実施形態を示す。

４Ｋ画像をオフサイトのプロセッサ及びグラフィックユーザーインターフェースでキャプチャーして伝送する第一のシステムを示す。

４Ｋ画像をオンサイトでキャプチャーして、高精細度画像をオフサイトで伝送する第二のシステムを示す。

上述のように、本実施形態は、放送内の一つ若しくは二つ以上の興味のある対象をトラッキングし、タギングするシステム及び方法に関する。以下の実施形態では、スポーツ選手を参照して説明を進めるが、これに限定されることはない。事実、本実施形態は、あらゆる対象を追跡し、タグ付けする手法に対して広く適用されるものである。

本実施形態では、放送内の一つ若しくは二つ以上の対象をその情報とともに追跡、タグ付けする。情報とは、例えばプレーに関する情報、フィールド内でのアスリートのパフォーマンスに関する情報である。

自動化されたシステムでは、一人、複数、若しくはフィールド上の全てのプレイヤーを追跡でき、オペレータは、放送中に一人若しくは複数のプレイヤーを簡単に選ぶことができる。このような選択において、オペレータは、事前に選択することも可能であり、選択することで、例えば、一般的なプレーにおける統計データ、又は特定のプレーに関する統計データ（レシーバーの一般的な状況、又は特定の状況でのパス成功数等）、そして、特定のプレイヤーに関する統計データを提供することができる。

他の実施形態では、プレイヤーの統計データ、名前等の統計データに関する情報を放送中又は放送後にビデオオーバーレイによって表示する。そのビデオは静的、動的のどちらでも良く、画面全体に表示しても部分的に表示しても良い（ビデオオーバーレイのタイミングは、例えば、プレイヤーが画面外に移動したときである）。さらに、画面上に濃く表示しても薄く表示しても良く、フェーズイン若しくはフェーズアウトさせて表示しても良い。

画面を部分的に情報画面とすることは、放送中に画面表示方法が選択されているかどうかに関わらず、タグ付けが必ずしも表示されている放送映像に特別に関連付けられる必要はなく、記録された映像と関連付けられるという技術思想である。追跡及びタグ付けは、放送の表示部分を超えて行うことも可能であり、要望の有無に関わらず、放送映像に入り込む若しくは映像範囲から出ることも可能である。さらに、オペレータ又はアニメータが対象となるプレイヤーをタグ付けするために、追跡を遅らせること、放送を遅らせることも可能であり、当事者にとって必要でなければリアルタイムでなくても良い。そのようなタグ付けは、接続された機器、又はタブレット等の無線機器を介して行うことができる。これらの入力機器は、一般的にネットワークと関連付けられるもの、若しくは、ネットワークによって識別されるものであり、例えば、特定のアニメータ、オペレータ等に割り当てられるものである。

別実施形態では、フィールドを横切る一人若しくは複数のプレイヤーを追跡する。ここで、上記ビデオ情報は、プレー中の動きに完全に追従しても、途中で追従するのをやめても良い。追従を途中でやめる場合は、タックルをかいくぐる、パスカットする、突破する等のプレイヤーの動きを敏感に検知する必要がある場合等、特定の状況に適している。さらに、統計グラフを戦略的に準備して、表示させたり消したりすることで、プレーの見逃しを予防し、放送内容の控えめな二次情報を提供することにつなげることができる。添付の図面には、アンドリュー・ホーキンスのキックオフリターンでの部分的なエントリについて示されている（評判のゲームにおいてシミュレートされたオーバーレイである）。

例えば、図１は、アンドリュー・ホーキンス１００がパントリターンにより右手側から画面フレームに入り込む状況を示している。この段階では、ホーキングが追跡され、オーバーレイ１０２は、情報の一部のみを選択的に表示している（画面フレーム内に入っただけの状態であるため）。フレーム内に入り込んでいくにつれて、図２に示すように、オーバーレイ情報１０２には、チーム１０４、背番号１０６、名前１０８が表示される。図３では、１０から１５ヤードの間でのタックル１１０が示され、選択的に、彼の情報を薄くなり、放送からフェードアウトする。

図４及び図５に同様の例が示され、アントーン・スミス１００がファーストダウンのポジションにいる状況が示される。ここでは、ディフェンスのスプレッド以外の特定のプレーが行われない状況であり、全ての情報を含むオーバーレイ１０２、つまり、チーム１０４、背番号１０６、名前１０８、ラッシュ数１１２、獲得ヤード数１１４が表示されているが、動きを優先してフェードアニメーションで図５に示されるように一般的な情報が示されたオーバーレイ１１６に移行する。

図６及び図７は、複数のプレイヤー１００・１１８を追跡する実施形態について示しているが、追跡する対象の種類（ボール、ライン、フィールドマーク、コーチ、他のマークなど）、及びプレイヤーの数は限定されるものではない。この例では、アサンテ・サミュエル１００とＡ．Ｊ．グリーン１１８が対面している。図７では、放送映像がシフトし、タグ付けされた情報１０２が一部放送映像外に移動している。

図８及び図９は、タグ付けに関する別の実施形態について示している。グレッグ・ジェニングス１００がプレーのシフト中に情報１０２によってタグ付けされており、図９では、プレーを邪魔しないように、タグ付けされた情報１０２が薄く表示される。

本実施形態のシステム及び方法では、任意の数の対象（プレイヤー）を追跡することが好ましい。例えば、バスケットボールでは、試合の両サイド５名ずつ追跡することができる。その他、各５名ずつに「シックスマン」を加えることも可能であり、特定のファン、若しくはファン全体、ディック・ビテール等のコメンテーターを追跡し、フィールド外の面白いイベントを自動又は手動で認識することができ、潜在的に放送するに値する価値を有するものとして認識することができる。自動認識は、予め認識される統計データ、重要性と関連付けることもできる（例えば、ゲーム、シリーズ、統計、ソーシャルメディアの関連性、セレブリティステータス等）。

本実施形態のシステム及び方法では、複数のリプレイ機能を有することが好ましい。例えば、図１０に示すように、名前表示１０８、ハイライトサークル１２６、プレイヤーの移動軌跡及びスピード１２８である。さらに、種々のグラフィックス機能を備えることができる。例えば、図１１に示すように、名前表示１０８、ゲーム中のスタッツ１２０、シーズンのスタッツ１２２、プレイヤーコメント、コーチコメント等のカスタムテキスト１２４である。

また、高度な編集ソフトウェアを備えることが好ましい。ここに限定されるものではないが、例えば、カメラの切り換え、仮想カメラアングル、ストップモーション動画、テレストレーション、画像解析等を行うものである。本実施形態は、プリプロダクション、スタジオライブ、大規模イベント等に適用できる。

さらに、種々の機能を制御するインターフェースとしてタッチスクリーンを使用する等、以下に示す実施形態を含め、種々の実施形態の存在は無視できない。

図１２は、ユーザーインターフェース（ＵＩ）１３０を示す。ユーザーインターフェースでは、イベント中の複数のカメラの選択画面１３２のビューセレクト１３１、キャプチャー、リプレイ１３３が含まれる。図面から分かるように、本実施形態では、１０人のプレイヤー（オフェンス側１３４とディフェンス側１３６）を追跡しており、オペレータによって一人又は複数を選択できる。本実施形態では、オペレータに対して一人又は複数のモニターを加えることで、複数のプレイヤーを追跡することを容易にしている。また、ＵＩには、ホットキー１３８が設けられており、オートモード１４０、マニュアルモード１４２、ハイライト１４４、スワップ１４６、オーディオ１４８、ディスクモード１５０、エクストラモード１５２、アニメーションコマンド１５４等が簡単に選択できるようになっている。追跡されるプレイヤーに対しては、ゲーム（スタッツ）１５８、シーズン（スタッツ）１６０、テキスト１６２に関する統計データ１５６が表示される。なお、ＵＩに表示する項目は、これらの例には限定されない。

図１３は、カメラ群１６４のセットアップ及びフットボール用のカメラ吊り下げ器具１６６のセットアップ（センターラインの２１フィート上方）の実施形態を示す。図１４は、カメラ１７０からキャプチャーされた画像１６８を示す。

図１５から図１８は、スタジアム内コンポーネント１７２、Ａユニットコンポーネント１７４、Ｂユニットコンポーネント１７６、Ｃユニットコンポーネント１７８を含むシステムの制御構成の実施形態を示す。図１５及び図１６は、カメラ群１８０、オペレータラップトップ１８２、Ｌ３ボックス１８４を介したＡユニット内のルーター１８８への接続１８６及びファイアウォール１９０を示す。Ｂユニットは、制御エンジン１９２、Ｖｉｚエンジン１９４、Ｖｉｚトリオ１９６、ＴｏｐＦｏｎｔのカメラ処理システム１９８、及び、ＵＩコンピューター２００を含む。Ｃユニットは、ＳｐｏｒｔＶｉｓｉｏｎシステム２０２を示す。スタッツ用のラップトップ２０４はＢユニット内に含まれる。

図１７は、グラフィックス処理ラック２０６を示す。グラフィックス処理ラックは、オーディオサブミックス２０８、テクニカルディレクター２１０、ディレクター２１２、プロデューサー２１４、セカンドガイ２１６、ＡＤ２１８、重役２２０、テクニカルマネージャー２２２、スタッツ班２２４、ＦｏｘＢｏｘオペレータ２２６、ＴｏｐＦｏｎｔオペレータ２２８、スタッツオペレータ２３０、ＶｉｚＢＡ２３２、Ｖｉｚオペレータ２３４等、種々のスタジオ班に囲まれ、編集室２３８には、ＳｐｏｒｔＶｉｓｉｏｎ２３６が、その他、４Ｋオペレータ２４０、ゲームエディター２４２が配置される。

本実施形態では、ネットワーク接続性と閉鎖型ネットワークの対立がある。閉鎖型ネットワークは、フィールドの視界を邪魔しないように、カテゴリー５ケーブルによってカメラに接続すること、光ファイバーによってカメラに接続すること、光ファイバーをトラックに持ち込むこと等を含み、全てのレンダーの予告を表示するモニター、プログラムモニター、ＩＳＯフォーマット（２チャンネルベルトパック又はＫＰパネル）をＴｏｐＦｏｎｔオペレータに渡すＰＬステーションを含む。二つ又はそれ以上のシングルモードの光ファイバーをモニタリングのために用いている。これにより、第３世代のＲＶＯＮ ＫＰパネルに載せることが可能である。

本実施形態では、光学追跡によりグラウンド上を動く対象を追跡する。これは、映像認識、動作感知型追跡等、種々の追跡方法を含んでいる。

以下、実施例１に好適なシステムを示す。

［実施例１：範囲］
本プロシージャは、「Ａ」クルーに適用されるが、ＴｒａｃＡＢが望まれるあらゆる放送について適用され得る。

本システムは、目で見て操作を行う例に適用される。そして、関係者と連携する中での機械の中の作業が想定される。

［実施例１：役割］
ＴｒａｃＡＢオペレータ
主に、イベント中のＴｒａｃＡＢカメラの配列及びプレイヤーのタグ付けを行う。ＴｏｐＦｏｎｔオペレータと追跡中の対象に関するステータスについてコミュニケーションを取る。スタジアム内のフィールド観戦の邪魔にならない位置に配置される。建物内の光ファイバーを利用可能な班と連携する。作業位置でのインカムのセットアップに関してスポーツオーディオ班と連携する。必要に応じてＴｒａｃＡＢシステムのトラブルシューティングを行う。設備のセットアップ又は作業に関するタイムリーなあらゆる問題についてテクニカルマネージャーに連絡する。

ＴｏｐＦｏｎｔオペレータ
主に、タッチスクリーンインターフェースが提供される集団を用いて放送中にＴｏｐＦｏｎｔを挿入する。プロデューサー、ディレクター、スタッツ班、グラフィックス処理班と連携し、どのグラフィックスが、いつ必要か、についてコミュニケーションを取る。また、リレー中継の向上のためにテープ室と連携する。ＴｒａｃＡＢオペレータと各シリーズにおいてタグ付けすべきキープレイヤーについてコミュニケーションを取る。必要に応じてＴｏｐＦｏｎｔシステムのトラブルシューティングを行う。設備のセットアップ又は作業に関するタイムリーなあらゆる問題についてテクニカルマネージャーに連絡する。

ファーストダウンオペレータ
４箇所でカメラの三脚及び雲台を設置する。ファーストダウンシステム及びＴｏｐＦｏｎｔシステムの両方に使えるように、雲台及びカメラのキャリブレーションを行う。ＴｏｐＦｏｎｔシステムとの接続を確認する。ゲーム中にファーストダウンシステムを運用する。必要に応じてファーストダウンシステム、雲台、チルト、ズーム等のトラブルシューティングを行う。設備のセットアップ又は作業に関するタイムリーなあらゆる問題についてテクニカルマネージャー、テクニカルディレクター、及びＥＩＣに連絡する。

ＥＶＳオペレータ
全ての機器がＲＰ−１８８タイムコードを適切に記録し、再生できるようにセットアップできているかを確認する。テクニカルディレクター及びＴｏｐＦｏｎｔオペレータと日付の設定についてテストを行う。設備の作業に関するタイムリーなあらゆる問題についてテクニカルマネージャー、及びＥＩＣに連絡する。

モバイルユニットエンジニア
映像の立場及びネットワークの立場からシステムを放送に統合する。全ての信号が存在し、受信できるかどうかを確認する。ＴｒａｃＡＢオペレータ、ＴｏｐＦｏｎｔオペレータ、ファーストダウンオペレータのトラブルシューティングを必要に応じて支援する。

［実施例１：定義及び略語］
ＴｒａｃＡＢ
２つのカメラ群、処理用のコンピューター、及び追跡用のコンピューターによって構成される光学追跡システムである。本例では、対象（プレイヤー）の位置情報を３次元で認識し、情報グラフィックスを挿入する。これらの装置は、閉鎖型ネットワーク内でギガビットイーサネットを用いたネットワークによって接続される。処理用のコンピューターは、２番目のＮＩＣを介してグラフィックスネットワークと接続される。

ＴｏｐＦｏｎｔ
ＴｏｐＦｏｎｔは、４人の独立したレンダラーによって４つのカメラのうち一つのＨＤ−ＳＤＩ方式として提供される。このシステムは、タッチスクリーンを備えるユーザーインターフェースコンピューターと４つのレンダリング用コンピューターとによって構成される。これらの５つのコンピューターは、ギガビットイーサネットを用いたネットワークによって接続され、グラフィックスネットワークに切り換えられる。

ファーストダウン
本システムは、最新のダウン及び獲得ヤード（「黄色のライン」）を挿入する。

メディアコンバーター
光学−電子コンバーターである。本例では、イーサネットをスタジアム内の光ファイバーに変換し、さらにトラックで光ファイバーをイーサネットに変換する。

ＢＤＮ
ＮＦＬのゲームで使われるグラフィックスネットワークとして用いられるＦｏｘの放送データネットワークである。

光ファイバーケーブル
本願において、光ファイバーケーブルは、シングルモード光ファイバーであれば良く、特別なものではない。

ＧＢＥスイッチ
ポート間を１ｇｂｐｓの転送速度でスイッチするものである。

［実施例１：プロシージャステップ］
［実施例１：初期統合］
処理用コンピューターに４ＲＵの空きがあるか確認する。ラックに処理用コンピューターを設置する。閉鎖型ネットワークにＧＢＥスイッチを設置する。各処理用コンピューターのＮＩＣ１を閉鎖型ネットワークのＧＢＥスイッチに接続する。処理用コンピューターのグラフィックスネットワークへのＩＰ情報を用いてシステムのＮＩＣ２上のＩＰアドレスを設定する。

ＨＤ−ＳＤＩ入力及び出力は、各レンダラーに接続され、プロダクションスイッチャー及びルーティングスイッチャーに利用可能となる必要がある。各ＴｏｐＦｏｎｔレンダラーの出力プレビューは、スキャンコンバージョンされた出力によって行われる。これは、ルーティングスイッチャーによって利用可能となる。

ファーストダウンシステムは普通のものがインストールされる。ファーストダウンシステムは、２０ＲＵにはカウントされない。

グラフィックスネットワークのＩＰ情報を用いて、各コンピューター（レンダリングエンジン、ユーザーインターフェースコンピューター）にＩＰアドレス情報を設定する。（好ましくは、ＩＰアドレス情報は、出荷前に取得されるものであるが、重要ではない）

各コンピューターを、グラフィックスネットワークを含むギガビットイーサネットスイッチに接続する。ＴｏｐＦｏｎｔオペレータのユーザーインターフェースを接続する。全てのコンピューターの電源を入れて、トラック内の全ての機器間でのネットワークへの接続を確認する。

［実施例１：週刊ＴｒａｃＡＢセットアップ］
ＴｒａｃＡＢの設置位置は、スタジアムの職員及びテクニカルマネージャーによって確認される。ＴｒａｃＡＢカメラはＣユニットから外され、スタジアム内に移送される。ＴｒａｃＡＢカメラ群が設置される。

ＴｒａｃＡＢカメラ群の参照用写真を撮影する。その際、各ＴｒａｃＡＢカメラ群に電力が必要である。イーサネットケーブルでＴｒａｃＡＢカメラ群同士を接続する。

ＧＢＥ信号が届かない距離にある場合、若しくはカメラ間をカテゴリー５ケーブルで物理的に接続できない場合は、カメラ間にＧＢＥ対応のメディアコンバーターを複数設置する。一方のＴｒａｃＡＢカメラ群をギガビット対応のメディアコンバーターを介してトラック内の閉鎖型Ｈｅｇｏシステムネットワークに接続する。他方のＴｒａｃＡＢカメラ群はイーサネットケーブルを介してＴｒａｃＡＢオペレータのラップトップに接続する。ＧＢＥ信号が届かない距離にある場合、若しくはカメラと作業位置との間をカテゴリー５ケーブルで物理的に接続できない場合は、カメラと作業位置との間、又はトラックと作業位置との間にＧＢＥ対応のメディアコンバーターを複数設置する。

ＴｒａｃＡＢオペレータは、ビデオモニター、ラップトップ、及びインカムを作業位置にセットアップする。ＴｒａｃＡＢオペレータは、カメラ群のキャリブレーションを行い、ＴｒａｃＡＢシステムが正常に機能するかどうかを確認する。ＴｒａｃＡＢオペレータは、システムが完全に機能する場合にテクニカルマネージャーに報告する。

以下、プレイヤーをタグ付けするための好ましいユーザーインターフェース（ＵＩ）について説明する。

カメラは、プレイヤーを追跡し、コンピューターに情報を送信する。コンピューターのオペレータは、プレイヤーを手動でタグ付けする、自動タグ付けを監視する、若しくは、自動タグ付けを承認する。このデータは、オペレータが適切なグラフィックスをレンダーして放送できるようにコンピューターに送られる。

光学追跡によって、グラウンド上を移動する対象を追跡する。これにより、手動で適切なプレイヤーを正しく動く対象に対して割り当てることが可能となる。しかしながら、以下に示すように付加的な実施形態も採用できる。

すなわち、プレイヤーのタグ付けを素早く行うことができるプロセス及びワークフローである。これは、スタンドでの作業又はカメラ映像を用いた作業に換えて、物理的にタグ付けするプロセスをトラックに移動させるものである。本実施形態は、ゲームカメラを用いてプレイヤーをタグ付けするための種々の方法について提案するものである。例えば、適切なゲームカメラをオペレータに割り振ることで、より効率的なタグ付けを行うことができる。

本実施形態は、プレイヤーを追跡する全く異なる手法を提供する。例えば、グラフィックスにより、オペレータが自身のユーザーインターフェースから、例えばタッチスクリーンを用いて、プレイヤーをタグ付けできる方法である。

本実施形態は、逆タグ付け方法を想定している。つまり、フィールドのスクリーン上プレイヤーに対して、タグ付けコンピューターに他のコンピューターでタッチされたフィールド上の位置にどのプレイヤーが最も近いかを尋ねる方法である。これにより、フィールド上で最も近い対象を適切なプレイヤーとしてタグ付けすることができる。

さらに、本技術は、ＨＤ技術よりも高い技術に対して効果を奏する。特に興味のあるハイライトエリアにおいて、効果を発揮する。

好ましいプロセスは以下の通りである。

４Ｋビデオのような、ＨＤビデオよりも大きいフルラスタ解像度で開始する。

興味のあるエリアを示すグラフィックスボックス又はカーソルが現れる。

映像がボックス内を埋めるようにズームされる。

ＨＤよりも大きい画像を扱うシステム及び方法は、以下の通りである。初期画像又は初期映像は、初期解像度でキャプチャーされる。この初期解像度は、高精細度ビデオよりも大きく、かつ、所定の放送表示解像度よりも大きいものである。初期画像又は初期映像の所望の箇所がより低い解像度で次の画像又は映像として表示される。この解像度は、所定の放送表示解像度よちも小さく、かつ、それに近いものである。従って、キャプチャーされた画像の選択された箇所は、放送表示解像度若しくはそれに近いものとして表示される（つまり、所定の放送表示解像度と比較して、画像の細部のロスを最小化又は排除することができる）。

図１９は、フルラスタの４Ｋ動画のスクリーンショット画像１０を示す。７２０ｐ動画として抽出するウインドー１２として４Ｋ画像の一部が選択されて表示されている。このように、最初の画像キャプチャーは、ＨＤ解像度よりも大きく、７２０ｐの抽出ウインドーによって選択表示されている箇所は、ＨＤ解像度よりも大きい。図１７は４Ｋキャプチャー及び７２０ｐ抽出ウインドーを示しているが、これらの両方又は片方は、他の解像度を有するものである。図２０は、同様の抽出ウインドー１３を示している。

また、一つの抽出ウインドーが図１９に示されているが、同一のキャプチャー画像に対して複数の抽出ウインドーを同時に適用することも可能である。

さらに別の実施形態では、選択可能な抽出ウインドー（図１９における符号１２）がグラフィックユーザーインターフェース（図２１及び図２２におけるＧＵＩ１４）で示される。これにより、オペレータは、キャプチャーされた画像の範囲内に導かれるとともに、表示するキャプチャー画像の箇所を選択することができる。そのような実施形態では、抽出ウインドーは、オペレータが抽出ウインドーのサイズ及び位置を調整できる。他の実施形態では、抽出ウインドーは、追跡又は動いている画像を横断してスキャンできるように設計され、スポーツイベントの最中に、プレー又は興味を引く対象を追いかけることができる。その他の実施形態では、複数のオペレータが同一のＧＵＩ又は複数のＧＵＩを介して、同一の画像からそれぞれ抽出することが可能である。

図２１及び図２２を参照して、キャプチャーされた画像の処理が視認外（図２１）又は視認内（図２２）で実行される構成について説明する。図２１に示すシステムは、４Ｋ画像をオンサイト、例えばスポーツイベントのフィールド１８、でキャプチャーするカメラ１６を備える。伝送機構２０、例えばフルバンド幅の４Ｋビデオを伝送する光ファイバーケーブル、は、キャプチャーされた画像を作業ベース（ＯＢ２２）、例えばフィールド１８から離れたトラック、に伝送する。

画像レコーダー２４は、キャプチャーされた画像をサーバ上のデータストリームとして記録し、それにより、オペレータは記録に遅れることなくキャプチャーされた画像の選択箇所を精査することができる。そのような制御は、ＧＵＩ１４及びレコーダー２４と連結されるプロセッサ２６を通じてＧＵＩ１４を介してオペレータに提供される。実施形態では、レコーダー、プロセッサ、及びＧＵＩは、オペレータが記録された映像において放送用に選択された箇所に即座に戻ることができるように構成されている。

例えば、図２１に示すように、トラックのオペレータがＧＵＩを用いてフルラスタの４Ｋ画像を、カーソルと似たような方法で、興味のあるエリアを１６：９の抽出ウインドーで選択することができる。本実施形態では、ＧＵＩは、抽出ウインドーが、ライブ映像及び録画映像のうち少なくとも一方から興味のあるエリアを選択できるように構成されている。また、上述のように、本実施形態は、抽出ウインドーのサイズ変更及び表示倍率変更が可能である。他の実施形態において、本システムは、例えば、カメラを左右に回転させること、ズームすること等で、画像内で重要なフレームをマークし、所望の動きをマッピングできる。

図２２に示すように、システムの出力２８（例えば、４Ｋキャプチャー画像に対して７２０ｐ／５９．９４の出力）は、ルーター３０を介して提供される。ルーターは、出力をライブでスイッチャー３２に提供し、若しくは、遅れた出力としてサーバ（ＥＶＳ）３４に提供する。また、結果として生じる映像は、サーバ３４又はオペレータ側で（プロセッサ２６を介して）、リプレイのためにスローダウンさせたり、画像としてレンダーされたりする。

図２２は、別実施形態を示しており、初期画像のキャプチャー、伝送、記録はオンサイト（例えば、スポーツイベントのフィールド１８）で行われる。オンサイトプロセッサ２６は、オペレータの作業ベース２２（例えば、トラックであり、任意の便利な場所からアクセスされるＧＵＩを介して）内のＧＵＩ１４によって提供し、インターネット接続する。そして、映像から参照用のビデオ３８を提供しオペレータが抽出ウインドーを介して画像を操作する。出力２８は、その後、フィールドからオフサイトのルーター３０に伝送される。

他の実施形態では、少なくとも一つのＧＵＩがシステムのナビゲーションツールとしてのタブレット制御装置からアクセスされる。タブレット制御装置は、ワイヤレスかつポータブルにすることで、メイン又はサブのナビゲーションツールとして柔軟に利用することができる。

他の代表的な実施形態では、複数のカメラをなる視点からの画像をキャプチャーするように配置し、システム内で抽出ウインドーを複数のキャプチャー画像に対して作成して、異なる視点からのネイティブ画像に対して表示する箇所を選択する。

さらに別の実施形態では、リアルタイム又はそれに近い対象の追跡を提供する（特定のプレイヤー、選択されたプレイヤー、又は、予めタグ付けされたプレイヤー、若しくは、ゲーム中にボールを自動的に追跡する）。また、操作され、自動的に追跡された対象に対して仮想的に指示することで、ライブ放送全体に切り込むことができる。その際には、バックエンドのソフトウェア、及び、カメラマンによる操作と同様の方法で操作可能な仮想ファインダーを提供する追跡技術を活用する。そのような処理は、一つの特定の対象を追跡する等の単純な追跡、若しくは、人手による操作と似た方法で行う抽出ウインドーのパン、チルト、ズーム等、カメラマンの操作に近づけた複雑な操作を行うための技術に用いられる。これらの４Ｋキャプチャーを用いた例において、カメラキャプチャーは、特定の４Ｋカメラを用いたものである。カメラは、対象をより多く捕らえるためにより広角のものが好ましく、既成品を再構成又は改良することで適用することもできる。異なるレンズを異なるアプリケーションに特有のものとして用いることも可能である。

それらのプロセスは、上述の複数のカメラ及び／又は複数の抽出ウインドーを用いることも可能であるし、特定の一つのカメラ及び／又は一つの抽出ウインドーについて処理を行うことも可能である。そのようにして、人工知能が、抽出ウインドーを仮想ファインダーとして利用することで、自動的に放送用のマテリアルをキャプチャーし、抜き出して、表示することができる。

他の代表的な実施形態は、４Ｋ又は８Ｋのカメラと二つの出力ウインドー等を用いて、仮想的な３次元抽出を行う。

別実施形態では、画像キャプチャーのフレームレートが放送用のフレームレートよりも増えることは、上述した画像キャプチャーの解像度が大きくなることと同等である又は代わりになる。

そのような実施形態では、第一のビデオは、所定の放送用のフレームレートよりも高い第一のフレームレートでキャプチャーされる。第一のビデオの所望の箇所は、所定の放送用のフレームレートよりも低い若しくはそれに近い値の第二のフレームレートで表示される。第一のビデオにおける所望の箇所は、ネイティブのキャプチャービデオを横断するフレームを抽出する抽出ウインドーでキャプチャーされる。そのようにして、抽出されたビデオは、滑らか、かつ、鮮明であり、エッジが立っておらず、かつ、ぼんやりとしたフレームではないビデオとなる。キャプチャーされる第一のビデオのフレームレートは、所定の放送用のフレームレートよりも大きいものであれば良い。

さらに代表的な実施形態では、第一のビデオは、スーパーモーション又はハイパーモーションの第一のフレームレートでキャプチャーされる。伝統的なビデオでは、これは１８０ｆｐｓ（スーパーモーション）又はそれ以上（ハイパーモーション、ウルトラモーション）に等しい。具体的には、ハイパーモーションは、プレーバックするべく、撮影対象が動く瞬間をトリガーにしてキャプチャーできるように離散時間で記録される。現状のシステムは、リプレイ再生のために十分な時間、例えば１５分以上、３０分以上、１時間以上、１時間半以上、２時間以上、をハイパーモーションでフルタイム録画している。

他の実施形態では、少なくとも一つのカメラの生データを用いて、その画質を放送特性に応じて（ペイント可能に）調整する。具体的には、放送処理は、生データを放送の色温度、色合い、ガンマ値により適するように作用させるシステムに組み込まれている。

以上のように、本発明は、ネイティブ画像を部分的に選択してキャプチャーし、表示することで、放送製品又は他のアプリケーションを提供するシステム及び方法を提供する。ＧＵＩを通じて選択可能な抽出ウインドーを使用することで、オペレータは表示したいネイティブ画像の範囲内の全ての箇所で完全な制御を行うことができる。また、高解像度（４Ｋ等）よりも大きい画像をキャプチャーすることで、オペレータによって選択された所望の箇所が高解像度又はそれに近いもの（つまり、画質の劣化を伴わない）として表示可能となる。さらに、キャプチャーした画像のフレームレートが所定の放送用フレームレートよりも大きいことで、その画像から抽出されたビデオを、角がなく滑らか、かつ、フレームのぼやけがなく鮮明なものとして提供できる。ひいては、興味のある対象の自動追跡、複数のＧＵＩを用いること、若しくは、キャプチャーされた画像に対して一つ又は複数の（異なる視点からの）抽出ウインドーを用いること等、拡張されたＧＵＩの特徴を利用することで、製品の柔軟性及び利点を保証できる。

以上、代表的な実施形態について説明したが、本願発明の属する分野において通常の知識を有する者が行う種々の変更、変形は、本発明の技術思想又は範囲から逸脱しない範囲で本明細書に記載された発明に含まれることは言うまでもない。また、上述した実施形態は、その構成及び方法について限定するものではない。従って、種々の実施形態が図示によって示されているが、これに限定されるものではない。

特許請求の範囲を、次の書類に示す。

Claims (20)

1. 放送中に興味を引く対象を追跡し、タグ付けする方法であって、
   カメラを用いて映像認識または動作感知型追跡によって、一つ又は複数の動いている対象を追跡し、
   前記一つ又は複数の動いている対象に関して興味を引く対象を決定し、
   前記一つ又は複数の動いている対象に対して、若しくは当該対象に関するグラフィックスをレンダーするとともに、
   前記グラフィックスは、前記一つ又は複数の動いている、動いていた、若しくは動き出す対象に関する統計データに関するものであり、
   前記グラフィックスは、前記対象が動いている間に画面下から移動して表示される、若しくは、薄く表示されて徐々に消えていくように変化し、
   前記一つ又は複数の対象の追跡及びタグ付けは、放送中に表示される部分よりも大きい範囲で行われ、
   前記追跡及びタグ付けされる対象のうち少なくとも一つは、放送映像の範囲内に入り込む又は当該放送映像の範囲外に出るものであることを特徴とする方法。
2. 前記グラフィックスは、プレー、若しくは、グラウンド上のプレイヤーのパフォーマンスに関するものである請求項１に記載の方法。
3. 前記追跡は自動化されるとともに、インターフェースによってオペレータが一つ又は複数の対象を選択可能又は自動選択を確認可能である請求項１に記載の方法。
4. 前記オペレータは、前記インターフェースによって前記統計データを提供する請求項３に記載の方法。
5. 前記インターフェースは前記オペレータに提供される、又は、一つ又は複数の予め選択されたオプションを実行する請求項３に記載の方法。
6. 前記グラフィックスは、放送中又は放送後のビデオオーバーレイとして提供される請求項１に記載の方法。
7. 前記追跡された対象は、部分的に表示されるものである請求項６に記載の方法。
8. 前記ビデオオーバーレイは、薄く表示される請求項６に記載の方法。
9. 前記ビデオオーバーレイは、少なくとも部分的にフェーズアウトされる請求項６に記載の方法。
10. 前記グラフィックスは、前記対象が動いている間は完全には追従しない請求項６に記載の方法。
11. オペレータは、関連付けられた追跡システムと無線接続される無線機器を介して前記対象をタグ付けすることによって興味を引く対象を決定する請求項１に記載の方法。
12. 前記一つ又は複数の対象は、プレイヤー、ボール、フィールドマーク、フィールド以外のマーク、コーチ、ファン、コメンテーター、及び、フィールド以外でのイベントのうち少なくとも一つを含む請求項１に記載の方法。
13. 前記追跡された対象は、予め認識された統計データ又は重要性に関連付けられる請求項１に記載の方法。
14. 前記グラフィックスは、名前表示、ゲーム中の統計データ、シーズンの統計データ、プレイヤーコメント、コーチコメント、及び、カスタムテキストのうち少なくとも一つを含む請求項１に記載の方法。
15. イベントにおける複数のカメラの映像、キャプチャー、又はリプレイを選択するユーザーインターフェースであって、
    放送中の一つ又は複数の追跡された対象を光学的に表示する、一つ又は複数のモニター、若しくは、タッチスクリーンディスプレイを備えるとともに、
    オペレータによる前記一つ又は複数の対象の選択を示す、若しくは、自動選択又は自動選択の確認を示し、
    前記一つ又は複数の光学的に追跡された対象に対して、若しくは当該対象に関するグラフィックスをレンダーし、
    前記グラフィックスは、前記一つ又は複数の動いている、動いていた、若しくは動き出す対象に関する統計データに関するものであり、
    前記グラフィックスは、前記動いている対象が動いている間に画面下から移動して表示される、若しくは、薄く表示されて徐々に消えていくように変化し、
    前記一つ又は複数の光学的に追跡された対象の追跡及びタグ付けは、放送中に表示される部分よりも大きい範囲で行われ、
    前記追跡及びタグ付けされる対象のうち少なくとも一つは、放送映像の範囲内に入り込む又は当該放送映像の範囲外に出るものであることを特徴とするユーザーインターフェース。
16. ホットキー、オートモード、マニュアルモード、ハイライト、スワップ、オーディオ、ディスクモード、エクストラモード、アニメーション、及び、統計データの選択のうち少なくとも一つを含む選択可能な特徴を有する請求項１５に記載のユーザーインターフェース。
17. イベントにおける複数のカメラの映像、キャプチャー、又はリプレイを選択するシステムであって、
    放送中の一つ又は複数の追跡された対象を表示し、かつ、オペレータによる前記一つ又は複数の対象の選択を示す、一つ又は複数のモニター若しくはタッチスクリーンディスプレイと、
    放送用の画像を提供するカメラ群と、
    動いている前記対象を追跡する光学追跡モジュールと、を備え、
    前記光学追跡モジュールおよび一つ又は複数のモニター若しくはタッチスクリーンディスプレイは、前記一つ又は複数の光学的に追跡された対象に対して、若しくは当該対象に関するグラフィックスをレンダーし、
    前記グラフィックスは、前記一つ又は複数の動いている、動いていた、若しくは動き出す対象に関する統計データに関するものであり、
    前記グラフィックスは、前記動いている対象が動いている間に画面下から移動して表示される、若しくは、薄く表示されて徐々に消えていくように変化し、
    前記一つ又は複数の光学的に追跡された対象の追跡及びタグ付けは、放送中に表示される部分よりも大きい範囲で行われ、
    前記追跡及びタグ付けされる対象のうち少なくとも一つは、放送映像の範囲内に入り込む又は当該放送映像の範囲外に出るものであることを特徴とするシステム。
18. 前記光学追跡モジュールは、映像認識及び動作感知型追跡の何れか一方又は両方を利用する請求項１７に記載のシステム。
19. 前記一つ又は複数のモニター若しくはタッチスクリーンディスプレイと関連付けられるユーザーインターフェースとネットワークを介して接続されたレンダリング用コンピューターを少なくとも一つ備える請求項１７に記載のシステム。
20. 前記放送は、ＨＤよりも大きい解像度を有するものであるとともに、一つ又は複数の選択可能な抽出ウインドーを使用する請求項１７に記載のシステム。