JP7271856B2 - ネットワーク遅延がある環境での遠隔クラウドベースのビデオ制作システム - Google Patents

Description

本出願は、２０１８年４月５日に出願された米国仮特許出願第６２／６５２，９７８号に基づくものである（、これはあらゆる目的のために本明細書に援用され、その一部が参照により本明細書に組み込まれる）。

本発明はビデオ制作の分野に関する。より具体的には、本発明はクラウドベースのビデオ制作システムに関する。

例えば、ニュース又はスポーツ放送のためのライブビデオ制作は、現場の制作スタッフと共に物理的な制作スイッチを必要とし、費用のかかるプロセスである。

現場の制作スタッフの物理的な存在を必要とせずに、クラウドベースのビデオ制作システム上で制作プロセス全体を実行できることは有利となろう。本発明の方法および装置は、上記および他の利点を提供する。

本発明は、クラウドベースのビデオ制作システムに関する。
本発明によるクラウドベースのビデオ制作システムの例示的な実施形態では、クラウドベースのビデオ制作サーバが提供される。ユーザデバイス上で動作するリモートユーザインターフェースも提供される。１つ又は複数のビデオソースが、ネットワークを介してクラウドベースのビデオ制作サーバ及びリモートユーザインターフェースと通信する。クラウドベースのビデオ制作サーバに配置され、又はそれと通信する制御ユニットが、ネットワークを介してリモートユーザインターフェースと通信する。１つ又は複数のビデオソースのそれぞれに対応するバッファが、ネットワーク遅延に対応して、１つ又は複数のビデオソースのそれぞれと制御ユニットとの間に配置される。 ビデオコンテンツの各フレームにはビデオタイムスタンプが付けられる。１つ又は複数のビデオソースからのビデオコンテンツを選択及び操作するためのコマンドが、ユーザインターフェースから制御ユニットに送信され、各コマンドは、コマンドが発行されたときにユーザインターフェース上に表示されるビデオフレームのビデオタイムスタンプに対応するコマンドタイムスタンプを含む。制御ユニットは、対応するバッファの出力におけるビデオタイムスタンプがコマンドタイムスタンプに対応するときに各コマンドを実行する。 制御ユニットは、コマンドに従ってビデオプログラムを出力する。

ユーザインターフェースは、インターネット対応のユーザデバイス上で実行されているアプリケーション又はウェブブラウザのうちの１つを含んでよい。ユーザデバイスは、コンピュータ、ラップトップコンピュータ、ポータブルコンピュータ、タブレットコンピュータ、スマートフォン、スマートウォッチ、パーソナルコンピューティングデバイス、インターネット対応デバイスなどのうちの1つを含んでよい。

１つ又は複数のビデオソースからのコンテンツは、ユーザインターフェース上で見ることができる。

コマンドは、１つ又は複数のビデオソースによって提供されるビデオコンテンツ又はビデオコンテンツの一部の中から選択するためのコマンド、ビデオコンテンツ又はビデオコンテンツの一部を組み合わせるためのコマンド、１つ又は複数のビデオソース間で切り替えるためのコマンド、ビデオコンテンツ又はビデオコンテンツの一部を操作するためのコマンド、グラフィックオーバーレイを提供するためのコマンド、グラフィックオーバーレイをオン又はオフにするためのコマンド、ビデオコンテンツ又はビデオコンテンツの一部のオーディオレベルを調整するためのコマンドなどを含んでよい。

１つ又は複数のビデオソースのそれぞれは、ビデオカメラ、カムコーダー、テレビカメラ、ムービーカメラ、携帯用電子機器、タブレットコンピュータ、スマートフォン、ＩＰ又はウェブカメラなどのうちの１つを含む。

ビデオプログラムは、ライブ放送、１つ又は複数のソーシャルメディアプラットフォームへの配信、及びデジタルメディア配信プラットフォームへの配信のうちの少なくとも１つについて出力される。ビデオプログラムはまた、ユーザデバイスにダウンロードされてよく、ダウンロードされたビデオプログラムは、オリジナルのダウンロードされた形式でメディアアウトレット又はソーシャルメディアプラットフォームへ配信されたもの、又はこのような配信の前にユーザデバイスで修正されたものの１つであってよい。

ビデオプログラムは、ニュースプログラム、スポーツプログラム、天気プログラム、ライブイベントプログラム、エンターテイメントプログラムなどのうちの１つを含んでよい。

対応するバッファは、コマンドを実行する際のネットワーク遅延に対応してビデオコンテンツを遅延させる。

コマンドのための命令はＡＰＩを介して送信されてよい。 指示はスクリプト可能であってよい。

本発明はまた、クラウドベースのビデオ制作のための方法を包含する。本方法は、クラウドベースのビデオ制作サーバを提供すること、ユーザデバイス上で実行されるリモートユーザインターフェースを提供すること、ネットワークを介して１つ又は複数のビデオソースからクラウドベースのビデオ制作サーバ及びリモートユーザインターフェースにビデオコンテンツを提供すること、ネットワークを介してリモートユーザインターフェースとも通信するクラウドベースのビデオ制作サーバに配置され、またはそれと通信する制御ユニットを提供すること、１つ又は複数のビデオソースのそれぞれについて、対応するバッファを介してビデオコンテンツをバッファリングすること、を含む。対応するバッファは、ネットワーク遅延に対応するために、１つ又は複数のビデオソースのそれぞれと制御ユニットとの間に配置されてよい。本方法は、ビデオコンテンツの各フレームにビデオタイムスタンプを提供すること、１つ又は複数のビデオソースからのビデオコンテンツを選択及び操作するためのコマンドをユーザインターフェースから制御ユニットに送信すること（コマンドが発行されたときにユーザインターフェース上に表示されるビデオフレームのビデオタイムスタンプに対応するコマンドタイムスタンプを含む）、対応するバッファの出力でのビデオタイムスタンプがコマンドタイムスタンプに対応するときに制御ユニットで各コマンドを実行すること、及び、コマンドに従ってビデオプログラムを出力することを含む。

本発明の方法の実施形態はまた、上述の装置及びシステムの実施形態の様々な特徴及び機能性を含み得る。本発明は、添付の図面と共に以下に説明される。

図１は、本発明によるクラウドベースのビデオ制作システムの例示的な実施形態のブロック図を示す。

以下の詳細な説明は例示的な実施形態のみを提供し、本発明の範囲、適用性、または構成を限定することを意図しない。むしろ、例示的な実施形態の以下の詳細な説明は、本発明の実施形態を実施するための実施可能な説明を当業者に提供するであろう。特許請求の範囲に記載の本発明の思想及び範囲から逸脱することなく、要素の機能および配置に様々な変更を加えることができることを理解されたい。

本発明は、クラウドベースのビデオ制作システムに関する。ライブビデオ制作コストを削減するために、クラウドベースのビデオ制作システムを持つことが望ましい。

図１は、本発明によるクラウドベースのビデオ制作システムの例示的な実施形態を示すブロック図である。
この実施形態では、ビデオ制作は、クラウドベースのビデオ制作サーバ１０（クラウド内に配置されている）上で実行される。ユーザは、ユーザインターフェース１４によりネットワーク１２を介してシステムを遠隔操作する。ユーザインターフェース１４は、インターネット対応ユーザデバイス１５（例えば、コンピュータ、ラップトップ、ポータブルコンピュータ、タブレットコンピュータ、スマートフォン、スマートウォッチ、又はパーソナルコンピューティング装置又は他のインターネット又はネットワーク対応装置他の任意のタイプのもの）上で動作するアプリケーション又はウェブブラウザであってよい。クラウドベースのビデオ制作サーバ１０、並びにユーザインターフェースは、１つまたは複数のビデオソース１６から生のビデオコンテンツを受信することができる。ユーザインターフェース１４は、（例えば、ネットワーク１２を介して）１つまたは複数のビデオソース１６からのビデオコンテンツを表示するためのディスプレイを含でよい。ユーザインターフェース１４は、ユーザがビデオプログラムでどのコンテンツを使用するかを選択し制御することを可能にする。ビデオコンテンツの選択、及びユーザインターフェース１４からのコマンドの実行は、クラウドベースのビデオ制作サーバ１０に、又はそれと通信するように配置された制御ユニット１８を介して実行される。

コマンドは、ビデオソース１６間の切り替え、１つ以上のビデオソース１６からのビデオコンテンツ（又はビデオコンテンツの一部）の選択、１つ以上のビデオソース１６からのビデオコンテンツ（又はビデオコンテンツの一部）の組み合わせ、ビデオコンテンツ又はビデオコンテンツの一部を操作すること、グラフィックオーバーレイをオンおよびオフにすること、オーディオレベルの調整などのためのコマンドを含み得る。

生のビデオコンテンツ（ビデオソース１６によって提供される入力ビデオ）は、完成したビデオプログラム２２を制作する際にビデオ制作サーバ１０によって使用されるための未処理の材料を含む。これらの生材料は、後述するように、後の使用のためにバッファ２０又は関連する記憶装置によって記録することができる。生のビデオコンテンツの各フレームは、最終ビデオプログラム２２の各フレームと同様に、タイムスタンプ又はタイムコードが与えられる。生ビデオコンテンツのタイムスタンプ／タイムコードは、ビデオプログラム２２のタイムスタンプ／タイムコードとは異なってよい。

一例示的実施形態では、コマンドの命令はアプリケーションプログラムインターフェース（ＡＰＩ）を介して送信することができ、すべての命令はスクリプト可能であってよい。ビデオ制作プロセスは、ユーザインターフェースによって、スクリプトによって、又はコマンドを生成するＡＩエンジンによって駆動することができることを理解されたい。さらに、ビデオ制作プロセス中にシステムに提供されるすべての命令及び／又はコマンドは、制作に使用されたオリジナルのビデオコンテンツ内の対応するタイムスタンプ／タイムコードとともに記録されてよく、オリジナルのビデオコンテンツとともに格納されてよい。結果として得られるビデオプログラム２２は、その後、生のビデオコンテンツ及び記録された／格納されたコマンドスクリプト又は命令を使用して再生することができる。

ビデオソース１６は、ビデオカメラ、カムコーダー、テレビカメラ、ムービーカメラ、携帯用電子機器、タブレットコンピュータ、スマートフォン、ＩＰ又はウェブカメラなどのうちの１つ又は複数を含んでよい。

このようなクラウドベースのシステムを効率的に機能させるための1つの課題は、ネットワーク遅延の存在である。ネットワーク遅延がある場合、クラウドベースのプロダクションシステム上での任意のコマンドの実際の実行は、実際のビデオフレームがユーザデバイス１５のディスプレイ上に表示された時間の後しばらくして生じる。

ネットワーク遅延に関連する問題を解決するために、各ビデオソース１６と制御ユニット１８との間にバッファ２０が追加される。すべてのビデオソース１６からのビデオコンテンツの各ビデオフレームにはタイムスタンプが与えられている。ユーザがユーザインターフェース１４にコマンドを入力すると、コマンドは発行されたときにユーザインターフェース１４に表示されたビデオフレームのビデオタイムスタンプに対応するコマンドタイムスタンプと共に、コマンドがクラウドベースのビデオ制作サーバ１０に送信される。 クラウドベースのビデオ制作サーバ１０の制御ユニット１８は、ビデオバッファ２０の出力におけるビデオタイムスタンプがコマンドタイムスタンプと一致するか又は通過（passe）するときにコマンドを実行する。

ビデオソース１６からのビデオコンテンツが対応するバッファ２０によって遅延されるので、ユーザインターフェース１４からのコマンドを実行する際にネットワーク遅延が考慮される。ビデオコンテンツからのタイムスタンプ及びコマンドからの対応するタイムスタンプを使用して、コマンドで特定された所望の動作を同期させ、適切な時間に所望のビデオコンテンツに影響を及ぼすことができる。完成したビデオプログラム２２は、ライブ放送又は１つ又は複数のソーシャルメディアアウトレット、デジタルメディア配信プラットフォームなどの他のメディアプラットフォームへの配信のためにクラウドベースのビデオ制作サーバ１０から出力され得る。完成したビデオプログラム２２はまた、ユーザデバイス１５にダウンロードされ、メディアアウトレットに配信されるか、又はそのような配信の前にさらに修正又は編集されてもよい。

本システムは、ニュースプログラム、スポーツ、天気、ライブイベント、娯楽などを含む様々なタイプのビデオプログラムを作成するために使用され得る。ビデオソース１６は、ライブビデオプログラムの制作のためのライブビデオコンテンツを提供し得る。ビデオコンテンツは後で使用するために格納することもできる。例えば、このシステムは、ライブスポーツイベント（ここで、各ビデオソースがスポーツイベントの異なるカメラ又はカメラアングルを含む）を制作するために使用されてよい。インスタントリプレイは、インスタントリプレイに示されるべきプレイを含む１つ以上のビデオソースからのコンテンツの追加を要求するコマンドを制御ユニット１８に送信することによって生成され得る。各バッファ２０は、イベント全体について、対応するビデオソース１６からのすべての入力フィードを記録し、インスタント再生及び巻き戻し機能を容易にするのに十分な大きさであってよい。バッファ２０はまた、ビデオプログラムの再生のような今後の制作ニーズのために生のビデオコンテンツを格納するためにも使用され得る。 バッファは、短期メモリ（ＲＡＭ）、ローカルストレージ（ビデオ制作サーバ１０上のハードディスク、または他の方法でビデオソース１６に関連付けられたハードディスク）、及び長期ストレージ（ＡＷＳ Ｓ３などのクラウドストレージ）で実装され得る。バッファ２０の長期ストレージへのアクセスは、短期又はローカル記憶へのアクセスと同様に、シームレスであり得る。本発明は、クラウドベースのビデオ制作システムのための有利な方法及び装置を提供することを理解されたい。

本発明が様々な例示の実施形態に関連して説明されてきたが、特許請求の範囲に記載されている本発明の思想及び範囲から逸脱することなく、数多くの修正および適応が可能である。

Claims (22)

1. クラウドベースのビデオ制作システムであって、
   クラウドベースのビデオ制作サーバと、
   ユーザデバイス上で実行されているリモートユーザインターフェースと、
   ネットワークを介して前記クラウドベースのビデオ制作サーバ及び前記リモートユーザインターフェースと通信する１つ又は複数のビデオソースと、
   前記ネットワークを介して前記リモートユーザインターフェースと通信する、前記クラウドベースのビデオ制作サーバに配置されるか、またはそれと通信する制御ユニットと、
   ネットワーク遅延に対応して、１つ又は複数のビデオソースのそれぞれと前記制御ユニットとの間に配置される、１つ又は複数のビデオソースのそれぞれに対応するバッファと、
   を含み、
   ビデオコンテンツの各フレームにはビデオタイムスタンプが付けられ、
   １つ又は複数のビデオソースからのビデオコンテンツを選択及び操作するためのコマンドが、ユーザインターフェースから制御ユニットに送信され、前記コマンドのそれぞれは、前記コマンドが発行されたときにユーザインターフェース上に表示される前記ビデオフレームの前記ビデオタイムスタンプに対応するコマンドタイムスタンプを含み、
   前記対応するバッファの出力における前記ビデオタイムスタンプがコマンドタイムスタンプに対応するときに、前記制御ユニットは各コマンドを実行し、
   制御ユニットは、前記コマンドに従ってビデオプログラムを出力する、
   ことを特徴とするクラウドベースのビデオ制作システム。
2. 前記ユーザインターフェースが、インターネット対応装置上で動作するアプリケーション又はウェブブラウザのうちの１つを含む、請求項１に記載のクラウドベースのビデオ制作システム。
3. 前記ユーザデバイスが、コンピュータ、ラップトップコンピュータ、ポータブルコンピュータ、タブレットコンピュータ、スマートフォン、スマートウォッチ、パーソナルコンピューティングデバイス、及びインターネット対応デバイスのうちの1つを含む、請求項１に記載のクラウドベースのビデオ制作システム。
4. 前記ユーザインターフェース上で、前記１つ又は複数のビデオソースからのコンテンツを見ることができる、請求項１に記載のクラウドベースのビデオ制作システム。
5. 前記コマンドが、前記１つ又は複数のビデオソースによって提供される前記ビデオコンテンツ又は前記ビデオコンテンツの一部の中から選択するためのコマンド、前記ビデオコンテンツ又は前記ビデオコンテンツの一部を組み合わせるためのコマンド、前記１つ又は複数のビデオソース間で切り替えるためのコマンド、前記ビデオコンテンツ又は前記ビデオコンテンツの一部を操作するためのコマンド、グラフィックオーバーレイを提供するためのコマンド、前記グラフィックオーバーレイをオン又はオフにするためのコマンド、及び前記ビデオコンテンツ又は前記ビデオコンテンツの一部に対しオーディオレベルを調整するためのコマンドを含む、請求項１に記載のクラウドベースのビデオ制作システム。
6. 前記１つ又は複数のビデオソースのそれぞれが、ビデオカメラ、カムコーダー、テレビカメラ、ムービーカメラ、携帯用電子機器、タブレットコンピュータ、スマートフォン、及びＩＰ又はウェブカメラのうちの１つを含む、請求項１に記載のクラウドベースのビデオ制作システム。
7. 前記ビデオプログラムが、ライブ放送、１又は複数のソーシャルメディアプラットフォームへの配信、及びデジタルメディア配信プラットフォームへの配信のうちの少なくとも１つに対して出力される、請求項１に記載のクラウドベースのビデオ制作システム。
8. 前記ビデオプログラムが前記ユーザデバイスにダウンロードされ、
   前記ダウンロードされたビデオプログラムが、オリジナルのダウンロードされた形式でメディアアウトレット又はソーシャルメディアプラットフォームに配信されたもの、又は該配信前に前記ユーザデバイスで修正されたもの一つである、請求項１に記載のクラウドベースのビデオ制作システム。
9. 前記ビデオプログラムが、ニュースプログラム、スポーツプログラム、天気プログラム、ライブイベントプログラム、及びエンターテイメントプログラムのうちの１つを含む、請求項１に記載のクラウドベースのビデオ制作システム。
10. 前記対応するバッファが、前記コマンドを実行する際のネットワーク遅延に対応して前記ビデオコンテンツを遅延させる、請求項１に記載のクラウドベースのビデオ制作システム。
11. 前記コマンドの指示がAPIを介して送信され、
    前記指示がスクリプト可能である、請求項１に記載のクラウドベースのビデオ制作システム。
12. クラウドベースのビデオ制作方法であって、
    クラウドベースのビデオ制作サーバを提供することと、
    ユーザデバイス上で動作するリモートユーザインターフェースを提供することと、
    ネットワークを介して、１つ又は複数のビデオソースから前記クラウドベースのビデオ制作サーバ及び前記リモートユーザインターフェースにビデオコンテンツを提供することと、
    前記ネットワークを介して前記リモートユーザインターフェースと通信する前記クラウドベースのビデオ制作サーバに配置され、又は該ビデオ制作サーバと通信する制御ユニットを提供することと、
    前記１つ又は複数のビデオソースのそれぞれについて、対応するバッファを介してビデオコンテンツをバッファリングすることと、ここで前記対応するバッファは、ネットワーク遅延に対応して、前記１つ又は複数のビデオソースのそれぞれと前記制御ユニットとの間に配置されており、
    ビデオコンテンツの各フレームにビデオタイムスタンプを提供することと、
    前記１つ又は複数のビデオソースからのビデオコンテンツを選択及び操作するために、前記ユーザインターフェースから前記制御ユニットにコマンドを送信することと、ここで、前記コマンドのそれぞれは、前記コマンドが発行されたときに前記ユーザインターフェースに表示される前記ビデオフレームの前記ビデオタイムスタンプに対応するコマンドタイムスタンプを含み、
    前記対応するバッファの出力における前記ビデオタイムスタンプが前記コマンドタイムスタンプに対応するときに、前記制御ユニットにおいて各コマンドを実行することと、
    前記コマンドに従ってビデオプログラムを出力することと、
    を含む、クラウドベースのビデオ制作方法。
13. 前記ユーザインターフェースが、インターネット対応装置上で動作するアプリケーション又はウェブブラウザのうちの１つを含む、請求項１２に記載のクラウドベースのビデオ制作方法。
14. 前記ユーザデバイスが、コンピュータ、ラップトップコンピュータ、ポータブルコンピュータ、タブレットコンピュータ、スマートフォン、スマートウォッチ、パーソナルコンピューティングデバイス、及びインターネット対応デバイスのうちの1つを含む、請求項１２に記載のクラウドベースのビデオ制作方法。
15. 前記１つ又は複数のビデオソースからのコンテンツは、前記ユーザインターフェース上で見ることができる請求項１２に記載のクラウドベースのビデオ制作方法。
16. 前記コマンドが、前記１つ又は複数のビデオソースによって提供されるビデオコンテンツ又は該ビデオコンテンツの一部の中から選択するためのコマンド、前記ビデオコンテンツ又は該ビデオコンテンツの一部を組み合わせるためのコマンド、前記１つ又は複数のビデオソース間で切り替えるためのコマンド、前記ビデオコンテンツ又は該ビデオコンテンツの一部を操作するためのコマンド、グラフィックオーバーレイを提供するためのコマンド、前記グラフィックオーバーレイをオン又はオフにするためのコマンド、及び前記ビデオコンテンツ又は該ビデオコンテンツの一部のオーディオレベルを調整するためのコマンドを含む、請求項１２に記載のクラウドベースのビデオ制作方法。
17. 前記１つ又は複数のビデオソースのそれぞれが、ビデオカメラ、カムコーダー、テレビカメラ、ムービーカメラ、携帯用電子機器、タブレットコンピュータ、スマートフォン、及びＩＰ又はウェブカメラのうちの１つを含む、請求項１２に記載のクラウドベースのビデオ制作方法。
18. 前記ビデオプログラムが、ライブ放送、１つ又は複数のソーシャルメディアプラットフォームへの配信、及びデジタルメディア配信プラットフォームへの配信のうちの少なくとも１つに対して出力される、請求項１２に記載のクラウドベースのビデオ制作方法。
19. さらに、
    前記ビデオプログラムを前記ユーザデバイスにダウンロードすることと、
    前記ダウンロードされたビデオプログラムをオリジナルのダウンロードされた形式でメディアアウトレット又はソーシャルメディアプラットフォームに配信すること、及び該配信の前に前記ユーザデバイスにおいてダウンロードされた前記ビデオプログラムを修正することのうちの１つと、
    を含む、請求項１２に記載のクラウドベースのビデオ制作方法。
20. 前記ビデオプログラムは、ニュースプログラム、スポーツプログラム、天気プログラム、ライブイベントプログラム、及びエンターテイメントプログラムプログラムのうちの１つを含む、請求項１２に記載のクラウドベースのビデオ制作方法。
21. 前記対応するバッファが、前記コマンドを実行する際、ネットワーク遅延に対応して前記ビデオコンテンツを遅延させる、請求項１２に記載のクラウドベースのビデオ制作方法。
22. 前記コマンドの指示がAPIを介して送信され、
    前記指示がスクリプト可能である、請求項１２に記載のクラウドベースのビデオ制作方法。

Images