JP2023545825A - クラウドプラットフォーム上のメディア処理においてステップベースの処理を実行する方法、装置、及びコンピュータプログラム - Google Patents

Abstract

ネットワークベースメディア処理（ＮＢＭＰ）ワークフローにおいてステップベースの処理を実行する方法及び装置が提供される。当該方法は、複数のセグメントを有する入力メディアストリームを含むワークフローを取得するステップと、メタデータに基づくセグメント境界シグナリング又はコードに基づくセグメント境界シグナリングのうちの一方に基づいて、入力メディアストリーム内の前記複数のセグメント間の境界を特定するステップと、前記複数のセグメント間の特定した境界に基づいて前記複数のセグメントを処理するステップと、を含む。

Description

この出願は、２０２１年７月６日に出願された米国仮特許出願第６３／２１８，８１７号に基づくとともに、それに対する優先権を主張するものであり、その開示をその全体にてここに援用する。

本開示の実施形態は、クラウドプラットフォーム上のメディア処理においてステップベースの処理を実行するための装置及び方法に関する。

様々なアプリケーションを実行するためにネットワークとクラウドプラットフォームが使用されることがある。ネットワークベースメディア処理（ＮＢＭＰ）標準は、クラウドプラットフォーム上でワークフローを定義し、インスタンス化し、及び実行するための仕様を提供している。ＮＢＭＰ標準はまた、等しい継続時間の複数のメディアセグメントを独立に処理するためのツールのセットを含んでいる。例えば、ＮＢＭＰステップ記述子が、機能ステップベース処理サポートについての情報を提供している。ここで、ＮＢＭＰステップ記述子は、数あるパラメータの中で、とりわけ、セグメント最大継続時間／サイズ、及び処理ユニットを定め得る。しかしながら、ＮＢＭＰ標準のステップ記述子機能は、セグメント境界を定めていない。本開示の１つ以上の実施形態例は、この問題を解決し、セグメント境界を定めることによってステップ記述子における入力及び出力を適切に処理する機能を提供し得る。

本開示の１つ以上の実施形態例は、セグメント境界を定めることによってステップ記述子機能を提供する方法及び装置を提供する。

本開示の一態様によれば、クラウドプラットフォーム上のメディア処理においてステップベースの処理を実行する方法が提供され、当該方法は、複数のセグメントを有する入力メディアストリームを含むワークフローを取得するステップと、メタデータに基づくセグメント境界シグナリング又はコードに基づくセグメント境界シグナリングのうちの一方に基づいて、前記入力メディアストリーム内の前記複数のセグメント間の境界を特定するステップと、前記複数のセグメント間の前記特定した境界に基づいて前記複数のセグメントを処理するステップと、を含む。

本開示の他の一態様によれば、クラウドプラットフォーム上のメディア処理においてステップベースの処理を実行する装置が提供され、当該装置は、プログラムコードを格納するように構成された少なくとも１つのメモリと、前記プログラムコードを読み出し、前記プログラムコードによって命令されるように動作するよう構成された少なくとも１つのプロセッサと、を含み、前記プログラムコードは、前記少なくとも１つのプロセッサに、入力メディアストリームを含むワークフローを取得させるように構成された取得コードであり、前記入力メディアストリームは複数のセグメントを含む、取得コードと、前記少なくとも１つのプロセッサに、メタデータに基づくセグメント境界シグナリング又はコードに基づくセグメント境界シグナリングのうちの一方に基づいて、前記入力メディアストリーム内の前記複数のセグメント間の境界を特定させるように構成された特定コードと、前記少なくとも１つのプロセッサに、前記複数のセグメント間の前記特定した境界に基づいて前記複数のセグメントを処理させるように構成された処理コードと、を含む。

本開示の他の一態様によれば、命令を格納した非一時的なコンピュータ読み取り可能媒体が提供され、前記命令は、クラウドプラットフォーム上のメディア処理においてステップベースの処理を実行する装置の少なくとも１つのプロセッサによって実行されるときに、前記少なくとも１つのプロセッサに、入力メディアストリームを含むワークフローを取得させ、前記入力メディアストリームは複数のセグメントを有し、メタデータに基づくセグメント境界シグナリング又はコードに基づくセグメント境界シグナリングのうちの一方に基づいて、前記入力メディアストリーム内の前記複数のセグメント間の境界を特定させ、前記複数のセグメント間の前記特定した境界に基づいて前記複数のセグメントを処理させる。

更なる態様が、以下の説明で部分的に記述され、説明から部分的に明らかになり、又は本開示の提示実施形態の実施によって実現され得る。

本開示の上述の及び他の態様、特徴、及び実施形態の態様が、以下の添付図面と併せられる以下の説明からいっそう明らかになる。
１つ以上の実施形態に従った通信システムの概略図である。 １つ以上の実施形態に従ったストリーミング環境の簡略化した例示である。 １つ以上の実施形態に従ったＮＢＭＰシステムのブロック図である。 １つ以上の実施形態に従ったＮＢＭＰスプリッタ及びマージプロセスの例図である。 １つ以上の実施形態に従った、クラウドプラットフォーム上のメディア処理においてステップベースの処理を実行するプロセス例のブロック図である。 １つ以上の実施形態に従った、クラウドプラットフォーム上のメディア処理においてステップベースの処理を実行するためのコンピュータコードの一例のブロック図である。

本開示の実施形態は、ネットワークベースメディア処理（ＮＢＭＰ）ワークフローにおける変更をシグナリングするための方法及び装置に関し、特に、クラウドプラットフォーム上のメディア処理においてステップベースの処理を実行するための装置及び方法に関する。

本開示の実施形態は、本質的に例示的なものであり、添付図面を参照して包括的に記述される。しかしながら、実装の例は様々な複数の形態で実施されることができ、本開示は、ここに記載される例に限定されるとして解釈されるべきでない。逆に、実装の例は、本開示の技術的ソリューションをいっそう包括的で完全なものとし、実装の例のアイディアを当業者に包括的に伝えるために提供される。添付図面は単に本開示の例示に過ぎず、必ずしも縮尺通りに描かれているわけではない。添付図面中の同じ参照符号は同じ又は同様のコンポーネントを表しており、故に、それらのコンポーネントの繰り返しての説明は省略する。

以下で説明する提案に係る特徴は、別々に使用されてもよいし、何らかの順序で組み合わされてもよい。添付図面に示す一部のブロック図は機能的エンティティであり、必ずしも物理的又は論理的に独立したエンティティに対応するわけではない。また、実施形態は、処理回路（例えば、１つ以上のプロセッサ若しくは１つ以上の集積回路）又はマイクロコントローラ装置を含み得るハードウェアの形態で実装されてもよいし、ソフトウェアの形態で実装されてもよいし、異なる複数のネットワーク及び／又はプロセッサ装置で実装されてもよいし、ハードウェアコンポーネントとソフトウェアコンポーネントとの組み合わせによって実装されてもよい。一例において、１つ以上のプロセッサが、１つ以上の非一時的コンピュータ読み取り可能媒体に格納されたコンピュータプログラムコードを実行する。

図１は、実施形態に従った、ここに記載される方法、装置及びシステムが実装され得る環境１００の図である。図１に示すように、環境１００は、ユーザ装置１１０、プラットフォーム１２０、及びネットワーク１３０を含み得る。環境１００の装置は、有線接続、無線接続、又は有線接続と無線接続との組み合わせ、を介して相互接続し得る。

ユーザ装置１１０は、プラットフォーム１２０に関連する情報を受信、生成、格納、処理、及び／又は提供することができる１つ以上の装置を含み得る。例えば、ユーザ装置１１０は、コンピューティング装置（例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルドコンピュータ、スマートスピーカ、サーバなど）、携帯電話（例えば、スマートフォン、無線電話など）、ウェアラブル装置（例えば、一対のスマートグラス又はスマートウォッチ）、又は類似の装置を含み得る。一部の実装において、ユーザ装置１１０は、プラットフォーム１２０から情報を受信し及び／又はプラットフォーム１２０に情報を送信し得る。

プラットフォーム１２０は、この中の別の箇所で説明されるような１つ以上の装置を含み得る。一部の実装において、プラットフォーム１２０は、クラウドサーバ又は一群のクラウドサーバを含み得る。一部の実装において、プラットフォーム１２０は、ソフトウェアコンポーネントが特定のニーズに応じてスワップイン又はスワップアウトされ得るよう、モジュール式であるように設計され得る。そのようなものとして、プラットフォーム１２０は、異なる使用のために容易に且つ／或いは迅速に再構成されることができる。

一部の実装において、図示のように、プラットフォーム１２０は、クラウドコンピューティング環境１２２内でホストされ得る。特に、ここに記載される実装は、プラットフォーム１２０を、クラウドコンピューティング環境１２２内でホストされるものとして記述するが、一部の実装では、プラットフォーム１２０は、クラウドベースでなくてもよく（すなわち、クラウドコンピューティング環境の外で実装されてもよく）、あるいは、部分的にクラウドベースであってもよい。

クラウドコンピューティング環境１２２は、プラットフォーム１２０をホストする環境を含み得る。クラウドコンピューティング環境１２２は、プラットフォーム１２０をホストするシステム及び／又は装置の物理的な位置及び構成に関するエンドユーザ（例えば、ユーザ装置１１０）知識を必要としない計算、ソフトウェア、データアクセス、ストレージなどのサービスを提供し得る。図示のように、クラウドコンピューティング環境１２２は、一群の計算リソース１２４（まとめて“計算リソース群１２４”と称し、個々に“計算リソース１２４”と称する）を含み得る。

計算リソース１２４は、１つ以上のパーソナルコンピュータ、ワークステーションコンピュータ、サーバ装置、又は他の種類の計算及び／又は通信装置を含み得る。一部の実装において、計算リソース１２４はプラットフォーム１２０をホストし得る。クラウドリソースは、計算リソース１２４において実行される計算インスタンス、計算リソース１２４内で提供されるストレージ装置、計算リソース１２４によって提供されるデータ転送装置などを含み得る。一部の実装において、計算リソース１２４は、有線接続、無線接続、又は有線接続と無線接続との組み合わせを介して、他の計算リソース１２４と通信し得る。

図１に更に示すように、計算リソース１２４は、例えば、１つ以上のアプリケーション（“ＡＰＰ”）１２４－１、１つ以上の仮想マシン（“ＶＭ”）１２４－２、仮想化ストレージ（“ＶＳ”）１２４－３、１つ以上のハイパーバイザ（“ＨＹＰ”）１２４－４、又はこれらに類するものなどの、一群のクラウドリソースを含み得る。しかしながら、本開示はそれに限定されず、従って、他の実施形態例によれば、計算リソース１２４は他のタイプのクラウドリソースを含んでもよい。

アプリケーション１２４－１は、ユーザ装置１１０及び／又はプラットフォーム１２０に提供され又はそれらによってアクセスされ得る１つ以上のソフトウェアアプリケーションを含み得る。アプリケーション１２４－１は、ユーザ装置１１０上にソフトウェアアプリケーションをインストールして実行する必要をなくし得る。例えば、アプリケーション１２４－１は、プラットフォーム１２０に関連するソフトウェア、及び／又はクラウドコンピューティング環境１２２を介して提供されることが可能な任意の他のソフトウェアを含み得る。一部の実装において、１つのアプリケーション１２４－１が、仮想マシン１２４－２を介して、１つ以上の他のアプリケーション１２４－１に／から情報を送信／受信し得る。

仮想マシン１２４－２は、物理的なマシンのようにプログラムを実行するマシン（例えば、コンピュータ）のソフトウェア実装を含み得る。仮想マシン１２４－２は、仮想マシン１２４－２による何らかの実マシンへの対応の程度及び用途に応じて、システム仮想マシン又はプロセス仮想マシンのいずれであってもよい。システム仮想マシンは、完全なオペレーティングシステム（“ＯＳ”）の実行をサポートする完全なシステムプラットフォームを提供し得る。プロセス仮想マシンは、単一のプログラムを実行することができ、単一のプロセスをサポートし得る。一部の実装において、仮想マシン１２４－２は、ユーザ（例えば、ユーザ装置１１０）の代わりに実行を行うことができ、例えばデータ管理、同期、又は長時間データ転送など、クラウドコンピューティング環境１２２のインフラストラクチャを管理することができる。

仮想化ストレージ１２４－３は、計算リソース１２４のストレージシステム又は装置の中で仮想化技術を使用する１つ以上のストレージシステム及び／又は１つ以上の装置を含み得る。一部の実装において、ストレージシステムのコンテキスト内で、仮想化のタイプは、ブロック仮想化及びファイル仮想化を含み得る。ブロック仮想化は、物理的なストレージ又は異種構造に関係なくストレージシステムがアクセスされ得るようにする、論理ストレージの物理ストレージからの抽象化（又は分離）を指すとし得る。この分離は、管理者がエンドユーザのためにストレージを管理する方法における柔軟性をストレージシステムの管理者に許すことができる。ファイル仮想化は、ファイルレベルでアクセスされるデータと、ファイルが物理的に格納される場所との間の依存関係を排除し得る。これは、ストレージ使用の最適化、サーバ統合、及び／又は中断のないファイル移動の実行を可能にし得る。

ハイパーバイザ１２４－４は、例えば計算リソース１２４などのホストコンピュータ上で複数のオペレーティングシステム（例えば、“ゲストオペレーティングシステム”）が同時に実行することを可能にするハードウェア仮想化技術を提供し得る。ハイパーバイザ１２４－４は、ゲストオペレーティングシステムに対して仮想オペレーティングプラットフォームを提示することができ、ゲストオペレーティングシステムの実行を管理することができる。多様なオペレーティングシステムの複数のインスタンスが、仮想化ハードウェアリソースを共有し得る。

ネットワーク１３０は、１つ以上の有線ネットワーク及び／又は無線ネットワークを含み得る。例えば、ネットワーク１３０は、セルラネットワーク（例えば、第５世代（５Ｇ）ネットワーク、ロングタームエボリューション（ＬＴＥ）ネットワーク、第３世代（３Ｇ）ネットワーク、符号分割多元接続（ＣＤＭＡ）ネットワークなど）、公衆陸上モバイルネットワーク（ＰＬＭＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、電話ネットワーク（例えば、公衆交換電話ネットワーク（ＰＳＴＮ））、プライベートネットワーク、アドホックネットワーク、イントラネット、インターネット、光ファイバベースのネットワーク、若しくはこれらに類するもの、及び／又はこれら若しくは他のタイプのネットワークの組み合わせを含み得る。

図１に示した装置及びネットワークの数及び構成は、一例として提供されている。実際には、図１に示したものに対して、追加の装置及び／又はネットワーク、より少ない装置及び／又はネットワーク、異なる装置及び／又はネットワーク、又は異なる構成の装置及び／又はネットワークが存在し得る。また、図１に示した２つ以上の装置が単一の装置内に実装されてもよいし、あるいは、図１に示した単一の装置が複数の分散された装置として実装されてもよい。加えて、あるいは代わりに、環境１００の装置のセット（例えば、１つ以上の装置）が、環境１００の装置の別のセットによって実行されるとして記載された１つ以上の機能を実行してもよい。

図２は、図１の１つ以上の装置のコンポーネント例のブロック図である。装置２００は、ユーザ装置１１０及び／又はプラットフォーム１２０に対応し得る。図２に示すように、装置２００は、バス２１０、プロセッサ２２０、メモリ２３０、ストレージコンポーネント２４０、入力コンポーネント２５０、出力コンポーネント２６０、及び通信インタフェース２７０を含み得る。

バス２１０は、装置２００のコンポーネント間での通信を可能にするコンポーネントを含む。プロセッサ２２０は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組み合わせで実装され得る。プロセッサ２２０は、中央演算処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、アクセラレーテッドプロセッシングユニット（ＡＰＵ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又は他のタイプの処理コンポーネントとし得る。一部の実装において、プロセッサ２２０は、機能を実行するようにプログラムされることが可能な１つ以上のプロセッサを含み得る。メモリ２３０は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、及び／又は、プロセッサ２２０による使用のための情報及び／又は命令を格納する他のタイプの動的又は静的な記憶デバイス（例えば、フラッシュメモリ、磁気メモリ、及び／又は光メモリ）を含み得る。

ストレージコンポーネント２４０は、装置２００の動作及び使用に関係する情報及び／又はソフトウェアを格納する。例えば、ストレージコンポーネント２４０は、ハードディスク（例えば、磁気ディスク、光ディスク、光磁気ディスク、及び／又はソリッドステートディスク）、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク（登録商標）、カートリッジ、磁気テープ、及び／又は他のタイプの非一時的なコンピュータ読み取り可能媒体を、対応するドライブと共に含み得る。

入力コンポーネント２５０は、装置２００が、例えばユーザ入力を介してなどで、情報を受信することを可能にするコンポーネント（例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、及び／又はマイクロフォン）を含み得る。加えて、あるいは代わりに、入力コンポーネント２５０は、情報をセンシングするセンサ（例えば、グローバルポジショニングシステム（ＧＰＳ）コンポーネント、加速度計、ジャイロスコープ、及び／又はアクチュエータ）を含んでもよい。出力コンポーネント２６０は、装置２００からの出力情報を提供するコンポーネントを含む（例えば、ディスプレイ、スピーカ、及び／又は１つ以上の発光ダイオード（ＬＥＤ））。

通信インタフェース２７０は、装置２００が、例えば有線接続、無線接続、又は有線接続と無線接続との組み合わせを介してなどで、他の装置と通信することを可能にするトランシーバのようなコンポーネント（例えば、トランシーバ及び／又は別個の受信器と送信器）を含み得る。通信インタフェース２７０は、装置２００が他の装置から情報を受信すること及び／又は他の装置に情報を提供することを可能にし得る。例えば、通信インタフェース２７０は、イーサネット（登録商標）インタフェース、光インタフェース、同軸インタフェース、赤外線インタフェース、無線周波数（ＲＦ）インタフェース、ユニバーサルシリアルバス（ＵＳＢ）インタフェース、Ｗｉ－Ｆｉインタフェース、セルラネットワークインタフェース、又はこれらに類するものを含み得る。

装置２００は、ここに記載される１つ以上のプロセスを実行し得る。装置２００は、それらのプロセスを、例えばメモリ２３０及び／又はストレージコンポーネント２４０などの非一時的なコンピュータ読み取り可能媒体によって格納されたソフトウェア命令をプロセッサ２２０が実行することに応答して実行し得る。コンピュータ読み取り可能媒体は、ここでは、非一時的なメモリ装置として定義される。メモリ装置は、単一の物理的記憶装置内の記憶空間を含み、又は複数の物理的記憶装置にわたって広がった記憶空間を含む。

ソフトウェア命令が、メモリ２３０及び／又はストレージコンポーネント２４０に、他のコンピュータ読み取り可能媒体から又は通信インタフェース２７０を介して他の装置から読み込まれ得る。メモリ２３０及び／又はストレージコンポーネント２４０に格納されたソフトウェア命令は、実行されるときに、プロセッサ２２０に、ここに記載される１つ以上のプロセスを実行させ得る。加えて、あるいは代わりに、ここに記載される１つ以上のプロセスを実行するために、ソフトウェア命令の代わりに又はそれと組み合わせてハードワイヤード回路が使用されてもよい。従って、ここに記載される実装は、ハードウェア回路とソフトウェアとの如何なる特定の組み合わせにも限定されるものではない。

図２に示したコンポーネントの数及び構成は、一例として提供されている。実際には、装置２００は、図２に示したものに対して、追加のコンポーネント、より少ないコンポーネント、異なるコンポーネント、又は異なる構成のコンポーネントを含み得る。加えて、あるいは代わりに、装置２００のコンポーネントのセット（例えば、１つ以上のコンポーネント）が、装置２００のコンポーネントの別のセットによって実行されるとして記載された１つ以上の機能を実行してもよい。

本開示の一実施形態において、ネットワークベースメディア処理（ＮＢＭＰ）システムが提供される。図３は、ここでの実施形態に従ったＮＢＭＰアーキテクチャ３００を示しており、クラウド処理に関して実装され得る。ＮＢＭＰシステム３００は、ＮＢＭＰソース３１０、ＮＢＭＰワークフローマネジャ３２０、機能リポジトリ３３０、１つ以上のメディア処理エンティティ（media processing entity；ＭＰＥ）３４０、メディアソース３５０、及びメディアシンク３６０を有している。ＮＢＭＰソース３１０、ＮＢＭＰワークフローマネジャ３２０、機能リポジトリ３３０、ＭＰＥ３４０、メディアソース３５０、及びメディアシンク３６０は、少なくとも１つ以上のプロセッサと、それぞれＮＢＭＰソース３１０、ＮＢＭＰワークフローマネジャ３２０、機能リポジトリ３３０、ＭＰＥ３４０、メディアソース３５０、及びメディアシンク３６０の機能を上記少なくとも１つ以上のプロセッサに実行させるコードを格納したメモリと、を含むか、それらによって実装されるかすることができる。

ＮＢＭＰソース３１０は、ＮＢＭＰワークフローＡＰＩ３１１を介してＮＢＭＰワークフローマネジャ３２０とワークフロー記述を通信し得る。ＮＢＭＰソース３１０はまた、機能ディスカバリＡＰＩ３１３を介して機能リポジトリ３３０と機能記述を通信し得る。例えば、ＮＢＭＰソース３１０は、（１つ以上の）ワークフロー記述ドキュメント（workflow description document；ＷＤＤ）をＮＢＭＰワークフローマネジャ３２０に送ることができ、また、機能リポジトリ３３０に格納された機能の機能記述を読み取ることができ、これらの機能は、例えば、メディア復号、特徴点抽出、カメラパラメータ抽出、投影方法、シーム情報抽出、ブレンド、後処理、及び符号化の機能などの、機能リポジトリ３３０のメモリに格納されたメディア処理機能である。ＮＢＭＰワークフローマネジャ３２０は、機能ディスカバリＡＰＩ３１３と同じであっても異なってもよい機能ディスカバリＡＰＩ３１２を介して機能リポジトリ３３０と通信することができ、また、ＡＰＩ３１４（例えば、ＭＰＥ ＡＰＩ）を介してＭＰＥ３４０のうち１つ以上と通信することができる。

メディア処理エンティティ（ＭＰＥ）３４０は、１つ以上のタスク３４１を含み得る。ＮＢＭＰワークフローマネジャ３２０はまた、ＡＰＩ３１５（例えば、ＮＢＭＰタスクＡＰＩ）を介してタスク３４１と通信し得る。ＮＢＭＰワークフローマネジャ３２０は、ＡＰＩ３１５を用いて、１つ以上のＭＰＥ３４０によって実行可能なワークフローの１つ以上のタスク３４１を設定、構成、管理、及び監視し得る。ワークフローのタスク３４１を構成、管理、及び監視するため、ＮＢＭＰワークフローマネジャ３２０は、ＭＰＥ３４０及び／又はタスク３４１のうちの１つ以上に、例えば要求などのメッセージを送信することができ、各メッセージが幾つかの記述子を持つことができ、該記述子の各々が幾つかのパラメータを持つ。また、ＮＢＭＰソース３１０、ＮＢＭＰワークフローマネジャ３２０、機能リポジトリ３３０、及びＭＰＥ３４０の間の通信は制御フローと見なされ得る。

タスク３４１は各々、メディア処理機能３４３と、それらメディア処理機能３４３に関する構成（コンフィギュレーション）３４２とを含み得る。それぞれのメディア処理エンティティ３４０内のタスク３４１の各々はまた、互いに通信して、タスク間のデータフローを容易にし得る。一実施形態において、ＮＢＭＰワークフローマネジャ３２０は、ＷＤＤ内のタスクの記述に基づいてタスクを選択して、機能ディスカバリＡＰＩ３１２を介して機能リポジトリ３３０を検索し、現在ワークフローに関するタスク３４１として実行すべき適切な機能を見出し得る。上記１つ以上のＭＰＥ３４０は、メディアソース３５０からメディアコンテンツを受信し、ＮＢＭＰワークフローマネジャ３２０によって作成されたタスク３４１を含むワークフローに従ってメディアコンテンツを処理し、処理したメディアコンテンツをメディアシンク３６０に出力するように構成され得る。一実施形態において、上記１つ以上のＭＰＥ３４０は、それぞれメディアソース３５０及びメディアシンク３６０との間の複数のメディアフロー３１６及び３１７に対して並列に設けられ得る。

メディアソース３５０は、メディアを格納するメモリを含むことができ、また、ＮＢＭＰソース３１０と統合されてもよいし、それとは別個であってもよい。一実施形態において、ＮＢＭＰワークフローマネジャ３２０は、ワークフローが準備されたときにＮＢＭＰソース３１０に通知することができ、メディアソース３５０は、ワークフローが準備されたという通知に基づいて、メディアコンテンツを上記１つ以上のＭＰＥ３４０に送信することができ、上記１つ以上のＭＰＥ３４０は、メディアコンテンツをメディアシンク３６０に送信することができる。メディアソース３５０、ＭＰＥ３４０、及びメディアシンク３６０の間の通信はデータフローと見なされ得る。

図４は、本開示の一実施形態に従った、並列処理のためにタスクＴのメディアストリーム４４０の複数のセグメントをＮＢＭＰスプリット及びマージすることの一例を示している。図４に示すように、ＮＢＭＰスプリッタ及びマージャプロセス４００は、スプリッタ４２０及びマージャ４３０を含む。図４では、入力メディアストリームのタスクＴがタスクＴのｎ個のインスタンス（すなわち、Ｔ_０、…、Ｔ_Ｎ－１）に変換され、これらｎ個のインスタンスが並列に走る。入力メディアストリーム４１０は連続しているとし得る。スプリッタ４２０はメディアストリームをＮ個のメディアサブストリームに変換する。各サブストリームがＴのインスタンスによって処理される。そして、マージャ４３０がこれらサブストリームを共にインターリーブして出力４５０を生成する。出力４５０は、タスクＴの出力ストリーム（すなわち、メディアストリーム４４０）に相当するものである。

図４に示すような１：Ｎスプリッタ４２０機能及びＮ：１マージャ４３０機能は、セグメント境界で動作する。各セグメントが、それに関連付けられた開始、期間、及び長さメタデータを持つ。これらセグメントは独立であるため、結果として、これらサブストリームは、タスクＴによって処理されることに関して互いに独立である。実施形態において、タスクＴ_０、…、Ｔ_Ｎ－１はタスクＴのインスタンスであり、セグメントを同時に又は別々に処理し得る。これらセグメント及びこれらサブストリームは独立であるため、タスクＴの各インスタンス（すなわち、Ｔ_０、…、Ｔ_Ｎ－１）はそれ自身の速度で走り得る。

本開示の実施形態によれば、セグメント境界をシグナリングする方法が記述される。これらの方法は、メタデータ法とスタートコード法とを含み得る。実施形態によれば、クラウドプラットフォーム上のメディア処理におけるステップベースの処理のいっそう良好なサポートのために、ＮＢＭＰステップ記述子においてセグメント境界のシグナリングが必要とされる。実施形態によれば、ＮＢＭＰステップ記述子は、機能ステップベース処理サポートについての情報を提供し得る。ここで、機能は、定められたセグメントに基づいて独立した及び／又は並列の処理が行われ得るステップモードで機能が処理されることができるかを示す例えば記述子などの情報を有し得る。記述子は、数あるパラメータの中でもとりわけ、セグメントの最大継続時間／サイズ、及び処理ユニットを定め得る。

［メタデータ法］
本開示の一実施形態によれば、メタデータを用いてセグメント境界をシグナリングする方法では、セグメント開始、セグメント継続時間、及びセグメントサイズを定義するためにメタデータが提供され得る。このような定義は、タスクＴの複数のセグメントのいずれかに対して提供され得る。例えば、メタデータ定義は次のようにし得る：
・ Ｓ： Ｔスケール単位でのセグメントの開始
・ Ｄ： Ｔスケール単位でのセグメントの継続時間
・ Ｌ： バイト単位でのセグメントの長さ
・ Ｔ： タイムスケール（秒単位のティック数）。

メタデータに基づくシグナリング方法によれば、任意の機能のメディアストリーム入力又は出力が、セグメント境界メタデータを運ぶ対応するメタデータ入力又は出力を持つものとする。従って、クラウドプラットフォーム上のメディア処理においてステップベースの処理が実行されるときに、並列処理のためにタスクＴのメディアストリーム４４０のセグメントを分割及びマージすることが適切に行われる。

［スタートコード法］
本開示の一実施形態によれば、メタデータ法の代わりに、セグメント境界をシグナリングするための、スタートコードに基づく方法が提供され得る。スタートコードを用いるシグナリング方法によれば、各セグメントの始まりにスタートコードを与え得る。この場合、メディアストリーム入力は、各セグメントに与えられたスタートコードを示すことができる。また、メディアストリーム出力も、各セグメントに与えられたスタートコードを示し得る。

スタートコードに基づくシグナリング方法によれば、任意の機能のメディアストリーム入力又は出力が、セグメント境界を特定するスタートコードを運ぶ対応するメタデータ入力又は出力を持つものとする。従って、クラウドプラットフォーム上のメディア処理においてステップベースの処理が実行されるときに、スタートコードを用いて、並列処理のためにタスクＴのメディアストリーム４４０のセグメントを分割及びマージすることが適切に行われ得る。

一実施形態によれば、入力セグメントの各々に同じ開始パターン（すなわち、スタートコード）を設けることにより、セグメントを分割してマージするプロセスがセグメントの境界を容易に特定し得る。従って、セグメント境界をシグナリングするのに、（メタデータに基づく方法と同様の）各セグメントの開始時間と継続時間の情報は必要とされない。

一実施形態によれば、セグメントの始まりを示すスタートコードが提供されるが、本開示はスタートコードに限定されるものではない。従って、他の実施形態によれば、セグメント境界を示すために、異なる位置の入力及び出力ストリームにパターン又はコードが提供されてもよい。例えば、セグメント間の境界を定めるためにセグメントの終わりに例えばエンドコードなどのコードが提供されてもよい。

一実施形態例によれば、ＮＢＭＰ標準仕様のステップ記述子は次のように拡張され得る。

例えば、セグメントメタデータ記述子とセグメントスタートコード記述子がＮＢＭＰ標準仕様のステップ記述子に追加され得る。

さらに、一実施形態例によれば、ＮＢＭＰ標準仕様のステップ記述子パラメータは次のように拡張され得る。

例えば、セグメントメタデータ記述子とセグメントスタートコード記述子のパラメータが、ＮＢＭＰ標準仕様のステップ記述子パラメータに追加され得る。

一実施形態例によれば、セグメントメタデータ記述子はブーリアン型とすることができ、次の定義を持ち得る：‘ＴＲＵＥ’の場合、この機能は、セグメント境界を検出するための各メディア入力／出力のセグメントメタデータを受信／提供することをサポートする。デフォルト値は‘ＦＡＬＳＥ’とし得る。

一実施形態例によれば、セグメントスタートコード記述子はブーリアン型とすることができ、次の定義を持ち得る：‘ＴＲＵＥ’の場合、この機能は、セグメント境界を検出するための各メディア入力／出力のスタートコードを受信／提供することをサポートする。

一実施形態例によれば、セグメント境界を特定する方法は、セグメントメタデータ又はセグメントスタートコード記述のうちのいずれかが真であるかを決定し、セグメントメタデータがＴＲＵＥであるとの決定に基づいて、セグメント境界がメタデータ法を用いて特定されることを特定し、また、セグメントスタートコードがＴＲＵＥであるとの決定に基づいて、セグメント境界がスタートコード法を用いて特定されることを特定することを含み得る。

図５は、１つ以上の実施形態に従った、ネットワークベースメディア処理（ＮＢＭＰ）ワークフローにおいてステップベースの処理を実行する方法５００の例のフローチャートである。

一部の実装において、図５の１つ以上のプロセスブロックはプラットフォーム１２０によって実行され得る。一部の実装において、図５の１つ以上のプロセスブロックは、例えばユーザ装置１１０など、プラットフォーム１２０とは別の又はそれを含んだ装置又は装置群によって実行されてもよい。

図５に示すように、動作５１０にて、方法５００は、ワークフローを取得することを含む。ここで、ワークフローは入力メディアストリームを含むことができ、該入力メディアストリームは複数のセグメントを含むことができる。

動作５２０にて、方法５００は、メタデータに基づくセグメント境界シグナリング又はコードに基づくセグメント境界シグナリングのうちの一方に基づいて、入力メディアストリーム内の上記複数のセグメント間の境界を特定することを含む。一実施形態によれば、コードに基づくセグメント境界シグナリングは、上記複数のセグメント間の境界を示すために各セグメントの始まりに与えられるスタートコードを含み得る。

動作５３０にて、方法５００は、上記複数のセグメント間の特定した境界に基づいて上記複数のセグメントを処理することを含む。

一実施形態によれば、方法５００は更に、上記複数のセグメントを、変更ワークフローの独立処理のための１つ以上のタスクに分割することによって、変更ワークフローを生成することを含み得る。変更ワークフローのこれら１つ以上のタスクが並列に処理される。

一実施形態によれば、方法５００は更に、コードに基づくセグメント境界シグナリングにおいて、入力メディアストリーム内の上記複数のセグメントに対応するコードを受信することと、入力メディアストリームにおいてコードが現れるたびに、コードが隣接セグメント間の境界を示すと決定することとを含み得る。

一実施形態によれば、方法５００は更に、メタデータに基づくセグメント境界シグナリング又はコードに基づくセグメント境界シグナリングのうちの一方を入力メディアストリームがサポートしているかを決定することを含み得る。

一実施形態によれば、方法５００は更に、メタデータに基づくセグメント境界シグナリングに対応する第１フラグを提供することと、コードに基づくセグメント境界シグナリングに対応する第２フラグを提供することとを含み得る。

一実施形態によれば、方法５００は更に、変更ワークフローの１つ以上のタスクを処理したことからの１つ以上の出力をマージして出力メディアストリームを生成することを含み得る。

一実施形態によれば、方法５００は更に、メタデータに基づくセグメント境界シグナリング又はコードに基づくセグメント境界シグナリングのうちの一方を出力メディアストリームに適用することを含み得る。

図５は当該方法のブロック例を示しているが、一部の実装において、当該方法は、図５に示したものに対して、追加のブロック、少ないブロック、異なるブロック、又は異なる構成のブロックを含み得る。加えて、あるいは代わりに、当該方法のブロックのうちの２つ以上が並行して実行されてもよい。

図６は、１つ以上の実施形態に従った、ネットワークベースメディア処理（ＮＢＭＰ）ワークフローにおいてステップベースの処理を実行するためのコンピュータコードの一例のブロック図である。

本開示の実施形態によれば、コンピュータコードを格納するメモリを備えた少なくとも１つのプロセッサが提供され得る。コンピュータコードは、該少なくとも１つのプロセッサによって実行されるときに、本開示の任意の数の態様を実行するように構成され得る。

例えば、図６を参照するに、コンピュータコード６００がＮＢＭＰシステム３００内に実装され得る。

図６に示すように、コンピュータコード６００は、取得コード６１０、特定コード６２０、及び処理コード６３０を含み得る。

取得コード６１０は、上記少なくとも１つのプロセッサにワークフローを取得させるように構成され得る。ワークフローは入力メディアストリームを含むことができ、該入力メディアストリームは複数のセグメントを含むことができる。

特定コード６２０は、上記少なくとも１つのプロセッサに、メタデータに基づくセグメント境界シグナリング又はコードに基づくセグメント境界シグナリングのうちの一方に基づいて、入力メディアストリーム内の上記複数のセグメント間の境界を特定させるように構成され得る。

処理コード６３０は、上記少なくとも１つのプロセッサに、上記複数のセグメント間の特定した境界に基づいて上記複数のセグメントを処理させるように構成され得る。

図６は、実施形態に従った機器又は装置のコンピュータコード６００のブロックの例を示しているが、一部の実装において、当該機器は、図６に示したものに対して、追加のブロック、少ないブロック、異なるブロック、又は異なる構成のブロックを含み得る。加えて、あるいは代わりに、当該機器のブロックのうちの２つ以上が並行して実行されてもよい。

上述したネットワークベースメディア処理（ＮＢＭＰ）ワークフローにおけるステップベースの処理のセグメント境界をシグナリングするための技術は、別々に使用されてもよいし、何らかの順序で組み合わされてもよい。また、それらの方法（又は実施形態）の各々は、処理回路（例えば、１つ以上のプロセッサ又は１つ以上の集積回路）によって実装され得る。一例において、上記１つ以上のプロセッサは、非一時的なコンピュータ読み取り可能媒体に格納されたプログラムを実行し得る。

本開示は、例示及び説明を提供するものであり、網羅的であること、又は開示されたままの形態に実装を限定することを意図するものではない。変更及び変形が、本開示に照らして可能であり、又は実装の実施から習得され得る。

ここで使用されるとき、コンポーネントなる用語は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組み合わせとして広く解釈されることが意図される。

明らかになることには、ここに記載されたシステム及び／又は方法は、様々な形態のハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組み合わせで実装され得る。これらのシステム及び／又は方法を実装するのに使用される実際の特殊化された制御ハードウェア又はソフトウェアコードは、実装の限定となるものではない。従って、ここでは、システム及び／又は方法の動作及び挙動を、特定のソフトウェアコードを参照することなく記述しており、理解されることには、ここでの記載に基づくシステム及び／又は方法を実装するように、ソフトウェア及びハードウェアが設計され得る。

複数の機構の組み合わせが請求項に記載され且つ／或いは明細書に開示されているとしても、それらの組み合わせは、可能な実装の開示を限定することを意図するものではない。実際、それらの機構のうち多くは、具体的には請求項に記載され且つ／或いは明細書に開示されたものではないように組み合わされることができる。以下に挙げられる各従属請求項は１つのクレームのみに直接的に従属することがあるが、可能な実装の開示は、各従属請求項を、請求項セット内のあらゆる他のクレームとの組み合わせで含む。

ここで使用される如何なる要素、行為、又は命令も、そのように明示的に記載されない限り、重要又は必須であるとして解釈されないとし得る。また、ここで使用されるとき、冠詞“ａ”及び“ａｎ”は、１つ以上のアイテムを含むことを意図しており、“１つ以上の”と交換可能に使用され得る。さらに、ここで使用されるとき、用語“セット”は、１つ以上のアイテム（例えば、関連アイテム、非関連アイテム、関連アイテムと非関連アイテムとの組み合わせなど）を含むことを意図しており、“１つ以上”と交換可能に使用され得る。１つのアイテムのみが意図される場合には、用語“１つの”又は類似の言葉が使用される。また、ここで使用されるとき、用語“持つ”、“有する”、“持っている”などは、オープンエンドの用語であることを意図している。さらに、“に基づく”という言い回しは、明示的に別の断りがない限り、“少なくとも部分的に基づく”を意味することを意図している。

Claims (11)

1. プロセッサが実行する、クラウドプラットフォーム上のメディア処理においてステップベースの処理を実行する方法であって、
   入力メディアストリームを含むワークフローを取得するステップであり、前記入力メディアストリームは複数のセグメントを有する、ステップと、
   メタデータに基づくセグメント境界シグナリング又はコードに基づくセグメント境界シグナリングのうちの一方に基づいて、前記入力メディアストリーム内の前記複数のセグメント間の境界を特定するステップと、
   前記複数のセグメント間の前記特定した境界に基づいて前記複数のセグメントを処理するステップと、
   を有する方法。
2. 前記複数のセグメントを、変更ワークフローの独立処理のための１つ以上のタスクに分割することによって、変更ワークフローを生成するステップ、
   を更に有する請求項１に記載の方法。
3. 前記コードに基づくセグメント境界シグナリングは、前記複数のセグメント間の前記境界を示すために各セグメントの始まりに与えられるスタートコードを含む、請求項１に記載の方法。
4. 前記コードに基づくセグメント境界シグナリングにおいて、前記入力メディアストリーム内の前記複数のセグメントに対応するコードを受信するステップと、
   前記入力メディアストリームにおいて前記コードが現れるたびに、前記コードが隣接セグメント間の境界を示すと決定するステップと、
   を更に有する請求項１に記載の方法。
5. 前記メタデータに基づくセグメント境界シグナリング又は前記コードに基づくセグメント境界シグナリングのうちの一方を前記入力メディアストリームがサポートしているかを決定するステップ、
   を更に有する請求項１に記載の方法。
6. 前記メタデータに基づくセグメント境界シグナリングに対応する第１フラグを提供するステップと、
   前記コードに基づくセグメント境界シグナリングに対応する第２フラグを提供するステップと、
   を更に有する請求項１に記載の方法。
7. 前記変更ワークフローの前記１つ以上のタスクが並列に処理される、請求項２に記載の方法。
8. 前記変更ワークフローの１つ以上のタスクを処理したことからの１つ以上の出力をマージして出力メディアストリームを生成するステップ、
   を更に有する請求項２に記載の方法。
9. 前記メタデータに基づくセグメント境界シグナリング又は前記コードに基づくセグメント境界シグナリングのうちの一方を前記出力メディアストリームに適用するステップ、
   を更に有する請求項８に記載の方法。
10. クラウドプラットフォーム上のメディア処理においてステップベースの処理を実行する装置であって、当該装置は、
    １つ以上のプロセッサと、
    コンピュータプログラムを格納した１つ以上のメモリと、
    を有し、
    前記コンピュータプログラムは、前記１つ以上のプロセッサに、請求項１乃至９のいずれか一項に記載の方法を実行させる、
    装置。
11. コンピュータに請求項１乃至９のいずれか一項に記載の方法を実行させるコンピュータプログラム。

Images