JP7490764B2 - コンテンツおよびネットワーク解析を使用してビデオフレームを適応的にエンコードする - Google Patents

Description

エンコーダは、伝送のためにビデオフレームを圧縮することがある。例えば、エンコーダは、元の表現よりも少ないビットを使用して、ビデオフレームを圧縮された形式にエンコードすることができる。圧縮は、ロッシー（非可逆（lossy））またはロスレス（可逆（lossless））のいずれかであることができる。ロスレス圧縮は、統計的冗長性を識別し、除去することによってビットを削減する。ロスレス圧縮では情報は失われない。ロッシー圧縮は、不必要または重要でない情報を除去することによってビットを削減する。

コンテンツおよびネットワーク解析を使用してフレームを適応的にエンコードするための例示的なシステムを示すブロック図である。

ネットワーク帯域幅予測のための例示的なディープラーニングネットワークを示す図である。

コンテンツおよびネットワーク解析を使用してフレームを適応的にエンコードするための方法を示すフローチャートである。

チェックアップ（checkup）テーブルを作成するための方法を示すフローチャートである。

コンテンツおよびネットワーク解析を使用してフレームを適応的にエンコードすることができる例示的なコンピューティングデバイスを示すブロック図である。

図６は、コンテンツおよびネットワーク解析を使用してフレームを適応的にエンコードするためのコードを格納するコンピュータ可読媒体を示すブロック図である。

同様のコンポーネントおよび特徴を参照するために、開示および図面の全体にわたって同じ番号が使用される。１００シリーズの数字は、図１で最初に見出される特徴を指し、２００シリーズの数字は、図２の特徴を指す。

リアルタイムビデオストリーミングは、最も重要なインターネットビデオアプリケーションの一つである。いくつかの例では、リアルタイムビデオストリーミングは、クラウドビデオゲーム、家庭内ストリーミング、リモートレンダリング、およびリアルタイムビデオストリーミングを含み得る。これらのアプリケーションでは、ビデオをエンコードおよび送信の関連する待ち時間が、特にユーザインタラクション（user interaction）を必要とするアプリケーションについて、ユーザエクスペリエンス（user experience）を決定することがある。多くのソリューションにおいて、ビデオエンコーダは、推定されたネットワーク帯域幅を反映する平均ビットレートでビデオをエンコードする役割を果たす。トランスポートは、エンコードされたビデオをパケットで送信し、ネットワーク通信および帯域幅変動を実行し、推定ネットワーク帯域幅をビデオエンコーダに提供する役割を果たす。ビデオエンコーダは、トランスポートフィードバックに従って調節され得るが、一般に、ビデオエンコーダとトランスポートとは、緩く結合される（loosely coupled）。特に、ビデオエンコーダレート制御は、漸進的なレート変化（gradually rate change）に依存するモデルを使用し得る。漸進的な変化の結果、急速なネットワークスループットの低下がある場合、大きい遅延およびフレーム低下が生じる可能性がある。例えば、遅延は５秒以上であり得る。他のタイプのアプリケーションの中でも、リアルタイムゲームストリーミングでは、この種の遅延は許容できない可能性がある。さらに、ネットワークスループットが改善されると、既存のソリューションは、新たに利用可能な帯域幅でより良い品質を達成するのに十分な速さで応答しない可能性がある。従って、潜在的な帯域幅は、品質を改善するために使用されるのではなく、無駄になる可能性がある。

高度ビデオコーディング圧縮規格（H.264）のためのスケーラブルビデオコーディング（SVC）および高効率ビデオコーディング（HEVC）圧縮規格H.265のためのスケーラブル拡張（Scalable Extensions）を備えたHEVCなどのスケーラブルビデオコーディングは、可変チャネル条件を処理するために使用され得る。スケーラブルビデオコーディングは、もし十分な数のレイヤーが使用される場合、ネットワーク変動に迅速に応答することができるが、スケーラブルビデオコーディングは、安定したネットワーク条件において、比較的高いエンコーディング複雑性と低い圧縮効率を有する。特に、実際のネットワーク変動を処理するために、スケーラブルコーディングのレイヤーの数は、高くなければならない。その結果,エンコーディング複雑性が高い。チャネルが安定である場合、圧縮効率は、多数のレイヤーの使用のために比較的低い場合がある。

本開示は、概して、ビデオを適応的にエンコードするための技術に関する。具体的には、本明細書に記載される技術は、コンテンツおよびネットワーク解析を使用してビデオを適応的にエンコードするための装置、方法およびシステムを含む。例示的な装置は、ネットワークから受信したチャネルスループットフィードバックに基づいて瞬間ビットレート（instant bitrate）を予測するためのネットワークアナライザを含む。この装置はまた、受信したフレームに基づいてラダー（ladder）情報を生成するためのコンテンツアナライザを含む。装置はさらに、予測された瞬間ビットレートおよびラダー出力に基づいてフレームレート、ビデオ解像度、およびターゲットフレームサイズを決定する適応決定実行器（adaptive decision executer）を含む。装置はさらに、フレームレート、ビデオ解像度、およびターゲットフレームサイズに基づいてフレームをエンコードするエンコーダを含む。

従って、本明細書に記載された技術は、より良好な視覚体験を伴う、ビデオの非常に低い待ち時間のストリーミングを可能にする。加えて、本明細書に記載する技術は、急速なネットワークスループットの低下に関連する遅延およびフレームドロップを防止し得る。さらに、この技術は現在のビデオコーデックにシームレスに統合することができる。実験トレーニング結果は、本明細書に記載された技術が、実際のネットワーク帯域幅変化と成功裏に予測されたネットワークチャネル変化との間に強い相関をもたらすことを示す。

図１は、コンテンツおよびネットワーク解析を使用してフレームを適応的にエンコードするための例示的なシステムを示すブロック図である。例示的なシステム１００は、図３および４の方法３００および４００を使用して、図５のコンピューティングデバイス５００内に実装することができる。

例示的なシステム１００は、ネットワークアナライザ１０２を含む。システム１００はまた、ネットワークアナライザ１０２に通信可能に（communicatively）結合されたコンテンツアナライザ１０４を含む。システムはさらに、ネットワークアナライザ１０２およびコンテンツアナライザ１０４に通信可能に結合された適応決定実行器１０６を含む。システム１００は、コンテンツアナライザ１０４および適応決定実行器１０６に通信可能に結合されたフレームエンコーダ１０８を含む。ネットワークアナライザ１０２は、ネットワーク帯域幅推定器１１０を含む。ネットワーク帯域幅推定器１１０は、ネットワーク１１２に通信可能に結合される。ネットワークアナライザ１０２はまた、ネットワーク帯域幅推定器１１０に通信可能に結合された履歴ネットワークデータ生成器（historic network data generator）１１４を含む。ネットワークアナライザ１０２はまた、ネットワーク帯域幅推定器１１０および履歴ネットワークデータ生成器１１４に通信可能に結合された瞬間帯域幅予測器１１６をさらに含む。例えば、瞬間帯域幅予測器１１６は、機械学習（ＭＬ）を使用してトレーニングされたニューラルネットワークであり得る。

コンテンツアナライザ１０４は、タイトル毎のエンコーディングトレーナ１１８を含む。例えば、タイトル毎のエンコーディングトレーナ１１８はニューラルネットワークであり得る。また、コンテンツアナライザ１０４は、タイトル毎／シーンラダー決定実行器１２０を含む。また、コンテンツアナライザ１０４は、フレームアナライザ１２２をさらに含む。例えば、フレームアナライザ１２２は、また、機械学習（ＭＬ）を使用してトレーニングされたニューラルネットワークであり得る。フレームアナライザ１２２は、関心領域マップ１２４を生成することが示されている。コンテンツアナライザ１０４は、フレームアナライザ１２２に通信可能に結合された、画像の適応グループ（ＧＯＰ）決定実行器１２６をさらに含む。適応ＧＯＰ決定実行器１２６はオフライントレーニングモデル１２８を受信することが示されている。

適応決定実行器１０６は、フレームレートコントローラ１３０を含む。適応決定実行器１０６はまた、フレームレートコントローラ１３０に通信可能に結合された解像度コントローラ３１２を含む。適応決定実行器１０６はまた、解像度コントローラ３１２に通信可能に結合されたターゲットフレームサイズ計算器１３４をさらに含む。

フレームエンコーダ１０８は、トランスポート制御されたビットレート制御（ＴＣＢＲＣ）レートコントローラ１３６を含む。フレームエンコーダ１０８はまた、ＴＣＢＲＣレートコントローラ１３６に通信可能に結合されたエンコーダ１３８を含む。

図１の例では、ネットワークアナライザ１０２は、ネットワーク１１２からのチャネルフィードバックに基づいて将来のチャネル帯域幅変化を予測することができる。例えば、ネットワークアナライザ１０２は、機械学習アルゴリズムであり得る、瞬間帯域幅予測器１１６を使用して将来のチャネル帯域幅変化を予測することができる。加えて、コンテンツアナライザ１０４は、各ビットレートに対して最適なビデオ解像度およびフレームレートを見出すために、ビデオコンテンツを解析することができる。例えば、コンテンツアナライザ１０４は、これもまた機械学習アルゴリズムであり得る、フレームアナライザ１２２によってビデオフレームを解析することができる。エンコーディングプロセスの間、適応決定実行器１０６は、ターゲットフレームサイズ、ビデオ解像度、およびフレームレートをオンザフライで（その場で（on the fly））決定することができる。次いで、エンコーダ１３８は、ターゲットフレームサイズ、ビデオ解像度およびフレームレートに基づいてフレームをエンコードすることができる。従って、エンコーディングプロセスは、トランスポートに強固に結合され、ネットワークアナライザ１０２からのリアルタイムチャネル条件およびコンテンツアナライザ１０４からのコンテンツ解析に従って調整される。

例えば、ネットワークアナライザ１０２は、ネットワーク１１２からチャネルスループットフィードバックを受信することができる。ネットワーク帯域幅（ＢＷ）推定器１１０は、チャネルスループットフィードバックに基づいてネットワーク１１２上で利用可能な帯域幅を推定することができる。履歴ネットワークデータ生成器１１４は、経時的に推定された帯域幅に基づいて履歴ネットワークデータを生成することができる。例えば、履歴ネットワークデータ生成器１１４は、前の２０フレームのような、所定の数の過去のフレームに基づいて履歴ネットワークデータを生成することができる。いくつかの例では、瞬間帯域幅予測器１１６は、履歴ネットワークデータを組み合わせることによって、瞬間ビットレートを予測することができる。種々の例では、次のチャネルフィードバックがネットワーク１１２から受信されるとき、瞬間帯域幅予測器１１６は、以前の予測を修正し、新しい予測を生成することができる。瞬間帯域幅予測器１１６は、予測された瞬間ビットレートを適応決定実行器１０６に提供することができる。

種々の例では、コンテンツアナライザ１０４は、タイトル毎のエンコーディングトレーナ１１８およびフレームアナライザ１２２を含む。タイトル毎のエンコーディングトレーナ１１８は、受信したトレーニングビデオのセットに対してオフライントレーニングを実行することができる。例えば、タイトル毎のエンコーディングトレーナ１１８は、各ビットレートラダーの各ビデオセグメントに最適なビデオ解像度およびフレームレートを見出すために、最も人気のあるビデオゲームのセットに対してオフライントレーニングを実行することができる。フレームアナライザ１２２は、待ち時間のないリアルタイムで各フレームのオンザフライ解析を提供することができる。一例として、ゲームコンテンツに対して、フレームアナライザ１２２は、レンダリングアプリケーションプログラムインターフェース（ＡＰＩ）およびレンダリングコールから生成されるハードウェア（ＨＷ）カウンタから提供される情報を利用することができる。種々の例では、１２２からの出力は、１２４の関心領域マップを生成するために使用され、ＧＯＰ構造は、適応ＧＯＰ決定実行器１２６によって決定される。幾つかの例では、コンテンツアナライザ１０４は、各ビットレートラダーの各ビデオセグメントに最適なビデオ解像度およびフレームレートを見出すために、解析結果をオフライントレーニングモデル１２８と組み合わせることができる。例えば、クラウドゲーム分野では、いくつかの人気ゲームタイトルが最も頻繁にプレイされることがある。従って、これらの人気の高いゲームについてより良い品質を提供することは、追加的なリソースを投入する価値があるかもしれない。様々な例において、タイトル毎のエンコーディングトレーニングは、この目的のために設計され得る。例えば、トレーニングプロセスの間、各ゲームタイトルは、複数のビットレート、複数の解像度および複数の異なるフレームレートでエンコードされ得る。次に、機械学習アルゴリズムを使用して、同じビットレートのエンコードされたビデオの品質を解析することができる。例えば、エンコードされたビデオは、同じビットレートを有し得るが、解像度とフレームレートの異なる組み合わせを有し得る。特定のビットレートを有する各ビデオセグメントに対して、解像度とフレームレートの最良の組み合わせが選択され得る。トレーニングプロセスの後、コンテンツアナライザ１０４は、予め選択された各ビットレートを有する各セグメントに対するラダー情報を含むチェックアップテーブルを構築し得る。例えば、ラダー情報は、予め選択された各ビットレートを有する各セグメントに対するビットレート適応解像度およびフレームレート選択を含み得る。２メガビット／秒（Ｍｂｐｓ）から８Ｍｂｐｓのビットレートにおける様々な例示的なゲームに対するビットレート情報を持つチェックアップテーブルの例を表１に示す。

表1の例では、各ビットレートに対する最良の品質の組み合わせが、ゲームタイトルの各々に対する計算されたピーク信号対雑音比（ＰＳＮＲ）を使用して生成された。太字で示した組み合わせは、１９２０ｘ１０８０ではなく、１２８０ｘ７２０の減少した解像度でレンダリングしていることを示している。表に示されるように、例えば、Game_7およびGame_9は、利用可能な帯域幅が７Ｍｂｐｓまたは８Ｍｂｐｓであっても、最良のパフォーマンスのためにレンダリング中に１２８０ｘ７２０解像度を使用し得る。例えば、フレームは１２８０ｘ７２０で送信され、クライアントデバイスでデコードされた後に１９２０ｘ１０８０にアップスケールされる。このようにして、待ち時間は、１００ｍｓまたは任意の他の所定の閾値のような許容可能な閾値レベル未満に低減され、維持され得る。

いくつかの例では、フレームアナライザ１２２は、シーン変化があるかどうかを決定するために、リアルタイムで各フレームを解析し、フレーム複雑性インデックスを提供することができる。様々な例では、フレームアナライザ１２２は、エンコーダの能力を十分に活用するために関心領域マップを生成することもできる。例えば、関心領域は、人間の顔であり得る。いくつかの例では、より小さい量子化パラメータ（ＱＰ）が、顔を周囲の領域より高精細に現わすために、関心領域に使用され得る。いくつかの例では、より多いビットが、品質を高めるためにシーン変更フレームに割り当てられ得る。フレーム複雑性インデックスは、所与のビット数でフレームをエンコードすることの困難さを示し得る。例えば、複雑性インデックスは、所与のＱＰでフレームをエンコードするために使用されることになるビット数を示すことができる。一例として、ゲームコンテンツに対して、シーン変化およびフレーム複雑性を生成するフレームアナライザ１２２は、入力として３０のＨＷカウンタを有する完全に接続されたレイヤーを使用して構築され得る。

適応決定実行器１０６は、予測された瞬間ビットレートおよびコンテンツアナライザ１０４から出力されるラダー情報に応じて、フレームレート、ビデオ解像度、およびターゲットフレームサイズを決定することができる。例えば、コンテンツ解析およびネットワーク解析が完了した後、推定された瞬間ビットレートおよびラダー情報は適応決定実行器１０６に送信される。推定された瞬間ビットレートおよびラダー情報に基づいて、適応決定実行器１０６は、フレームレートおよびビデオ解像度を選択することができる。例えば、ネットワークアナライザ１０２が、４Ｍｂｐｓが利用可能であると予測し、コンテンツアナライザ１０４が、４Ｍｂｐｓがフレームレートと解像度の特定の最良の組み合わせであることを示す場合、示されたフレームレートと解像度は４Ｍｂｐｓのビットレートで使用され得る。例えば、特定のゲームまたはアプリケーションに対するチェックアップテーブルで解像度を調べることができ、それに応じて最適な解像度に基づいてフレームレートを選択することができる。別の例では、ネットワークアナライザ１０２が、２Ｍｂｐｓが利用可能であることを示す場合、２Ｍｂｐｓに対するフレームレートおよび解像度の最良の組み合わせを代わりに使用することができる。次に、適応決定実行器１０６は、フレームレートとビデオ解像度に基づいてターゲットフレームサイズを計算することができる。一例として、推定された瞬間ビットレートがＢＲ１であり、フレームレートがＦＲ１である場合、ターゲットフレームサイズはＢＲ１／ＦＲ１である。ＦＲ１が半減すれば、ターゲットフレームサイズを１００％増やすことができまる。

様々な例では、コンテンツ解析が利用できないときに、フレームレートおよびビデオ解像度を決定するために、別のファクタも利用され得る。例えば、このファクタは、ＱＰ値と前のエンコードされたフレームの生成されたビットの組み合わせであり得る。いくつかの例では、適応決定実行器１０６は、ＱＰ値が閾値より大きく、前の生成ビットがターゲットフレームサイズ以上であることを検出したことに応答して、現在のフレームに対するビデオ解像度を低減することができる。様々な例では、適応決定実行器１０６は、解像度正規化瞬間ビットレート（resolution normalized instant bitrate）が閾値より小さく、ＱＰ値が閾値より大きいことを検出することに応答して、フレームレート変更（frame rate change）を適用することができる。例えば、フレームレート変更は、フレームドロップであり得る。

フレームエンコーダ１０８は、フレームレート、ビデオ解像度、およびターゲットフレームサイズに基づいてビデオフレームをエンコードすることができる。例えば、ＴＣＢＲＣレートコントローラ１３６は、現在のフレームのエンコーディングのための量子化パラメータを導出することができる。次いで、エンコーダ１３８は、導出された量子化パラメータに基づいてフレームをエンコードすることができる。いくつかの例では、エンコーダ１３８は、現在のフレームに使用されるＱＰを、後続のフレームの決定に使用される適応決定実行器１０６にフィードバックすることができる。いくつかの例では、適応決定実行器１０６は、後続のフレームのフレームレート、解像度、およびターゲットフレームサイズを決定する際に現在のフレームのＱＰを使用することができる。例えば、ＱＰが５０である場合には、適応決定実行器１０６は、より多くの圧縮を適用するためにＱＰをそれ以上上げることができないことを考慮することができる。従って、一例として、予測された瞬間ビットレートが低下する場合、後続のフレームレートは低減され得る。

このようにして、待ち時間は閾値レベル未満に維持することができる。一例として、送信されたフレームの待ち時間は、１００ミリ秒（ｍｓ）を超えることができない。フレームがクライアントデバイスに低い待ち時間で送信された後、より良好な視覚的外観を提供するために、フレームもアップスケールされ得る。例えば、１２８０ｘ７２０で送信されるフレームは、フレームがデコードされた後、クライアントデバイスのモニタに表示するために、１９２０ｘ１０８０にアップスケールされ得る。

図１のダイアグラムは、例示的なシステム１００が、図１に示されるコンポーネントの全てを含むものであることを示すことを意図するものではない。むしろ、例示的なシステム１００は、少ない、または図１に示されていない追加のコンポーネント（例えば、追加のモデル、ネットワークアナライザ、エンコーダなど）を使用して実装することができる。

図２は、ネットワーク帯域幅予測のための例示的なディープラーニングネットワークを示すブロック図である。例示的なディープラーニングネットワーク２００は、図３の方法３００を使用して、図１のシステム１００または図５のコンピューティングデバイス５００に実装することができる。例えば、ディープラーニングネットワーク２００は、ネットワークアナライザ１０２またはネットワークアナライザ５３０の瞬間帯域幅予測器１１６に使用することができる。

ディープラーニングネットワーク２００の例は、リカレントニューラルネットワーク（ＲＮＮ）である。ディープラーニングネットワーク２００は、入力２０２を含む。例えば、入力の合計サイズ２０４は２０であり得る。入力２０２は、フレームｘ０～ｘ１９に対応し得る。一例として、入力２０２は、フレームｘ０～ｘ１９の各々についての第１のパッケージ遅延と、フレームｘ０～ｘ１９の各々についてのフレームサイズであり得る。いくつかの例では、第１のパッケージ遅延に対するＷｅｂリアルタイム通信（ＷｅｂＲＴＣ）ＡＰＩフィードバックが使用され得る。他の例では、リアルタイムストリーミングプロトコル（ＲＴＳＰ）ネットワーク制御プロトコルが、パッケージ遅延を取得するために使用され得る。一例として、フレームｘ０は現在のフレームを表し得、一方、フレームｘ１～ｘ１９は前のフレームを表し得る。

ディープラーニングネットワーク２００は、時系列である（time sequenced）相互接続セル２０６を含む。例えば、フレームｘ１に対応するセル２０６を、フレームｘ０に対応するセル２０６に接続され得る。セルは、各々、いくつかの特徴（features）２０８を有する。例えば、特徴の数２０８は１００であり得る。

ディープラーニングネットワーク２００はまた、２０の全ての入力からの特徴を１つのセルに結合する高密度レイヤー（dense layer）２１０を含む。例えば、高密度レイヤー２１０は、入力２０２に基づく出力予測であり得る。一例として、予測は、予測された瞬間ビットレートであり得る。

種々の例では、ネットワーク帯域幅予測器は、ネットワークからのフィードバックに基づいて帯域幅を予測するために、ディープラーニングアルゴリズムを使用して構築することができる。例えば、ネットワーク帯域幅予測器は、主に第１のパッケージ送信時間（package transmission time）に基づいて帯域幅を予測するように構築することができる。いくつかの例では、ディープラーニングネットワーク２００は、２０の入力および合計２００の重みを有するリカレントニューラルネットワーク（ＲＮＮ）であり得る。例えば、２０の入力は、１つの現在の入力および１９の以前の入力を含み得る。

図２のダイアグラムは、例示的なディープラーニングネットワーク２００が、図２に示された全てのコンポーネントを含むものであることを示すことを意図するものではない。むしろ、例示的なディープラーニングネットワーク２００は、より少ない、または、図２に示されていない追加のコンポーネント（例えば、追加のレイヤー、入力、特徴など）を使用して実装されることができる。

図３は、コンテンツおよびネットワーク解析を使用してフレームを適応的にエンコーディングするための方法を示すフローチャートである。例示的な方法３００は、図１のシステム１００、図５のコンピューティングデバイス５００、または図６のコンピュータ可読媒体６００内に実装される。いくつかの例では、方法３００は、図２のディープラーニングネットワーク２００を使用して実装することができる。

ブロック３０２において、プロセッサは、ネットワークから受信したチャネルスループットフィードバックに基づいて瞬間ビットレートを予測する。いくつかの例では、プロセッサは、受信したチャネルスループットフィードバックおよび受信した履歴データに基づいて瞬間ビットレートを予測することができる。いくつかの例では、プロセッサは、第１のパッケージ送信時間に基づいて瞬間ビットレートを予測することができる。例えば、チャネルスループットフィードバックは、パッケージ送信時間の形態で受信され得る。

ブロック３０４において、プロセッサは受信したフレームに基づいてラダー情報を生成する。いくつかの例では、プロセッサはオフライントレーニングを実行して、受信されたビデオのセットに対して複数の所定の予め選択されたビットレートで、最適なビデオ解像度およびフレームレートを生成することができる。種々の例では、プロセッサは、フレーム内のシーン変化を検出し、フレームに対するフレーム複雑性インデックスを生成することができる。例えば、シーン変化およびフレーム複雑性は、完全に接続されたレイヤーを有するニューラルネットワークによって、フレームに基づいて検出することができる。

ブロック３０６において、プロセッサは、予測された瞬間ビットレート、およびラダー情報に基づいて、フレームレート、ビデオ解像度およびターゲットフレームサイズを決定する。例えば、プロセッサは、予測された瞬間ビットレートおよびラダー情報に基づいてフレームレートおよびビデオ解像度を選択することができる。一例として、ラダー情報は、いくつかの瞬間ビットレートを与えられた種々のゲームタイトルに対するターゲットビデオ解像度を含み得る。例えば、ラダー情報は、図４の方法４００を使用して構築されたチェックアップテーブルから受信され得る。次いで、プロセッサは、フレームレートおよびビデオ解像度に基づいてターゲットフレームサイズを計算し得る。例えば、ターゲットフレームサイズは、ビット単位で測定され得る。

ブロック３０８では、プロセッサは、フレームレート、ビデオ解像度、およびターゲットフレームサイズに基づいてフレームをエンコードする。種々の例では、プロセッサは、フレームレート、ビデオ解像度、およびターゲットフレームサイズに基づいて量子化パラメータを生成し、量子化パラメータに基づいてフレームをエンコードすることができる。例えば、プロセッサは、予測された瞬間ビットレートおよびラダー情報に基づいてフレームレートおよびビデオ解像度を選択し、フレームレートおよびビデオ解像度に基づいてターゲットフレームレートを計算することができる。いくつかの例では、プロセッサは、ラダー情報が空であることを検出することに応答して、以前にエンコードされたフレームの量子化パラメータおよび以前にエンコードされたフレームの生成されたビットに基づいて、フレームレートおよびビデオ解像度を選択することができる。例えば、ラダー情報は特定のフレームに対して利用できないことがある。

このプロセスフローダイアグラムは、例示的な方法３００のブロックが任意の特定の順序で実行されるべきであること、またはブロックの全てが、すべての場合に含まれるべきであることを示すことを意図していない。さらに、図示されていない任意の数の追加ブロックが、特定の実装の詳細に応じて、例示的な方法３００内に含まれ得る。例えば、エンコードされたフレームは、表示のためにクライアントデバイスに送信され得る。

図４は、チェックアップテーブルを構築するための方法を示すフローチャートである。例示的な方法４００は、図１のシステム１００、図５のコンピューティングデバイス５００、または図６のコンピュータ可読媒体６００内に実装される。

ブロック４０２において、プロセッサは、いくつかのトレーニングビデオを受信する。例えば、トレーニングビデオは、人気のあるゲームのストリームまたは使用中のアプリケーションのストリームであり得る。

ブロック４０４において、プロセッサは、複数のトレーニングビデオの各々を複数のビットレート、解像度、およびフレームレートでエンコードする。例えば、プロセッサは、いくつかのビットレート、いくつかの解像度、およびいくつかのフレームレートで、ビデオゲームのいくつかのストリームをエンコードすることができる。

ブロック４０６において、プロセッサは、解像度およびフレームレートの異なる組み合わせで同じビットレートを使用して、エンコードされたトレーニングビデオの品質を解析する。例えば、エンコードされたビデオの品質は、ＰＳＮＲを使用して解析され得る。種々の例において、最良のＰＳＮＲを有する解像度およびフレームレートの組み合わせが選択され得る。

ブロック４０８において、プロセッサは、各トレーニングビデオおよびいくつかの予め選択されたビットレートのそれぞれに対するビットレート適応解像度およびフレームレートを含むチェックアップテーブルを構築する。例えば、プロセッサは、同じビットレートにおける解像度およびフレームレートの異なる組み合わせを有するエンコードされたビデオの品質の機械学習解析に基づいて、予め選択されたビットレートでの各ビデオゲームに対するビットレート適応解像度およびフレームレート選択を含むチェックアップテーブルを構築することができる。

このプロセスフローダイアグラムは、例示的な方法４００のブロックが任意の特定の順序で実行されるべきであること、またはブロックのすべてが、すべての場合に含まれるべきであることを示すことを意図していない。さらに、図示されていない任意の数の追加ブロックが、特定の実装の詳細に応じて、例示的な方法４００内に含まれ得る。

次に、図５を参照すると、コンテンツおよびネットワーク解析を使用してフレームを適応的にエンコードすることができる例示的なコンピューティングデバイスを示すブロック図が示されている。コンピューティングデバイス５００は、とりわけ、例えば、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、モバイルデバイス、またはウェアラブルデバイスであり得る。いくつかの例では、コンピューティングデバイス５００は、ビデオゲームまたは他のアプリケーションのためにビデオストリームをレンダリングおよび送信するクラウドコンピューティングデバイスであり得る。コンピューティングデバイス５００は、記憶された命令を実行するように構成された中央処理装置（ＣＰＵ）５０２と、ＣＰＵ５０２によって実行可能である命令を記憶するメモリデバイス５０４とを含み得る。ＣＰＵ５０２は、バス５０６によってメモリデバイス５０４に結合され得る。加えて、ＣＰＵ５０２は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスタ、または任意の数の他の構成であることができる。さらに、コンピューティングデバイス５００は、複数のＣＰＵ５０２を含み得る。いくつかの例では、ＣＰＵ５０２は、マルチコアプロセッサアーキテクチャを持つシステムオンチップ（ＳｏＣ）であり得る。いくつかの例では、ＣＰＵ５０２は、画像処理のために使用される専用デジタル信号プロセッサ（ＤＳＰ）であることができる。メモリデバイス５０４は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、または他の任意の適切なメモリシステムを含むことができる。例えば、メモリデバイス５０４は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含み得る。

メモリデバイス５０４は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、または他の任意の適切なメモリシステムを含むことができる。例えば、メモリデバイス５０４は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含み得る。

コンピューティングデバイス５００はまた、グラフィックス処理ユニット（ＧＰＵ）５０８を含み得る。図示のように、ＣＰＵ５０２はバス５０６を介してＧＰＵ５０８に結合され得る。ＧＰＵ５０８は、コンピューティングデバイス５００内の任意の数のグラフィックス動作を実行するように構成され得る。例えば、ＧＰＵ５０８は、コンピューティングデバイス５００のユーザに表示されるグラフィックス画像、グラフィックスフレーム、ビデオなどをレンダリングまたは操作するように構成され得る。

メモリデバイス５０４は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、または他の任意の適切なメモリシステムを含むことができる。例えば、メモリデバイス５０４は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含み得る。メモリデバイス５０４は、シーケンスに依存しない処理を実行するために複数の畳み込みニューラルネットワークをトレーニングするための命令を実行するように構成されたデバイスドライバ５１０を含み得る。デバイスドライバ５１０は、ソフトウェア、アプリケーションプログラム、アプリケーションコードなどであり得る。

ＣＰＵ５０２はまた、バス５０６を介して、コンピューティングデバイス５００を１つ以上の入出力（Ｉ／Ｏ）デバイス５１４に接続するように構成されたＩ／Ｏデバイスインターフェース５１２に接続され得る。Ｉ／Ｏデバイス５１４は、例えば、キーボードおよびポインティングデバイスを含み得、ポインティングデバイスは、とりわけ、タッチパッドまたはタッチスクリーンを含み得る。Ｉ／Ｏデバイス５１４は、コンピューティングデバイス５００の内蔵コンポーネントであり得る、または、コンピューティングデバイス５００に外部接続されるデバイスであり得る。いくつかの例では、メモリ５０４は、直接メモリアクセス（ＤＭＡ）を介してＩ／Ｏデバイス５１４に通信可能に結合され得る。

ＣＰＵ５０２はまた、バス５０６を介して、コンピューティングデバイス５００をディスプレイデバイス５１８に接続するように構成されたディスプレイインターフェース５１６にリンクされ得る。ディスプレイデバイス５１８は、コンピューティングデバイス５００の内蔵コンポーネントであるディスプレイスクリーンを含み得る。ディスプレイデバイス５１８はまた、とりわけ、コンピューティングデバイス５００の内部または外部に接続される、コンピュータモニタ、テレビジョン、またはプロジェクタを含み得る。

コンピューティングデバイス５００はまた、ストレージデバイス５２０を含む。ストレージデバイス５２０は、ハードドライブ、光学ドライブ、サムドライブ、ドライブのアレイ、ソリッドステートドライブ、またはそれらの任意の組み合わせのような物理メモリである。ストレージデバイス５２０はまた、リモートストレージドライブを含み得る。

コンピューティングデバイス５００はまた、ネットワークインターフェースコントローラ（ＮＩＣ）５２２を含み得る。ＮＩＣ５２２は、バス５０６を介してコンピューティングデバイス５００をネットワーク５２４に接続するように構成され得る。ネットワーク５２４は、とりわけ、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、またはインターネットであり得る。いくつかの例では、デバイスは、無線技術を介して他のデバイスと通信し得る。例えば、デバイスは、無線ローカルエリアネットワーク接続を介して他のデバイスと通信し得る。いくつかの例では、Bluetooth（登録商標）または同様のテクノロジーを介して、デバイスを他のデバイスに接続し、通信し得る。

コンピューティングデバイス５００は、さらに、カメラ５２６を含む。例えば、カメラ５２６は、１つ以上のイメージングセンサを含み得る。いくつかの例では、カメラ５２６は、ビデオフレームを生成するためのプロセッサを含み得る。

コンピューティングデバイス５００は、さらに、トランスポートおよびコンテンツ適応エンコーダ５２８を含む。例えば、トランスポートおよびコンテンツ適応エンコーダ５２８を使用して、コンテンツおよびネットワーク解析に基づいてフレームを適応的にエンコードすることができる。トランスポートおよびコンテンツ適応エンコーダ５２８は、ネットワークアナライザ５３０、コンテンツアナライザ５３２、適応決定実行器５３４、およびフレームエンコーダ５３６を含むことができる。いくつかの例では、トランスポートおよびコンテンツ適応エンコーダ５２８のコンポーネント５３０～５３６の各々は、マイクロコントローラ、埋め込みプロセッサ、またはソフトウェアモジュールであり得る。ネットワークアナライザ５３０は、ネットワークから受信したチャネルスループットフィードバックに基づいて瞬間ビットレートを予測することができる。例えば、ネットワークアナライザ５３０は、受信したチャネルスループットフィードバックおよび受信した履歴データの瞬間ビットレートを予測することができる。いくつかの例では、ネットワークアナライザ５３０は、第１のパッケージ送信時間に基づいて瞬間ビットレートを予測することができる。例えば、ネットワークアナライザ５３０は、第１のパッケージ送信時間に基づいて瞬間ビットレートを予測するようにトレーニングされたディープラーニングニューラルネットワークを含み得る。コンテンツアナライザ５３２は、受信したフレームに基づいてラダー情報を生成することができる。いくつかの例では、コンテンツアナライザ５３２は、オフライントレーニングを実行して、受信したビデオのセットに対して複数の所定の予め選択されたビットレートで、最適なビデオ解像度およびフレームレートを生成することができる。種々の例では、コンテンツアナライザ５３２は、受信したフレームをリアルタイムで解析して、フレーム内のシーン変化を検出し、フレームに対するフレーム複雑性インデックスを生成することができる。例えば、コンテンツアナライザ５３２は、入力として複数のハードウェアカウンタを有する完全に接続されたレイヤーを含むフレームアナライザを含み得る。一例として、フレームアナライザは、ディープラーニングニューラルネットワークであり得る。いくつかの例では、コンテンツアナライザ５３２は、各トレーニングビデオおよび複数の予め選択されたビットレートの各々に対するビットレート適応解像度およびフレームレートを含むチェックアップテーブルを構築するために、タイトル毎のエンコーディングトレーナを含み得る。適応決定実行器５３４は、予測された瞬間ビットレートおよびラダー出力に基づいて、フレームレート、ビデオ解像度、およびターゲットフレームサイズを決定することができる。いくつかの例では、適応決定実行器５３４は、予測された瞬間ビットレートおよびラダー情報に基づいてフレームレートおよびビデオ解像度を選択し、フレームレートおよびビデオ解像度に基づいてターゲットフレームレートを計算することができる。種々の例では、適応決定実行器５３４は、ラダー情報が空であることを検出することに応答して、以前にエンコードされたフレームの量子化パラメータおよび以前にエンコードされたフレームの生成されたビットに基づいて、フレームレートおよびビデオ解像度を代替的に選択することができる。フレームエンコーダ５３６は、フレームレート、ビデオ解像度、およびターゲットフレームサイズに基づいてフレームをエンコードすることができる。

図５のブロック図は、コンピューティングデバイス５００が、図５に示すコンポーネントのすべてを含むものであることを示すことを意図したものではない。むしろ、コンピューティングデバイス５００は、より少ない、または、追加のバッファ、追加のプロセッサなどのような、図５に示されていない追加のコンポーネントを含むことができる。コンピューティングデバイス５００は、特定の実装の詳細に応じて、図５に示されていない任意の数の追加のコンポーネントを含み得る。例えば、コンピューティングデバイス３００はまた、フレームレート、ビデオ解像度、およびターゲットフレームサイズに基づいて量子化パラメータを生成するレートコントローラを含むことができる。次いで、エンコーダ５３６は、量子化パラメータに基づいてフレームをエンコードし得る。さらに、ネットワークアナライザ５３０、コンテンツアナライザ５３２、適応決定実行器５３４、およびフレームエンコーダ５３６の機能のいずれかは、ハードウェアおよび／またはプロセッサ５０２で部分的に、または全体的に実装され得る。例えば、機能性は、特定用途向け集積回路、プロセッサ５０２に実装される論理、または任意の他のデバイスに実装され得る。加えて、ＣＰＵ５０２の機能のいずれかは、ハードウェアおよび／またはプロセッサに部分的にまたは全体的に実装され得る。例えば、トランスポートおよびコンテンツ適応エンコーダ５２８の機能は、特定用途向け集積回路、プロセッサに実装された論理、ＧＰＵ５０８のような専用グラフィックス処理ユニットに実装された論理、または任意の他のデバイスに実装され得る。

図６は、コンテンツおよびネットワーク解析を使用してフレームを適応的にエンコードするためのコードを記憶するコンピュータ可読媒体６００を示すブロック図である。コンピュータ可読媒体６００は、コンピュータバス６０４を介してプロセッサ６０２によってアクセスされ得る。さらに、コンピュータ可読媒体６００は、プロセッサ６０２に本明細書に記載の方法を実行させるように構成されたコードを含み得る。いくつかの実施形態では、コンピュータ可読媒体６００は、非一時的コンピュータ可読媒体であり得る。いくつかの例では、コンピュータ可読媒体６００は記憶媒体であり得る。

本明細書で議論される種々のソフトウェアコンポーネントは、図６に示されるように、１つ以上のコンピュータ可読媒体６００に記憶され得る。例えば、ネットワークアナライザモジュール６０６は、ネットワークから受信したチャネルスループットフィードバックに基づいて瞬間ビットレートを予測するように構成され得る。例えば、ネットワークアナライザモジュール６０６は、受信したチャネルスループットフィードバックおよび受信した履歴データの瞬間ビットレートを予測するように構成され得る。いくつかの例では、アナライザモジュール６０６は、第１のパッケージ送信時間に基づいて瞬間ビットレートを予測するように構成され得る。コンテンツアナライザモジュール６０８は、受信したフレームに基づいてラダー情報を生成するように構成され得る。いくつかの例では、コンテンツアナライザモジュール６０８は、オフライントレーニングを実行して、受信したビデオのセットに対して複数の所定の予め選択されたビットレートで、最適なビデオ解像度およびフレームレートを生成するように構成され得る。様々な例では、コンテンツアナライザモジュール６０８は、フレーム内のシーン変化を検出し、フレームに対するフレーム複雑性インデックスを生成するように構成され得る。例えば、コンテンツアナライザモジュール６０８は、完全に接続されたレイヤーを有するニューラルネットワークによって、シーン変化およびフレームに基づくフレーム複雑性を検出するように構成され得る。様々な例では、コンテンツアナライザモジュール６０８は、各トレーニングビデオおよび複数の予め選択されたビットレートの各々に対するビットレート適応解像度およびフレームレートを含むチェックアップテーブルを構築するように構成され得る。適応決定実行モジュール６１０は、予測された瞬間ビットレートおよびラダー出力に基づいて、フレームレート、ビデオ解像度、およびターゲットフレームサイズを決定するように構成され得る。例えば、適応決定実行モジュール６１０は、予測された瞬間ビットレートおよびラダー情報に基づいてフレームレートおよびビデオ解像度を選択し、フレームレートおよびビデオ解像度に基づいてターゲットフレームレートを計算するように構成され得る。いくつかの例では、適応決定実行モジュール６１０は、ラダー情報が空であることを検出することに応答して、以前にエンコードされたフレームの量子化パラメータおよび以前にエンコードされたフレームの生成されたビットに基づいて、フレームレートおよびビデオ解像度を選択するように構成され得る。フレームエンコーダモジュール６１２は、フレームレート、ビデオ解像度、およびターゲットフレームサイズに基づいてフレームをエンコードするように構成され得る。

図６のブロック図は、コンピュータ可読媒体６００が、図６に示されるコンポーネントの全てを含むものであることを示すことを意図していない。さらに、コンピュータ可読媒体６００は、特定の実装の詳細に応じて、図６に示されていない任意の数の追加のコンポーネントを含み得る。例えば、コンピュータ可読媒体６００は、フレームレート、ビデオ解像度、およびターゲットフレームサイズに基づいて量子化パラメータを生成するように構成されたレートコントローラモジュールをさらに含み得る。フレームエンコーダモジュール６１２は、量子化パラメータに基づいてフレームをエンコードし得る。

例
例１は、ビデオフレームを適応的にエンコードするための装置である。装置は、ネットワークから受信したチャネルスループットフィードバックに基づいて瞬間ビットレートを予測するネットワークアナライザを含む。装置はまた、受信したフレームに基づいてラダー情報を生成するコンテンツアナライザを含む。装置はさらに、予測された瞬間ビットレートおよびラダー出力に基づいてフレームレート、ビデオ解像度、およびターゲットフレームサイズを決定する適応決定実行器を含む。また、装置は、フレームレート、ビデオ解像度、およびターゲットフレームサイズに基づいてフレームをエンコードするエンコーダをさらに含む。

例２は、オプションの特徴を含むまたは除外する、例１の装置を含む。この例では、装置は、フレームレート、ビデオ解像度、およびターゲットフレームサイズに基づいて量子化パラメータを生成するレートコントローラを含み、エンコーダは、量子化パラメータに基づいてフレームをエンコードする。

例３は、オプションの特徴を含むまたは除外する、例１～２のいずれか１つの装置を含む。この例では、ネットワークアナライザは、受信したチャネルスループットフィードバックおよび受信した履歴データの瞬間ビットレートを予測する。

例４は、オプションの特徴を含むまたは除外する、例１～３のいずれか１つの装置を含む。この例では、ネットワークアナライザは、第１のパッケージ送信時間に基づいて瞬間ビットレートを予測するようにトレーニングされたディープラーニングニューラルネットワークを含む。

例５は、オプションの特徴を含むまたは除外する、例１～４のいずれか１つの装置を含む。この例では、コンテンツアナライザは、受信したビデオのセットに対していくつかの所定の予め選択されたビットレートで最適なビデオ解像度およびフレームレートを生成するためにオフライントレーニングを実行するタイトル毎のエンコーディングトレーナを含む。

例６は、オプションの特徴を含むまたは除外する、例１～５のいずれか１つの装置を含む。この例では、コンテンツアナライザは、フレームのシーン変化を検出し、フレームに対するフレーム複雑性インデックスを生成するためにフレームをリアルタイムで解析するフレームアナライザを含む。

例７は、オプションの特徴を含むまたは除外する、例１～６のいずれか１つの装置を含む。この例では、コンテンツアナライザは、フレームアナライザを含み、フレームアナライザは、入力としていくつかのハードウェアカウンタを備える完全に接続されたレイヤーを含む。

例８は、オプションの特徴を含むまたは除外する、例１～７のいずれか１つの装置を含む。この例では、適応決定実行器は、予測された瞬間ビットレートおよびラダー情報に基づいてフレームレートとビデオ解像度を選択し、フレームレートおよびビデオ解像度に基づいてターゲットフレームレートを計算する。

例９は、オプションの特徴を含むまたは除外する、例１～８のいずれか１つの装置を含む。この例では、適応決定実行器は、ラダー情報が空であることを検出したことに応答して、以前にエンコードされたフレームの量子化パラメータおよび以前にエンコードされたフレームの生成されたビットに基づいて、フレームレートおよびビデオ解像度を選択する。

例１０は、オプションの特徴を含むまたは除外する、例１～９のいずれか１つの装置を含む。この例では、コンテンツアナライザは、各トレーニングビデオおよびいくつかの予め選択されたビットレートの各々に対するビットレート適応解像度およびフレームレートを含むチェックアップテーブルを構築するタイトル毎のエンコーディングトレーナを含む。

例１１は、ビデオフレームを適応的にエンコードする方法である。方法は、プロセッサによって、ネットワークから受信したチャネルスルーアウトフィードバックに基づいて瞬間ビットレートを予測することを含む。方法は、プロセッサによって、受信したフレームに基づいてラダー情報を生成することを含む。方法は、プロセッサによって、予測された瞬間ビットレートおよびラダー出力に基づいて、フレームレート、ビデオ解像度、およびターゲットフレームサイズを決定することを含む。方法は、プロセッサによって、フレームレート、ビデオ解像度、およびターゲットフレームサイズに基づいてフレームをエンコードすることを含む。

例１２は、オプションの特徴を含む、または除外する、例１１の方法を含む。この例では、フレームをエンコードすることは、フレームレート、ビデオ解像度、およびターゲットフレームサイズに基づいて量子化パラメータを生成することと、量子化パラメータに基づいてフレームをエンコードすることとを含む。

例１３は、オプションの特徴を含むまたは除外する、例１１～１２のいずれか１つの方法を含む。この例では、瞬間ビットレートを予測することは、受信したチャネルスループットフィードバックおよび受信した履歴データに基づく。

例１４は、オプションの特徴を含むまたは除外する、例１１～１３のいずれか１つの方法を含む。この例では、瞬間ビットレートを予測することは、第１のパッケージ送信時間に基づく。

例１５は、オプションの特徴を含むまたは除く、例１１～１４のいずれか１つの方法を含む。この例では、方法は、受信したビデオのセットに対して、いくつかの所定の予め選択されたビットレートで、最適なビデオ解像度およびフレームレートを生成するためにオフライントレーニングを実行することを含む。

例１６は、オプションの特徴を含むまたは除外する、例１１～１５のいずれか１つの方法を含む。この例では、方法は、フレーム内のシーン変化を検出することと、フレームに対するフレーム複雑性インデックスを生成することとを含む。

例１７は、オプションの特徴を含むまたは除外する、例１１～１６のいずれか１つの方法を含む。この例では、方法は、完全に接続されたレイヤーを有するニューラルネットワークによって、シーン変化およびフレームに基づくフレーム複雑性を検出することを含む。

例１８は、オプションの特徴を含むまたは除外する、例１１～１７のいずれか１つの方法を含む。この例では、方法は、予測される瞬間ビットレートおよびラダー情報に基づいてフレームレートおよびビデオ解像度を選択することと、フレームレートおよびビデオ解像度に基づいてターゲットフレームレートを計算することとを含む。

例１９は、オプションの特徴を含むまたは除外する、例１１～１８のいずれか１つの方法を含む。この例では、方法は、ラダー情報が空であることを検出することに応答して、以前にエンコードされたフレームの量子化パラメータおよび以前にエンコードされたフレームの生成されたビットに基づいて、フレームレートおよびビデオ解像度を選択することを含む。

例２０は、オプションの特徴を含むまたは除外する、例１１～１９のいずれか１つの方法を含む。この例では、方法は、いくつかのトレーニングビデオを受信すること；
いくつかのトレーニングビデオの各々をいくつかのビットレート、解像度、およびフレームレートでエンコードすることを含む。方法は、また、解像度およびフレームレートの異なる組み合わせで同じビットレートを使用して、エンコードされたトレーニングビデオの品質を解析することを含む。方法は、また、各トレーニングビデオおよびいくつかの予め選択されたビットレートの各々に対するビットレート適応解像度およびフレームレートを含むチェックアップテーブルを構築することをさらに含む。

例２１は、ビデオフレームを適応的にエンコードするためのシステムである。システムは、ネットワークから受信したチャネルスループットフィードバックに基づいて瞬間ビットレートを予測する手段を含む。システムは、受信したフレームに基づいてラダー情報を生成する手段を含む。システムは、予測された瞬間ビットレートおよびラダー出力に基づいてフレームレート、ビデオ解像度、およびターゲットフレームサイズを決定する手段と；フレームレート、ビデオ解像度、およびターゲットフレームサイズに基づいてフレームをエンコードする手段と；を含む。

例２２は、オプションの特徴を含むまたは排除する、例２１のシステムを含む。この例では、システムは、フレームレート、ビデオ解像度、およびターゲットフレームサイズに基づいて量子化パラメータを生成する手段を含み、エンコーダは、量子化パラメータに基づいてフレームをエンコードする。

例２３は、オプションの特徴を含むまたは除外する、例２１～２２のいずれか１つのシステムを含む。この例では、瞬間ビットレートを予測する手段は、受信したチャネルスループットフィードバックおよび受信した履歴データの瞬間ビットレートを予測する。

例２４は、オプションの特徴を含むまたは除外する、例２１～２３のいずれか１つのシステムを含む。この例では、瞬間ビットレートを予測する手段は、第１のパッケージ送信時間に基づいて瞬間ビットレートを予測するようにトレーニングされたディープラーニングニューラルネットワークを含む。

例２５は、オプションの特徴を含むまたは除外する、例２１～２４のいずれか１つのシステムを含む。この例では、ラダー情報を生成する手段は、受信したビデオのセットに対していくつかの所定の予め選択されたビットレートで最適なビデオ解像度およびフレームレートを生成するためにオフライントレーニングを実行するタイトル毎のエンコーディングトレーナを含む。

例２６は、オプションの特徴を含むまたは除外する、例２１～２５のいずれか１つのシステムを含む。この例では、ラダー情報を生成する手段は、フレームのシーン変化を検出し、フレームに対するフレーム複雑性インデックスを生成するために、リアルタイムでフレームを解析するフレームアナライザを含む。

例２７は、オプションの特徴を含むまたは除外する、例２１～２６のいずれか１つのシステムを含む。この例では、ラダー情報を生成する手段は、フレームアナライザを含み、フレームアナライザは、入力としていくつかのハードウェアカウンタを有する完全に接続されたレイヤーを含む。

例２８は、オプションの特徴を含むまたは除外する、例２１～２７のいずれか１つのシステムを含む。この例では、フレームレート、ビデオ解像度、およびターゲットフレームサイズを決定する手段は、予測される瞬間ビットレートおよびラダー情報に基づいてフレームレートおよびビデオ解像度を選択し、フレームレートおよびビデオ解像度に基づいてターゲットフレームレートを計算する。

例２９は、オプションの特徴を含むまたは除外する、例２１～２８のいずれか１つのシステムを含む。この例では、フレームレート、ビデオ解像度、およびターゲットフレームサイズを決定する手段は、ラダー情報が空であることを検出することに応答して、以前にエンコードされたフレームの量子化パラメータおよび以前にエンコードされたフレームの生成されたビットに基づいて、フレームレートおよびビデオ解像度を選択する。

例３０は、オプションの特徴を含むまたは除外する、例２１～２９のいずれか１つのシステムを含む。この例では、ラダー情報を生成する手段は、各トレーニングビデオおよびいくつかの予め選択されたビットレートの各々に対するビットレート適応解像度およびフレームレートを含むチェックアップテーブルを構築するタイトル毎のエンコーディングトレーナを含む。

例３１は、ビデオフレームを適応的にエンコードするための装置である。この装置は、ネットワークから受信したチャネルスループットフィードバックに基づいて瞬間ビットレートを予測するネットワークアナライザを含む。装置は、受信したフレームに基づいてラダー情報を生成するコンテンツアナライザを含む。装置は、予測された瞬間ビットレートおよびラダー出力に基づいてフレームレート、ビデオ解像度、およびターゲットフレームサイズを決定する適応決定実行器を含む。装置は、フレームレート、ビデオ解像度、およびターゲットフレームサイズに基づいてフレームをエンコードするエンコーダを含む。

例３２は、オプションの特徴を含むまたは除外する、例３１の装置を含む。この例では、装置は、フレームレート、ビデオ解像度、およびターゲットフレームサイズに基づいて量子化パラメータを生成するレートコントローラを含み、エンコーダは、量子化パラメータに基づいてフレームをエンコードする。

例３３は、オプションの特徴を含むまたは除外する、例３１～３２のいずれか１つの装置を含む。この例では、ネットワークアナライザは、受信したチャネルスループットフィードバックおよび受信した履歴データの瞬間ビットレートを予測する。

例３４は、オプションの特徴を含むまたは除外する、例３１～３３のいずれか１つの装置を含む。この例では、ネットワークアナライザは、第１のパッケージ送信時間に基づいて瞬間ビットレートを予測するようにトレーニングされたディープラーニングニューラルネットワークを含む。

例３５は、オプションの特徴を含むまたは除外する、例３１～３４のいずれか１つの装置を含む。この例では、コンテンツアナライザは、受信したビデオのセットに対していくつかの所定の予め選択されたビットレートで最適なビデオ解像度およびフレームレートを生成するためにオフライントレーニングを実行するタイトル毎のエンコーディングトレーナを含む。

例３６は、オプションの特徴を含むまたは除外する、例３１～３５のいずれか１つの装置を含む。この例では、コンテンツアナライザは、フレームのシーン変化を検出し、フレームに対するフレーム複雑性インデックスを生成するために、フレームをリアルタイムで解析するフレームアナライザを含む。

例３７は、オプションの特徴を含むまたは除外する、例３１～３６のいずれか１つの装置を含む。この例では、コンテンツアナライザは、フレームアナライザを含み、フレームアナライザは、いくつかのハードウェアカウンタを入力として有する完全に接続されたレイヤーを含む。

例３８は、オプションの特徴を含むまたは除外する、例３１～３７のいずれか１つの装置を含む。この例では、適応決定実行器は、予測された瞬間ビットレートおよびラダー情報に基づいてフレームレートおよびビデオ解像度を選択し、フレームレートおよびビデオ解像度に基づいてターゲットフレームレートを計算する。

例３９は、オプションの特徴を含むまたは除外する、例３１～３８のいずれか１つの装置を含む。この例では、適応決定実行器は、ラダー情報が空であることを検出したことに応答して、以前にエンコードされたフレームの量子化パラメータおよび以前にエンコードされたフレームの生成されたビットに基づいて、フレームレートおよびビデオ解像度を選択する。

例４０は、オプションの特徴を含むまたは除外する、例３１～３９のいずれか１つの装置を含む。この例では、コンテンツアナライザは、各トレーニングビデオおよびいくつかの予め選択されたビットレートの各々に対するビットレート適応解像度およびフレームレートを含むチェックアップテーブルを構築するタイトル毎のエンコーディングトレーナを含む。

例４１は、命令が記憶されたビデオフレームを適応的にエンコードするための少なくとも１つのコンピュータ可読媒体である。コンピュータ可読媒体は、ネットワークから受信したチャネルスループットフィードバックに基づいて瞬間ビットレートを予測するようにプロセッサに指示する命令を含む。コンピュータ可読媒体は、受信したフレームに基づいてラダー情報を生成し；予測された瞬間ビットレートおよびラダー出力に基づいてフレームレート、ビデオ解像度、およびターゲットフレームサイズを決定する、ようにプロセッサに指示する命令を含む。コンピュータ可読媒体は、フレームレート、ビデオ解像度、およびターゲットフレームサイズに基づいてフレームをエンコードするようにプロセッサに指示する命令を含む。

例４２は、オプションの特徴を含むまたは排除する、例４１のコンピュータ可読媒体を含む。この例では、コンピュータ可読媒体は、フレームレート、ビデオ解像度、およびターゲットフレームサイズに基づいて量子化パラメータを生成する命令を含み、エンコーダは、量子化パラメータに基づいてフレームをエンコードする。

例４３は、オプションの特徴を含むまたは除外する、例４１～４２のいずれか１つのコンピュータ可読媒体を含む。この例では、コンピュータ可読媒体は、受信したチャネルスループットフィードバックおよび受信した履歴データの瞬間ビットレートを予測する命令を含む。

例４４は、オプションの特徴を含むまたは除外する、例４１～４３のいずれか１つのコンピュータ可読媒体を含む。この例では、コンピュータ可読媒体は、第１のパッケージ送信時間に基づいて瞬間ビットレートを予測する命令を含む。

例４５は、オプションの特徴を含むまたは除外する、例４１～４４のいずれか１つのコンピュータ可読媒体を含む。この例では、コンピュータ可読媒体は、受信したビデオのセットに対していくつかの所定の予め選択されたビットレートで最適なビデオ解像度およびフレームレートを生成するためにオフライントレーニングを実行する命令を含む。

例４６は、オプションの特徴を含むまたは除外する、例４１～４５のいずれか１つのコンピュータ可読媒体を含む。この例では、コンピュータ可読媒体は、フレーム内のシーン変化を検出し、フレームに対するフレーム複雑性インデックスを生成するために、リアルタイムでフレームを解析する命令を含む。

例４７は、オプションの特徴を含むまたは除外する、例４１～４６のいずれか１つのコンピュータ可読媒体を含む。この例では、コンピュータ可読媒体は、完全に接続されたレイヤーを有するニューラルネットワークによって、シーン変化およびフレームに基づくフレーム複雑性を検出する命令を含む。

例４８は、オプションの特徴を含むまたは除外する、例４１～４７のいずれか１つのコンピュータ可読媒体を含む。この例では、コンピュータ可読媒体は、予測される瞬間ビットレートおよびラダー情報に基づいてフレームレートおよびビデオ解像度を選択し、フレームレートおよびビデオ解像度に基づいてターゲットフレームレートを計算する命令を含む。

例４９は、オプションの特徴を含むまたは除外する、例４１～４８のいずれか１つのコンピュータ可読媒体を含む。この例では、コンピュータ可読媒体は、ラダー情報が空であることを検出することに応答して、以前にエンコードされたフレームの量子化パラメータおよび以前にエンコードされたフレームの生成されたビットに基づいて、フレームレートおよびビデオ解像度を選択する命令を含む。

例５０は、オプションの特徴を含むまたは除外する、例４１～４９のいずれか１つのコンピュータ可読媒体を含む。この例では、コンピュータ可読媒体は、各トレーニングビデオおよびいくつかの予め選択されたビットレートの各々に対するビットレート適応解像度およびフレームレートを含むチェックアップテーブルを構築する命令を含む。

本明細書に記載および図示された全てのコンポーネント、特徴、構造、特性などが、特定の態様または複数の態様に含まれる必要はない。明細書にコンポーネント、特徴、構造または特性が、含まれ「得る」、含まれる「かもしれない」、含まれることが「できる」または含まれ「てもよい」と記載されている場合、例えば、その特定のコンポーネント、特徴、構造または特性を含める必要はない。明細書または請求項が「１つの（「a」または「an」）」要素に言及している場合、それは、要素の１つのみが存在することを意味しない。本明細書または請求項が「追加の」要素を指す場合、それは、追加の要素のうちの2つ以上が存在することを排除しない。

特定の実装を参照していくつかの態様が説明されているが、いくつかの態様に従って他の実装が可能であることに留意されたい。加えて、図面および／または本明細書に説明される回路素子または他の特徴の配置および／または順序は、図示および説明される特定の方法で配置する必要はない。いくつかの態様に従って、多くの他の構成が可能である。

図に示された各システムにおいて、要素はそれぞれ、場合によっては、表される要素が異なるおよび／または類似している可能性があることを示唆するために、同一の参照番号または異なる参照番号を有する場合がある。しかし、要素は、異なる実装を有し、本明細書に図示されまたは記載されたシステムのいくつかまたは全てと共に動作するのに十分にフレキシブル（flexible）であり得る。図中に示されている種々の要素は、同一であっても、異なるものであってもよい。どれを第１の要素と呼び、どれを第２の要素と呼ぶかは、任意である。

前述の例における詳細は、１つ以上の態様において任意の場所で使用され得ることが理解されるべきである。例えば、上述のコンピューティングデバイスの全てのオプションの特徴は、本明細書に記載の方法またはコンピュータ可読媒体のいずれかに関して実装することもできる。さらに、フローダイアグラムおよび／または状態ダイアグラムは、態様を説明するために本明細書中で使用されることがあるが、技術は、これらのダイアグラムまたは本明細書中の対応する説明に限定されない。例えば、フローは、各図示されたボックス若しくは状態を通って移動する必要はなく、または、本明細書に図示され記載されたのと全く同じ順序で移動する必要もない。

本技術は、本明細書に挙げられた特定の詳細に限定されるものではない。実際、本開示の利点を有する当業者であれば、前述の説明および図面からの多くの他の変更が、本技術の範囲内でなされ得ることを理解するであろう。従って、本技術の範囲を定義するのは、その補正を含む以下の特許請求の範囲である。

Claims (22)

1. ビデオフレームを適応的にエンコードするための装置であって：
   ネットワークから受信したチャネルスループットフィードバックに基づいて瞬間ビットレートを予測するネットワークアナライザと；
   受信したフレームに基づいてラダー情報を生成するコンテンツアナライザと；
   予測された前記瞬間ビットレートおよび前記ラダー情報に基づいて、フレームレート、ビデオ解像度、およびターゲットフレームサイズを決定する適応決定実行器であって、前記フレームレートおよび前記ビデオ解像度は前記予測された瞬間ビットレートおよび前記ラダー情報に基づいて決定され、前記ターゲットフレームサイズは、データのサイズであって、前記フレームレートおよび前記ビデオ解像度に基づいて決定される、適応決定実行器と；
   前記フレームレート、前記ビデオ解像度、および前記ターゲットフレームサイズに基づいて前記フレームをエンコードするエンコーダと；を有し、
   前記コンテンツアナライザは、受信したビデオのセットに対して複数の所定の予め選択されたビットレートで最適なビデオ解像度およびフレームレートを生成するためにオフライントレーニングを実行するタイトル毎のエンコーディングトレーナを有する、
   装置。
2. 前記フレームレート、前記ビデオ解像度、および前記ターゲットフレームサイズに基づいて量子化パラメータを生成するレートコントローラを有し、前記エンコーダは、前記量子化パラメータに基づいて前記フレームをエンコードする、
   請求項１に記載の装置。
3. 前記ネットワークアナライザは、前記受信したチャネルスループットフィードバックおよび受信した履歴データの前記瞬間ビットレートを予測する、
   請求項１または２に記載の装置。
4. 前記ネットワークアナライザは、第１のパッケージ送信時間に基づいて前記瞬間ビットレートを予測するようにトレーニングされたディープラーニングニューラルネットワークを有する、
   請求項１乃至３のいずれか１項に記載の装置。
5. 前記コンテンツアナライザは、前記フレームのシーン変化を検出し、前記フレームに対するフレーム複雑性インデックスを生成するためにリアルタイムで前記フレームを解析するフレームアナライザを有する、
   請求項１乃至４のいずれか１項に記載の装置。
6. 前記コンテンツアナライザは、フレームアナライザを有し、前記フレームアナライザは、入力として複数のハードウェアカウンタを備える完全に接続されたレイヤーを有する、
   請求項１乃至５のいずれか１項に記載の装置。
7. 前記適応決定実行器は、予測された前記瞬間ビットレートおよび前記ラダー情報に基づいて前記フレームレートおよび前記ビデオ解像度を選択し、前記フレームレートおよび前記ビデオ解像度に基づいて前記ターゲットフレームサイズを計算する、
   請求項１乃至６のいずれか１項に記載の装置。
8. 前記適応決定実行器は、前記ラダー情報が空であることを検出したことに応答して、以前にエンコードされたフレームの量子化パラメータおよび前記以前にエンコードされたフレームの生成されたビットに基づいて、前記フレームレートおよび前記ビデオ解像度を選択する、
   請求項１乃至７のいずれか１項に記載の装置。
9. 前記タイトル毎のエンコーディングトレーナは、各トレーニングビデオおよび複数の予め選択されたビットレートの各々に対するビットレート適応解像度およびフレームレートを含むチェックアップテーブルを構築する、
   請求項１乃至８のいずれか１項に記載の装置。
10. ビデオフレームを適応的にエンコードする方法であって：
    プロセッサによって、ネットワークから受信したチャネルスループットフィードバックに基づいて瞬間ビットレートを予測することと；
    前記プロセッサによって、受信したフレームに基づいてラダー情報を生成することと；
    前記プロセッサによって、予測された前記瞬間ビットレートおよび前記ラダー情報に基づいて、フレームレート、ビデオ解像度、およびターゲットフレームサイズを決定することであって、前記フレームレートおよび前記ビデオ解像度は前記予測された瞬間ビットレートおよび前記ラダー情報に基づいて決定され、前記ターゲットフレームサイズは、データのサイズであって、前記フレームレートおよび前記ビデオ解像度に基づいて決定される、決定することと；
    前記プロセッサによって、前記フレームレート、前記ビデオ解像度、および前記ターゲットフレームサイズに基づいて前記フレームをエンコードすることと；
    前記プロセッサによって、受信したビデオのセットに対して複数の所定の予め選択されたビットレートで最適なビデオ解像度およびフレームレートを生成するためにオフライントレーニングをタイトル毎に実行することと；を含む、
    方法。
11. 前記フレームをエンコードすることは、前記フレームレート、前記ビデオ解像度、および前記ターゲットフレームサイズに基づいて量子化パラメータを生成すること、および前記量子化パラメータに基づいて前記フレームをエンコードすることを含む、
    請求項１０に記載の方法。
12. 前記瞬間ビットレートを予測することは、前記受信したチャネルスループットフィードバックおよび受信した履歴データに基づく、
    請求項１０または１１に記載の方法。
13. 前記瞬間ビットレートを予測することは、第１のパッケージ送信時間に基づく、
    請求項１０乃至１２のいずれか１項に記載の方法。
14. 前記フレーム内のシーン変化を検出すること、および前記フレームに対するフレーム複雑性インデックスを生成することを含む、
    請求項１０乃至１３のいずれか１項に記載の方法。
15. 完全に接続されたレイヤーを備えるニューラルネットワークによって、シーン変化および前記フレームに基づくフレーム複雑性を検出することを含む、
    請求項１０乃至１４のいずれか１項に記載の方法。
16. 予測された前記瞬間ビットレートおよび前記ラダー情報に基づいて前記フレームレートおよび前記ビデオ解像度を選択することと、前記フレームレートおよび前記ビデオ解像度に基づいて前記ターゲットフレームサイズを計算することとを含む、
    請求項１０乃至１５のいずれか１項に記載の方法。
17. 前記ラダー情報が空であることを検出することに応答して、以前にエンコードされたフレームの量子化パラメータおよび前記以前にエンコードされたフレームの生成されたビットに基づいて、前記フレームレートおよび前記ビデオ解像度を選択することを含む、
    請求項１０乃至１６のいずれか１項に記載の方法。
18. 複数のトレーニングビデオを受信することと；
    複数のビットレート、解像度、およびフレームレートで前記複数のトレーニングビデオの各々をエンコードすることと；
    前記解像度および前記フレームレートの異なる組み合わせで同じビットレートを使用してエンコードされた前記トレーニングビデオの品質を解析することと；
    各トレーニングビデオおよび複数の予め選択されたビットレートの各々に対するビットレート適応解像度およびフレームレートを含むチェックアップテーブルを構築することと；を含む、
    請求項１０乃至１７のいずれか１項に記載の方法。
19. ビデオフレームを適応的にエンコードするためのシステムであって：
    ネットワークから受信したチャネルスループットフィードバックに基づいて瞬間ビットレートを予測する手段と；
    受信したフレームに基づいてラダー情報を生成する手段と；
    予測された前記瞬間ビットレートおよび前記ラダー情報に基づいてフレームレート、ビデオ解像度、およびターゲットフレームサイズを決定する手段であって、前記フレームレートおよび前記ビデオ解像度は前記予測された瞬間ビットレートおよび前記ラダー情報に基づいて決定され、前記ターゲットフレームサイズは、データのサイズであって、前記フレームレートおよび前記ビデオ解像度に基づいて決定される、決定する手段と；
    前記フレームレート、前記ビデオ解像度、および前記ターゲットフレームサイズに基づいて前記フレームをエンコードする手段と；を有し、
    前記ラダー情報を生成する手段は、受信したビデオのセットに対して複数の所定の予め選択されたビットレートで最適なビデオ解像度およびフレームレートを生成するためにオフライントレーニングを実行するタイトル毎のエンコーディングトレーナを有する、
    システム。
20. 前記フレームレート、前記ビデオ解像度、および前記ターゲットフレームサイズに基づいて量子化パラメータを生成する手段を有し、前記エンコードする手段は、前記量子化パラメータに基づいて前記フレームをエンコードする、
    請求項１９に記載のシステム。
21. 前記瞬間ビットレートを予測する手段は、前記受信したチャネルスループットフィードバックおよび受信した履歴データの瞬間ビットレートを予測する、
    請求項１９または２０に記載のシステム。
22. 前記瞬間ビットレートを予測する手段は、第１のパッケージ送信時間に基づいて前記瞬間ビットレートを予測するようにトレーニングされたディープラーニングニューラルネットワークを有する、
    請求項１９乃至２１のいずれか１項に記載のシステム。

Images