JP2023550940A - クライアントデバイス上でビデオストリームを復号化すること - Google Patents

Abstract

本出願は、クライアントデバイス上でビデオストリームを復号化することに関する。クライアントデバイス上でのクライアントアプリケーションは、メディアプレーヤライブラリによって実施される復号化機能を呼び出し、メディアプレーヤライブラリによって実施される復号化機能は、クライアントデバイスのオペレーティングシステムによって実施される復号化機能の更なる呼び出しを含み、ビデオストリームが多層コーディングスキームを使用して符号化されているかどうかの判定を含むように修正される。ビデオストリームが多層コーディングスキームを使用して符号化されている場合、ビデオストリームは処理されて、ベースストリーム及び改良ストリームが抽出され、ベースストリームが、オペレーティングシステムによって実施される復号化機能の更なる呼び出しを使用して復号化され、符号化された改良ストリームが、復号化され、復号化された改良ストリームが、復号化されたベースストリームに適用されて復号化されたビデオストリームデータを生成し、復号化されたビデオストリームデータが、メディアプレーヤライブラリによって実施される復号化機能に返される。【選択図】図１

Description

本発明は、クライアント上でビデオストリームを復号化する際に使用されるための方法、装置、コンピュータプログラム、及びコンピュータ可読媒体に関する。

ビデオコンテンツの符号化及び復号化は、多くの既知のシステムにおいて考慮されている。ビデオコンテンツは、例えば、データ通信ネットワークを介して送信するために符号化され得る。そのようなビデオコンテンツが復号化されるとき、ビデオの質のレベルを高めること、及び／又は元のビデオに含まれる情報の可能な限り多くを復元することが望まれる場合がある。これらの所望の特性を達成することを試みるが、多くの場合、オペレーティングシステムのレベルでの顕著なソフトウェアアップデート及び／又は顕著なハードウェアアップグレードを必要とする、多くのビデオコーディングフォーマット及びそれらに関連するコーデックが開発されている。更に、復号化されたビデオコンテンツの品質を向上させるために、典型的には、符号化及び復号化手順の複雑度を増大させることが必要になり、それによって、電力使用量が増大し、ビデオコンテンツを配信することができるレイテンシが増大することがある。

本開示の第１の態様によれば、クライアントデバイス上でビデオストリームを復号化する方法が提供される。方法は、クライアントデバイス上のクライアントアプリケーションから、クライアントデバイス上で利用可能なメディアプレーヤライブラリによって実施される復号化機能を呼び出すことであって、メディアプレーヤライブラリによって実施される復号化機能が、クライアントデバイスのオペレーティングシステムによって実施される復号化機能の更なる呼び出しを含む、呼び出すことと、メディアプレーヤライブラリによって実施される復号化機能を、ビデオストリームが多層コーディングスキームを使用して符号化されているかどうかの判定を含むように修正することと、ビデオストリームが多層コーディングスキームを使用して符号化されていると判定することに応答して、ビデオストリームを処理して、多層コーディングスキームのベースストリーム及び改良ストリームを抽出することと、クライアントデバイスのオペレーティングシステムによって実施される復号化機能の更なる呼び出しを使用してベースストリームを復号化して、復号化されたベースストリームを生成することと、符号化された改良ストリームを復号化して、復号化された改良ストリームを生成することと、復号化された改良ストリームを復号化されたベースストリームに適用して、復号化されたビデオストリームデータを生成することと、復号化されたビデオストリームデータを、メディアプレーヤライブラリによって実施される復号化機能に返すことと、を含む。

クライアントデバイスは、Ａｐｐｌｅ（登録商標）デバイスであってもよい。オペレーティングシステムは、ｉＯＳ、ｍａｃＯＳ（登録商標）、又はｔｖＯＳなどのＡｐｐｌｅ（登録商標）によって開発されたオペレーティングシステムであり得る。メディアプレーヤライブラリは、ｌｉｂｖｌｃであり得る。多層コーディング方式は、ＭＰＥＧ－５ Ｐａｒｔ ２ Ｌｏｗ Ｃｏｍｐｌｅｘｉｔｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｖｉｄｅｏ Ｅｎｃｏｄｉｎｇ（ＬＣＥＶＣ）であり得る。

符号化された改良ストリームの復号化は、多層復号化機能を使用して実行され得る。多層復号化機能は、ベースストリームに対してオペレーティングシステムビデオ復号化機能の呼び出しを含み得、オペレーティングシステムビデオ復号化機能の呼び出しの出力に改良ストリームの復号化されたバージョンを適用して、復号化されたビデオストリームデータを生成するように構成され得る。

方法は、ＬＣＥＶＣなどの多層コーディングスキームをサポートする修正されたビデオツールボックスモジュール内で実行され得る。修正されたビデオツールボックスモジュールは、ＶＬＣＫｉｔラッパーを介してアクセスされ得る。修正されたビデオツールボックスモジュールは、１つ以上のパッチをｌｉｂｖｌｃに適用することによって、例えば、１つ以上のＬＣＥＶＣ固有パッチをｌｉｂｖｌｃに適用することによって取得することができる。ビデオツールボックスモジュールへの修正は、ＬＣＥＶＣスキームを使用して符号化されたビデオストリームを復号化する機能を提供するＡｐｐｌｅ（登録商標）のＶＴＤｅｃｏｍｐｒｅｓｓｉｏｎＳｅｓｓｉｏｎオブジェクトの一般化を作成することを含み得る。

方法は、ＶＬＣＫｉｔのインスタンスを作成することを更に含み得る。符号化されたビデオストリームは、ＣＭＳａｍｐｌｅＢｕｆｆｅｒｓに分離され得る。方法は、ビデオストリームがＬＣＥＶＣを使用して符号化されているかどうかを判定することを更に含み得る。ビデオストリームがＬＣＥＶＣを使用して符号化されていると判定される場合、方法は、ビデオストリームからＬＣＥＶＣペイロードを抽出することを含み得る。ＬＣＥＶＣペイロードは、ＶＴＤｅｃｏｍｐｒｅｓｓｉｏｎＳｅｓｓｉｏｎオブジェクトを使用して復号化され得る。方法は、復号化されたＬＣＥＶＣペイロードを提示順に並べ替えることを更に含み得る。ビデオストリーム内の改良ストリームは、復号化され、復号化された改良ストリーム、例えば、復号化されたＬＣＥＶＣペイロードに適用され、復号化されたビデオストリームを生成し得る。ビデオストリームがＬＣＥＶＣを使用して符号化されていないと判定される場合、方法は、ＶＴＤｅｃｏｍｐｒｅｓｓｉｏｎＳｅｓｓｉｏｎオブジェクトを使用してビデオストリームを復号化することを含み得る。いずれの場合においても、方法は、復号化されたビデオストリームをＣＶＰｉｘｅｌＢｕｆｆｅｒｓとして返すことを更に含み得る。ＣＶＰｉｘｅｌＢｕｆｆｅｒｓが正しい順序であるかどうかを判定し得る。ＣＶＰｉｘｅｌＢｕｆｆｅｒｓが正しい順序ではないと判定された場合、ＣＶＰｉｘｅｌＢｕｆｆｅｒｓは、提示順に並べ替えられ得る。方法は、提示のために、復号化されたビデオストリームをデキューすることを更に含み得る。

本開示の第２の態様によれば、クライアントデバイスが提供される。クライアントデバイスは、オペレーティングシステムビデオ復号化機能を含むオペレーティングシステムと、ビデオを表示するためのクライアントアプリケーションと、クライアントアプリケーションによって使用されるためのメディアプレーヤビデオ復号化機能を含むメディアプレーヤライブラリとを備え、メディアプレーヤビデオ復号化機能は、オペレーティングシステムビデオ復号化機能の呼び出しを含む。メディアプレーヤビデオ復号化機能は、多層コーディングスキームを使用して符号化されたビデオストリームの受信時に多層復号化機能を選択的に実施するオペレーティングシステムビデオ復号化機能のラッパーを含むように修正され、ビデオストリームは、ベースストリーム及び改良ストリームを含み、多層復号化機能は、ベースストリームに対するオペレーティングシステムビデオ復号化機能の呼び出しを含み、多層復号化機能は、オペレーティングシステムビデオ復号化機能の呼び出しの出力に改良ストリームの復号化されたバージョンを適用して、復号化されたビデオストリームデータを生成するように構成され、多層復号化機能は、復号化されたビデオストリームデータをクライアントアプリケーションによって使用されるためのメディアプレーヤビデオ復号化機能に返すように更に構成される。

クライアントデバイスは、Ａｐｐｌｅ（登録商標）デバイスであってもよい。オペレーティングシステムは、ｉＯＳ、ｍａｃＯＳ（登録商標）、又はｔｖＯＳなどのＡｐｐｌｅ（登録商標）によって開発されたオペレーティングシステムであり得る。メディアプレーヤライブラリは、ｌｉｂｖｌｃであり得る。多層コーディング方式は、ＬＣＥＶＣであり得る。

メディアプレーヤビデオ復号化機能は、ＬＣＥＶＣなどの多層コーディングスキームをサポートする修正されたビデオツールボックスモジュールを含むことができる。修正されたビデオツールボックスモジュールは、ＶＬＣＫｉｔラッパーを介してアクセスされ得る。修正されたビデオツールボックスモジュールは、１つ以上のパッチをｌｉｂｖｌｃに適用することによって、例えば、１つ以上のＬＣＥＶＣ固有パッチをｌｉｂｖｌｃに適用することによって取得することができる。ビデオツールボックスモジュールへの修正は、ＬＣＥＶＣスキームを使用して復号化されたビデオストリームを復号化する機能を提供するＡｐｐｌｅ（登録商標）のＶＴＤｅｃｏｍｐｒｅｓｓｉｏｎＳｅｓｓｉｏｎオブジェクトの一般化を作成することを含み得る。

クライアントデバイスは、符号化されたビデオストリームをＣＭＳａｍｐｌｅＢｕｆｆｅｒｓに分離するためのデマルチプレクサを更に含み得る。修正されたビデオツールボックスモジュールは、ビデオストリームがＬＣＥＶＣを使用して符号化されているかどうかを判定し得る。ビデオストリームがＬＣＥＶＣを使用して符号化されていると判定される場合、ＬＣＥＶＣペイロードは、ビデオストリームから抽出されてもよい。ＬＣＥＶＣペイロードは、ＶＴＤｅｃｏｍｐｒｅｓｓｉｏｎＳｅｓｓｉｏｎオブジェクトを使用して復号化され得る。この場合、修正されたビデオツールボックスモジュールは、復号化されたＬＣＥＶＣペイロードを提示順に並べ替え得る。ビデオストリーム内の改良ストリームは、復号化され得、復号化された改良ストリーム、例えば、復号化されたＬＣＥＶＣペイロードに適用され、復号化されたビデオストリームを生成し得る。ビデオストリームがＬＣＥＶＣを使用して符号化されていないと判定された場合、ビデオストリームは、ＶＴＤｅｃｏｍｐｒｅｓｓｉｏｎＳｅｓｓｉｏｎオブジェクトを使用して復号化され得る。いずれの場合も、復号化されたビデオストリームは、ＣＶＰｉｘｅｌＢｕｆｆｅｒｓとして返され得る。ＣＶＰｉｘｅｌＢｕｆｆｅｒｓが正しい順序であるかどうかを判定し得る。ＣＶＰｉｘｅｌＢｕｆｆｅｒｓが正しい順序ではないと判定された場合、ＣＶＰｉｘｅｌＢｕｆｆｅｒｓは、提示順に並べ替えられ得る。復号化されたビデオストリームは、提示のためにデキューされ得る。

本開示の第３の態様によれば、第１の態様の方法を実行するために、少なくとも１つのプロセッサによって実行可能な命令を記憶するコンピュータ可読記憶媒体が提供される。

更なる特徴は、添付の図面を参照して行われる、例としてのみ与えられる以下の説明から明らかになるであろう。

クライアントデバイス上でビデオストリームを復号化するための例示的なシステムの概略図である。 実施例による、クライアントデバイス上でビデオストリームを復号化する方法のフロー図である。 更なる実施例による、クライアントデバイス上でビデオストリームを復号化する方法のフロー図である。 ビデオを復号化するための例示的なコンピュータシステムレベルの階層である。

デジタル信号の符号化は、圧縮とも呼ばれ、元の信号、例えば元のビデオを表すために使用されるよりも少ない情報ビットを使用してデジタル信号の表現を生成するプロセスである。符号化プロセスは、元の信号と生成された表現との間で情報が失われるときにロッシーとして記述され得る。代替的に、元の信号と生成された表現との間で情報が失われない場合、符号化プロセスはロスレスであると記述され得る。例えば、ビデオコンテンツを表現する符号化されていないデジタル信号は、高いデータ伝送速度を必要とし、したがって、しばしば符号化される。

デジタルビデオコンテンツの符号化及び復号化において、典型的には、ビデオ品質の向上と符号化及び復号化の複雑度との間のトレードオフが存在する。しかしながら、ＷＯ／２０２０／１８８２７３Ａ１、及び参照により本明細書に組み込まれる、２０２０年１月１３日月曜日から２０２０年１月１７日金曜日にかけてブリュッセルで開催されたＭＰＥＧ １２９ ｍｅｅｔｉｎｇ ｉｎ Ｂｒｕｓｓｅｌｓで公開されたＤｒａｆｔ Ｔｅｘｔ ｏｆ ＩＳＯ／ＩＥＣ ＤＩＳ２３０９４－２ Ｌｏｗ Ｃｏｍｐｌｅｘｉｔｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇを含む関連する規格仕様文書に詳細が記載されているＭＰＥＧ－５ Ｐａｒｔ ２ Ｌｏｗ Ｃｏｍｐｌｅｘｉｔｙ Ｅｎｈａｎｃｅｍｅｎｔ Ｖｉｄｅｏ Ｅｎｃｏｄｉｎｇ（ＬＣＥＶＣ）の出現によって、現在では、ビデオ品質を改善し、コーデックの複雑度を低減させることが可能である。これは、基本コーデック（例えば、高度ビデオコーディング（ＡＶＣ、Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、高効率ビデオコーディング（ＨＥＶＣ、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ））、又は任意の他の現在若しくは将来のコーデック）を使用して符号化された基本ストリームを、コーディングされたデータの少なくとも１つの拡張レベルを含む改良ストリームと組み合わせることによって達成される。

ベースストリームを改良ストリームと組み合わせることにより、ベースストリームをより低い解像度で送信することができ、データ通信ネットワーク上の帯域幅要件を低減させる。代替的に、ビデオコンテンツを同じ帯域幅についてより高い解像度で送信し、ベースストリームを改良ストリームと組み合わせずに可能なよりも高い品質のビデオを生成することができる。

これにより、ビデオ品質及び複雑度の低減に関するこれらの利点が可能になるが、クライアントデバイスにＬＣＥＶＣを実装するためのアプローチ、特に、コーディングスキームをメディアプレーヤ機能及びそのようなデバイスのオペレーティングシステムビデオ復号化機能と統合するためのアプローチが依然として必要である。

図１は、例示的なクライアントデバイス１００の概略図である。クライアントデバイスは、任意の世代のｉＰｈｏｎｅ（登録商標）、ｉＰａｄ（登録商標）、又はラップトップ若しくはデスクトップコンピュータなどの別のコンピューティングデバイスなどのモバイルデバイスであり得る。クライアントデバイスは、典型的には、１つ以上のプロセッサ、メモリ、ユーザインタフェース（ＵＩ、ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）、及び／又は少なくとも１つのグラフィックス処理ユニット（ＧＰＵ、ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）などの、データ処理を容易にするための適切なハードウェアコンポーネントを備える。

クライアントデバイス１００は、オペレーティングシステム１０２を含み、オペレーティングシステム１０２は、例えば、クライアントデバイス１００のハードウェア及びソフトウェアリソースの管理を含む、クライアントデバイス１００の基本的な機能をサポートするクライアントデバイス１００のシステムソフトウェアである。オペレーティングシステム１０２は、符号化されたビデオコンテンツの復号化に使用されるためのオペレーティングシステムビデオ復号化機能１０４を含む。オペレーティングシステムビデオ復号化機能１０４は、オペレーティングシステムによって実施される復号化機能と称され得る。オペレーティングシステム１０２は、それ自身のオペレーティングシステムビデオ復号化機能１０４を含むので、オペレーティングシステム１０２は、例えば、特定のコーデックを使用して符号化されたビデオストリームを復号化するためのネイティブサポートを有する。クライアントデバイスがＡｐｐｌｅ（登録商標）デバイスである場合、オペレーティングシステムは、米国のＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ Ｉｎｃ．によって開発されたオペレーティングシステムの対応するバージョンであり得る。例えば、クライアントデバイスがｉＰｈｏｎｅ（登録商標）である場合、オペレーティングシステムは、ｉＯＳの任意のバージョンであり得る。別の実施例では、クライアントデバイスは、任意のＡｐｐｌｅ（登録商標）Ｍａｃ（登録商標）デバイスであり得、この場合、オペレーティングシステムは、任意のバージョンのｍａｃＯＳ（登録商標）であり得る。更なる例では、クライアントデバイスは、Ａｐｐｌｅ（登録商標）ＴＶデバイスであってもよく、この場合、オペレーティングシステムは、ｔｖＯＳの任意のバージョンであってもよい。

クライアントデバイス１００は、ビデオを表示するためのクライアントアプリケーション１０６を更に備える。クライアントアプリケーション１０６は、クライアントデバイス１００上の任意のソフトウェアアプリケーションであってもよく、クライアントデバイス１００に結合された、又はクライアントデバイス１００内に組み込まれたディスプレイ上でビデオをレンダリングする、又は他の方法で表示するのに使用可能である。クライアントアプリケーションは、アプリケーション自体に埋め込まれた、又は他の方法で含まれたビデオコンテンツを含めることが一般的である。一例は、クライアントアプリケーション１０６がどのように使用されるかをユーザに説明するクライアントアプリケーション１０６内のビデオチュートリアルであり得る。別の例は、ユーザがソーシャルメディアアプリケーションの他のユーザによってアップロードされたビデオコンテンツを視聴することを可能にするソーシャルメディアアプリケーションである。

クライアントデバイス１００はまた、メディアプレーヤライブラリ１０８を含み、メディアプレーヤライブラリ１０８は、この実施例では、クライアントアプリケーション内にビデオコンテンツを表示するためのリソースの少なくとも一部を提供する。メディアプレーヤライブラリ１０８は、ビデオなどのメディアを再生するために、オペレーティングシステム１０２のメディアプレーヤに関連付けられている。

メディアプレーヤライブラリ１０８は、メディアプレーヤビデオ復号化機能１１０を含み、メディアプレーヤビデオ復号化機能１１０は、メディアプレーヤライブラリによって実施される復号化機能と呼ばれることがあり、（この場合、オペレーティングシステムビデオ復号化機能１０２とともに）符号化されたビデオコンテンツを復号化する際にクライアントアプリケーション１０６によって使用されるための機能である。メディアプレーヤビデオ復号化機能１１０は、オペレーティングシステムビデオ復号化機能１０２の呼び出しを含む。これにより、メディアプレーヤライブラリ１０８は、オペレーティングシステム１０２の復号化機能にアクセスすることができる。

メディアプレーヤビデオ復号化機能１１０は、多層コーディングスキームを使用して符号化されたビデオストリームを受信すると、多層復号化機能を選択的に実装する、オペレーティングシステムビデオ復号化機能１０４用のラッパーを含むように修正される。このように、多層復号化機能は、特定のビデオ（多層コーディングスキームを使用して符号化されたものなど）に対して利用され得る。他のビデオには、異なる復号化機能を使用できる。例えば、変更されないメディアプレーヤビデオ復号化機能１１０に対応するレガシー復号化機能は、多層コーディングスキームとは異なるスキームを使用して符号化されたビデオに対して使用され得る。

実施例では、多層コーディングスキームを使用して符号化されたビデオストリームは、基本ストリームと、改良ストリームとを含む。ベースストリームは、例えば、ダウンサンプリングされたソース信号であり、ベースコンプレッサとしても知られているベースエンコーダを使用して符号化され、デコンプレッサとしても知られているデコーダによって復号化可能である。ベースエンコーダは、高度ビデオコーディング（ＡＶＣ）、高効率ビデオコーディング（ＨＥＶＣ）、ＶＰ９、ＭＰＥＧ－５必須ビデオコーディング（ＥＶＣ、ＭＰＥＧ－５ Ｅｓｓｅｎｔｉａｌ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、汎用ビデオコーディング（ＶＶＣ、Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、及びＡＯＭｅｄｉａビデオ１（ＡＶ１、ＡＯＭｅｄｉａ Ｖｉｄｅｏ １）エンコーダなどの任意のベースエンコーダとすることができる。既存のベースエンコーダ（及びデコーダ）を符号化（及び復号化）手順の一部として使用すると、多層ビデオコンテンツを復号化することができないシステムが、既存のベースコーデックを使用してベースストリームを確実に復号化できるようになる。これは、多層コーディングスキームを使用して符号化されたビデオストリームを復号化するためにハードウェアへの更新が必要とされないことを意味し、クライアントデバイス１００などのシステムのハードウェアが将来のベースコーデックと互換性があるようにアップグレードされる場合、将来のベースコーデックも、更なるハードウェアアップグレードなしで使用され得ることを意味する。

オペレーティングシステムビデオ復号化機能１０４は、ベースストリームを復号化するように構成される。例えば、オペレーティングシステムビデオ復号化機能１０４は、高度ビデオコーディング（ＡＶＣ）、高効率ビデオコーディング（ＨＥＶＣ）、ＶＰ９、ＭＰＥＧ－５必須ビデオコーディング（ＥＶＣ）、汎用ビデオコーディング（ＶＶＣ）、及びＡＯＭｅｄｉａビデオ１（ＡＶ１）デコーダのうちの少なくとも１つを含み得る。オペレーティングシステムビデオ復号化機能１０４は、ハードウェアデコーダを備え得るため、オペレーティングシステムビデオ復号化機能１０４は、ベースストリームを復号化するためのハードウェアアクセラレーションを利用することができる。この場合、復号化をハードウェアにオフロードすることによって、クライアントデバイス１００の中央処理ユニット（ＣＰＵ）によって実行される計算の数を減らすことができる。ハードウェアアクセラレーションは、例えば、動き補償などの計算集約的なプロセスを伴う復号化プロセスを実施し、逆離散コサイン変換を計算する、より効率的な方法を提供し得る。

改良ストリームは、ベースストリームを補正するか、又は他の場合には改良する残差の符号化されたセットを含む。階層構造内に複数のレベルの改良データが存在し得る。改良ストリームは、非圧縮全解像度ビデオから改良ストリームを生成するように構成された専用エンコーダを使用して符号化され得る。

ＬＣＥＶＣ改良ストリームは、多層コーディングスキームを使用して符号化されたビデオストリームの例である。この場合、ビデオストリームは、ＬＣＥＶＣエンコーダによって符号化され、特に、ベースストリームは、ベースエンコーダを使用して符号化され、ＬＣＥＶＣエンコーダは、ベースデコーダの出力を使用して、改良ストリームを生成する。例えば、符号化されたベースストリームは、ベースデコーダを使用して復号化されてもよく、復号化されたベースストリームからのフレームは、元の入力フレーム（事前ベース符号化）とともにＬＣＥＶＣエンコーダによってアクセスされて、改良ストリームの１つ以上のレイヤとして符号化するための残差データの１つ以上のレイヤを生成してもよい。しかしながら、本明細書の例は、他の多層コーディングスキームを使用して符号化されたビデオストリームにも適用され得る。

メディアプレーヤビデオ復号化機能１１０は、オペレーティングシステムビデオ復号化機能１０４のためのラッパーを含むように修正される。これにより、メディアプレーヤビデオ復号化機能１１０は、オペレーティングシステムビデオ復号化機能１０４を呼び出し、オペレーティングシステムビデオ復号化機能１０４のリソースを利用することができる。オペレーティングシステムビデオ復号化機能１０４のリソースは、例えば、受信された符号化されたビデオストリームが多層復号化機能を使用して符号化されると判定されたときに、メディアプレーヤビデオ機能１１０によって、多層復号化機能を使用して、多層コーディングスキームによって符号化されたビデオストリームを選択的に復号化するために使用され得る。

多層復号化機能は、ベースストリームに関するオペレーティングシステムビデオ復号化機能１０４の呼び出しを含む。上述のように、オペレーティングシステムビデオ復号化機能１０４は、符号化されたベースストリームを復号化するように動作可能である。したがって、多層復号化機能からオペレーティングシステムビデオ復号化機能１０４の呼び出しは、多層コーディングスキームによって符号化されたビデオストリームのベースストリームを復号化することを可能にする。言い換えれば、オペレーティングシステム１０２のネイティブ復号化機能を利用して、ベースストリームを復号化することができる。

実施例では、多層復号化機能はまた、多層コーディングスキームによって符号化されたビデオストリームの改良ストリームを復号化して、改良ストリームの復号化されたバージョンを生成するように動作可能である。このようにして、メディアプレーヤビデオ復号化機能１１０を修正して、オペレーティングシステムビデオ復号化機能１０４のラッパーを含み、多層復号化機能を選択的に実装することにより、改良ストリームを復号化することができる。このことは、例えば、多層コーディングスキームなどのより高度なコーデックを使用して符号化されたビデオストリームを復号化することを可能にすることによって、メディアプレーヤビデオ復号化機能１１０の機能を増大させる。実施例では、メディアプレーヤビデオ復号化機能１１０の機能は、メディアプレーヤライブラリ１０８及びオペレーティングシステム１０２の既存の機能を直接的かつ柔軟な方法で利用することによって、クライアントデバイス１００の基礎的なハードウェアを変更することなく、この方法で増大させることができる。例えば、オペレーティングシステムビデオ復号化機能１０４のラッパーは、直接に変更され得、それによって、例えば、多層復号化機能は、メディアプレーヤライブラリ１０８及び／又はオペレーティングシステム１０２の基礎的な機能を変更することなく、異なる多層復号化スキームを使用して符号化されたビデオを復号化するように動作可能になる。

これらの実施例では、次いで、多層復号化機能は、オペレーティングシステムビデオ復号化機能１０４の呼び出しの出力に、強調ストリームの復号化されたバージョンを適用して、復号化されたビデオストリームデータを生成する。これは、復号化されたベースストリーム、及び改良ストリームの復号化されたバージョンを、単一の復号化されたビデオストリームに組み合わせ、単一の復号化されたビデオストリームは、典型的には、復号化されたベースストリームよりも高品質を有する。例えば、改良ストリームの復号化されたバージョンは、出力復号化されたビデオストリームを生成するために復号化されたベースストリームに追加される残差データの１つ以上のレイヤを含み得る。

多層復号化機能は、復号化されたビデオストリームデータを、クライアントアプリケーション１０６によって使用されるためのメディアプレーヤビデオ復号化機能１１０に返すように更に構成される。例えば、復号化されたビデオストリームデータは、例えば、クライアントデバイス１００に結合されたディスプレイを使用して、クライアントアプリケーション１０６内に表示され得る。

いくつかの実施例では、多層復号化機能は、復号化されたベースストリームのフレームを並べ替える。これは、復号化されたベースストリーム内のフレームの順序が、関連付けられた非圧縮全解像度ビデオの順序と異なる場合であり得る。このことは、ベースストリームを復号化すると、復号化されたベースストリームのフレームが並べ替えられる場合に起こる可能性がある。改良ストリームが欠如している実施例では、ベースストリームは、受信されたビデオストリームデータ内の唯一のビデオストリームであり得るため、フレームの並べ替えは、ビデオコンテンツが表示される前の最終ステップであり得る。しかしながら、本実施例では、復号化されたベースストリームが、復号化された改良ストリームと組み合わされる。したがって、ベースストリームが復号化された後、復号化されたベースストリームのフレームを並べ替えて、改良ストリームの関連する復号化されたバージョンが復号化されたベースストリームに確実に適用されて、最終的な復号化されたビデオストリームデータを生成し、次に適切な順序で表示されるようにする必要があり得る。

一実施例では、オペレーティングシステムビデオ復号化機能１０４の少なくとも１つの内部メソッドは、クライアントアプリケーション１０６及びメディアプレーヤライブラリ１０８のうちの少なくとも一方に利用可能ではなく、したがって、制限された機能であるとみなされ得る。例えば、オペレーティングシステムビデオ復号化機能１０４の少なくとも１つの基礎的なルーチンへのアクセスは、オペレーティングシステム１０２の開発者によって制限され得る。しかしながら、クライアントアプリケーション１０６及び／又はメディアプレーヤライブラリ１０８は、基礎的なルーチンへのそのようなアクセスにかかわらず、オペレーティングシステムビデオ復号化機能１０４を呼び出し得る。言い換えれば、クライアントアプリケーション１０６及び／又はメディアプレーヤライブラリ１０８は、内部メソッド自体によって提供される機能に別々にアクセスできることなく、オペレーティングシステムビデオ復号化機能１０４によって提供される機能（オペレーティングシステムビデオ復号化機能１０４の内部メソッドを呼び出すことを含み得る）にアクセスすることができる。

ここで、多層コーディングスキームを使用して符号化されたビデオストリームが、図１に示されるクライアントデバイス１００などのクライアントデバイス内で復号化されるプロセスを、方法２００に関して更に詳細に説明する。

図２のブロック２０２では、クライアントデバイス上で利用可能なメディアプレーヤライブラリによって実施される復号化機能が、クライアントデバイス上のクライアントアプリケーションから呼び出される。上で説明されるように、クライアントアプリケーションは、クライアントデバイスのユーザに見えるビデオコンテンツを含み得る。クライアントアプリケーション内のビデオコンテンツを表示するために、クライアントアプリケーションは、メディアプレーヤライブラリの呼び出しを含む。メディアプレーヤライブラリは、クライアントアプリケーション内にビデオコンテンツを表示するために必要なリソースの少なくとも一部を含む。

メディアプレーヤライブラリによって実施される復号化機能は、クライアントデバイスのオペレーティングシステムによって実施される復号化機能の更なる呼び出しを含む。オペレーティングシステムは、オペレーティングシステムによって実施される復号化機能を含み、復号化機能は、例えば、ビデオストリームの符号化されたベースストリームを復号化するためのリソースを含む。

ブロック２０４において、メディアプレーヤライブラリによって実施される復号化機能は、ビデオストリームが多層コーディングスキームを使用して符号化されるかどうかの判定を含むように修正される。上述したように、多層コーディングスキームは、ＬＣＥＶＣスキームであってもよい。判定は、ビデオストリームの少なくとも１つの特性を検出することを含み得る。例えば、ビデオストリームは、ビデオストリームが多層コーディングスキームを使用して符号化されていることを示すメタデータを含み得る。判定は、代替的又は追加的に、ビデオストリームが改良ストリームを含むかどうかを検出することを含み得る。

ビデオストリームが多層コーディングスキームを使用して符号化されていると判定された場合、方法２００はブロック２０６に進み、このブロック２０６では、ビデオストリームが処理されて、多層コーディングスキームのベースストリーム及び改良ストリームが抽出される。このことは、専用の信号抽出器又はクライアントデバイスの別の論理コンポーネントの一部を形成する信号抽出器などの好適な信号抽出器を使用して実行することができる。

ブロック２０８において、ベースストリームは、オペレーティングシステムによって実施される復号化機能の更なる呼び出しを使用して復号化される。言い換えれば、オペレーティングシステムのネイティブリソースを使用して、ベースストリームを復号化することができる。

ブロック２１０において、改良ストリームが復号化される。改良ストリームは、ブロック２０４において修正されたメディアプレーヤによって実施される復号化機能によって復号化され得る。次いで、復号化された改良ストリームは、復号化されたベースストリームに適用されて、復号化されたビデオストリームデータを生成する。例えば、改良ストリームは、多層ビデオストリームを復号化するための好適な復号化機能を含む多層デコーダライブラリの呼び出しを使用して、復号化されたベースストリームに復号化及び適用され得る。ブロック２０４においてメディアプレーヤによって実施される復号化機能の修正は、例えば、メディアプレーヤによって実施される復号化機能を修正して、多層デコーダライブラリへのアクセスを提供することを含む。

ブロック２１２において、復号化されたビデオストリームデータは、メディアプレーヤライブラリによって実施される復号化機能に返される。次いで、クライアントアプリケーションは、復号化されたビデオストリームを受信し、クライアントアプリケーション内に表示することができる。

しかしながら、ビデオストリームが多層コーディングスキームを使用して符号化されていないと判定された場合、方法２００は、ブロック２１４に進む。方法２００のブロック２１４において、ビデオストリームは、オペレーティングシステムによって実施される復号化機能の更なる呼び出しを使用して復号化される。メディアプレーヤライブラリによって実施される復号化機能の修正は、ベースストリームを復号化するオペレーティングシステムの復号化機能の能力に影響を及ぼさない。したがって、符号化されたビデオストリームがＬＣＥＶＣなどの多層コーディングスキームを使用して符号化されていない場合、オペレーティングシステムによって実施される復号化機能は、メディアプレーヤによって実施される復号化機能に修正が加えられていないかのように、符号化されたビデオストリームを復号化することができる。次いで、符号化されたビデオストリームは、メディアプレーヤによって実施される復号化機能に渡され、復号化されて、復号化されたビデオストリームを取得することができる。したがって、復号化されたビデオストリームは、クライアントアプリケーションに渡され、クライアントアプリケーションによって表示することができる。したがって、方法２００は、符号化されたビデオストリームがベースコーデックのみを使用して符号化されるか、又は多層コーディングスキームを使用して符号化されるかにかかわらず、符号化されたビデオストリームが復号化されることを可能にする。方法２００は、例えば、オペレーティングシステムのハードウェアを変更することなく、オペレーティングシステム内の既存の機能を利用する、符号化されたビデオを復号化する効率的なプロセスを提供する。

復号化されたビデオストリームデータが、メディアプレーヤライブラリによって実施される復号化機能に返された後（例えば、図２のブロック２１２において、又は図２のブロック２１４が実行された後）、メディアプレーヤライブラリによって実施される復号化機能は、復号化されたビデオストリームデータのフレームを並べ替え得る。これは、ベースストリームを復号化すること、又は復号化されたベースストリームに復号化された改良ストリームを適用して、復号化されたビデオストリームデータを生成することにより、復号化されたビデオストリーム内のフレームの順序が、関連付けられた非圧縮全解像度ビデオ内のフレームの順序とは異なる場合に当てはまり得る。復号化されたビデオストリームデータのフレームを並べ替えることによって、ビデオストリームの表示されたフレームは、再生時に確実に正しい順序で表示される。いくつかの例では、同様の並べ替えが、代替的に、ベースストリームが図２のブロック２０８において復号化された後に実行され得る。

一実施例では、図２の方法２００のブロック２０４において復号化機能を修正することは、パッチをメディアプレーヤライブラリに適用することを含む。例えば、パッチは、メディアプレーヤライブラリの機能を改善し、例えば、オペレーティングシステムによって実施される復号化機能などのオペレーティングシステムリソースを使用して、多層コーディングスキームを使用して符号化されたビデオストリームの復号化をサポートすることを可能にする。パッチをメディアプレーヤライブラリに適用することは、メディアプレーヤライブラリによって実施される復号化機能のためのコンピュータプログラムコードを含むファイルを修正することと、クライアントデバイスのオペレーティングシステムによって実施される復号化機能のための更なるファイルを追加することとを含み得る。

いくつかの場合には、メディアプレーヤライブラリによって実施される復号化機能を修正することは、追加的に、オペレーティングシステムによって実施される復号化機能にラッパーを適用する（例えば、図１を参照して説明されるように）ことを含み、多層復号化機能を選択的に実装する（例えば、図２のブロック２０４～２１２を実行する）。ラッパーは、例えば、オペレーティングシステムによって実施される復号化機能を使用して多層復号化機能を実行することを可能にする。例えば、ラッパーは、オペレーティングシステムによって実施される復号化機能へのインタフェースとして機能し得、それによって、（例えば、オペレーティングシステムによって実施される復号化機能を使用して）ベースストリームを復号化し、（例えば、多層デコーダライブラリの呼び出しを使用して）改良ストリームを復号化し、復号化されたベースストリーム及び復号化された改良ストリームを組み合わせて、復号化されたビデオストリームデータを取得する（これは、多層デコーダライブラリの呼び出し又は更なる呼び出しを使用して実行され得る）。

図２の方法２００は、クライアントデバイスの適切に構成されたソフトウェア又はハードウェアを使用して実施され得る。代替的に、１つ以上のプロセッサ（例えば、好適なクライアントデバイス）によって処理されたときに、方法２００を実装する命令は、コンピュータ可読記憶媒体上に記憶され得る。

図３は、方法２００を例示的に実施する方法３００を示し、この場合、オペレーティングシステムは、ｉＯＳ、ｍａｃＯＳ（登録商標）及びｔｖＯＳなどの米国のＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ Ｉｎｃ．によって開発されたオペレーティングシステムであり、多層コーディングスキームはＬＣＥＶＣである。方法３００は、ビデオツールボックスモジュール３２４内のプロセスを説明する。図３のビデオツールボックスモジュール３２４は、ＶＬＣＫｉｔラッパーを介してアクセスされる、ビデオツールボックス機能の修正版である。ビデオツールボックス機能は、ＶＴ－ビデオツールキット－Ａｐｐｌｅ（登録商標）によって開発されたオペレーティングシステムとともに使用されるためのメディアライブラリ機能である。ＶＬＣＫｉｔは、ｌｉｂｖｌｃの外部インタフェース用のラッパーである。ｌｉｂｖｌｃは、Ａｐｐｌｅ（登録商標）デバイスとともに使用され得るＶＬＣメディアプレーヤのコアライブラリであり、ｌｉｂｖｌｃはシステムレベルのライブラリを提供する実行可能ファイルとして実装され得る。修正されていない、ビデオツールボックスモジュール３２４は、前述のベースストリームなどの符号化ビデオストリームを復号化するハードウェアアクセラレートフレームワーク（Ａｐｐｌｅ（登録商標）によって開発されたオペレーティングシステムの一部を形成するＡｐｐｌｅ（登録商標）からのビデオツールキット）の使用を可能にする。本例は、フレームワークが多層コーディングスキーム（この場合、ＬＣＥＶＣ）をサポートするように修正され得ることを可能にするように、ビデオツールボックスモジュール３２４を修正する。修正は、１つ以上のＬＣＥＶＣ固有のパッチをｌｉｂｖｌｃに適用することによって、例えば、ＶＬＣｋｉｔインスタンスを構築する前に、パッチを適切なフォルダに配置することによって実施され得る。これにより、ビデオツールボックスがＬＣＥＶＣ拡張ビデオストリームを復号化できるようにするために必要な変更が提供される。

この変更は、ＬＣＥＶＣ ＤｅｃｏｍｐｒｅｓｓｉｏｎＳｅｓｓｉｏｎ ３２６の作成を伴い、ＬＣＥＶＣ ＤｅｃｏｍｐｒｅｓｓｉｏｎＳｅｓｓｉｏｎ ３２６は、変更されていないビデオツールボックスモジュール内のＡｐｐｌｅ（登録商標）ＶＴＤｅｃｏｍｐｒｅｓｓｉｏｎＳｅｓｓｉｏｎオブジェクトの一般化であり、ＬＣＥＶＣスキームを使用して符号化されたビデオストリームを復号化する機能を提供する。この実施例では、ＬＣＥＶＣ ＤｅｃｏｍｐｒｅｓｓｉｏｎＳｅｓｓｉｏｎ ３２６はまた、他のスキーム（単層コーディングスキームなど）を使用して符号化されたビデオストリームを復号化することを可能にする。

ＶＴＤｅｃｏｍｐｒｅｓｓｉｏｎＳｅｓｓｉｏｎは、ビデオツールボックスによって提供されるセッションオブジェクトであり、ビデオデータの解凍を管理し、かつＶＴＤｅｃｏｍｐｒｅｓｓｉｏｎＳｅｓｓｉｏｎは、ベースストリームを復号化するためにＡｐｐｌｅ（登録商標）によって開発されたオペレーティングシステムに組み込まれたオペレーティングシステムビデオ復号化機能である。ＬＣＥＶＣ ＤｅｃｏｍｐｒｅｓｓｉｏｎＳｅｓｓｉｏｎ ３２６では、ＶＴＤｅｃｏｍｐｒｅｓｓｉｏｎＳｅｓｓｉｏｎは、修正されていないＶｉｄｅｏ Ｔｏｏｌｂｏｘモジュールのように、ベースストリームを復号化するために利用される。ＬＣＥＶＣ ＤｅｃｏｍｐｒｅｓｓｉｏｎＳｅｓｓｉｏｎ３２６は、ＬＣＥＶＣ符号化ストリームを復号化するために必要とされる追加の構造を更に備える。ＬＣＥＶＣ ＤｅｃｏｍｐｒｅｓｓｉｏｎＳｅｓｓｉｏｎ３２６について、図３の方法３００を参照して説明する。

方法３００は、ＶＬＣＫｉｔ ３０２のインスタンスを作成することを含む。この場合、メディアプレーヤはＶＬＣであり、ｌｉｂｖｌｃは、ＶＬＣＫｉｔ ３００ラッパーを介してアクセス可能なメディアプレーヤライブラリである。ｌｉｂｖｌｃライブラリは、メディアプレーヤビデオ復号化機能を含む。

ブロック３０４において、受信された符号化されたビデオストリームは、ＣＭＳａｍｐｌｅＢｕｆｆｅｒｓ内に分離される。ＣＭＳａｍｐｌｅＢｕｆｆｅｒｓは、ビデオのサンプルを含むオブジェクトであり、メディアサンプルデータを、メディアパイプラインを介して移動させるために使用される。次いで、ビデオストリームは、ＬＣＥＶＣ ＤｅｃｏｍｐｒｅｓｓｉｏｎＳｅｓｓｉｏｎ ３２６モジュールによって処理される。

ブロック３０６において、方法２００のブロック２０４と同様に、ビデオストリームがＬＣＥＶＣを使用して符号化されているかどうかが判定される。ビデオストリームがＬＣＥＶＣを使用して符号化されていると判定された場合、方法３００はブロック３０８に進み、ＬＣＥＶＣペイロードがビデオストリームから抽出される。ＬＣＥＶＣペイロードは、ＬＣＥＶＣストリームのベースストリームであり、ベースコーデックを使用して符号化されている。

ブロック３１０で、ベースビデオストリームは、ＶＴＤｅｃｏｍｐｒｅｓｓｉｏｎＳｅｓｓｉｏｎを使用して復号化される。ベースビデオストリームの復号化は、復号化されたベースビデオストリームのフレームの順序を、関連付けられた符号化されていない全解像度ビデオのフレームの順序と異ならせ得る。したがって、方法３００は、復号化されたベースビデオストリームを提示順に並べ替えること３１２を含む。提示の順番は、最終的なビデオコンテンツのフレームが表示される順番に対応する。

ブロック３１４において、ブロック３０８において抽出されたＬＣＥＶＣを使用して符号化されたビデオストリーム内の改良ストリームが、復号化され、復号化された基本ビデオストリームに適用されて、復号化されたビデオストリームを生成する。方法３００のブロック３１４は、例えば、図４を参照して更に論じられるように、ＬＣＥＶＣ復号化プロセスを実装するための少なくとも１つの好適な機能にアクセスするために、多層デコーダライブラリの呼び出しを伴う。

ブロック３０６において、ビデオストリームがＬＣＥＶＣを使用して符号化されていないと判定される場合、次いで、ＶＴＤｅｃｏｍｐｒｅｓｓｉｏｎＳｅｓｓｉｏｎ ３１６オブジェクトを使用して、修正されていないビデオツールボックスモジュールケースのように、ビデオストリームを復号化する。

ブロック３１４又は３１６のいずれかの後、復号化されたビデオストリームは、ＣＶＰｉｘｅｌＢｕｆｆｅｒｓとして返される。ＣＶＰｉｘｅｌＢｕｆｆｅｒは、イメージバッファであり、ピクセルをメモリに保持する。ブロック３１８において、ＣＶＰｉｘｅｌＢｕｆｆｅｒｓが表示のための正しい順序にあるかどうかが判定される。ＣＶＰｉｘｅｌＢｕｆｆｅｒｓが正しい順序でない場合、方法３００は、ブロック３２０に進み、ここで、ＣＶＰｉｘｅｌＢｕｆｆｅｒｓは、各フレームが正しく順序付けられるように並べ替えられ、それによって、修正されていないビデオツールボックスモジュールケースのように、ビデオストリームが元のビデオの表現を提供する。

ブロック３１８において、ＣＶＰｉｘｅｌＢｕｆｆｅｒｓが正しく順序付けられていると判定される場合、方法３００は、ブロック３２２に進み、ここで、復号化されたビデオストリームは、提示のためにデキューされる。

例えば、図３のブロック３１４において実行されるように、ＬＣＥＶＣストリームがどのように復号化されるかの例が、図４に示されている。図４は、図１のクライアントデバイス１００などのクライアントデバイス上にビデオコンテンツを表示するためのコンポーネントのコンピュータシステムレベル階層４００を概略的に示す。最も高いレベルでは、クライアントアプリケーション４０２がある。これは、ビデオが表示されるソフトウェアアプリケーションである。ユーザは、クライアントデバイスに結合されたディスプレイ上でビデオを視聴することができる。クライアントアプリケーション４０２は、ＶＬＣＫｉｔ ４０４のインスタンスを使用して、ＶＬＣメディアプレーヤのコアライブラリであるｌｉｂｖｌｃ４０６とインタフェースする。コアｌｉｂｖｌｃライブラリは、メディアプレーヤ機能をクライアントアプリケーション４０２に組み込むことを可能にする実行可能なコンピュータプログラムコードを含み得る。この場合、ｌｉｂｖｌｃ４０６は、ｌｉｂｖｌｃがＬＣＥＶＣ復号化をサポートすることを可能にする１つ以上のパッチを含むように修正される。このことは、ｌｉｂｖｌｃ４０６を実施するか又はｌｉｂｖｌｃ４０６とともに動作する１つ以上のファイル及び／又はコンピュータプログラムコード部分を修正することを含み得る。ｌｉｂｖｌｃ４０６内の修正されたモジュール４０８は、符号化されたビデオストリームに関連付けられたデータを処理し、ビデオストリームの関連コンポーネントをそれぞれのデコーダ４１０に供給し、デコーダ４１０は、例えば、オペレーティングシステムビデオ復号化機能及び多層復号化機能（例えば、多層デコーダライブラリによって提供される）を含んでいた。例えば、ベースストリームは、上述のように、オペレーティングシステムビデオ復号化機能によって復号化され得る一方、改良ストリームは、１つ以上のパッチ（例えば、多層デコーダライブラリに対応する）を用いて修正されたｌｉｂｖｌｃを使用して復号化され得る。次に、復号化されたビデオコンテンツは、表示のために、クライアントアプリケーション４０２によって受信される。

上記の実施例は、例示的な例として理解されるべきである。更なる実施例が想定される。任意の１つの実施形態に関連して説明される任意の特徴が、単独で、又は説明される他の特徴と組み合わせて使用され得、また、実施例の任意の他の１つ以上の特徴、又は実施例の任意の他の任意の組み合わせと組み合わせて使用され得ることを理解されたい。更に、上記に記載されていない等価物及び修正は、添付の特許請求の範囲の範囲から逸脱せずに用いられ得る。

Claims (15)

1. クライアントデバイス上でビデオストリームを復号化する方法であって、前記方法が、
   前記クライアントデバイス上のクライアントアプリケーションから、前記クライアントデバイス上で利用可能なメディアプレーヤライブラリによって実施される復号化機能を呼び出すことであって、前記メディアプレーヤライブラリによって実施される前記復号化機能が、前記クライアントデバイスのオペレーティングシステムによって実施される復号化機能の更なる呼び出しを含む、呼び出すことと、
   前記メディアプレーヤライブラリによって実施される前記復号化機能を、前記ビデオストリームが多層コーディングスキームを使用して符号化されているかどうかの判定を含むように修正することと、
   前記ビデオストリームが多層コーディングスキームを使用して符号化されていると判定することに応答して、
   前記ビデオストリームを処理して、前記多層コーディングスキームのベースストリーム及び改良ストリームを抽出することと、
   前記クライアントデバイスの前記オペレーティングシステムによって実施される前記復号化機能の前記更なる呼び出しを使用して前記ベースストリームを復号化して、復号化されたベースストリームを生成することと、
   前記符号化された改良ストリームを復号化して、復号化された改良ストリームを生成することと、
   前記復号化された改良ストリームを前記復号化されたベースストリームに適用して、復号化されたビデオストリームデータを生成することと、
   前記復号化されたビデオストリームデータを、前記メディアプレーヤライブラリによって実施される前記復号化機能に返すことと、を含む、方法。
2. 前記ビデオストリームが前記多層コーディングスキームを使用して符号化されていないと判定することに応答して、前記オペレーティングシステムによって実施される前記復号化機能の前記更なる呼び出しを使用して前記ビデオストリームを復号化することを更に含む、請求項１に記載の方法。
3. 前記メディアプレーヤライブラリによって実施される前記復号化機能が、表示のために、前記メディアプレーヤライブラリによって実施される前記復号化機能に返される前記復号化されたビデオストリームデータのフレームを並べ替える、請求項１又は２に記載の方法。
4. 前記クライアントデバイスが、モバイルデバイスである、請求項１～３のいずれか一項に記載の方法。
5. オペレーティングシステムによって実施される前記復号化機能が、ハードウェアによりアクセラレートされる、請求項１～４のいずれか一項に記載の方法。
6. 前記クライアントデバイスの前記オペレーティングシステムが、ｉＯＳ、ｍａｃＯＳ（登録商標）、及びｔｖＯＳのうちの１つである、請求項１～５のいずれか一項に記載の方法。
7. 前記多層コーディングスキームが、低複雑度改良ビデオ符号化（ＬＣＥＶＣ）スキームである、請求項１～６のいずれか一項に記載の方法。
8. 前記復号化機能を前記修正することが、パッチを前記メディアプレーヤライブラリに適用することを含む、請求項１～７のいずれか一項に記載の方法。
9. 前記パッチを前記メディアプレーヤライブラリに適用することが、前記メディアプレーヤライブラリによって実施される前記復号化機能のためのコンピュータプログラムコードを含むファイルを修正することと、前記クライアントデバイスの前記オペレーティングシステムによって実施される前記復号化機能のための更なるファイルを追加することと、を含む、請求項８に記載の方法。
10. クライアントデバイスであって、
    オペレーティングシステムビデオ復号化機能を含むオペレーティングシステムと、
    ビデオを表示するためのクライアントアプリケーションと、
    前記クライアントアプリケーションによって使用されるためのメディアプレーヤビデオ復号化機能を含むメディアプレーヤライブラリであって、前記メディアプレーヤビデオ復号化機能が、前記オペレーティングシステムビデオ復号化機能の呼び出しを含む、メディアプレーヤライブラリと、を備え、
    前記メディアプレーヤビデオ復号化機能が、多層コーディングスキームを使用して符号化されたビデオストリームの受信時に多層復号化機能を選択的に実施する前記オペレーティングシステムビデオ復号化機能用のラッパーを含むように修正され、
    前記ビデオストリームが、ベースストリームと、改良ストリームとを含み、
    前記多層復号化機能が、前記ベースストリームに対する前記オペレーティングシステムビデオ復号化機能の呼び出しを含み、前記多層復号化機能が、前記オペレーティングシステムビデオ復号化機能の前記呼び出しの出力に前記改良ストリームの復号化されたバージョンを適用して、復号化されたビデオストリームデータを生成するように構成され、
    前記多層復号化機能が、前記復号化されたビデオストリームデータを、前記クライアントアプリケーションによって使用されるための前記メディアプレーヤビデオ復号化機能に返すように更に構成されている、クライアントデバイス。
11. 前記多層コーディングスキームが、低複雑度改良ビデオコーディング（ＬＣＥＶＣ）スキームである、請求項１０に記載のクライアントデバイス。
12. 前記多層復号化機能が、表示のために、前記復号化されたベースストリームのフレームを並べ替える、請求項１０又は１１に記載のクライアントデバイス。
13. 前記オペレーティングシステムビデオ復号化機能の内部メソッドが、前記クライアントアプリケーション及び前記メディアプレーヤライブラリのうちの少なくとも一方に利用可能でない、請求項１０～１２のいずれか一項に記載のクライアントデバイス。
14. 前記オペレーティングシステムビデオ復号化機能が、ハードウェアによりアクセラレートされる、請求項１０～１３のいずれか一項に記載のクライアントデバイス。
15. 請求項１～９のいずれか一項に記載の方法を実行するように少なくとも１つのプロセッサによって実行可能な命令を記憶する、コンピュータ可読記憶媒体。

Images