JP5389991B2 - 遷移効果のためのマルチメディアコード化技術 - Google Patents

Description

関連出願

米国法第３５部第１１９条に基づく優先権の主張
本出願は、２００５年９月２７日に出願された仮出願第６０／７２１，４１７号に対する優先権を主張し、これは、本出願譲受人に譲渡され、ここで参照により明示的に組み込まれている。

本開示はデジタルマルチメディアエンコーディングおよびデコーディングに関連し、さらに詳細には、マルチメディアシーケンスに関係付けられた遷移効果をエンコードおよびデコードするための技術に関連する。

多くの異なるビデオエンコーディング標準規格が、デジタルマルチメディアシーケンスをコード化するために確立されてきた。例えば、Moving Picture Experts Group（ＭＰＥＧ）は、ＭＰＥＧ−１、ＭＰＥＧ−２、およびＭＰＥＧ−４を含む多くの標準規格を開発してきた。他の例は、国際電気通信連合（ＩＴＵ）のＨ.２６３標準規格、および新興のＩＴＵ Ｈ.２６４標準規格を含み、ＩＴＵ Ｈ.２６４標準規格は、ＭＰＥＧ−４のパート１０においても“アドバンストオーディオコード化”と題されて、公表されている。これらのビデオコード化標準規格は、一般的に、圧縮された方法でデータをコード化することにより、マルチメディアシーケンスの改善された送信効率をサポートする。圧縮は、マルチメディアフレームの効率的な送信のために、送信される必要のある全体のデータ量を減少させる。ビデオコード化は、ワイヤードおよびワイヤレス送信媒体の両方を通しての、ビデオストリーミング、ビデオキャムコーダ、ビデオテレフォニー（ＶＴ）、およびビデオ放送適用を含む、数多くの状況で使用されている。

ＭＰＥＧ−４、ＩＴＵ Ｈ.２６３、およびＩＴＵ Ｈ.２６４標準規格は、特に、時間的またはインターフレーム相関として呼ばれる、連続的マルチメディアフレームの間の類似性を利用するビデオコード化技術をサポートして、インターフレーム圧縮を提供する。インターフレーム圧縮技術は、マルチメディアフレームのピクセルベースの表現を、動き表現に変換することによって、フレームにわたるデータ冗長性を活用する。インターフレーム技術を使用してコード化されたフレームは、Ｐ（“予測”）フレームまたはＢ（“双方向”）フレームとして呼ばれることが多い。Ｉ（“イントラ”）フレームとして一般的に呼ばれるいくつかのフレームは、空間圧縮を使用してコード化され、これは、非予測フレームである。さらに、いくつかのフレームは、イントラコード化されたブロックと、インターコード化されたブロックとの両方の組み合わせを含んでいてもよい。

ビデオコード化において、特に、インターフレーム圧縮が使用されるときに、遷移効果は課題を提示することがある。遷移効果は、マルチメディアシーケンスの現在のシーンから遷移するために使用される視覚ビデオ効果を指す。遷移効果は、フェード効果、ディゾルブ効果、スライド効果、ブレーク効果、フリップ効果、および、現在のシーンから遷移していくのに使用される、他の広範囲のタイプの視覚効果を含む。第１のシーンを第２のシーンへとフェードまたはディゾルブさせることによるなどして、第１のシーンから第２のシーンに変化させるのに遷移効果を使用することが多い。しかしながら、そのマルチメディアシーケンスの終了を表すために、シーケンスの最後のシーンを空シーンにフェードまたはディゾルブさせることによるなどして、遷移効果を他の状況で使用してもよい。

本開示は、遷移効果をエンコードおよびデコードするための技術に向けられている。技術は、コード化マルチメディアシーケンスにおけるデータ圧縮を改善し、および／または、遷移効果の視覚品質を改善する。開示する技術にしたがうと、エンコーディングデバイスは、マルチメディアシーケンスのエンコーディングの間に、マルチメディアシーケンスに関係付けられた遷移効果を検出し、そして、遷移効果を識別するために、エンコードされたマルチメディアシーケンスの一部として情報をデコーダに送出する。

デコーダは、マルチメディアシーケンスに関係付けられた遷移効果を識別する情報を受け取る。遷移効果を識別する情報は、遷移効果をシミュレートまたは再生成することができるように、デコーダによって使用されるメタデータを含んでいてもよい。エンコードされたマルチメディアシーケンスは、次に、遷移効果をシミュレートするための情報に応答してデコードされる。また、異なる遷移効果のシミュレーションを容易にするために送られてもよい特定の情報の多くの例を説明する。いくつかのケースでは、遷移効果を識別する情報は、何らかのタイプの遷移効果のシミュレーションを単にトリガしてもよく、遷移効果はオリジナルビデオシーケンスにおけるものと必ずしも同一である必要はない。他のケースでは、遷移効果を識別する情報が、デコーダに対する特定のタイプの効果を識別してもよい。

いくつかの実施形態において、本開示の技術は、デコーダにおける、エンコーダ支援された遷移効果シミュレーションを可能にするために、フレームレート上位変換（ＦＲＵＣ）として呼ばれることが多い技術と同様の補間技術を実現してもよい。このケースでは、コード化マルチメディアシーケンスにおけるデータ圧縮を改善させるために、および／または、遷移効果の視覚品質を改善させるために、遷移効果のフレームに対する、従来の予測ベースの、または空間ベースのコード化の代わりに、ＦＲＵＣのような技術を遷移効果に対して使用してもよい。

いくつかの実施形態では、本開示は、エンコードされたマルチメディアシーケンスの一部として情報を受け取ることと、エンコードされたマルチメディアシーケンスをデコードすることとを含む方法を提供し、情報は、マルチメディアシーケンスに関係付けられた遷移効果を識別し、エンコードされたマルチメディアシーケンスをデコードすることは、情報に応答して遷移効果をシミュレートすることを含む。

いくつかの実施形態では、本開示は、マルチメディアシーケンスのエンコーディングの間に、マルチメディアシーケンスに関係付けられた遷移効果を検出することと、エンコードされたマルチメディアシーケンスの一部として、遷移効果を識別するための情報を発生させることとを含む方法を提供する。

いくつかの実施形態では、本開示は、エンコードされたマルチメディアシーケンスの一部として情報を受け取るように構成された受信機と、情報に応答して遷移効果をシミュレートするデコーダとを具備する装置を提供し、情報は、マルチメディアシーケンスに関係付けられた遷移効果を識別する。

いくつかの実施形態では、本開示は、マルチメディアシーケンスのエンコーディングの間に、マルチメディアシーケンスに関係付けられた遷移効果を検出する検出器と、エンコードされたビデオシーケンスの一部として、遷移効果を識別するための情報を発生させるエンコーダとを具備する装置を提供する。

いくつかの実施形態では、本開示は、エンコードされたマルチメディアシーケンスの一部として情報を受け取り、エンコードされたマルチメディアシーケンスをデコードするように構成されたプロセッサを提供し、情報は、マルチメディアシーケンスに関係付けられた遷移効果を識別し、エンコードされたマルチメディアシーケンスをデコードすることは、情報に応答して遷移効果をシミュレートすることを含む。

いくつかの実施形態では、本開示は、マルチメディアシーケンスのエンコーディングの間に、マルチメディアシーケンスに関係付けられた遷移効果を検出し、そしてエンコードされたマルチメディアシーケンスに関係付けられた遷移効果を識別するために、エンコードされたマルチメディアシーケンスの一部として情報をデコーダに対して発生させるように構成されたプロセッサを提供する。

いくつかの実施形態では、本開示は、エンコードされたマルチメディアシーケンスの一部として情報を受け取る手段と、遷移効果を識別する情報に応答して、マルチメディアシーケンスにおいて遷移効果をシミュレートするデコーディング手段とを具備する装置を提供し、情報は、マルチメディアシーケンスに関係付けられた遷移効果を識別する。

いくつかの実施形態では、本開示は、マルチメディアシーケンスのエンコーディングの間に、マルチメディアシーケンスに関係付けられた遷移効果を検出する遷移効果検出手段と、マルチメディアシーケンスに関係付けられた遷移効果を識別するための情報を発生させるエンコーディング手段とを具備する装置を提供する。

ここで説明する技術は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせにおいて実現されてもよい。ソフトウェアにおいて実現された場合、ソフトウェアは、デジタルシグナルプロセッサ（ＤＳＰ）または他のタイプのプロセッサにおいて実行されてもよい。技術を実行するソフトウェアは、最初に、コンピュータ読取可能媒体のような機械読取可能媒体中に記憶されてもよく、プロセッサまたは他の機械中にロードされ、実行されて、ここで説明する遷移効果のビデオエンコードまたはデコードを可能にしてもよい。

したがって、本開示はまた、実行時に、機械に、エンコードされたマルチメディアシーケンスの一部として情報を受け取らせ、エンコードされたマルチメディアシーケンスをデコードさせる命令を含む機械読取可能媒体を企図しており、情報は、マルチメディアシーケンスに関係付けられた遷移効果を識別し、エンコードされたマルチメディアシーケンスをデコードすることは、情報に応答して遷移効果をシミュレートすることを含む。

また、本開示は、実行時に、機械に、マルチメディアシーケンスのエンコーディングの間に、マルチメディアシーケンスに関係付けられた遷移効果を検出させ、遷移効果を識別するために、エンコードされたマルチメディアシーケンスの一部として情報を発生させる命令を含む機械読取可能媒体を企図している。

添付の図面および以下の詳細な説明において、１つ以上の実施形態の詳細を述べる。詳細な説明、添付の図面、および添付の特許請求の範囲から、他の特徴、目的、および利点が明らかになるだろう。

図１は、本開示にしたがった、遷移効果エンコーディングおよびデコーディング技術を実現してもよい、ビデオエンコーディングおよびデコーディングシステムを図示するブロック図である。 図２は、本開示にしたがった、遷移効果エンコーディング技術を図示するフロー図である。 図３は、本開示にしたがった、遷移効果デコーディング技術を図示するフロー図である。 図４は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。 図５は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。 図６は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。 図７は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。 図８は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。 図９は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。 図１０は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。 図１１は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。 図１２は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。 図１３は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。 図１４は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。 図１５は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。 図１６は、本開示の技術にしたがって、コード化されてもよい、異なる遷移効果の例示的なフレームを図示する概念図である。 図１７は、本開示にしたがって、遷移効果エンコーディングおよびデコーディング技術を実現してもよい、例示的なビデオエンコーディングおよびデコーディングシステムを図示する別のブロック図である。

詳細な説明

本開示は、遷移効果をエンコードおよびデコードするための技術に向けられている。遷移効果は、マルチメディアシーケンスの現在のシーンから遷移するために使用される視覚ビデオ効果を指す。遷移効果の例は、いくつかのものを挙げると、フェード効果、ワイプ効果、ディゾルブ効果、スライド効果、ブレーク効果、およびフリップ効果を含む。第１のシーンを第２のシーンへとフェードまたはディゾルブさせることによるなどして、第１のシーンから第２のシーンに変化させるのに遷移効果を使用することが多い。しかしながら、そのマルチメディアシーケンスの終了を表すために、シーケンスの最後のシーンを空シーンにフェードまたはディゾルブさせることによるなどして、遷移効果を他の状況で使用してもよい。

開示する技術にしたがうと、エンコーディングデバイスは、マルチメディアシーケンスのエンコーディングの間に、マルチメディアシーケンスに関係付けられた遷移効果を検出する。この遷移効果の検出は、従来のショット境界検出アルゴリズム、または、マルチメディアシーケンスにおける遷移効果を検出するための、他の任意の信頼可能な方法に基づいていてもよい。代わりに、エンコーディングデバイスは、ソースビットストリーム中の、遷移効果の存在を示す信号または命令を検出してもよい。エンコーディングデバイスは、次に、従来型でない方法で、遷移効果をエンコードするための情報を発生させる。

デコーダは、フレームレート上位変換（ＦＲＵＣ）のために、２つのコード化フレームの間に１つ以上のフレームを補間するために従来使用された技術と同様の技術のような補間技術を使用して、遷移効果をシミュレートしてもよい。エンコーディングデバイスは、エンコードされたマルチメディアシーケンスの一部として、エンコードされたマルチメディアシーケンスにおける遷移効果を識別するための遷移効果情報を送出する。いくつかの実施形態では、遷移効果情報は、遷移効果を発生させるためにデコーダによって使用することができるメタデータを含んでいてもよい。このケースでは、遷移効果情報は、オリジナルビデオソースビットストリームにおける遷移効果に近似する遷移効果を発生させる際にデコーダを支援してもよい。代わりに、遷移効果情報は、遷移効果の存在を単に合図してもよい。このケースでは、デコーダは、遷移効果情報に応答して、独立して遷移効果を発生させてもよいが、これは、オリジナルビデオシーケンスにおけるオリジナル遷移効果と必ずしも同一でなくてもよい。

図１は、本開示にしたがった、遷移効果エンコーディングおよびデコーディング技術を実現してもよい、ビデオエンコーディングおよびデコーディングシステム１０を図示するブロック図である。示したように、システム１０は、ビデオエンコーダデバイス１２およびビデオデコーダデバイス１４を含む。通信チャネル１５を通して、ビデオエンコーダデバイス１２からビデオデコーダデバイス１４に対して、エンコードされたマルチメディアシーケンスを送出してもよい。この目的で、ビデオエンコーダデバイス１２およびビデオデコーダデバイス１４は、このような通信を容易にするために、送信機２３および受信機２７をそれぞれ含み、通信は、ワイヤードまたはワイヤレス通信であってもよい。

ビデオエンコーダデバイス１２は、例えば、ワイヤレス加入者デバイスに対して１つ以上のビデオチャネルを放送するのに使用される放送ネットワーク構成部品の一部を形成していてもよい。このケースでは、ビデオエンコーダデバイス１２は、いくつかのビデオデコーダ（すなわち、放送サービスの多くの加入者）に対して、エンコードされたデータを送出してもよい。しかしながら、簡潔さのために、図１には単一のビデオデコーダデバイス１４を図示している。ビデオエンコーダデバイス１２およびビデオデコーダデバイス１４は、１つ以上のプロセッサ、デジタルシグナルプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、または、これらの任意の組み合わせとして実現されてもよい。図示したデバイス１２およびデバイス１４の構成部品は、１つ以上のエンコーダまたはデコーダに含まれてもよく、これらはともに、エンコーダ／デコーダ（ＣＯＤＥＣ）の一部として統合されていてもよい。しかしながら、送信機２３および受信機２７は、エンコーダ、デコーダ、またはＣＯＤＥＣとは異なる構成部品上に形成されていてもよい。

上記のように、ビデオエンコーダデバイス１２は、例えば、１つ以上のビデオデータチャネルを放送するのに使用される放送ネットワーク構成部品の一部を形成していてもよい。このような構成部品の例は、ワイヤレス基地局、またはエンコード化ビデオデータを放送するのに使用される任意のインフラストラクチャノードを含む。他方、ビデオデコーダデバイス１４は、エンコードされたビデオを受信するユーザデバイスを含んでもよい。例として、ビデオデコーダデバイス１４は、デジタルテレビジョン、ワイヤレス通信デバイス、ポータブルデジタルアシスタント（ＰＤＡ）、ラップトップコンピュータもしくはデスクトップコンピュータ、“ｉＰｏｄ（登録商標）”として販売されているもののようなデジタル音楽およびビデオデバイス、または、セルラ、衛星、もしくは地上波ベースの無線電話機のような無線電話機の一部として実現されてもよい。システム１０において図示した構成部品は、ここで説明する技術の実現に最も適用可能なものであるが、エンコーダデバイス１２およびデコーダデバイス１４は、望ましい場合、他の多くの構成部品を含んでもよい。さらに、本開示の技術は、システム１０のようなシステムにおける使用や、放送システムにおける使用に必ずしも限定されるわけではない。エンコードおよび／またはデコードすべきマルチメディアシーケンスにおいて遷移効果が使用されている、任意のビデオコード化環境において、技術の適用を見つけてもよい。

図１に示したように、ビデオエンコーダデバイス１２は、例えば、メモリロケーションからマルチメディアシーケンス５を受け取る。簡潔さのために図１には図示していないが、メモリは、エンコーダデバイス１２の一部であってもよく、または、ビデオエンコーダデバイス１２にマルチメディアシーケンスを提供する外部メモリであってもよい。マルチメディアシーケンス５は、コード化され、放送として送出されることになる、ライブリアルタイムの、ビデオ、またはビデオおよびオーディオのシーケンスを含んでもよく、あるいは、コード化され、放送として、またはオンデマンドで送出されることになる、予め記録され、記憶されたビデオ、またはビデオおよびオーディオシーケンスを含んでもよい。

いずれのケースでも、ビデオエンコーダデバイス１２は、マルチメディアシーケンス５のエンコーディングを容易にし、そして、マルチメディアシーケンス５内で遷移効果が生じるときに、このようなエンコーディングを改善するために、本開示の技術を実現する。ビデオエンコーダデバイス１２は、シーケンス５に関係付けられた遷移効果の検出を実行する、遷移効果検出器２０を含む。例えば、遷移効果検出器２０は、マルチメディアシーケンス５をサンプリングして、フェード効果、ワイプ効果、ディゾルブ効果、スライド効果、ブレーク効果、フリップ効果、または、現在のシーンから遷移するのに使用される、他の広範囲のタイプの視覚効果を生成する１組のフレームのような、遷移効果の１つ以上の目印を探してもよい。一例として、遷移効果検出器２０は、１つ以上のいわゆるショット境界検出アルゴリズム、または、マルチメディアシーケンスに関係付けられた遷移効果を検出するための、他の任意の信頼可能な方法を実現してもよい。このようにして、遷移効果検出器２０は、マルチメディアシーケンス５内の遷移効果の存在を識別する。

遷移効果は、ビデオコード化における課題を提示することがある。特に、遷移効果は、高度に効率的な予測ベースのビデオコード化を可能にする、相関的シーンの動きを示さないのが通常である。さらに、遷移効果は、シーン変化において使用されることが多く、シーン変化においては、視聴者の知覚は、高レベルの信号雑音に対してそれほど敏感ではない。予測ベースの技術を使用して、標準的な方法で遷移効果をエンコードするのに従来のエンコーダを使用するとき、圧縮のレベルは非常に制限されており、ビデオ品質は劣悪であるおそれがある。さらに、一般的に、視聴者の知覚は、遷移効果では、マルチメディアシーケンスの完全な動き部分における程、高レベルの信号雑音に対して敏感ではないという限りにおける品質的見地からすると、このような遷移効果の非効率的な標準式コード化は、不必要であるかもしれない。言い換えると、一般的に、シーンが変化するとき、ユーザは何の主観的品質低下をも認識することなく、より高い雑音レベルを許容することができる。

これらの、および他の理由のため、本開示の技術は、マルチメディアシーケンスの、他の非遷移部分に対するものとは異なるコード化方法を遷移効果に対して提供する。特に、ビデオエンコーダデバイス１２は、標準エンコーディングモジュール１６と、遷移効果エンコーディングモジュール１８との両方を含み、これらは、１つのエンコーダまたは複数のエンコーダ中に形成されてもよい。標準エンコーディングモジュール１６は、マルチメディアシーケンス５のフレームをコード化するために、動き推定および動き補償のような、標準予測ベースのエンコーディング技術を適用する。標準エンコーディングモジュール１６はまた、いくつかのフレームに対しては、空間推定およびイントラ予測のような非動きコード化技術を適用する。標準予測ベースの技術にしたがうと、標準エンコーディングモジュール１６はまた、エントロピーエンコーディング、スキャニング、量子化、変換、および、おそらくはデブロックフィルタリングのための、さまざまなユニットを含んでもよい。通常（非遷移）フレームに関して、これらのユニットを適用して、このようなフレームの標準予測ベースのエンコーディングを容易にしてもよい。しかしながら、遷移効果であるとして識別される任意のフレームに対しては、遷移効果エンコーディングモジュール１８が、異なった、非標準のエンコーディング技術を実行する。

特に、遷移効果を含むフレームに対して、遷移効果エンコーダ１８は、遷移効果をシミュレートするために、ビデオデコーダデバイス１４によって使用できる情報を発生させる。デコーダデバイス１４は、この情報を使用して、効果のフレームを個別にデコードするというよりはむしろ、効果のフレームを再構成することによって、遷移効果をシミュレートする。この情報は、ＦＲＵＣ技術に対するものと同様な方法で、デコーダデバイス１４によって使用することができるメタデータを含んでいてもよい。例えば、遷移効果を含む特定のフレームに対して、メタデータが効果のタイプを識別して、ビデオデコーダデバイス１４において、そのタイプの効果をシミュレートできるようにしてもよい。より単純なケースでは、メタデータは、効果のタイプに関係なく、遷移効果の存在を単に識別してもよく、このケースでは、ビデオデコーダデバイス１４は、オリジナルの効果とは必ずしも同一でなくてもよい遷移効果をシミュレートしてもよい。しかしながら、より複雑なケースでは、メタデータは、効果の期間、遷移効果のフレームに関係付けられたおそらくは１つ以上の幾何的マップ、または、ビデオデコーダデバイス１４における効果のシミュレーションを支援するための他のデータを識別するための情報を含んでもよい。しかしながら、ほとんどのケースでは、遷移効果をシミュレートするのに使用される幾何的マップは、デコーダ側に記憶され、またはデコーダ側で発生させることができ、効果のタイプの表示と、効果に関係付けられた期間とに基づいて、適用することができる。開示する技術にしたがうと、遷移効果に対するフル予測フレームをエンコードし、送り、そしてデコードする必要を回避でき、エンコーダおよびデコーダにおける処理オーバーヘッドの無駄をなくし、ワイヤレス通信チャネル上の帯域幅の無駄をなくすことができる。

ビデオデコーダデバイス１４は、標準デコーディングモジュール２２と、遷移効果デコーディングモジュール２４との両方を含み、これらは、１つのデコーダまたは複数のデコーダ中に形成されていてもよい。標準デコーディングモジュール２２は、標準予測ベースの動き技術または非予測ベースの空間技術によってエンコードされた何らかのフレームを取り扱う。この目的で、標準デコーディングモジュール２２は、動き補償器と、空間補償器とを含んでもよい。標準デコーディングモジュール２２はまた、エントロピーデコーディング、逆スキャニング、逆量子化、逆変換、および、おそらくはデブロックフィルタリングのための、ユニットを含んでもよい。簡潔さのために、図１にはこれらの標準構成部品を図示していない。エンコードされたビデオシーケンスは、ワイヤレスチャネルであってもよい通信チャネル１５を通して、エンコーディングデバイス１２の送信機２３から、デコーディングデバイス１４の受信機２７に送信される。

遷移効果デコーディングモジュール２４は、ビデオエンコーダデバイス１２から送られた情報に基づいて、遷移効果のデコーディングを取り扱う。遷移効果をデコードするために送られた情報は、標準技術を使用してこのような効果をコード化するためにそうでなければ必要とされるものよりも、はるかに少ないかもしれない。本質的に、ビデオエンコーダデバイス１２は、遷移効果を識別する情報と、おそらくは、効果についての他の情報とを発生させ、効果についての他の情報は、遷移効果に関係付けられた期間、遷移効果のタイプ、遷移効果に関係付けられた開始および終了シーンのようなものである。この情報は、受信機２７を通してデコーディングデバイス１４により受け取られ、遷移効果デコーディングモジュール２４は、この情報に応答して、ビデオデコーダデバイス１４において効果をシミュレートする。例えば、開始および終了シーン、効果のタイプの表示、ならびに、効果の期間が与えられたとすると、標準技術を使用してこのような効果をコード化するためにそうでなければ必要とされる、より大量のコード化情報を必要とすることなく、遷移効果デコーディングモジュール２４によって、この効果のシミュレーションを再生成することができる。

図２は、本開示にしたがった、エンコーディング技術を図示するフロー図である。図２に示したように、ビデオエンコーダデバイス１２は、コード化すべきマルチメディアシーケンス５を受け取る（ステップ３１）。遷移効果検出器２０は、ショット境界検出アルゴリズム、または、マルチメディアシーケンスに関係付けられた遷移効果を検出するための、他の任意の信頼可能な方法を実現することによるなどして、マルチメディアシーケンス５の何らかの所定の部分が遷移効果を含むか否かを検出する（ステップ３２）。遷移効果検出器２０が、何の遷移効果も識別しない場合（ステップ３２のいいえの分岐）、標準エンコーディングモジュール１６がマルチメディアシーケンス５全体のエンコーディングのために呼び出される。このケースでは、標準エンコーディングモジュール１６は、マルチメディアシーケンス５上に、標準予測ベースの動きエンコーディングまたは非予測ベースの空間エンコーディングを実行する。

しかしながら、遷移効果検出器２０がマルチメディアシーケンス５に関係付けられた遷移効果を識別する場合、マルチメディアシーケンス５の遷移効果部分のために、遷移効果エンコーディングモジュール１８が呼び出される。このケースでは、遷移効果エンコーディングモジュール１８は、遷移効果のための遷移効果情報を発生させ（ステップ３４）、これは、遷移効果をシミュレートするためにビデオデコーダデバイス１４によって使用することができる。このような情報は、補間の際に有用な情報や、遷移効果の存在、位置、およびタイミングの表示や、または、おそらくは、デコーダにおいて遷移効果を発生させる必要があることを示す単なるフラグであってもよい。いずれのケースでも、標準エンコーディングモジュール１６は、マルチメディアシーケンス５の非遷移の部分に、標準予測ベースの動きエンコーディング、および標準非予測ベースの空間エンコーディングを依然として実行する（ステップ３５）。

図３は、本開示にしたがった、デコーディング技術を図示するフロー図である。図３に示したように、ビデオデコーダデバイス１４の受信機２７は、例えば、エンコーディングデバイス１２の送信機２３から、通信チャネル１５を通して、エンコードされたマルチメディアシーケンスを受け取る（ステップ５１）。受け取られたマルチメディアシーケンスが、遷移効果の存在を識別する遷移効果情報を含んでいない場合、マルチメディアシーケンス全体のデコーディングのために、標準デコーディングモジュール２２が呼び出される。このケースでは、標準デコーディングモジュール２２は、標準予測ベースの動きデコーディング、および非予測ベースの空間デコーディングを実行する。

しかしながら、受け取られたマルチメディアシーケンスが、遷移効果の存在を識別する遷移効果情報を含む場合、受け取られたマルチメディアシーケンスの遷移効果部分のために、遷移効果デコーディングモジュール２４が呼び出される。このケースでは、遷移効果デコーディングモジュール２４は、遷移効果情報に応答して、遷移効果をシミュレートする（ステップ５３）。繰り返すと、遷移効果デコーディングモジュール２４によるこのシミュレーションは、ＦＲＵＣ技術を、またはエンコーダ支援されたＦＲＵＣ技術をサポートするのに使用される補間技術に類似していてもよく、ＦＲＵＣ技術では、望ましい効果をシミュレートするようにフレームが生成される。受け取られたマルチメディアシーケンスの非遷移の部分に対して、標準デコーディングモジュール２２は、標準予測ベースの、または非予測ベースのデコーディングを依然として実行する（ステップ５５）。

図４−１６は、本開示の技術にしたがってコード化されてもよい、それぞれの遷移効果内のフレームの１つずつを図示する概念図である。図４−１６に図示した異なる例示的なシナリオを使用して、異なるタイプの遷移効果情報またはメタデータを説明する。異なるタイプの遷移効果情報またはメタデータは、遷移効果をコード化するのに使用でき、そして、デコーダにおけるそれぞれの効果の良好なシミュレーションを可能にする。繰り返すと、いくつかの単純なケースでは、メタデータは、効果のタイプに関係なく、遷移効果の存在を単に識別してもよく、このケースでは、ビデオデコーダデバイス１４は、オリジナルの効果と必ずしも同一でなくてもよい遷移効果をシミュレートしてもよい。しかしながら、より複雑なケースでは、メタデータは、効果のタイプ、効果の期間、効果の開始および終了フレームを識別するための情報を含んでいてもよく、ならびに、おそらくはビデオデコーダデバイス１４における効果のシミュレーションを支援するための、他のデータを含んでもよい。これらのケースでは、遷移効果のシミュレーションを支援するために、デコーダによってこの情報を使用してもよい。

図４は、このケースではクロスフェードである、フェード効果の１つのフレーム６２を図示する概念図である。このケースでは、期間Ｐにわたって、シーンＡがシーンＢへとフェードしている。フェード効果は、このケースでは、シーンＢが空シーンからフェードインする“フェードイン”と、このケースでは、シーンＡが空シーンへとフェードアウトする“フェードアウト”とを含んでいてもよい。図４は、“クロスフェード”を図示し、ここではシーンＡがシーンＢへとフェードしている。技術的に、フェードイン、フェードアウト、およびクロスフェードのケースを取り扱う際の違いはないだろう。フェードインおよびフェードアウトは、クロスフェードと同一であるとしてみなされてもよいが、シーンＡまたはＢは、フェードイン、または、フェードアウトに対する空白シーンであるとして単にみなされる。

いずれのケースでも、図４のフレーム６２において図示したクロスフェードのようなフェード効果に対して、ゼロの動きベクトルとともに、重み付け双方向動き補償を使用することができる。このケースでは、遷移効果をコード化するために、デコーディングデバイス１４によって使用される情報は、フェード効果として効果を識別してもよく、効果のための期間を規定してもよい。シーンＡの１つのコピーと、シーンＢの１つのコピーとがまた、遷移効果情報に含まれてもよい。しかしながら、シーンＡとＢとの間を拡張する、間にあるフレームに対する少なくともいくつかの情報は、省略してもよい。

ビデオエンコーダデバイス１２から受け取った比較的制限された情報が与えられると、ビデオデコーダデバイス１４は、フェード効果をシミュレートすることができる。特に、遷移効果デコーディングモジュール２４は、シーンＡのコピー、シーンＢのコピー、および、シーンＡからシーンＢへのフェード遷移に関係付けられた期間に基づいて、１組の遷移フレームを再構成することができる。このケースでは、遷移効果デコーディングモジュール２４は、ゼロ値の動きベクトルを使用して、マルチメディアフレームの重み付け双方向再構成を実行することができる。シーンＡおよびシーンＢに対する重み付けは、１組の遷移フレームを生成するための期間にわたって、互いに変化させることができ、デコーディングプロセスの間に、遷移効果デコーディングモジュール２４によりアクセスされる１つ以上のルックアップテーブル（ＬＵＴ）に記憶させてもよい。フェード効果の期間は、多数のインデックスを規定してもよく、この多数のインデックスをＬＵＴに適用して、効果の連続的フレームのそれぞれに対して使用される重み付けを選択することができる。しかしながら、重要なことは、この再構成を容易にするために、送られる必要のある情報は、フェード効果のタイプの表示、シーンＡおよびシーンＢのコピー、ならびに、期間である。遷移効果デコーディングモジュール２４により単独で、その期間にわたってのフレームの再構成を実行することができる。この方法で、ビデオコード化スキームにおいて遷移効果を伝えるのに必要とされる情報を、かなり減少させることができる。

図５は、このケースではディゾルブ効果である、フェード効果の１つのフレーム６４を図示する概念図である。ディゾルブ効果において、期間Ｐにわたって、シーンＡがシーンＢへとディゾルブしている。ディゾルブ効果はまた、このケースでは、シーンＢが空シーンからディゾルブインする“ディゾルブイン”と、このケースでは、シーンＡが空シーンへとディゾルブアウトする“ディゾルブアウト”とを含んでもよい。図５は、“クロスディゾルブ”を図示し、このケースでは、シーンＡがシーンＢへとディゾルブしている。ディゾルブイン、およびディゾルブアウトは、クロスディゾルブと同一であるとしてみなされてもよいが、シーンＡまたはＢは、ディゾルブイン、または、ディゾルブアウトに対する空白シーンであるとして単にみなされる。

いずれのケースでも、図５のフレーム６４において図示したようなディゾルブ効果に対して、２つのオプションが可能である。１つのケースでは、ゼロの動きベクトルとともに、双方向動きを規定するために、遷移効果デコーディングモジュール２４において、幾何的マップを予め規定してもよい。マップは、遷移効果の連続的フレームのそれぞれに対して、どのピクセルがシーンＡから取られ、どのピクセルがシーンＢから取られるのかを規定する。ディゾルブにおいて使用されるマップの数は、遷移効果に関係付けられた期間により規定されてもよい。遷移効果に対して予め規定されたマップを、１つ以上のルックアップテーブル（ＬＵＴ）に記憶させてもよく、このＬＵＴは、遷移効果デコーディングモジュール２４からアクセス可能である。効果の期間は、インデックスを規定してもよく、インデックスをＬＵＴに適用して、効果の連続的フレームのそれぞれに対して使用する予め規定されたマップを選択することができる。

しかしながら、別のケースにおいて、幾何的マップは、ビデオデコーダデバイス１４においてランダム方式で発生させてもよい。他のディゾルブの例と同様に、このケースでは、遷移効果情報が、シーンＡおよびＢ、ディゾルブ効果、ならびに、期間を識別してもよい。遷移効果デコーディングモジュール２４は、次に、ランダム数発生に基づいて、１組のディゾルブマップを発生させることができる。このケースはディゾルブ効果になるが、ディゾルブする特定のピクセルは、ビデオデコーダデバイス１４においてランダムに選択されてもよい。したがって、任意の後続するディゾルブ効果は、ランダム方式で互いに異なるだろう。

図６−８は、それぞれ、ボックス効果、スライド効果、およびカーブ効果を図示する概念図である。図６のフレーム６５において示したボックス効果では、シーンＢ６８は、拡張しているボックス中でシーンＡ６６から現れる。図７のフレーム７５において示したスライド効果では、シーンＢ７８は、スライド方式でシーンＡ７６から現れる。図８のフレーム８５において示したカーブ効果では、シーンＢ８８は、シーンにわたって拡張する１組のカーブ領域中でシーンＡ８６から現れる。図４および５の効果と同様に、図６−８の効果もまた、シーンＡに対する、またはシーンＢに対する空白シーンとともに使用できる。いずれのケースでも、この効果をコード化するのに使用される情報は、遷移効果のタイプをボックス効果として識別してもよく、そして、期間を規定してもよい。シーンＡおよびシーンＢのコピーを使用して、シミュレーションを生成してもよい。

特に、遷移効果デコーディングモジュール２４は、それぞれのタイプの遷移効果に対して、予め規定されたマップにしたがって、図６−８の遷移効果をシミュレートすることができる。シーンＡ、シーンＢ、遷移効果のタイプ、および効果に関係付けられた期間があるとすると、遷移効果デコーディングモジュール２４は、１つ以上のＬＵＴ中に記憶されていてもよい１組の予め規定されたマップを選択してもよい。選択されたマップは、遷移効果をシミュレートするために、遷移シーケンスにわたって、連続的フレームのそれぞれの幾何を規定することができる。言い換えると、遷移効果デコーディングモジュール２４は、どのピクセル（または、ピクセルのブロック）がシーンＡから取られ、どのピクセル（または、ピクセルのブロック）がシーンＢから取られるのかを規定するマップを、各フレームに対して使用して、連続的フレームのそれぞれの双方向性再構成を実行することができる。各ピクセル（または、ピクセルのブロック）に対する動きベクトルは、それぞれのピクセルまたはブロックに対してゼロであるだろう。ＬＵＴは、それぞれのタイプの遷移効果に対して予め規定されていてもよく、期間が短い場合、例えば、ＬＵＴにおける１つ以上のマップをスキップするなど、変換の期間に基づいて、ＬＵＴからの選択を行うことができる。

さらに他の例では、本開示で説明する効果のうちのいずれかに対する幾何的マップを、エンコーディングデバイス１２において発生させることができ、そして、デコーディングデバイス１４に対して送ることができる。言い換えると、それぞれの効果に対して幾何的マップを発生させることにより、または、エンコーディングデバイス１２において発生されて、遷移効果情報の一部としてデコーディングデバイス１４に送られたマップを適用することにより、デコーディングデバイス１４において、効果をシミュレートすることができる。エンコーディングデバイス１２による幾何的マップの発生は、デコーディングデバイス１４の複雑さを減少させることができ、一般的に、特に放送のシナリオでは、デコーディングデバイス１４は、エンコーディングデバイス１２よりも、算術的複雑さに対する能力が少ない。他方、デコーディングデバイス１４による幾何的マップの発生は、このことが、遷移効果の効率的コード化のために転送する必要がある情報量を減少させるという限りにおいて、別の利点を達成する。このケースでは、デコーダにおける効果のシミュレーションが、遷移効果を効率的にコード化するためにエンコーディングデバイス１２とデコーディングデバイス１４との間で転送される情報を減少させることができ、これは、特に情報がワイヤレスで転送されるときに非常に有用である。

図９は、ドアオープン効果を図示する、別の概念図である。図９のフレーム９５において、シーンＢ９８はドアが開くにつれて、シーンＡ９６を除去しつつ現れる。他の効果と同様に、図９のドアオープン効果もまた、シーンＡに対する、またはシーンＢに対する空白シーンとともに使用できる。いずれのケースでも、この効果をコード化するのに使用される情報は、遷移効果のタイプをドアオープン効果として識別してもよく、そして、期間を規定してもよい。シーンＡおよびシーンＢのコピーを使用して、シミュレーションを生成してもよい。

このケースでは、遷移シーケンスのフレームが、順方向予測部分と逆方向予測部分とにセグメント化される。順方向予測部分は、逆方向予測部分とは異なってデコードされる。１組の幾何的マップは、遷移の期間にわたって、シーンの順方向予測された部分と、シーンの逆方向予測された部分とのそれぞれを規定することができる。現れつつあるシーンＢに関係付けられた動きベクトルはゼロである一方、シーンＡの開きつつあるドアに関係付けられた動きベクトルは、この効果を生成するために平滑化され、スケーリングされてもよい。したがって、フルシーンＡが開きつつあるドアに含まれるように、シーンＡ９６に対する開きつつあるドアは平滑化され、スケーリングされながらも、ドアオープン効果を生成するように調整される。他の例と同様に、スケーリングおよび平滑化係数と、効果に関係付けられた何らかの幾何的マップとを、例えば、遷移効果デコーディングモジュール２４中の１つ以上のＬＵＴとして、ビデオデコーダ１２中に予め記憶させることができる。

その結果として、シーンＡに関係付けられた動きベクトルの平滑化およびスケーリングを、ビデオデコーダデバイス１４における、遷移効果デコーディングモジュール２４によって実行することができ、これによって、エンコードされたデータ中の複雑な動き情報を送る必要がなくなる。エンコーディングデバイス１２の遷移効果エンコーディングモジュール１８は、単に、ドアオープン効果および期間を識別し、シーンＡおよびシーンＢのコピーを送る。次に、デコーディングデバイス１４の遷移効果デコーディングモジュール２４は、ゼロの動きベクトルによるシーンＢ９８に対する現れつつある領域の差動デコーディングと、動きベクトルの平滑化およびスケーリングを使用するシーンＡ９６の開きつつあるドアの差動デコーディングとを使用して、この効果をシミュレートできる。さらなる効率化のために、シーンＡおよびＢを、空間的に圧縮してもよい。

図１０−１２は、本開示の技術にしたがって、シミュレートされてもよい、異なるブレーク効果を図示する。図１０のフレーム１０５では、シーンＡ１０６がシーンＢ１０８へとシャッターする。図１１のフレーム１１５では、シーンＡ１１６がバー状にブレークして空シーン１１９を露出させ、シーンＢ１１８が変則的な方法で現われて、最終的にシーンＢを再構成する。図１２のフレーム１２５では、シーンＡ１２６が断片へとブレークして空シーン１２９を露出させ、次にシーンＢ１２８が断片として現われて一緒になってシーンＢを形成する。

図１０−１２の例はまた、遷移効果のタイプ、期間、ならびに、開始シーンＡ、および終了シーンＢの内容を識別する、遷移効果情報に基づいて、デコーダデバイス１４によってシミュレートされてもよい。このケースでは、フレームは、順方向予測部分と逆方向予測部分とにセグメント化され、それぞれのブレーク遷移効果を遂行するために、順方向部分と逆方向部分との両方において、スケーリングおよび回転が実行される。

図１３は、例示的なフリップ効果のフレーム１３５を示す。このケースでは、シーンＡ１３６は回転するにつれてそのサイズを減少させ、最終的にシーンＢへとフリップし（示していない）、シーンＢは、フルシーンを達成する、遷移の連続的フレームを通して拡大する。この例において、背景１３９は空であるとして示した。図１０−１２の例と同様に、図１３の効果をシミュレートするために、フレームは、順方向予測部分と逆方向予測部分とにセグメント化される。しかしながら、このケースでは、それぞれのブレーク遷移効果を遂行するために、順方向部分と逆方向部分との両方において、スケーリングおよび回転が実行される。効果のタイプ、期間、ならびに、開始シーンＡ、および終了シーンＢの内容を識別する、遷移効果情報に基づいて、デコーダデバイス１４によって効果をシミュレートすることができる。効果のスケーリング、回転、および幾何を、例えば、１つ以上のＬＵＴ中に予め記憶し、そして、効果に対して識別された期間に基づいて、効果の連続的シーン毎に対して選択することができる。

図１４は、フレーム１４５映画フィルム効果を図示し、ここでシーンＡ１４６は、シーンＢがムーブインするにつれてムーブアウトする。動きは平行移動である。このケースでは、動きベクトルは画一的な方法で規定され、境界線の両側は、異なる予測方向を使用する。他の遷移効果と同様に、遷移効果のタイプ、期間、ならびに、シーンＡおよびシーンＢの内容を規定する情報に基づいて、ビデオデコーダデバイス１４によって、この効果をシミュレートすることができる。したがって、シーケンスの遷移部分のフレーム毎に対する、標準予測ベースのエンコーディングおよびデコーディングを回避することができ、遷移効果デコーダモジュール２４は、そうでなければ必要とされることになるよりも、より少ない情報に基づいてこの効果をシミュレートすることができる。

図１５は、２つの遷移効果の組合せを含むフレーム１５５を図示する。このケースでは、効果は、図８に示したカーブ効果と、図４に示したクロスフェード効果との組み合わせである。図１５の効果がこれらの２つの異なる効果の組み合わせであると仮定すると、遷移効果デコーダモジュール２４は、カーブ効果とクロスフェード効果とに対して使用される技術を組み合わせることにより、この効果をシミュレートすることができる。このケースでは、遷移効果デコーダモジュール２４により、ゼロ値の動きベクトルを使用して、遷移効果に関係付けられたマルチメディアフレームの重み付け双方向再構成を実行することができ、予測重み付けが、カーブ効果の予め規定されたマップにしたがって規定される。

図１６のフレーム１６５に図示したリップル効果のような、いくつかの複雑な効果は、簡単な効果の組合せとして識別するにはあまりにも複雑すぎるかもしれない。このケースでは、物理的ワープ、クロスフェード、および他のランダムな動きが導入されて、デコーダデバイス１４において効果をシミュレートする。ランダムおよび／または非線形歪みを使用して、このような複雑な遷移効果をシミュレートしてもよい。これらの複雑なケースでは、ブロック毎のあらゆる詳細を送出する代わりに、クロスディゾルブにおいて新しいシーンに更新されているブロックの比、および、白色雑音中の高輝度ピクセルの比のような、統計的数が送られてもよい。このような情報が与えられると、複雑なリップルのような効果がシミュレートされてもよい。

しかしながら、いくつかのケースでは、特にコンテンツを変更できる場合、リップル効果のような複雑な効果を、クロスフェードのような、より簡潔な遷移効果に置き換えることが望ましいだろう。このケースでは、エンコーダデバイス１２は遷移の存在を単に識別してもよく、デコーダデバイス１４がオリジナルシーケンスにおけるものと必ずしも同一でない遷移効果をシミュレートしてもよい。このケースでは、視聴者は遷移を依然として見るだろうが、複雑な遷移効果を伝えるために必要とされる、コストのかかるエンコーディングおよびデコーディングを回避することにより、複雑さをかなり減少させることができる。

デコーダにおいて遷移効果シミュレーションのために重み付け動き補償を実行するときに、遷移効果の期間中、フレームにわたって、重み付けを平滑化してもよい。所定の効果に対する動きベクトル上で平滑化が実行されるとき、このような平滑化は、必ずしも直に隣接した隣り合うものに限定されないが、全体のセグメントの、または、平滑化される部分の平滑化を含んでいてもよい。平滑化はまた、平行移動の動きに限定されておらず、例えば、スケーリングおよび回転を含んでいてもよい。すべての平滑化、重み付け、フィルタリングおよびこれらに類することは、デコーダにおいて所定の遷移効果に対して予め規定されていてもよい。

図１７は、本開示にしたがった、遷移効果エンコーディングおよびデコーディング技術を実現してもよい、例示的なビデオエンコーディングおよびデコーディングシステムを図示する別のブロック図である。示したように、システム１７０は、エンコーディング手段１７２と、デコーディング手段１７４とを含む。エンコーディング手段１７２はエンコーダを備えていてもよく、デコーディング手段はデコーダを備えていてもよい。エンコーディング手段１７２は、例えば、メモリロケーションから、マルチメディアシーケンス１７１を受け取る。簡潔さのために、図１７には示していないが、メモリは、エンコーディング手段１７２の一部であってもよく、または、エンコーディング手段１７２にマルチメディアシーケンスを提供する外部メモリであってもよい。

エンコーディング手段１７２は、マルチメディアシーケンス１７１のエンコーディングを容易にし、そして、マルチメディアシーケンス１７１の一部において遷移効果が見つかったとき、このようなエンコーディングを改善させるために本開示の技術を実現する。エンコーディング手段１７２は、遷移効果検出手段１７７を含み、これはマルチメディアシーケンス１７１に関係付けられた遷移効果の検出を実行する。検出手段１７７は、検出器を含んでもよい。システム１７０において、マルチメディアシーケンス１７１の、他の非遷移部分に対するものとは異なるコード化方法を遷移効果に対して使用する。

エンコーディング手段１７２は、標準エンコーディング手段１７６と、遷移効果エンコーディング手段１７８との両方を含み、これらは、第１および第２エンコーディング手段として呼ばれてもよい。標準エンコーディング手段１７６と、遷移効果エンコーディング手段１７８は、別々のエンコーダを構成してもよく、または、共通エンコーダ中で実現されていてもよい。標準エンコーディング手段１７６は、マルチメディアシーケンス１７１のフレームをコード化するために、動き推定および動き補償のような標準予測ベースのエンコーディング技術を適用する。標準エンコーディング手段１７６はまた、いくつかのフレームに対しては、空間推定およびイントラ予測のような非動きコード化技術も適用してもよい。他方、遷移効果エンコーディング手段１７８は、ここで説明したような非標準エンコーディングを実行する。特に、遷移効果エンコーディング手段１７８は、遷移効果のシミュレーションを容易にするためにデコーディング手段１７４によって使用されてもよい、メタデータをコード化する。エンコードされたビデオシーケンスは、送信手段１８３と受信手段１８５とによって、通信チャネル１７５を通して、エンコーディング手段１７２とデコーディング手段１７４との間で転送される。送信手段１８３は送信機を備えてもよく、受信手段１８５は受信機を備えてもよい。代わりに、送信手段１８３と受信手段１８５は、情報の送信および受信の両方が可能なトランシーバを含んでもよい。

デコーディング手段１７４は、標準デコーディング手段１８２と、遷移効果デコーディング手段１８４とを含み、これらは、第１および第２デコーディング手段として呼ばれてもよい。標準デコーディング手段１８２と、遷移効果デコーディング手段１８４は、別々のデコーダを構成してもよく、または、共通デコーダ中で実現されてもよい。標準デコーディング手段１８２は、動き補償デコーディングや、任意のイントラコード化フレームのイントラデコーディングのような、標準デコーディング技術を実行する。しかしながら、遷移効果デコーディング手段１８４は、ここで説明したように、このような効果に対して送出されたメタデータに基づいて、任意の遷移効果を本質的にシミュレートする、非標準技術を実行する。

異なる遷移効果のシミュレーションを容易にするために、送ることができる情報の多くの例を説明してきた。一般的に、本開示の技術は、デコーダにおける、エンコーダ支援された遷移効果シミュレーションを可能にするために、何らかのフレームレート上位変換（ＦＲＵＣ）技術に対して使用されたものと同様の補間技術を実現してもよい。このケースでは、コード化されたマルチメディアシーケンスにおけるデータ圧縮を改善するために、および／または、遷移効果の視覚品質を改善するために、遷移効果に対して、従来の予測ベースのコード化の代わりに、ＦＲＵＣのような技術を使用してもよい。開始および終了シーン（および、おそらくはいくつかの中間シーン）がデコーダに送られ、デコーダは他のフレームを補間して、遷移効果を生成する。

いずれのケースでも、ここで説明した技術は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせにおいて実現されてもよい。ソフトウェアにおいて実現される場合、実行されるときに、上で説明した技術のうちの１つ以上を実行する命令を含むプログラムコードを備えるコンピュータ読取可能媒体（または他の機械読取可能媒体）によって、技術を部分的に具現化してもよい。このケースでは、コンピュータ読取可能媒体は、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）のようなランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去可能プログラム可能リードオンリーメモリ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、磁気もしくは光学データ記憶媒体、および、これらに類する物を含んでいてもよい。

１つ以上のデジタルシグナルプロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途集積回路（ＡＳＩＣ）、フィールドプログラム可能論理回路（ＦＰＧＡ）、または他の均等な集積もしくはディスクリート論理回路のような１つ以上のプロセッサ、あるいは他の機械によって、命令を実行してもよい。命令を実行する機械は、一般的に装置を含んでもよい。いくつかの実施形態では、エンコーディングおよびデコーディングのために構成された、または、組み合わされたビデオエンコーダ−デコーダ（ＣＯＤＥＣ）に組み込まれた、専用ソフトウェアモジュールまたはハードウェアユニット内に、ここで説明した機能を提供してもよい。

さまざまな実施形態を説明してきた。それにもかかわらず、特許請求の範囲を逸脱することなく、説明した技術に対するさまざまな変更を行ってもよい。例えば、アフィン動きを使用して、いくつかのタイプの変換効果にしたがったシミュレーションにおけるマップおよびピクセル値を規定してもよい。アフィン動きは、６つの自由度を可能にし、変換、圧縮または伸張をコード化できる。また、アクセラレーション動きも使用して、シミュレーションを規定してもよい。さらに、エンコーダまたはデコーダ中のルックアップテーブル（ＬＵＴ）ではなく、数式を適用することにより、本開示の技術を採用してもよい。これらのおよび他の実施形態は、特許請求の範囲を逸脱しない。

Claims (16)

1. ビデオデコーダによって、エンコードされたマルチメディアシーケンスをデコードする方法において、
   エンコードされたマルチメディアシーケンスの一部として情報を受け取ることと、
   前記エンコードされたマルチメディアシーケンスをデコードすることと
   を含み、
   前記情報は、前記マルチメディアシーケンスの複数のフレームに関係付けられた遷移効果と、前記遷移効果に関係付けられた前記複数のフレームのうちの開始フレームおよび終了フレームとを含み、少なくともいくつかのフレームデータはそれらの間で不完全であり、
   前記エンコードされたマルチメディアシーケンスをデコードすることは、前記情報に応答して、前記遷移効果をシミュレートすることを含み、前記遷移効果をシミュレートすることは、前記情報に基づいて前記開始フレームと終了フレームとの間の前記複数のフレームを再構成することと、前記遷移効果の予め規定されたマップ、または、ゼロ値の動きベクトルの少なくとも１つを使用して、前記遷移効果に関係付けられた前記複数のフレームの重み付け双方向性再構成を実行することとを含む、方法。
2. 前記情報は、遷移効果のタイプを識別し、前記方法は、前記遷移効果のタイプに基づいて、前記遷移効果をシミュレートすることをさらに含む、請求項１記載の方法。
3. 前記情報は、遷移効果のタイプと、前記遷移効果に関係付けられた期間とを含み、前記遷移効果をシミュレートすることは、前記期間にわたって、前記遷移効果のタイプをシミュレートすることを含む、請求項１記載の方法。
4. 前記情報は、遷移効果のタイプと、前記遷移効果に関係付けられた期間とを含み、前記遷移効果をシミュレートすることは、１つ以上の幾何的マップを発生させることを含む、請求項１記載の方法。
5. 前記１つ以上の幾何的マップを、１つ以上のルックアップテーブルから発生させる、請求項４記載の方法。
6. 前記情報は、前記遷移効果をフェード効果として識別し、前記遷移効果をシミュレートすることは、ゼロ値の動きベクトルを使用して、前記フェード効果に関係付けられた前記複数のフレームの重み付け双方向性再構成を実行することを含む、請求項１記載の方法。
7. 前記情報は、前記遷移効果をディゾルブ効果として識別し、前記遷移効果をシミュレートすることは、前記ディゾルブ効果をランダムに発生させることを含む、請求項１記載の方法。
8. 前記情報は、前記遷移効果を、第１のシーン上に第２のシーンが現れる効果として識別し、
   前記遷移効果をシミュレートすることは、予め規定されたマップにしたがって、前記遷移効果に関係付けられた前記複数のフレームの重み付け双方向性再構成を実行することを含み、前記遷移効果では、ゼロ値の動きベクトルを使用して、前記第１のシーン上に第２のシーンが現れる、請求項１記載の方法。
9. 前記遷移効果をシミュレートすることは、
   遷移シーケンスの少なくとも１つのフレームを、順方向予測部分と、逆方向予測部分とにセグメント化することと、
   前記順方向予測部分を、前記逆方向予測部分とは異なってデコードすることと
   を含む、請求項１記載の方法。
10. 前記遷移効果をシミュレートすることは、前記遷移効果の予め規定されたマップにしたがって、前記遷移効果に関係付けられた前記複数のフレームの重み付け双方向性再構成を実行することを含む、請求項１記載の方法。
11. ビデオエンコーダによって、マルチメディアシーケンスをエンコードする方法において、
    マルチメディアシーケンスのエンコーディングの間に、前記マルチメディアシーケンスの複数のフレームに関係付けられた遷移効果を検出することと、
    エンコードされたマルチメディアシーケンスの一部として前記遷移効果を識別するための情報を発生させることと
    を含み、
    前記情報は前記複数のフレームのうちの開始フレームと終了フレームを含み、少なくともいくつかのフレームデータはそれらの間で不完全であり、デコーダは、前記遷移効果の予め規定されたマップ、または、ゼロ値の動きベクトルの少なくとも１つを使用して、重み付け双方向性再構成を実行することによって、前記開始フレームと終了フレームとの間の前記複数のフレームを、前記情報に基づいて、再構成する、
    方法。
12. 前記情報は、遷移効果のタイプの識別子を含む、請求項１１記載の方法。
13. 前記情報は、遷移効果のタイプの識別子と、前記遷移効果に関係付けられた期間とを含む、請求項１１記載の方法。
14. 前記情報は、遷移効果のタイプの識別子と、前記遷移効果に関係付けられた１つ以上の幾何的マップとを含む、請求項１１記載の方法。
15. 前記エンコードされたマルチメディアシーケンスの一部として前記情報をデコーダに送出することをさらに含む、請求項１１記載の方法。
16. 前記情報は、遷移効果のタイプの識別子と、前記遷移効果に関係付けられた期間とを含む、請求項１１記載の方法。

Images