JP7565401B2 - １つの追加の画像フレームまたは追加の画像フレームのシーケンスを符号化画像フレームのストリームに追加するためのシステムおよび方法 - Google Patents

Description

本発明は、１つの追加の画像フレームまたは追加の画像フレームのシーケンスを符号化画像のストリームに追加することに関し、具体的には、１つの追加の画像フレームまたは追加の画像フレームのシーケンスは、予め決定された視覚効果をコーディングする。

カメラによってキャプチャされたビデオの符号化画像フレームのストリームが、例えば遠隔ロケーションにあるディスプレイにおいて受信、復号、および表示され、カメラが意図的に停止されるか、カメラが障害により停止されるか、またはカメラとディスプレイロケーションとの間の接続が失敗するシナリオでは、ストリームは中断され、さらなる画像フレームがディスプレイロケーションにおいて受信されない。ビデオの表示は、次いで、例えば、画像フレームが全く表示されないことによって、または最後に受信された画像フレームが連続的に表示されることによって、中断される。したがって、ビデオを視聴している人は、ストリームが中断されたことを認識し得るが、その理由は分からない。同様に、カメラの再起動、またはカメラとディスプレイロケーションとの間の接続の復元が開始されたとき、ならびに符号化画像フレームの新しいストリームが生成され、復号および表示のためにディスプレイロケーションにおいて受信される前に、ディスプレイを見ている人には、ビデオが表示されようとしていることが分からない。

本発明の目的は、検出されたイベントのタイプの、符号化画像フレームの復号および表示されたストリームにおける識別を可能にすることであり、イベントのタイプは、符号化画像フレームのストリームの送信側の動作状態の変化、および符号化画像フレームのストリームの送信側と受信側との間の接続状態の変化のうちの１つである。

第１の態様によれば、１つの追加の画像フレームまたは追加の画像フレームのシーケンスを符号化画像フレームのストリームに追加するための方法であって、符号化画像フレームのストリームが、エンコーダによって符号化された画像フレームからなる、方法が提供される。本方法は、符号化画像フレームのストリームの送信側の動作状態の変化、および符号化画像フレームのストリームの送信側と受信側との間の接続状態の変化からの少なくとも１つのタイプに関係するイベントを検出することを含む。検出されたイベントのタイプに応じて、１つの追加の画像フレームまたは追加の画像フレームのシーケンスが提供され、１つの追加の画像フレームまたは追加の画像フレームのシーケンスの各追加の画像フレームは、先行画像フレームへの参照を含み、先行画像フレームに対する予め決定された視覚的変化をコーディングする。予め決定された視覚的変化は、検出されたイベントのタイプを示す。１つの追加の画像フレームまたは追加の画像フレームのシーケンスは、画像フレームの合成ストリームを取得するために符号化画像フレームのストリームに追加される。

１つの追加の画像フレームまたは追加の画像フレームのシーケンスは、先行画像フレームに対する予め決定された視覚的変化をコーディングし、予め決定された視覚的変化は、検出されたイベントのタイプを示すので、画像フレームの合成ストリームは、合成ストリームが復号および表示されるときに、検出されたイベントのタイプの識別を可能にする情報を含む。具体的には、イベントのタイプが、符号化画像フレームのストリームの送信側の動作状態の変化であるのか、符号化画像フレームのストリームの送信側と受信側との間の接続状態の変化であるのかの識別が、可能にされる。

予め決定された視覚的変化は、１つの追加の画像フレームまたは追加の画像フレームのシーケンスによってコーディングされるので、検出されたイベントのタイプの識別を可能にする情報は、合成ストリーム内で送信され、デコーダおよびディスプレイの適応なしに符号化画像フレームのストリームを復号および表示するために構成されたデコーダおよびディスプレイによって復号および表示され得る。

視覚的変化は、予め決定され、先行画像フレームに関連するので、１つの追加の画像フレームまたは追加の画像フレームのシーケンスを、事前に、すなわちイベントを検出する前に生成し、イベントを検出した後に、提供および追加のためにそれらを記憶することが可能である。１つの追加の画像フレームまたは追加の画像フレームのシーケンスは、この視覚的変化をコーディングするデータのみを含む必要があり、符号化画像フレームのストリームに関連するリアルタイムデータを含む必要はない。

第１の態様の方法は、ブロックタイプ（例えば、ブロックが、ＰまたはＢブロックなどのインターブロックであるのか、イントラブロックであるのか、スキップブロックであるのか）、ならびに予め決定された動きベクトルおよび／または予め決定された周波数領域係数のみに基づいて、１つの追加の画像フレームまたは追加の画像フレームのシーケンスの各追加の画像フレームを生成することをさらに含む。したがって、ソフトウェアのみを使用して１つの追加の画像フレームまたは追加の画像フレームのシーケンスを生成することが可能である。さらに、１つの追加の画像フレームまたは追加の画像フレームのシーケンスを、事前に、すなわちイベントを検出する前に生成し、イベントを検出した後に、符号化画像フレームのストリームへの提供および追加のためにそれらを記憶することが可能である。

第１の態様の方法では、１つの追加の画像フレームまたは追加の画像フレームのシーケンスは、各々、予め決定された動きベクトルおよび／または予め決定された量子化周波数領域係数を有する１つまたは複数のインターブロック、ならびに予め決定された量子化周波数領域係数を有する１つまたは複数のイントラブロックのうちの少なくとも１つをさらに含み得る。１つの追加の画像フレームまたは追加の画像フレームのシーケンスは、各々、１つまたは複数のスキップブロックをさらに含み得る。

本明細書で使用されるとき、「予め決定された動きベクトル」および「予め決定された量子化周波数領域係数」という表現によって、予め決定されており、予め決定された視覚的変化を単独でまたは組み合わせてコーディングする動きベクトルおよび量子化周波数領域係数が意味される。量子化周波数領域係数は、例えば、符号化規格に応じて、量子化離散コサイン変換（ＤＣＴ）係数、または他の代替案であり得る。ＡＶ１では、そのような代替案は、量子化非対称離散サイン変換（ＤＳＴ）係数、量子化反転ＡＤＳＴ（ＦＬＩＰＡＤＳＴ）係数、量子化恒等変換係数、および量子化ウォルシュ－アダマール変換（ＷＨＴ）係数であり得る。後者は、ＶＰ８においても使用され得る。

第１の態様の方法では、先行画像フレームは、符号化画像フレームのストリーム中の符号化画像フレーム、開始画像をイントラコーディングする追加された開始画像フレーム、および追加の画像フレームのシーケンス中の追加の画像フレームのうちの１つであり得る。先行画像フレームは、さらに、画像フレームの合成ストリーム中の１つ先行する画像フレームであり得る。代替として、それは、１つ先行する画像フレームに先行する画像フレームであり得る。

第１の態様の方法では、追加の画像フレームのシーケンスは、異なる参照および同じコンテンツを有する追加の画像フレーム、同じ参照および異なるコンテンツを有する追加の画像フレーム、ならびに異なる参照および異なるコンテンツを有する追加の画像フレームのうちの少なくとも１つを含む。

第１の態様の方法は、画像フレームの合成ストリームをデコーダに送信することと、画像フレームの合成ストリームを復号することと、画像フレームの復号された合成ストリームをディスプレイ上に表示し、それにより、検出されたイベントを示す予め決定された視覚的変化を表示することとをさらに含み得る。

第１の態様の方法では、検出されたイベントは、符号化画像フレームのストリームの送信側の停止、符号化画像フレームのストリームの送信側と受信側との間の接続失敗、符号化画像フレームのストリームの送信側の障害、符号化画像フレームのストリームの送信側の起動、符号化画像フレームのストリームの送信側と受信側との間の再接続、および符号化画像フレームのストリームの送信側のリブートからの少なくとも１つのタイプに関係し得る。さらに、送信側の停止は、停止が受信側において開始されたのか送信側において開始されたのかに応じて、２つの別個のタイプのイベントに分割され得る。

第１の態様の方法では、予め決定された視覚的変化は、移動、色の変化、および輝度の変化のうちの１つであり得る。

第２の態様によれば、少なくとも１つのプロセッサを有するシステムにおいて実行されたとき、第１の態様による方法を実施するための命令を記憶した、非一時的コンピュータ可読記憶媒体が提供される。

第１の態様による方法の上述の任意選択の特徴は、適用可能であるとき、第２の態様の非一時的コンピュータ可読記憶媒体にも適用される。過度の繰返しを避けるために、上記が参照される。

第３の態様によれば、１つの追加の画像フレームまたは追加の画像フレームのシーケンスを符号化画像フレームのストリームに追加するためのシステムであって、符号化画像フレームのストリームが、エンコーダによって符号化された画像フレームからなる、システムが提供される。本システムは、符号化画像フレームのストリームの送信側の動作状態の変化、および符号化画像フレームのストリームの送信側と受信側との間の接続状態の変化からの少なくとも１つのタイプに関係するイベントを検出するように構成された検出機能を実行するように構成された回路を備える。回路は、検出機能によって検出されたイベントのタイプに応じて、１つの追加の画像フレームまたは追加の画像フレームのシーケンスを提供するように構成された提供機能を実行するようにさらに構成され、１つの追加の画像フレームまたは追加の画像フレームのシーケンスの各追加の画像フレームは、先行画像フレームへの参照を含み、先行画像フレームに対する予め決定された視覚的変化をコーディングし、予め決定された視覚的変化は、検出されたイベントのタイプを示す。回路は、１つの追加の画像フレームまたは追加の画像フレームのシーケンスを符号化画像フレームのストリームに追加して、画像フレームの合成ストリームを取得するように構成された追加機能を実行するようにさらに構成される。

第１の態様による方法の上述の任意選択の特徴は、適用可能であるとき、第３の態様のシステムにも適用される。過度の繰返しを避けるために、上記が参照される。

本発明のさらなる適用範囲は、以下で与えられる詳細な説明から明らかになるであろう。しかしながら、本発明の範囲内の様々な変更および修正がこの詳細な説明から当業者に明らかになるので、詳細な説明および特定の例は、本発明の好ましい実施形態を示すが、単に例示として与えられることを理解されたい。

したがって、説明されたシステムおよび方法は変化し得るので、本発明は、説明されたシステムの特定の構成要素部分、または説明された方法の行為に限定されないことを理解されたい。本明細書で使用される用語は、特定の実施形態のみを説明するためのものであり、限定するものではないことも理解されたい。本明細書および添付の特許請求の範囲において使用される場合、冠詞「１つの（ａ）」、「１つの（ａｎ）」、「その（ｔｈｅ）」、および「前記（ｓａｉｄ）」は、文脈が別段に明記しない限り、要素のうちの１つまたは複数があることを意味するものとすることに留意されたい。さらに、「含む、備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｃｏｎｔａｉｎｉｎｇ）」および同様の表現は、他の要素またはステップを排除するものではない。

次に、本発明の上記および他の態様は、添付の図面を参照してより詳細に説明される。図面は、限定するものと見なされるべきではなく、説明および理解のために使用される。

本開示の方法の実施形態に関連するフローチャートである。 本開示のシステムの実施形態に関連する概略図である。 本開示の実施形態が実装され得るシステムの概略図である。

次に、本発明は、本発明の現在の好ましい実施形態が示されている添付の図面を参照して、以下で説明される。しかしながら、本発明は、多くの異なる形態で具現化され得、本明細書に記載の実施形態に限定されると解釈されるべきではない。図面において、破線のボックスは任意選択の特徴を示す。

本発明は、符号化画像フレームのストリームが送信側３１０から受信側３２０に送信されることになる、図３に示されているようなシステム３００において適用可能である。送信側３１０は、例えば、監視カメラなどのカメラ、またはカメラロケーションにおいてカメラを備えるシステムであり得る。受信側３２０は、デコーダを備え、ディスプレイロケーションにおいてディスプレイに接続されたデバイスであり得る。送信側３１０と受信側３２０との間に、さらなる中間デバイス３１５が配置され得る。送信側３１０、中間デバイス３１５、および受信側３２０の各々は、送信側３１０の動作状態の変化、および送信側３１０と受信側３２０との間の接続状態の変化からの少なくとも１つのタイプに関係するイベントを検出し得る。

本発明は、符号化画像フレームのストリームが復号および表示のために送信側３１０から受信側３２０に送信されるシナリオにおいて適用可能である。符号化画像フレームのストリームは、例えば、カメラによってキャプチャされ、エンコーダによって符号化された画像からなり得る。代替として、符号化フレームのストリームの一部または全部は、ソフトウェアで作成された画像であり得る。符号化フレームのストリームはビデオであり得、カメラは、人がビデオを視聴しているディスプレイロケーションから遠隔ロケーションに配置されたカメラであり得る。受信側３２０がさらなる符号化画像フレームを受信しないように、符号化画像フレームのストリームの送信が中断される場合、ビデオは中断され、ビデオを視聴している人には、ビデオが中断された理由が分からない。先行画像フレームに対する予め決定された視覚的変化をコーディングする１つの追加の画像フレームまたは追加の画像フレームのシーケンスを追加することによって、合成ストリームが作成される。予め決定された視覚的変化は、符号化画像フレームのストリームに対する検出されたイベントのタイプを示すようにされる。例えば、少なくとも２つの異なる予め決定された視覚的変化は選択可能であり得、各々は、２つのタイプのイベント、すなわち、ｉ）符号化画像フレームのストリームの送信側３１０の動作状態の変化、およびｉｉ）符号化画像フレームのストリームの送信側３１０と受信側３２０との間の接続状態の変化のそれぞれを示す。次いで、合成ストリームが復号され、表示されたとき、視聴者は、予め決定された視覚的変化から、どのタイプのイベントが発生したかを識別することができる。具体的には、視聴者は、イベントのタイプが、符号化画像フレームのストリームの送信側３１０の動作状態の変化であるのか、符号化画像フレームのストリームの送信側３１０と受信側３２０との間の接続状態の変化であるのかを識別することができる。

符号化画像フレームのストリームに追加され、合成ストリーム内で送信される、予め決定された視覚的変化をコーディングする１つの追加の画像フレームまたは追加のフレームのシーケンスの形態で、検出されたイベントのタイプの識別を可能にする情報を含めることによって、送信側３１０と受信側３２０との間のインターフェースの適応が必要でなくなる。さらに、受信側３２０におけるデコーダおよびディスプレイは、適応される必要がない。それらは、符号化画像フレームのストリームを復号および表示するのと同じ方法で合成ストリームを復号および表示することができる。唯一必要とされるのは、どの予め決定された視覚的変化がどのタイプのイベントを示すかを視聴者が気づいていることである。さらに、視覚的変化は、予め決定され、先行画像フレームに関連するので、１つの追加の画像フレームまたは追加の画像フレームのシーケンスを、事前に、すなわちイベントを検出する前に生成し、イベントを検出した後に、提供および追加のためにそれらを記憶することが可能である。１つの追加の画像フレームまたは追加の画像フレームのシーケンスは、この視覚的変化をコーディングするデータのみを含む必要があり、符号化画像フレームのストリームに関連するリアルタイムデータを含む必要はない。

「１つの追加の画像フレーム」および「追加の画像フレームのシーケンス」という用語における符号化への言及がない場合でも、それらの用語の両方は、そのようにして生成され、適応なしに符号化画像フレームのストリームを復号するデコーダによって復号され得るように使用される関連するコーディング規格に従うシンタックスを有する、１つまたは複数の画像フレームに関係することに留意されたい。例えば、画像フレームの合成ストリームを取得するために、１つの追加の画像フレームまたは追加の画像フレームのシーケンスが符号化画像フレームのストリームに追加される前に、エントロピー符号化が、ハードウェアおよび／またはソフトウェアで構成されたエントロピーエンコーダを使用して実行されなければならない。

以下では、１つの追加の画像フレームまたは追加の画像フレームのシーケンスを符号化画像フレームのストリームに追加するための方法１００であって、符号化画像フレームのストリームが、エンコーダによって符号化された画像フレームからなる、方法１００の実施形態が、図１および図３を参照して説明される。

典型的には、符号化画像フレームのストリームの画像フレームのうちのいくつかはイントラフレームであり、いくつかはインターフレームである。イントラフレームは、復号されるべき他のフレームからの情報を必要としない符号化ビデオフレームである。したがって、イントラフレームは、それが対応するように設定されたビデオデータの画像フレームからの情報に基づいて符号化される。典型的には、画像フレーム内の類似性は、画像フレームをイントラフレームに符号化するために使用される。ビデオ符号化では、イントラフレームは、しばしばＩフレームと呼ばれる。２つのイントラフレーム間のビデオストリームの画像フレームは、インターフレームとして符号化される。インターフレームは、インターフレームが対応するように設定されたビデオデータの画像フレーム以外の符号化されるべき少なくとも１つの他の画像フレームからの情報に基づいて符号化される。インターフレームは、典型的には、イントラフレームよりも少ないデータを含む。インターフレームは、ＰフレームまたはＢフレームであり得る。Ｐフレームは、データ参照のために前のフレームを参照する。したがって、Ｐフレームを復号するために、前のフレームのコンテンツを知らなければならない。Ｂフレームは、データ参照のために前のフレームと順方向フレームの両方を参照し得る。したがって、Ｂフレームを復号するために、前のフレームと順方向フレームの両方のコンテンツを知らなければならない。インターフレームを符号化するとき、画像フレームが複数のピクセルグループに分割される。ピクセルグループは、例えば、ブロック、マクロブロック、またはコーディング・ツリー・ユニットと呼ばれることがある。各インターフレームは、インターブロックとして符号化された１つまたは複数のブロック、イントラブロックとして符号化された１つまたは複数のブロック、およびスキップブロックとして符号化された１つまたは複数のブロックを含み得る。画像フレームは参照フレームと比較される。例えば、Ｐフレームを符号化するための参照フレームは、前の画像フレームである。エンコーダにおける画像フレームのシーケンスの符号化では、符号化されるべき画像フレームと参照フレームとの間の一致するピクセルグループを識別するために、マッチングアルゴリズムが使用され得、ピクセルグループについて一致が見つかった場合、そのピクセルグループは、ピクセルグループが参照フレームから画像フレーム中でどのように移動したかを指定する動きベクトルに基づいて符号化され得る。

方法１００は、ｉ）符号化画像フレームのストリームの送信側３１０の動作状態の変化、およびｉｉ）符号化画像フレームのストリームの送信側３１０と受信側３２０との間の接続状態の変化からの少なくとも１つのタイプに関係するイベントを検出することＳ１１０を含む。送信側３１０は、例えば、符号化画像フレームのストリームを送信するカメラ、またはカメラを備えるシステムであり得る。送信側３１０の動作状態の変化は、送信側３１０が、符号化画像フレームのストリームが送信されない動作状態または符号化画像フレームのストリームが送信される動作状態に変化することであり得る。動作状態の変化は、例えば、送信側３１０の意図的な停止、送信側３１０の障害、および送信側３１０のリブートに関係し得る。さらに、送信側の意図的な停止は、停止が受信側において開始されたのか送信側において開始されたのかに応じて、２つの別個のタイプのイベントに分割され得る。送信側３１０と受信側３２０との間の接続状態の変化は、送信側３１０と受信側３２０との間で、符号化画像フレームのストリームが送信され得ない接続状態または符号化画像フレームのストリームが送信され得る接続状態への変化であり得る。接続状態の変化は、例えば、送信側３１０と受信側３２０との間の接続失敗、および送信側３１０と受信側３２０との間の再接続に関係し得る。

Ｓ１２０において、検出されたイベントのタイプに応じて、１つの追加の画像フレームまたは追加の画像フレームのシーケンスが提供される。１つの追加の画像フレームまたは追加の画像フレームのシーケンスの各追加の画像フレームは、先行画像フレームへの参照を含み、先行画像フレームに対する予め決定された視覚的変化をコーディングし、予め決定された視覚的変化は、検出されたイベントのタイプを示す。１つの追加の画像フレームまたは追加の画像フレームのシーケンスの各追加の画像フレームが先行画像フレームへの参照を含むことによって、先行フレームが参照フレームとして使用されることが意味される。

イベントは、送信側３１０または受信側３２０または中間デバイス３１５によって検出され得る。イベントのタイプが、送信側３１０の意図的な停止、送信側３１０のリブート、または送信側３１０の障害などの送信側の動作状態の変化である場合、イベントは、送信側３１０によって検出され得る。イベントのタイプが、送信側３１０と受信側３２０との間の接続失敗、および送信側３１０と受信側３２０との間の再接続など、送信側３１０と受信側３２０との間の接続状態の変化である場合、イベントは、受信側３２０または中間デバイス３１５によって検出され得る。

予め決定された視覚的変化は、符号化され得、視聴者によって識別され、他のタイプのイベントを示すように符号化された他の予め決定された視覚的変化と区別され得る、任意の種類の視覚的変化であり得る。例えば、予め決定された視覚的変化は、移動、色の変化、または輝度の変化であり得る。

例えば、予め決定された視覚的変化が、先行フレームに関連して、ピクセルの予め決定された移動、例えばピクセルのブロックの予め決定された移動に関係する場合、そのような移動は、ブロックのそれぞれの予め決定された動きベクトルによって達成され得る。移動が予め決定されているので、動きベクトルは予め決定される。ピクセルの移動は、それが検出されたイベントのタイプを示すことを可能にするために予め決定されるので、予め決定された視覚的変化に従って達成されるべきである先行フレームに関連するピクセルの予め決定された移動以外の入力なしに動きベクトルを決定することが可能である。これは、エンコーダにおいて画像フレームのシーケンスを符号化するときの動きベクトルの識別とは異なり、ここで、符号化されるべき画像フレームと参照フレームとの間の一致するブロックを識別するためにマッチングアルゴリズムが使用され、ブロックについて一致が見つかった場合、そのブロックは、ブロックが参照フレームから画像フレーム中でどのように移動したかを指定する動きベクトルに基づいて符号化され得る。

同様に、予め決定された視覚的変化が、先行フレームに関連するピクセルの色または輝度の予め決定された変化、例えば、ピクセルのブロックの色または輝度の予め決定された変化に関係する場合、色または輝度のそのような変化は、ブロックのそれぞれの予め決定された周波数領域係数によって達成され得る。色または輝度の変化が予め決定されているので、周波数領域係数は予め決定される。ピクセルの色または輝度の変化は、それが検出されたイベントのタイプを示すことを可能にするために予め決定されるので、予め決定された視覚的変化に従って達成されるべきである先行フレームに関連するピクセルの色または輝度の予め決定された変化以外の入力なしに周波数領域係数を決定することが可能である。

１つの追加の画像フレームまたは追加の画像フレームのシーケンスは、イベントの検出Ｓ１１０の後にＳ１１５において生成され得るか、または、イベントの検出Ｓ１１０の前に既にＳ１１５において生成され、イベントの検出Ｓ１１０の後の提供のために記憶されている。図１中のイベントの検出Ｓ１１０の後にＳ１１５において１つの追加の画像フレームまたは追加の画像フレームのシーケンスを生成するロケーションは、方法１００におけるそのロケーションを示さないことに留意されたい。１つの追加の画像フレームまたは追加の画像フレームのシーケンスの生成Ｓ１１５は、イベントの検出Ｓ１１０の前または後のいずれかに実行され得る。さらに、イベントの検出Ｓ１１０のある程度前およびある程度後に実行され得る。例えば、１つの追加の画像フレームまたは追加の画像フレームのシーケンスは、エントロピー符号化の前まで生成され、イベントの検出Ｓ１１０の前に記憶され得、次いで、イベントの検出Ｓ１１０の後にエントロピー符号化が実行され得る。

１つの追加の画像フレームまたは追加の画像フレームのシーケンスの各追加の画像フレームは、先行画像フレームへの参照を含み、その先行画像フレームに関連して、予め決定された視覚的変化が符号化される。予め決定された視覚的変化を符号化するために、１つの追加の画像フレームまたは追加の画像フレームのシーケンスの各追加の画像フレームは、先行画像フレームに関連する予め決定された変化を定義するデータを含むように生成される。

実施形態では、Ｓ１１５において、１つの追加の画像フレームまたは追加の画像フレームのシーケンスの各追加の画像フレームは、予め決定された動きベクトルおよび／または予め決定された量子化周波数領域係数のみに基づいて生成され得る。１つの追加の画像フレームまたは追加の画像フレームのシーケンスの各追加の画像フレームは、インターフレームであり得、動きベクトルおよび／または量子化周波数領域係数を有する１つまたは複数のインターブロック、ならびに／あるいは量子化周波数領域係数を有する１つまたは複数のイントラブロックを含む。１つまたは複数のインターブロックおよび／または１つまたは複数のイントラブロックは、参照画像に関連する予め決定された移動、予め決定された色の変化、および／または予め決定された輝度の変化など、参照画像フレームに関連する予め決定された視覚的変化を符号化する。１つの追加の画像フレームまたは追加の画像フレームのシーケンスの各追加の画像フレームは、１つまたは複数のスキップブロックをさらに含み得る。

ブロックタイプ（例えば、ブロックが、ＰまたはＢブロックなどのインターブロックであるのか、イントラブロックであるのか、スキップブロックであるのか）、ならびに予め決定された動きベクトルおよび／または予め決定された量子化周波数領域係数のみに基づく、１つの追加の画像フレームまたは追加の画像フレームのシーケンスの生成Ｓ１１５は、エントロピー符号化の前まで完全にソフトウェアで実行され得、次いで、エントロピー符号化が、ソフトウェアまたはハードウェア・エントロピー・エンコーダによって実行され得る。完全にソフトウェアで実行されるそのような生成は、手続き型生成と呼ばれることがある。生成Ｓ１１５に、画像データは必要とされない。スライスヘッダとスライスデータとが別個に符号化され得るコーディング規格では、スライスデータは、エントロピー符号化され、記憶され得、スライスヘッダは、追加の直前に更新される必要がある。これは、例えば、Ｈ．２６４メインおよびハイ、ならびにＨ．２６５におけるＣＡＢＡＣの場合である。スライスヘッダおよびスライスデータが別個に符号化され得ないコーディング規格では、例えば、スライスデータをエントロピー符号化するにはスライスヘッダのいくつかのビットが入力として必要であり、したがって、スライスヘッダのすべてが更新されている必要があるので、スライスヘッダが更新される必要があり、次いで、スライスデータが追加の直前にエントロピー符号化される必要がある。これは、例えば、Ｈ．２６４におけるＣＡＶＬＣの場合である。

Ｓ１３０において、１つの追加の画像フレームまたは追加の画像フレームのシーケンスは、画像フレームの合成ストリームを取得するために符号化画像フレームのストリームに追加される。

１つの追加の画像フレームが提供および追加されるシナリオは、例えば、ディスプレイに提供される最後の画像フレームが、次の画像フレームがディスプレイに提供されるまで継続的に表示されるときである。そのような場合、１つの追加の画像フレームは、先行画像フレームに対する予め決定された視覚的変化を符号化するのに十分であり、予め決定された視覚的変化は視聴者によって識別され得る。

予め決定され、時間と共に徐々に変化している予め決定された視覚的変化がコーディングされることになるシナリオでは、それをコーディングするために追加のフレームのシーケンスが必要とされる。例えば、複数の同じタイプの追加のフレームがシーケンスに含まれ得、各追加のフレームは、同じ予め決定された動きベクトルおよび／または予め決定された量子化周波数領域係数を有するが、それらは、ストリーム中でそれに１つ先行するフレームを参照する。したがって、これらの追加のフレームは、同じコンテンツを有するが異なる参照を有し、したがって、それらは、先行フレームに対する同じ視覚的変化をコーディングする。追加のフレームのそのようなシーケンスが符号化フレームのストリームの後に追加され、次いで、復号および表示されるとき、それらは、徐々に変化するように最後に復号された符号化フレームを表示する。例えば、１０個の追加のフレームが、各々、先行フレームに対して５度の回転をコーディングする場合、それらは、符号化フレームのストリームの後に追加されたとき、最後に復号された符号化フレームの画像を０度から５０度まで５度刻みで回転させる。

１つの追加の画像フレームまたは追加のフレームのシーケンスは、送信側３１０、受信側３２０、または中間デバイス３１５によって追加され得る。イベントのタイプが、送信側３１０の意図的な停止、送信側３１０のリブート、または送信側３１０の障害などの送信側の動作状態の変化である場合、１つの追加の画像フレームまたは追加のフレームのシーケンスは、送信側３１０または受信側３２０または中間デバイス３１５によって追加され得る。イベントのタイプが、送信側３１０と受信側３２０との間の接続失敗、および送信側３１０と受信側３２０との間の再接続など、送信側３１０と受信側３２０との間の接続状態の変化である場合、１つの追加の画像フレームまたは追加のフレームのシーケンスは、送信側３１０、受信側３２０、または中間デバイス３１５によって追加され得る。

１つの追加の画像フレームまたは追加の画像フレームのシーケンスは、例えば、符号化画像フレームのストリームの後に、または符号化画像フレームのストリームの前に追加され得る。１つの追加の画像フレームまたは追加の画像フレームのシーケンスは、好ましくは、受信側３２０にあるデコーダにおいて符号化画像フレームのストリームの他の画像フレームに関連してそれらが復号されるべきであるストリーム中のロケーションおよび順序で追加される。１つの追加の画像フレームまたは追加のフレームのシーケンスの各追加の画像フレームは、画像フレームの合成ストリームの他の画像フレームに関連してそれがいつ表示されるべきかを識別するために、フレーム番号およびピクチャ順序カウントを含む。１つの追加の画像フレームまたは追加の画像フレームのシーケンスが、符号化画像フレームのストリームが送信されない動作状態への動作状態の変化、または符号化画像フレームのストリームが送信され得ない接続状態への送信側３１０と受信側３２０との間の接続状態の変化を示す視覚的変化をコーディングする場合、予め決定された視覚的変化は、符号化画像フレームのストリームの最後に表示されるべきであり、したがって、１つの追加の画像フレームまたは追加の画像フレームのシーケンスは、好ましくは、符号化画像フレームのストリームの最後の符号化画像フレームの後に追加される。動作状態のそのような変化は、例えば、送信側３１０の意図的な停止、送信側３１０の障害、および送信側３１０と受信側３２０との間の接続失敗に関係し得る。１つの追加の画像フレームまたは追加の画像フレームのシーケンスが、符号化画像フレームのストリームが送信される動作状態への動作状態の変化、または符号化画像フレームのストリームが送信され得る接続状態への送信側３１０と受信側３２０との間の接続状態の変化を示す視覚的変化をコーディングする場合、予め決定された視覚的変化は、符号化画像フレームのストリームの先頭に表示されるべきであり、したがって、１つの追加の画像フレームまたは追加の画像フレームのシーケンスは、符号化画像フレームのストリームの最初の符号化画像フレームの前に追加される。動作状態のそのような変化は、例えば、送信側３１０のリブート、および送信側３１０と受信側３２０との間の再接続に関係し得る。以下で説明されるように、１つの追加の画像フレームまたは追加の画像フレームのシーケンスが、最初の符号化画像フレームの前に追加されるとき、開始画像フレームである先行画像フレームが追加される必要がある。そのような場合、符号化画像フレームのストリームの最初の符号化画像フレームは、イントラフレームである必要がある。

先行画像フレームは、符号化画像フレームのストリーム中の符号化画像フレームであり得る。例えば、検出されたイベントが送信側３１０の意図的な停止、送信側３１０の障害、または送信側３１０と受信側３２０との間の接続失敗であるときなど、符号化画像フレームのストリームの最後の符号化画像フレームの後に、１つの追加の画像フレームまたは追加の画像フレームのシーケンスが追加されるべきである場合、１つの追加の画像フレームまたは追加の画像フレームのシーケンスの少なくとも１つの画像フレームは、符号化画像フレームのストリーム中の符号化画像フレームへの参照を含む。例えば、１つの追加の画像フレームは、符号化画像フレームのストリームの最後の符号化画像フレームなど、符号化画像フレームのストリーム中の符号化画像フレームへの参照を含み得る。同様に、例えば、追加の画像フレームのシーケンスの最初の画像フレームは、符号化画像フレームのストリームの最後の符号化画像フレームなど、符号化画像フレームのストリーム中の符号化画像フレームへの参照を含み得る。その場合、追加の画像フレームのシーケンスの最初の画像フレームの後のさらなる画像フレームは、追加の画像フレームのシーケンス内の１つ先行する画像フレームなど、追加の画像フレームのシーケンス内の先行画像フレームへの参照を含み得る。そのような場合、先行画像フレームは、追加の画像フレームのシーケンス内の追加の画像フレームである。代替として、追加の画像フレームのシーケンスの画像フレームのすべては、符号化画像フレームのストリームの最後の符号化画像フレームなど、符号化画像フレームのストリーム中の符号化画像フレームへの参照を含み得る。

代替として、先行画像フレームは、開始画像をイントラコーディングする追加された開始画像フレームであり得る。例えば、検出されたイベントが送信側３１０のリブート、または送信側３１０と受信側３２０との間の再接続であるときなど、符号化画像フレームのストリームの最初の符号化画像フレームの前に、１つの追加の画像フレームまたは追加の画像フレームのシーケンスが追加されるべきである場合、１つの追加の画像フレームまたは追加の画像フレームのシーケンスの少なくとも１つの画像フレームは、追加された開始画像フレームへの参照を含む。その場合、追加の画像フレームのシーケンスの最初の画像フレームの後のさらなる画像フレームは、追加の画像フレームのシーケンス内の１つ先行する画像フレームなど、追加の画像フレームのシーケンス内の先行画像フレームへの参照を含み得る。そのような場合、先行画像フレームは、追加の画像フレームのシーケンス内の追加の画像フレームである。代替として、追加の画像フレームのシーケンスの画像フレームのすべては、追加された開始画像フレームへの参照を含み得る。

追加の画像フレームのシーケンスの画像フレームは、異なる参照およびピクチャ順序カウントを有するが、同じコンテンツを有し得る。例えば、上記で説明されたように、追加の画像フレームのシーケンスの最初の画像フレームは、符号化画像フレームのストリームの最後の符号化画像フレームまたは追加された開始画像への参照を含み得、その場合、追加の画像フレームのシーケンスの最初の画像フレームの後のさらなる画像フレームは、追加の画像フレームのシーケンス内の、すなわち画像フレームの合成ストリーム中の１つ先行する画像フレームなど、追加の画像フレームのシーケンス内の先行画像フレームへの参照を含み得る。その場合、同じコンテンツを有する追加の画像フレームのシーケンスの画像フレームは、先行画像フレームに関連する予め決定された同じ視覚的変化が、追加の画像フレームのシーケンスの各追加の画像フレームにおいて符号化されることを意味し得る。例えば、追加の画像フレームのシーケンスの各連続する追加の画像フレーム中の予め決定された視覚的変化は、追加の画像フレームのシーケンスがピクセルの予め決定された一様な移動を符号化するように、予め決定された同じ移動に関係し得る。追加の画像フレームのシーケンスの各連続する追加の画像フレーム中の予め決定された視覚的変化は、代替または追加として、追加の画像フレームのシーケンスがピクセルの色の予め決定された一様な変化を符号化するように、色の予め決定された同じ変化に関係し得る。追加の画像フレームのシーケンスの各連続する追加の画像フレーム中の予め決定された視覚的変化は、代替または追加として、追加の画像フレームのシーケンスが輝度の予め決定された一様な変化を符号化するように、輝度の予め決定された同じ変化に関係し得る。

追加の画像フレームのシーケンスの画像フレームは、異なる参照および異なるコンテンツを有し得る。例えば、上記で説明されたように、追加の画像フレームのシーケンスの最初の画像フレームは、符号化画像フレームのストリームの最後の符号化画像フレームまたは追加された開始画像への参照を含み得、その場合、追加の画像フレームのシーケンスの最初の画像フレームの後のさらなる画像フレームは、追加の画像フレームのシーケンス内の１つ先行する画像フレームなど、追加の画像フレームのシーケンス内の先行画像フレームへの参照を含み得る。その場合、異なるコンテンツを有する追加の画像フレームのシーケンスの画像フレームは、先行画像フレームに関連する予め決定された異なる視覚的変化が、追加の画像フレームのシーケンスの各追加の画像フレームにおいて符号化されることを意味し得る。例えば、追加の画像フレームのシーケンスの各連続する追加の画像フレーム中の予め決定された視覚的変化は、追加の画像フレームのシーケンスが、それぞれ、ピクセルの予め決定された加速または減速移動を符号化するように、予め決定された増加または減少した移動に関係し得る。追加の画像フレームのシーケンスの各連続する追加の画像フレーム中の予め決定された視覚的変化は、代替または追加として、追加の画像フレームのシーケンスが、それぞれ、ピクセルの色の予め決定された加速または減速変化を符号化するように、色の予め決定された増加または減少した変化に関係し得る。追加の画像フレームのシーケンスの各連続する追加の画像フレーム中の予め決定された視覚的変化は、代替または追加として、追加の画像フレームのシーケンスが、それぞれ、ピクセルの輝度の予め決定された加速または減速変化を符号化するように、輝度の予め決定された増加または減少した変化に関係し得る。

追加の画像フレームのシーケンスの画像フレームは、同じ参照および異なるコンテンツを有し得る。例えば、上記で説明されたように、追加の画像フレームのシーケンスの画像フレームのすべては、符号化画像フレームのストリームの最後の符号化画像フレームまたは追加された開始画像など、符号化画像フレームのストリーム中の符号化画像フレームへの参照を含み得る。その場合、異なるコンテンツを有する追加の画像フレームのシーケンスの画像フレームは、符号化画像フレームのストリームの最後の符号化画像フレームまたは追加された開始画像など、同じ先行画像フレームに関連する異なる予め決定された視覚的変化が、追加の画像フレームのシーケンスの各追加の画像フレームにおいて符号化されることを意味し得る。例えば、追加の画像フレームのシーケンスの各連続する追加の画像フレーム中の予め決定された視覚的変化は、追加の画像フレームのシーケンスがピクセルの予め決定された一様な移動を符号化するように、予め決定された一様により大きい移動に関係し得る。追加の画像フレームのシーケンスの各連続する追加の画像フレーム中の予め決定された視覚的変化は、代替または追加として、追加の画像フレームのシーケンスがピクセルの色の予め決定された一様な変化を符号化するように、色の予め決定された一様により大きい変化に関係し得る。追加の画像フレームのシーケンスの各連続する追加の画像フレーム中の予め決定された視覚的変化は、代替または追加として、追加の画像フレームのシーケンスがピクセルの輝度の予め決定された一様な変化を符号化するように、輝度の予め決定された一様により大きい変化に関係し得る。移動、色、および／または輝度の変化はまた、それが加速される、すなわち、追加の画像フレームのシーケンスの連続する追加の画像フレーム間で変化がますます大きくなるように、またはそれが減速される、すなわち、追加の画像フレームのシーケンスの連続する追加の画像フレーム間で変化がますます小さくなるように、行われ得る。

一例として、同じまたは異なるコンテンツを有することは、Ｈ．２６４およびＨ．２６５ビデオ規格において、それぞれ同じまたは異なるスライスデータを有することを意味する。

例えば、移動、色の変化、および輝度の変化のうちの１つまたは組合せを使用して、多数の異なる予め決定された視覚的変化が想定される。例えば、追加の画像フレームのシーケンスが、符号化画像フレームのストリームの符号化画像フレームに関連する視覚的変化を符号化し、符号化された視覚的変化が、水平方向にのみ、または垂直方向にのみ、あるいは両方向に、のいずれかで、追加の画像フレームのシーケンスの各連続する追加の画像フレームの中心に対する所与の距離だけのすべてのピクセルの移動である場合、符号化画像フレームのストリームの符号化画像フレームが、それぞれ、水平線、垂直線または点に徐々に縮小する視覚的変化が達成される。これは、追加の画像フレームのシーケンスの各連続する追加の画像フレームの中心に対してエッジピクセルを移動させるので、これらのエッジピクセルを、何らかの他の色を維持し得る中心のピクセルを除いて単一色スクリーンになる最終的な結果のために単一の色に変更するかまたは薄れさせる必要がある。この予め決定された視覚的変化は、予め決定された動きベクトルおよび予め決定された量子化周波数領域係数を含む追加の画像フレームのシーケンスにおいて符号化され得る。

別の例では、追加の画像フレームのシーケンスが、符号化画像フレームのストリームの符号化画像フレームに関連する視覚的変化を符号化し、符号化された視覚的変化が、追加の画像フレームのシーケンスの各連続する追加の画像フレームの中心の周りの所与の角度だけのピクセルブロックの移動である場合、符号化画像フレームのストリームの符号化画像フレームがその中心の周りで回転される視覚的変化が達成される。この予め決定された視覚的変化は、予め決定された動きベクトルを含む追加の画像フレームのシーケンスにおいて符号化され得、各連続する追加の画像フレームにおいて小さい回転角度で機能する。それが「小さい」回転角度でのみ機能する理由は、移動がピクセルブロックを移動させることによって行われるため、１つのピクセルよりも大きい任意のピクセルブロックでは、これが回転移動の近似にすぎないからである。追加の画像フレームのシーケンスの各連続する追加の画像フレームにおいて回転移動を近似するより大きい移動が可能であるが、回転移動に関連するアーチファクトをもたらす。追加の画像フレームのシーケンスの各連続する追加の画像フレームにおける角運動のサイズは、ピクセルブロックのサイズに依存する。例えば、サイズ８×８ピクセルのピクセルブロックの場合、７度に対応する追加の画像フレームのシーケンスの各連続する追加の画像フレーム中の移動は、少なくとも十分に小さくなる。より大きい角度に対応する追加の画像フレームのシーケンスの各連続する追加の画像フレーム中の移動も可能であるが、さらなるアーチファクトをもたらす。所望の全回転移動に対応する移動は、「小さい」角度に対応する追加の画像フレームのシーケンスの各連続する追加の画像フレーム中の移動が追加の画像フレームのシーケンスのすべてにわたって所望の全角度を生成するように、十分な数の追加の画像フレームを有する追加の画像フレームのシーケンスを提供することによって、達成され得る。次いで、任意のサイズの所望の角度が達成され得る。

別の例では、追加の画像フレームのシーケンスが、符号化画像フレームのストリームの符号化画像フレームに関連する視覚的変化を符号化し、符号化された視覚的変化が、追加の画像フレームのシーケンスの各連続する追加の画像フレーム中の所与の量だけのすべてのピクセルの輝度の減少または増加である場合、符号化画像フレームのストリームの符号化画像フレームがそれぞれ徐々に黒または白になる視覚的変化が達成される。この予め決定された視覚的変化は、予め決定された量子化周波数領域係数を含む追加の画像フレームのシーケンスにおいて符号化され得る。

別の例では、追加の画像フレームのシーケンスが、符号化画像フレームのストリームの符号化画像フレームに関連する視覚的変化を符号化し、符号化された視覚的変化が、追加の画像フレームのシーケンスの各連続する追加の画像フレーム中の所与の量だけの選択されたピクセルの輝度の減少または増加である場合、符号化画像フレームのストリームの符号化画像フレームの選択されたピクセルがそれぞれ徐々に黒または白になる視覚的変化が達成される。選択されたピクセルは、例えば、画像フレーム中に所望のテキストメッセージを形成するように選択されたピクセルであり得る。この予め決定された視覚的変化は、予め決定された周波数領域係数を使用して符号化され得る。

別の例では、追加の画像フレームのシーケンスが、符号化画像フレームのストリームの符号化画像フレームに関連する視覚的変化を符号化し、符号化された視覚的変化が、追加の画像フレームのシーケンスの各連続する追加の画像フレーム中の、すべてのピクセルについての特定の色の所与の量だけの増加、およびすべてのピクセルについての他のすべての色のそれぞれの所与の量だけの減少である場合、符号化画像フレームのストリームの符号化画像フレームが徐々に特定の色に変わる視覚的変化が達成される。この予め決定された視覚的変化は、予め決定された量子化周波数領域係数を含む追加の画像フレームのシーケンスにおいて符号化され得る。

別の例では、追加の画像フレームのシーケンスが、符号化画像フレームのストリームの符号化画像フレームに関連する視覚的変化を符号化し、符号化された視覚的変化が、追加の画像フレームのシーケンスの各連続する追加の画像フレーム中の、選択されたピクセルの特定の色の所与の量だけの増加である場合、符号化画像フレームのストリームの符号化画像フレームの選択されたピクセルが徐々に特定の色に変わる視覚的変化が達成される。選択されたピクセルは、例えば、画像フレーム中に所望のテキストメッセージを形成するように選択されたピクセルであり得る。この予め決定された視覚的変化は、予め決定された量子化周波数領域係数を含む追加の画像フレームのシーケンスにおいて符号化され得る。

方法１００は、画像フレームの合成ストリームを、例えば受信側３２０に含まれるデコーダに送信することＳ１４０と、画像フレームの合成ストリームを復号することＳ１５０と、画像フレームの復号された合成ストリームを、例えば受信側３２０に接続されたディスプレイ上に表示することＳ１６０とをさらに含み得る。合成ストリームを表示するとき、検出されたイベントを示す予め決定された視覚的変化が表示される。

図２は、１つの追加の画像フレームまたは追加の画像フレームのシーケンスを符号化画像フレームのストリームに追加するための本開示のシステム２００の実施形態に関連する概略図を示し、符号化画像フレームのストリームが、エンコーダによって符号化された画像フレームからなる。システム２００は回路２１０を備える。回路２１０は、システム２００の機能を実行するように構成される。回路２１０は、中央処理ユニット（ＣＰＵ）、マイクロコントローラ、またはマイクロプロセッサなど、プロセッサ２１２を含み得る。プロセッサ２１２は、プログラムコードを実行するように構成される。プログラムコードは、例えば、システム２００の機能を実行するように構成され得る。

システム２００は、メモリ２３０をさらに備え得る。メモリ２３０は、バッファー、フラッシュメモリ、ハードドライブ、リムーバブル媒体、揮発性メモリ、不揮発性メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、または別の適切なデバイスのうちの１つまたは複数であり得る。典型的な構成では、メモリ２３０は、長期データ記憶のための不揮発性メモリと、回路２１０のためのデバイスメモリとして機能する揮発性メモリとを含み得る。メモリ２３０は、データバスを介して回路２１０とデータを交換し得る。メモリ２３０と回路２１０との間に、付随する制御線およびアドレスバスも存在し得る。

システム２００の機能は、システム２００の非一時的コンピュータ可読媒体（例えば、メモリ２３０）に記憶され、（例えば、プロセッサ２１２を使用して）回路２１０によって実行される実行可能論理ルーチン（例えば、コード行、ソフトウェアプログラムなど）の形態で具現化され得る。さらに、システム２００の機能は、スタンドアロン・ソフトウェア・アプリケーションであり、または、システム２００に関係する追加のタスクを実行するソフトウェアアプリケーションの一部を形成し得る。説明された機能は、処理ユニット、例えば回路２１０のプロセッサ２１２が実行するように構成された方法と見なされ得る。また、説明された機能はソフトウェアで実装され得るが、そのような機能性は、専用ハードウェアまたはファームウェア、あるいはハードウェア、ファームウェアおよび／またはソフトウェアの何らかの組合せを介して実行され得る。

回路２１０は、検出機能２３１、提供機能２３３、および追加機能２３４を実行するように構成される。回路２１０は、任意選択的に、生成機能２３２および送信機能２３５をさらに実行するように構成され得る。

検出機能２３１は、符号化画像フレームのストリームの送信側３１０の動作状態の変化、および符号化画像フレームのストリームの送信側３１０と受信側３２０との間の接続状態の変化からの少なくとも１つのタイプに関係するイベントを検出するように構成される。

提供機能２３３は、検出機能２３１によって検出されたイベントのタイプに応じて、１つの追加の画像フレームまたは追加の画像フレームのシーケンスを提供するように構成され、１つの追加の画像フレームまたは追加の画像フレームのシーケンスの各追加の画像フレームは、先行画像フレームへの参照を含み、先行画像フレームに対する予め決定された視覚的変化をコーディングし、予め決定された視覚的変化は、検出機能２３１によって検出された、検出されたイベントのタイプを示す。

追加機能２３４は、１つの追加の画像フレームまたは追加の画像フレームのシーケンスを符号化画像フレームのストリームに追加して、画像フレームの合成ストリームを取得するように構成される。

生成機能２３２は、予め決定された動きベクトルおよび／または予め決定された周波数領域係数のみに基づいて、１つの追加の画像フレームまたは追加の画像フレームのシーケンスの各々を生成するように構成される。

送信機能２３５は、画像フレームの合成ストリームをデコーダに送信するように構成される。

システム２００およびその含まれる部分は、典型的には、単一のロケーションにおいて実装されないことに留意されたい。例えば、回路２１０およびメモリ２３０は、送信側３１０と受信側３２０との間で分散されるか、または送信側３１０および受信側３２０において複製され得る。典型的には、送信側３１０において識別されたタイプのイベントは、回路２１０の一部分、および送信側３１０に配置されたメモリ２３０中の機能２３１～２３５、または複製された回路２１０、および送信側３１０に配置されたメモリ２３０中の機能２３１～２３５のうちの１つによって処理される。対応して、受信側３２０において識別されたタイプのイベントは、典型的には、回路２１０の一部分、および受信側３２０に配置されたメモリ２３０中の機能２３１～２３５、または複製された回路２１０、および受信側３２０に配置されたメモリ２３０中の機能２３１～２３５のうちの１つによって処理される。

システム２００は、デコーダ２４０をさらに備え得る。デコーダ２４０は、画像フレームの合成ストリームを復号するように構成される。デコーダ２４０は、受信側３２０のロケーションにおいて配置される。

システム２００は、ディスプレイ２５０をさらに備え得る。ディスプレイ２５０は、デコーダ２４０によって復号された画像フレームの合成ストリームを表示するように構成される。それにより、検出されたイベントを示す予め決定された視覚的変化が、ディスプレイ２５０上に表示される。ディスプレイ２５０は、受信側３２０のロケーションにおいて配置される。

回路２１０によって実行される機能は、図１および図３に関連して説明される方法の実施形態の対応するステップと同じ方法でさらに適応され得る。

本発明が上記で説明された実施形態に限定されないことを、当業者は了解する。それどころか、添付の特許請求の範囲内で多くの修正および変形が可能である。そのような修正および変形は、図面、開示、および添付の特許請求の範囲の研究から、特許請求される発明を実施する当業者によって理解および実現され得る。

Claims (11)

1. １つの追加の画像フレームまたは追加の画像フレームのシーケンスを符号化画像フレームのストリームに追加するための方法であって、前記符号化画像フレームのストリームが、エンコーダによって符号化された画像フレームからなり、前記方法は、
   前記符号化画像フレームのストリームの送信側の動作状態の変化、および
   前記符号化画像フレームのストリームの前記送信側と受信側との間の接続状態の変化
   のうち１つのタイプに関係するイベントを検出することと、
   前記検出されたイベントの前記タイプに応じて、前記１つの追加の画像フレームまたは前記追加の画像フレームのシーケンスを提供することであって、前記１つの追加の画像フレーム、または前記追加の画像フレームのシーケンスの各追加の画像フレームが、先行画像フレームへの参照を含み、前記先行画像フレームに対する予め決定された視覚的変化をコーディングし、前記予め決定された視覚的変化が、前記検出されたイベントの前記タイプを示す、提供することと、
   前記１つの追加の画像フレームまたは前記追加の画像フレームのシーケンスを前記符号化画像フレームのストリームに追加して、画像フレームの合成ストリームを取得することと
   を含み、画像フレームの合成ストリームはデコーダによって復号され且つディスプレイ上に表示され、それにより前記検出されたイベントを示す前記予め決定された視覚的変化を表示する、方法。
2. 前記１つの追加の画像フレームまたは前記追加の画像フレームのシーケンスが、各々、
   動きベクトルおよび／または量子化周波数領域係数を有する１つまたは複数のインターブロック、ならびに
   量子化周波数領域係数を有する１つまたは複数のイントラブロック
   のうちの少なくとも１つをさらに含む、請求項１に記載の方法。
3. 前記先行画像フレームが、
   前記符号化画像フレームのストリーム中の符号化画像フレーム、
   開始画像をイントラコーディングする追加された開始画像フレーム、および
   前記追加の画像フレームのシーケンス中の追加の画像フレーム
   のうちの１つである、請求項１に記載の方法。
4. 前記先行画像フレームが、前記画像フレームの合成ストリーム中の１つ先行する画像フレームである、請求項３に記載の方法。
5. 前記画像フレームの合成ストリームを前記ストリームの受信側のロケーションに配置されたデコーダに送信することと、
   前記画像フレームの合成ストリームを復号することと、
   復号された前記画像フレームの合成ストリームを前記ストリームの受信側の前記ロケーションに配置されたディスプレイ上に表示し、それにより、前記検出されたイベントを示す前記予め決定された視覚的変化を表示することと
   をさらに含む、請求項１に記載の方法。
6. 前記検出されたイベントが、
   前記符号化画像フレームのストリームの前記送信側の停止、
   前記符号化画像フレームのストリームの前記送信側と前記受信側との間の接続失敗、
   前記符号化画像フレームのストリームの前記送信側の障害、
   前記符号化画像フレームのストリームの前記送信側の起動、
   前記符号化画像フレームのストリームの前記送信側と前記受信側との間の再接続、および
   前記符号化画像フレームのストリームの前記送信側のリブート
   からの少なくとも１つのタイプに関係する、請求項１に記載の方法。
7. 前記予め決定された視覚的変化が、移動、色の変化、および輝度の変化のうちの１つである、請求項１に記載の方法。
8. 少なくとも１つのプロセッサを有するデバイスにおいて実行されたとき、請求項１から７のいずれか一項に記載の方法を実施するための命令を記憶した、非一時的コンピュータ可読記憶媒体。
9. １つの追加の画像フレームまたは追加の画像フレームのシーケンスを符号化画像フレームのストリームに追加するためのシステムであって、前記符号化画像フレームのストリームが、エンコーダによって符号化された画像フレームからなり、前記システムは、
   前記符号化画像フレームのストリームの送信側の動作状態の変化、および
   前記符号化画像フレームのストリームの前記送信側と受信側との間の接続状態の変化
   のうち１つのタイプに関係するイベントを検出するように構成された検出機能と、
   前記検出機能によって検出された前記イベントの前記タイプに応じて、前記１つの追加の画像フレームまたは前記追加の画像フレームのシーケンスを提供するように構成された提供機能であって、前記１つの追加の画像フレーム、または前記追加の画像フレームのシーケンスの各追加の画像フレームが、先行画像フレームへの参照を含み、前記先行画像フレームに対する予め決定された視覚的変化をコーディングし、前記予め決定された視覚的変化が、前記検出されたイベントの前記タイプを示す、提供機能と、
   前記１つの追加の画像フレームまたは前記追加の画像フレームのシーケンスを前記符号化画像フレームのストリームに追加して、デコーダによって復号され且つディスプレイ上に表示され、それにより前記検出されたイベントを示す前記予め決定された視覚的変化を表示する画像フレームの合成ストリームを取得するように構成された追加機能と
   を実行するように構成された回路を備える、システム。
10. 前記回路が、
    前記画像フレームの合成ストリームを前記ストリームの受信側のロケーションに配置されたデコーダに送信するように構成された送信機能
    を実行するようにさらに構成され、前記システムが、
    前記画像フレームの合成ストリームを復号するように構成された前記デコーダと、
    復号された前記画像フレームの合成ストリームを表示し、それにより、前記検出されたイベントを示す前記予め決定された視覚的変化を表示するように構成された、前記ストリームの受信側のロケーションに配置されたディスプレイと
    をさらに備える、請求項９に記載のシステム。
11. 前記回路が、
    予め決定された動きベクトルおよび／または予め決定された周波数領域係数のみに基づいて、前記１つの追加の画像フレームまたは前記追加の画像フレームのシーケンスの各々を生成するように構成された生成機能
    を実行するようにさらに構成される、請求項９または１０に記載のシステム。

Images