JP5580214B2 - 変換領域内における符号化映像に対する遷移の生成 - Google Patents

変換領域内における符号化映像に対する遷移の生成 Download PDF

Info

Publication number
JP5580214B2
JP5580214B2 JP2010545167A JP2010545167A JP5580214B2 JP 5580214 B2 JP5580214 B2 JP 5580214B2 JP 2010545167 A JP2010545167 A JP 2010545167A JP 2010545167 A JP2010545167 A JP 2010545167A JP 5580214 B2 JP5580214 B2 JP 5580214B2
Authority
JP
Japan
Prior art keywords
image
images
mpeg
transform
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010545167A
Other languages
English (en)
Other versions
JP2011511573A (ja
Inventor
デンチー チャン，
チャールズ ローレンス，
Original Assignee
アクティブビデオ ネットワークス， インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アクティブビデオ ネットワークス， インコーポレイテッド filed Critical アクティブビデオ ネットワークス， インコーポレイテッド
Publication of JP2011511573A publication Critical patent/JP2011511573A/ja
Application granted granted Critical
Publication of JP5580214B2 publication Critical patent/JP5580214B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Circuits (AREA)

Description

（優先権）
本出願は、２００８年２月１日に出願された「Ｔｒａｎｓｉｔｉｏｎ Ｃｒｅａｔｉｏｎ ｆｏｒ Ｅｎｃｏｄｅｄ Ｖｉｄｅｏ ｉｎ ｔｈｅ Ｔｒａｎｓｆｏｒｍ Ｄｏｍａｉｎ」というタイトルの米国特許出願第１２／０２４，７０７号の優先権を主張し、その開示全体が本明細書に参考として援用される。
（技術分野）
本発明は、画像処理に関し、より具体的には、符号化動画像間の遷移のための符号化領域内の中間画像の構築に関する。
（背景技術）
ソフトウェアおよびハードウェア映像エンコーダならびにデコーダの増大する有用性と相まって、最新の圧縮アルゴリズムの飛躍的性能によって、符号化コンテンツが普及している。ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）規格は、商業用途および一般向け用途の両方において、広範に使用されている。種々のモジュール１５０を有するサンプルＭＰＥＧ映像圧縮および解凍システムが、図１に示される。画素データ１５１が、システムに入力され、各マクロブロック（１６×１６画素群）は、離散コサイン変換（ＤＣＴ）１５２を使用して、変換符号化を受ける。結果として得られるデータは、量子化され１５３、マクロブロックが内部符号化される場合、エントロピ符号化されるであろう。量子化されたデータは、フィードバックループを通過し、そこで量子化されたデータが逆量子化され１５５、逆変換１５６を経る。次いで、結果として得られる画素データは、動き推定ブロック１５７内の動きベクトル、ならびに相互符号化のための動き推定差分値１５８（順次フレーム内に同様に位置するマクロブロック間の差分値）を計算するために、順次マクロブロックの処理のために保存および使用される。続いて、動きベクトルおよび動き推定差分値は、エントロピ符号化され１５４、出力ビットストリーム１６０内に出力される。
ＭＰＥＧデコーダ１７０は、エンコーダから符号化出力ビットストリームを受信し、第１のエントロピは、受信したビットストリームを復号化する１７１。データがエントロピ復号化されるのに伴って、データが空間的符号化マクロブロックデータとして識別される場合、データは、逆量子化器１７２および逆ＤＣＴ変換１７３を通過し、マクロブロック位置に対する画素値をもたらす。次いで、画素値は、保存され、相互符号化された順次マクロブロック内のマクロブロックに対するマクロブロック画素値を決定するために使用され得る。結果として得られるデータが、動きベクトルとして識別される場合、動きベクトルは、動き補正モジュール１７４に転送される。所与のマクロブロック位置に対して受信した動きベクトルに基づいて、動き補正モジュール１７４は、動きベクトルがポイントし、動き補正モジュール１７４が動きベクトルと関連付けられたマクロブロック位置に対する画素値を決定する、保存されたマクロブロックデータを読み出す。加えて、相互符号化マクロブロックに対する差分値は、入力ビットストリーム内で受信されてもよく、それらの値は、加算され、または同一のマクロブロック位置を共有する先行映像フレームからのマクロブロックに対する保存された画素値から除算される。データが画素値に復号化されると、結果として得られる画素値ビットストリームが出力され、表示機器上に表示されてもよい。
フェードイン、フェードアウト、およびクロスフェード等の標準的な映画的効果を生成することを所望する符号化映像コンテンツの制作者および編集者は、空間／画素領域内で作業する。画素領域内では、２つの画像間のフェーディングは、以下の式で表すことが可能である。ｐｎｅｗ＝α・ｐａ＋（１−α）・ｐｂ
式中、ｐは、画素領域内の画素値であって、α＝［０、１］は、フェーディング荷重である。ｐｂが単調色である場合、フェードイン（α＝０→１の場合）およびフェードアウト（α＝１→０の場合）と呼ばれる。それ以外は、クロスフェードと呼ばれる。したがって、符号化映像コンテンツを扱う制作者および編集者は、最初に、映像コンテンツの各フレームを復号化し、空間／画素領域内のデータを操作し、これらの効果を生成し、次いで、フレームを再符号化するように強いられる。したがって、これらの映画的効果を生成するために、いくつかのプロセッサ集約的ステップを踏まなければならない（特に、変換復号化および符号化の性能）。
インターネットまたはケーブルテレビシステムを通して等、ネットワーク環境においてリアルタイムでのそのような効果の自動生成は、処理要件および待ち時間のため、困難であることが証明されている。
（本発明の概要）
本発明の第１の実施形態では、第１の画像と第２の画像との間の少なくとも１つの中間遷移画像のデータ代表値を計算するための方法が、提供される。第１および第２の画像は、ＤＣＴ係数等の変換符号化データによって表される。方法は、第１および第２の画像内の対応する位置における変換符号化データを変換復号化せずに、第１および第２の画像の変換符号化データを使用して、少なくとも１つの中間画像に対する変換符号化値を計算するステップを含む。各中間フレームに対して、変換符号化値が、各画素位置のために計算される。少なくとも１つの中間画像に対する変換符号化値は、メモリに保存される。第１の画像および第２の画像を形成する画像データは、１つ以上の動画像列からの個々のフレームであってもよく、または静止画像であってもよい。第１および第２の画像に対する画像データは、フレーム内符号化されてもよい。
画像のうちの１つが動画像列からのものである場合、画像データは、動画像列から構文解析される。例えば、Ｉ−フレームは、ＭＰＥＧストリーム内に位置してもよい。これは、第１の画像および第２の画像の両方に対して行なわれてもよい。中間画像に対して決定される変換符号化値は、フレーム内またはフレーム間符号化されてもよい。あるプロセスは、フレームがフレーム内またはフレーム間符号化されるべきであるかどうか決定するために生じてもよい。いくつかの実施形態では、決定は、コンピュータシステムによって自動的に行なわれる。別個の式が、フレーム内値およびフレーム間値を決定するために採用される。
いくつかの実施形態では、第１および第２の画像の両方とも、完全符号化ＭＰＥＧ Ｉ−フレームデータによって表されてもよい。他の実施形態では、第１および第２の画像データは、量子化された変換係数であってもよく、さらに他の実施形態では、第１および第２の画像データは、単純に、変換係数であってもよい。システムは、変換符号化データではない第１または第２の画像からの任意のデータを復号化するであろう。したがって、ＭＰＥＧ Ｉ−フレームは、一実施形態では、エントロピ復号化および逆量子化されるであろう。
第１および第２の画像データが、ＭＰＥＧ Ｉ−フレームであって、第１および第２の画像データが、同一量子化ステップサイズおよび量子化行列を使用して符号化されている場合、データは、エントロピ復号化のみされる必要があり、データは、量子化された変換符号化データとして残される。したがって、中間フレームは、量子化された変換符号化データから計算可能である。１つ以上の中間画像に対するデータが計算されると、データは、第１の画像と第２の画像データとの間に挿入可能である。例えば、中間画像は、ＭＰＥＧシーケンス中に挿入され、そこでヘッダの適切なフォーマッティングおよびアップデートが生じ得る。
中間画像は、フェードイン、フェードアウト、またはクロスフェード等の効果を生成可能である。第１または第２の画像は、フェードインまたはフェードアウトのための単調画像であってもよい。
他の実施形態では、方法は、コンピュータ可読保存媒体上のコンピュータプログラムとして具現化されてもよい。
本明細書は、例えば、以下の項目も提供する。
（項目１）
第１の画像と第２の画像との間の少なくとも１つの中間遷移画像のデータ代表値を計算するための方法であって、該第１および第２の画像は、符号化データによって表され、該方法は、
該第１および第２の画像内の各対応する位置に対して、該変換符号化データを変換復号化せずに、該第１および第２の画像の該変換符号化データを使用して、該少なくとも１つの中間画像のための変換符号化値を計算することと、
該少なくとも１つの中間画像に対する該変換符号化値をメモリに保存することと
を含む、方法。
（項目２）
前記第１の画像は、第１の動画像列からのものであって、前記第２の画像は、第２の動画像列からのものである、項目１に記載の少なくとも１つの中間遷移画像のデータ代表値を計算するための方法。
（項目３）
前記第１の動画像は、フレーム内符号化される、項目２に記載の方法。
（項目４）
前記第２の動画像は、フレーム内符号化される、項目３に記載の方法。
（項目５）
前記第１の画像は、静止画像である、項目１に記載の方法。
（項目６）
前記第２の画像は、静止画像である、項目５に記載の方法。
（項目７）
第１の動画像列からの前記第１の動画像を構文解析することをさらに含む、項目１に記載の方法。
（項目８）
第２の動画像列からの前記第２の動画像を構文解析することをさらに含む、項目１に記載の方法。
（項目９）
前記第１の動画像は、内部符号化される、項目７に記載の方法。
（項目１０）
前記第２の動画像は、内部符号化される、項目８に記載の方法。
（項目１１）
前記中間画像がフレーム内またはフレーム間符号化されるかどうか決定することと、
該中間画像がフレーム内符号化されるべき場合、該少なくとも１つの中間画像に対する前記変換符号化値を決定するためのフレーム内符号化式を選択することと、
該中間画像がフレーム間符号化されるべき場合、該少なくとも１つの中間画像に対する該変換符号化値を決定するためのフレーム間符号化式を選択することと
をさらに含む、項目１に記載の方法。
（項目１２）
前記第１と第２の画像との間に生成される映画的効果の種類を決定することと、
前記中間画像がフレーム内またはフレーム間符号化されるかどうか決定することと、
該中間画像がフレーム内符号化されるべき場合、該映画的効果に基づいて、該少なくとも１つの中間画像に対する前記変換符号化値を決定するためのフレーム内符号化式を選択することと、
該中間画像がフレーム間符号化されるべき場合、該映画的効果に基づいて、該少なくとも１つの中間画像に対する該変換符号化値を決定するためのフレーム間符号化式を選択することと
をさらに含む、項目１に記載の方法。
（項目１３）
前記第１および第２の画像は、ＭＰＥＧ符号化される、項目１に記載の方法。
（項目１４）
前記第１および第２のＭＰＥＧ画像をエントロピ復号化することと、
該第１および第２のＭＰＥＧ画像を逆量子化し、該第１および第２のＭＰＥＧ画像のための変換データを生成することと
をさらに含む、項目３に記載の方法。
（項目１５）
変換符号化値を決定することは、
前記第１の画像の前記変換符号化データをパーセント値で、前記第２の画像の該変換符号化データを１−該パーセント値で乗算することと、
該第１の画像および該第２の画像の該乗算変換データを加算し、前記中間画像の変換符号化データを形成することと
を含む、項目１に記載の方法。
（項目１６）
前記第１および前記第２の画像の変換データ代表値間の前記中間画像の前記変換符号化データ代表値を挿入することをさらに含む、項目１に記載の方法。
（項目１７）
前記第１、第２、および中間画像の前記データ代表値を量子化することと、
該第１、第２、および中間画像の該データ代表値をエントロピ符号化して、符号化データストリームを生成することと
をさらに含む、項目１６に記載の方法。
（項目１８）
前記符号化データストリームの復号化および表示は、前記第２の画像のフェードインを生成する、項目１７に記載の方法。
（項目１９）
前記符号化データストリームの復号化および表示は、前記第１の画像のフェードアウトを生成する、項目１７に記載の方法。
（項目２０）
前記符号化データストリームの復号化および表示は、前記第１と第２の画像との間のクロスフェードを生成する、項目１７に記載の方法。
（項目２１）
前記符号化データストリームの復号化および表示は、前記第１と第２の画像との間のワイプを提供する、項目１７に記載の方法。
（項目２２）
第１の画像と第２の画像との間の少なくとも１つの中間遷移画像のデータ代表値を計算するための方法であって、該第１および第２の画像は、符号化データによって表され、該方法は、
該中間画像が内部符号化されるべきかどうか決定することと、
該第１の画像および該第２の画像のための該符号化データが両方とも、同一のステップサイズおよび量子化行列を使用して量子化されているかどうか決定することと、
該中間画像が内部符号化されるべきであって、該ステップサイズおよび量子化行列が該第１の画像および該第２の画像の両方に対して同一である場合、該第１および第２の画像内の各対応する位置に対して、該第１および第２の画像からの量子化された変換係数を使用して、該少なくとも１つの中間画像のための量子化された変換符号化値を計算することと、
各量子化された変換符号化値をメモリに保存することと
を含む、方法。
（項目２３）
第１のＭＰＥＧ画像と第２のＭＰＥＧ画像との間の少なくとも１つの中間遷移画像のデータ代表値を計算するために、自身にコンピュータコードを有するコンピュータ可読保存媒体を備える、コンピュータプログラム製品であって、該コンピュータコードは、
該第１および第２のＭＰＥＧ画像からのデータを変換復号化せずに、該少なくとも１つの中間画像に対する変換符号化値を決定するためのコンピュータコードと、
該変換符号化値をメモリに保存するためのコンピュータコードと
を含む、コンピュータプログラム製品。
（項目２４）
前記第１の画像は、第１の動画像列からのものであって、前記第２の画像は、第２の動画像列からのものである、項目２３に記載のコンピュータプログラム製品。
（項目２５）
前記第１の動画像は、フレーム内符号化される、項目２３に記載のコンピュータプログラム製品。
（項目２６）
前記第２の動画像は、フレーム内符号化される、項目２５に記載のコンピュータプログラム製品。
（項目２７）
前記第１の画像は、静止画像である、項目２３に記載のコンピュータプログラム製品。
（項目２８）
前記第１および第２のＭＰＥＧ画像をエントロピ復号化するためのコンピュータコードと、
該第１および第２のＭＰＥＧ画像を逆量子化して、該第１および第２のＭＰＥＧ画像のための変換データを生成するためのコンピュータコードと
をさらに含む、項目２３に記載のコンピュータプログラム製品。
（項目２９）
変換符号化値を決定するための前記コンピュータコードは、
前記第１の画像の前記変換データをパーセント値で、前記第２の画像の該変換データを１−該パーセント値で乗算するためのコンピュータコードと、
該第１の画像および該第２の画像の該乗算変換データを加算し、前記中間画像の変換符号化データを形成するためのコンピュータコードと
を含む、項目２３に記載のコンピュータプログラム製品。
（項目３０）
前記第１および前記第２の画像の変換データ代表値間の前記中間画像の前記変換符号化データ代表値を挿入するためのコンピュータコードをさらに含む、項目２３に記載のコンピュータプログラム製品。
（項目３１）
前記第１、第２、および中間画像の前記データ代表値を量子化するためのコンピュータコードと、
該第１、第２、および中間画像の該データ代表値をエントロピ符号化して、ＭＰＥＧデータストリームを生成するためのコンピュータコードと
をさらに含む、項目３０に記載のコンピュータプログラム製品。
（項目３２）
前記ＭＰＥＧデータストリームの復号化および表示は、前記第２の画像のフェードインを生成する、項目３１に記載のコンピュータプログラム製品。
（項目３３）
前記ＭＰＥＧデータストリームの復号化および表示は、前記第１の画像のフェードアウトを生成する、項目３１に記載のコンピュータプログラム製品。
（項目３４）
前記ＭＰＥＧデータストリームの復号化および表示は、前記第１と第２の画像との間のクロスフェードを生成する、項目３１に記載のコンピュータプログラム製品。
（項目３５）
前記第１の画像は、単調画像である、項目１に記載の方法。
（項目３６）
前記第２の画像は、単調画像である、項目１に記載の方法。
（項目３７）
前記第１のＭＰＥＧ画像は、単調画像である、項目２３に記載のコンピュータプログラム製品。
（項目３８）
前記第２のＭＰＥＧ画像は、単調画像である、項目２３に記載のコンピュータプログラム製品。
（項目３９）
第１の画像と第２の画像との間の少なくとも１つの中間遷移画像のデータ代表値を計算するための方法であって、該第１および第２の画像は、符号化データによって表され、該方法は、
該中間画像が内部符号化されるべきであるかどうか決定することと、
該第１の画像および該第２の画像のための該符号化データが両方とも、同一のステップサイズおよび量子化行列を使用して量子化されているかどうか決定することと、
該中間画像が内部符号化されるべきであって、該ステップサイズおよび量子化行列が、該第１の画像および該第２の画像の両方に対して同一である場合、該第１および第２の画像内の各対応する位置に対して、該第１および第２の画像からの量子化された変換係数を使用して、該少なくとも１つの中間画像のための量子化された変換符号化値を計算することと、
各量子化された変換符号化値をメモリに保存することと
を含む、方法。
本発明の上述の特徴は、付随の図面と併せて、以下の発明を実施するための形態を参照することによって、より容易に理解されるであろう。
図１は、例示的映像圧縮のブロック図を示す。 図１Ａは、符号化領域内において映画的効果を生成するための本発明が具現化され得る、第１の環境を示す。 図２は、符号化映像コンテンツ間の遷移を生成するための自動システムを含む、第２の環境を示す。 図３Ａは、単調画像データの事前処理のフローチャートを示す。 図３Ｂは、映画的効果およびフレームタイプが選択されるフローチャートを示す。 図３Ｃは、受信した画像データがＭＰＥＧ Ｉ−フレームではなく、中間フレームタイプがＰ−フレームである場合における、画像データを処理するためのフローチャートを示す。 図３Ｄは、受信した画像データがＭＰＥＧ Ｉ−フレームではなく、中間フレームタイプがＩ−フレームである場合における、画像データを処理するためのフローチャートを示す。 図３Ｅは、映画的効果がクロスフェードである場合における、画像データを処理するためのフローチャートを示す。 図３Ｆは、変換領域内における中間画像データを決定するためのフローチャートを示す。 図４は、遷移が左から右へのワイプを提供する、一連の映像フレームを示す。
（特定の実施形態の詳細な説明）
以下の明細書および付随の請求項で使用されるように、用語「符号化」とは、別途文脈によって示されない限り、圧縮画像または映像ストリームを生成するプロセスを意味するものとする。画像のデータ代表値は、プロセスの少なくとも一部が行なわれる場合、符号化されたとみなされるものとする。例えば、画像および映像データを空間的に圧縮する圧縮アルゴリズムは、一般に、３つのステップを含む（変換処理、量子化、およびエントロピ符号化）。したがって、空間データが変換を経ることによってデータが変換されている場合、画像データは、符号化されている、または部分的に符号化されているとみなされてもよい。用語「マクロブロック」は、ＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）マクロブロックを意味するものとする。マクロブロックは、概して、空間領域内で参照される場合、画像内の指定されたマクロブロック位置における１６×１６画素群であって、変換領域内で参照される場合、１６×１６周波数値群である。変換されたマクロブロック内の値は、変換係数である。
具現化されるような本発明は、符号化映像源からの２つの画像間の１つ以上の中間画像の生成を対象とし、中間画像は、変換領域内で決定される。遷移は、符号化単調画像（例えば、黒色、白色画像、または他の単一色）と、フェードインまたはフェードアウトを提供する映像ストリームからの符号化画像との間で生じてもよく、あるいは遷移は、クロスフェードを生成する２つの符号化源（映像ストリームからの画像または静止画像）間で生じてもよい。符号化コンテンツは、空間／画素領域に完全に復号化されことは決してなく、逆に、遷移のための１つ以上の中間画像に対する符号化データの決定が、変換領域内で決定される。中間画像がＭＰＥＧ規格に従って符号化されるべき場合、具現化されるような本発明は、中間画像をＩまたはＰフレームとして符号化可能である。
図１Ａは、本発明が具現化され得る第１の環境を示す。本環境では、クライアント機器１００によって、ユーザは、１つ以上のサーバ１０１ａ、１０１ｂ、１０１ｃからの複数の符号化ファイルにアクセス可能となる。クライアント機器は、符号化コンテンツを生成するための編集環境（グラフィカルユーザインターフェース）１０５を提供する。ユーザは、選択ボックス１０２内から符号化ファイルを、第２の選択ボックス１１０内から複数の遷移を選択可能である。ユーザは、単調画像から符号化画像ストリームへのフェードイン１１１を有するように選択可能である。例えば、黒色画像１１５からＭＰＥＧ映像ストリームの第１のＩ−フレーム符号化画像へのフェードイン１１１であって、１つ以上の中間画像が単調画像と第１のＩ−フレームとの間に生成される。ユーザは、いくつかの画像であって、再生フォーマットに依存するであろう、遷移の長さ１２０を選択可能である。例えば、ＭＰＥＧ映像ストリームは、２４フレーム／秒、３０フレーム／秒、または６０インターレースフィールド／秒で表示されてもよい。ユーザは、ＭＰＥＧ映像ストリーム内の最後の動画像から単調画像へのフェードアウト１１２を有するように選択してもよい。例えば、ＭＰＥＧ映像からの最終Ｉ−フレーム動画像は、１つ以上のフレームにわたって、白色単調画像１１６にフェードするであろう。また、ユーザは、符号化動画像列間の遷移を所望してもよい。例えば、ユーザは、クロスフェード１１３を有するように所望してもよく、第１の符号化動画像列の最後の内部符号化画像は、１つ以上の画像にわたって、第２の符号化動画像列の第１の内部符号化画像に遷移する。動画像列が両方とも、ＭＰＥＧ符号化動画像列である場合、第１の符号化動画像列からの最後のＩ−フレームは、第２の符号化動画像列の第１のＩ−フレーム画像にクロスフェードされる。環境は、遷移１１０、単調遷移画像（フェードインおよびフェードアウトの場合）、生成するためのフレームのタイプ１１０ａ（Ｉ−フレームまたはＰ−フレーム、あるいは２つの組み合わせ、自動選択もしくはデフォルト選択）、および遷移の時間に対応するフレームの数（例えば、表示速度が６０フレーム／秒である２秒遷移の場合、中間画像の数は、１１８である）１２０のユーザ選択のためのユーザインターフェースを提供する。制作者が中間画像をＩ−フレームとして符号化するように選択する場合、各中間フレームは、内部符号化されるであろう。したがって、中間画像の各マクロブロックは、そのマクロブロックに対して画素データの代表値であるＤＣＴ−変換係数データを含有する。制作者が中間画像をＰ−フレームとして符号化するように選択する場合、中間画像は、本フレームと先行フレームとの間の差異情報を含有するであろう。全動きベクトルは、動きがないため、ゼロとなるであろう。また、制作者は、ＩおよびＰフレームの組み合わせを有するように選択してもよい。中間画像の生成は、単一フレームタイプに限定される必要はない。符号化映像コンテンツならびに映像コンテンツの処理が、図１に示されるクライアント／サーバアーキテクチャの必要性なく、単一計算機器上で生じてもよいことは、当業者によって認識されるはずである。
図２に示されるような第２の環境では、コンテンツのユーザ生成を可能にするのではなく、環境は、符号化映像コンテンツ間の遷移のための自動システムである。例えば、全コンテンツが１つ以上のＭＰＥＧ符号化映像ストリームとしてユーザのセットトップボックスに提供される、双方向ケーブルテレビ環境２００では、自宅２１０ａ、ｂ、ｃのユーザは、オンデマンドサービスを選択してもよく、デジタルテレビ配信センタ２２０からそのコンテンツが提供されるであろう。デジタルテレビ配信センタ２２０は、保存されたコンテンツメモリ位置２２５からコンテンツを読み出す、または放送コンテンツプロバイダ２３０ａ、ｂから放送コンテンツを受信するであろう。デジタルテレビ配信センタ２２０は、ユーザに表示される現在視聴されている画像（例えば、符号化選択画面）と、選択されたオンデマンドサービスとの間に中間画像を自動的に挿入する、遷移挿入プロセッサ２４０にアクセスするであろう。したがって、選択画面とユーザ選択コンテンツとの間のクロスフェーディングが存在してもよい。自動遷移の別の用途では、ＩＰテレビ環境において、広告およびテレビ番組が、事前決定された時間的枠組に基づいて中間画像の数を決定するデジタルテレビ配信センタの遷移挿入プロセッサによって、リアルタイムで結合される。例えば、放送ネットワークプログラムは、７：１３ｐｍに、２分のコマーシャルがＭＰＥＧ映像ストリームに挿入されるように予定されてもよい。ローカルＩＰテレビネットワークプロバイダは、この２分の時間間隔の間にコマーシャルを挿入可能である。遷移は、コマーシャル間に自動的に生成可能であって、遷移の長さは、コマーシャルおよび遷移が２分の間隔を完全に充填するように計算可能である。
したがって、本システムは、符号化領域内における遷移のリアルタイム生成を提供可能である。例えば、３つのローカルコマーシャルは、合計で１：５４しかない場合があり、したがって、６秒の遷移が必要である。遷移挿入プロセッサは、６秒の遷移が必要とされ、各コマーシャルに対して、クロスフェード、フェードイン、またはフェードアウトを含めることを決定するであろう。遷移挿入プロセッサが、各コマーシャルに対してフェードインおよびフェードアウトを行なうように構成される場合、６つのフェードが存在するであろう。その結果、各フェードは、長さ１秒となるであろう。
図３Ａ−Ｆは、図２の遷移挿入プロセッサ等の処理モジュールによってとられるステップを表すフローチャートであって、映画的効果を生成するために、内部符号化される２つの画像の符号化または部分的符号化データ代表値から中間フレームを生成する。本用途は、画像がＭＰＥＧ（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）規格を使用して符号化されることを想定するが、他のＣＯＤＥＣを使用して、周波数領域係数を採用してもよい。図３Ｂ−Ｆのフローチャートに示されるステップに先立って、プロセッサは、図３Ａに示されるように、単調画素データを事前処理するであろう。最初に、単調画素データ（例えば、白色または黒色画像）が、読み出されるであろう（３００）。次いで、単調画素データは、変換符号化され（３０１）、各マクロブロックに対する変換符号化係数は、メモリに保存されるであろう（３０２）。また、変換符号化係数は、量子化されるであろう（３０３）。また、各マクロブロックに対して量子化された変換係数は、メモリ３０４内に保存されるであろう。変換係数および量子化された変換係数は、後述のように、フェードインおよびフェードアウトのための中間画像を生成する際、読み出され、使用されるであろう。
フローチャートの入力データは、符号化静止画像、映像ストリームからの内部符号化（Ｉ−フレーム）画像、画像のマクロブロック変換係数代表値、または画像のマクロブロック量子化変換係数代表値であってもよい。フェードインまたはフェードアウトが生成されるべき効果である場合、他の画像は、メモリ内に既に保存されている単調画像（例えば、黒色、白色等）であるため、１つの入力画像または１つの入力画像のデータ代表値のみ必要であることを認識されたい。
単調画像データの事前処理に加え、図３Ｂ−Ｆのフローチャートに示されるステップの開始に先立って、符号化動画像列が処理される場合、フェードインのために、動画像列からの第１のＩ−フレームが特定される。行なわれるべきプロセスがフェードアウトである場合、動画像列内の最後のＩ−フレームが識別される。クロスフェードの場合、第１の動画像列内の最後のＩ−フレームが識別され、第２の動画像列内の第１のＩ−フレームが識別される。ＭＰＥＧ動画像列内のＩ−フレームの識別は、当業者によって周知である。ＭＰＥＧピクチャヘッダは、フレームタイプを示し、ピクチャヘッダ群（ＧＯＰ）後の第１のフレームは、通常、内部符号化Ｉ−フレームである。
フローチャートに戻ると、最初に、生成されるべき映画的効果が、図３Ｂのフェードイン、フェードアウト、およびクロスフェードから選択される（３０５）。自動化システムでは、選択は、所定である。映画的効果が決定された後、プロセッサは、符号化されるべき中間フレームが、Ｉ−フレームまたはＰ−フレームとなるかどうか決定する（３０６ａ、ｂ、ｃ）。再び、自動化システム内では、図２に示されるもの等、フレームタイプは、所定であって、所定ピクチャ群（ＧＯＰ）内のＩおよびＰフレームの混合であってもよい。
フェードインおよびフェードアウトの場合、単調画像のために事前符号化されている変換係数が、読み出される（３０７ａ、ｂ、ｃ、ｄ）。加えて、画像データが、処理モジュールによって受信される。中間画像が、Ｉ−フレームであって、画像データの量子化行列およびステップサイズが、単調画像のものと同一である場合、量子化された変換係数が、読み出される（３０７ｂ、ｄ）。Ｉ画像データおよび量子化行列のステップサイズが同一ではない、または中間画像がＰ−フレームとして符号化されるべき場合、変換係数は、単調画像に対して読み出される（３０７ａ、ｃ）。
処理モジュールは、画像データがＭＰＥＧ画像として符号化されているかどうか確認する（３０９ａ、ｂ、ｃ、ｄ）。画像がＭＰＥＧ画像である場合、処理モジュールは、ＭＰＥＧ画像データをエントロピ復号化するであろう（３１０ａ、ｂ、ｃ、ｄ）。符号化されるべき中間画像がＩ−フレームであって、ステップサイズおよび量子化行列が、ＭＰＥＧ画像データに対して、単調画像に対するものと同一である場合、量子化された変換係数が、受信した画像データおよび単調画像の両方のために、図３Ｆに示されるように、ステップＡに転送されるであろう。符号化されるべき中間画像がＰ−フレームである、またはステップサイズおよび量子化行列が同一ではない場合、処理モジュールは、画像の各マクロブロックに対して変換係数を生成するために、逆量子化を行なうであろう（３１１ａ、ｃ）。次いで、第１および第２の画像に対する画像データが、図３ＦのステップＡに転送される。フェードインの場合、単調画像データが、第１の画像データであって、受信した画像データが、第２の画像データである。フェードアウトの場合、受信した画像データが、第１の画像データであって、単調画像データが、第２の画像データである。
画像データが符号化されていない場合、プロセスは、図３Ｃに示されるように、中間フレームタイプが、Ｐ−フレームである、あるいはステップサイズまたは量子化行列が、単調画像に対するものと同一ではない場合、ステップＣに進む。処理モジュールは、受信した画像データが量子化された変換係数であるかどうか確認する（３１２）。データが量子化された変換係数である場合、処理モジュールは、逆量子化を適用し（３１３）、変換係数を生成し、次いで、受信した画像および単調画像に対する変換係数が、図３ＦのステップＡに転送される。受信したデータが量子化された変換係数ではない場合、処理モジュールは、データが画像のためのマクロブロックのそれぞれに対する変換係数を含有しているかどうか確認する（３１４）。その場合、受信した画像データおよび単調画像に対する変換係数が、図３ＦのステップＡに転送される。
画像データが符号化されておらず、選択された中間フレームタイプがＩ−フレームであって、ブロックサイズおよび量子化行列が単調画像データと同一である場合、処理モジュールは、図３ＤのステップＤに進む。処理モジュールは、受信したデータが量子化された変換係数であるかどうか確認する（３１５）。データが、画像のマクロブロックに対して量子化された変換係数である場合、量子化された変換係数は、逆量子化を受ける必要はなく、単調画像および受信した画像の両方に対するデータが、ステップＡに転送される。受信したデータがＭＰＥＧ Ｉ−フレーム画像、量子化された変換係数、または画像のマクロブロックに対する変換係数のいずれでもない場合、処理モジュールは、エラーが存在することを報告するであろう。
映画的効果がクロスフェードである場合、同一プロセスが適用されるが、プロセスは、２つの画像のそれぞれに独立して適用され、図３ＦのステップＡに提供される前に、両方のデータ集合が同一フォーマット（変換係数または量子化された変換係数）となる。処理モジュールは、図３Ｅの３１６において、中間画像がＩ−フレームとなるかどうか決定する。次いで、処理モジュールは、第１および第２の画像に対するデータを読み出すであろう（３１７ａ、ｂ）。処理モジュールは、各画像に対するデータのタイプを確定する（３１８ａ、ｂ）。上述のように、データは、Ｉ−フレームに対するＭＰＥＧ符号化データ、量子化された変換係数データ、または変換係数データのいずれかであってもよい。処理モジュールは、ステップサイズおよび量子化行列が、両方の画像に対して同一であるかどうか決定する。ステップサイズおよび量子化行列が同一である場合、２つの画像に対するデータ集合のための所望の結果として得られるフォーマットは、変換係数である。一方または両方の画像に対するデータがＭＰＥＧ Ｉ−フレームである場合、データは、エントロピ復号化される（３１９ａ、ｂ）。第１および第２の画像の両方に対する結果として得られる量子化された変換係数は、ステップＡに転送される。中間画像がＰ−フレームであるべき場合、さらなる処理のための所望のフォーマットは、変換係数である。両方の画像に対するデータ集合がＭＰＥＧ Ｉ−フレームである場合、データは、エントロピ復号化され、次いで、逆量子化され、第１および第２の画像の両方に対する変換係数をもたらす（３２０ａ）。次いで、第１および第２の画像の各マクロブロックに対するこれらの変換係数は、ステップＡに転送される。
両方の画像（フェードインのための単調および第２の画像、フェードアウトのための第１の画像および単調画像、またはクロスフェードのための第１の画像および第２の画像）に対するデータが、同様にフォーマットされると、Ａから始まる図３Ｆのフローチャートに従って、各画像に対する各マクロブロック位置が処理され、中間画像のための対応するマクロブロックデータ集合が決定されてもよい。
ステップＡの開始時のデータは、量子化された変換係数または第１および第２の画像の各マクロブロックに対する変換係数のいずれかである。処理モジュールは、第１のマクロブロック位置と、第１および第２の画像のための対応する係数データとを選択するステップから開始する（３３０）。処理モジュールは、選択されたマクロブロック位置が画像に対する最後のマクロブロック位置であるかどうか決定する（３３１）。その場合、処理モジュールは、それが生成されるべき最後の中間画像であるかどうか決定する（３３２）。１つ以上の中間画像が生成されてもよいことを認識されたい。選択されたマクロブロック位置が最後のマクロブロック位置ではない場合、処理モジュールは、中間フレームのタイプを検索し、マクロブロックがＰ−フレームとして相互符号化されるべきかどうか決定する（３３３）。マクロブロックが相互符号化されるべき場合、相互符号化式が使用される（３３４）。各係数位置に対して適用される相互符号化式は、以下となる。
Figure 0005580214
 フェードインおよびクロスフェードの場合
Figure 0005580214
 フェードインおよびクロスフェードの場合
式中、ｐａおよびｐｂは、それぞれ、第１および第２の画像に対する１６×１６マクロブロック群内の単一位置における変換係数を表し、
Figure 0005580214
 である。式中、ｎは、Ｎ個の総フレームを有する所望の中間シーケンスのｎ番目のフレームである。
フレームが内部符号化される場合、内部符号化式が使用される（３３５）。各変換係数または量子化された変換係数値のために使用される内部符号化式は、以下となる。
Figure 0005580214
 フェードインおよびクロスフェードの場合
Figure 0005580214
 フェードアウトの場合
累積予測エラーが存在するため、ＧＯＰサイズを４として選択することが適切である。したがって、例えば、４ＧＯＰの場合、中間画像４つ毎に、１つのＩ−フレームおよび３つのＰ−フレームまたは４つのＩ−フレームが存在し得る。
次いで、各マクロブロックに対する係数値は、新しい中間画像のために、メモリ内に保存される（３３６）。次いで、プロセスが進み、１６×１６周波数係数値または量子化された周波数係数値の次のマクロブロックが選択される。中間画像に対する各係数値は、１６×１６グリッド内の同一位置に位置する係数値に基づいて決定される。処理モジュールは、続けて、画像の各位置に対する値を計算する。処理モジュールは、変換係数または量子化された変換係数値が、所望の数の中間画像のそれぞれに対して決定されると、終了するであろう。
次いで、第１の画像データ、中間画像データ、および第２の画像データが処理され、ＭＰＥＧデータストリームを生成してもよい。画像データがすべて量子化された変換係数である場合、各画像フレームに対するデータは、順番に配置され、次いで、データは、エントロピ符号化されるであろう。画像データが変換係数データである場合、第１の画像、中間画像、および第２の画像に対する変換係数は、同一ステップサイズおよび量子化行列を使用して量子化され、次いで、データは、エントロピ符号化され、続いて、ＭＰＥＧデータストリームを生成するであろう。次いで、ＭＰＥＧデータストリームは、ＭＰＥＧデコーダによって伝送および復号化されてもよく、そこで映画的効果が２つの画像間に提示される。
他の実施形態では、システムは、Ｐ−フォーマット化された映像フレームを使用して、遷移を生成してもよい。Ｐ−フレーム内のマクロブロックは、フレーム内符号化またはフレーム間符号化されてもよい。上述のように、フレーム内符号化マクロブロックは、マクロブロック内のデータのさらなる操作を伴わずに、上述の式を使用して処理されるであろう。対照的に、マクロブロックが相互符号化される場合、マクロブロックは、空間的に復号化され、次いで、上述の技術の採用に先立って、フレーム内符号化マクロブロックとして再符号化されるであろう。したがって、フレーム２内の動きベクトルが、フレーム１内のマクロブロックの内部符号化データをポイントする場合、システムは、最初に、フレーム１からの内部符号化マクロブロックを復号化し、フレーム２に対するマクロブロックの空間表示を形成する予測エラーを考慮するであろう。次いで、フレーム２からのマクロブロックに対する空間データは、ＤＣＴを使用して再符号化されるであろう。次いで、マクロブロックに対するデータは、フレーム内符号化され、遷移フレームデータを決定するための同一式が使用されてもよい。
また、本発明は、他の遷移効果を生成してもよい。例えば、左から右へおよび右から左へのフェードは、上述の式に対して荷重要因を調節することによって生成可能である。２つのフレーム間の左から右へまたは右から左への遷移の場合、荷重要因は、画面毎に変化するであろう。したがって、第１のフレーム状態と第２のフレーム状態との間を遷移する全体画像ではなく、フレームの一部が、異なる速度で遷移するであろう。図４に示されるように、フレームの最左部分は、第１のフレームと第２のフレームとの間を迅速に遷移してもよい一方、画像遷移の右側は、遥かに低速で遷移する。図４は、フレーム１からフレーム２の遷移が時間Ｔ＝０から時間Ｔ＝５までの６つの時間間隔にわたって生じることを示す。フレーム２は、時間Ｔ＝５における全体画面を占める。
依然として、さらなる遷移効果を生成可能である。荷重要因は、各フレームにわたって空間的に、かつフレーム間で時間的に変化可能である。したがって、荷重要因は、ｘ次元（空間的方向）、Ｙ次元（空間的方向）、およびＴ次元（時間）等の異なるパラメータに基づいて変化する式または式の集合と関連付けることが可能である。他の実施形態では、荷重要因は、単純に、所定の値の集合または行列であってもよく、各値は、フレームの１つ以上のマクロブロックに適用される。加えて、所定の値の複数の集合または行列が使用されてもよく、各集合または行列は、一連の遷移フレームの異なるフレームに適用される。したがって、フェードワイプ、ディゾルブ、フラッシュ、遷移の間のランダムラインの生成等の遷移が、符号化領域内で構築可能である。
フローチャートは、本明細書では、本発明の種々の局面を検証するために使用され、任意の特定の論理フローまたは論理実装に本発明を限定するように解釈されるべきではないことに留意されたい。説明される論理は、全体的結果を変更することなく、または別様に本発明の真の範囲から逸脱することなく、異なる論理ブロック（例えば、プログラム、モジュール、関数、またはサブルーチン）に分割されてもよい。多くの場合、論理要素は、全体的結果を変更することなく、または別様に本発明の真の範囲から逸脱することなく、追加、修正、省略、異なる順番で行なわれる、または異なる論理構造（例えば、論理ゲート、ループプリミティブ、条件付き論理、および他の論理構造）を使用して実装されてもよい。
本発明は、多くの異なる形態で具現化されてもよく、プロセッサ（例えば、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、または汎用コンピュータ）と併用するためのコンピュータプログラム論理、プログラム可能論理機器（例えば、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）または他のＰＬＤ）と併用するためのプログラム可能論理、離散構成要素、集積回路（例えば、特定用途向け集積回路（ＡＳＩＣ））、あるいはそれらの任意の組み合わせを含む任意の他の手段を含むが、それらに限定されない。
本明細書に上述の機能の全部または一部を実装するコンピュータプログラム論理は、種々の形態で具現化されてもよく、ソースコード形態、コンピュータ実行可能形態、および種々の中間形態（例えば、アセンブラ、コンパイラ、リンカ、またはロケータによって生成される形態）を含むが、それらに限定されない。ソースコードは、種々のオペレーティングシステムまたはオペレーティング環境と併用するための種々のプログラミング言語（例えば、オブジェクトコード、アセンブリ言語、あるいはＦｏｒｔｒａｎ、Ｃ、Ｃ＋＋、ＪＡＶＡ（登録商標）、またはＨＴＭＬ等の高水準言語）のいずれかに実装される一連のコンピュータプログラム命令を含んでもよい。ソースコードは、種々のデータ構造および通信メッセージを規定および使用してもよい。ソースコードは、コンピュータ実行可能形態（例えば、解釈プログラムを介して）であってもよく、あるいはソースコードは、（例えば、翻訳ルーチン、アセンブラ、またはコンパイラを介して）コンピュータ実行可能形態に変換されてもよい。
コンピュータプログラムは、半導体メモリ機器（例えば、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュプログラム可能ＲＡＭ）、磁気メモリ機器（例えば、ディスケットまたは固定ディスク）、光学メモリ機器（例えば、ＣＤ−ＲＯＭ）、ＰＣカード（例えば、ＰＣＭＣＩＡカード）、あるいは他のメモリ機器等の有形記憶媒体内に永久もしくは一時的に、任意の形態（例えば、ソースコード形態、コンピュータ実行可能形態、または中間形態）で固定されてもよい。コンピュータプログラムは、種々の通信技術のいずれかを使用して、コンピュータに伝送可能な信号中に、任意の形態で固定されてもよく、アナログ技術、デジタル技術、光技術、無線技術、ネットワーク技術、およびインターネットワーキング技術を含むが、それらに限定されない。コンピュータプログラムは、付随の印刷または電子説明書付き可撤性記憶媒体（例えば、パッケージソフトウェアまたは磁気テープ）として任意の形態で配信される、コンピュータシステムによってプリインストールされる（例えば、システムＲＯＭまたは固定ディスク上）、あるいは通信システム（例えば、インターネットまたはワールドワイドウェブ）を介してサーバまたは電子掲示板から配信されてもよい。
本明細書に上述の機能の全部または一部を実装するハードウェア論理（プログラム可能論理機器と併用するためのプログラム可能論理を含む）は、従来の手動方法を使用して設計されてもよく、あるいはコンピュータ支援設計（ＣＡＤ）、ハードウェア記述言語（例えば、ＶＨＤＬまたはＡＨＤＬ）、あるいはＰＬＤプログラミング言語（例えば、ＰＡＬＡＳＭ、ＡＢＥＬ、またはＣＵＰＬ）等の種々のツールを使用して、設計、取得、シミュレーション、もしくは電子的に文書化されてもよい。
本発明は、本発明の真の範囲から逸脱することなく、他の特定の形態で具現化されてもよい。説明される実施形態は、あらゆる観点において、例示に過ぎず、限定としてみなされるべきではない。
上述の本発明の実施形態は、単なる例示であることが意図される。多数の変形例および修正例は、当業者には明白となるであろう。あらゆるそのような変形例および修正例は、任意の添付の請求項に規定されるように、本発明の範囲内であることが意図される。

Claims (41)

  1. 第１の画像と第２の画像との間の少なくとも１つの中間画像のデータ代表値を計算するための方法であって、該第１および第２の画像は、変換符号化データによって表され、各画像は、該変換符号化データと関連付けられた複数の位置を有し、該方法は、
    該少なくとも１つの中間画像がフレーム内またはフレーム間符号化されるかどうか決定することと、
    該第１および第２の画像内の各対応する位置に対して、該変換符号化データを変換復号化せずに、該第１および第２の画像の該変換符号化データを使用して、該少なくとも１つの中間画像のための変換符号化値を計算することと、
    該少なくとも１つの中間画像がフレーム内符号化されるべき場合、該少なくとも１つの中間画像に対する該変換符号化値を計算するためのフレーム内符号化式を選択することと、
    該少なくとも１つの中間画像がフレーム間符号化されるべき場合、該少なくとも１つの中間画像に対する該変換符号化値を計算するためのフレーム間符号化式を選択することと、
    該少なくとも１つの中間画像に対する該変換符号化値をメモリに保存することと
    を含む、方法。
  2. 前記第１の画像は、第１の動画像列からのものであり、前記第２の画像は、第２の動画像列からのものである、請求項１に記載の少なくとも１つの中間画像のデータ代表値を計算するための方法。
  3. 前記第１の画像は、フレーム内符号化される、請求項２に記載の方法。
  4. 前記第２の画像は、フレーム内符号化される、請求項３に記載の方法。
  5. 前記第１の画像は、静止画像である、請求項１に記載の方法。
  6. 前記第２の画像は、静止画像である、請求項５に記載の方法。
  7. 第１の動画像列からの前記第１の画像を構文解析することをさらに含む、請求項１に記載の方法。
  8. 第２の動画像列からの前記第２の画像を構文解析することをさらに含む、請求項１に記載の方法。
  9. 前記第１の画像は、内部符号化される、請求項７に記載の方法。
  10. 前記第２の画像は、内部符号化される、請求項８に記載の方法。
  11. 前記第１と第２の画像との間に生成される映画的効果の種類を決定することをさらに含み、
    前記少なくとも１つの中間画像に対する前記変換符号化値を計算するためのフレーム内符号化式を選択することは、該映画的効果に基づき、
    該少なくとも１つの中間画像に対する該変換符号化値を計算するためのフレーム間符号化式を選択することは、該映画的効果に基づく、請求項１に記載の方法。
  12. 前記第１および第２の画像は、ＭＰＥＧ符号化される、請求項１に記載の方法。
  13. 前記第１および第２のＭＰＥＧ画像をエントロピ復号化することと、
    該第１および第２のＭＰＥＧ画像を逆量子化し、該第１および第２のＭＰＥＧ画像のための変換データを生成することと
    をさらに含む、請求項３に記載の方法。
  14. 変換符号化値を決定することは、
    前記第１の画像の前記変換符号化データをパーセント値で乗算して、第１の乗算された変換符号化データを取得し、前記第２の画像の該変換符号化データを１−該パーセント値で乗算して、第２の乗算された変換符号化データを取得することと、
    該第１の乗算された変換符号化データと該第２の乗算された変換符号化データを加算して、前記少なくとも１つの中間画像の変換符号化データを形成することと
    を含む、請求項１に記載の方法。
  15. 前記第１および前記第２の画像の変換符号化データ代表値間に前記少なくとも１つの中間画像のデータ代表値を挿入することをさらに含む、請求項１に記載の方法。
  16. 前記第１、第２、および中間画像の前記データ代表値を量子化することと、
    該第１、第２、および中間画像の該データ代表値をエントロピ符号化して、符号化データストリームを生成することと
    をさらに含む、請求項１５に記載の方法。
  17. 前記符号化データストリームの復号化および表示は、前記第２の画像のフェードインを生成する、請求項１６に記載の方法。
  18. 前記符号化データストリームの復号化および表示は、前記第１の画像のフェードアウトを生成する、請求項１６に記載の方法。
  19. 前記符号化データストリームの復号化および表示は、前記第１と第２の画像との間のクロスフェードを生成する、請求項１６に記載の方法。
  20. 前記符号化データストリームの復号化および表示は、前記第１と第２の画像との間のワイプを提供する、請求項１６に記載の方法。
  21. 第１の画像と第２の画像との間の少なくとも１つの中間画像のデータ代表値を計算するための方法であって、該第１および第２の画像は、符号化データによって表され、該方法は、
    該中間画像が内部符号化されるべきかどうか決定することと、
    該第１の画像および該第２の画像のための該符号化データが両方とも、同一のステップサイズおよび同一の量子化行列を使用して量子化されているかどうか決定することと、
    該中間画像が内部符号化されるべきであって、該ステップサイズおよび量子化行列が該第１の画像および該第２の画像の両方に対して同一である場合、該第１および第２の画像内の各対応する位置に対して、該第１および第２の画像からの量子化された変換係数を使用して、該少なくとも１つの中間画像のための量子化された変換符号化値を計算することと、
    各量子化された変換符号化値をメモリに保存することと
    を含む、方法。
  22. 第１のＭＰＥＧ画像と第２のＭＰＥＧ画像との間の少なくとも１つの中間画像のデータ代表値を計算するためのコンピュータコードを有するコンピュータ可読保存媒体であって、該第１および第２のＭＰＥＧ画像は、変換符号化データによって表され、各画像は、該変換符号化データと関連付けられた複数の位置を有し、該コンピュータコードは、
    該少なくとも１つの中間画像がフレーム内またはフレーム間符号化されるかどうか決定するためのコンピュータコードと、
    該第１および第２のＭＰＥＧ画像内の各対応する位置に対して、該第１および第２のＭＰＥＧ画像の変換符号化データを変換復号化せずに、該第１および第２のＭＰＥＧ画像の該変換符号化データを使用して、該少なくとも１つの中間画像に対する変換符号化値を計算するためのコンピュータコードと、
    該少なくとも１つの中間画像がフレーム内符号化されるべき場合、該少なくとも１つの中間画像に対する該変換符号化値を計算するためのフレーム内符号化式を選択するためのコンピュータコードと、
    該少なくとも１つの中間画像がフレーム間符号化されるべき場合、該少なくとも１つの中間画像に対する該変換符号化値を計算するためのフレーム間符号化式を選択するためのコンピュータコードと、
    該少なくとも１つの中間画像に対する該変換符号化値をメモリに保存するためのコンピュータコードと
    を含む、コンピュータ可読保存媒体。
  23. 前記第１のＭＰＥＧ画像は、第１の動画像列からのものであり、前記第２のＭＰＥＧ画像は、第２の動画像列からのものである、請求項２２に記載のコンピュータ可読保存媒体。
  24. 前記第１のＭＰＥＧ画像は、フレーム内符号化される、請求項２２に記載のコンピュータ可読保存媒体。
  25. 前記第２のＭＰＥＧ画像は、フレーム内符号化される、請求項２４に記載のコンピュータ可読保存媒体。
  26. 前記第１のＭＰＥＧ画像は、静止画像である、請求項２２に記載のコンピュータ可読保存媒体。
  27. 前記第１および第２のＭＰＥＧ画像をエントロピ復号化するためのコンピュータコードと、
    該第１および第２のＭＰＥＧ画像を逆量子化して、該第１および第２のＭＰＥＧ画像のための変換データを生成するためのコンピュータコードと
    をさらに含む、請求項２２に記載のコンピュータ可読保存媒体。
  28. 前記変換符号化値を決定するためのコンピュータコードは、
    前記第１のＭＰＥＧ画像の前記変換符号化データをパーセント値で乗算して、第１の乗算された変換データを取得し、前記第２のＭＰＥＧ画像の該変換符号化データを１−該パーセント値で乗算して、第２の乗算された変換データを取得するためのコンピュータコードと、
    該第１の乗算された変換データと該第２の乗算された変換データを加算して、前記少なくとも１つの中間画像の変換符号化データを形成するためのコンピュータコードと
    を含む、請求項２２に記載のコンピュータ可読保存媒体。
  29. 前記第１および前記第２のＭＰＥＧ画像の変換符号化データ代表値間に前記少なくとも１つの中間画像の変換符号化データ代表値を挿入するためのコンピュータコードをさらに含む、請求項２２に記載のコンピュータ可読保存媒体。
  30. 前記第１のＭＰＥＧ画像、前記第２のＭＰＥＧ画像、および前記少なくとも１つの中間画像の前記データ代表値を量子化するためのコンピュータコードと、
    該第１のＭＰＥＧ画像、該第２のＭＰＥＧ画像、および該少なくとも１つの中間画像の該データ代表値をエントロピ符号化して、ＭＰＥＧデータストリームを生成するためのコンピュータコードと
    をさらに含む、請求項２９に記載のコンピュータ可読保存媒体。
  31. 前記ＭＰＥＧデータストリームの復号化および表示は、前記第２のＭＰＥＧ画像のフェードインを生成する、請求項３０に記載のコンピュータ可読保存媒体。
  32. 前記ＭＰＥＧデータストリームの復号化および表示は、前記第１のＭＰＥＧ画像のフェードアウトを生成する、請求項３０に記載のコンピュータ可読保存媒体。
  33. 前記ＭＰＥＧデータストリームの復号化および表示は、前記第１と第２の画像との間のクロスフェードを生成する、請求項３０に記載のコンピュータ可読保存媒体。
  34. 前記第１の画像は、単調画像である、請求項１に記載の方法。
  35. 前記第２の画像は、単調画像である、請求項１に記載の方法。
  36. 前記第１のＭＰＥＧ画像は、単調画像である、請求項２２に記載のコンピュータ可読保存媒体。
  37. 前記第２のＭＰＥＧ画像は、単調画像である、請求項２２に記載のコンピュータ可読保存媒体。
  38. 前記第１の動画像列は、放送コンテンツを含み、前記第２の動画像列は、ユーザ選択コンテンツを含む、請求項２に記載の方法。
  39. 前記第１の動画像列は、放送コンテンツを含み、前記第２の動画像列は、広告を含む、請求項２に記載の方法。
  40. 前記第１の動画像列は、放送コンテンツを含み、前記第２の動画像列は、ユーザ選択コンテンツを含む、請求項２３に記載のコンピュータ可読保存媒体。
  41. 前記第１の動画像列は、放送コンテンツを含み、前記第２の動画像列は、広告を含む、請求項２３に記載のコンピュータ可読保存媒体。
JP2010545167A 2008-02-01 2009-01-29 変換領域内における符号化映像に対する遷移の生成 Expired - Fee Related JP5580214B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/024,707 US8149917B2 (en) 2008-02-01 2008-02-01 Transition creation for encoded video in the transform domain
US12/024,707 2008-02-01
PCT/US2009/032457 WO2009099895A1 (en) 2008-02-01 2009-01-29 Transition creation for encoded video in the transform domain

Publications (2)

Publication Number Publication Date
JP2011511573A JP2011511573A (ja) 2011-04-07
JP5580214B2 true JP5580214B2 (ja) 2014-08-27

Family

ID=40931667

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010545167A Expired - Fee Related JP5580214B2 (ja) 2008-02-01 2009-01-29 変換領域内における符号化映像に対する遷移の生成

Country Status (8)

Country Link
US (1) US8149917B2 (ja)
EP (1) EP2248343A4 (ja)
JP (1) JP5580214B2 (ja)
KR (1) KR20100111739A (ja)
CN (1) CN101981931A (ja)
BR (1) BRPI0908469A2 (ja)
IL (1) IL207336A0 (ja)
WO (1) WO2009099895A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8074248B2 (en) 2005-07-26 2011-12-06 Activevideo Networks, Inc. System and method for providing video content associated with a source image to a television in a communication network
US9042454B2 (en) 2007-01-12 2015-05-26 Activevideo Networks, Inc. Interactive encoded content system including object models for viewing on a remote device
US9826197B2 (en) 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
US20080201736A1 (en) * 2007-01-12 2008-08-21 Ictv, Inc. Using Triggers with Video for Interactive Content Identification
US8149917B2 (en) * 2008-02-01 2012-04-03 Activevideo Networks, Inc. Transition creation for encoded video in the transform domain
CA2728797A1 (en) * 2008-06-25 2010-04-22 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
US8732749B2 (en) 2009-04-16 2014-05-20 Guest Tek Interactive Entertainment Ltd. Virtual desktop services
US8275038B2 (en) * 2009-11-30 2012-09-25 Faraday Technology Corp. Motion detecting method and motion detector
US9229734B2 (en) 2010-01-15 2016-01-05 Guest Tek Interactive Entertainment Ltd. Hospitality media system employing virtual user interfaces
US9323438B2 (en) 2010-07-15 2016-04-26 Apple Inc. Media-editing application with live dragging and live editing capabilities
US9003455B2 (en) 2010-07-30 2015-04-07 Guest Tek Interactive Entertainment Ltd. Hospitality media system employing virtual set top boxes
KR20130138263A (ko) 2010-10-14 2013-12-18 액티브비디오 네트웍스, 인코포레이티드 케이블 텔레비전 시스템을 이용하는 비디오 장치들 간의 디지털 비디오의 스트리밍
US8775480B2 (en) 2011-01-28 2014-07-08 Apple Inc. Media clip management
US11747972B2 (en) 2011-02-16 2023-09-05 Apple Inc. Media-editing application with novel editing tools
US9997196B2 (en) 2011-02-16 2018-06-12 Apple Inc. Retiming media presentations
US9412414B2 (en) * 2011-02-16 2016-08-09 Apple Inc. Spatial conform operation for a media-editing application
WO2012138660A2 (en) 2011-04-07 2012-10-11 Activevideo Networks, Inc. Reduction of latency in video distribution networks using adaptive bit rates
US8744205B2 (en) * 2011-06-16 2014-06-03 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for decomposing images and recomposing adjusted images
EP2815582B1 (en) 2012-01-09 2019-09-04 ActiveVideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US9123084B2 (en) 2012-04-12 2015-09-01 Activevideo Networks, Inc. Graphical application integration with MPEG objects
US9419737B2 (en) * 2013-03-15 2016-08-16 Concio Holdings LLC High speed embedded protocol for distributed control systems
US10275128B2 (en) 2013-03-15 2019-04-30 Activevideo Networks, Inc. Multiple-mode system and method for providing user selectable video content
US9294785B2 (en) 2013-06-06 2016-03-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9219922B2 (en) 2013-06-06 2015-12-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
WO2014197879A1 (en) 2013-06-06 2014-12-11 Activevideo Networks, Inc. Overlay rendering of user interface onto source video
US20140372841A1 (en) * 2013-06-14 2014-12-18 Henner Mohr System and method for presenting a series of videos in response to a selection of a picture
JP6330816B2 (ja) * 2013-09-12 2018-05-30 ソニー株式会社 符号化装置、送信装置および受信装置
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
KR102326154B1 (ko) * 2014-08-29 2021-11-15 삼성전자 주식회사 저전력 모드의 표시 방법 및 이를 지원하는 전자 장치
US11537777B2 (en) 2014-09-25 2022-12-27 Huawei Technologies Co., Ltd. Server for providing a graphical user interface to a client and a client
CN105719332B (zh) * 2016-01-20 2019-02-19 阿里巴巴集团控股有限公司 色彩补间动画的实现方法和装置
US10931947B2 (en) * 2016-05-04 2021-02-23 Sharp Kabushiki Kaisha Systems and methods for coding transform data
US10636451B1 (en) * 2018-11-09 2020-04-28 Tencent America LLC Method and system for video processing and signaling in transitional video scene
KR20220030190A (ko) * 2020-09-02 2022-03-10 레몬 인크. 미디어 파일에 대한 브랜드

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0583696A (ja) * 1991-06-07 1993-04-02 Sony Corp 画像符号化装置
JP2993212B2 (ja) * 1991-09-18 1999-12-20 松下電器産業株式会社 画像の合成方法
US5408274A (en) 1993-03-11 1995-04-18 The Regents Of The University Of California Method and apparatus for compositing compressed video data
US5812216A (en) 1994-04-19 1998-09-22 Avid Technology, Inc. Method and apparatus for creating motion picture transitions according to non-linear light response
WO1999018735A1 (en) 1997-10-07 1999-04-15 Thomson Consumer Electronics, Inc. Picture masking and compositing in the frequency domain
JP3818615B2 (ja) * 1998-05-28 2006-09-06 キヤノン株式会社 画像合成装置及び方法並びに記憶媒体
JP2001086453A (ja) * 1999-09-14 2001-03-30 Sony Corp 信号処理装置及び方法並びに記録媒体
JP2001145021A (ja) * 1999-11-16 2001-05-25 Victor Co Of Japan Ltd 画像処理方法および画像処理装置
JP2001204044A (ja) * 2000-01-24 2001-07-27 Victor Co Of Japan Ltd 画像処理方法および画像処理装置
US6941019B1 (en) * 2000-05-10 2005-09-06 International Business Machines Corporation Reentry into compressed data
JP2002152755A (ja) * 2000-11-09 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> 映像ストリーム間のトランスコード方法、およびトランスコーダ、並びにトランスコード方法のプログラムを記録した記録媒体
US7050113B2 (en) * 2002-03-26 2006-05-23 International Business Machines Corporation Digital video data scaler and method
AU2003283675A1 (en) 2002-12-20 2004-07-14 Koninklijke Philips Electronics N.V. Creating edit effects on mpeg-2 compressed video
JP2004326447A (ja) * 2003-04-24 2004-11-18 Sony Corp 画像合成装置及び方法
FR2855992B1 (fr) * 2003-06-10 2005-12-16 Usinor Procede et installation de coule continue directe d'une bande metallique
JP4222557B2 (ja) * 2004-01-13 2009-02-12 Ｋｄｄｉ株式会社 映像合成装置
US20060285586A1 (en) 2005-05-16 2006-12-21 Ensequence, Inc. Methods and systems for achieving transition effects with MPEG-encoded picture content
JP4881045B2 (ja) * 2006-03-23 2012-02-22 富士フイルム株式会社 動画生成装置、動画生成方法、及びプログラム
US8107571B2 (en) * 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
US8149917B2 (en) * 2008-02-01 2012-04-03 Activevideo Networks, Inc. Transition creation for encoded video in the transform domain
US8411754B2 (en) * 2008-11-10 2013-04-02 Activevideo Networks, Inc. System, method, and computer program product for translating an element of a static encoded image in the encoded domain

Also Published As

Publication number Publication date
BRPI0908469A2 (pt) 2015-12-15
CN101981931A (zh) 2011-02-23
EP2248343A1 (en) 2010-11-10
IL207336A0 (en) 2010-12-30
US8149917B2 (en) 2012-04-03
KR20100111739A (ko) 2010-10-15
WO2009099895A1 (en) 2009-08-13
EP2248343A4 (en) 2011-02-02
JP2011511573A (ja) 2011-04-07
US20090196346A1 (en) 2009-08-06

Similar Documents

Publication Publication Date Title
JP5580214B2 (ja) 変換領域内における符号化映像に対する遷移の生成
KR100844816B1 (ko) 간결한 트랜스코딩 힌트 메타데이터를 생성하는 방법 및장치
JP4351746B2 (ja) 符号化装置、符号化方法、復号装置及び復号方法
KR100519871B1 (ko) 고해상도 정지 화상의 생성 방법 및 장치
JP5385233B2 (ja) デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置
US20060114995A1 (en) Method and system for high speed video encoding using parallel encoders
JP2005323353A (ja) 高忠実度のトランスコーディング
JPH11346362A (ja) リアルタイム単一パス可変ビット・レ―ト制御方法及び符号器
WO1999056471A2 (en) System for editing compressed image sequences
WO2002001883A1 (en) Image encoder and image encoding method
CN112073737A (zh) 在直播视频流应用中重新编码预测的图像帧
KR20040094441A (ko) 인코딩된 오디오/비디오 시퀀스의 편집
US6271774B1 (en) Picture data processor, picture data decoder and picture data encoder, and methods thereof
JP2002199392A (ja) 映像符号化方法および装置
JP4174728B2 (ja) 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JPH08307860A (ja) シーン再エンコード装置
JP4718944B2 (ja) ビデオサーバ装置およびその再生方法
JP2004056616A (ja) 符号化信号復号装置、符号化信号復号方法および符号化信号復号プログラム
JP4674767B2 (ja) 動画像編集方法および装置
JP4361665B2 (ja) 動画像符号化データのトランスコーディング方法およびトランスコーディング装置
JP4822444B2 (ja) 動画編集装置
JP3461280B2 (ja) 動画像編集装置および動画像編集方法
Rehan et al. Frame-Accurate video cropping in compressed MPEG domain
JP2002516529A (ja) ピクチャシーケンスとして構成された情報ストリームの符号化
JP2006074327A (ja) ビデオデータの再符号化装置及びビデオ配信システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130729

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131028

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140710

R150 Certificate of patent or registration of utility model

Ref document number: 5580214

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees