JP4347687B2 - スケーラブルでないコード化された映像信号からスケーラブルなコード化された映像信号を生成するための方法とデバイス - Google Patents

Description

本発明は、スケーラブルでない映像信号から、基準映像信号と一組の強調映像信号とにより構成されたスケーラブルな映像信号を得るためのデータ修正方法に関する。

本発明は、当該方法を実施するための製品にも関する。この発明は、例えば、映像放送または映像格納の分野で利用可能である。

MPEG-2映像規格は、例えば、映像放送の分野においてデジタル映像データ操作を意味する大半のアプリケーションに用いられている、今や広く普及している規格である。柔軟性を向上させるために、MPEG-2映像規格に従ってコード化された基準映像信号と、当該基準映像信号の一組の強調映像信号とを同時に生成するための、いわゆるスケーラビリティ技術を用いることが有利である。特に、スケーラブルな映像信号の生成を用いることによって、強調映像信号を当該スケーラブルな映像信号に抑制または加える際に、通信チャネルのバンド幅にビットレートを適合化させることが可能となる。当該スケーラブルな映像信号は、MPEG-2映像規格に従って予めコード化されている入力映像信号から生成可能である。このために、公知の方法は、第一に、当該入力映像規格をデコード化することにより、デコード化された映像信号を得ることと、第二に、当該デコード化された映像信号をスケーラブルなエンコーダによって再エンコード化することにより、当該スケーラブルな映像信号を生成することから成る。

本発明の目的は、スケーラブルではない映像信号から、基準映像信号と一組の強調映像信号とにより構成されたスケーラブルな映像信号を費用効果的に得るための、データ修正方法を提供することである。

このために、本発明によるデータ修正方法は、
当該基準映像信号を送出するために直列に組み合わされた、当該スケーラブルでない映像信号を構成する係数に適用される一組の減衰ステップと、
各減衰ステップで生成されたコード化エラーから当該強調映像信号の1つを送出するための、当該減衰ステップの各々に関連付けられた再エンコード化ステップと、
を有することを特徴とする。

本発明によるデータ修正方法の一変形は、
カスケード状に組み合わされた一組の減衰ステップであって、このカスケード内の上位レベルの減衰ステップが、当該スケーラブルでない映像信号を構成する係数に適用されることにより当該基準映像信号が送出される、一組の減衰ステップと、
カスケード内の上位レベルの各減衰ステップで生成されたコード化エラーから、当該強調映像信号の1つを送出するための、当該減衰ステップの各々に関連付けられた再エンコード化ステップと、
を有することを特徴とする。

デコード化された映像信号からスケーラブルな映像信号が生成される従来技術の方法に対して、本発明による方法は、MPEG-2映像規格によってコード化された映像信号から、当該スケーラブルな映像信号を直接生成する。したがって、従来技術の方法で行われる動き補償と動き評価のような高価な処理ステップは、本発明による方法ではもはや不要となる。

これらの処理ステップは、コード化された入力映像信号を構成する離散コサイン変換(DCT)の係数に対して直接行われ、かつ、少なくともこれらの信号の振幅を減衰させることにより、当該コード化された入力映像信号よりも低いビットレートを有する基準映像信号を生成することから成る。減衰は、DCT係数の重み付けステップと量子化ステップと（すなわち、計算負荷が低い処理ステップ）から成る。これらの減衰ステップは、選択された実装ハードウエアの体系に応じて、直列またはカスケード状に組み合わせることが出来る。どのような組み合わせステップが選択されようとも、各減衰ステップのコード化エラーが、複雑度が低い再エンコード化ステップにより再エンコード化されることにより、強調映像信号が生成される。

減衰ステップが直列に組み合わされた場合、強調映像信号は、各減衰ステップのコード化エラーから生成される。減衰ステップがカスケード状の場合、強調映像信号は、カスケード内の上位レベルの減衰ステップにより生成されたコード化エラーの減衰から得られる。

強調映像信号の数は、他の減衰ステップと再エンコード化ステップとをカスケード状または直列に組み合わせることにより、容易に増やすことが出来る。粒状度が微細なスケーラブルな信号の出力は、品質が漸進的な映像データを有する一組の大きな強調映像信号を生成することによって得ることが出来る。したがって、当該基準映像信号と選択された一組の強調映像信号とを関連付けることにより、所定の品質をも有する、所定の完全なビットレート目標に到達することが出来る。

本発明は、スケーラブルでない映像信号から、基準映像信号と一組の強調映像信号とにより構成されたスケーラブルな映像信号を得るための、データを修正するための第一製品に関する。この第一製品は、
当該基準映像信号を送出するために直列に組み合わされた、当該スケーラブルでない映像信号を構成する係数に適用される一組の減衰手段と、
各減衰手段により生成されたコード化エラーから当該強調映像信号の1つを送出するための、当該減衰手段の各々に関連付けられた再エンコード化手段と、
を有することを特徴とする。

本発明は、スケーラブルでない映像信号から、基準映像信号と一組の強調映像信号とにより構成されたスケーラブルな映像信号を得るための、データを修正するための第二製品に関する。この第二製品は、
カスケード状に組み合わされた一組の減衰手段であって、このカスケード内の上位レベルの減衰手段が当該スケーラブルでない映像信号を構成する係数に適用されることによって当該基準映像信号が送出される一組の減衰手段と、
カスケード内の上位レベルの各減衰手段により生成されたコード化エラーから当該強調映像信号の1つを送出するための、当該減衰手段の各々に関連付けられた再エンコード化手段と、
を有することを特徴とする。

本発明によるこれらの第一映像製品と第二映像製品は、上述した方法の異なるステップを実施するためのソフトウエア手段とハードウエア手段とを有する。このような製品は、映像放送用または映像ストリーミング用の装置、またはセットトップボックスまたはDVDプレーヤのような消費者製品に対応可能である。

本発明は、コード化された入力映像信号内のデータを修正する本発明による方法のステップとサブステップとを実施することにより得られる、基準映像信号と一組の少なくとも一つの強調映像信号とを有するコード化された映像信号にも関する。

このスケーラブルな信号は、本発明による方法のステップとサブステップとの技術的な特徴を反映したものである。

本発明は、コード化された入力映像信号内のデータを修正する本発明による方法を実施することにより得られる、基層と一組の強調層とを有するコード化された映像信号を格納させてある格納媒体にも関する。

この格納媒体は、ハードディスクまたは消去可能なデジタルビデオディスク（例えば、R/Wディスク）に対応可能であることが好ましい。

本発明は、本発明による方法のサブステップとステップとを実施するためのコード命令を有するコンピュータプログラムにも関する。

このコンピュータプログラムは、信号プロセッサに接続されているメモリのようなハードウエア手段にロードされると、本発明による方法のいかなるステップとサブステップでも実行することが出来る一組の命令を有する。

本発明の詳細な説明と他の側面とを以下に示す。

次に、本発明の特定の側面を、以下に記述する実施例を参照しながら説明し、かつ同一の部分またはサブステップが同様に示されている添付の図面に関連させながら考察する。

本発明は、MPEG-2のコード化された入力映像信号のデータ修正に良好に適合化されているが、このような方法は、例えば、MPEG-4、H.261またはH.263の各映像規格に記載されている方法のようなブロックに基づいた圧縮方法を用いてエンコード化されたいかなるコード化された信号にも適用可能であることが、当業者には明らかとなるであろう。

以下、修正されるコード化された入力映像信号が、MPEG-2国際映像規格(Moving Pictures Experts Group, ISO/IEC 13818-2)に準拠していると想定して、本発明を詳述する。コード化された映像フレームを構成するDCT係数は、DCTブロックと呼ばれる2次元の周波数スペクトルを表す8×8ブロック内でグループ化されていると想定する。

図1は、本発明による方法の第一構成を表す。本構成により、コード化された入力映像信号104から、基準映像信号101と2つの強調映像信号102、103により構成されたスケーラブルな映像信号を生成することが可能となる。

この構成は、信号106により伝えられるデコード化されたDCT係数を得るための（例えば、ハフマンコードの逆参照テーブルによる）エントロピーデコード化から成る、信号104を構成するDCT係数に適用される可変長のデコード化ステップ105を有する。信号106により伝えられる当該係数は、信号108により伝えられる減衰されたDCT係数を送出する減衰ステップ107により減衰される。減衰ステップ107は、DCTブロックに乗算される8×8の重み付け行列により行われる。こうして、各DCT係数に当該行列内の重み付け因子が乗算され、各乗算の結果は、最も近い整数に四捨五入される。重み付け行列は、例えば、低周波値に対しては1に近い均一でない値に設定され、かつ高周波値に対しては0に近い値に設定されているか、または8×8DCTブロック内の全ての係数が等しく減衰するように均一な値に設定されている、振幅が0〜1の間の値により満たされる。減衰ステップ107と直列に、別の減衰ステップ109が、信号108により伝えられるDCT係数の振幅をステップ107と同様の方法で減衰させ、かつ信号110により伝えられる新たに減衰された係数を送出する。これらの係数は、当該基準映像信号101を生成するためのステップ111により可変長にコード化される。VLC処理は、VLD処理と同様に、各係数110にハフマンコードを定めるための参照テーブルから成る。

減衰ステップ107と109とを直列に組み合わせた動作により、これらの2つの減衰から生じる各コード化エラーを再エンコード化する際に、強調映像信号102と103とを生成することが可能となる。減衰ステップ107に関連するコード化エラー112は、減算サブステップ113の信号106から信号108を減算することにより生成される。コード化エラー112は、次に、当該強調映像信号103を生成するためのステップ114内で、可変長にコード化される。減衰ステップ109に関連するコード化エラー115は、減算サブステップ116で信号108から信号110を減算することにより生成される。次に、コード化エラー115が、ステップ117内で可変長にコード化されることにより、当該強調映像信号102が生成される。

強調映像信号102と103のコンテンツは、各減衰ステップ107と109の減衰レベルへの作用により設定することが出来る。事実、ステップ107で軽度の減衰が行われた場合、強調映像信号103が有するデータの詳細度は微細になり、かつステップ109で重度の減衰が行われた場合、強調映像信号が有するデータの詳細度はより粗くなる。したがって、この構成により生成されるスケーラブルな出力信号は、異なる品質を有する映像層、すなわち、粗い品質の基準映像信号101、中程度の品質のデータを有する強調映像信号102、および詳細度が微細なデータを有する強調映像層により構成される。当該スケーラブルな映像信号がそれに基づいて送信される利用可能なバンド幅に応じて、様々な数の強調映像信号によって基準映像信号を送信することが可能となる。例えば、バンド幅に限界がない場合、信号102と103によって基準映像信号を送信することが出来る。この場合、当該スケーラブルな信号は、入力信号104と同じ映像品質を有する。バンド幅に限界がある場合、基準映像信号は、信号102のみによって送信することが出来る。この場合、低品質の入力信号104しか送信することが出来ない。

図2は、本発明による方法の第二構成を表す。この構成により、コード化された入力映像信号204から、基準映像信号201と2つの強調映像信号202と203とにより構成されたスケーラブルな映像信号を生成することが出来る。この構成は、減衰ステップがカスケード状に組み合わされる点が、図1の構成と異なる。

この構成は、信号204を構成するDCT係数に適用され、かつ信号206により伝えられる、可変長にデコード化されたDCT係数を送出する、可変長のデコード化ステップ205を有する。カスケード内の上位レベルの減衰ステップ207は、図1に図示した方法と類似の方法で信号206のDCT係数を減衰させることにより、減衰されたDCT係数208を送出し、ステップ209でこれらの係数が可変長にコード化されることにより、当該基準映像信号201が生成される。カスケード内の上位レベルの減衰ステップ207に関連するコード化エラー210は、減算サブステップ211で信号206から信号208を減算することにより生成される。次に、当該コード化エラー210を構成する係数は、減衰された係数213を生成するための減衰ステップ212で減衰され、これらの減算された係数213は、次に、当該強調映像信号202を送出するためのステップ214で可変長にコード化される。減衰ステップ212に関連するコード化エラー215は、減算サブステップ216で、信号210から信号213を減算することにより生成される。次に、コード化エラー215は、217で可変長にコード化され、当該強調映像信号203が生成される。留意すべき点は、コード化エラー210とは反対に、コード化エラー215には減衰ステップが行われず、この結果、全ての強調映像信号202と203が、当該基準映像信号201により送信される場合、スケーラブルな信号が、信号204と同じ品質を有することである。

図1を参照しながら呈示した説明と同様に、ステップ207と212の減衰レベルが、信号201、202、203のコンテンツを決定する。例えば、ステップ207で重度の減衰を行った場合、基準映像信号201の詳細度は粗くなり、かつステップ212で中度の減衰を行った場合、強調映像信号202の詳細度は中程度になり、強調映像信号203のデータは詳細度が最も微細になる。

図3は、本発明による方法の第三構成を表す。この構成により、コード化された入力映像信号304から、基準映像信号301と2つの強調映像信号302と303とよって構成されたスケーラブルな映像信号を生成することが可能となる。この構成は、減衰ステップが直列に組み合わされている点が、図1に示した構成と類似しているが、減衰が異なる方法で行われる点は異なっている。

この構成は、信号304を構成するDCT係数に適用され、かつ信号306により伝えられる可変長にデコード化されたDCT係数を送出する可変長のデコード化ステップ305を有する。信号306により伝えられる当該係数は、まず、ステップ328で逆量子化されると、ステップ328は、信号329により伝えられる逆量子化されたDCT係数を送出する。次に、当該信号329は減衰ステップ307で減衰され、減衰ステップ307は、信号308により伝えられる減衰されたDCT係数を送出する。減衰ステップ307と直列に、別の減衰ステップ309は、信号308により伝えられるDCT係数の振幅を減衰させ、かつ、信号310により伝えられる新たに減衰された係数を送出する。これらの係数がステップ311で可変長にコード化されると、当該基準映像信号301が生成される。VLD処理と同様に、VLC処理は、各係数310にハフマンコードを定めるための参照テーブルから成る。

減衰ステップ307（と309の各々）は、重み付けステップ312（と314の各々）と、この後に直列に続く量子化ステップ313（と315の各々）とにより構成される。重み付けステップ312と314は、DCTブロックに乗算される8×8の重み付け行列によって行われる。こうして、各DCT係数には、当該行列内の重み付け因子が乗算され、各乗算の結果は、最も近い整数に四捨五入される。重み付け行列は、例えば、低周波数値に対しては1に近い均一でない値に設定され、かつ高周波値に対しては0に近い均一でない値に設定されているか、または、8×8DCTブロック内の全ての係数が等しく減衰されるように均一の値に設定された、振幅が0〜1の間の値により満たされる。量子化ステップ313（と315の各々）は、重み付けされているDCT係数を、マクロブロック(MB)を構成する全ての8×8ブロックの全ての係数を同一の新たな量子化因子で除算することにより、量子化されたDCT係数308（と310の各々）を送出することから成る。

減衰ステップ307に関連するコード化エラー316は、減算サブステップ319内で、信号306の逆量子化ステップ325により得られる信号318から、信号308の逆量子化ステップ326により得られる信号317を減算することにより生成される。次に、コード化エラー316が、ステップ320により可変長にコード化されることにより、当該強調映像信号303が生成される。減衰ステップ309に関連するコード化エラー321は、減算サブステップ323で、信号317から、信号310の逆量子化ステップ327で得られた信号322を減算することにより生成される。次に、コード化エラー321が、ステップ324により可変長にコード化されることにより、当該強調映像信号302が生成される。

信号306を構成する量子化されている係数は、これらの値に、量子化されていない一次係数（図示せず）を量子化するために用いられた因子を乗算することにより、ステップ325で逆量子化される。信号317を構成する量子化されている係数は、これらの値に、量子化ステップ307で用いられた因子を乗算することにより、ステップ326で逆量子化される。信号322を構成する量子化されている係数は、これらの値に、量子化ステップ315で用いられた因子を乗算することにより、逆量子化される。

強調映像信号302と303のコンテンツは、重み付けステップ312と314への作用および／または量子化ステップ313と315への作用の何れかによって、図１と同様に各減衰ステップ307と309の減衰レベルに作用することにより、設定することが出来る。

この構成の場合、ステップ328の出力で信号318を直接得ることにより、計算負荷の低減が可能となることを認めることが出来る。

図4は、本発明による方法の第四構成を表す。この構成により、コード化された入力映像信号404から、基準映像信号401と、2つの強調映像信号402と403とにより構成されたスケーラブルな映像信号を生成することが出来る。この構成は、減衰ステップがカスケード状に組み合わされる点が、図3の構成と異なる。

この構成は、信号404を構成するDCT係数に適用され、かつ信号406により伝えられる可変長にデコード化されたDCT係数を送出する、可変長のデコード化ステップ405を有する。信号306により伝えられる当該係数は、まず、信号429により伝えられる逆量子化されたDCT係数を送出するステップ428で、逆量子化される。カスケード内の上位レベルの減衰ステップ407は、信号429のDCT係数を図3に図示した方法と類似の方法で減衰させることにより、減衰されたDCT係数408を送出し、これらのDCT係数が409で可変長にコード化されることにより、当該基準映像信号401が生成される。カスケード内の上位レベルの減衰ステップ407に関連するコード化エラー410は、信号406の逆量子化ステップ415で得られた信号412から、信号408の逆量子化ステップ414で得られた信号411を減算サブステップ413で減算することにより生成される。次に、当該コード化エラー410を構成する係数が、減衰ステップ416で減衰されることにより、減衰された係数417が生成される。次に、これらの係数がステップ418で可変長にコード化されることにより、当該強調映像信号402が送出される。減衰ステップ416に関連するコード化エラー419は、減算サブステップ421で、信号410から、信号417の逆量子化ステップ422で得られた信号420を減算することにより生成される。次に、コード化エラー419がステップ423で可変長にコード化されることにより、当該強調映像信号403が生成される。注意すべき点は、コード化エラー410とは反対に、コード化エラー419には減衰ステップが行われず、この結果、強調映像信号402と403が全て、当該基準映像信号401により送信される場合、スケーラブルな信号が信号404と同じ品質を有することである。

図1を参照しながら行った説明と同様に、減衰ステップ407（と416の各々）は、重み付けステップ424（と426の各々）と、この後に直列に続く量子化ステップ425（と427の各々）により構成され、かつ、ステップ407と416の減衰レベルにより、信号401、402、403のコンテンツの品質が決定する。

この構成の場合、ステップ428の出力において信号412を直接得ることにより、計算負荷の低減が可能となることを認めることが出来る。

図5Aと図5B（これらを組み合わせると図5が形成される）は、本発明による方法の第五構成を表す。この構成により、コード化された入力映像信号504から、基準映像信号501と2つの強調映像信号502と503により構成されたスケーラブルな映像信号を生成することが可能となる。

図5の構成は、減衰ステップ307が、トランスコード化構成506に置換されている点が、図3の構成と異なる。

処理ステップ505は、コード化された入力映像信号504からデコード化されたデータ信号508を送出するための、エラーをデコード化するステップである。エラーをデコード化するこのステップ505は、当該入力信号に含まれている少数のデータタイプしかデコード化しないことから、入力映像信号504の部分的なデコード化を行う。このステップは、信号504内の少なくともDCT係数と動きベクトルの可変長のデコード化509を有する。このステップ509は、例えば、ハフマンコードの逆参照テーブルによるエントロピーデコード化から成り、これにより、デコード化されたDCT係数510と動きベクトル511とを得ることが出来る。当該ステップ509と直列に、当該デコード化された係数510に対する逆量子化512が行われることにより、当該デコード化されたデータ信号508が送出される。逆量子化512は、当該デコード化されたDCT係数510に、当該入力信号504内の量子化因子を乗算することから成る。当該量子化因子は、マクロブロック毎に変化する可能性があるので、この逆量子化512は、ほとんどの場合、マクロブロックレベルで行われる。デコード化された信号508は、周波数範囲内にある。

処理ステップ506は、処理ステップ513、514、515に分解することが出来る。処理ステップ513は、当該入力映像信号504のトランスコード化により得られた信号に対応する、MPEG-2映像規格に準拠した出力映像信号516を送出する減衰ステップである。当該再エンコード化513は、加算サブステップ518により、当該デコード化されたデータ信号508を動き補償された信号519に加算することによって得られた中間データ信号517に作用する。当該減衰ステップ513は、上図で説明した信号517のDCT係数に両方共に作用する、重み付けステップ520と、この後に直列に続く量子化ステップ521とを直列に有する。量子化ステップ521は、減衰されたDCT係数を新たな量子化因子で除算することによって、量子化されたDCT係数516を送出することから成る。当該コード化された入力映像信号504のトランスコード化により行われる修正は、このような新たな量子化因子により特徴付けられている。例えば、ステップ512で用いられる量子化因子よりも大きな量子化因子を用いて信号510の係数を逆量子化することにより、当該コード化された入力映像信号504のビットレートを下げることが出来る。処理ステップ514は、周波数範囲内の信号516のコード化エラー522を送出するための再構成ステップである。この再構成ステップ514により、減衰ステップ513により生じたコード化エラーの生成が可能となる。信号516内のフレームとフレームとの間の品質のずれがなくなるように次の映像フレームをトランスコード化するため、本明細書で詳しく後述する動き補償の間には、現在トランスコード化されている映像フレームのこのようなコード化エラーが考慮される。当該コード化エラー522は、信号516の係数に対して行われる逆量子化523により再構成され、この結果、信号524が得られる。次に、減算サブステップ525が、信号517と信号524との間で行われ、この結果、DCT範囲内すなわち周波数範囲内の当該コード化エラー522が得られる。したがって、コード化エラー522は、当該コード化された入力映像信号504と当該信号516との間の差分に相当する。周波数範囲内の当該コード化エラー522が、逆離散コサイン変換526を通ることにより、ピクセル範囲内の対応するコード化エラー527が生成される。処理ステップ515は、メモリ528内に格納されており、かつ前にトランスコード化された映像フレームに関連するコード化エラーから、動き補償された信号519を送出するための動き補償ステップである。メモリ528は、トランスコード化されている映像フレームに関連するコード化エラーの格納を専用とする第一メモリと、前にトランスコード化された映像フレームに関連するコード化エラーの格納を専用とする第二メモリとの、少なくとも2つのサブメモリを有する。まず、信号530によりアクセス可能な当該第二サブメモリのコンテンツに対して行われる予測ステップで、動き補償529が行われる。この予測ステップは、当該前に格納されたコード化エラーから、予測された信号531を計算することから成る。この予測された信号は、動き補償された信号とも呼ばれ、入力映像信号508のトランスコード化されている部分に関連する動きベクトル511が指し示す、当該メモリデバイス528内に格納されている信号部分に対応する。当該予測は、当業者には周知のように、通常はマクロブロック(MB)レベルで（すなわち、信号508により伝えられる各入力MBに対して）行われる。すなわち、フレームとフレームとの間の品質のずれを減衰するために、予測されたMBは、決定されると、かつ更にDCT範囲内の加算サブステップ518によって当該入力MBに加算される。ピクセル範囲内にある動き補償された信号531がDCTステップ532を通ることにより、DCT範囲内の当該一次動き補償された信号519が生成される。

当該減衰ステップ513と直列に、別の減衰ステップ507が、信号516を構成する係数に対して行われる。この減衰ステップ507は、重み付けステップ533と、この後に直列に続く、信号535を送出する量子化ステップ534とにより構成される。当該量子化534と直列に、可変長のコード化536が、信号535を構成する係数に適用されることにより、信号501を構成するエントロピーコード化されたDCT係数が得られる。

処理ステップ505、506、507を組み合わせることにより、信号504よりもビットレートが少ない、つまり、品質がより粗い基準映像信号501の生成が可能となり、かつ、異なる品質の中間信号510、516、535を生成することによって、処理ステップ537で強調映像信号502、503を生成することも可能となる。このために、処理ステップ537は、図3に示す大半の処理ステップにより構成されている。図5が図3と異なる点は、特に、信号306、308、310（各々、510、516、535に対応）が図5とは異なる方法で生成されることである。こうして、強調映像信号502は、信号504をトランスコード化することにより生成されるコード化エラーに対応する信号538の再エンコード化によって生成され、一方、強調映像信号503は、信号516を減衰させることにより生成されるコード化エラーに対応する信号539の再エンコード化によって生成される。

この構成の変形の場合、ステップ325と326を廃止して、信号508と信号524を直接取り出すことによる、信号538と信号539との費用効果的な生成方法を考案することが出来る。

注意すべき点は、ステップ534で用いられる量子化因子を、少なくともステップ521で用いられる量子化因子よりも大きくしなければならないことである。

図6Aと図6B（これらを組み合わせると図6が形成される）は、本発明による方法の第六構成を表す。この構成により、コード化された入力映像信号604から、基準映像信号601と、2つの強調映像信号602と603とにより構成されたスケーラブルな映像信号の生成が可能となる。この構成が図5の構成と異なる点は、処理ステップ507が、減衰ステップにもはや対応しておらず、ステップ506と類似のトランスコード化ステップに対応していることである。このトランスコード化ステップ507は、入力信号516から、信号516よりもビットレートが低い出力信号535を生成する。図5と比較すると、当該トランスコード化507のコード化エラーには動き補償が行われているので、トランスコード化ステップ507によって基準映像信号501上の品質のずれがなくなる。

本発明の方法により生成されるスケーラブルな映像信号が、基準映像信号と2つの強調映像信号により構成されていると見なして、各構成を表してきた。もちろん、本発明の方法は、これらの少数の強調映像信号に限定されず、かつ更なる減衰ステップと再エンコード化ステップを直列またはカスケード状の何れかで挿入することにより、より多数の強調映像信号の組を得ることが出来る。

さらに、スケーラブルでない映像信号からスケーラブルな映像信号を生成可能な本発明による方法は、当該スケーラブルでない映像信号を構成するDCT係数の値と、量子化因子の値とにしか作用しない。このことは、具体的には、スケーラブルでない入力映像信号の動きベクトルと画像タイプを両方とも修正することは不可能であることを意味する。

本発明は、MPEG-2のエンコーダまたはトランスコーダ、または他のMPEGに基づいた映像データ操作デバイスの何れかにより生成された、ブロックを用いた技術によってコード化された、いかなるスケーラブルでない映像信号にも適用することが出来る。

本発明によるこのデータ修正方法は、様々な環境にある製品で実施可能である。

このような製品は、映像放送用または映像ストリーミング用の装置に対応することが出来る。本明細書の場合、MPEG-2映像規格に従ってコード化された入力映像信号は、可変数の強調映像信号を基準映像信号に関連付けることによる、バンド幅容量が異なる通信チャネルを介した処理の後、送信可能となる。

このような製品は、セットトップボックスまたはDigital Video Disc(DVD)のような消費製品にも対応することが出来る。本明細書の場合、MPEG-2映像規格に従ってコード化された入力映像信号の処理後、基準映像信号と、これに関連付けられた強調映像信号とが、メモリ手段内に局所的に格納される。したがって、メモリ空間が不足した場合、映像シーケンスの完全性を抑制することなく、一つまたは複数の強調映像信号を、当該メモリ手段から除去することが出来る。この製品は、特に、弾力的な格納用途を専用としている。

コード化された入力映像信号内のデータを修正するこの方法は、幾つかの態様により製品内で実施することが出来る。ハードウエア構成要素を用いる場合、このスケーラブルな方法は、有線の電子回路（VLC参照テーブルとVLD参照テーブル用のRAMメモリ、または動き補償ステップの間の映像フレーム格納用のRAMメモリ）、またはこれに代えて、当該回路の少なくとも一部を代替し、かつ当該代替対象の回路内で実現されている機能と同じ機能を実行するためにコンピュータまたはデジタルプロセッサによる制御の下で実行可能な、コンピュータが読み取り可能な媒体内に格納されている一組の命令により、実施することが出来る。

したがって、本発明は、上述した方法のステップまたは一部のステップを行うためのコンピュータが実行可能な命令を含むソフトウエアモジュールを有する、コンピュータが読み取り可能な媒体にも関する。

本発明による方法の第一構成を表す。 本発明による方法の第二構成を表す。 本発明による方法の第三構成を表す。 本発明による方法の第四構成を表す。 本発明による方法の第五構成を表す。 本発明による方法の第五構成を表す。 本発明による方法の第六構成を表す。 本発明による方法の第六構成を表す。

符号の説明

101…基準映像信号
102…強調映像信号
103…強調映像信号
104…入力映像信号
105…可変長のデコード化ステップ
106…信号
107…減衰ステップ
108…信号
109…減衰ステップ
110…信号
111…該基準映像信号を生成するステップ
112…コード化エラー
113…減算サブステップ
114…強調映像信号を生成するステップ
115…コード化エラー
116…減算サブステップ
117…コード化エラーを可変長にコード化するステップ
201…基準映像信号
202…強調映像信号
203…強調映像信号
204…信号
205…可変長のデコード化
206…信号
207…減衰ステップ
208…減衰されたDCT係数
209…減衰されたDCT係数を可変長にコード化するステップ
210…コード化エラー
211…減算サブステップ
212…減衰ステップ
213…減衰された係数
214…基準映像信号を送出するステップ
215…コード化エラー
216…減算サブステップ
217…コード化エラーを可変長にコード化するステップ
301…基準映像信号
302…強調映像信号
303…強調映像信号
304…信号
305…可変長のデコード化ステップ
306…信号
307…減衰ステップ
308…信号
309…減衰ステップ
310…信号
311…係数を可変長にコード化するステップ
312…重み付けステップ
313…量子化ステップ
314…重み付けステップ
315…量子化ステップ
316…コード化エラー
317…逆量子化ステップにより得られる信号
318…信号
319…減算サブステップ
320…コード化エラーを可変長にコード化するステップ
321…コード化エラー
322…逆量子化ステップで得られる信号
323…減算サブステップ
324…コード化エラーを可変長にコードするステップ
325…逆量子化ステップ
326…逆量子化ステップ
327…逆量子化ステップ
328…係数を逆量子化するステップ
329…信号
401…基準映像信号
402…強調映像信号
403…強調映像信号
404…信号
405…可変長のデコード化ステップ
406…信号
407…減衰ステップ
408…減衰されたDCT係数
409…DCT係数
410…コード化エラー
411…逆量子化ステップで得られた信号
412…逆量子化ステップで得られた信号
413…減算サブステップ
414…逆量子化ステップ
415…逆量子化ステップ
416…減衰ステップ
417…減衰された係数
418…係数を可変長にコード化するステップ
419…コード化エラー
420…逆量子化ステップで得られた信号
421…減算サブステップ
422…逆量子化ステップ
422…逆量子化ステップ
423…コード化エラーを可変長にコード化するステップ
424…重み付けステップ
425…量子化ステップ
426…重み付けステップ
427…量子化ステップ
428…逆量子化されたDCT係数を送出するステップ
429…信号
501…基準映像信号
502…強調映像信号
503…強調映像信号
504…コード化された入力映像信号
505…エラーをデコード化するステップ
506…トランスコード化構成
507…減衰ステップ
508…データ信号
509…可変長のデコード化
510…DCT係数
511…動きベクトル
512…逆量子化
513…減衰ステップ
514…再構成ステップ
515…動き補償ステップ
516…出力映像信号
517…中間データ信号
518…加算サブステップ
519…動き補償された信号
520…重み付けステップ
521…量子化ステップ
522…コード化エラー
523…逆量子化
524…信号
525…減算サブステップ
526…逆離散コサイン変換
527…コード化エラー
528…メモリ
529…動き補償
530…信号
531…予測された信号
532…DCTステップ
533…重み付けステップ
534…量子化
535…信号
536…可変長のコード化
537…強調映像信号を生成するステップ
538…信号
539…信号
602…強調映像信号
603…強調映像信号
604…コード化された入力映像信号

Claims (9)

1. スケーラブルでない映像信号から、基準映像信号と一組の強調映像信号とにより構成されたスケーラブルな映像信号を得るためのデータ修正方法であって、
   当該スケーラブルでない映像信号はコード化されたものであり、当該スケーラブルでない映像信号はＤＣＴ係数を含み、
   当該基準映像信号を送出するために直列に組み合わされた、当該スケーラブルでない映像信号を構成するＤＣＴ係数に適用される一組の減衰ステップであって、各減衰ステップがコード化エラーを生成し、前記コード化エラーは前記減衰ステップの入力信号と前記減衰ステップの出力信号との差であるか、または、前記減衰ステップが量子化を適用するものである場合には、前記コード化エラーは前記減衰ステップの入力信号と逆量子化後の前記減衰ステップの出力信号との差である、一組の減衰ステップと、
   各減衰ステップで生成された前記コード化エラーから当該強調映像信号の1つを送出するための、当該減衰ステップの各々に関連付けられた再エンコード化ステップと、
   を有することを特徴とするデータ修正方法。
2. 当該減衰ステップが、当該係数の均一のまたは均一でない重み付けから成り、前記重み付けは当該係数のブロックに対して行われる、請求項1に記載のデータ修正方法。
3. 各再エンコード化ステップが、
   減算サブステップであって、前記関連付けられた減衰ステップの入力信号と出力信号とが前記減算サブステップの対象となる、当該コード化エラーを送出するための減算サブステップと、
   当該コード化エラーから当該強調映像信号を送出するための可変長のコード化サブステップと、
   を有することを特徴とする、請求項2に記載のデータ修正方法。
4. 当該減衰ステップが、当該係数の均一の量子化がその後に直列に続く、均一のまたは均一でない重み付けから成り、前記重み付けは当該係数のブロックに対して行われることを特徴とする、請求項1に記載のデータ修正方法。
5. 各再エンコード化ステップが、
   減算サブステップであって、前記関連付けられた減衰ステップの前記入力信号と前記逆量子化された出力信号とが前記減算サブステップの対象となる、当該コード化エラーを送出するための減算サブステップと、
   当該コード化エラーから当該強調映像信号を送出するための可変長のコード化サブステップと、
   を有することを特徴とする、請求項4に記載のデータ修正方法。
6. 少なくとも一つの減衰ステップが、トランスコード化ステップから成り、
   前記トランスコード化ステップにおいて、前記ＤＣＴ係数の減衰より前に、ＤＣＴ範囲内の動き補償された信号が、前記ＤＣＴ係数に加算される
   ことを特徴とする、請求項3または5に記載のデータ修正方法。
7. スケーラブルでない映像信号から、基準映像信号と一組の強調映像信号とにより構成されたスケーラブルな映像信号を得るための、データを修正するための製品であって、
   当該スケーラブルでない映像信号はコード化されたものであり、当該スケーラブルでない映像信号はＤＣＴ係数を含み、
   当該基準映像信号を送出するために直列に組み合わされた、当該スケーラブルでない映像信号を構成するＤＣＴ係数に適用される一組の減衰手段であって、各減衰手段がコード化エラーを生成し、前記コード化エラーは前記減衰手段の入力信号と前記減衰手段の出力信号との差であるか、または、前記減衰手段が量子化を適用するものである場合には、前記コード化エラーは前記減衰手段の入力信号と逆量子化後の前記減衰手段の出力信号との差である、一組の減衰手段と、
   各減衰手段により生成された前記コード化エラーから当該強調映像信号の1つを送出するための、当該減衰手段の各々に関連付けられた再エンコード化手段と、
   を有することを特徴とする、データを修正するための製品。
8. MPEG-2映像規格に従ってコード化されたスケーラブルでない映像信号を受信することによって、基準映像信号と一組の強調映像信号とにより構成されたスケーラブルな映像信号を生成する、請求項1〜6のいずれか一項に記載の方法におけるすべてのステップを実施するための手段を有するセットトップボックス製品。
9. 請求項1〜6のいずれか一項に記載の方法におけるすべてのステップを実施するためのコード命令を有するコンピュータプログラム。