JP4707754B2 - 画像クロッピングのためのビットストリーム編集を用いたコスト低減デコーダ - Google Patents

画像クロッピングのためのビットストリーム編集を用いたコスト低減デコーダ Download PDF

Info

Publication number
JP4707754B2
JP4707754B2 JP2009161818A JP2009161818A JP4707754B2 JP 4707754 B2 JP4707754 B2 JP 4707754B2 JP 2009161818 A JP2009161818 A JP 2009161818A JP 2009161818 A JP2009161818 A JP 2009161818A JP 4707754 B2 JP4707754 B2 JP 4707754B2
Authority
JP
Japan
Prior art keywords
macroblock
video data
digital video
truncated
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2009161818A
Other languages
English (en)
Other versions
JP2010016833A (ja
Inventor
ロバート, エヌ., ジュニア ハースト,
Original Assignee
メディアテック インコーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by メディアテック インコーポレイション filed Critical メディアテック インコーポレイション
Publication of JP2010016833A publication Critical patent/JP2010016833A/ja
Application granted granted Critical
Publication of JP4707754B2 publication Critical patent/JP4707754B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/55Motion estimation with spatial constraints, e.g. at image or region borders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、一般的にはビデオデコーダに関し、より詳細には、本発明は、高精細度又は標準精細度テレビジョンシステムにおけるコスト低減ビデオデコーダを実現するための方法と装置に関する。
将来のデジタルテレビジョン(DTV)受像機は、次世代テレビジョン標準化委員会(Advanced Television Standard Committee(ATSC))により制定された伝送標準に実質的に従い実現されると予想される。類似の標準は、欧州デジタルテレビジョン放送(European Digital Video Broadcasting(DVB))標準である。圧縮デジタルビデオシステムは、ATSCデジタルテレビジョン標準文書A/53に記載されており、引用して本明細書に組み込まれる。更に、動画像圧縮標準化組織(Moving Picture Experts Group(MPEG))は、デジタルデータ伝達システムに関する幾つかの標準を公布した。第1は、MPEG−1として知られ、ISO/IEC標準11172と関係するが、引用して本明細書に組み込まれる。第2は、MPEG−2として知られ、ISO/IEC標準13818に関係するが、引用して本明細書に援用されている。
この新しいDTV標準は、1920x1080画素までの事実上何れのフォーマットも、放送局が伝送することを許容している。詳細には、DTV受像機は、時間解像度(60fps、30fps、又は24fps)及び走査フォーマット(2、1飛び越し、又は順次走査)での空間解像度(480本、720本、又は1080本)で変化する画像シーケンスを備えるソースビデオを受信する能力がなくてはならない。このように、新しいDTV標準は、ビデオフレームの解像度が現在のNTSC信号で使用されているものより高い高精細度テレビジョン(「HDTV」)もサポートし、標準精細度テレビジョン(「SDTV」)、例えば既存のアナログNTSC標準と、フレーム当りのほぼ等しい解像度を有するテレビジョンもサポートする。
HDTVピクチャの各フレームを表すためには、比較的大量のデータが必要になるので、HDTVデコーダは、SDTVデコーダよりはるかに高いデータレートをサポートしなくてはならない。標準のSDTVデコーダと比較した場合の、HDTVデコーダが必要とする追加のメモリ、及び、HDTVデコーダ内での種々の回路の複雑さの高まりは、HDTVデコーダをSDTVデコーダより高価にしてしまう。
HDTVデコーダにおけるメモリ要求量を低減するための先行技術の技法の1つは、通常に譲渡された以下3件の米国特許に等しく開示されている。即ち、1997年3月25日発行の米国特許第5,614,952号、発明の名称「デジタル高精細度及び/又はデジタル標準精細度テレビジョン信号をデコードするためのデジタルビデオデコーダ」、1987年6月3日発行の米国特許第5,635,985号、発明の名称「低コスト統合HD/SDテレビジョンデコーダの方法と装置」、1997年3月25日発行の米国特許第5,614,957号、発明の名称「デジタル・ピクチャ・イン・ピクチャ・デコーダ」、である。上記3件の特許(以下、ボイス特許と称する)は、それら全体を引用して本明細書に組み込まれる。
ボイス(Boyce)特許は、可変長符号化ビデオデータを含むビットストリームを復号化するのに必要なメモリ量を低減するための一連の技法を開示している。本質的に、高解像度画像は、低減された解像度で復号化され、それによって、画像を格納するのに必要なメモリをより少なくする。その上、高次のDCT係数を表すホフマン(Huffman)コードはビデオストリームから除去される。残念なことに、ボイス技法はデコーダの合計メモリと処理要求量を確かに低減するが、結果としてのデコーダは依然として相当に複雑であり、高価である。
ディスプレイ装置上に表示される画像の一部分、即ち、画像のエッジ近傍領域は、通例、画像シーケンスを享受するには必要でない情報を含んでいる。これは、エッジ近傍のこの部分が表示されるかどうか分からないという不確実性を持つからである。その不確実性は、多くのテレビジョンメーカが採用している2つの慣例が原因である。その一つめは、メーカは、そのディスプレイ装置に一定の量の「オーバスキャン」を含めることができる。二つめは、メーカは、表示ベゼルを使用してエッジ近傍のピクチャ領域の部分を覆い隠すことができる。これら(及び他の)慣例を認めて、米国映画テレビ技術者協会(Society of Motion Picture Television Engineers(SMPTE))は、推奨慣例 (RecommendedPractice)(RP)56−1990を採択し、そこでは、「セーフアクション (safe-action)」領域を画像の最中央の90%、及び「セーフタイトル (safe-title)」領域を画像の最中央の80%として定めている。これらの部分は、直線的に決定される(即ち、垂直と水平方向の寸法の90%と80%)。
上記SMPTE標準と、DTV受像機(特に、例えば、小型ディスプレイ画面に関連する受像機)でのシステムコストの劇的低減の必要性とを考慮して、SMPTEの「セーフタイトル」又は「セーフアクション」ディスプレイサイズに相当するように、符号化ビットストリーム中のビデオ情報低減が望ましいことが分かる。
本発明は、一般的にはビデオデコーダに関し、より詳細には、本発明は、高精細度又は標準精細度テレビジョンシステムにおけるコスト低減ビデオデコーダを実現するための方法と装置に関する。
詳細には、本発明は、各ピクチャが複数のマクロブロックを含む、ピクチャを含む可変長符号化デジタルビデオデータを、それぞれが複数のマクロブロックを含むピクチャの全サイズより小さいサイズに復号化するための方法を含む。この方法は、デジタルビデオデータを受取るステップ、デジタルビデオデータに含まれるマクロブロックを識別するためにデジタルビデオデータを分析するステップ、セーフタイトルピクチャ領域とセーフアクションピクチャ領域の一方に実質的に対応するピクチャ領域に関連しないマクロブロックを、デジタルビデオデータから切捨てるステップ、及びデジタルビデオデータを、デコーダの入力バッファへ格納するステップ、を含む。
本発明の教示内容は、添付図面に関連させて以下詳細な説明を熟考することにより容易に理解できる。
図1は、本発明に従うビデオデコーダの高レベルのブロック図である。 図2は、図1のビデオデコーダを使用して生成されたピクチャの説明を示す図である。 図3は本発明に従うモーションベクトルの使用法の説明を示す図である。 理解を容易にするために、可能な場合、図に共通である同一の構成要素を指示するために同一の符号を使用した。
本発明は、例示としてのATSCテレビジョン受像機であるデジタルテレビジョン(DTV)受像機内の、例示としてのMPEG―2ビデオコーダであるビデオコーダに沿って説明する。しかし、本発明は、DVB、MPEG−1、及び他の情報ストリームへ適合されるシステムを含め、何れのビデオ処理システムへも適用可能であることは、この技術に精通した者には明らかであろう。
ここで図1を参照すると、本発明の実施の形態の1つに従い実現される、全体的に符号100で示すビデオデコーダが示されている。図示のデコーダ100は、HD及び/又はSDテレビジョン信号、例えば、MPEG準拠のテレビジョン信号を復号化する能力がある。ビデオデコーダ100は、ビットストリームトリマ110、バッファメモリ120、デコーダ130、出力バッファ140、及びアンカフレームメモリ150を含む。デコーダ130は、可変長復号化器(VLD)131、逆量子化器(IQ)122、逆離散コサイン変換(IDCT)回路133、加算器134、及びモーション補償回路135を備える。
一般的に、ビデオデコーダの最も高価な単体構成要素は、コストの点でアンカフレームメモリ150であり、それは、HDデコーダでは、例えば16MBの同期型随時書込み読出しメモリ(RAM)を備えるかもしれない。圧縮されたビットストリームの一時的格納のために使用される入力データバッファ120は、それより少ないが、著しいコストではない。全面的にMPEGに準拠するHDTVデコーダを、データバッファとして使用するためには、少なくとも1MbのRAMが必要であると予測される。
デコーダのコストへ大きく加算するデコーダの他の構成要素は、逆離散コサイン変換回路133と逆量子化回路132である。HDTVデコーダのIDCT回路133は、大量の算術演算を高速度で実行する必要があり、従って、デコーダ回路の多大な部分に相当する見込みである。IQ回路132は、IDCT回路133より少ない数の演算を実行するが、高速であることと演算の複雑さにより、IQ回路122のコストも、HDTVデコーダ全体のコストの多大な構成要素であろう。加えて、モーション補償回路135と可変長復号化器回路131は、実現するために多大な量の論理ゲートを必要とするであろう。
HDTVデコーダのコストと複雑さは、主として、それが大量のデータをリアルタイム基準で処理する要求量の関数であるから、処理が必要なデータの量を低減することにより、HDTV互換のデコーダの複雑さ、従ってコストを低減することは可能である。
先に記載のボイス特許は、可変長符号化ビデオデータを含むビットストリームの復号化に必要とされるメモリ量を低減するための一連の技術を開示している。ボイス特許は、各マクロブロックを表すために使用されるDCT係数の数を限定することにより(例えば、高次DCT係数を切捨てることにより)符号化されたビデオストリームのデータレートを低減するプリパーサ(前分析器)(preparser) の使用を開示している。次に、低減されたデータレートのビットストリームは、低下された解像度のビデオ信号を生成する特別なデコーダ回路により復号化される。
本発明のビットストリームトリマ110は、各マクロブロックに含まれる情報を選択的には低減しない。むしろ、ビットストリームトリマ110は、SMPTE推奨慣例56−1990によるピクチャの「セーフタイトル」、さもなければ、代替として「セーフアクション」部分に関連しないマクロブロックを識別する。識別されたマクロブロックは切捨てられ、結果として得られるデータ低減ビットストリームは、デコーダ内の残りの回路により処理される。
本発明のビットストリームトリマ110の視覚効果を、図1のビデオデコーダを使用して生成されるピクチャの説明を示す図2に関して以下説明する。詳細には、図2は、X列のマクロブロックにより画成される水平アスペクトと、Y行のマクロブロックにより画成される垂直アスペクトを持つピクチャ200を示す。ピクチャ200の第1の領域210は、SMPTE推奨慣例56−1990により「セーフタイトル」領域(即ち、画像の最中央の80%)として定義された領域である。ピクチャ200の第2の領域220は、前記の「セーフタイトル」領域の外側にあるピクチャ200の領域である。この領域を表す画像情報を含むマクロブロックは、マクロブロック復号化回路の前でビットストリームトリマにより切捨てられるので、ピクチャ200の第2の領域220は、ディスプレイ装置上に表示されない。
第2の領域は、例えば、単色の辺境領域として残すことができる。本発明の別の実施の形態において、第1の領域210は、「セーフアクション」領域(即ち、画像の最中央の90%)を表す一方、第2の領域220は、非表示画像領域を表す。この実施の形態では、ピクチャの「セーフタイトル」部分を除く全てを切捨てる場合より、落とされるマクロブロックが少なく、従って、より多くのメモリと処理能力が必要とされる。
各マクロブロックが256輝度標本 (samples)、64Cb標本、及び64Cr標本を表わす16x16マクロブロックを使用して生成される480本×704画素の画像の場合、普通には、44列と30行のマクロブロックがあり、全体で1320のマクロブロックを提供する。従って、480x704画素の画像の最中央の80%を除くほぼ全てを除去するために、ビットストリームトリマ110は、マクロブロックの上3行と下3行(即ち、行1〜3と28〜30)、及びマクロブロックの左4列と右4列(即ち、列1〜4と42〜44)を除去する。
本発明は、もちろん、上で検討した480x704フォーマットとは別のフォーマットを使用して実施できる。表1は、幾つかの共通ビデオフォーマット、特定のフォーマットの各行と列におけるマクロブロックの数、及び、ピクチャサイズを安全領域(即ち80%)ピクチャサイズへ縮小するように切捨られる行と列、を一覧表にする。
Figure 0004707754
「非セーフ」ピクチャ領域に関連するマクロブロックの行と列を識別するために、ビットストリームトリマ110は、可変長復号化モードで動作して、入力ビットストリームを部分的に復号化する。詳細には、ビットストリームトリマ110は、ビットストリームの picture_data() 部分を分析し、例として、いわゆる、macroblock_address_increment を読出し、それに応じて、検査した各マクロブロックの特定アドレスを計算する。次いで、非セーフ領域に関連するアドレスを持つマクロブロックは切捨てられる。ビットストリームトリマ110は、マクロブロック内の実際のデータを復号化しないことに注意しなければならない。ビットストリームトリマ110は、所望のマクロブロックの位置情報に構文的に関連付けられた種々の開始コードと他のコードとを識別するためにビットストリームを検査するだけである。
本発明の実施の形態の1つでは、ビットストリームトリマ110は、固定長モードで動作して、マクロブロックの行だけを切捨てる。各行は1つ以上のスライスを含み(ここで、各スライスは、1つ以上のマクロブロックを含む)、行の最後のスライスは行の最後の列で終わるので、ビットストリームトリマ110は、特定の行に関連するスライスを識別することにより特定の行を識別する。識別されたスライス内の各マクロブロックは、そこで、切捨てられる。詳細には、ビットストリームトリマ110は、いわゆる slice_vertical_position 変数を、入力ビットストリームS1の picture_data() 部分から抽出する。slice_vertical_position 変数が、特定のスライスが非セーフピクチャ領域に関連することを示す場合、特定のスライスは、マクロブロックと共に切捨てられる。
別の動作モードでは、ビットストリームトリマ110は、テレビジョン受像機のネイティブ表示モードを示す制御信号MODEをコントローラ(図示せず)から受取る。即ち、テレビジョン受像機は、高精細度ビデオ信号、例として1080x1920信号を受信しているかもしれないが、しかし、標準精細度画像、例として480x640を表示する能力があるだけかもしれない。このように、標準又は低精細度のネイティブ動作モードを有するディスプレイ装置の場合には、ビットストリームトリマ110は、ディスプレイ装置のネイティブモード能力以外のピクチャ情報に関連する全てのマクロブロックを切捨てることに使用される。この場合、メモリ及び処理の要件は、ディスプレイ装置のネイティブモードだけをサポートするように設計される。
別の動作モードでは、ビットストリームトリマ110は、レート制御信号RATEを入力バッファメモリ120から受取る。オプションのレート制御信号は、バッファメモリの利用レベルの表示を提供する。バッファのオーバーフロー及び/又はアンダーフロー状態を回避するために、ビットストリームトリマは、例えば、応答して、多少はマクロブロックを切捨てるか、あるいはビットストリームからパディング情報を取り去るか、又は追加することにより、データ低減ビットストリームS3内に多少はデータを含めるようにする。パディング情報は、データ低減ビットストリームS3内でデータの量を増加させることに使用される特定の、非MPEGコードであってもよい。データ低減ビットストリームS3内に過多のデータがある場合、パディング情報が、ビットストリームトリマ110によって挿入されることはない。
本発明の更に別の実施の形態において、入力バッファ120の入力は入力ビットストリームS1を直接受取るように接続され、ビットストリームトリマ110の入力は入力バッファ120の出力へ接続され、そしてビットストリームトリマ110の出力はビデオデコーダ130の入力は接続される。この実施の形態では、ビットストリームトリマ110は入力バッファ120の後に位置するので、通常の(即ち、非低減)入力バッファメモリが必要とされる。しかし、この実施の形態は、通常サイズの入力バッファ120が何れにしろ必要である(例えば、入力バッファの出力が幾つかのデコーダにより利用され、それらデコーダには、非低減ビットストリームを持たねばならないものもある)システムのために適しているであろう。
上で説明したビットストリームトリマ110の動作は、結果として縮小サイズのピクチャとなるであろうが、ピクチャの表示された部分の解像度(即ち、画素密度)は、不変のままであろう。ビットストリームトリマ110の動作は、VLD回路120を含む、ビデオデコーダ回路100の残りの構成要素へ供給されるビデオデータの量をダイナミックに制限し、それにより、その後の回路構成要素によりリアルタイム基準で処理されねばならぬデータの量、及びそれらの回路構成要素の必要な複雑さを低減する。ビットストリームトリマ110を使用する更なる利益は、さもなければ必要となるであろう入力バッファより小さい入力バッファ120の使用を可能にすることである。
ここで図1に戻ると、ビットストリームトリマ110は、トランスポート・デマルチプレクサ/デコーダ回路(図示せず)から、例えば、高精細度テレビジョン信号出力を表す可変長符号化されたビットストリームS1を受取る。ビットストリームトリマ110は、完全な可変長復号化操作を実行することなく、入力されたビットストリームS1を分析して、両方向に符号化された(「B」)フレーム、予測的に符号化されたビデオフレーム(「P」)、及びイントラ符号化された(「I」)フレームのような、異なる種類のビデオフレームに対応するデータを識別する。次に、ビットストリームトリマ110は、先に記載のように、所要のピクチャ領域の外側のピクチャ情報に対応する識別されたフレーム内のマクロブロックを識別して切捨て、入力バッファメモリ120へ接続される低減データのビットストリームS2を生成する。入力バッファメモリ120は、ビットストリームトリマ110により出力された可変長符号化データを、可変長復号化器131が処理のためにビデオデータを受け入れる準備ができるまで、一時的に格納することに使用される。VLD131は、格納された可変長符号化ビデオデータをデータストリームS3として読出すように入力バッファメモリ120のデータ出力へ結合された入力を有する。
VLD131は、読出したデータを復号化して、量子化された予測誤差DCT係数を有する一定長ビットストリームS4と、モーションベクトルストリームMVを生成する。IQ回路132は、ストリームS3に逆量子化操作を実行して、量子化予測誤差係数を標準形式で有するストリームS5を生成する。IDCT回路は、ストリームS5に逆離散コサイン変換操作を実行して、(量子化により低品位化された画素毎 (pixel-by-pixel) の予測誤差を有するストリームS6を生成する。
加算器134は、画素毎の予測誤差ストリームS6を、モーション補償器135により生成されるモーション補償された予測画素値ストリームS9へ加算する。加算器134の出力は、(量子化により低品位化された)再構成された画素値を備えるビデオストリームS8であり、それは、アンカフレームメモリ136、及び更なる処理及び/又は表示のためにビデオ処理回路(図示せず)へ接続される。アンカフレームメモリは、モーション補償器135により信号経路S10経由でアクセスされる。モーション補償器は、1つ以上の格納されたアンカフレーム(例えば、加算器134の出力で生成されたビデオの最後のフレーム)、及びVLD131から受取られたモーションベクトル信号MV、を利用して、モーション補償された予測画素値ストリームS9のための値を計算する。
ビットストリームトリマ110を上記方法で使用することにより、VLD回路120の演算要求量は、受取られたデータの全てが構文分析され (syntax parsed)、可変長復号化される場合と比較して実質的に低減される。ビットストリームトリマ110は、可変長復号化されるべきDCT係数の数を、マクロブロックを切捨てることにより効果的に制限する。
図3は、本発明に従うモーションベクトルの使用法の説明を示す。詳細には、図3は、3つの関連するビデオフレーム(即ち画像)、即ち、第1のビデオフレーム310、第2のビデオフレーム320、及び第3のビデオフレーム330を示す。フレームは時間的に関連しており、フレーム310、320、330は、ビデオフレームのシーケンス内のそれぞれ第1、第2、第3のフレームとして表示される。第1のビデオフレーム310は、セーフタイトル領域312と非表示領域314を含む。同様に、第2のビデオフレーム320は、セーフタイトル領域322と非表示領域324を含み、そして第3のビデオフレーム330は、セーフタイトル領域332と非表示領域334を含む。非表示領域内のマクロブロック(即ち、314、324、334)は、先に検討したように、切捨てられる。
図3は、その上、それぞれのビデオフレーム310、320、330内のマクロブロック315、325、335を示す。3つのマクロブロックは、それぞれのマクロブロック315、325、335内の、例えば、物体の左から右へのモーションを表す。マクロブロック315は、マクロブロック325を生成するように使用される前方予測情報FPを含む。同様に、マクロブロック335は、マクロブロック325を生成するように使用される後方予測情報BP(ビデオフレーム320はB−フレームであると仮定すると)を含む。
残念なことに、マクロブロック315は、ピクチャ310の非表示領域内にある(即ち、マクロブロック315は、ピクチャ310の復合化に先立って切捨てられ、従って、マクロブロック315内の前方予測情報FPは失われている。対照的に、ピクチャ330のマクロブロック335は、表示領域322内にあり、従って、マクロブロック335内の後方予測情報BPは入手可能である。従って、ピクチャ320がB−フレームである場合、マクロブロック325は、マクロブロック335からの予測情報だけを使用する。
本発明の実施の形態の1つでは、Pフレームを有するピクチャ320の場合、予測情報を単に無視することにより取扱われる。即ち、表示されない(即ち、切捨てられる)マクロブロックから引出される予測情報を利用するマクロブロックは、この情報では単に更新されない。これは、例えば、切捨てられるマクロブロックに関連する予測モーションベクトルをゼロに設定することにより完成される。
本発明の別の実施の形態では、マクロブロックを包囲するマクロブロック、即ち、326として表示されたピクチャ320の領域内のマクロブロックのために利用されるモーションベクトル予測情報の標本化は、平均の予測推定を生成することに使用され、それは、マクロブロック325を生成するように利用できる。
本発明の更に別の実施の形態では、切捨てられるマクロブロック情報を使用して通常は予測される画素は、単に表示されない(例えば、ブラックに変更される)。
好ましいアプローチは、領域の予測(即ち、マクロブロック325を予測するための領域326の平均)の使用である。従って、マクロブロック326のための前方予測情報FPが切捨てられた場合には、ビデオフレーム320の周囲のマクロブロック(例えば、領域326)の部分を備えるマクロブロックが、標本化され、平均の前方予測パラメータAFPが計算される。AFPは、マクロブロック325の構成を支援するようにデコーダにより利用される。同様に、マクロブロック326のための後方予測情報BPが切捨てられた場合には、ビデオフレーム320の周囲のマクロブロック(例えば、領域326)の部分を含むマクロブロックが、標本化され、平均の後方予測パラメータABPが計算される。ABPは、マクロブロック325の構成を支援するようにデコーダにより利用される。
本発明の別の実施の形態では、予測されるマクロブロックに対する切捨てでないマクロブロックの空間的変位が、適切な標本化領域と標本重み付けを決定するために使用される。同様に、予測されるマクロブロックを包囲する領域の空間的変位又は時間的変位と比較できる切捨てでないマクロブロックを包囲する領域の空間的変位は、適切な標本化領域と標本重み付けを更に改良するために使用できる。
本発明の教示を採用する種々の実施の形態が、本明細書に詳細に示され、説明されたが、この技術に精通した者は、この教示を依然採用する多くの他の様々な実施の形態を容易に考案できる。
100…ビデオデコーダ、110…ビットストリームトリマ、120…バッファメモリ、130…デコーダ、131…可変長復号化器、132…逆量子化回路、133…逆離散コサイン変換回路、134…加算器、135…モーション補償回路、140…出力バッファ、150…アンカフレームメモリ、200…ピクチャ、210…ピクチャの第1の領域、220…ピクチャの第2の領域、310…第1のビデオフレーム、312…セーフタイトル領域、314…非表示領域、315…マクロブロック、320…第2のビデオフレーム、322…セーフタイトル領域、324…非表示領域、325…マクロブロック、330…第3のビデオフレーム、332…セーフタイトル領域、334…非表示領域、335…マクロブロック。

Claims (6)

  1. デコーダによって復号化されるべき、第1の画素密度を有するピクチャを含む可変長符号化デジタルビデオデータの量を、前記ピクチャの全サイズより小さいサイズに、低減するための方法であって、各ピクチャは複数のマクロブロックを含み、
    前記デジタルビデオデータに含まれるマクロブロックのアドレス印又はスライスの位置印を識別するように前記デジタルビデオデータを分析するステップ、
    前記デジタルビデオデータを受けるデコーダの入力バッファにおいて、複数の利用レベルの1つを示す信号を生成するステップであって、前記複数の利用レベルはアンダーフロー状態及びオーバーフロー状態を有する、ステップ、
    前記ピクチャの中央部を表す所定の視認可能な表示領域の外側の所定のマクロブロックのアドレス印又は所定のスライスの位置印に関連するマクロブロックを前記デジタルビデオデータから切捨て、切り捨てられずに残ったデジタルビデオデータを生成するステップであって、前記切り捨てられたマクロブロックを復号化しない、ステップ、
    前記複数の利用レベルの1つを示す信号が前記オーバーフロー状態を示す場合には、前記デジタルビデオデータから追加のマクロブロックを切り捨て、前記複数の利用レベルの1つを示す信号が前記アンダーフロー状態を示す場合には、切り捨てられずに残った前記デジタルビデオデータにパディング情報を追加する、ステップ及び、
    前記切捨てられずに残ったデジタルビデオデータを前記デコーダの入力バッファへ格納するステップであって、前記切捨てられずに残ったデジタルビデオデータのピクチャは、前記第1の画素密度を有する、ステップ、
    を含む方法。
  2. 更に、切捨てられるマクロブロックに関連する予測情報を利用する切捨てでないマクロブロックを識別するステップ、
    各識別された切捨てでないマクロブロックに対して、それぞれの近接して表示されるマクロブロック領域を識別するステップ、
    各識別された切捨てでないマクロブロックに対して、それぞれの領域のモーション補償パラメータを推定するために前記それぞれの近接して表示されるマクロブロック領域を利用するステップ、及び、
    各識別された切捨てでないマクロブロックに対して、前記それぞれの領域のモーション補償パラメータを利用してモーション補償パラメータを計算するステップ、を含む、請求項1の方法。
  3. デコーダによって復号化されるべき、ピクチャを含む可変長符号化デジタルビデオデータの量を、前記ピクチャの全サイズより小さいサイズに、低減するための装置であって、各ピクチャは複数のマクロブロックを含み、
    切り捨てられずに残った前記デジタルビデオデータを格納し、複数の利用レベルの1つを示す信号を生成する入力バッファであって、前記複数の利用レベルはアンダーフロー状態及びオーバーフロー状態を有する、入力バッファ、
    前記入力バッファに接続されており、前記デジタルビデオデータに含まれるマクロブロックのアドレス印又はスライスの位置印を識別するように前記デジタルビデオデータを分析し、データ低減符号化デジタルビデオデータを生成するように前記ピクチャの中央部を表す所定の視認可能な表示領域の外側の所定のマクロブロックのアドレス印又は所定のスライスの位置印に関連するマクロブロックを前記デジタルビデオデータから切捨て、前記複数の利用レベルの1つを示す信号が前記オーバーフロー状態を示す場合には前記デジタルビデオデータから追加のマクロブロックを切り捨て、前記複数の利用レベルの1つを示す信号が前記アンダーフロー状態を示す場合には、前記切り捨てられずに残ったデジタルビデオデータにパディング情報を追加するためのビットストリームトリマ、及び
    前記入力バッファに接続され、ビデオ信号を生成するように前記データ低減符号化デジタルビデオデータを復号化し、前記切り捨てられたマクロブロックを復号化しないビデオデコーダ、
    を備える、装置。
  4. 前記ビットストリームトリマは、ディスプレイ装置のネイティブモードを示す表示モード制御信号に応答して、前記指示される表示モードに関連しないピクチャ領域に関連するマクロブロックを応答して切捨てる、請求項の装置。
  5. 前記ビデオデコーダは、前記デジタルビデオデータ内に含まれるモーション予測情報に応答するモーション補償器を含む、請求項の装置。
  6. 前記モーション補償器は、切捨てられるマクロブロックからのモーション予測情報を利用するマクロブロックの場合には、前記モーション補償情報を必要とする前記マクロブロックに近接するマクロブロック領域の平均モーション推定を利用することにより、前記切捨てられるモーション補償情報を推定する、請求項の装置。
JP2009161818A 1997-12-30 2009-07-08 画像クロッピングのためのビットストリーム編集を用いたコスト低減デコーダ Expired - Lifetime JP4707754B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/001,199 1997-12-30
US09/001,199 US6959045B2 (en) 1997-12-30 1997-12-30 Reduced cost decoder using bitstream editing for image cropping

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2000527095A Division JP2002500484A (ja) 1997-12-30 1998-12-30 画像クロッピングのためのビットストリーム編集を用いたコスト低減デコーダ

Publications (2)

Publication Number Publication Date
JP2010016833A JP2010016833A (ja) 2010-01-21
JP4707754B2 true JP4707754B2 (ja) 2011-06-22

Family

ID=21694866

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2000527095A Pending JP2002500484A (ja) 1997-12-30 1998-12-30 画像クロッピングのためのビットストリーム編集を用いたコスト低減デコーダ
JP2009161818A Expired - Lifetime JP4707754B2 (ja) 1997-12-30 2009-07-08 画像クロッピングのためのビットストリーム編集を用いたコスト低減デコーダ

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2000527095A Pending JP2002500484A (ja) 1997-12-30 1998-12-30 画像クロッピングのためのビットストリーム編集を用いたコスト低減デコーダ

Country Status (5)

Country Link
US (1) US6959045B2 (ja)
EP (1) EP1044567A1 (ja)
JP (2) JP2002500484A (ja)
AU (1) AU1998199A (ja)
WO (1) WO1999034605A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7215376B2 (en) * 1997-10-06 2007-05-08 Silicon Image, Inc. Digital video system and methods for providing same
US6587158B1 (en) * 1998-07-23 2003-07-01 Dvdo, Inc. Method and apparatus for reducing on-chip memory in vertical video processing
US6489998B1 (en) * 1998-08-11 2002-12-03 Dvdo, Inc. Method and apparatus for deinterlacing digital video images
US6515706B1 (en) * 1998-09-15 2003-02-04 Dvdo, Inc. Method and apparatus for detecting and smoothing diagonal features video images
US20070211167A1 (en) * 1998-10-05 2007-09-13 Adams Dale R Digital video system and methods for providing same
US6116008A (en) * 1999-04-01 2000-09-12 New Holland North America, Inc. Pivoting faceplate for a feederhouse on an agricultural combine
US6909469B2 (en) * 1999-08-11 2005-06-21 Silicon Image, Inc. Interlace motion artifact detection using vertical frequency detection and analysis
WO2001080559A2 (en) 2000-04-18 2001-10-25 Silicon Image Method, system and apparatus for identifying the source type and quality level of a video sequence
JP4157686B2 (ja) * 2001-05-15 2008-10-01 株式会社モノリス 画像符号化および復号のための方法および装置
KR100440953B1 (ko) * 2001-08-18 2004-07-21 삼성전자주식회사 영상 압축 비트 스트림의 트랜스코딩 방법
KR100961036B1 (ko) 2002-07-11 2010-06-01 파나소닉 주식회사 화상 복호화 방법 및 화상 복호화 장치
US20050030386A1 (en) * 2003-08-04 2005-02-10 John Kamieniecki Method and apparatus for determining video formats supported by a digital television receiver
US7437007B1 (en) * 2003-10-31 2008-10-14 Hewlett-Packard Development Company, L.P. Region-of-interest editing of a video stream in the compressed domain
WO2008122913A2 (en) * 2007-04-04 2008-10-16 Nxp B.V. Decoder for selectively decoding predetermined data units from a coded bit stream
US8446454B2 (en) * 2007-05-21 2013-05-21 Polycom, Inc. Dynamic adaption of a continuous presence videoconferencing layout based on video content
US8300699B2 (en) * 2007-05-31 2012-10-30 Qualcomm Incorporated System, method, and computer-readable medium for reducing required throughput in an ultra-wideband system
TW200921636A (en) * 2007-11-05 2009-05-16 Optoma Corp Video playback control method and module for removing black bars provided on video content
US20090115789A1 (en) * 2007-11-07 2009-05-07 Digi International Inc. Methods, systems and apparatus for maximum frame size
US20100232504A1 (en) * 2009-03-13 2010-09-16 The State of Oregon acting by and through the State Board of Higher Education on behalf of the Supporting region-of-interest cropping through constrained compression
US9113169B2 (en) 2009-05-07 2015-08-18 Qualcomm Incorporated Video encoding with temporally constrained spatial dependency for localized decoding
US8724707B2 (en) * 2009-05-07 2014-05-13 Qualcomm Incorporated Video decoding using temporally constrained spatial dependency
US8266314B2 (en) * 2009-12-16 2012-09-11 International Business Machines Corporation Automated audio or video subset network load reduction
US20130279877A1 (en) * 2012-04-19 2013-10-24 Qnx Software Systems Limited System and Method Of Video Decoder Resource Sharing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62164391A (ja) * 1986-01-14 1987-07-21 Mitsubishi Electric Corp 画像符号化伝送装置
JPH0340583A (ja) * 1989-07-06 1991-02-21 Nippon Telegr & Teleph Corp <Ntt> 画像復号化装置
JPH08331560A (ja) * 1994-11-30 1996-12-13 Sanyo Electric Co Ltd デコーダおよびmpegビデオデコーダ
JPH099160A (ja) * 1995-06-22 1997-01-10 Sony Corp 表示制御装置および表示制御方法
JPH09247681A (ja) * 1996-03-07 1997-09-19 Mitsubishi Electric Corp 動画像復号方法および動画像復号装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3341781B2 (ja) 1992-12-15 2002-11-05 ソニー株式会社 画像復号化装置および画像符号化装置
US5614952A (en) 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
US6480542B1 (en) 1994-08-24 2002-11-12 Siemens Aktiengesellschaft Method for decoding compressed video data with a reduced memory requirement
US5867625A (en) * 1994-10-20 1999-02-02 Thomson Consumer Electronics, Inc. Digital VCR with trick play steam derivation
US5677708A (en) * 1995-05-05 1997-10-14 Microsoft Corporation System for displaying a list on a display screen
US5568200A (en) * 1995-06-07 1996-10-22 Hitachi America, Ltd. Method and apparatus for improved video display of progressively refreshed coded video
US5623308A (en) * 1995-07-07 1997-04-22 Lucent Technologies Inc. Multiple resolution, multi-stream video system using a single standard coder
US5691768A (en) * 1995-07-07 1997-11-25 Lucent Technologies, Inc. Multiple resolution, multi-stream video system using a single standard decoder
US5737019A (en) * 1996-01-29 1998-04-07 Matsushita Electric Corporation Of America Method and apparatus for changing resolution by direct DCT mapping
US5732248A (en) * 1996-03-08 1998-03-24 Hewlett-Packard Company Multistep vector generation for multiple frame buffer controllers

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62164391A (ja) * 1986-01-14 1987-07-21 Mitsubishi Electric Corp 画像符号化伝送装置
JPH0340583A (ja) * 1989-07-06 1991-02-21 Nippon Telegr & Teleph Corp <Ntt> 画像復号化装置
JPH08331560A (ja) * 1994-11-30 1996-12-13 Sanyo Electric Co Ltd デコーダおよびmpegビデオデコーダ
JPH099160A (ja) * 1995-06-22 1997-01-10 Sony Corp 表示制御装置および表示制御方法
JPH09247681A (ja) * 1996-03-07 1997-09-19 Mitsubishi Electric Corp 動画像復号方法および動画像復号装置

Also Published As

Publication number Publication date
US6959045B2 (en) 2005-10-25
WO1999034605A1 (en) 1999-07-08
JP2002500484A (ja) 2002-01-08
EP1044567A1 (en) 2000-10-18
US20010016009A1 (en) 2001-08-23
JP2010016833A (ja) 2010-01-21
AU1998199A (en) 1999-07-19

Similar Documents

Publication Publication Date Title
JP4707754B2 (ja) 画像クロッピングのためのビットストリーム編集を用いたコスト低減デコーダ
US6167089A (en) Reduced cost methods and apparatus for decoding bi-directionally coded image data
US5969768A (en) Methods and apparatus for re-using decoder circuitry
US7194032B1 (en) Circuit and method for modifying a region of an encoded image
US7978920B2 (en) Method and system for processing an image, method and apparatus for decoding, method and apparatus for encoding, and program with fade period detector
US6122321A (en) Methods and apparatus for reducing the complexity of inverse quantization operations
US6148032A (en) Methods and apparatus for reducing the cost of video decoders
US6498816B1 (en) Circuit and method for formatting each of a series of encoded video images into respective regions
US20030156642A1 (en) Video coding method and corresponding encoding device
JP2002171530A (ja) スーパーインポーズ機能を備えた再符号化装置および方法
JP2002016924A (ja) トランスコーダ装置およびトランスコード方法
MXPA98008515A (en) Method to reduce the power requirements of the process of a vi decoder

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100622

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101012

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110105

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110315

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term