JPH104550A - Ｍｐｅｇ−２復号方法及びｍｐｅｇ−２ビデオ復号器 - Google Patents

Ｍｐｅｇ−２復号方法及びｍｐｅｇ−２ビデオ復号器

Info

Publication number
JPH104550A
JPH104550A JP8324181A JP32418196A JPH104550A JP H104550 A JPH104550 A JP H104550A JP 8324181 A JP8324181 A JP 8324181A JP 32418196 A JP32418196 A JP 32418196A JP H104550 A JPH104550 A JP H104550A
Authority
JP
Japan
Prior art keywords
data
mpeg
memory
circuit
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8324181A
Other languages
English (en)
Other versions
JP3928815B2 (ja
Inventor
Danilo Pau
ダニロ・パウ
Roberto Sannino
ロベルト・サンニノ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SGS THOMSON MICROELECTRONICS
STMicroelectronics SRL
Original Assignee
SGS THOMSON MICROELECTRONICS
SGS Thomson Microelectronics SRL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SGS THOMSON MICROELECTRONICS, SGS Thomson Microelectronics SRL filed Critical SGS THOMSON MICROELECTRONICS
Publication of JPH104550A publication Critical patent/JPH104550A/ja
Application granted granted Critical
Publication of JP3928815B2 publication Critical patent/JP3928815B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

(57)【要約】 【課題】 ＭＰＥＧ−２復号器のスタティックメモリの
必要量を最適化するべく、メモリの著しい低減を可能に
すること。 【解決手段】 ＭＰＥＧ−２復号器のビデオＲＡＭ必要
量は、ＭＰＥＧ−２伸張の後で、関連するデータのビデ
オＲＡＭへの格納の前における、少なくともＩおよびＰ
画像における適応パルス符号変調技術（ＡＤＰＣＭ）に
よる再圧縮によって低減される。前記ビデオＲＡＭの中
に書き込まれ、ＡＤＰＣＭ再圧縮され符号化されたデー
タは、表示されるべきＢ−画像の再構築の間において複
合化され伸張される。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ＭＰＥＧ圧縮アル
ゴリズムの使用に基づく集積ビデオ復号器に関し、特
に、必要量が低減されたビデオメモリを具備するＭＰＥ
Ｇ−２と呼ばれるＭＰＥＧ−１標準の第２およびそれよ
り進歩したバージョンによる集積ビデオ復号器に関す
る。
【０００２】
【従来の技術】ＭＰＥＧ−１標準は、デジタル型の記憶
支援体、例えばＣＤ−ＲＯＭ、の上にビデオ情報を格納
および検索する効果的な方法を実行する産業の必要性に
応じて開発された。もちろん、ＭＰＥＧ−１標準は、Ｄ
ＡＴ、ウインチェスタディスク、光ディスク、およびＩ
ＳＤＮとＬＡＮネットワークのような類似の支援体の上
にデータを効果的に格納するための強力なツールであ
る。この標準のより効果的なバージョンで、いわゆるＭ
ＰＥＧ−２は、デジタルビデオ伝送応用の分野における
ビットレートの必要性に支援されて開発された。その標
準は、一般に、約１５Ｍｂｐｓまでに、完全にインター
レースされ、ＴＶ解像度の画像を圧縮するデジタルＴＶ
システムに対して受け入れられた。
【０００３】ＭＰＥＧ−２標準の特別なバージョンは、
未来世代のＨＤＶＴシステムにおいて使用されることが
期待されている。このＭＰＥＧ標準は、以前の国際標
準、例えばＣＣＩＴＴ動作ベクトル決定アルゴリズム
（motion vectors determination algorithm）Ｈ．２６
１および静止画像の符号化に対するＩＳＯＪＰＥＧ委員
会のＩＳＯ１０９１８標準によって規定された重要なア
ルゴリズムと基準とを組み込みおよび利用している。実
行技術の異なる徹底した説明、および、ＭＰＥＧ標準に
よる圧縮されたビデオ画像に関するデータの関係する符
号化と復号化システムと同様に、ＭＰＥＧ標準（１およ
び２）は、この主題に関する多くの論文および報告に記
載されており、そのうちには次のようなものがある。
【０００４】−国際ＩＳＯ／ＩＥＣＤＩＳ１３８１８−
２“情報技術−動画および関連した音声情報の一般的な
符号化” −Leonardo Chiariglioneによる“ＭＰＥＧ符号化およ
び移送システム”、デジタルテレビジョンの放送−処理 −Didier J. Le Gall による“ＭＰＥＧビデオ圧縮アル
ゴリズム”、信号処理画像通信、Elsevier Science Pub
lishers B.V., Vol. 4, No. 2,April 1992 −要約雑誌Ｎｏ．１９９５／０１２、電子工学部門、In
stitute of Electrical Engineers −ロンドン、“ＭＰ
ＥＧ−２−何がそうで何がそうでないのか”についての
討論会 −“ＭＰＥＧ圧縮アルゴリズムの外観”SGS-THOMSON MI
CROELECTRONICS (An 529/0294)によって公表された技術
ノート −データシート“ＳＴｉ３５００Ａ”SGS-THOMSON MICR
OELECTRONICSのデータシート −“ＳＴｉ３５２０Ａ−ＭＰＥＧ音響／ＭＰＥＧ−２ビ
デオ集積復号器のための先行情報”（１９９５年６月）
【０００５】ここでは図１として再現されている SGS-T
HOMSON MICROELECTRONICS によって市場で売られている
ＭＰＥＧ音響／ＭＰＥＧ−２ビデオ集積復号器に関連す
る刊行物Ｎｏ．ＳＴｉ３５２０Ａについての図３におい
て示されているもののようなＭＰＥＧ−２復号器の典型
的なアーキテクチャによると、十分に規定されたビデオ
メモリの必要性、すなわち、ＰＡＬおよびＮＴＳＣ応用
に対して、１６ＭビットＰＡＬビデオ信号を支持できる
外部ＤＲＡＭメモリの容量である必要性が存在し、次の
ように推定される。
【０００６】ＭＰＥＧ−２ビデオ復号器およびＭＰＥＧ
音響復号器の両方が共通のインタフェースを介して、１
６Ｍビットの唯一の外部ＤＲＡＭメモリにアクセスする
ということを考慮に入れると、音響復号器は、ＭＰＥＧ
−２ビデオ復号器の必要性を満足させるために利用でき
る残りの１６，６４６，１４４ビットをそのままにし
て、１３１，０７２ビットのみに対するアクセスを要求
してもよい。ビデオメモリは次のように構成できる。
【０００７】−“ビットバッファ”：すなわち、伸張の
理想的でない工程が実際には行われることを考慮して、
ＭＰＥＧ−２標準が１．７５Ｍビットプラス余分量、例
えば９８３，０４０ビットに固定するという圧縮された
データのためのバッファである。 −４：２：０のフォーマットにおける伸張された内部−
画像（decompressed Intra-picture）あるいは短くＩ−
画像のための第１の“Ｉ−フレームバッファ” −４：２：０のフォーマットにおける伸張された予測−
画像あるいは短くＰ−画像のための第２の“Ｐ−フレー
ムバッファ” −４：２：０フォーマットにおける伸張された双方向予
測画像あるいは短くＢ−画像のための第３の“Ｂ−フレ
ームバッファ”であって、低減された、すなわちＰＡＬ
あるいはＮＴＳＣシステムの場合においてそれぞれフレ
ームの０．７４０７あるいは０．６１１１であるメモリ
量を必要とする結局は理想化された第３のＢ−フレーム
バッファ
【０００８】このＭＰＥＧ−２標準技術により、Ｉ，Ｐ
あるいはＢ−画像を扱うこととは無関係に、ビデオ標準
の型に依存して、４：２：０における各“フレームバッ
ファ”は、次のテーブルによって与えられるメモリ量を
占有してもよい。
【０００９】
【表１】
【００１０】したがって、最も重い負荷の場合を表すＰ
ＡＬシステムの場合、参照例となる必要な実際の全メモ
リ量は、下記のように与えられる。 1,835,008 + 835,584 + 4,976,640 + 4,976,640+ (4,97
6,640 * 0.7407)= 16,310,070 ビット この計算は、Ｂ−画像フレームバッファの０．７４０７
最適化を考慮に入れている。
【００１１】さらなる最適化は、外部ＲＡＭへの格納ス
テップに頼ることなく、ディスプレイユニットの機能的
に上流に配置された専用回路ブロックにより集積復号器
装置の中で等価の機能を内部的に実行することによっ
て、Ｂ−画像の伸張を実行することにあってもよい。
【００１２】このさらなる最適化を考慮して、ビデオＲ
ＡＭの必要性は以下のように低減する。 1,835,008 + 835,584 + 4,976,640 + 4,976,640 = 12,6
23,872ビット この場合、Ｂ−バッファは、ＭＰＥＧ−２圧縮データス
トリーム、画像それ自身のビデオ表示工程によって要求
される画像（フィールドあるいはフレーム）の各行のそ
れにおいて定義された各８＊８ブロックの走査を変換す
るために必要とされる復号器の“コア（core）”を含む
同じチップ内で実現される。そのような変換マクロセル
（macrocell）は、“ラスタ走査へのマクロブロック変
換器（MACROBLOCK TO RASTER SCAN CONVERTER）”と一
般に呼ばれる。
【００１３】
【発明が解決しようとする課題】上述のようにＭＰＥＧ
−２復号器のスタティックメモリの最適化を制限する現
在の事情に鑑み、本発明はメモリの著しい低減を可能に
させる実施の方法および関連するシステムを提供するこ
とを目的とする。
【００１４】
【課題を解決するための手段】本発明の概念は、上述の
計算からもたらされ復号工程によって要求されるメモリ
量は、ＭＰＥＧ伸張に引き続き、それらが外部ビデオメ
モリに格納される前、および、それらが外部メモリによ
って読み取られる時のそれらの伸張の前において、予想
に対する参照（標準ＭＰＥＧ−１およびＭＰＥＧ−２の
場合に対するＩ−画像およびＰ−画像）として用いられ
る画像の再圧縮を可能にさせるとき、著しく低減され得
るという認識に基づいている。
【００１５】基本的に本発明の方法は、ＭＰＥＧ−２伸
張の後で、かつ、ディスプレイユニットに画像を送る前
に、Ｂ−画像の伸張が、Ｂ−画像の“マクロブロック走
査からラスタ走査への”変換バッファを採用することに
より、格納段階に頼らすして実行されると仮定する一
方、少なくともＩ−画像およびＰ−画像を再圧縮するこ
とにある。そのようなＩおよびＰ画像再圧縮段階は、適
応差分パルス符号変調（an adaptive differential pul
se code modulation：ＡＤＰＣＭ）技術に従って実行さ
れる。
【００１６】本発明の一つの見方によれば、ＩおよびＰ
画像のＡＤＰＣＭ再圧縮は、次の必要条件に応答してい
る。
【００１７】効果： それらの伸張を実行するために用
いられそれに追加された圧縮画像によって占有されてい
るメモリ量は、前記ＡＤＰＣＭ再圧縮を必要としない復
号器に対して用いられる合計メモリよりも低い。
【００１８】効率： （１）画像の再圧縮は、メモリの
一部分を使用しないことから得られる節約に比較される
ならば、装置の全コストがひどく増加しないような簡単
な方法で実行される。
【００１９】（２）再構築された画像の品質は、無視で
きる品質低下を受け、あるいは、コスト／品質の観点か
ら如何なる場合にも受け入れ可能である。
【００２０】（３）適宜にかつ好ましくも、外部メモリ
の機能を制御し、動き補償工程のための予測器をこの外
部メモリから引き出すように要求される主クロックサイ
クルは、好適に低減される。これを得るためおよび好ま
しい実施例に従って、圧縮された情報の一部は、下で詳
しく説明されるように、専用バッファの中の復号器の
“コア”の素子の中に格納される。
【００２１】実際、ＡＤＰＣＭ技術による再圧縮は、例
えば、ルミナンスブロックの（例えば、それぞれ８＊８
画素の）４ビット圧縮およびクロミナンスブロックの
（例えば、それぞれ８＊８画素の）３ビット圧縮に従っ
て、データを符号化することにより、ＭＰＥＧ−２伸張
ブロック（Ｉ−画像に対し、動きの後では、Ｐ−画像に
対して）の離散余弦逆変換処理回路によって出力される
ように、クロミナンスおよびルミナンスブロックに関す
るデータに対して実行される。
【００２２】場合によっては、ルミナンスおよび／また
はクロミナンスＵとＶのｎ＊ｍ画素の各ブロックは、さ
らに（ｎ／２）＊ｍ画素の２つのサブブロックに予防的
に細分割され、このようなデータサブブロックに対し
て、ＡＤＰＣＭ圧縮の行程／符号化／メモリへの書き込
み／メモリからの読み出し／復号化／ＡＤＰＣＭ伸張が
実行されてもよい。
【００２３】本発明のＡＤＰＣＭ圧縮方法は、下に説明
されるように、上述の必要性、すなわち、異なるレベル
の圧縮に対して符号化および複合化の回路が最適化され
るべき場合には、符号化および複合化の回路の修正を極
度に単純な方法で可能にさせるように、それにある程度
の圧縮における柔軟性が加えられべきである必要性を満
たす。
【００２４】本文脈において、短縮語“ｐｅｌ”は、以
降“ｐｉｘｅｌ：画素”の代わりに用いられる。
【００２５】本発明の一つの観点によると、関連する記
憶バッファに書き込まれ、そこから読み出されるビデオ
画像に関する制御バスとビデオデータ処理バスとをイン
タフェースするビデオ復号器ＭＰＥＧ−２であって、外
部ＤＲＡＭメモリのビデオビットのためのそれぞれの第
１のバッファの中における圧縮データの獲得および書き
込みのための“先入れ先出し”型の第１のバッファと、
制御回路によって同期させられる画像初期コードの検出
回路と、オンスクリーンディスプレイ（ＯＳＤ）データ
を格納するための双方向バッファと、圧縮入力データス
トリームの可変長復号ブロックと、前記可変長復号ブロ
ックによって復号化されたデータの伸張ブロックであ
り、“ランレングス”型の復号段、逆量子化機能をはた
す回路、逆離散余弦変換（Ｉ＿ＤＣＴ）の処理回路、お
よび、予測器の値発生ネットワークを有する伸張ブロッ
クとを一般的に有していてもよいビデオ復号器ＭＰＥＧ
−２において、 −適応差分パルス符号変調（ＡＤＰＣＭ）技術により、
伸張されたＩおよびＰ画像を符号化および再圧縮し、動
き補償の後に、外部メモリによってそれぞれのバッファ
の中に書き込まれるＩ＿ＤＣＴブロック出力データを符
号化するための回路と、 −外部メモリのそれぞれのバッファから読み出され再圧
縮されたＩおよびＰ画像に関連してＩ＿ＤＣＴブロック
からの出力（ＡＤＰＣＭ）データを伸張および復号化す
るための回路であり、伸張されたＢ−画像に関連するＩ
＿ＤＣＴブロックの出力データと一緒に、外部ビデオデ
ィスプレイユニットに送られるべきＩおよびＰ画像に関
連してビデオデータストリームを発生することができる
回路とをさらに有することを特徴とするビデオ復号器Ｍ
ＰＥＧ−２。
【００２６】本発明の一実施例によれば、符号化および
再圧縮を行う回路は、 −ＭＰＥＧ伸張ブロックによって生成された伸張Ｉ＿Ｄ
ＣＴデータの獲得バッファと、 −前記バッファのエネルギ内容を評価でき、外部メモリ
のそれぞれのバッファの中に格納されるべきＩ＿ＤＣＴ
ブロックによって出力された異なるデータブロックの画
素値のデジタル変動値を発生できる回路と、 −前記回路によって発生させられた実際あるいは現在の
デジタル変動値によって首尾一貫して条件付けられた多
重レベルの量子化器と、 −ＭＰＥＧ伸張ブロックによって生成されたＩ＿ＤＣＴ
データストリームを第１の入力を介して受け取ることが
でき、予測器の値を第２の入力を介して受け取ることが
でき、前記量子化器の入力に送られるべき出力データス
トリームを生成することができる微分器と、 −量子化器の出力ストリームを入力として受け取ること
ができる、それぞれのバッファの中の外部メモリの再圧
縮されたデータの符号化および書き込み回路と、 −Ｉ＿ＤＣＴ入力データストリームを第１の入力を介し
て受け取ることができ、ネットワークによって発生させ
られた予測器の値を第２の入力を介して受け取ることが
できるマルチプレクサを有する前記予測器の値の発生の
ためのネットワークと、 −量子化器の出力ストリームを第１の入力を介して受け
取ることができ、前記マルチプレクサによって出力され
たデータを第２の入力を介して受け取ることができ、合
計されたデータの出力ストリームを生成することができ
る加算器と、 −前記加算器によって生成された前記合計されたデータ
ストリームを入力として受け取ることができるととも
に、前記微分器と前記マルチプレクサの第２の入力に供
給される前記予測器の値を発生する回路が直列に後続す
る制限回路とを有していてもよい。
【００２７】前記伸張および復号化回路は、それぞれの
外部メモリバッファからくる圧縮され符号化されたデー
タストリームを第１の入力を介して受け取ることがで
き、同じ外部メモリバッファの中に予め格納された関連
する変動値を第２の入力を介して受け取ることができる
復号化回路と、前記復号化回路によって出力された復号
化されたデータストリームを第１の入力を介して受け取
ることができ、前記かさんきの出力に既に発生されてい
る、伸張された画素値に関連する予測器の値を第２の入
力を介して受け取ることができる加算器の合計段からな
り、画素値の制限器が後続する伸張ネットワークとによ
って構成され得る。
【００２８】もちろん、ルミナンスおよびクロミナンス
のデータブロックの画素の大きさ、ＭＰＥＧ−２圧縮技
術によるＩ＿ＤＣＴデータのフォーマット、ＡＤＰＣＭ
技術に従って既に伸張されたＩおよびＰ画像の再圧縮デ
ータのフォーマット、同様に、推定されたデジタル変動
値のフォーマットと関連する量子化器のレベル数は、現
記載における例によって指示されたものと異なってもよ
いし、ビデオの復号器あるいは受信器の設計選択に基づ
いて通常規定されるであろう。
【００２９】
【発明の実施の形態】本発明の種々の観点と関連する有
利な点とが重要な実施例についての後続の説明を通し、
また、付属の図面を参照することによって、より以上に
明かとなるであろう。図で示されたサンプルの例は、Ｐ
ＡＬおよびＮＴＳＣの応用において使用可能であり、１
６ＭビットのＰＡＬを支持することができ、そのような
要求から開始して必要なビデオＲＡＭの大きさを著しく
低減できるＭＰＥＧ−２ビデオ復号器に関する。
【００３０】図１において示されるアーキテクチャによ
り、ＭＰＥＧ−２ビデオ復号器（集積されたシステムの
“ビデオコア”）は、同じ外部ＤＲＡＭに組み込まれて
いてもよい関係する音響バッファにアクセスするＭＰＥ
Ｇ音響復号器コア（不図示）によっても共同使用され得
る、インターフェース用のメモリデータバスを通して外
部ＤＲＡＭメモリにアクセスする。メモリデータバスと
インターフェースする以外に、ビデオ復号器コアは、そ
れを介してシステムの制御マイクロプロセッサがインタ
フェースブロック、マイクロコントローラインターフェ
ース（MICROCONTROLLER INTERFACE）に介入するところ
の制御バスともインタフェースする。
【００３１】ビデオ復号器は、同期管理、DSYNC および
VSYNCのためのコントローラ（COTROLLER）を含んでい
てもよい。従来のＭＰＥＧ−２のアーキテクチャによる
と、復号器は、例えば、外部ＤＲＡＭの第１のバッフ
ァ、ビットバッファの中の圧縮データの獲得および書き
込みのために１Ｋビットを持った“先入れ先出し”バッ
ファで圧縮データＦＩＦＯと、開始コード検出器と、オ
ンスクリーンディスプレイ（ＯＳＤ）のためのメモリ双
方向バッファでメモリＩ／Ｏユニットと、圧縮入力デー
タストリーム（ビットストリーム）のための第１の可変
長復号器（ＶＬＤ）ブロックとを有している。
【００３２】ＭＰＥＧ−２ＤＣＴデータ伸張は、関連す
る伸張ブロック（パイプライン−ＲＤＬ、Ｉ＿ＱＵＡＮ
Ｔ、Ｉ＿ＤＣＴ、予測器構築）によって実行される。パ
イプラインは、“ランレングス”復号化段（a “run-le
ngth” decoding stage:ＲＤＬ）と、逆量子化回路（an
inverse quantization circuit:Ｉ＿ＱＵＡＮＴ）と、
逆離散余弦変換プロセッサ（an inverse discrete cosi
ne transform processor: Ｉ＿ＤＣＴ）と、予測器の値
の発生あるいは構築（予測器構築： PREDICTORCONSTRUC
TION）のためのネットワークとを典型的に含んでいる。
【００３３】公知のアーキテクチャにおいて、Ｉ，Ｐお
よびＢ画像に関連して、逆離散余弦変換と動き補償とを
計算するＩ＿ＤＣＴ処理回路によって出力されたＩ＿Ｄ
ＣＴデータのブロックは、復号化されディスプレイユニ
ットに送られる前に、コード化された形、すなわち、あ
る数のビットのワードの形で、外部メモリのそれぞれの
バッファに書き込まれた。対照的に、本発明によると、
ＩおよびＰ画像に関連する伸張されたＩ＿ＤＣＴデータ
は、コード化され外部メモリの関連するバッファに書き
込まれる前に、ＡＤＰＣＭ技術に従って再圧縮される。
このことは、専用ブロック、ＡＤＰＣＭ符号器によって
影響される。その後、再圧縮されたデータは、ディスプ
レイユニットに対して、伸張されたＢ−画像と一緒に、
送られるために、ＡＤＰＣＭ復号器ブロックによって復
号化され、伸張される。
【００３４】任意ではあるが、内部補助メモリ（ＡＤＰ
ＣＭメモリ）は、下に記述されるように、外部メモリの
管理を最適化するために実現されてもよい。そこで、Ｂ
−画像の“直接”の再構築の好ましい場合において、こ
のことは次のように実現される。
【００３５】−ＡＤＰＣＭ圧縮ＩおよびＰ予測器は、現
在“パイプライン”によってＭＰＥＧ−２伸張されてい
るＢ−画像の動き補償を実行するために、外部メモリと
伸張されたＡＤＰＣＭとによって読み取られる。
【００３６】そのように再構築されたＩ＿ＤＣＴデータ
のマクロブロック（macroblock）は、図１において示さ
れているダイアグラムの中の表示ユニットに先行する
“ラスタ走査へのマクロブロック（MACROBLOCK TO RAST
ER SCAN）”変換回路に送られ、次にそれらは表示され
る。この手順は、Ｂ−画像を格納するように予定された
外部メモリの中の如何なるバッファをも必要としない、
なぜならば、そのようなバッファは、マクロセル（macr
ocell）“ラスタ走査へのマクロブロック変換器Ｂ−画
像（MACROBLOCK TO RASTER SCAN CONVERTER B-pictur
e）”の中に存在するからである。
【００３７】図２は、伸張されたＩおよびＰ画像に関連
しＩ＿ＤＣＴブロック（簡略さのためにＩ＿ＤＣＴデー
タとしてしばしば示される）によって出力されたデータ
から図１のダイヤグラムの再圧縮ブロックの詳細を示し
ている。図２を参照すると、ＡＤＰＣＭ符号化ブロック
は、Ｉ＿ＤＣＴ入力データ獲得のための６４＊８ビット
バッファ（ブロックバッファ：BLOCK BUFFER）を有す
る。専用回路（変動推定器： VARIANCE ESTIMATOR）
は、Ｉ＿ＤＣＴ入力データの各サブブロックの平均画素
値と、Ｉ＿ＤＣＴデータサブブロックの各画素間の差分
の絶対値の合計の平均とを計算する。そのようなパラメ
ータで入力データ（画素）ブロックの変動を評価するこ
とは可能である。
【００３８】図３および４は、好ましい実施例による変
動予測ブロックの詳細な機能案を示している。変動予測
ブロックの図３および４の詳細な案は、当業者によって
直ちに理解されるように標準の術語を使用している。変
動推定の回路ブロックを構成する各段のさらなる定義お
よび記述は、本発明のアーキテクチャの全体の理解に対
して必要とは考えられない。
【００３９】ＲＯＭブロックは、図示の例において指示
されているように、それぞれ８カラム（８ビット）から
なる５６行によって構成されていてもよい。この読み出
し専用プログラマブルメモリ（不揮発性）には、ルミナ
ンスおよびクロミナンスの量子化の係数が格納されてい
る。実際に、例えば、ルミナンスは、各ワードが変動推
定器によって選択されるラインの１６個の可能性のある
係数の中から一つを選択することを意味して、４ビット
でコード化される。これらの係数は、ゼロに関して対称
であり、したがって、行は絶対値係数（１６というより
８）を含む。
【００４０】プログラマブルＲＯＭの使用に対する代わ
りとして、それは、利用されるシリコンの面積という意
味で高価でない、すなわち、入力としてある変動値を受
け取り、要求された係数の値を出力するプログラマブル
ロジックアレイ（ＰＬＡ）の使用。そのＰＬＡは、複数
の係数の中の変動のブール変換を実行するようなアン
ド、オア、ノットゲートに配列されてもよい。
【００４１】微分器の関連入力に印加されるべき予測器
の値を発生するＤＰＣＭ圧縮回路網は、２入力マルチプ
レクサから作られている。そのマルチプレクサの第１の
入力には、Ｉ＿ＤＣＴ入力データの各サブブロックの第
１の画素（Ａ１）の値が印加され、この場合、前記回路
網で発生された予測器の値は、他の入力に印加される。
加算器（＋）は、マルチプレクサ（ＭＵＸ）の出力値に
加えられるべき量子化回路（quantizer circuit:量子化
器，QUANTIZER）の出力を第１の入力を通して受け取
る。この合計の結果は、その出力ストリームが予測器の
値（COEFF）発生回路の入力に供給されるところの制限
回路（a limiter circuit: LIM.0-255）の入力に印加さ
れる。
【００４２】制限段（LIM. 0-255）は、適切な結合性の
論理回路によって構成されてもよい。そのような段の使
用は、画素値の８ビット符号化の場合において、２５５
に固定されてもよい与えられた制限を越える偶発的な最
大画素値を圧縮するのに必要である。実際に、圧縮およ
び伸張の局面の期間において、画素値は、２５５の制限
を時折越えることがあり、そのような場合においては、
制限回路は、画素の最大値を設定された制限内に戻す。
Ｉ＿ＤＣＴクロミナンスデータのための３ビット書き込
み符号化（CODER:符号器）回路と、ルミナンスＩ＿ＤＣ
Ｔデータのための４ビット符号化回路とは、量子化回路
の出力ストリームを受け取り、そのように再圧縮された
データを外部メモリのそれぞれのバッファに書き込む。
【００４３】符号化とＡＤＰＣＭ再圧縮ブロックの機能
をよりよく図示する目的で、種々なブロック機能の説明
に詳細な記載が続く。
【００４４】ＡＤＰＣＭ再圧縮 ＩをＭ行とＮ列の画素マトリクスによって表されるデジ
タル画像とし、Ｉ（ｘ，ｙ）をｙ行とｘ列によって定義
され、数Ｂのビット（２進数）によって整数として定義
された画素としよう。画像Ｉは、Ｒ×Ｃ（Ｒ行およびＣ
欄）寸法を持つ長方形ブロックに再分割されるとしよ
う。圧縮に対する最大効率は、もしも、ＲとＣとがそれ
ぞれＭとＮとの整数割り算器の間で選択されるならば、
獲得される。
【００４５】前記アルゴリズムは、ブロック自身の表現
に必要なビット数の低減である各ブロックの圧縮を実行
し、ブロック自身から抽出されたデータを適宜に利用す
るとともに、この目的は、圧縮されたデータのストリー
ムの中のブロックおよびブロック自身の伸張に対するア
クセスを簡単にすることである。ＡＤＰＣＭ圧縮機構
は、画像の隣接する画素の間に存在する相関関係を利用
し、画像自身の２進記述のための必要ビット数を低減す
る。実際、画素の“予測”と一般に呼ばれるものを生成
するために、それに隣接する画素の値のみを適切に結合
すること（したがって、画素自身の値を使用することな
しに）によって画素の値を概算することは可能である。
【００４６】したがって、予測機構を規定し、各画素と
いうよりは予測誤差のみを適切にコード化することによ
って、画像のデジタル表現のための２進数の大きさを低
減することは可能である。画素の値の予測が正確になれ
ばなるほど、予測誤差のエントロピーは、より低くな
り、すなわち、後者をコード化するのに必要なビット数
はより少なくなる。
【００４７】例えば、図８において示された走査技術に
従う各ブロックの画素の走査のための装置を考慮する
と、各画素に対して最初のものを除いて、画素自身の予
測器として用いられてもよいそれに先行する他のものが
ある。Ｐ（ｉ，ｊ），ｉ＝１，・・・，Ｃは、いずれかの
ブロックの行ｉと列ｊとによって定義される画素である
とし、Ｐ’（ｉ，ｊ）は、Ｐ（ｉ，ｊ）の予測器として
用いられた画素であるととし、図８の技術を参照するこ
とによって、装置は次のように定義される。
【００４８】＊Ｐ（１，１）＝走査の第１の画素 ＊Ｐ’（ｉ，１）＝Ｐ（ｉ−１，１）；ｉ＝２，…，Ｒ ＊Ｐ’（ｉ，ｊ）＝Ｐ（ｉ，ｊ−１）；ｉ＝１，…，Ｒ
ｊ＝２，…，Ｃ
【００４９】Ｅ（ｉ，ｊ）＝Ｐ（ｉ，ｊ）−Ｐ’（ｉ，
ｊ）は、予測誤差であるとしよう。全部の予測誤差は、
一連の独立の偶発的な変数に対して充分に概算され、同
じように分布され得るとともに、ラプラシアン確立濃度
（Laplacian probability density）をもっている統計
表現を有しているということは公知の[ｂｉｂ：Ｊ＆Ｎ]
である。予測誤差よりも前にこの知識を利用することに
よって、過度の歪みを導入することなしに、小グループ
の値Ｑ（ｋ），ｋ＝１，・・；ＬおよびＬ＜２∧Ｂの上
にそれをマッピングすることによって予測誤差を圧縮す
ることが可能である。このマッピング動作は、一般に
“量子化（quantization）”と名付けられている。各Ｌ
値Ｑ（ｋ）は、Ｂより小さいＣビットの数（例えば、Ｌ
＝＜２∧Ｂのときには、常に真である）でコード化され
得ると仮定して、予測工程を受けさせられた各画素の２
進コード化は、係数Ｃ／Ｂによって圧縮される。
【００５０】ＡＤＰＣＭ圧縮方法は、次に述べる操作を
介して画像がその中に伸張される各ブロックに適用され
る。
【００５１】−デジタルストリームの中において適切な
量子化器を選択しコード化すること −そのブロックの第１の画素のコード化 −そのブロックの全ての残りの画素の相関関係を解き
（decorrelating）、量子化し、コード化すること。
【００５２】これらの操作を実行する種々のステップお
よび回路アーキテクチャが以下に個々に記載される。
【００５３】１）量子化器の選択とコード化 もしも、量子化値の設定が量子化されるべき信号のエネ
ルギを考慮に入れることによって計算されるならば、量
子化の工程によって導入された歪みは低減され得るとい
うことは充分に文書で証明されている。デジタル画像の
異なる部分は、非常に異なるエネルギ値を示してもよい
ということは、さらに公知である。本方法は、次のよう
にブロック自身のエネルギの関数として、各ブロックに
関連する全ての値Ｑ（ｋ）を規定する。
【００５４】＊単位エネルギの場合に利用される全ての
値Ｑ１（ｋ）ｋ＝１，…，Ｌは、符号器に対しても復号
器に対しても知られている。 ＊そのブロックのＵエネルギは、デジタルストリームの
中で推定されコード化される。 ＊そのブロックによって効果的に使用される値Ｑ（ｋ）
は、次のように計算される。
【００５５】 Ｑ（ｋ）＝Ｑ１（ｋ）＊Ｕ； ｋ＝１，…，Ｌ
【００５６】ブロックエネルギの推定は、予測誤差のラ
プラシアン統計を仮定することによって、比較的に簡単
な方法で行われてもよい。実際に、この場合において、
エネルギは、ブロック予測誤差の絶対値の２つの平均の
平方根によって乗算することにより計算できる。そのエ
ネルギの符号化は、一定の量子化を基本的に実現するた
めに、最大値に応じて大きさを決め、結果をビットのＫ
数で表すことにより簡単に実行される。予測誤差の量子
化器の選択において、量子化誤差のピーク値を考慮に入
れることはさらに必要である。なぜならば、大きな予測
誤差の場合において、以下に示される技術によると、量
子化器のピーク回復値（peak restitution value）が小
さすぎるということが発生するかもしれないからであ
る。このように、変動の計算と同時に、その中で、飛び
越し走査における１フィールドのラインの間のより大き
な距離の故に、大きな予測誤差が起きそうである間に、
第１の列の誤差に対する予測のピーク値も計算されると
ともに、Ｇ連続水平ライン（すなわち、Ｇ＝２）の各グ
ループに対しても行われる。予測誤差の過度のピークの
発生と、その結果としての、一対の行の場合の２＊Ｕエ
ネルギおよび第１の列の場合の４＊Ｕに対応する量子化
器の選択とを信号で伝えるために、画素のこれらのグル
ープのそれぞれのコード化に１ビットが加えられる。
【００５７】図３および４において詳細に図示されたよ
うな回路アーキテクチャは、この変動推定を計算するた
めに用いられてもよい。
【００５８】２）ブロックの第１の画素のコード化 図２の技術を参照すると、前にＰ（１，１）として指示
されたブロックの第１の画素は、如何なる種類の予測を
も受けずに、元々の解像度に従ってＢビットによってコ
ード化される。
【００５９】３）そのブロックの全ての他の画素の相関
関係の解放、量子化、コード化 図２の技術を参照すると、ブロックの各画素に対して、
画素Ｐ’は、前に規定されたように、予測器として適用
されるであろう。前に詳細が記載された図８の走査順序
に従って、この予測器は、既に量子化および再構築され
ており、したがって、元の画像からは取り込まれないと
いうことに留意すべきである。このことは、公知のＡＤ
ＰＣＭ技術とつじつまが合って、画像の品質のよりよい
制御を可能にする。
【００６０】図２は、符号器の全体の形を与える以外
に、個々の画素の予測および量子化ループの詳細を与え
る回路を示している。予測誤差の計算は、モジュラスと
記号とによって実行される。このことは、量子化が作動
するレベル数を半分にすることによって、量子化を簡単
にすることを可能にしている。実際に、予測誤差の統計
がゼロの周りで対称的であるということが知られてい
る。
【００６１】図５および図６は、量子化器の回路実施例
を図示している。図５の技術は、回復値Ｔ０，・・・，Ｔ
７の算術的な平均を表す７つの閾値Ｓ０，Ｓ１，Ｓ２，
Ｓ３，Ｓ４，Ｓ５，Ｓ６を発生するために用いられるア
ーキテクチャを示している。特に、その平均は、隣接し
た回復値（すなわち、Ｓ２＝Ｔ２＋Ｔ３）の間で計算さ
れ、この結果は、全精度を維持するために２によって割
られない。もちろん、これは、８ビットというよりは、
事実的に９ビット（すなわち、１記号ビットが加えられ
ている）で表されている図６の技術の“ｅｒｒ”値に２
による乗算を行うことによって補償される。
【００６２】図６は、実際の量子化回路を示している。
図５において計算された閾値は、絶対値の一連の８つの
間隔を定義し、したがって、もしも、“ｅｒｒ”がＳ１
とＳ２とによって規定される合間に発生するならば、
“ｅｒｒ”は、ＰＬＡによってあるいはＲＯＭを読み取
ることにより、前に生成された値Ｔ２によって置き換え
られる。
【００６３】したがって、Ｓ１およびＳ２を供給された
２つの比較器は、結合ロジックの助けを借りて、マルチ
プレクサＭＵＸを駆動し、“delta”と名前が付けられ
た出力にＴ２を移送する。その代わり、“ｅｒｒ”の記
号ビットは、変更を受けずに出力に移送され、どんな場
合にも、“delta”の記号となる。図２のビデオＲＡＭ
における再圧縮と書き込みとのＡＤＰＣＭ符号器の完全
な技術を再び参照すると、１６ビットワードの中に組織
されるように再圧縮されたデータは、外部ＤＲＡＭの中
に格納される。このように、例えば、８＊８ブロックの
ルミナンスのコード化を表すＮビットは、例えば、外部
のＤＲＡＭメモリに向けて、図１のメモリコントローラ
の使用によって１６ビットワードの中にそろえられ送り
出される。明らかに、Ｎは、１６ビットの倍数ではな
く、したがって、１６ビットワードは、有用な情報を含
んでおらず、したがって、素子の上に実現可能である小
さな寸法（外部のＤＲＡＭのそれと比較して）のメモリ
の中にそのようなワードを格納することは好都合であ
る。特に有利な実現の形は、復号器の素子の上に集積可
能な選択的な補助メモリのようなものを表すいわゆるＡ
ＤＰＣＭメモリブロックの存在により、図１の技術の中
に指示されている。
【００６４】図１の技術のＡＤＰＣＭ復号器ブロックの
アーキテクチャは、図７において詳細に示されている。
メモリから読み出されたものを上で参照されたＮビット
と仮定しよう。それらから計算されたような変動は、Ｒ
ＯＭ（あるいはＰＬＡ）の中に格納された値を選択す
る、すなわち、格納された値の一つに狙いをつける。し
たがって、マルチプレクサＭＵＸに供給される値Ｔ０，
Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５，Ｔ６，Ｔ７が生成され
る。４ビットのサブワード（ルミナンス伸張の場合にお
いて）は、Ｎビットから引き出され、それらは、Ｔ値の
選択においてＭＵＸを駆動する。
【００６５】最後に、現在のＴ値は、伸張された画素に
なる以外に、ＭＵＸによって選択される次の値に加えら
れるべき値にもなる。この工程は、圧縮によって影響を
受けない８＊８ブロックの第１の画素によって開始され
る。
【００６６】画素当たりＮビットでの圧縮の例 図２乃至図７の例を参照して、偶然な動き補償の後の画
素のＲ＊Ｃブロックを考えてみよう。
【００６７】そのブロックの圧縮のために利用されるビ
ットの総数は、 Ｋ＋８＋（Ｒ＊Ｃ−１）＊Ｎ＋１＋Ｒ／Ｇ この場合、 − Ｋ＝エネルギをコード化するために採用されたビッ
ト − ８＝走査された第１の画素のために用いられたビッ
ト − Ｎ＝量子化のために用いられたビット − （Ｒ＊Ｃ−１）＊Ｎ＝残りの画素のＤＰＣＭコード
化のために採用されたビット − １＝第１の列において変更された量子化器を示すビ
ット − Ｒ／Ｇ＝行のＲ／Ｇグループにおける変更された量
子化器を示すためのビット 元の表現によって要求される８＊８＊８＝５１２に比較
して、Ｋ＝６，Ｒ＝８，Ｃ＝８，Ｎ＝４，Ｇ＝２の場合
に対して、我々は、下記の合計を獲得する： ６＋８＋（８＊８−１）＊４＋１＋８／２＝２７１ビッ
ト／ブロック Ｋ＝６，Ｒ＝８，Ｃ＝８，Ｎ＝３，Ｇ＝２の場合におい
て、我々は、下記の合計を獲得する： ６＋８＋（８＊８−１）＊３＋１＋８／２＝２０８ビッ
ト／ブロック
【００６８】ＭＰＥＧマクロブロックの圧縮の例 各マクロブロックは、ルミナンスの４つの８＊８ブロッ
クと、クロミナンスの２つの８＊８ブロックからできあ
がっており、各マクロブロックは、下記に等しいビット
数でコード化されている。
【００６９】 各画像においては、１６２０マクロブロックがある： ３，０７２＊１，６２０＝４９７６６４０ビット
【００７０】クロミナンス信号は、最も低い空間周波数
に制限された帯域を示すより低い内容をもっているとい
うことは公知である。このことは、クロミナンスそれ自
身のより大きな予測可能性、すなわち、ＡＤＰＣＭ圧縮
のより大きな効率を意味する。ルミナンスに対して４ビ
ット／画素の圧縮と、クロミナンスに対して３ビット／
画素とを考慮することにより、メモリ必要量は以下のよ
うになる。
【００７１】 したがって、各フレームが占有するのは以下のようであ
る： １，５００＊１，６２０＝２，４３０，０００ そのように獲得されたマクロブロック圧縮係数は、２．
４０８に等しく、したがって、各マクロブロックの５０
％圧縮を達成するのを可能にしている。
【００７２】ＭＰＥＧ復号器に対する適用の例 上述の関係を考慮に入れると、ＭＰＥＧ伸張されたＩお
よびＰ画像の５０％の再圧縮を想定することによって、
ビデオメモリレジスタの８Ｍビットまでの低減に対する
目標を達成することは可能である。この結果は、ＭＰＥ
Ｇ伸張の後で外部メモリに格納される前に、ＩおよびＰ
画像を再圧縮することによって達成される。したがっ
て、それらは、図１に示されているように、それらを外
部メモリから読み出すときに伸張されるであろう。
【００７３】圧縮は、適応型のＤＰＣＭ技術に従って、
Ｉ＿ＤＣＴと動き補償パイプラインとから出力された８
＊８ブロックに適用可能である。特に、考慮された例に
おいて、クロミナンスの８＊８ブロックに対しては３ビ
ット圧縮が選択されるが、ルミナンスの８＊８ブロック
に対しては４ビット圧縮が選択される。このように、メ
モリ必要量は次のようになる。
【００７４】 1,835,008 + 835,584 + 2,430,000 + 2,430,000 = 7,716,352 ↓ ↓ ↓ ５０％圧縮のＰバッファ ５０％圧縮のＩバッファ 残りの６７２，２５６ビット（８／ＭビットＤＲＡＭ容
量に対して）は、音響バッファを収容するため、およ
び、表示ユニットシステム（ＯＳＤ）の必要性のために
利用可能である。
【００７５】本発明の好ましい実施例による外部メモリ
の読み取られた帯域の低減上の例において説明されたよ
うに、ルミナンスの圧縮された８＊８ブロックのコード
化のために必要なビット数は、２７１ビットである。本
発明の好ましい実施例に従って、図１の技術に示されて
いるメモリコントローラの現存しているアーキテクチャ
をできるかぎり少なく修正することと、これらのシステ
ムの機能が２５６ビットブロックの読み取りおよび書き
込みに対して現在最適化されているということを考慮に
入れることとの目的で、復号器素子の上に集積された専
用ローカルメモリの中の各ブロックに対して、２７１−
２５６＝１５ビットを格納することは、確かに有利であ
る。
【００７６】これは、ＡＤＰＣＭメモリと呼ばれ、図１
の技術の中に示されている。そのような補助的なＡＤＰ
ＣＭメモリは、厳格には必要でないが、それによっても
たらされる、したがって、図１の全体の技術の中に含ま
れた追加の有利な点の故に、非常に好ましい選択である
ことを示しているということは強調されるべき事実であ
る。
【００７７】単一のフレームに対するこの補助的なＡＤ
ＰＣＭメモリの大きさは、したがって、次のようにな
る。
【００７８】１，６２０＊４＊１５＝フレーム当たり９
７，２００ビット この量は、ＰＡＬ画像においては、１，６２０マクロブ
ロックが存在し、それらのそれぞれは、４つの８＊８ブ
ロックを含み、それらのそれぞれは、上で定義されたよ
うに１５ビットによって特徴づけられているということ
を考慮に入れている。この計算結果は、ＡＤＰＣＭ技術
に従ってＩおよびＰ画像が再圧縮されるので、２倍にさ
れる。この結果、ＡＤＰＣＭメモリの容量は、存在する
ところにおいて、１９４，４００ビットであるべきであ
る。
【００７９】公知のシステムの場合に比較して予測器の
読み取りに対するサイクル数を低減することが、特定の
重要な場合に対して、如何に可能であるかを示している
例が下に記載される。
【００８０】ビデオメモリからの予測器の読み取り ＭＰＥＧ標準に従って動き補償工程を実行するために、
最大で１６＊１６画素によって構成される予測器を外部
メモリから読み取ることが必要である。外部ビデオメモ
リのコントローラによって追従される通常の実行に従っ
て、その工程は、外部メモリがその中で典型的に配置さ
れている特定のページフォーマットに従って、画素の読
み取りと、幾つかの周りのものの読み取りとに基づいて
いる。これは、実際に要求されているものを超過してデ
ータを読み取ることを意味する厳しい条件である。
【００８１】例えば、予測器を読み取るために、４０８
の８ビットコードの画素（圧縮された）が、６３＊３基
本クロックサイクルを利用するルミナンス成分のために
読み取られる。この状況は、画素が灰色の陰で強調され
ている図９において示されている。素子の中のＡＤＰＣ
Ｍ補助メモリの存在をさらに考慮し、そのなかでそのメ
モリからＡＤＰＣＭ圧縮データが読み取られるこの発明
の好ましい実施例の場合においては、予測領域を含んで
いて８＊８ブロックに属する５７６の画素は、外部ＤＲ
ＡＭメモリから読み取られる（図１０において示される
ように）。この場合、４８＊３の基本クロックサイクル
が必要である。これらのブロックのそれぞれを完成する
ために、残りの１５ビットは、図１の内部ＡＤＰＣＭメ
モリから読み取られる。
【００８２】この好ましい実施例の他に、本発明によっ
て読み取られる画素は、圧縮がない場合の４０８に比べ
て５７６であるという事実にも拘わらず、圧縮自身のお
かげで、メモリから読み取られる合計のビットは低減
し、その読み取りに必要なクロックサイクルの数も低減
するということは、どんな場合にも強調される。
【００８３】選択的な内部ＡＤＰＣＭメモリの容量の定
義 ルミナンス ＡＤＰＣＭ技術により圧縮されたルミナンスの８＊８ブ
ロックをコード化するのに必要なビットの総数をＴとし
よう。結果は次のようになるであろう。
【００８４】２n≦Ｔ≦２n+1 この場合、ｎは１と等しいかそれよりも大きい。
【００８５】過剰のビット数は、各ブロックに対して
（Ｔ−２n）に等しく、結果として、ＡＤＰＣＭメモリ
は次のものに等しい容量を有する。
【００８６】 １，６２０＊４＊（Ｔ−２n）＊２＝Ｌ ↓ ↓ ↓ＩおよびＰ画像 ↓ ↓ 過剰ビット数＝１５（もしもＴ＝２７，ｎ＝８なら） ↓ 各マクロブロックに対するルマブロック 画像におけるマクロブロック
【００８７】クロミナンス 圧縮されたＡＤＰＣＭクロミナンスデータの８＊８ブロ
ックをコード化するのに必要なビットの総数をＳとしよ
う。結果は次のようになるであろう。
【００８８】２m≦Ｓ≦２m+1 この場合、ｍは１と等しいかそれよりも大きく、ｎと等
しいか異なる。
【００８９】過剰のビット数は、各ブロックに対して
（Ｓ−２m）に等しく、結果として、ＡＤＰＣＭメモリ
は次のものに等しい容量を有する。
【００９０】 １，６２０＊２＊（Ｓ−２m）＊２＝Ｃ ↓ ↓ ↓ＩおよびＰ画像 ↓ ↓ 過剰ビット数 ↓ 各マクロブロックに対するルマブロック 画像におけるマクロブロック 結論として、内部メモリは、Ｌ＋Ｃに等しいかそれより
も大きい２者の電力に近似された、Ｌ＋Ｃによって与え
られる容量を有していてもよい。
【図面の簡単な説明】
【図１】本発明の好ましい実施例によるビデオ復号器の
“コア”のブロックダイアグラムである。
【図２】ＡＤＰＣＭ再圧縮および符号化回路技術を示し
ている。
【図３】図２の技術の変動予測ブロックの詳細な機能技
術を示している。
【図４】図２の技術の変動予測ブロックの詳細な機能技
術を示している。
【図５】図２において示された技術の量子化ブロック閾
値を発生させる回路の機能技術である。
【図６】多重レベル量子化回路の機能技術である。
【図７】ＡＤＰＣＭ復号化および伸張回路技術を示して
いる。
【図８】Ｉ＿ＤＣＴデータの８＊８ブロックの走査を示
している。
【図９】画像再構築の異なる場合を示している。
【図１０】画像再構築の異なる場合を示している。
フロントページの続き (72)発明者 ロベルト・サンニノ イタリア国 ベルガモ、ヴィア・モロニ 123

Claims (8)

    【特許請求の範囲】
  1. 【請求項１】 ＭＰＥＧ圧縮アルゴリズムのそれぞれ
    Ｉ，Ｐおよび選択的なＢ−画像の伸張段を有するＭＰＥ
    Ｇ−２復号器の必要なビデオメモリを低減するととも
    に、これらの画像に関連するデータが、前記ビデオメモ
    リの中に組織されたそれぞれのバッファの中に格納され
    るＭＰＥＧ−２復号方法において、 前記ＭＰＥＧ−２伸張の後で、前記ビデオメモリバッフ
    ァの中に関連するデータを格納する前に、少なくとも前
    記ＩおよびＰ画像を再圧縮し、前記伸張された画像デー
    タの離散余弦変換に関するｎ＊ｍ画素の各ブロックの変
    動を推定し、多重レベルの適応量子化器を形成する間
    に、一組の係数によって各ブロックの変動の値に乗算を
    行い、適応パルス符号変調技術（ＡＤＰＣＭ）に従っ
    て、各ブロックの第１の画素をｐビット数でコード化
    し、前記変動の推定値をｎｈビット数、すなわちこの場
    合、ｈは、ゼロより大きい整数であるｎｈビット数でコ
    ード化し、さらに、前記第１の画素に続く他の各画素と
    前記ブロックの全ての画素の平均値との間の差分をｐ−
    ｋビット数、すなわちこの場合、ｋはゼロより大きい整
    数であるｐ−ｋビット数でコード化し、 そのようにコード化された再圧縮ＩおよびＰ画像に関連
    するデータをビデオメモリの前記それぞれのバッファの
    中に格納し、 前記再圧縮ＩおよびＰイメージの画素に関連する前記格
    納されたデータを復号し、適応パルス符号変調技術（Ａ
    ＤＰＣＭ）に従って前記イメージを伸張し、それらをデ
    ィスプレイユニットに向けることを有することを特徴と
    するＭＰＥＧ−２復号方法。
  2. 【請求項２】 ｎ＊ｍ画素の各ブロックを（ｎ／２）＊
    ｍ画素の２つのサブブロックに予防的に細分割し、前記
    サブブロックに対して、前記ＡＤＰＣＭ再圧縮、符号化
    −復号化およびＡＤＰＣＭ伸張を実行することを有する
    ことを特徴とする請求項１に記載のＭＰＥＧ−２復号方
    法。
  3. 【請求項３】 制御バスとデータバスとを介してビデオ
    データがビデオ復号器の“コア”の外にあるそれぞれの
    ＲＡＭバッファの中で書き込まれ読み出される制御バス
    とデータバスとをインタフェースするＭＰＥＧ−２ビデ
    オ復号器であって、 前記“コア”は、データ獲得と外部ＤＲＡＭメモリの第
    １のバッファ（BIT BUFFER）への書き込みのための“第
    １の先入れ先出し”（FIFO）バッファと、制御器によっ
    て同期させられた開始コード検出回路（START CODE DET
    ECTOR ）と、オンスクリーンディスプレイデータ（OSD
    ）のための双方向バッファ（I/O UNIT）と、圧縮され
    たデータ入力ストリーム（BIT STREAM）の可変長復号器
    （VDL ）と、“ランレングス”復号器、逆量子化回路、
    逆離散余弦変換プロセッサ、“予測器”発生回路、ディ
    スプレイユニットの上流の現在のＢ−画像のための“ラ
    スタ走査へのマクロブロック走査”変換回路を有し、可
    変長復号器によって復号化されたデータのＭＰＥＧ伸張
    ブロック（パイプライン−ＲＬＤ、Ｉ＿ＱＵＡＮＴ、Ｉ
    ＿ＤＣＴ、予測器構造）とを有する復号器において、 伸張されたＩおよびＰ画像を再圧縮でき、前記外部メモ
    リのそれぞれのバッファの中に格納されるべき関連する
    データをコード化することができる差分型の適応差分パ
    ルス符号変調による符号化および再圧縮回路（ＡＤＰＣ
    Ｍエンコーダ）と、 ＩおよびＰ画像に関連する複合化され伸張されたデータ
    のストリームを発生することができる前記外部メモリの
    それぞれのバッファから読み出された前記再圧縮Ｉおよ
    びＰ画像に関連する格納データの復号化および伸張並び
    に復号化の回路（ＡＤＰＣＭデコーダ）と、 Ｂ−画像の動き補償および“ラスタ走査へのマクロブロ
    ック”変換の手段とを有することを特徴とするＭＰＥＧ
    −２ビデオ復号器。
  4. 【請求項４】 前記再圧縮および符号化回路（ＡＤＰＣ
    Ｍエンコーダ）は、ＭＰＥＧ−２伸張の前記パイプライ
    ンによって生成された伸張Ｉ＿ＤＣＴデータのブロック
    の獲得のためのバッファ（BLOCK BUFFER）と、 前記バッファ（BLOCK BUFFER）のエネルギ内容を推定す
    ることができ、前記メモリのそれぞれのバッファの中に
    格納されるべきＩ＿ＤＣＴデータのブロックの画素値の
    前記変動のデジタル値を発生することができる回路（VA
    RIANCE ESTIMATOR：変動推定器）と、 前記メモリから読み取られた変動の前記デジタル値によ
    って選択された複数の予め確立されたデジタル値ROM, P
    LA）を格納するためのプログラマブル手段と、 変動の現在値によって選択されたデジタル値によって首
    尾一貫して条件付けられた多重レベル量子化回路（QUAN
    TIZER ）と、 前記Ｉ＿ＤＣＴ伸張データブロックのストリームを第１
    の入力を介して受けることができ、予測器の値を第２の
    入力を介して受けることができ、前記多重レベル量子化
    回路（QUANTIZER ）に入力されるデータのストリームを
    出力することができる微分回路（−）と、 前記量子化回路の出力ストリームを入力として受け取る
    ことができるところの、それぞれのメモリバッファの中
    のＡＤＰＣＭ再圧縮データの書き込みコード化回路（CO
    DER ）と、 伸張されたＩ＿ＤＣＴデータストリームを第１の入力を
    介して受け取り、前記回路によって発生させられ予測器
    の値を第２の入力を介して受け取るマルチプレクサ（MU
    X ）、前記量子化回路の出力を第１の入力を介して受け
    取り、前記マルチプレクサ（MUX ）の出力を第２の入力
    を介して受け取り、合計されたデータのストリームを出
    力する加算器（＋）、その出力が前記微分回路（−）お
    よび前記マルチプレクサ（MUX ）の第２の入力に供給さ
    れ、前記予測器の値（COEFF ）を発生する回路が直列に
    後続するとともに、前記加算器（＋）によって生成され
    た合計されたデータの前記ストリームを入力を介して受
    け取る制限回路（LIM ０−２５５）を有する前記予測器
    の値の発生回路とを有することを特徴とする請求項３に
    よるＭＰＥＧ−２ビデオ復号器。
  5. 【請求項５】 前記プログラマブル手段（ROM, PLA）
    は、読み取り専用メモリ（ROM ）によって構成されてい
    ることを特徴とする請求項４に記載のＭＰＥＧ−２ビデ
    オ復号器。
  6. 【請求項６】 前記プログラマブル記憶手段は、プログ
    ラマブルロジックアレイ（PLA ）によって構成されてい
    ることを特徴とする請求項４に記載のＭＰＥＧ−２ビデ
    オ復号器。
  7. 【請求項７】 ＡＤＰＣＭ再圧縮データの一部分を復号
    器の中に記憶するための手段（ＡＤＰＣＭメモリ）を有
    することを特徴とする請求項４に記載のＭＰＥＧ−２ビ
    デオ復号器。
  8. 【請求項８】 前記記憶手段（ＡＤＰＣＭメモリ）は、
    １９４，４００ビット容量のＲＡＭメモリによって構成
    されていることを特徴とする請求項４に記載のＭＰＥＧ
    −２ビデオ復号器。
JP32418196A 1995-12-04 1996-12-04 Ｍｐｅｇ−２復号方法及びｍｐｅｇ−２ビデオ復号器 Expired - Fee Related JP3928815B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP95830504 1995-12-04
EP96830106A EP0778709B1 (en) 1995-12-04 1996-03-11 MPEG-2 decoding with a reduced RAM requisite by ADPCM recompression before storing MPEG decompressed data
IT95830504-7 1996-03-11
IT96830106-9 1996-03-11

Publications (2)

Publication Number Publication Date
JPH104550A true JPH104550A (ja) 1998-01-06
JP3928815B2 JP3928815B2 (ja) 2007-06-13

Family

ID=26140771

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32418196A Expired - Fee Related JP3928815B2 (ja) 1995-12-04 1996-12-04 Ｍｐｅｇ−２復号方法及びｍｐｅｇ−２ビデオ復号器

Country Status (3)

Country Link
US (1) US5838597A (ja)
EP (1) EP0778709B1 (ja)
JP (1) JP3928815B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6798833B2 (en) 2001-05-07 2004-09-28 Hynix Semiconductor Inc. Video frame compression/decompression hardware system
CN1315059C (zh) * 2002-08-20 2007-05-09 联发科技股份有限公司 利用虚拟图像画面重新排序的解码图像序列的方法与装置
US7333542B1 (en) 1998-06-19 2008-02-19 Nec Corporation Moving picture decoding apparatus and moving picture decoding method
JP2009177833A (ja) * 2009-03-26 2009-08-06 Zoran Corp Ｍｐｅｇビデオ復号・表示システムのためのビデオメモリ管理

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69614500T2 (de) * 1996-02-27 2001-11-22 St Microelectronics Srl Speicherverminderung für das Grundprofil und die Hauptebene eines MPEG-2-Dekoders
US6256348B1 (en) * 1996-08-30 2001-07-03 Texas Instruments Incorporated Reduced memory MPEG video decoder circuits and methods
US5844608A (en) * 1996-12-12 1998-12-01 Thomson Consumer Electronics, Inc. Picture element processor for a memory management system
US6256347B1 (en) 1996-12-17 2001-07-03 Thomson Licensing S.A. Pixel block compression apparatus in an image processing system
US6594315B1 (en) * 1996-12-18 2003-07-15 Thomson Licensing S.A. Formatting of recompressed data in an MPEG decoder
GB9704027D0 (en) * 1997-02-26 1997-04-16 Discovision Ass Memory manager for mpeg decoder
KR100273110B1 (ko) * 1997-02-26 2000-12-01 윤종용 엠펙 시스템 디코더 및 이 디코더의 데이터 처리 방법
GB2329802B (en) * 1997-06-28 1999-08-18 United Microelectronics Corp Adaptive-selection method for memory access priority control in MPEG processor
US6078620A (en) * 1997-07-31 2000-06-20 Lucent Technologies, Inc. Method and apparatus for performing adaptive differential pulse code modulation
EP0917362A1 (en) * 1997-11-12 1999-05-19 STMicroelectronics S.r.l. Macroblock variance estimator for MPEG-2 video encoder
US6130911A (en) * 1997-11-21 2000-10-10 Sharp Laboratories Of America, Inc. Method and apparatus for compressing reference frames in an interframe video codec
US6272180B1 (en) 1997-11-21 2001-08-07 Sharp Laboratories Of America, Inc. Compression and decompression of reference frames in a video decoder
US6198773B1 (en) 1997-12-18 2001-03-06 Zoran Corporation Video memory management for MPEG video decode and display system
KR100301826B1 (ko) * 1997-12-29 2001-10-27 구자홍 비디오디코더
US6823016B1 (en) * 1998-02-20 2004-11-23 Intel Corporation Method and system for data management in a video decoder
GB2339989B (en) * 1998-05-19 2002-11-27 Lsi Logic Corp Method and apparatus for decoding video data
EP1758403A3 (en) * 1998-12-23 2007-09-26 Zoran Corporation Video memory management for MPEG video decode and display system
JP4486755B2 (ja) * 1998-12-23 2010-06-23 ゾラン コーポレイション Ｍｐｅｇビデオ復号・表示システムのためのビデオメモリ管理
US6516376B1 (en) * 1999-01-06 2003-02-04 Sarnofff Corporation Command and control architecture for a video decoder and a host
DE19907729C2 (de) * 1999-02-23 2001-02-22 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Erzeugen eines Datenstroms aus Codeworten variabler Länge und Verfahren und Vorrichtung zum Lesen eines Datenstroms aus Codeworten variabler Länge
US6850647B1 (en) * 1999-07-30 2005-02-01 Michael L. Gough System, method and article of manufacture for decompressing digital camera sensor data
EP1083752A1 (en) * 1999-09-08 2001-03-14 STMicroelectronics S.r.l. Video decoder with reduced memory
FR2800550B1 (fr) * 1999-11-03 2002-05-31 St Microelectronics Sa Circuit de decodage mpeg et d'affichage d'images et d'images incrustees
KR100359821B1 (ko) * 2000-01-20 2002-11-07 엘지전자 주식회사 움직임 보상 적응형 영상 압축과 복원방법 및 그 장치와디코더
US6593973B1 (en) * 2000-03-21 2003-07-15 Gateway, Inc. Method and apparatus for providing information in video transitions
US20030069985A1 (en) * 2000-10-02 2003-04-10 Eduardo Perez Computer readable media for storing video data
US20040237110A1 (en) * 2003-05-21 2004-11-25 Jones Morris E. Display monitor
CN101924945B (zh) * 2004-03-08 2012-07-18 三叉微系统(远东)有限公司 具有可变压缩比和用于存储及检索参考帧数据的缓冲器的视频解码器
US8316068B2 (en) * 2004-06-04 2012-11-20 Telefonaktiebolaget Lm Ericsson (Publ) Memory compression
US7830800B1 (en) 2006-01-12 2010-11-09 Zenverge, Inc. Architecture for combining media processing with networking
US8102916B1 (en) 2006-01-12 2012-01-24 Zenverge, Inc. Dynamically changing media compression format in compressed domain
JP5396711B2 (ja) * 2006-02-09 2014-01-22 日本電気株式会社 動画像復号装置、動画像復号方法及びプログラム
US8311114B1 (en) * 2006-12-06 2012-11-13 Zenverge, Inc. Streamlined transcoder architecture
US8265168B1 (en) 2008-02-01 2012-09-11 Zenverge, Inc. Providing trick mode for video stream transmitted over network
WO2009097284A1 (en) * 2008-02-01 2009-08-06 Zenverge, Inc. Intermediate compression of reference frames for transcoding
TWI477142B (zh) * 2008-06-20 2015-03-11 Mstar Semiconductor Inc 影像處理電路及相關方法
WO2012005106A1 (ja) 2010-07-08 2012-01-12 日本電気株式会社 映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラム
US9531990B1 (en) 2012-01-21 2016-12-27 Google Inc. Compound prediction using multiple sources or prediction modes
US8737824B1 (en) 2012-03-09 2014-05-27 Google Inc. Adaptively encoding a media stream with compound prediction
US9185414B1 (en) * 2012-06-29 2015-11-10 Google Inc. Video encoding using variance
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
US9451257B2 (en) 2013-03-22 2016-09-20 Stmicroelectronics S.R.L. Method and apparatus for image encoding and/or decoding and related computer program products
US9374578B1 (en) 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
US9609343B1 (en) 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5611038A (en) * 1991-04-17 1997-03-11 Shaw; Venson M. Audio/video transceiver provided with a device for reconfiguration of incompatibly received or transmitted video and audio information
US5717394A (en) * 1993-02-10 1998-02-10 Ricoh Company Ltd. Method and apparatus for encoding and decoding data
KR960010196B1 (ko) * 1993-06-04 1996-07-26 배순훈 인간의 시각특성을 이용한 디씨(dc) 변환계수 양자화기
US5508949A (en) * 1993-12-29 1996-04-16 Hewlett-Packard Company Fast subband filtering in digital signal coding
US5671204A (en) * 1994-05-25 1997-09-23 Victor Company Of Japan, Ltd. Variable transfer rate data reproduction apparatus
TW377935U (en) * 1994-08-10 1999-12-21 Gen Instrument Corp Dram mapping for a digital video decompression processor
JPH08254985A (ja) * 1995-03-17 1996-10-01 Pioneer Electron Corp 音楽再生制御装置及び音楽再生装置
US5668599A (en) * 1996-03-19 1997-09-16 International Business Machines Corporation Memory management for an MPEG2 compliant decoder

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7333542B1 (en) 1998-06-19 2008-02-19 Nec Corporation Moving picture decoding apparatus and moving picture decoding method
US6798833B2 (en) 2001-05-07 2004-09-28 Hynix Semiconductor Inc. Video frame compression/decompression hardware system
CN1315059C (zh) * 2002-08-20 2007-05-09 联发科技股份有限公司 利用虚拟图像画面重新排序的解码图像序列的方法与装置
JP2009177833A (ja) * 2009-03-26 2009-08-06 Zoran Corp Ｍｐｅｇビデオ復号・表示システムのためのビデオメモリ管理

Also Published As

Publication number Publication date
US5838597A (en) 1998-11-17
JP3928815B2 (ja) 2007-06-13
EP0778709A1 (en) 1997-06-11
EP0778709B1 (en) 2001-05-23

Similar Documents

Publication Publication Date Title
JP3928815B2 (ja) Ｍｐｅｇ−２復号方法及びｍｐｅｇ−２ビデオ復号器
JP4138056B2 (ja) マルチスタンダード脱圧縮及び／又は圧縮装置
JP4216341B2 (ja) イメージ処理システムにおけるピクセルブロック圧縮装置
JP4778953B2 (ja) 拡張可能な圧縮を伴い且つ基準フレームデータを記憶して回収するためのバッファを有するビデオデコーダ
US5136371A (en) Digital image coding using random scanning
JP3888597B2 (ja) 動き補償符号化装置、及び動き補償符号化復号化方法
US5986711A (en) MPEG decoding with a reduced RAM requisite by ADPCM recompression before storing MPEG decompressed data, optionally after a subsampling algorithm
US6111913A (en) Macroblock bit regulation schemes for video encoder
US6023295A (en) ADPCM recompression and decompression of a data stream of a video image and differential variance estimator
EP1292154B1 (en) A method and apparatus for implementing reduced memory mode for high-definition television
US6301304B1 (en) Architecture and method for inverse quantization of discrete cosine transform coefficients in MPEG decoders
EP0585051B1 (en) Image processing method and apparatus
CA2151023A1 (en) Method of coding/decoding of a data stream
JPH0686262A (ja) 画像符号化装置
JPH09247679A (ja) スケーラブルｍｐｅｇ２適合ビデオ・エンコーダ
JPH10145791A (ja) ディジタル・ビデオ・デコーダおよびディジタル・ビデオ信号をデコードする方法
US20020015445A1 (en) Image processing device
US6163576A (en) Video encoder having reduced memory bandwidth requirements
JPH11251919A (ja) メモリ必要量削減方法
JP2898413B2 (ja) 所要メモリ容量の低減化を伴う圧縮ビデオデータ流の復号化及び符号化のための方法
US6108381A (en) Tree search vector quantization for compressing digital video data to be stored in buffers and MPEG decoder and SQTV processor with reduced memory requisites
US20020159526A1 (en) Video encoder and video recording apparatus provided with such a video encoder
US20030147468A1 (en) Image data coding apparatus capable of promptly transmitting image data to external memory
US6205250B1 (en) System and method for minimizing clock cycles lost to overhead data in a video decoder
US6628708B1 (en) Method and system for compressing color video data within a data processing system

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051207

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060302

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060406

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070301

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110316

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110316

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120316

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130316

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140316

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees