JP4662697B2 - データ圧縮のための改良された最適化技術 - Google Patents

データ圧縮のための改良された最適化技術 Download PDF

Info

Publication number
JP4662697B2
JP4662697B2 JP2003181889A JP2003181889A JP4662697B2 JP 4662697 B2 JP4662697 B2 JP 4662697B2 JP 2003181889 A JP2003181889 A JP 2003181889A JP 2003181889 A JP2003181889 A JP 2003181889A JP 4662697 B2 JP4662697 B2 JP 4662697B2
Authority
JP
Japan
Prior art keywords
direct mode
prediction
macroblocks
motion
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003181889A
Other languages
English (en)
Other versions
JP2004254274A (ja
JP2004254274A5 (ja
Inventor
トウラピス アレクサンドロス
シペン リ
フェン ウー
サリバン ゲーリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2004254274A publication Critical patent/JP2004254274A/ja
Publication of JP2004254274A5 publication Critical patent/JP2004254274A5/ja
Application granted granted Critical
Publication of JP4662697B2 publication Critical patent/JP4662697B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/567Motion estimation based on rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、一般に、コンピュータ、および同様のデバイスに関し、より詳細には、データを圧縮/符号化するため、およびデータを伸張/復号化するための方法、装置、およびシステムに関する。
本米国特許出願は、参照により全体が本明細書に組み込まれている2002年7月5日に出願した「イメージ圧縮およびビデオ圧縮のためのレート/歪み最適化技術(Rate/Distortion Optimization Techniques for Image and Video Compression)」という名称の同時係属の米国特許出願番号60/393,894の開示の優先権の恩典を主張する。
データ、特にイメージデータおよびビデオデータの圧縮/符号化および伸張/復号化を行うための改良された方法および装置が、引き続き必要とされている。符号化効率の向上により、コンピュータ、およびその他の同様なデバイスによってより多くの情報を処理し、伝送し、かつ/または記憶することが可能である。インターネットおよびその他の同様なコンピュータ網、ならびに無線通信システムがますます普及するにつれて、利用可能なリソースを十分に活用する極めて効率的な符号化技術を提供することが望まれている。
レート歪み最適化(RDO)技術は、従来の符号化法と比べて符号化効率を大幅に向上させることが可能なので、ビデオおよびイメージの符号化/復号化システムにおいて極めて普及している。
例えば、さらなる情報を見ることができる(非特許文献1参照)。
Trac Duy Tranによるマサチューセッツ工科大学在学中の1994年5月に提出したコンピュータサイエンスアンドエンジニアリング学修士論文、"A Locally Adaptive Perceptual Masking Threshold Model for Image Coding" Jani Lainema and Marta Karczewicz, "Skip mode motion compensation", document JVT-C027, JVT Meeting, Fairfax, May 2002
例えば、イメージデータを圧縮するシステムにおいて、ブロックまたはマクロブロックなどのデータの圧縮されるべき部分は、実際には、その他の情報(データ)と比べて、異なる形で(例えば、高い優先順位、高い品質等)符号化されなければならないようなより高い重要度の情報を含む場合がある。これを実行する1つのやり方は、異なる量子化値(quantizer value)を使用ことが考えられる。
しかし、このような圧縮処理を行うことにより、通常、後の伸張/復号化が正常に行われるように、各ブロック、各マクロブロック、グループのマクロブロックに対して使用された各量子化値を明らかにする追加の情報の伝送も必要とされる。そのような追加の情報により、圧縮オーバーヘッド(compressed overhead)、および符号器の複雑さが増大させられることになる。その結果、圧縮効率を向上させるどころか、実際には、圧縮効率の低下を招いてしまうことになる、という問題がある。
さらに、近年では、従来よりも一段と高い符号化効率を提供することが望まれており、RDO技術やその他の同様な技術のパフォーマンスをさらに高めて、既存のシステムよりも符号化効率が大幅に向上した改良された方法および装置の作成が求められている。
前述した必要性、およびその他の必要性は、例えば、複数の異なる量子化関数を使用してデータの少なくとも一部分を処理して、データの複数の対応する量子化された部分を生成すること、および少なくとも1つのしきい値に基づいてデータの量子化された部分の1つを選択的に出力することを含む方法によって満たされる。また、この方法は、初期データを複数の部分に分割すること、および少なくとも1つの分類特性に基づいてデータの部分を分類することも含むことが可能である。この場合、例えば、分類特性に関連するしきい値が存在することが可能である。
例として、初期データは、イメージデータ、ビデオデータ、オーディオデータ、音声データ等を含むことが可能である。選択される部分は、ブロック、マクロブロック、スリット、スライス、セクション等の形態をとることが可能である。分類特性には、エッジ特性、テクスチャ特性、平滑性特性、輝度特性、クロミナンス特性、カラー特性、雑音特性、オブジェクト特性、動き特性、ユーザ選好特性、ユーザインターフェースフォーカス特性、階層化(layering)特性、タイミング特性、ボリューム特性、周波数特性、ピッチ特性、トーン特性、品質特性、ビットレート特性、データタイプ特性、解像度特性、暗号化特性等が含まれることが可能である。
いくつかの例としての実施形態では、複数の異なる量子化関数は、少なくとも2つの動作の異なるデッドゾーン量子化器(Deadzone Quantizer)を含む。この場合、例えば、デッドゾーン量子化器は、適応カバレッジ(coverage)デッドゾーン量子化器、可変カバレッジサイズデッドゾーン量子化器等であることが可能である。また、方法は、量子化された部分を符号化することも含むことが可能である。方法は、レート歪み最適化(RDO)を行ってデータの量子化された部分を選択することをさらに含むことが可能である。
さらに他の例示的な実施形態によれば、別の方法が、イメージデータの少なくとも1つの部分に対して少なくとも1つの特性解析を行うこと、その特性解析に基づいて符号器内部で少なくとも1つの適応量子化パラメータを選択的に設定すること、およびイメージデータのその部分を符号器を使用して符号化することを含む。
さらに別の例示的な実施形態では、イメージデータの少なくとも1つの部分が、少なくとも2つの異なるデッドゾーン量子化器を使用して符号化されるようにすること、および少なくとも1つの判定ファクタに関連するレート歪み最適化(RDO)判定に基づいてその少なくとも2つの異なるデッドゾーン量子化器の1つの出力における好ましい符号化されたデータを特定することを含む方法が提供される。
また、前述した必要性、およびその他の必要性は、イメージデータの少なくとも1つの部分が、第1のデッドゾーン量子化器を使用して符号化されるようにすること、第1のデッドゾーン量子化器の出力が少なくとも1つの判定ファクタを満たしているかどうかを判定し、満たしている場合、第1のデッドゾーン量子化器の出力を出力し、満たしていない場合、イメージデータのその部分が、第1のデッドゾーン量子化器とは異なる少なくとも第2のデッドゾーン量子化器を使用して符号化されるようにすることを含む方法によっても満たされる。この場合、例えば、方法は、RDO判定等に基づいてイメージデータのその部分の許容可能な符号化されたバージョンを特定することも含むことが可能である。
さらに別の例示的な実施形態では、方法が、イメージデータの少なくとも1つの部分に対してイメージ解析を行うこと、イメージデータの解析された部分に対してブロック分類を行うこと、イメージデータのブロック分類された部分のデッドゾーン量子化を行うこと、およびイメージデータのデッドゾーン量子化された部分の符号化を行うことを含む。この場合、例えば、イメージ解析は、エッジ検出解析、テクスチャ解析等を含むことが可能である。
さらなる例示的な実施形態によれば、ビデオイメージデータの少なくとも1つの部分が、ビデオイメージデータの非残余モード(Non Residual Mode)をサポートする作用をするように構成されたデッドゾーン量子化器を少なくともどちらかが含む少なくとも2つの異なる符号器を使用して符号化されるようにすること、および少なくとも1つの判定ファクタに関連するレート歪み最適化(RDO)判定に基づき、その2つの異なる符号器の1つの出力における好ましい符号化されたフレームデータを特定することを含む方法が提供される。
別の例示的な方法は、イメージデータの少なくとも1つの部分の少なくとも1つの特性に基づいて作用するように量子化関数を有する符号化論理を構成する少なくとも1つのラグランジュ乗数を選択的に変えること、および符号化論理を使用してイメージデータのその部分を符号化することを含む。
さらに別の実施形態では、例示的な方法が、ビデオイメージデータの少なくとも一部分を符号化論理を使用して符号化すること、およびその符号化論理が、その符号化論理によって使用される動きベクトル予測のタイプを特定する構文情報を出力するようにさせることを含む。
ビデオ符号化関連情報を伝送する際に使用される方法が、ビデオデータを符号化すること、および符号化されたビデオデータの構文部分の中で少なくとも1つの記述子を選択的に設定することを含み、この記述子は、ビデオデータが符号化された少なくとも1つのBフレームに関連する適応空間符号化/空間−時間符号化を特定する。ビデオ符号化関連情報を伝送する際に使用される別の方法は、ビデオデータを符号化すること、符号化されたビデオデータの構文部分の中で少なくとも1つの記述子を選択的に設定することを含み、この記述子は、ビデオデータが符号化された少なくとも1つのフレーム間における適応コピー/動きコピースキップモードを特定する。
ビデオフレームの静止時間/空間部分を考慮に入れるビデオのタイムスタンプ独立モードの符号化で使用される例示的な方法が提供される。この場合、例えば、方法は、ビデオシーケンスにおけるビデオフレームの少なくとも1つの部分に関連する動きの空間的予測を選択的に適用すること、および別のビデオフレームの基準部分に関する時間的動き予測がゼロである場合、動きの空間的予測をゼロに設定することを含む。
同様の符号が同様の要素を指している図面を参照すると、本発明が、適切な計算環境において実施されているのが示されている。必須ではないが、本発明は、パーソナルコンピュータ、ワークステーション、専用サーバ、複数のプロセッサ、メインフレームコンピュータ等の形態をとることが可能なサーバコンピュータによって実行される、プログラムモジュールなどのコンピュータ実行可能命令の一般的な文脈で説明する。一般に、プログラムモジュールには、特定のタスクを行う、または特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、構成要素、データ構造等が含まれる。また、本発明は、コンピュータ網を介してリンクされた遠隔の処理デバイスによってタスクが行われる分散計算環境において実施してもよい。分散計算環境では、プログラムモジュールは、ローカルのメモリ記憶デバイスと遠隔のメモリ記憶デバイスの両方の中に配置されることが可能である。
本発明によれば、イメージ、ビデオシーケンス、またはその他のタイプのデータの符号化に関するレート歪み最適化に関連するいくつかの概念を提示するものであり、特に、イメージの先頭で指示されることが可能な、PフレームおよびBフレームのそれぞれの中のスキップモードおよび直接モードなどのケースに関して、いくつかの代替の予測ケースを許容することにより、大幅に高い圧縮効率を可能にするビデオシーケンス内で採用されることが可能な追加の構文を提示することができ、また、静止の時間的予測子と共に空間的動きベクトル予測を考慮するBフレームに関する高い効率のタイムスタンプ独立の直接モードを提示することができる。これにより、符号化効率を大幅に向上させ、様々なイメージ/ビデオ/データ符号化システムにおけるパフォーマンスを大幅に向上させることが可能である。
本発明に係る様々な方法、装置、およびシステムのより完全な理解は、添付の図面と併せて考慮される、以下の詳細な説明を参照することによって得ることができる。
図1は、以下に説明する方法および構成を実施することができる適切な計算環境120の例を示す。
例示的な計算環境120は、適切な計算環境の一例に過ぎず、本明細書で説明する改良された方法および構成の使用または機能の範囲に関して何ら限定を示唆するものではない。また、計算環境120が、動作環境120に例示した構成要素の任意の1つ、または任意の組み合わせに関連する何らかの依存性または要件を有していると解釈してはならない。
本明細書の改良された方法および構成は、多数の他の汎用または特殊目的の計算システム環境または計算システム構成で動作する。
図1に示すように、計算環境120は、コンピュータ130の形態で汎用計算デバイスを含む。コンピュータ130の構成要素には、1つまたは複数のプロセッサまたは処理ユニット132、システムメモリ134、ならびにシステムメモリ134からプロセッサ132までを含む様々なシステム構成要素を結合するバス136が含まれる。
バス136は、様々なバスアーキテクチャの任意のものを使用するメモリバスまたはメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート(accelerated graphics port)、およびプロセッサバスまたはローカルバスを含むいくつかのタイプのバス構造の1つまたは複数の任意のものを表わす。例として、限定としてではなく、そのようなアーキテクチャには、インダストリスタンダードアーキテクチャ(Industry Standard Architecture)(ISA)バス、マイクロチャネルアーキテクチャ(Micro Channel Architecture)(MCA)バス、エンハンストISA(Enhanced ISA)(EISA)バス、ビデオエレクトロニクススタンダーズアソシエーション(Video Electronics Standards Association)(VESA)ローカルバス、およびメザニン(Mezzanine)バスとしても知られるペリフェラルコンポーネントインターコネクツ(Peripheral Component Interconnects)(PCI)バスが含まれる。
コンピュータ130は、通常、様々なコンピュータ可読媒体を含む。そのような媒体は、コンピュータ130によってアクセス可能な任意の利用可能な媒体であることが可能であり、揮発性の媒体と不揮発性の媒体、取外し可能な媒体と取外し不可能な媒体がともに含まれる。
図1において、システムメモリ134は、ランダムアクセスメモリ(RAM)140などの揮発性メモリの形態のコンピュータ可読媒体、および/または読取り専用メモリ(ROM)138などの不揮発性メモリの形態のコンピュータ可読媒体を含む。始動中など、コンピュータ130内部の要素間で情報を転送するのを助ける基本ルーチンを含む基本入力/出力システム(BIOS)142が、通常、ROM138の中に記憶されている。RAM132は、通常、処理ユニット132によって即時にアクセス可能であり、かつ/または現在、処理されているデータおよび/またはプログラムモジュールを含む。
コンピュータ130は、その他の取外し可能な/取外し不可能な、揮発性/不揮発性のコンピュータ記憶媒体をさらに含むことが可能である。例えば、図1は、取外し不可能な不揮発性の磁気媒体(図示しておらず、通常、「ハードドライブ」と呼ばれる)に対して読取りおよび書込みを行うためのハードディスクドライブ144、取外し可能な不揮発性の磁気ディスク148(例えば、「フロッピー(登録商標)ディスク」)に対して読取りおよび書込みを行うための磁気ディスクドライブ146、およびCD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、またはその他の光媒体などの取外し可能な不揮発性の光ディスク152に対して読取りおよび書込みを行うための光ディスクドライブ150を示している。ハードディスクドライブ144、磁気ディスクドライブ146、および光ディスクドライブ150はそれぞれ、1つまたは複数のインターフェース154でバス136に接続される。
以上のドライブ、および関連するコンピュータ可読媒体により、コンピュータ可読命令、データ構造、プログラムモジュール、およびその他のデータの不揮発性のストーレッジが、コンピュータ130に提供される。本明細書で説明する例示的な環境は、ハードディスク、取外し可能な磁気ディスク148、および取外し可能な光ディスク152を使用するが、磁気カセット、フラッシュメモリカード、デジタルビデオディスク、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)などの、コンピュータによってアクセス可能なデータを記憶することができる他のタイプのコンピュータ可読媒体も例示的な動作環境において使用できることが、当分野の技術者には認められよう。
いくつかのプログラムモジュールが、例えば、オペレーティングシステム158、1つまたは複数のアプリケーションプログラム160、その他のプログラムモジュール162、およびプログラムデータ164を含め、ハードディスク、磁気ディスク148、光ディスク152、ROM138、またはRAM140に記憶されている。
本明細書で説明する改良された方法および構成は、オペレーティングシステム158内部で、1つまたは複数のアプリケーションプログラム160の内部で、その他のプログラムモジュール162内部で、かつ/またはプログラムデータ164内部で実施することが可能である。
ユーザは、キーボード166やポインティングデバイス168(「マウス」などの)などの入力デバイスを介してコマンドおよび情報をコンピュータ130に与えることができる。その他の入力デバイス(図示せず)には、マイクロホン、ジョイスティック、ゲームパッド、サテライトディッシュ、シリアルポート、スキャナ、カメラ等が含まれる。
以上の入力デバイス、およびその他の入力デバイスは、バス136に結合されたユーザ入力インターフェース170を介して処理ユニット132に接続されるが、パラレルポート、ゲームポート、またはユニバーサルシリアルバス(Universal Serial Bus)(USB)などの他のインターフェースおよびバス構造で接続してもよい。
モニタ172、またはその他のタイプの表示デバイスも、ビデオアダプタ174などのインターフェースを介してバス136に接続される。モニタ172に加えて、パーソナルコンピュータは、通常、出力周辺インターフェース175を介して接続することができるスピーカやプリンタなどの他の出力周辺出力デバイス(図示せず)も含む。
コンピュータ130は、遠隔コンピュータ182のような1つまたは複数の遠隔コンピュータに対する論理接続を使用するネットワーク化された環境において動作することが可能である。遠隔コンピュータ182は、コンピュータ130に関連して本明細書で説明した要素および特徴の多く、またはすべてを含むことが可能である。
図1に示した論理接続は、ローカルエリアネットワーク(LAN)177、および一般的なワイドエリアネットワーク(WAN)179である。そのようなネットワーキング環境は、オフィス、企業全体のコンピュータ網、イントラネット、およびインターネットで一般的である。
LANネットワーキング環境で使用されるとき、コンピュータ130は、ネットワークインターフェースまたはネットワークアダプタ186を介してローカルネットワーク177に接続される。WANネットワーキング環境で使用されるとき、コンピュータは、通常、WAN179を介して通信を確立するためのモデム178またはその他の手段を含む。内部にあることも、外部にあることも可能なモデム178は、ユーザ入力インターフェース170、またはその他の適切な機構を介してシステムバス136に接続されることが可能である。
図1では、インターネットを介するWANの特定の実施形態を描いている。この場合、コンピュータ130は、モデム178を使用して、インターネット180を介して少なくとも1つの遠隔コンピュータ182と通信を確立する。
ネットワーク化された環境では、コンピュータ130に関連して描いたネットワーク環境、またはプログラムモジュールの部分は、遠隔のメモリ記憶デバイスの中に記憶させてもよい。したがって、例えば、図1に描いたとおり、遠隔のアプリケーションプログラム189が、遠隔コンピュータ182のメモリデバイス上に常駐することが可能である。図示し、説明するネットワークは例示的なものであり、コンピュータ間で通信リンクを確立する他の手段を使用してもよいことが認められる。
改良されたレート/歪み最適化技術
以下のセクションでは、イメージデータおよび/またはビデオデータを最初に圧縮/符号化し、伸張/復号化するように構成されたいくつかの例示的な方法および装置を説明するが、提示する技術は、他のタイプのデータの圧縮/符号化、および伸張/復号化を行うように適合させ、使用することも可能であることが、データ圧縮分野の技術者には認識されよう。例えば、いくつかの方法および装置を、オーディオデータ、音声データ等を圧縮/符号化する際に使用するように適合させることが可能である。
さらに、例示的な方法および装置は、コンピュータ内部の論理で構成されることが可能であるが、そのような方法および装置を他のタイプのデバイス、機器等において実施することも可能であることが、当分野の技術者には理解される。本明細書で使用する「論理」という用語は、所望の関数を完全に、または部分的に実現するのに必要とされる可能性があるハードウェア、ファームウェア、ソフトウェア、または以上の任意の組み合わせ、ならびに任意の他のサポートを行うハードウェア、または他の機構を含むことを意図している。
以上のことに留意して、データの処理をサポートするようにある形態の論理で実施することが可能ないくつかの例示的なスキームを提示する。
本発明の実施形態によれば、ビデオおよび/またはイメージ符号化/復号化システムのパフォーマンスを向上させるためのいくつかの新しい技術が提供される。一部の例示的な実施形態では、この技術は、JPEGやJVT(ジョイントビデオチーム(Joint Video Team))標準(例えば、H.264/AVC)などのイメージ/ビデオ符号化標準で使用するのに用いられる。例として、JVTのケースでは、例えば、動き情報などのビデオのいくつかのパラメータを予測するために使用することができる異なる予測タイプの適応的な選択を可能にするように作用することが可能な構文変更が提供される。
レート歪み最適化(RDO)技術は、従来の符号化法と比べて符号化効率を大幅に向上させることができるので、ビデオおよびイメージの符号化/復号化システムにおいて極めて普及している。さらに高い符号化効率を提供することが、引き続き望まれている。以下の説明では、RDO技術、または他の同様な技術のパフォーマンスを相当に向上させて、既存のシステムより高い符号化効率を実現することができる方法および装置を説明する。
本発明の実施形態によれば、イメージまたはマクロブロックの特性に応じて適応型の、かつ/または可変サイズのデッドゾーン量子化器を使用することにより、RDO技術、または他の同様な技術を、例えば、エッジ検出および/またはテクスチャ検出などのイメージ事前解析概念とさらに組み合わせることが可能である。
また、以下の説明は、例えば、フレームレベルで異なる予測スキームの組み合わせを可能にし、これにより、ビデオ符号化スキームのパフォーマンスをさらに向上させるように実施することができるいくつかのさらなる例示的な構文変更も概説/定義する。例として、いくつかのフレーム、またはシーケンスのいくつかの部分に関して、動きが、空間領域においてよりも、時間領域においてより強く相関している、またはその逆であるということから1つの技術がもたらされる。これは、フレームの事前解析を行うことによって利用することが可能であるが、2つ、または場合により、それより多くの方法を使用して同一のフレームを符号化し、RDOの見地から、かつ/またはRDOと同様な見地から所望の方法を選択することを介しても利用することができる。次に、所望の方法を、例えば、フレームヘッダ内の結果のデータの中で示して、復号器が、フレームを適切に復号化できるようにすることが可能である。この場合、例えば、1つのそのような例示的な方法には、空間的予測または時間的予測を使用することによるBフレーム内の直接モードの可能なバリエーション、または空間的に予測された動きベクトルパラメータ、または時間的に予測された動きベクトルパラメータ、またはゼロさえ使用することによるPフレーム内のスキップモード動きベクトル選択が含まれることが可能である。
1つまたは複数の特性(パラメータ)に従ってデータに適応型の、かつ/または可変のデッドゾーン量子化器の適用化
イメージデータ圧縮システムにおいて、例えば、ブロックまたはマクロブロックなどのデータの圧縮されるべき部分は、実際には、その他の情報(データ)と比べて、異なる形で(例えば、より高い優先順位で、より高い品質で等)符号化されなければならないより高い重要度の情報を含む可能性がある。これを実行する1つのやり方は、異なる量子化値(quantizer value)を使用することである。例えば、いくつかの実施形態において、「より重要な情報」に対してより小さい量子化値を使用し、「それほど重要でない情報」に対して大きい量子化値を使用することが可能である。ただし、そうすることにより、通常、後の伸張/復号化が正常に行われるように、各ブロック、各マクロブロック、グループのマクロブロックに対して使用された各量子化値を明らかにする情報の伝送も必要とされる。残念ながら、そのような追加の情報により、圧縮オーバーヘッド(compressed overhead)、および符号器の複雑さが増大させられがちである。したがって、圧縮効率を向上させるどころか、実際には、圧縮効率の低下が生じる可能性がある。
図2(a)〜(d)は、例示的なイメージ/ビデオ符号化スキームにおいて使用可能なデッドゾーン量子化器を描いた例示的なグラフを示す。図2(a)〜(d)のそれぞれで、垂直の(y軸)が量子化された値を表わし、水平の(x軸)が元の値を表わしている。例えば、図2(a)で示した例示的なデッドゾーン量子化器202は、一様な量子化器より符号化効率を大幅に向上させることができるデッドゾーン量子化器Aに関連している。従来のデッドゾーン量子化器は、しばしば、量子化プロセスの最後まで一定に、または一様に保たれ、したがって、場合により、データの中のすべての既存の冗長性を完全に活用していない。
データの中のある情報の重要性を考慮し、または別の仕方で考慮に入れ、かつ、例えば、ブロック/マクロブロックごとにデッドゾーン量子化器を適合させる/変更することにより、符号化効率の向上を実現することができる。例えば、各量子化ビン(bin)のカバレッジを適合させ(例えば、x軸に沿って)、ただし、再構成値を変更しないことによって行うことが可能である。例えば、デッドゾーン量子化器202を図2のデッドゾーン量子化器204、206、および208(b、c、およびd)のそれぞれと比較されたい。この場合、再構成値は、符号化されたデータの全体で一定のままであることが可能である。もちろん、これは、量子化パラメータの変更が指示されない限りでのことである。例えば、ゼロビン(図2(c))を増大させることにより、より多くのデータがゼロビンに割り当てられ、したがって、圧縮スキームに応じて、より高い圧縮比が実現される。再構成値は、変化がないので、復号器上で量子化器の変更を指示する必要性は、明らかに存在しない。これにより、量子化のパフォーマンスが損なわれると論じることは可能であるが、そのようなプロセスが、ある条件が満たされるときに選択的に、例えば、新しい量子化器を使用して実現される圧縮比が、被る歪みより相当に高い場合に行われる場合、この議論は、必ずしも常に真実ではない。
図2(b)で、例えば、デッドゾーン量子化器は、第1の正/負のビンではなく、ゼロビンにだけ影響を与え、すべての他のビンには、変化がなく、使用される再構成値に変化は全くない。デッドゾーンの適応推定を使用する適応スキームも可能である(例えば、レート歪み最適化および適応推定を使用して)。
本発明の実施形態によれば、圧縮/符号化システムにおいて、少なくとも1つの特性またはパラメータに基づいて異なるデッドゾーン量子化器(または量子化値)のなかから選択を行う量子化選択論理が提供される。例えば、この論理は、あるイメージ特性に従って異なるデッドゾーン量子化器202、204、206、および208のなかから選択を行うことが可能である。
より詳細には、この論理は、イメージデータ内のテクスチャおよび/またはエッジを「より重要な」情報を表わすものと特徴付け、そのようなデータをより高い品質レベルを提供する形で符号化するように構成される。この論理は、従来のテクスチャ解析/検出アルゴリズムおよびエッジ検出アルゴリズムを使用してそのような判定プロセスをサポートすることができる。
以上の概念に留意して、図3は、本発明の実施形態によるデータに異なる量子化プロセスを選択的に適用するための方法300を例示する流れ図である。動作302で、初期データセットが、データの複数の部分に分割される。例えば、イメージデータまたはビデオデータが、複数のブロック、マクロブロック、スリット、スライス、セクション等に分割されることが可能である。動作304で、動作302からのデータの複数の部分の少なくとも1つが、例えば、少なくとも1つの特性またはパラメータに基づき、何らかの形で分類される。例えば、この分類は、エッジ特性、テクスチャ特性、平滑性特性、輝度特性、クロミナンス特性、カラー特性、雑音特性、オブジェクト特性、動き特性、ユーザ選好特性、ユーザインターフェースフォーカス特性、階層化特性、タイミング特性、ボリューム特性、周波数特性、ピッチ特性、トーン特性、品質特性、ビットレート特性、データタイプ特性、解像度特性、暗号化特性に基づくことが可能である。
動作306では、動作304からの分類された部分が、複数の量子化プロセスの少なくとも2つを使用して処理されて、対応する量子化されたデータが生成される。
動作308では、動作306からの量子化されたデータの1つが、例えば、動作304で使用された分類パラメータに関連する少なくとも1つのしきい値または測定値を満たすことに基づいて選択される。
動作310では、動作308からの量子化されたデータが、後の復号化を可能にする何らかの形で符号化される。
方法300を使用して、基本的にイメージデータまたはビデオデータの部分を解析して、ある部分を他の部分よりも重要であると見なす論理が提供される。次に、異なるデッドゾーン量子化器が、そのより重要なデータ部分に適用され、結果の量子化されたデータが解析されて、どのデッドゾーン量子化器がそのより重要なデータに関する所望のしきい値要件を満たすかが判定される。例えば、品質しきい値要件または雑音しきい値要件を実施することが可能である。
他の例として、ビデオシーケンスにおいて、エッジが、しばしば、動き補償技術において重要な役割をする。例えば、以下、図7に描いたブロック図に基づいて詳細に説明する。基本的に、イメージ(フレーム)、またはイメージ(フレーム)の部分に対してイメージ解析を行うことが可能であり、その解析に従って、複数のデッドゾーン量子化器のどの1つが、例えば、レート歪み最適化(RDO)基準に従って使用するのに最適であるかを判定することができる。
図4を参照すると、論理400が、本発明の実施形態によるオンザフライ(on−the−fly)判定プロセスを示している。この場合、入力フレーム/イメージ(または入力フレーム/イメージの部分)が、ブロック402でイメージ解析を受ける。この例では、イメージ解析は、エッジ検出および/またはテクスチャ解析機能を含み、その出力が、デッドゾーン判定ブロック404に提供される。次に、デッドゾーン判定ブロック404により、符号器406が、入力フレーム/イメージ(または入力フレーム/イメージの部分)を符号化する際、指定された、または別の仕方で選択されたデッドゾーン量子化器を使用するようにさせられる。
デッドゾーン量子化器に関するオンザフライの判定を行う代わりに、図5の論理500は、複数のデッドゾーン量子化器が使用され、あるしきい値基準に従ってRDO判定が行われる方法300をサポートするように構成されることが可能である。この場合、入力マクロブロック(MB)/イメージ502(またはその他の同様な部分)が、(選択的に)異なるデッドゾーン符号化ブロック504、506、508、および/または510に提供され、以上の様々なデッドゾーン符号化ブロックからの出力が、RDO判定ブロック512で解析され、選択された符号化されたデータが出力される。この例で示すとおり、デッドゾーン符号化ブロック/プロセスのいくつか、またはすべてが、並列に行われることが可能である。その他の実施形態では、そのようなプロセスが、順次に行われるようにタイミング設定されることが可能である。
図6(a)および図6(b)は、選択的な記録判定プロセスが使用される論理を示す。図6(a)で、例えば、入力MB/イメージ502が、デッドゾーン符号化ブロック602および604に提供される。記録判定ブロック606は、デッドゾーン符号化ブロック602からの出力を考慮し、デッドゾーン符号化ブロック602および604の出力の間の選択608に影響を与える。また、記録判定ブロック606は、デッドゾーン符号化ブロック604を選択的に開始することもできる。図6(b)で、論理610は、論理600と同様であるが、選択608が記録判定ブロック606に関連付けられるのではなく、デッドゾーン符号化ブロック602および604からの出力を解析し、どれを出力するかを決めるように構成されたRDO判定ブロック612を含む。
図6(a,b)の記録判定ブロック606は、様々な基準に基づいて判定を行うように構成されることが可能である。例えば、いくつかの実施形態では、品質限度、レート限度、および/またはその他のRDO概念/しきい値が考慮されることが可能である。
また、例えば、レート/品質が特定のしきい値を超えているなどの、いくつかの事前に定義された条件が満たされた場合にだけ、さらなるデッドゾーン量子化器を使用することも可能である。いくつかの例示的な実験では、元のデッドゾーン量子化器よりもおよそ30%大きいデッドゾーンを有するデッドゾーン量子化器が、うまくに選択された。AC周波数またはエッジタイプなどのイメージ特性による他の可能な適応型のデッドゾーン量子化器も使用することが可能である。
図7において、例示的な符号化論理700は、初期イメージ702(または初期イメージ702の部分)が、どのようにイメージ解析プロセス704に従って処理されて、この例では、エッジ検出データ706が生成されるかを例示的に提示している。エッジ検出データ706は、次に、ブロック分類プロセス708に提供されてブロック分類されたデータ710が生成される。ブロック分類されたデータ710は、次に、初期データ702とともに、イメージ符号化プロセス712に提供され、プロセス712は、符号化されたイメージ714を生成する。これは、イメージに関する簡単な符号化プロセスの一例である。この場合、イメージは、解析され(例えば、エッジ検出アルゴリズムを使用して)、ブロックが、その情報に従って分類される。基本的に、マクロブロックで、位置(i,j)で割り当てられた量子化器(QP)に、後に適切なデッドゾーン(DZ)を割り当てるN−アレイのマトリックス(DZ)が定義される(Nは、定義されるデッドゾーンの数に依存する)。
非残余モードの考察(例えば、Bフレーム直接モードに関する)
以上の説明は、静止イメージを主に中心的に扱っているように思われる可能性があるが、同じ概念をビデオにも容易に適用することが可能である。例えば、ビデオ圧縮においても同様に、イメージ事前解析およびデッドゾーン量子化器をかなり単純な仕方で使用することができる。
極めて興味深く思われ、前述した概念が相当に有益となることが可能なケースが、Bフレーム内における直接モードの使用である。直接モードは、基本的に、動きパラメータの伝送を全く必要としない特別モードである。というのは、動きパラメータは、空間的予測または時間的予測を介して直接に予測することができるからである。直接モードに関するさらなる情報を見ることができる(米国仮特許出願第60/385,965号明細書)。
伝送されるべき残余が全く存在しない場合、本発明のいくつかのさらなる態様による、本明細書で非残余直接モードと呼ぶ特別モードの使用によってさらに効率を向上させることが可能である。以下に説明するとおり、非残余直接モードは、ランレングス符号化(RLC)戦略を活用するように構成されることが可能である。この場合、例えば、被る歪みが十分に小さく、RLCのより高い効率に起因するビットレートの低下が十分に大きい場合、デッドゾーン量子化器が、所望の解決策を提供することが可能である。基本的な考え方は、ある条件下で、直接モードが、残余が存在していても、残余なしに符号化されるようにする、または別の形でそれを強制することである。例えば、図9に示した、すべての他の利用可能なモードとの比較で、非残余直接モードもRDOプロセス中に検討される図5と同様の概念に基づくスキームを実施することが可能である。いくつかの場合では、そのようなスキームのパフォーマンスは、使用されるRDOがそのようなケースに対して不十分であるため、予期されるほど良好ではない可能性がある。ブロッキングアーチファクト(blocking artifact)を除去するのに使用されるループ内フィルタ(図示せず)などの量子化値に依存するその他のプロセスも影響を受ける。より具体的には、パフォーマンスは、低い方のビットレートで良好であるように見えるが、高い方のビットレートで相当に低下する可能性がある。すなわち、そのパフォーマンスは、より大きい量子化器を使用し、非残余直接モードを考慮しないことによるパフォーマンスにさえ劣る可能性がある。
イメージの例で行われたのと同様に、本発明のいくつかの態様によれば、論理は、いくつかの事前に定義された条件が満たされた場合にだけ、詳細には、直接モードに関連する残余が多くない場合にだけ、直接モードを考慮するように構成されることが可能である。論理は、例えば、直接モードの符号化されたブロックパターン(CBP)を検査することによる残余の量の推定を条件として使用するように構成されることが可能である。CBPが、クロミナンス情報を考慮せずに、特定のしきい値を下回る場合、これは、残余がそれほど多くなく、スキップしても被る歪みはそれほど大きくない可能性があることを意味するものと見なすことが可能である。さらに、エッジやテクスチャが存在しないことなどのその他のイメージ特性も、そのようなビデオ符号化プロセス/論理の中で使用することが可能である。
本発明の実施形態では、論理は、すべての輝度残余をそのままに保ちながら、クロミナンス残余だけを除去することが可能であるかどうかを調べることにより、以上のことをさらに拡張することが可能である。また、この概念をマクロブロックに対するすべての可能なモードに拡張すること、つまり、そのモードに関して残余を全く送らない、またはクロミナンスを送らないことにより、より高いパフォーマンスがもたらされるかどうかを調べることも可能である。ただし、明らかに、これにより、符号化の複雑さがさらに増す可能性がある。
図9を参照すると、論理900が、どのように入力MB/イメージ902が異なる直接モード(Bフレーム)符号化プロセスブロック、またはコピーモード(フレーム間)符号化プロセスブロック902、904、906、および908に提供され、またどのように以上のプロセスブロックからの出力が、適切な出力を選択するフレームベースのRDO判定ブロック910に提供されるかを示している。
図10に関して、論理1000は、スキーム判定ブロック1002および選択1004が、ユーザ入力、アプリケーション、システム要件等に依存して、どのように追加の選択可能性を提供するように含まれることが可能であるかをさらに示している。この場合、スキーム判定ブロック1002は、入力MB/イメージを1つまたは複数の直接モード(Bフレーム)符号化プロセスブロック、またはコピーモード(フレーム間)符号化プロセスブロック902、904、906、および908に選択的に提供する。選択1004は、スキーム判定ブロック1002、またはその他のプロセス/論理/入力によって制御されることが可能である。
Bフレームに対するラグランジュ乗数の例示的な使用
RDO技術は、しばしば、ラグランジュ乗数の概念に基づいている。例えば、歪みとビットレートを併せて最小限に抑える特定のモードが選択されることが可能である。
そのような関数は、
J(Mode|QP,λ)=SSD(Mode|QP)+λ・R(Mode|QP)
の最小化として表わすことができ、ただし、QPは、マクロブロック量子化器であり、λは、モード判定関するラグランジュ乗数であり、またModeは、RDOプロセス中に検討され、場合により、選択されるマクロブロックモードを示す。
例として、いくつかの実施形態では、ラグランジュ乗数λは、以下のとおり、フレーム間、またはフレーム内に対して選択することが可能であり、
Figure 0004662697
または
Figure 0004662697
一方、Bフレーム内では、JVTなどのほとんどのコーデックにおいて、λ=4×λi,Pであるように選択される。
λのさらなる重み付けは、より低いオーバーヘッドのモードに選好するために行った。というのは、特にBフレームに関して、モードは、伝送される複数の動き情報に起因する大きいオーバーヘッドを有する可能性がある一方で、直接モードなどのより低いオーバーヘッドモードは、それでも、RDOの見地から、非常に良好なパフォーマンスを提供することが可能であるからである。
ただし、本発明によるいくつかの実験に基づき、重み付けは、前述したように一定であってはならず、やはり、量子化QP値に依存すべきことが分かっている。
詳細には、λ=f(QP)×λi,Pと定義した場合、以上の実験から、固定のf(QP)=4のケースよりはるかに良好な圧縮効率で使用することが可能な2つのf(QP)関数は、以下のとおりである。
Figure 0004662697
および
Figure 0004662697
また、以上の所見は、非常に高いλを有することにより、例えば、動き予測の精度などの、他の重要な情報の精度にも影響が及ぶ可能性があり、したがって、周囲のマクロブロックの符号化にも悪影響が与えられる可能性があることからももたらされる。
予測依存MBモードの適応タイプ選択の使用
同時係属の米国特許出願に記載したとおり、シーケンスおよびフレームは、異なるタイプの主要な動き相関を有することが可能である(米国仮特許出願第60/385,965号明細書,米国仮特許出願第60/376,005号明細書,米国特許出願第10/186,284号明細書)。
詳細には、静止した背景における一定の速度を有する小さいオブジェクトの場合、時間的に隣接するフレーム(時間領域)からの動きベクトル(MV)の使用により、より良好な予測を行い、より高いパフォーマンスをもたらすことができるようになる。平滑な動きを有するより大きいオブジェクトは、代わりに、空間領域(隣接するマクロブロック)の中でより高い相関を有することが可能であり、他方、その他のケースでは、空間領域と時間領域の両方からの情報が、予測のために重要である可能性がある。このタイプの相関は、例えば、BフレームおよびPフレームの中で直接モードにおいて、またPフレームの中で動きベクトル予測子のスキップ(Skip on Motion Vector Predictor)においてある程度、利用される。Pフレームの中の動きベクトル予測子のスキップに関するさらなる情報を参照されたい(例えば、非特許文献2参照)。したがって、論理が、どのタイプの予測が異なるフレームにおいて優勢であるかを何らかの仕方で示す場合、大幅に向上したパフォーマンスを実現することが可能である。
したがって、本発明の実施形態によれば、符号化論理は、フレーム、スライス、または何らかの他の同様なレベルにおいて、予測依存モードに関するどの予測スキームが使用されるべきかを何らかの仕方で示す、または特定するように構成される。JTVにおける例として、これを実現するための1つの例示的な構文を図8のチャート800に提示している。この構文は、もちろん、他の符号化設計において変更されること/異なることも可能である。
チャート800における例示的な構文に関して、Pフレームスキップモードに対して、三つ(3)の可能な予測ケースが許されている。この例では、動きコピー予測モード、時間的予測スキップモード、およびゼロスキップモードである。以上のケースのそれぞれに、この例では、u(2)=2ビットである固定サイズのコードワードを使用して符号化されることが可能な、あるいはエントロピー符号化される(例えば、UVLCまたはCABACを使用するe(v))ことさえある{0,1,2}の範囲の値が割り当てられる。そのような情報を伝送する他の手立ても使用できることが、当分野の技術者には認められよう。チャート800では、JTVにおけるピクチャ層RBSP構文に、Bフレームに関する適応型の空間的/空間−時間的考慮(direct_mv_spatial)、およびフレーム間における適応型コピー/動きコピースキップモード(copy_mv_spatial)を加えて示している。以上2つのモードだけが使用される場合、定義された記述子は、1ビットだけをとり、したがって、u(n=1)であることが可能であるが、より多くのケースが使用される場合(ゼロのバイアスを有する空間的予測、または静止の時間的予測の考慮)、より多くのビットが割り当てられる(n>1)ことが可能であり、あるいはe(v)で定義されるそのパラメータに関するエントロピー符号化を使用することさえ可能である。
Bフレームに関して、この例では、すべての直接モード動きパラメータに関して1つのモードとして空間的動きベクトル予測を使用することが可能である。例えば、同時係属の米国仮特許出願に記載したその他の直接モードも、考慮する/含めることが可能である(例えば、米国仮特許出願第60/385,965号明細書)。符号化論理は、フレームレベルまたはスライスレベルでどの予測モードを使用すべきかを示すように構成される。この選択は、例えば、RDOベースのスキーム(例えば、図9)を使用して行われることが可能である。いくつかの実施形態では、符号化論理は、符号器および/または復号器に課せられた特定の要件に明示的に起因する特定のモードを使用することも可能である。1つの特定の例では、空間的予測が、通常、計算上、より簡単で(例えば、動きベクトルの分割、記憶を全く必要とせず、タイミング情報に対して独立である)あることを考慮して、一部の適用例に関して選好されることが可能である(例えば、図10参照)。
そのような問題が懸案ではないその他の実施形態では、組み合わせにより、さらなる向上した符号化パフォーマンスがもたらされることが可能である。符号化されたシーケンスの一例を図11の例示的な図に示している。この場合、PフレームおよびBフレームが、シーン変化に沿って示されている。矢印で示されるとおり、異なる仕方で指示されるPフレームおよびBフレームが、対応するスキップモード、または直接モードのマクロブロックに関して示されている。また、この指示は、符号化論理が、動きベクトル符号化に関する動きベクトル予測、またはその他のモードの予測(例えば、同時係属の米国特許出願に記載の直接P(米国仮特許出願第60/376,005号明細書,米国特許出願第10/186,284号明細書))をどのように行うべきかについての指示であることが可能である。
図11に示すとおり、異なるフレームは、対応する直接(B)モードおよびスキップ(P)モードに関する異なるタイプの予測を指示する。例えば、P、P、およびPが、ゼロ予測、時間的予測、および空間的(動き−コピー)予測を定義し、またBおよびBSPが、直接モードに関する時間的予測および空間的予測を定義する。
静止の時間的ブロック/空間的ブロックの考慮を伴うタイムスタンプ独立の直接モード
特にBフレームの中の直接モードに関して異なるタイプの予測が、異なるタイプの動きおよびシーケンスに対してより適切である可能性がある。時間的予測または空間的予測だけを使用することにより、一部のケースで、許容可能なパフォーマンスが提供されるが、他のケースでは、パフォーマンスは、大幅に劣る可能性がある。前のセクションで、または同時係属の米国仮特許出願で提示したケースに関して記載した解決策が、さらにより高いパフォーマンスを提供する可能性がある(米国仮特許出願第60/385,965号明細書)。
例として、分割を必要としないことで空間的予測子を単純に保つ傾向にありながら、極めて効率的であるように思われ、時間的予測子と空間的予測子の両方のパフォーマンスを組み合わせ、かつ/またはタイミング独立である1つのさらなるケースを提示する。
いくつかの実施形態では、空間的予測が、時間的予測よりも役立つ(例えば、特性に起因して)可能性がある。したがって、例えば、空間的予測が、直接モードの主な予測として使用される。時間的予測子からの動き情報および基準フレームがゼロであるとき、1つの例外がもたらされる可能性がある。そのような場合、直接モードの対応するブロックに関する動き情報、および基準フレームも、ゼロと見なされる。さらに、空間的予測は、空間的にゼロバイアスである度合い、および/または静止下位区分(stationary subpartition)も考慮することによって精度が高められる。したがって、現在、予測されているブロックに隣接するマクロブロックまたはブロックの任意のもの、またはいくつかが、ゼロの動き(またはゼロに非常に近い(例えば、整数動きベクトルがゼロである))、および基準リファレンスを有する場合、そのマクロブロック全体、またはそのマクロブロックの一部も、ゼロの動きを有するものと見なされる。以上の概念はともに、静止の背景を保護するのに役立ち、静止の背景は、特に動くオブジェクトのエッジで、以上のような条件が導入されない場合、歪みが極めて大きくなる可能性がある。
図12は、16×16のマクロブロックのケースに関して単純化した流れ図1200を示す。直接モードに関して空間的予測を使用する以上の概念は、より小さいブロック(例えば、8×8または4×4)(またはより大きいブロック、またはその他の形状の部分)にも拡張することが可能であることに留意されたい。動作1202で、空間的予測子MV、MV、およびMV、ならびに時間的予測子MVが、動作1204に提供され、MVDirectが、中央値(MV,MV,MV)に設定される。動作1206で、MVDirectがゼロに設定される動作1208か、またはさらなる判定のための動作1210に進むMVに基づく判定が行われる。動作1210の結果として、MVDirectは、動作1208でゼロに設定されて、または変更されずに出力される。
以上の説明では、イメージ、ビデオシーケンス、またはその他のタイプのデータの符号化に関するレート歪み最適化に関連するいくつかの概念を提示した。
例えば、本発明の方法では、複数の異なる量子化関数を使用してデータの少なくとも一部分を処理して、データの複数の対応する量子化された部分を生成すること、および少なくとも1つのしきい値に基づいてデータの量子化された部分の1つを選択的に出力することを含む。また、本発明の方法では、初期データを複数の部分に分割すること、および少なくとも1つの分類特性に基づいてデータのその部分を分類することも含むことが可能である。この場合、例えば、分類特性に関連するしきい値が存在することが可能である。
特に、イメージの先頭で指示されることが可能な、PフレームおよびBフレームのそれぞれの中のスキップモードおよび直接モードなどのケースに関して、いくつかの代替の予測ケースを許容することにより、大幅に高い圧縮効率を可能にするビデオシーケンス内で採用されることが可能な追加の構文を提示した。静止の時間的予測子とともに空間的動きベクトル予測を考慮するBフレームに関する高い効率のタイムスタンプ独立の直接モードを提示した。前述した方法および装置のすべて、または部分を実施して、様々なイメージ/ビデオ/データ符号化システムのパフォーマンスを相当に向上させることが可能である。
本発明の様々な方法および装置のいくつかの好ましい実施形態を添付の図面で例示し、以上の詳細な説明で説明してきたが、本発明は、開示した例示的な実施形態に限定されず、本発明の趣旨を逸脱することなく、多数の再構成、変更、および代替が可能であることが理解されよう。
本発明は、イメージデータ、ビデオデータ、および/またはオーディオデータを含む様々な形態のデータを、圧縮/暗号化する際、伸張/復号化する際、および/または別の形で処理する際に使用することが可能な、改良された方法および装置を提供する。
本発明のいくつかの実施形態で使用するのに適した例示的なデバイスをコンピュータの形態で描いたブロック図である。 本発明のいくつかの実施形態による例示的な選択可能なデッドゾーン量子化器を描いたグラフである。 本発明のいくつかの実施形態による例示的な選択可能なデッドゾーン量子化器を描いたグラフである。 本発明のいくつかの実施形態による例示的な選択可能なデッドゾーン量子化器を描いたグラフである。 本発明のいくつかの実施形態による例示的な選択可能なデッドゾーン量子化器を描いたグラフである。 本発明のいくつかの実施形態による異なる量子化プロセスをデータに選択的に適用するための例示的な方法を示す流れ図である。 本発明のいくつかの実施形態による異なる量子化プロセスをデータに選択的に適用するための例示的な論理を描いたブロック図である。 本発明のいくつかのさらなる実施形態による異なる量子化プロセスをデータに選択的に適用するための例示的な論理を描いたブロック図である。 本発明のさらに別の実施形態による異なる量子化プロセスをデータに選択的に適用するための例示的な論理を描いたブロック図である。 本発明のさらに別の実施形態による異なる量子化プロセスをデータに選択的に適用するための例示的な論理を描いたブロック図である。 本発明のいくつかの実施形態による異なる量子化プロセスをイメージデータに選択的に適用するための例示的な論理を図示したブロック図である。 本発明のいくつかの実施形態による動きベクトルに関する異なる予測方法を選択的に適用するための論理で使用する例示的な構文情報をリストしたチャートである。 本発明のいくつかの実施形態による異なる符号化スキームをビデオデータに選択的に適用するための例示的な論理を描いたブロック図である。 本発明のいくつかのさらなる実施形態による異なる符号化スキームをビデオデータに選択的に適用するための例示的な論理を描いたブロック図である。 本発明のいくつかの実施形態による選択的に適用された符号化スキームを使用するビデオシーケンスのいくつかの特徴を描いた図である。 本発明のいくつかの実施形態による直接モードのビデオシーケンスに関する空間的−時間的予測のための例示的な方法を描いた流れ図である。
符号の説明
120 計算環境
130 コンピュータ
132 処理ユニット
134 システムメモリ
136 バス
138 読取り専用メモリ
140 ランダムアクセスメモリ
142 基本入力/出力システム
144 ハードディスクドライブ
146 磁気ディスクドライブ
148 磁気ディスク
150 光ディスクドライブ
152 光ディスク
154 データ媒体インターフェース
158 オペレーティングシステム
160 アプリケーションプログラム
162 プログラムモジュール
164 プログラムデータ
166 キーボード
168 ポインティングデバイス
170 ユーザ入力インターフェース
172 モニタ
174 ビデオアダプタ
175 出力周辺インターフェース
178 モデム
179 ワイドエリアネットワーク
180 インターネット
186 ネットワーク
189 アプリケーション
977 ローカルエリアネットワーク

Claims (19)

  1. ビデオ符号化のための方法であって、
    ビデオシーケンス内のBピクチャのスライス部について、時間的動きベクトル予測と空間的動きベクトル予測との間の決定を行うステップであって、該決定には、前記スライス部の決定を示す情報を含み、
    前記スライス部の決定を示す情報を信号化するステップであって、該信号化するステップは、前記ビデオシーケンス内のBピクチャのスライス部の1つ又はそれ以上の直接モードマクロブロックに関連する動きの空間的予測を選択的に適用することを容易化するものであり、
    前記空間的予測を選択的に適用するステップは、
    デコーダにおいて、前記情報が前記スライス部についての時間的動きベクトル予測を示す場合には、前記スライス部の前記1つ又はそれ以上の直接モードマクロブロックに関連する動きの時間的予測を使用するステップと、
    デコーダにおいて、前記情報が前記スライス部についての空間的動きベクトル予測を示す場合には、前記スライス部の前記1つ又はそれ以上の直接モードマクロブロックに関連する動きの空間的予測を使用するステップとを具え、
    ここで、前記スライス部の前記1つ又はそれ以上の直接モードマクロブロックの現在直接モードマクロブロックについての空間的予測動きは、複数の隣接部分についての動きベクトル情報に基づいたものであり、
    前記空間的予測は、
    前記隣接部分に応じて前記現在直接モードマクロブロックについての空間的予測動きのために中央値予測を使用するか否かについて示す条件を調べるステップと、
    前記条件が満たされていれば、前記現在直接モードマクロブロックについての空間的予測動きをゼロに設定するステップであって、前記複数の隣接部分の各々についての前記動きベクトル情報が、ゼロに設定された複数の動きベルトル成分を含むとき、前記現在直接モードマクロブロックについての空間的予測動きをゼロに設定するステップと、
    前記条件が満たされていなければ、前記複数の隣接部分についての前記動きベクトル情報に基づいた中央値予測を用いて前記現在直接モードマクロブロックについての空間的予測動きを設定するステップとを含むことを特徴とする方法。
  2. 前記Bピクチャのスライス部は、複数のマクロブロックからなることを特徴とする請求項1記載の方法。
  3. 前記複数のマクロブロックは、1つ又はそれ以上の直接モードマクロブロックからなることを特徴とする請求項2記載の方法。
  4. 前記Bピクチャのスライス部は、複数の16×16マクロブロックからなることを特徴とする請求項1記載の方法。
  5. 前記複数の16×16マクロブロックは、1つ又はそれ以上の直接モードマクロブロックからなることを特徴とする請求項4記載の方法。
  6. 前記1つ又はそれ以上の16×16直接モードマクロブロックは、4つの8×8サブブロックを含むことを特徴とする請求項5記載の方法。
  7. 前記複数の隣接部分についての動きベクトル情報は、輝度動きベクトル情報を含むことを特徴とする請求項1記載の方法。
  8. 前記スライス部の前記現在直接モードマクロブロックについて、前記現在直接モードマクロブロックが、残余モード又は非残余モードにおいて符号化されているか否かを決定するステップをさらに具えたことを特徴とする請求項1記載の方法。
  9. ビデオ復号化のための方法であって、
    ビデオシーケンス内のBピクチャのスライス部について、時間的動きベクトル予測と空間的動きベクトル予測との間の決定を示す情報を受信するステップと、
    ここで、前記情報は、前記スライス部の1つ又はそれ以上の直接モードマクロブロックについて、前記ビデオシーケンス内のBピクチャのスライス部の1つ又はそれ以上の直接モードマクロブロックに関連する動きの空間的予測を選択的に適用することを容易化するものであり、
    前記1つ又はそれ以上の直接モードマクロブロックに関して、前記情報が前記スライス部についての時間的動きベクトル予測を示す場合には、前記スライス部の前記1つ又はそれ以上の直接モードマクロブロックに関連する動きの時間的予測を使用するステップと、
    前記1つ又はそれ以上の直接モードマクロブロックに関して、前記情報が前記スライス部についての空間的動きベクトル予測を示す場合には、前記スライス部の前記1つ又はそれ以上の直接モードマクロブロックに関連する動きの空間的予測を使用するステップとを具え、
    ここで、前記スライス部の前記1つ又はそれ以上の直接モードマクロブロックの現在直接モードマクロブロックについての空間的予測動きは、複数の隣接部分についての動きベクトル情報に基づいたものであり、
    前記空間的予測は、
    前記隣接部分に応じて前記現在直接モードマクロブロックについての空間的予測動きのために中央値予測を使用するか否かについて示す条件を調べるステップと、
    前記条件が満たされていれば、前記現在直接モードマクロブロックについての空間的予測動きをゼロに設定するステップであって、前記複数の隣接部分の各々についての前記動きベクトル情報が、ゼロに設定された複数の動きベルトル成分を含むとき、前記現在直接モードマクロブロックについての空間的予測動きをゼロに設定するステップと、
    前記条件が満たされていなければ、前記複数の隣接部分についての前記動きベクトル情報に基づいた中央値予測を用いて前記現在直接モードマクロブロックについての空間的予測動きを設定するステップとを含むことを特徴とする方法。
  10. 前記Bピクチャのスライス部は、複数のマクロブロックからなることを特徴とする請求項9記載の方法。
  11. 前記複数のマクロブロックは、前記1つ又はそれ以上の直接モードマクロブロックからなることを特徴とする請求項10記載の方法。
  12. 前記Bピクチャのスライス部は、複数の16×16マクロブロックからなることを特徴とする請求項1記載の方法。
  13. 前記複数の16×16マクロブロックは、前記1つ又はそれ以上の直接モードマクロブロックからなることを特徴とする請求項12記載の方法。
  14. 前記1つ又はそれ以上の16×16直接モードマクロブロックは、4つの8×8サブブロックを含むことを特徴とする請求項13記載の方法。
  15. 前記複数の隣接部分についての動きベクトル情報は、輝度動きベクトル情報を含むことを特徴とする請求項9記載の方法。
  16. 前記現在直接モードマクロブロックが、残余モード又は非残余モードにおいて符号化されたか否かを決定するステップをさらに具えたことを特徴とする請求項9記載の方法。
  17. 請求項1ないし16のいずれかに記載の方法を実行するためのコンピュータ実行可能な命令を有するコンピュータプログラム。
  18. コンピュータによって実行される請求項17記載のコンピュータプログラムを有するコンピュータ読取り可能な記録媒体。
  19. 請求項1ないし16のいずれかに記載の方法を実行することが可能なコンピュータ制御装置。
JP2003181889A 2002-07-05 2003-06-25 データ圧縮のための改良された最適化技術 Expired - Lifetime JP4662697B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US39389402P 2002-07-05 2002-07-05

Publications (3)

Publication Number Publication Date
JP2004254274A JP2004254274A (ja) 2004-09-09
JP2004254274A5 JP2004254274A5 (ja) 2008-05-15
JP4662697B2 true JP4662697B2 (ja) 2011-03-30

Family

ID=29720452

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003181889A Expired - Lifetime JP4662697B2 (ja) 2002-07-05 2003-06-25 データ圧縮のための改良された最適化技術

Country Status (7)

Country Link
US (1) US7280700B2 (ja)
EP (2) EP1379090A3 (ja)
JP (1) JP4662697B2 (ja)
KR (2) KR100965703B1 (ja)
CN (1) CN100394447C (ja)
BR (1) BR0301992A (ja)
HK (1) HK1156454A1 (ja)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003035B2 (en) * 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
JP4019790B2 (ja) * 2002-05-23 2007-12-12 富士ゼロックス株式会社 画像処理装置および画像処理プログラム
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7280700B2 (en) 2002-07-05 2007-10-09 Microsoft Corporation Optimization techniques for data compression
US7154952B2 (en) 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
CN1206864C (zh) * 2002-07-22 2005-06-15 中国科学院计算技术研究所 结合率失真优化的码率控制的方法及其装置
US7609763B2 (en) * 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
CN1910934B (zh) * 2004-01-30 2011-07-06 汤姆森许可贸易公司 自适应速率控制编码器
EP1564997A1 (en) * 2004-02-12 2005-08-17 Matsushita Electric Industrial Co., Ltd. Encoding and decoding of video images based on a quantization with an adaptive dead-zone size
US8743956B2 (en) * 2004-02-20 2014-06-03 Nec Corporation Image encoding method, device thereof, and control program thereof
KR100694050B1 (ko) * 2004-06-11 2007-03-12 삼성전자주식회사 움직임 예측 방법 및 그 장치
CN1296824C (zh) * 2004-10-28 2007-01-24 威盛电子股份有限公司 程序编码方法及其系统
WO2006052577A2 (en) * 2004-11-04 2006-05-18 Thomson Licensing Method and apparatus for fast mode decision of b-frames in a video encoder
US8548055B2 (en) * 2005-03-10 2013-10-01 Qualcomm Incorporated Encoding of multimedia data
CN101164336B (zh) * 2005-04-22 2010-06-23 松下电器产业株式会社 影像信息记录装置以及影像信息记录方法
US7859574B1 (en) * 2005-07-19 2010-12-28 Maxim Integrated Products, Inc. Integrated camera image signal processor and video encoder
SG135081A1 (en) * 2006-03-03 2007-09-28 Matrixview Ltd Streaming repetition coded compression
KR100790986B1 (ko) * 2006-03-25 2008-01-03 삼성전자주식회사 가변 비트율 비디오 코딩에서 비트율을 제어하는 장치 및방법
US8503536B2 (en) 2006-04-07 2013-08-06 Microsoft Corporation Quantization adjustments for DC shift artifacts
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
WO2008046492A1 (en) * 2006-10-20 2008-04-24 Dolby Sweden Ab Apparatus and method for encoding an information signal
US7885476B2 (en) * 2006-12-14 2011-02-08 Sony Corporation System and method for effectively performing an adaptive encoding procedure
US8437397B2 (en) * 2007-01-04 2013-05-07 Qualcomm Incorporated Block information adjustment techniques to reduce artifacts in interpolated video frames
DE102007005930A1 (de) * 2007-02-06 2008-08-07 Efficient Energy Gmbh Wärmepuppe, Kleinkraftwerk und Verfahren zum Pumpen von Wärme
US8594187B2 (en) * 2007-03-02 2013-11-26 Qualcomm Incorporated Efficient video block mode changes in second pass video coding
US8498335B2 (en) * 2007-03-26 2013-07-30 Microsoft Corporation Adaptive deadzone size adjustment in quantization
US8243797B2 (en) 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US8442337B2 (en) 2007-04-18 2013-05-14 Microsoft Corporation Encoding adjustments for animation content
WO2008153262A1 (en) 2007-06-15 2008-12-18 Sungkyunkwan University Foundation For Corporate Collaboration Bi-prediction coding method and apparatus, bi-prediction decoding method and apparatus, and recording midium
US8526499B2 (en) * 2007-06-15 2013-09-03 Sungkyunkwan University Foundation For Corporate Collaboration Bi-prediction coding method and apparatus, bi-prediction decoding method and apparatus, and recording medium
US8116581B2 (en) * 2007-06-28 2012-02-14 Microsoft Corporation Efficient image representation by edges and low-resolution signal
US8254455B2 (en) 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
US8982951B2 (en) * 2008-03-10 2015-03-17 Mediatek Inc. Adaptive motion estimation coding
CN101552924B (zh) * 2008-03-31 2011-08-03 深圳市融创天下科技发展有限公司 一种用于视频编码的空间预测方法
US20090262801A1 (en) * 2008-04-17 2009-10-22 Qualcomm Incorporated Dead zone parameter selections for rate control in video coding
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US8204964B2 (en) * 2008-08-06 2012-06-19 Microsoft Corporation Efficient size optimization of visual information or auditory information
KR101271512B1 (ko) 2008-09-16 2013-06-05 돌비 레버러토리즈 라이쎈싱 코오포레이션 적응형 비디오 인코더 제어 방법
KR100957073B1 (ko) * 2008-11-19 2010-05-13 고려대학교 산학협력단 지문영상의 품질에 기초한 선택적 영상압축장치 및 방법, 그리고 이를 이용한 인증장치
US8189666B2 (en) 2009-02-02 2012-05-29 Microsoft Corporation Local picture identifier and computation of co-located information
KR102333204B1 (ko) * 2009-08-12 2021-12-02 인터디지털 브이씨 홀딩스 인코포레이티드 개선된 인트라 색차 엔코딩 및 디코딩을 위한 방법 및 장치
MX2013001659A (es) 2010-09-24 2013-03-21 Panasonic Corp Metodo de codificacion de imagen, metodo de decodificacion de imagen, aparato de codificacion de imagen, y aparato de decodificacion de imagen.
US8371941B2 (en) 2010-12-06 2013-02-12 SRM Institute of Science and Technology System and method for game state reduction
US9877019B2 (en) * 2011-01-03 2018-01-23 Hfi Innovation Inc. Method of filter-unit based in-loop filtering
KR20120084168A (ko) * 2011-01-19 2012-07-27 삼성전자주식회사 비디오 인코딩 모드 선택 방법 및 이를 수행하는 비디오 인코딩 장치
US20120294353A1 (en) 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and Method of Sample Adaptive Offset for Luma and Chroma Components
US9112526B2 (en) * 2011-06-15 2015-08-18 Sony Corporation Binarization of DQP using separate absolute value and sign (SAVS) in CABAC
US8711928B1 (en) 2011-10-05 2014-04-29 CSR Technology, Inc. Method, apparatus, and manufacture for adaptation of video encoder tuning parameters
CN102883163B (zh) * 2012-10-08 2014-05-28 华为技术有限公司 用于运动矢量预测的运动矢量列表建立的方法、装置
KR101757341B1 (ko) 2013-01-29 2017-07-14 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베. 저-복잡도 음조-적응 오디오 신호 양자화
EP3014774A4 (en) * 2013-06-24 2017-04-05 Intel Corporation Dynamic compression/decompression (codec) configuration
CN104486503B (zh) * 2014-12-16 2016-04-13 努比亚技术有限公司 一种移动终端及其语音加密的方法
CN106878727A (zh) * 2016-12-31 2017-06-20 深圳市共进电子股份有限公司 视频数据处理方法及装置
EP3429207A1 (en) * 2017-07-13 2019-01-16 Thomson Licensing A method and apparatus for encoding/decoding a colored point cloud representing the geometry and colors of a 3d object
CN110213593B (zh) * 2018-05-25 2023-01-24 腾讯科技(深圳)有限公司 一种运动矢量的确定方法、编码压缩方法和相关装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000307672A (ja) * 1999-04-26 2000-11-02 Oki Electric Ind Co Ltd 符号化情報受信復号装置
JP2001025014A (ja) * 1999-05-24 2001-01-26 Agilent Technol Inc 圧縮されたマルチメディア通信を復号化するための、並びにマルチメディア通信の品質を評価するための方法及び装置

Family Cites Families (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US186284A (en) 1877-01-16 Improvement in plow-stocks
JPS56128070A (en) 1980-03-13 1981-10-07 Fuji Photo Film Co Ltd Band compressing equipment of variable density picture
JPS60158786A (ja) 1984-01-30 1985-08-20 Kokusai Denshin Denwa Co Ltd <Kdd> 画像動き量検出方式
US4661849A (en) 1985-06-03 1987-04-28 Pictel Corporation Method and apparatus for providing motion estimation signals for communicating image sequences
US4661853A (en) 1985-11-01 1987-04-28 Rca Corporation Interfield image motion detector for video signals
FR2599577B1 (fr) 1986-05-29 1988-08-05 Guichard Jacques Procede de codage par transformation pour la transmission de signaux d'image.
NL8700565A (nl) 1987-03-10 1988-10-03 Philips Nv Televisiesysteem waarin aan een transformatiekodering onderworpen gedigitaliseerde beeldsignalen worden overgebracht van een kodeerstation naar een dekodeerstation.
DE3855114D1 (de) 1987-05-06 1996-04-25 Philips Patentverwaltung System zur Übertragung von Videobildern
DE3854337T2 (de) 1987-06-09 1996-02-01 Sony Corp Bewegungskompensierte Interpolation von digitalen Fernsehbildern.
EP0294962B1 (en) 1987-06-09 1995-07-19 Sony Corporation Motion vector estimation in television images
FR2648254B2 (fr) 1988-09-23 1991-08-30 Thomson Csf Procede et dispositif d'estimation de mouvement dans une sequence d'images animees
US4985768A (en) 1989-01-20 1991-01-15 Victor Company Of Japan, Ltd. Inter-frame predictive encoding system with encoded and transmitted prediction error
JPH07109990B2 (ja) 1989-04-27 1995-11-22 日本ビクター株式会社 適応型フレーム間予測符号化方法及び復号方法
JPH0832047B2 (ja) 1989-04-28 1996-03-27 日本ビクター株式会社 予測符号化装置
USRE35910E (en) 1989-05-11 1998-09-29 Matsushita Electric Industrial Co., Ltd. Moving image signal encoding apparatus and decoding apparatus
EP0713340B1 (en) 1989-10-14 2001-08-22 Sony Corporation Video signal coding/decoding method and apparatus
JP2787599B2 (ja) 1989-11-06 1998-08-20 富士通株式会社 画像信号符号化制御方式
NL9000424A (nl) 1990-02-22 1991-09-16 Philips Nv Overdrachtsysteem voor gedigitaliseerde televisiebeelden.
JPH082107B2 (ja) 1990-03-02 1996-01-10 国際電信電話株式会社 動画像のハイブリッド符号化方法及びその装置
JPH03265290A (ja) 1990-03-14 1991-11-26 Toshiba Corp テレビジョン信号走査線変換器
US5103306A (en) 1990-03-28 1992-04-07 Transitions Research Corporation Digital image compression employing a resolution gradient
US5091782A (en) 1990-04-09 1992-02-25 General Instrument Corporation Apparatus and method for adaptively compressing successive blocks of digital video
US5068724A (en) 1990-06-15 1991-11-26 General Instrument Corporation Adaptive motion compensation for digital television
US5175618A (en) 1990-10-31 1992-12-29 Victor Company Of Japan, Ltd. Compression method for interlace moving image signals
USRE35093E (en) 1990-12-03 1995-11-21 The Trustees Of Columbia University In The City Of New York Systems and methods for coding even fields of interlaced video sequences
JP3119888B2 (ja) 1991-04-18 2000-12-25 松下電器産業株式会社 信号処理方法及び記録再生装置
JP3226539B2 (ja) 1991-05-24 2001-11-05 ブリティッシュ・ブロードキャスティング・コーポレーション ビデオ画像処理
US5467136A (en) 1991-05-31 1995-11-14 Kabushiki Kaisha Toshiba Video decoder for determining a motion vector from a scaled vector and a difference vector
US5317397A (en) 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
US5539466A (en) 1991-07-30 1996-07-23 Sony Corporation Efficient coding apparatus for picture signal and decoding apparatus therefor
JP2699703B2 (ja) 1991-07-31 1998-01-19 松下電器産業株式会社 動き補償予測方法とそれを用いた画像信号符号化方法
JPH0541862A (ja) 1991-08-03 1993-02-19 Sony Corp 動きベクトルの可変長符号化方式
US5428396A (en) 1991-08-03 1995-06-27 Sony Corporation Variable length coding/decoding method for motion vectors
JP2507204B2 (ja) 1991-08-30 1996-06-12 松下電器産業株式会社 映像信号符号化装置
JP2586260B2 (ja) 1991-10-22 1997-02-26 三菱電機株式会社 適応的ブロッキング画像符号化装置
JP2962012B2 (ja) 1991-11-08 1999-10-12 日本ビクター株式会社 動画像符号化装置及びその復号装置
US5231484A (en) * 1991-11-08 1993-07-27 International Business Machines Corporation Motion video compression system with adaptive bit allocation and quantization
US5510840A (en) 1991-12-27 1996-04-23 Sony Corporation Methods and devices for encoding and decoding frame signals and recording medium therefor
CA2088082C (en) * 1992-02-07 1999-01-19 John Hartung Dynamic bit allocation for three-dimensional subband video coding
US5594813A (en) 1992-02-19 1997-01-14 Integrated Information Technology, Inc. Programmable architecture and methods for motion estimation
US5293229A (en) 1992-03-27 1994-03-08 Matsushita Electric Corporation Of America Apparatus and method for processing groups of fields in a video data compression system
KR0166716B1 (ko) 1992-06-18 1999-03-20 강진구 블럭 dpcm을 이용한 부호화/복호화방법 및 장치
US5666461A (en) 1992-06-29 1997-09-09 Sony Corporation High efficiency encoding and decoding of picture signals and recording medium containing same
KR0166722B1 (ko) 1992-11-30 1999-03-20 윤종용 부호화 및 복호화방법 및 그 장치
US5467134A (en) 1992-12-22 1995-11-14 Microsoft Corporation Method and system for compressing video data
US5400075A (en) 1993-01-13 1995-03-21 Thomson Consumer Electronics, Inc. Adaptive variable length encoder/decoder
ES2431289T3 (es) 1993-03-24 2013-11-25 Sony Corporation Método de decodificación de señal de imagen y aparato asociado
US5442400A (en) 1993-04-29 1995-08-15 Rca Thomson Licensing Corporation Error concealment apparatus for MPEG-like video data
EP0625853B1 (en) 1993-05-21 1999-03-03 Nippon Telegraph And Telephone Corporation Moving image encoder and decoder
US5448297A (en) 1993-06-16 1995-09-05 Intel Corporation Method and system for encoding images using skip blocks
US5477272A (en) 1993-07-22 1995-12-19 Gte Laboratories Incorporated Variable-block size multi-resolution motion estimation scheme for pyramid coding
US5734755A (en) 1994-03-11 1998-03-31 The Trustees Of Columbia University In The City Of New York JPEG/MPEG decoder-compatible optimized thresholding for image and video signal compression
TW283289B (ja) 1994-04-11 1996-08-11 Gen Instrument Corp
US5796438A (en) 1994-07-05 1998-08-18 Sony Corporation Methods and apparatus for interpolating picture information
US5594504A (en) 1994-07-06 1997-01-14 Lucent Technologies Inc. Predictive video coding using a motion vector updating routine
KR0126871B1 (ko) 1994-07-30 1997-12-29 심상철 양방향 이동벡터 추정을 위한 고속 블럭정합 방식
JP3474005B2 (ja) 1994-10-13 2003-12-08 沖電気工業株式会社 動画像符号化方法及び動画像復号方法
US5659626A (en) * 1994-10-20 1997-08-19 Calspan Corporation Fingerprint identification system
US5623311A (en) 1994-10-28 1997-04-22 Matsushita Electric Corporation Of America MPEG video decoder having a high bandwidth memory
EP0710033A3 (en) 1994-10-28 1999-06-09 Matsushita Electric Industrial Co., Ltd. MPEG video decoder having a high bandwidth memory
US5619281A (en) 1994-12-30 1997-04-08 Daewoo Electronics Co., Ltd Method and apparatus for detecting motion vectors in a frame decimating video encoder
KR0171118B1 (ko) 1995-03-20 1999-03-20 배순훈 비디오신호 부호화 장치
KR0181027B1 (ko) 1995-03-20 1999-05-01 배순훈 화소 단위 움직임 추정을 이용하는 영상처리 시스템
US5724453A (en) 1995-07-10 1998-03-03 Wisconsin Alumni Research Foundation Image compression system and method having optimized quantization tables
US5764807A (en) * 1995-09-14 1998-06-09 Primacomp, Inc. Data compression using set partitioning in hierarchical trees
US5883678A (en) 1995-09-29 1999-03-16 Kabushiki Kaisha Toshiba Video coding and video decoding apparatus for reducing an alpha-map signal at a controlled reduction ratio
US5959673A (en) 1995-10-05 1999-09-28 Microsoft Corporation Transform coding of dense motion vector fields for frame and object based video coding applications
JPH09107547A (ja) 1995-10-09 1997-04-22 Hitachi Ltd 既圧縮動画データ量削減装置および既圧縮動画データ量削減システムならびに既圧縮動画データ量削減方法
US5929940A (en) 1995-10-25 1999-07-27 U.S. Philips Corporation Method and device for estimating motion between images, system for encoding segmented images
US6192081B1 (en) 1995-10-26 2001-02-20 Sarnoff Corporation Apparatus and method for selecting a coding mode in a block-based coding system
US5963673A (en) 1995-12-20 1999-10-05 Sanyo Electric Co., Ltd. Method and apparatus for adaptively selecting a coding mode for video encoding
US6055012A (en) 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
US5787203A (en) 1996-01-19 1998-07-28 Microsoft Corporation Method and system for filtering compressed video images
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US5982438A (en) 1996-03-22 1999-11-09 Microsoft Corporation Overlapped motion compensation for object coding
US5933546A (en) * 1996-05-06 1999-08-03 Nec Research Institute, Inc. Method and apparatus for multi-resolution image searching
US5847776A (en) 1996-06-24 1998-12-08 Vdonet Corporation Ltd. Method for entropy constrained motion estimation and coding of motion vectors with increased search range
US6130963A (en) 1996-11-22 2000-10-10 C-Cube Semiconductor Ii, Inc. Memory efficient decoding of video frame chroma
EP0889651B1 (en) 1996-12-12 2006-03-08 Matsushita Electric Industrial Co., Ltd Picture encoder and picture decoder
US6377628B1 (en) * 1996-12-18 2002-04-23 Thomson Licensing S.A. System for maintaining datastream continuity in the presence of disrupted source data
KR100322515B1 (ko) * 1997-02-14 2002-02-07 미야즈 준이치로 동화상의 예측 부호화 방법 및 복호 방법
US6201927B1 (en) 1997-02-18 2001-03-13 Mary Lafuze Comer Trick play reproduction of MPEG encoded signals
US5991447A (en) 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
US6005980A (en) 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
US6175592B1 (en) * 1997-03-12 2001-01-16 Matsushita Electric Industrial Co., Ltd. Frequency domain filtering for down conversion of a DCT encoded picture
US5844613A (en) 1997-03-17 1998-12-01 Microsoft Corporation Global motion estimator for motion video signal encoding
US6404813B1 (en) * 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
US5973755A (en) 1997-04-04 1999-10-26 Microsoft Corporation Video encoder and decoder using bilinear motion compensation and lapped orthogonal transforms
JP3164031B2 (ja) 1997-05-30 2001-05-08 日本ビクター株式会社 動画像符号化復号化装置、動画像符号化復号化方法、及び動画像符号化記録媒体
US6067322A (en) 1997-06-04 2000-05-23 Microsoft Corporation Half pixel motion estimation in motion video signal encoding
EP1237376B1 (en) 1997-06-09 2015-08-05 Hitachi, Ltd. Image information recording medium
JPH1169345A (ja) 1997-06-11 1999-03-09 Fujitsu Ltd フレーム間予測動画像符号化装置及び復号装置並びにフレーム間予測動画像符号化方法及び復号方法
JP2897763B2 (ja) 1997-07-28 1999-05-31 日本ビクター株式会社 動き補償符号化装置、復号化装置、符号化方法及び復号化方法
US6094225A (en) 1997-12-02 2000-07-25 Daewoo Electronics, Co., Ltd. Method and apparatus for encoding mode signals for use in a binary shape coder
US5973743A (en) 1997-12-02 1999-10-26 Daewoo Electronics Co., Ltd. Mode coding method and apparatus for use in an interlaced shape coder
US6122017A (en) * 1998-01-22 2000-09-19 Hewlett-Packard Company Method for providing motion-compensated multi-field enhancement of still images from video
KR100281462B1 (ko) 1998-03-30 2001-02-01 전주범 격행 부호화에서 이진 형상 신호의 움직임 벡터 부호화 방법
US6125147A (en) 1998-05-07 2000-09-26 Motorola, Inc. Method and apparatus for reducing breathing artifacts in compressed video
JP3888597B2 (ja) 1998-06-24 2007-03-07 日本ビクター株式会社 動き補償符号化装置、及び動き補償符号化復号化方法
JP4026238B2 (ja) * 1998-07-23 2007-12-26 ソニー株式会社 画像復号装置及び画像復号方法
US6563953B2 (en) * 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
US6983018B1 (en) * 1998-11-30 2006-01-03 Microsoft Corporation Efficient motion vector coding for video compression
JP2000278692A (ja) * 1999-03-25 2000-10-06 Victor Co Of Japan Ltd 圧縮データ処理方法及び処理装置並びに記録再生システム
US6408026B1 (en) * 1999-08-06 2002-06-18 Sony Corporation Deadzone quantization method and apparatus for image compression
US6600836B1 (en) * 2000-01-28 2003-07-29 Qualcomm, Incorporated Quality based image compression
US20020114388A1 (en) * 2000-04-14 2002-08-22 Mamoru Ueda Decoder and decoding method, recorded medium, and program
CN1322759C (zh) * 2000-04-27 2007-06-20 三菱电机株式会社 编码装置和编码方法
US6876703B2 (en) * 2000-05-11 2005-04-05 Ub Video Inc. Method and apparatus for video coding
US6920175B2 (en) * 2001-01-03 2005-07-19 Nokia Corporation Video coding architecture and methods for using same
US6689410B2 (en) * 2001-01-25 2004-02-10 Flavor Burst Co. Product blender and dispenser
US6980596B2 (en) * 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
CN100452883C (zh) * 2001-12-17 2009-01-14 微软公司 处理视频图像的方法
US6873657B2 (en) * 2001-12-27 2005-03-29 Koninklijke Philips Electronics, N.V. Method of and system for improving temporal consistency in sharpness enhancement for a video signal
US7003035B2 (en) * 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
EP3525465B1 (en) * 2002-04-19 2021-03-17 Panasonic Intellectual Property Corporation of America Picture decoding method and apparatus
KR100481732B1 (ko) * 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
US20040001546A1 (en) * 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
US7280700B2 (en) * 2002-07-05 2007-10-09 Microsoft Corporation Optimization techniques for data compression
US7154952B2 (en) * 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US20040136457A1 (en) * 2002-10-23 2004-07-15 John Funnell Method and system for supercompression of compressed digital video
JP4093405B2 (ja) * 2002-10-25 2008-06-04 株式会社リコー 画像処理装置、プログラム及び記憶媒体
US7426308B2 (en) * 2003-07-18 2008-09-16 Microsoft Corporation Intraframe and interframe interlace coding and decoding
US20050013498A1 (en) * 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7961786B2 (en) * 2003-09-07 2011-06-14 Microsoft Corporation Signaling field type information
KR20050061762A (ko) * 2003-12-18 2005-06-23 학교법인 대양학원 부호화 모드 결정방법, 움직임 추정방법 및 부호화 장치
US7889792B2 (en) * 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
FR2872973A1 (fr) * 2004-07-06 2006-01-13 Thomson Licensing Sa Procede ou dispositif de codage d'une sequence d'images sources

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000307672A (ja) * 1999-04-26 2000-11-02 Oki Electric Ind Co Ltd 符号化情報受信復号装置
JP2001025014A (ja) * 1999-05-24 2001-01-26 Agilent Technol Inc 圧縮されたマルチメディア通信を復号化するための、並びにマルチメディア通信の品質を評価するための方法及び装置

Also Published As

Publication number Publication date
KR20100048978A (ko) 2010-05-11
EP2309749B1 (en) 2015-04-15
KR20040004178A (ko) 2004-01-13
KR101038860B1 (ko) 2011-06-02
HK1156454A1 (en) 2012-06-08
EP1379090A3 (en) 2005-06-22
KR100965703B1 (ko) 2010-06-24
US7280700B2 (en) 2007-10-09
BR0301992A (pt) 2004-08-31
CN1487474A (zh) 2004-04-07
EP2309749A3 (en) 2011-04-27
EP1379090A2 (en) 2004-01-07
EP2309749A2 (en) 2011-04-13
JP2004254274A (ja) 2004-09-09
CN100394447C (zh) 2008-06-11
US20040008899A1 (en) 2004-01-15

Similar Documents

Publication Publication Date Title
JP4662697B2 (ja) データ圧縮のための改良された最適化技術
US10187660B2 (en) Apparatus and method for encoding and decoding moving picture using adaptive scanning
JP6553220B2 (ja) 適応色空間変換の符号化
TWI399097B (zh) 用於編碼視訊之系統及方法,以及電腦可讀取媒體
EP1249132B1 (en) A method for encoding images, and an image coder
KR100678911B1 (ko) 방향적 인트라 예측의 적용을 확장하여 비디오 신호를인코딩하고 디코딩하는 방법 및 장치
JP3796217B2 (ja) 静止映像及び動映像を符号化/復号化するための変換係数の最適走査方法
CA2842551C (en) Signal processing and inheritance in a tiered signal quality hierarchy
KR101807170B1 (ko) 적응적 2차예측 기반 영상 부호화/복호화 방법, 장치 및 기록 매체
US20150010086A1 (en) Method for encoding/decoding high-resolution image and device for performing same
US20060153294A1 (en) Inter-layer coefficient coding for scalable video coding
US20130070842A1 (en) Method and system for using motion prediction to equalize video quality across intra-coded frames
KR20190009408A (ko) 영상 부호화/복호화 방법 및 장치
WO2010137324A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
US8139879B2 (en) Method and apparatus for encoding image by exponential Golomb binarization using optimal threshold, and method and apparatus for decoding image by exponential Golomb binarization using optimal threshold
JP7198665B2 (ja) ディスプレイストリーム圧縮(dsc)のためのブロック予測モードに関するマルチ領域探索範囲
US20060098881A1 (en) Method and apparatus for encoding and decoding image data
JP2007521740A (ja) 変換ドメイン内のゼロを早期に発見する方法
KR100809603B1 (ko) 화소 단위 기반 영상 부호화 및 복호화 장치 및 방법
JP2006523991A (ja) レート歪みをビデオ符号化に最適化したデータ分割をパラメトリック・レート歪みモデルを用いて行うシステム及び方法
JPWO2007091588A1 (ja) 動画像復号装置、復号画像記録装置、それらの方法及びプログラム
JP4884703B2 (ja) 画像の空間予測符号化方法、符号化装置、復号化方法及び復号化装置
KR20100042023A (ko) 동영상 부호화/복호화 장치 및 그를 위한 하이브리드 블록 움직임 보상/중첩 블록 움직임 보상 방법 및 장치
JP2022070176A (ja) 符号化装置及びプログラム
JP2005176237A (ja) 画像符号化装置、画像符号化方法及びそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091208

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100308

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100311

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100408

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100604

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100906

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100909

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101004

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101007

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101104

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101224

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110104

R150 Certificate of patent or registration of utility model

Ref document number: 4662697

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140114

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term