JP5385414B2 - デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置 - Google Patents

デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置 Download PDF

Info

Publication number
JP5385414B2
JP5385414B2 JP2012031962A JP2012031962A JP5385414B2 JP 5385414 B2 JP5385414 B2 JP 5385414B2 JP 2012031962 A JP2012031962 A JP 2012031962A JP 2012031962 A JP2012031962 A JP 2012031962A JP 5385414 B2 JP5385414 B2 JP 5385414B2
Authority
JP
Japan
Prior art keywords
picture
video
video picture
inter
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2012031962A
Other languages
English (en)
Other versions
JP2012135016A (ja
Inventor
ハスケル、バリン、ジー．
シンガー、デエイビット、ダブリュー．
ドゥミトラス、アドリアーナ
プリ、アチュール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=30117972&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP5385414(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2012135016A publication Critical patent/JP2012135016A/ja
Application granted granted Critical
Publication of JP5385414B2 publication Critical patent/JP5385414B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/005—Statistical coding, e.g. Huffman, run length coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Synchronizing For Television (AREA)

Description

本発明はマルチメディア圧縮システムの分野に関連している。特に、本発明は可変精度のピクチャ間タイミングを指定する方法及び装置を開示する。
デジタル式の電子媒体フォーマットはついに、アナログ式の電子媒体フォーマットに取って代わるところまで来ている。デジタルコンパクトディスク（ＣＤ）はずっと以前にアナログ式のビニール製記録媒体に取って代わっている。アナログ式の磁気カセットテープは益々に減少してきている。第２及び第３世代のデジタルオーディオシステム（例えばミニディスクやＭＰ３（ＭＰＥＧオーディオのレイヤ３）は今日では、第１世代のデジタルオーディオフォーマットのコンパクトディスクに代わって市場を支配しつつある。
ビデオ媒体は、オーディオに比べゆっくりとデジタル式記録及び伝送フォーマットに移行している。その大きな理由はデジタルフォーマットで正確にビデオ（画像）を表現するためには膨大な量のデジタル情報が必要だからである。ビデオを正確に表現・表示するために膨大な量のデジタル情報が必要であるということは、非常に大容量のデジタル記録システムと高帯域伝送システムが必要であることを意味する。
しかし、ビデオは現在、急速にデジタル記録及び伝送フォーマットに移行している。より早いコンピュータプロセッサ、高密度記録システム、並びに、新しい高効率圧縮及び符号化アルゴリズムにより、デジタルビデオの価格は一般消費者が購入できるレベルになった。デジタルビデオシステムであるＤＶＤは近年最もハイスピードで消費者に売れた電子製品の１つである。ＤＶＤは、高い画像品質、とても優れた音声品質、利便性及び付加的な機能を有しているので、予め記録されているビデオを再生するシステムとして選択されるようになり、急速にビデオカセットレコーダ（ＶＣＲ）に取って代わってきた。旧式のアナログＮＴＳＣ（米国のNational Television Standards Committee）ビデオ伝送システムは現在、デジタルＡＴＳＣ（Advanced Television Standards Committee）ビデオ伝送システムにその地位を奪われつつある。
コンピュータシステムは長年、色々な種類のデジタルビデオ符号化フォーマットを使用してきた。コンピュータシステムにより使用されてきた最良のデジタルビデオ圧縮及び符号化システムの中で、ＭＰＥＧ（Motion Pictures Expert Group）として一般に知られているものによりサポートされているデジタルビデオシステムがある。ＭＰＥＧの３つの最も良く知られ且つ広く使用されているデジタルビデオフォーマットはＭＰＥＧ−１、ＭＰＥＧ−２及びＭＰＥＧ−４と称されている。ビデオＣＤ（ＶＣＤ）や初期の一般向けデジタルビデオ編集システムは初期のＭＰＥＧ−1形式のデジタルビデオ符号化フォーマットを使用していた。ＤＶＤやディッシュネットワーク（Dish Network）の直接放送衛星（DBS）テレビ放送システムは、より高い品質のＭＰＥＧ−２形式のデジタルビデオ圧縮及び符号化システムを使用している。ＭＰＥＧ−４の符号化システムは最新のコンピュータを用いたデジタルビデオエンコーダやこれに付随するデジタルビデオプレーヤに用いられることが多くなった。
ＭＰＥＧ−２形式やＭＰＥＧ−４形式では、一連のビデオフレームまたはビデオフィールドを圧縮し、圧縮したフレームやフィールドをデジタルビットストリームに符号化している。ビデオフレームやフィールドをＭＰＥＧ−２やＭＰＥＧ−４形式で符号化する場合、ビデオフレームやフィールドを複数のマクロブロックからなる長方形グリッドに分割される。各マクロブロックは独立して圧縮及び符号化される。
ビデオフレームやフィールドを圧縮するときは、ＭＰＥＧ−４形式では、フレームやフィールドを１つタイプ（３つのタイプのうちの１つ）の圧縮フレームまたはフィールドに圧縮する。３つのタイプとは、Ｉフレーム、順方向型のＰフレーム及び双方向型のＢフレームである。Ｉフレームは独立したビデオフレームを、他のビデオフレームを参照することなく、完全に独立に符号化する。Ｐフレームは前に表示されたビデオフレームを参照しながらビデオフレームを決める。Ｂフレームは現在のフレームの前に表示された（過去の）ビデオフレームと現在のフレームの後に表示される（未来の）ビデオフレームとを参照しながらビデオフレームを決める。ＰフレームとＢフレームは、ビデオ情報の冗長性を効率良く使用しているので、通常、最も良い圧縮を行うことができる。
本明細書には、デジタルビデオ符号化処理における可変精度ピクチャ間タイミングを指定する方法と装置が開示されている。特に本発明は近傍のビデオピクチャ同士の相対的タイミングを非常に効率良い手法で符号化することができるシステムを開示している。１つの実施例では、現在のビデオピクチャと近傍のビデオピクチャとの表示時間差が決められる。この表示時間差はその後、ビデオピクチャのデジタル表示に符号化される。好ましい実施例では、上記近傍のビデオピクチャは、直前に伝送された記録ピクチャである。
符号化の効率アップのために、表示時間差は可変長符号化システムまたは算術符号化処理を使用して符号化されてもよい。別の実施例では、表示時間差は伝送ビット数を減ずるために２のべき乗として符号化される。
本発明のその他の目的、特徴及び利点・効果は添付図面と以下の詳細な説明から明らかになるであろう。
本発明の目的、特徴及び利点は、当事者であれば下記の詳細な説明から理解できるであろう。以下の詳細な説明において、
デジタルビデオエンコーダシステムの１例を示すハイレベルブロック図である。 ピクチャ表示順に並べた一連のビデオピクチャを示しており、ピクチャとピクチャをつなぐ矢印は動き補償を使用した場合のピクチャ同士の従属性を表現している。 図２のビデオピクチャを好ましいピクチャ伝送順に並べた状態を示しており、ピクチャとピクチャをつなぐ矢印は動き補償を使用した場合のピクチャ同士の従属性を表現している。 互いに参照し合うビデオピクチャ同士の距離が２のべき乗で設定された場合のビデオピクチャを示している。
ここでは、マルチメディア圧縮及び符号化システムにおける可変精度ピクチャ間タイミングの指定方法及び装置が開示される。以下の詳細な説明において、本発明の理解のために特定の用語等が使用されている。しかし、当事者であれば、下記の特定の形式、数値等は本発明の実施に必ずしも必須のものでないことは理解できるであろう。例えば、本発明はＭＰＥＧ−４形式のマルチメディア圧縮及び符号化システムに関連して説明されているが、同様な技術は容易に他の形式の圧縮及び符号化システムに適用することができる。
マルチメディア圧縮及び符号化処理の概要
図１は典型的なデジタルビデオエンコーダ１００のハイレベルブロック図であり、当該技術分野では周知のものである。デジタルビデオエンコーダ１００は、入力ビデオフレームストリーム１０５をブロック図の左において受信する。各ビデオフレームは離散コサイン変換（ＤＣＴ）ユニット１１０により処理される。フレームは独立して処理されてもよいし（イントラフレーム符号化処理）、動き補償ユニットから受信される他のフレームからの情報を参照して処理されてもよい（インターフレーム符号化処理）。次に、量子化（Ｑ）ユニット１２０がＤＣＴユニット１１０からの情報を量子化する。最後に、量子化されたビデオフレームが、エントロピーエンコーダ（Ｈ）ユニット１８０により符号化され、符号化されたビットストリームを生成する。エントロピーエンコーダユニット１８０は可変長符号化（ＶＬＣ）システムを使用してもよい。
インターフレーム符号化処理されたビデオフレームは他の近傍ビデオフレームを参照して決められるので、デジタルビデオエンコーダ１００は、インターフレームを符号化できるように、デコードされた各フレームがデジタルビデオデコーダの中でどのように現れるかのコピーを作る必要がある。従って、デジタルビデオエンコーダ１００の下部は実際にはデジタルビデオデコーダシステムである。つまり、逆量子化（Ｑ−１）ユニット１３０がビデオフレーム情報の量子化結果の逆数を作り、逆ＤＣＴ（ＤＣＴ−１）ユニット１４０がビデオフレーム情報の離散コサイン変換値の逆数を作る。全ての離散コサイン変換係数がｉＤＣＴから復元された後、動き圧縮ユニットがこの情報を動きベクトルと共に使用して、符号化フレームを復元する。復元された符号化フレームは、次のフレームの動き予測の参照フレームとして使用される。
次に、デコードされたビデオフレームはインターフレーム（ＰフレームまたはＢフレーム）を符号化するのに用いられる。インターフレームはデコードされたビデオフレームの情報に対応して決められる。つまり、動き補償（ＭＣ）ユニット１５０と動き予測（ＭＥ）ユニット１６０は、動きベクトルを決定し、差分値を生成するのに使用される。動きベクトルと差分値は、インターフレームを符号化する際に用いられる。
レートコントローラ１９０はデジタルビデオエンコーダ１００の多くの部品から情報を受け取り、当該情報を用いて各ビデオフレームにビット量を割り当てる。レートコントローラ１９０は、所定の規制に合った最高品質のデジタルビデオビットストリームが生成されるようにビット量を割り当てなければならない。つまり、レートコントローラ１９０は、バッファにオバーフロー（格納できる量を超えた情報を伝送することによりデコーダのメモリの許容量を超えること）を起こさせることなく、あるいは、バッファにアンダーフロー（デコーダに表示ビデオフレームが不足してしまうような遅い速度でビデオフレームを伝送すること）を起こさせることなく、最高品質の圧縮ビデオストリームを生成しようとする。
マルチメディア圧縮及び符号化処理の概要
幾つかのビデオ信号では、連続するビデオピクチャ（フレームまたはフィールド）の間の時間は一定ではない（尚、本明細書では、ビデオピクチャという用語をビデオフレームまたはビデオフィールドの意味で使用している）。例えば、幾つかのビデオピクチャは伝送帯域制限により欠落させられる場合がある。また、ビデオタイミングも、カメラの不均一性のため、あるいは、スローモーションやファーストモーション等の特殊な処理のために、一定ではない。幾つかのビデオストリームでは、もとのビデオソースが不均一なピクチャ間時間を単に設計上の理由で有している場合もある。例えば、コンピュータグラフィックアニメーション等の合成ビデオは、不均一なタイミングを有している。なぜなら、均一なビデオ記録システム（例えば、ビデオカメラシステム）では任意のビデオタイミングを作ることができないからである。フレキシブルなデジタルビデオ符号化システムは不均一なタイミングで処理を行うことができなければならない。
多くのデジタルビデオ符号化システムはビデオピクチャを複数のマクロブロックからなる長方形グリッドに分割する。ビデオピクチャの各マクロブロックは独立して圧縮され符号化される。幾つかの実施例では、マクロブロックのサブブロック（画素ブロックとして知られている）が用いられる。このような画素ブロックはそれ自身の動きベクトル（内挿されたもの）を有することもある。本発明の教示はマクロブロックと画素ブロックに等しく適用できるが、この明細書ではマクロブロックについて説明をする。
幾つかのビデオ符号化標準（例えば、ＩＳＯのＭＰＥＧ標準やＩＴＵのＨ．２６４標準）は異なるタイプの予測マクロブロックを使用してビデオピクチャを符号化している。一例を挙げると、マクロブロックは以下の３つのタイプのうちの１つになる。
１．Ｉマクロブロック。 イントラ（Ｉ）マクロブロックが符号化処理の際に他のビデオピクチャからの情報を全く使用しない。これは、完全な自己定義型である。
２．Ｐマクロブロック。 順方向型の予測（Ｐ）マクロブロックが１つの前のビデオピクチャからのピクチャ情報を参照する。
３．Ｂマクロブロック。 双方向型の予測（Ｂ）マクロブロックが１つの前の（過去の）ピクチャと１つの後の（未来の）ビデオピクチャからの情報を使用する。
もしビデオピクチャの全てのマクロブロックがイントラマクロブロック（Ｉマクロブロック）であれば、ビデオピクチャはイントラフレーム（Ｉフレーム）である。もしビデオピクチャが順方向の予測マクロブロック（つまり、イントラマクロブロック）しか含まないなら、このビデオピクチャはＰフレームとして知られているものである。もしビデオピクチャが双方向の予測マクロブロックを含むなら、このビデオピクチャはＢフレームとして知られているものである。説明を簡単にするために、この明細書ではピクチャ内の全てのマクロブロックが同じタイプである場合を考える。
符号化されるビデオピクチャのシーケンスの一例は以下のようになる。
Ｉ１Ｂ２Ｂ３Ｂ４Ｐ５Ｂ６Ｂ７Ｂ８Ｂ９Ｐ１０Ｂ１１Ｂ１２Ｂ１３Ｉ１４．．．
ここで、Ｉ、Ｐ及びＢという文字は、ビデオピクチャがＩフレーム、Ｐフレーム及びＢフレームであることを意味し、数字はビデオピクチャシーケンスのビデオピクチャのカメラ順序を示す。カメラ順序とは、カメラがビデオピクチャを記録する順であり、従って、ビデオピクチャが表示されるべき順序（表示順）でもある。
上記した一連のビデオピクチャの例が図２に図式的に示されている。図２では、記録ピクチャ（この例ではＩフレームまたはＰフレーム）からのマクロブロックを他のピクチャの動き補償予測に使用することを矢印で示している。
図２の場合、他のピクチャからの情報はイントラフレームビデオピクチャＩ１を符号化する際に全く使用されていない。ビデオピクチャＰ５が、前のビデオピクチャＩ１からのビデオ情報を符号化の際に使用しているＰフレームであり、矢印がビデオピクチャＩ１からビデオピクチャＰ５に延びている。ビデオピクチャＢ２、ビデオピクチャＢ３及びビデオピクチャＢ４は全て、符号化の際、ビデオピクチャＩ１とビデオピクチャＰ５からの情報を使用しており、矢印はビデオピクチャＩ１とビデオピクチャＰ５からビデオピクチャＢ２、ビデオピクチャＢ３及びビデオピクチャＢ４にそれぞれ延びている。上述したように、ピクチャ間時間は一般に同一ではない。
Ｂピクチャは未来のピクチャ（後で表示されるピクチャ）からの情報を使用しているので、伝送順序は通常、表示順序と異なる。つまり、他のビデオピクチャを構成するのに必要なビデオピクチャがまず伝送されなければならない。上記したシーケンスについて言えば、伝送順は以下のようになるだろう。
Ｉ１Ｐ５Ｂ２Ｂ３Ｂ４Ｐ１０Ｂ６Ｂ７Ｂ８Ｂ９Ｐ１２Ｂ１１Ｉ１４Ｂ１３．．．
図３は図２からのビデオピクチャの上記伝送順を模式的に示した図である。ここでも、図中の矢印は記録ビデオピクチャ（この例ではＩフレームまたはＰフレーム）からのマクロブロックが他のビデオピクチャの動き補償予測に使用されていることを表している。
図３に示されるように、このシステムはまず、他のフレームに依存していないＩフレームＩ１を伝送する。次に、このシステムは、ビデオピクチャＩ１に依存するＰフレームビデオピクチャＰ５を伝送する。ビデオピクチャＢ２はビデオピクチャＰ５の前に表示されるものであるが、このシステムは、ビデオピクチャＰ５の後にＢフレームビデオピクチャＢ２を伝送する。その理由は、Ｂ２をデコードする時がきたとき、デコーダは、ビデオピクチャＢ２をデコードするのに必要なビデオピクチャＩ１とＰ５の中の情報をすでに受信して格納していることになるからである。同様に、ビデオピクチャＩ１とＰ５を使用して次のビデオピクチャＢ３とビデオピクチャＢ４をデコードする準備ができていることになる。レシーバ兼デコーダは、適正な表示ができるようにビデオピクチャシーケンスを記録する。この動作において、Ｉピクチャ及びＰピクチャはしばしば記録ピクチャ（stored picture）と称される。
Ｐフレームピクチャの符号化は通常、動き補償を使用し、動きベクトルがピクチャの各マクロブロックについて計算される。計算された動きベクトルを用いて、上記前のピクチャ中の画素を移動させることにより予測マクロブロック（Ｐマクロブロック）を作ることができる。Ｐフレームピクチャの実際のマクロブロックと予測マクロブロックとの差が、符号化されて伝送される。
各動きベクトルも、予測符号化処理により伝送してもよい。例えば、動きベクトル予測は、近傍の動きベクトルを使用して行ってもよい。この場合、実際の動きベクトルと予測動きベクトルの差が、符号化されて伝送される。
各Ｂマクロブロックは２つの動きベクトルを使用する。１つは上記前のビデオピクチャを参照する第１動きベクトルであり、もう１つは後の（未来の）ビデオピクチャを参照する第２動きベクトルである。これら２つの動きベクトルから、２つの予測マクロブロックが計算される。そして２つの予測マクロブロックは所定の関数を利用して組み合わせられ、最終的な予測マクロブロックが作られる。上記したように、Ｂフレームピクチャの実際のマクロブロックと最終的な予測マクロブロックの差が符号化されて伝送される。
Ｐマクロブロックの場合と同じように、Ｂマクロブロックの各動きベクトル（ＭＶ）を、予測符号化処理により伝送してもよい。つまり、この場合、予測動きベクトルは、近傍の動きベクトルを使用して形成される。そして、実際の動きベクトルと予測動きベクトルの差が符号化されて伝送される。
しかし、Ｂマクロブロックの場合、最も近い記録ピクチャマクロブロックの動きベクトルから動きベクトルを内挿する機会がある。このような内挿は、デジタルビデオエンコーダとデジタルビデオデコーダの双方で実行される。
この動きベクトル内挿は、カメラが静止背景にゆっくり近づいたり遠のいたりするときのビデオシーケンスのビデオピクチャに非常に有効である。事実、このような動きベクトル内挿はそれ単独で利用してもよいくらいである。つまり、これは、内挿を使用して符号化される上記Ｂマクロブロック動きベクトルに関して、差分情報を計算したり伝送したりする必要が無いことを意味する。
次の説明に進むために、上記の場合、ピクチャｉとピクチャｊの間のピクチャ間表示時間をＤi,jと表現する。つまり、ピクチャの表示時間（時刻）がＴiとＴjであるとすると
、以下のようになる。
Ｄi,j ＝ Ｔi − Ｔj
これから以下の式が導き出せる。
Ｄi,k ＝ Ｄi,j ＋ Ｄj,k
Ｄi,k ＝ −Ｄk,i
但し、Ｄi,jは負の値であるときもある。
よって、もしＭＶ5，1がＩ１を参照するＰ５マクロブロックの動きベクトルであるならば、Ｂ２、Ｂ３及びＢ４の対応マクロブロックについては、Ｉ１とＰ５を参照する動きベクトルはそれぞれ以下のように内挿される。
ＭＶ2,1 ＝ ＭＶ5,1*Ｄ2,1/Ｄ5,1
ＭＶ5,2 ＝ ＭＶ5,1*Ｄ5,2/Ｄ5,1
ＭＶ3,1 ＝ ＭＶ5,1*Ｄ3,1/Ｄ5,1
ＭＶ5,3 ＝ ＭＶ5,1*Ｄ5,3/Ｄ5,1
ＭＶ4,1 ＝ ＭＶ5,1*Ｄ4,1/Ｄ5,1
ＭＶ5,4 ＝ ＭＶ5,1*Ｄ5,4/Ｄ5,1

尚、表示時間の比率が動きベクトル予測に使用されているので、表示時間の絶対値は不要である。よって、相対的な表示時間をＤi,j表示時間値に使用することができる。
このようなモデル（筋書き）を、例えばＨ．２６４標準で一般化することができる。一般化する場合、ＰピクチャまたはＢピクチャは前に伝送されてきたピクチャをその動きベクトル予測に使用してもよい。従って、上記の場合、ピクチャＢ３はピクチャＩ１とピクチャＢ２をその予測に使用してもよい。さらに、動きベクトルは外挿されてもよい（内挿に限定されない）。この場合、以下のようになる。
ＭＶ3,1 ＝ ＭＶ2,1*Ｄ3,1/Ｄ2,1

このような動きベクトル外挿（または内挿）を、動きベクトルの予測符号化のための予測プロセスに使用してもよい。
いずれせよ、ピクチャ間時間が不均一な場合の問題は、Ｄi,jの相対的な表示時間値をレシーバに伝送することであり、これが本発明の中心課題である。本発明の１つの実施例では、第１ピクチャ後の各ピクチャについて（毎に）、現在のピクチャと直前に伝送された記録ピクチャとの表示時間差が伝送される。エラー耐性のために、伝送はピクチャ内で数回繰り返し行われることもある（例えば、Ｈ．２６４標準またはＭＰＥＧのいわゆるス
ライスヘッダで）。もし全てのスライスヘッダがなくなったならば、多分、情報を復号するためになくなったピクチャに依存する他のピクチャも、復号することができなくなるだろう。
従って、上記の場合、以下のものを伝送する。
Ｄ5,1D2,5D3,5D4,5D10,5D6,10D7,10D8,10D9,10D12,10D11,12D14,12D13,14．．．
動きベクトル予想のためのＤi,jの精度条件はピクチャにより異なる。例えば、２つのＰフレームピクチャＰ５とＰ７の中間に１つのＢフレームピクチャＢ６しかない場合、以下のものをだけを伝送すれば十分である。
Ｄ7,5 ＝ ２ と Ｄ6,7 = −１

ここで、Ｄi,j表示時間値は相対的な時間値である。もしそうではなく、ビデオピクチャＢ６がビデオピクチャＰ５とビデオピクチャＰ７の距離の１/４しか離れていなければ、伝送すべき適切なＤi,j表示時間値は以下のようになる。
Ｄ7,5 ＝ ４ と Ｄ6,7 = −１

尚、上記した２つの事例では、ビデオピクチャＢ６とビデオピクチャＰ７の間の表示時間が表示時間の１単位（１表示時間単位）とし使用され、ビデオピクチャＰ５とビデオピクチャＰ７の間の表示時間差は４表示時間単位になる。
一般に、除数が２のべき乗であるなら、動きベクトル予想はあまり複雑にはならない。このことは、図４に示されるように２つの記録ピクチャの間のＤi,j（ピクチャ間時間）が２のべき乗とされるなら、本明細書の実施例で容易に達成できる。あるいは、予測の手法として、全ての除数を２のべき乗に切り捨てたり、切り上げたりしてもよい。
ピクチャ間時間が２のべき乗である場合、もしピクチャ間時間の全ての値の代わりに２の整数乗の値（べき数）だけが伝送されるとしたら、データビットの数を減らすことができる。図４はピクチャ同士の間の距離が２のべき乗とされた場合を図式的に示している。この場合、ビデオピクチャＰ１とビデオピクチャＰ３の間のＤ3,1表示時間値の２は１として伝送され（なぜなら２1＝２）、ビデオピクチャＰ７とビデオピクチャＰ３の間のＤ7,3表示時間値の４は２として伝送される（なぜなら２2＝４）。
条件によっては、動きベクトル内挿は使用されない。しかし、ビデオピクチャの表示順をレシーバ・プレーヤシステムに伝送して、レシーバ・プレーヤシステムがビデオピクチャを適正な順序で表示できるようにする必要はある。この場合、実際の表示時間に拘わらず、Ｄi,jとしては単純な有符号整数値で十分である。幾つかの応用例では、符号だけでも十分である。
ピクチャ間時間Ｄi,jは単に、単純な符号付整数値として伝送されることもある。しかし、多くの方法を利用してＤi,j値を符号化して更なる圧縮をしてもよい。例えば、可変符号長を伴う符号ビットは比較的簡単に実行でき、符号化効率も良い。
そのような可変長符号化システムの一例がＵＶＬＣ（universal variable length code）として知られている。ＵＶＬＣ可変長符号化システムは下記のコード語により示される。
１ ＝ １
２ ＝ ０１０
３ ＝ ０１１
４ ＝ ００１００
５ ＝ ００１０１
６ ＝ ００１１０
７ ＝ ００１１１
８ ＝０００１０００

ピクチャ間時間を符号化する別の方法としては、算術符号化処理を利用するものがある。典型的には、算術符号化処理は条件付確率を用いてデータビットを非常に高い圧縮度で圧縮する。
従って、本発明は、ピクチャ間表示時間を符号化して伝送するシンプルだがパワフルな方法を提案・提供している。ピクチャ間表示時間の符号化は、可変長符号化または算術符号化を使用することにより非常に効率的に行うことができる。さらに、所望の精度を選択することができ、ビデオデコーダの要求に応えられるようにすることができる。
上述の記載においては、マルチメディア圧縮及び符号化システムにおける可変精度ピクチャ間時間指定システムを説明した。尚、当事者であれば、本発明の範囲から離れることなく、本発明の構成要素の材料や構成等に変更を為すことができるであろう。
１００ デジタルビデオエンコーダ
１０５ 入力ビデオフレームストリーム
１１０ 離散コサイン変換（ＤＣＴ）ユニット
１２０ 量子化（Ｑ）ユニット
１３０ 逆量子化（Ｑ−１）ユニット
１４０ 逆ＤＣＴ（ＤＣＴ−１）ユニット
１５０ 動き補償（ＭＣ）ユニット
１６０ 動き予測（ＭＥ）ユニット
１８０ エントロピーエンコーダユニット
１９０ レートコントローラ

Claims (18)

  1. 方法であって、
    複数のビデオピクチャを符号化するステップであって、符号化された特定のビデオピクチャは近傍のビデオピクチャを参照するピクチャ間時間に関連付けられている、ステップと、
    前記特定のビデオピクチャに関連付けられた複数のスライスヘッダを符号化するステップであって、前記複数のスライスヘッダの各スライスヘッダは前記ピクチャ間時間の符号化インスタンスを含み、前記ピクチャ間時間の各インスタンスは２の累乗の指数を用いて符号化される、ステップと、
    を含むことを特徴とする方法。
  2. 前記近傍のビデオピクチャは、別のビデオピクチャを参照するマクロブロックを含まないＩビデオピクチャである
    ことを特徴とする請求項１に記載の方法。
  3. 前記ピクチャ間時間は、ビデオピクチャのシーケンスにおける前記特定のビデオピクチャの表示順序を示す
    ことを特徴とする請求項１に記載の方法。
  4. 前記ピクチャ間時間は、前記特定のビデオピクチャを符号化するための動きベクトルを算出するために使用される
    ことを特徴とする請求項１に記載の方法。
  5. 方法であって、
    符号化された複数のビデオピクチャを受信するステップであって、符号化された特定のビデオピクチャは近傍のビデオピクチャを参照するピクチャ間時間に関連付けられている、ステップと、
    前記特定のビデオピクチャに関連付けられた複数のスライスヘッダを受信するステップであって、前記複数のスライスヘッダの各スライスヘッダは前記ピクチャ間時間の符号化インスタンスを含み、前記ピクチャ間時間の各インスタンスは２の累乗の指数を用いて符号化されている、ステップと、
    前記ピクチャ間時間を用いて前記特定のビデオピクチャを復号するステップと、
    を含むことを特徴とする方法。
  6. 前記近傍のビデオピクチャは、別のビデオピクチャを参照するマクロブロックを含まないＩビデオピクチャである
    ことを特徴とする請求項５に記載の方法。
  7. 前記ピクチャ間時間は、ビデオピクチャのシーケンスにおける前記特定のビデオピクチャの表示順序を示す
    ことを特徴とする請求項５に記載の方法。
  8. 前記ピクチャ間時間は、前記特定のビデオピクチャを復号するための動きベクトルを算出するために使用される
    ことを特徴とする請求項５に記載の方法。
  9. 方法であって、
    符号化された複数のビデオピクチャを受信するステップと、
    特定のビデオピクチャのピクチャ間時間に関する符号化表現の２以上のインスタンスを受信するステップであって、前記ピクチャ間時間は前記特定のビデオピクチャと近傍のビデオピクチャとの間のタイミング差を表し、前記ピクチャ間時間の各インスタンスは２の累乗の指数を用いて符号化されている、ステップと、
    前記ピクチャ間時間を用いて前記特定のビデオピクチャを復号するステップと、
    を含むことを特徴とする方法。
  10. 前記ピクチャ間時間は、ビデオピクチャのシーケンスにおける前記特定のビデオピクチャの表示順序を示す
    ことを特徴とする請求項９に記載の方法。
  11. 前記近傍のビデオピクチャは、別のビデオピクチャを参照するマクロブロックを含まないＩビデオピクチャである
    ことを特徴とする請求項９に記載の方法。
  12. 前記ピクチャ間時間は、前記特定のビデオピクチャを復号するための動きベクトルを算出するために使用される
    ことを特徴とする請求項９に記載の方法。
  13. 方法であって、
    特定のビデオピクチャのピクチャ間時間に関する表現の２以上のインスタンスを符号化するステップであって、前記ピクチャ間時間は前記特定のビデオピクチャと近傍のビデオピクチャとの間のタイミング差を表し、前記ピクチャ間時間の各インスタンスは２の累乗の指数を用いて符号化される、ステップと、
    前記ピクチャ間時間を用いて前記特定のビデオピクチャを符号化するステップと、
    を含むことを特徴とする方法。
  14. 前記ピクチャ間時間は、ビデオピクチャのシーケンスにおける前記特定のビデオピクチャの表示順序を示す
    ことを特徴とする請求項１３に記載の方法。
  15. 前記近傍のビデオピクチャは、別のビデオピクチャを参照するマクロブロックを含まないＩビデオピクチャである
    ことを特徴とする請求項１３に記載の方法。
  16. 前記ピクチャ間時間は、前記特定のビデオピクチャを符号化するための動きベクトルを算出するために使用される
    ことを特徴とする請求項１３に記載の方法。
  17. 少なくとも１つのプロセッサによって実行可能なコンピュータプログラムを格納したコンピュータ読み取り可能な媒体であって、前記コンピュータプログラムは、請求項１乃至１６のいずれか１項に記載の方法を実施する命令セットを含む
    ことを特徴とするコンピュータ読み取り可能な記録媒体。
  18. 請求項１乃至１６のいずれか１項に記載の方法の各ステップを実装する手段を備える
    ことを特徴とするコンピュータシステム。
JP2012031962A 2002-07-15 2012-02-16 デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置 Expired - Lifetime JP5385414B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US60/396,363 2002-07-14
US39636302P 2002-07-15 2002-07-15
US10/291,320 2002-11-08
US10/291,320 US7088776B2 (en) 2002-07-15 2002-11-08 Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2010197131A Division JP5385233B2 (ja) 2002-07-15 2010-09-02 デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置

Publications (2)

Publication Number Publication Date
JP2012135016A JP2012135016A (ja) 2012-07-12
JP5385414B2 true JP5385414B2 (ja) 2014-01-08

Family

ID=30117972

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2005505120A Expired - Lifetime JP4620586B2 (ja) 2002-07-15 2003-07-11 デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置
JP2007028606A Expired - Lifetime JP4676450B2 (ja) 2002-07-15 2007-02-07 デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置
JP2008076587A Pending JP2008187735A (ja) 2002-07-15 2008-03-24 デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置
JP2010197131A Expired - Lifetime JP5385233B2 (ja) 2002-07-15 2010-09-02 デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置
JP2010279834A Expired - Lifetime JP5385251B2 (ja) 2002-07-15 2010-12-15 デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置
JP2012031962A Expired - Lifetime JP5385414B2 (ja) 2002-07-15 2012-02-16 デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置

Family Applications Before (5)

Application Number Title Priority Date Filing Date
JP2005505120A Expired - Lifetime JP4620586B2 (ja) 2002-07-15 2003-07-11 デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置
JP2007028606A Expired - Lifetime JP4676450B2 (ja) 2002-07-15 2007-02-07 デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置
JP2008076587A Pending JP2008187735A (ja) 2002-07-15 2008-03-24 デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置
JP2010197131A Expired - Lifetime JP5385233B2 (ja) 2002-07-15 2010-09-02 デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置
JP2010279834A Expired - Lifetime JP5385251B2 (ja) 2002-07-15 2010-12-15 デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置

Country Status (17)

Country Link
US (26) US7088776B2 (ja)
EP (44) EP2346181A1 (ja)
JP (6) JP4620586B2 (ja)
KR (8) KR101005135B1 (ja)
CN (10) CN102892005B (ja)
AT (1) ATE487282T1 (ja)
AU (1) AU2003256494B2 (ja)
BR (2) BR0312659A (ja)
CA (4) CA2629246C (ja)
DE (1) DE60334804D1 (ja)
DK (5) DK2326019T3 (ja)
ES (5) ES2393544T3 (ja)
HK (10) HK1076207A1 (ja)
NO (3) NO338810B1 (ja)
PT (5) PT1532746E (ja)
SG (4) SG10201607076UA (ja)
WO (1) WO2004008654A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7088776B2 (en) 2002-07-15 2006-08-08 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
AU2013204690B2 (en) * 2002-07-15 2015-11-19 Apple Inc Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
US8254461B2 (en) * 2002-07-24 2012-08-28 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US6728315B2 (en) 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US7949101B2 (en) 2005-12-16 2011-05-24 Rapiscan Systems, Inc. X-ray scanners and X-ray sources therefor
US20050207490A1 (en) * 2004-03-18 2005-09-22 Wang Jason N Stored picture index for AVC coding
JP2006311366A (ja) * 2005-04-28 2006-11-09 Matsushita Electric Ind Co Ltd 画像記録装置及び画像記録装置の駆動方法
US20090201380A1 (en) * 2008-02-12 2009-08-13 Decisive Analytics Corporation Method and apparatus for streamlined wireless data transfer
JPWO2009128208A1 (ja) * 2008-04-16 2011-08-04 株式会社日立製作所 動画像符号化装置、動画像復号化装置、動画像符号化方法、および動画像復号化方法
US20100235314A1 (en) * 2009-02-12 2010-09-16 Decisive Analytics Corporation Method and apparatus for analyzing and interrelating video data
US8458105B2 (en) * 2009-02-12 2013-06-04 Decisive Analytics Corporation Method and apparatus for analyzing and interrelating data
US20100279418A1 (en) * 2009-05-04 2010-11-04 Loren Robert Larson Glucose meter adaptable for use with handheld devices, and associated communication network
US8976856B2 (en) * 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
US20130177084A1 (en) * 2012-01-10 2013-07-11 Qualcomm Incorporated Motion vector scaling in video coding
US9432096B2 (en) * 2012-08-02 2016-08-30 Nokia Solutions And Networks Oy Dual codeword re-transmission
US9900316B2 (en) * 2013-12-04 2018-02-20 International Business Machines Corporation Accessing storage units of a dispersed storage network
US10199074B2 (en) * 2017-06-02 2019-02-05 Apple Inc. Techniques for selecting frames for decode in media player
GB2578629B (en) 2018-11-01 2022-02-23 Samsung Electronics Co Ltd Device and method for processing rendered frames
EP3844960A4 (en) 2018-12-29 2021-12-15 Huawei Technologies Co., Ltd. ENCODER, DECODER, AND RELATED METHODS USING COMPACT MOTION VECTOR STORAGE

Family Cites Families (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US202586A (en) * 1878-04-16 Improvement in flushing-boxes for water-closets
US247031A (en) * 1881-09-13 Drier for paints
US5467136A (en) 1991-05-31 1995-11-14 Kabushiki Kaisha Toshiba Video decoder for determining a motion vector from a scaled vector and a difference vector
US5647049A (en) 1991-05-31 1997-07-08 Kabushiki Kaisha Toshiba Video recording/reproducing apparatus which uses a differential motion vector determined using two other motion vectors
EP0595895B1 (en) 1991-07-23 1997-12-29 BRITISH TELECOMMUNICATIONS public limited company Method and device for frame interpolation of a moving image
JP3092280B2 (ja) * 1991-07-30 2000-09-25 ソニー株式会社 画像信号の高能率符号化及び復号化装置
US5539466A (en) 1991-07-30 1996-07-23 Sony Corporation Efficient coding apparatus for picture signal and decoding apparatus therefor
US5227878A (en) 1991-11-15 1993-07-13 At&T Bell Laboratories Adaptive coding and decoding of frames and fields of video
US5784631A (en) * 1992-06-30 1998-07-21 Discovision Associates Huffman decoder
KR940003404A (ko) * 1992-07-23 1994-02-21 이헌조 프레임 간/프레임 내 움직임 보상 시스템
JPH0662389A (ja) * 1992-08-04 1994-03-04 Matsushita Electric Ind Co Ltd 映像信号符号化装置
FR2696026B1 (fr) * 1992-09-18 1994-12-30 Sgs Thomson Microelectronics Procédé de masquage d'erreurs de transmission d'image compressée en MPEG.
JP3264043B2 (ja) 1993-04-30 2002-03-11 ソニー株式会社 量子化コントロール装置および方法
US5398072A (en) * 1993-10-25 1995-03-14 Lsi Logic Corporation Management of channel buffer in video decoders
US5502493A (en) * 1994-05-19 1996-03-26 Matsushita Electric Corporation Of America Variable length data decoder for use with MPEG encoded video data
KR100287211B1 (ko) 1994-08-30 2001-04-16 윤종용 양방향 움직임 추정방법 및 장치
US5838380A (en) * 1994-09-30 1998-11-17 Cirrus Logic, Inc. Memory controller for decoding a compressed/encoded video data frame
US6608966B1 (en) * 1994-10-07 2003-08-19 Intel Corporation VCR-type controls for video server system
JPH08149416A (ja) * 1994-11-17 1996-06-07 Hitachi Ltd 動画像復号化方法並びにその装置
JPH08149479A (ja) 1994-11-24 1996-06-07 Matsushita Electric Ind Co Ltd 超低ビットレートビデオ符号化方法
US5724446A (en) * 1995-04-18 1998-03-03 Advanced Micro Devices, Inc. Video decoder apparatus using non-reference frame as an additional prediction source and method therefor
GB2301973B (en) 1995-06-06 1999-10-20 Sony Uk Ltd Motion compensated video processing
US5745183A (en) * 1995-08-25 1998-04-28 Thomson Consumer Electronics, Inc. Image motion estimation system which derives candidate block from interpolated motion vectors
US5652629A (en) 1995-09-12 1997-07-29 International Business Machines Corporation Bidirectional motion estimation in a motion video compression system
US6057893A (en) 1995-12-28 2000-05-02 Sony Corporation Picture encoding method, picture encoding apparatus, picture transmitting method and picture recording medium
US5737023A (en) 1996-02-05 1998-04-07 International Business Machines Corporation Hierarchical motion estimation for interlaced video
ES2191177T3 (es) 1996-05-17 2003-09-01 Matsushita Electric Ind Co Ltd Decodificador de imagenes.
EP0864228B1 (en) * 1996-07-05 2001-04-04 Matsushita Electric Industrial Co., Ltd. Method for display time stamping and synchronization of multiple video object planes
US5812199A (en) 1996-07-11 1998-09-22 Apple Computer, Inc. System and method for estimating block motion in a video image sequence
JPH10174065A (ja) * 1996-12-06 1998-06-26 Matsushita Electric Ind Co Ltd 画像音声多重化データ編集方法およびその装置
JPH10174035A (ja) 1996-12-16 1998-06-26 Sharp Corp 画像情報処理装置
JP3223962B2 (ja) 1997-01-24 2001-10-29 松下電器産業株式会社 画像復号化方法
JP3304799B2 (ja) 1997-01-30 2002-07-22 株式会社日立製作所 信号処理方法及び装置
US6539120B1 (en) 1997-03-12 2003-03-25 Matsushita Electric Industrial Co., Ltd. MPEG decoder providing multiple standard output signals
US6404813B1 (en) 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
JP3164031B2 (ja) 1997-05-30 2001-05-08 日本ビクター株式会社 動画像符号化復号化装置、動画像符号化復号化方法、及び動画像符号化記録媒体
US6018368A (en) * 1997-07-11 2000-01-25 Samsung Electro-Mechanics Co., Ltd. Scalable encoding apparatus and method with improved function of scaling motion vector
KR100240770B1 (ko) 1997-07-11 2000-01-15 이형도 에너지보상/역보상기능을개선한스케러블부호화기및그방법
JP4010024B2 (ja) * 1997-09-02 2007-11-21 ソニー株式会社 圧縮動画像信号のデコード装置
US6040861A (en) * 1997-10-10 2000-03-21 International Business Machines Corporation Adaptive real-time encoding of video sequence employing image statistics
US5978029A (en) * 1997-10-10 1999-11-02 International Business Machines Corporation Real-time encoding of video sequence employing two encoders and statistical analysis
US6108047A (en) 1997-10-28 2000-08-22 Stream Machine Company Variable-size spatial and temporal video scaler
IT1297939B1 (it) 1997-12-23 1999-12-20 Fiatavio Spa Gruppo di trasmissione ad ingranaggi
JPH11275592A (ja) 1998-01-22 1999-10-08 Victor Co Of Japan Ltd 動画像符号列変換装置及びその方法
EP0935395A2 (en) * 1998-02-06 1999-08-11 Sony Corporation Video encoding methods and apparatus
CN1183778C (zh) * 1998-02-13 2005-01-05 松下电器产业株式会社 图象解码装置及记录媒体
JP3649370B2 (ja) * 1998-02-25 2005-05-18 日本ビクター株式会社 動き補償符号化装置及び動き補償符号化方法
KR19990036646U (ko) 1998-02-26 1999-09-27 최종환 원예작물 가지 유인 밴드.
JPH11275580A (ja) 1998-03-24 1999-10-08 Sony Corp 画像データ処理装置、画像データ復号装置及び画像データ符号化装置並びにそれらの方法
US6317460B1 (en) * 1998-05-12 2001-11-13 Sarnoff Corporation Motion vector generation by temporal interpolation
JP3104681B2 (ja) 1998-06-10 2000-10-30 日本電気株式会社 オーディオ・ビデオ同期再生方法および装置
JP2000013790A (ja) * 1998-06-19 2000-01-14 Sony Corp 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体
US6018386A (en) * 1998-07-03 2000-01-25 The United States Of America As Represented By The Secretary Of The Air Force Oscillatory, optically coupled measurement system
US6295377B1 (en) 1998-07-13 2001-09-25 Compaq Computer Corporation Combined spline and block based motion estimation for coding a sequence of video images
US6591015B1 (en) 1998-07-29 2003-07-08 Matsushita Electric Industrial Co., Ltd. Video coding method and apparatus with motion compensation and motion vector estimator
JP2000059790A (ja) 1998-08-05 2000-02-25 Victor Co Of Japan Ltd 動画像符号列変換装置及びその方法
ID24586A (id) * 1998-12-21 2000-07-27 Matsushita Electric Ind Co Ltd Perangkat dan metode penyelarasan waktu dengan menggunakan modul basis waktu dan resolusi peningkatan waktu
US6297852B1 (en) * 1998-12-30 2001-10-02 Ati International Srl Video display method and apparatus with synchronized video playback and weighted frame creation
US6552749B1 (en) * 1999-01-29 2003-04-22 Intel Corporation Method and apparatus for video motion compensation, reduction and color formatting
US6625322B1 (en) * 1999-06-08 2003-09-23 Matsushita Electric Industrial Co., Ltd. Image coding apparatus
JP3264659B2 (ja) 1999-06-17 2002-03-11 松下電器産業株式会社 ノイズリダクション装置および方法とその記録媒体
JP3609291B2 (ja) 1999-07-19 2005-01-12 日本電信電話株式会社 多地点通信用マルチキャスト中継装置
JP2001136528A (ja) 1999-11-10 2001-05-18 Matsushita Electric Ind Co Ltd 画像圧縮符号化装置
US20030043918A1 (en) 1999-12-20 2003-03-06 Jiang Hong H. Method and apparatus for performing video image decoding
US6859609B1 (en) * 2000-02-11 2005-02-22 Lsi Logic Corporation Portable digital recorder
JP3593944B2 (ja) 2000-03-08 2004-11-24 日本電気株式会社 画像データ処理装置及びそれに用いる動き補償処理方法
KR100349058B1 (ko) * 2000-06-15 2002-08-21 (주)씨앤에스 테크놀로지 영상압축복원장치
JP2001069530A (ja) 2000-07-28 2001-03-16 Fujitsu Ltd 立体映像高能率符号化装置
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US7257312B2 (en) * 2001-10-23 2007-08-14 Thomson Licensing Fast motion trick mode using dummy predictive pictures
AU2003213360A1 (en) 2002-03-14 2003-09-22 Matsushita Electric Industrial Co., Ltd. Motion vector detection method
KR100508798B1 (ko) 2002-04-09 2005-08-19 엘지전자 주식회사 쌍방향 예측 블록 예측 방법
PT3525465T (pt) 2002-04-19 2021-05-10 Panasonic Ip Corp America Método e aparelho de descodificação de imagens
JP2004048632A (ja) * 2002-05-16 2004-02-12 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
JP2004023458A (ja) 2002-06-17 2004-01-22 Toshiba Corp 動画像符号化／復号化方法及び装置
JP3824268B2 (ja) * 2002-07-02 2006-09-20 松下電器産業株式会社 動きベクトル導出方法、および動きベクトル導出装置
CN1666532A (zh) 2002-07-02 2005-09-07 松下电器产业株式会社 图像编码方法和图像解码方法
JP2004088737A (ja) * 2002-07-02 2004-03-18 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
US7088776B2 (en) 2002-07-15 2006-08-08 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
AU2008201106C1 (en) 2002-07-15 2011-06-09 Apple Inc. Method and bitstream for variable accuracy inter-picture timing specification for digital video encoding
AU2013204690B2 (en) 2002-07-15 2015-11-19 Apple Inc Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
US6728315B2 (en) 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US8254461B2 (en) 2002-07-24 2012-08-28 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
PL375706A1 (en) 2002-10-01 2005-12-12 Thomson Licensing S.A. Implicit weighting of reference pictures in a video decoder
US7801217B2 (en) * 2002-10-01 2010-09-21 Thomson Licensing Implicit weighting of reference pictures in a video encoder
KR100506864B1 (ko) 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
AU2011265362A1 (en) 2002-12-06 2012-01-19 Apple Inc Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US6728615B1 (en) * 2003-02-03 2004-04-27 Visteon Global Technologies, Inc. System and method of controlling vehicle steer-by-wire systems with adjustable steering feel
TW200806217A (en) * 2006-05-08 2008-02-01 Korea Ind Fastener Corp Release buckle
US20080025408A1 (en) 2006-07-31 2008-01-31 Sam Liu Video encoding

Also Published As

Publication number Publication date
EP2276181A2 (en) 2011-01-19
US20110085594A1 (en) 2011-04-14
CA2820164A1 (en) 2004-01-22
EP2328283A2 (en) 2011-06-01
US20100183073A1 (en) 2010-07-22
AU2003256494B2 (en) 2008-01-24
US7088776B2 (en) 2006-08-08
SG168406A1 (en) 2011-02-28
EP2328280A2 (en) 2011-06-01
US9204161B2 (en) 2015-12-01
US8737483B2 (en) 2014-05-27
US20070274395A1 (en) 2007-11-29
EP2276180A2 (en) 2011-01-19
JP2012135016A (ja) 2012-07-12
KR20080015938A (ko) 2008-02-20
EP2343818A1 (en) 2011-07-13
US10154277B2 (en) 2018-12-11
EP2346186A1 (en) 2011-07-20
EP1532746A4 (en) 2008-12-03
ES2394188T3 (es) 2013-01-23
US7826528B2 (en) 2010-11-02
EP2276181A3 (en) 2011-07-13
CN102892006B (zh) 2016-02-10
EP2343896A1 (en) 2011-07-13
US9838707B2 (en) 2017-12-05
EP2346181A1 (en) 2011-07-20
PT2343829E (pt) 2012-12-04
US20070189379A1 (en) 2007-08-16
DK2276180T3 (da) 2012-12-17
EP2346184A1 (en) 2011-07-20
BR0312659A (pt) 2005-04-26
EP2363963A1 (en) 2011-09-07
SG179316A1 (en) 2012-04-27
US8817883B2 (en) 2014-08-26
US8630339B2 (en) 2014-01-14
HK1169768A1 (zh) 2013-02-01
HK1156745A1 (en) 2012-06-15
CA2629246A1 (en) 2004-01-22
CN102420992A (zh) 2012-04-18
US8743951B2 (en) 2014-06-03
US7903730B2 (en) 2011-03-08
EP2346179A1 (en) 2011-07-20
HK1159875A1 (en) 2012-08-03
US20120099649A1 (en) 2012-04-26
HK1076207A1 (en) 2006-01-06
US7292636B2 (en) 2007-11-06
KR20060015440A (ko) 2006-02-17
US20070274677A1 (en) 2007-11-29
US8094724B2 (en) 2012-01-10
KR101005135B1 (ko) 2011-01-04
KR101210015B1 (ko) 2012-12-07
CN102420993B (zh) 2015-09-09
EP2346177A1 (en) 2011-07-20
EP2346178A1 (en) 2011-07-20
US20120099650A1 (en) 2012-04-26
DK2328283T3 (da) 2012-12-10
US7668240B2 (en) 2010-02-23
US20040240557A1 (en) 2004-12-02
EP2343829B1 (en) 2012-08-29
US9516337B2 (en) 2016-12-06
ATE487282T1 (de) 2010-11-15
CN101262605B (zh) 2012-05-30
US20070274394A1 (en) 2007-11-29
PT1532746E (pt) 2011-02-09
EP1532746A1 (en) 2005-05-25
EP2343823A1 (en) 2011-07-13
EP2343820A1 (en) 2011-07-13
EP2328277A3 (en) 2011-07-13
EP1976299A3 (en) 2008-12-03
JP4676450B2 (ja) 2011-04-27
NO341570B1 (no) 2017-12-04
PT2276180E (pt) 2012-12-04
US7551674B2 (en) 2009-06-23
CA2931419C (en) 2018-09-11
CN102427535B (zh) 2015-03-11
CN102892005A (zh) 2013-01-23
KR100987894B1 (ko) 2010-10-13
HK1153057A1 (en) 2012-03-16
EP2317662A3 (en) 2011-07-13
SG10201502256TA (en) 2015-07-30
JP2008187735A (ja) 2008-08-14
KR20070091036A (ko) 2007-09-06
EP1532746B1 (en) 2010-11-03
EP2343829A1 (en) 2011-07-13
KR100850810B1 (ko) 2008-08-06
KR20100128354A (ko) 2010-12-07
US20150049815A1 (en) 2015-02-19
WO2004008654A8 (en) 2004-06-24
US20120099653A1 (en) 2012-04-26
US20170054994A1 (en) 2017-02-23
US8737462B2 (en) 2014-05-27
NO20161327A1 (no) 2016-08-22
EP2326020A2 (en) 2011-05-25
ES2393968T3 (es) 2013-01-03
US8737468B2 (en) 2014-05-27
BRPI0312659B1 (pt) 2019-04-16
JP2011024245A (ja) 2011-02-03
NO338810B1 (no) 2016-10-24
ES2393969T3 (es) 2013-01-03
US8711924B2 (en) 2014-04-29
US20040008776A1 (en) 2004-01-15
CN102892005B (zh) 2016-07-13
KR20110089378A (ko) 2011-08-05
EP2346183A1 (en) 2011-07-20
CN102420992B (zh) 2016-01-20
CN102892006A (zh) 2013-01-23
US20070274678A1 (en) 2007-11-29
EP2346185A1 (en) 2011-07-20
US8824559B2 (en) 2014-09-02
US20120093230A1 (en) 2012-04-19
NO342829B1 (no) 2018-08-13
CA2491741C (en) 2010-06-29
NO20170550A1 (no) 2005-02-15
CN1669234B (zh) 2013-08-14
CN1669234A (zh) 2005-09-14
WO2004008654A1 (en) 2004-01-22
DE60334804D1 (de) 2010-12-16
EP2343817A1 (en) 2011-07-13
JP4620586B2 (ja) 2011-01-26
EP2328280A3 (en) 2011-07-13
KR101210189B1 (ko) 2012-12-07
HK1169535A1 (zh) 2013-01-25
CN102427535A (zh) 2012-04-25
US8090026B2 (en) 2012-01-03
US8831106B2 (en) 2014-09-09
EP2343824A1 (en) 2011-07-13
EP2328278A3 (en) 2011-07-13
DK2343829T3 (da) 2012-11-26
EP2328279A3 (en) 2011-07-13
CA2820164C (en) 2016-08-23
HK1169537A1 (zh) 2013-01-25
DK2326019T3 (da) 2012-12-10
DK1532746T3 (da) 2011-02-21
EP2328283A3 (en) 2011-07-13
US20120093223A1 (en) 2012-04-19
US8837580B2 (en) 2014-09-16
KR100987911B1 (ko) 2010-10-13
CN102420993A (zh) 2012-04-18
KR101194952B1 (ko) 2012-10-25
KR20120037030A (ko) 2012-04-18
CA2491741A1 (en) 2004-01-22
JP5385251B2 (ja) 2014-01-08
EP2343826A1 (en) 2011-07-13
KR20100005242A (ko) 2010-01-14
US20070183492A1 (en) 2007-08-09
SG10201607076UA (en) 2016-10-28
EP2326020A3 (en) 2011-07-13
CN102420991B (zh) 2016-04-13
CN102427536B (zh) 2015-10-21
EP2328281A2 (en) 2011-06-01
US8737484B2 (en) 2014-05-27
CN101262605A (zh) 2008-09-10
EP2328282A3 (en) 2011-07-13
ES2393544T3 (es) 2012-12-26
EP2276180B1 (en) 2012-09-05
US20070189378A1 (en) 2007-08-16
EP2346182A1 (en) 2011-07-20
EP2328284A3 (en) 2011-07-13
JP5385233B2 (ja) 2014-01-08
ES2355816T3 (es) 2011-03-31
US20120099640A1 (en) 2012-04-26
HK1181225A1 (zh) 2013-11-01
EP2343827A1 (en) 2011-07-13
US20120093228A1 (en) 2012-04-19
EP2346180A1 (en) 2011-07-20
EP2328284A2 (en) 2011-06-01
KR101192559B1 (ko) 2012-10-17
US20120093232A1 (en) 2012-04-19
PT2328283E (pt) 2012-12-04
HK1169536A1 (zh) 2013-01-25
JP2007181227A (ja) 2007-07-12
EP2343816A1 (en) 2011-07-13
US20120093224A1 (en) 2012-04-19
EP2328279A2 (en) 2011-06-01
AU2003256494A1 (en) 2004-02-02
CA2629246C (en) 2013-09-17
EP2276180A3 (en) 2011-07-13
EP2317662A2 (en) 2011-05-04
HK1156747A1 (en) 2012-06-15
EP2328278A2 (en) 2011-06-01
EP2326019A3 (en) 2011-07-13
CN102427536A (zh) 2012-04-25
KR20100012060A (ko) 2010-02-04
US8837597B2 (en) 2014-09-16
EP2343821A1 (en) 2011-07-13
EP1976299A2 (en) 2008-10-01
US7548584B2 (en) 2009-06-16
EP2326019B1 (en) 2012-08-29
EP2328283B1 (en) 2012-08-29
EP2326019A2 (en) 2011-05-25
EP2343825A1 (en) 2011-07-13
EP2346187A1 (en) 2011-07-20
EP2343830A1 (en) 2011-07-13
US20120099647A1 (en) 2012-04-26
NO20050802L (no) 2005-02-15
EP2343815A1 (en) 2011-07-13
EP2343822A1 (en) 2011-07-13
JP2011097617A (ja) 2011-05-12
US20120093229A1 (en) 2012-04-19
US8654857B2 (en) 2014-02-18
JP2005533465A (ja) 2005-11-04
EP2343828A1 (en) 2011-07-13
EP2328281A3 (en) 2011-07-13
PT2326019E (pt) 2012-12-05
CN102420991A (zh) 2012-04-18
EP2328277A2 (en) 2011-06-01
US20160073128A1 (en) 2016-03-10
US20120093233A1 (en) 2012-04-19
EP2343819A1 (en) 2011-07-13
EP2328282A2 (en) 2011-06-01
CA2931419A1 (en) 2004-01-22

Similar Documents

Publication Publication Date Title
JP5385414B2 (ja) デジタルビデオ符号化処理における可変精度ピクチャ間タイミング指定方法及び装置
JP2006509463A (ja) 除算演算の要件が低減されたデジタル・ビデオ符号化の可変精度画像間タイミング指定の方法および装置
JP2010154568A5 (ja)
AU2013204690B2 (en) Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
AU2011202000B2 (en) Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130125

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130415

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131003

R150 Certificate of patent or registration of utility model

Ref document number: 5385414

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term