JP5400876B2 - ビデオ符号化のための、スライス依存性に基づくレート制御モデル適合化 - Google Patents

ビデオ符号化のための、スライス依存性に基づくレート制御モデル適合化 Download PDF

Info

Publication number
JP5400876B2
JP5400876B2 JP2011514726A JP2011514726A JP5400876B2 JP 5400876 B2 JP5400876 B2 JP 5400876B2 JP 2011514726 A JP2011514726 A JP 2011514726A JP 2011514726 A JP2011514726 A JP 2011514726A JP 5400876 B2 JP5400876 B2 JP 5400876B2
Authority
JP
Japan
Prior art keywords
picture
rate control
pictures
coding
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011514726A
Other languages
English (en)
Other versions
JP2011525094A (ja
Inventor
レオンタリス、アサナシオス
トゥラピス、アレクサンドロス
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2011525094A publication Critical patent/JP2011525094A/ja
Application granted granted Critical
Publication of JP5400876B2 publication Critical patent/JP5400876B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures

Description

［関連出願への相互参照および優先権主張］
本出願は、アサナシス・レオンタリス（Ａｔｈａｎａｓｉｓ Ｌｅｏｎｔａｒｉｓ）およびアレキサンドラス・トゥラピス（Ａｌｅｘａｎｄｒａｓ Ｔｏｕｒａｐｉｓ）により２００８年６月１６日に出願され、ビデオ符号化のための、スライス依存性に基づくレート制御モデル適合化（Ｒａｔｅ Ｃｏｎｔｒｏｌ Ｍｏｄｅｌ Ａｄａｐｔａｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｓｌｉｃｅ Ｄｅｐｅｎｄｅｎｃｉｅｓ ｆｏｒ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）と題し、本出願の譲受人に譲渡された、同時係属中の米国特許仮出願第６１／０６１，９４１号に関連し、それに対する優先権とその利益を主張する。
［技術分野］
本発明の実施形態はビデオ情報の処理に関する。
レート制御は最新のビデオ圧縮システムの不可欠な要素である。圧縮ビットストリームが、伝送媒体によって課される特定の帯域幅および遅延の制約を満たす。これらの制約はレート制御を通じて満たされることができる。レート制御アルゴリズムが各ピクチャ、色成分、ブロックのセットまたは個々のブロックに配分されるビット数を変化させることによって、エンコーダおよびデコーダのバッファオーバーフローおよびアンダーフローが回避されればよく、さらに目標ビットレートが高精度で達成されればよい。任意に、レート制御アルゴリズムが、常に高い視覚的品質を維持しようと試みてもよい。こうした上述の目的は互いに競合する場合があり、複合最適化問題に寄与する場合がある。それにもかかわらず、圧縮されたビデオビットストリーム内のピクチャは、例えば、イントラ予測（Ｉ）、単方向予測（Ｐ）および双方向予測（Ｂ）スライスを用いて、種々の配列でエンコードされることができる。スライスはピクチャ内に、同じ予測形式：Ｉ−、Ｐ−またはＢ−、を用いて符号化された１つ以上のマクロブロックを含む。ピクチャは、単一または複数のスライスを用いて符号化されることができるが、それらは同じ形式のものである必要はない。レート制御の目的のために、スライスは、同じ符号化パラメータを用いて符号化される１つ以上のレート制御基本単位（例えば、マクロブロックの集合）にさらに細分されてもよい。基本単位は、ラスタ走査順序を用いて定義されるものであってもよいし、任意のものであってもよいし、またはシーン内の物体に依存するものであってもよい。基本単位は隣接ピクチャの集合であってもよい。本文書内では、基本単位、スライス、ピクチャおよびフレームの用語は文脈に応じて互換的に用いられてよいことを理解されたい。ビットレートおよび品質の統計量は異なる形式のスライス間で大きく変化する場合がある。最新のレート制御アルゴリズムは、単一のスライス形式のレート制御基本単位のための統計量を収集し、収集された統計量をその形式のレート制御基本単位のみに適用すればよく、一方、他のスライス形式については、発見的なレート制御方法が用いられればよい。スライス形式または基本単位に対するレート制御の遂行は、別個の、および場合により異なるレート制御モデルを用いてもよく、これによってより正確なレート制御が達成される場合があり、さらに圧縮ビットストリームの視覚的品質を向上させる可能性もある。しかし、別個のレート制御モデルを用いることが計算コストを強いる場合がある。
ビデオ圧縮システムの目的は、例えば、圧縮ビットストリームに対する固定目標ビット数を所与としてできる限り低い歪みを達成するための、または同等に、固定歪み値のための最小限のビット数を送信するための高圧縮性能である。歪み測定の例はピーク信号対雑音比（ｐｅａｋ ｓｉｇｎａｌ−ｔｏ−ｎｏｉｓｅ ｒａｔｉｏ、ＰＳＮＲ）である。対応したデコーダ機構（デコーダ）が圧縮ビットストリームを復号すれば受信器側で表示されて見ることができるようになる再構築ビデオシーケンスが生成されるように、ビデオエンコーダが圧縮ビットストリームを作成する。記憶または伝送媒体が、こうした圧縮ビットストリームを種々の輸送モードで復号されるように受信機に送信できることを理解されたい。これらの輸送モードの各々は異なる遅延および帯域幅に適用できる。例えば：
（ａ）圧縮ビットストリームは光または磁気ディスクあるいは不揮発性コンピュータメモリ上に記憶され輸送されることができる；
（ｂ）ユーザはインターネット上の或るリモートサーバから圧縮ビットストリームをダウンロードし、その後の或る時点で再構築ビデオをオフラインで見ることができる；
（ｃ）ユーザはリモートインターネットサーバから圧縮ビットストリームをストリームし、クライアントコンピュータまたはデバイス上で圧縮ビットストリームをわずかな時間遅延で見ることができる；ならびに
（ｄ）圧縮ビットストリームは、リアルタイムの双方向ビデオ通信（例えば、ビデオ会議）、またはライブイベントのビデオストリーミング（例えば、スポーツ）のいずれかの結果、生じるものでありうる、等。
リアルタイムの通信の場合は、低いエンドツーエンド遅延がユーザに対するサービスの品質を向上させる可能性がある。ライブイベントのストリーミング、ビデオ会議等の場合は、エンドツーエンド遅延がいくらか高くなることが予想されてよい。光および磁気ディスクへの記憶ならびにムービーのダウンロードは、例えば、コンピュータ上における復号および表示が、利用可能なバッファスペースを有する場合があるため、より大きな遅延を許容する場合がある。映画およびテレビ番組のインターネットストリーミングは、ライブイベントのストリーミングに比して追加の遅延を許し且つ、同量の満足を視聴者に与えうることが見いだされている。エンドツーエンド遅延は通信チャネル（または「パイプ」）ならびにビデオ符号化器の予測構造の影響を受ける場合があることも見いだされている。例えば、ビデオ符号化器によっては、圧縮性能を向上させるために、現在のフレームを符号化する前に未来のフレームをバッファするものがある。しかし、未来のフレームをバッファすると遅延を増大させる場合がある。
データパイプの容量は各輸送媒体により異なりうることを理解されたい。例えば、光および磁気ディスクへの記憶は帯域幅に関しては非常に寛容である。ブルーレイまたはＨＤ−ＤＶＤディスク等の大容量記憶媒体はビット容量とデコーダのバッファサイズに上限を有する。オフラインでの再生は、ビットストリームがオフラインで見られるので、帯域幅に関して制約がなされなくてもよい。しかし、実用的な構成はバッファリングの遅延およびハードドライブの記憶スペースに関連する場合がある。インターネットストリーミングおよびリアルタイムの双方向ビデオ通信は、ビットストリームの輸送に用いられるネットワークの帯域幅によって影響されうる。さらに、１つの輸送媒体用に生成されたビットストリームは、異なる輸送媒体を通じた伝送には適していない場合があろう。例えば、光ディスク（例えば、ＤＶＤ）上に記憶されるビットストリームは５Ｍｂｐｓ等のビットレートで圧縮されてよい。そのようなビットレートをサポートするための帯域幅が不足しているネットワークを介して同じビットストリームをオンラインでストリーミングすると、性能に影響を及ぼす場合がある。
帯域幅および遅延の制約を満たす圧縮ビットストリームを生成するための機構がレート制御である。レート制御は視覚的歪みを最小限に抑える可能性があり、通信チャネルに合うビットを生成し、デコーダ入力バッファのオーバーフローまたは（例えば、アンダーフローを招く可能性がある）枯渇を防止する。例えば、対応したビットストリームがデコーダバッファに関して２つの制約を満たしてよい：
（ａ）受信されたピクチャビットがバッファ内に収まる（さもなければバッファオーバーフローを招く）、および
（ｂ）ピクチャを符号化するためにデコーダがピクチャをバッファから除去する際、ピクチャ全体がまるごと受信される（さもなければバッファアンダーフローまたは枯渇を招く）。
本セクションに記載されているアプローチは、追求が可能であろうと考えられるアプローチであるが、必ずしも以前に考えられたことがあるアプローチまたは追求されたことがあるアプローチである必要はない。従って、本セクションに記載されているアプローチはいずれも、指摘されない限り、本セクションに含まれているというだけで先行技術と見なされると考えてはならない。
添付の図面の図において、本発明が、限定としてでなく、例として示される。図において類似の参照符号は同様の要素を指す。図では次のものが示される。
実施形態による、ビデオエンコーダ内のレート制御方式の実装例を図解する概略図である。 実施形態による、汎用的なレート制御モデルを図解する概略図である。 実施形態による、過去および未来における隣接するピクチャから生じるブロックの重み付け線形結合を用いた、現在のピクチャの予測を図解する概略図である。 実施形態による、動き補償予測を図解する概略図である。 実施形態による、単一の先行参照ピクチャを用いたＳＡＤ計算を図解する概略図である。 実施形態による、複数の後続の参照ピクチャを用いたＳＡＤ計算を図解する概略図である。 実施形態による、動き補償予測段階として用いられる動き補償時間フィルタを図解する概略図である。 実施形態による、３つの時間レベルと４つの形式の符号化単位を有する階層的２進分解の構造を示す概略図である。 実施形態による、４つの時間レベルと４つの形式の符号化単位を有する２進分解の構造を図解する概略図である。 実施形態による、３つの時間レベルと５つの形式の符号化単位を有する非２進式の任意の分解構造を図解する概略図である。 実施形態による、３つの時間レベルと７つの形式の符号化単位を有する非２進式の分解構造を図解する概略図である。 実施形態による、変換されたレート制御モデルの変換を用いたエンコーディングを図解するフロー図である。 実施形態による、異なる形式の符号化単位のビットレート関係を推定するためのフロー図である。 実施形態による、レート制御を向上させるためのアルゴリズムのフロー図である。 実施形態による、単一のレート制御モデル、および第１の技法の手法を用いて導出されるθ比を用いるビデオエンコーダを図解するフロー図である。 実施形態による、複数のレート制御モデル、および第１の技法の手法を用いて導出されるθ比を用いるビデオエンコーダを図解するフロー図である。 実施形態による、異なるピクチャ形式のために生成された変換レート制御モデルの混合および結合を図解するフロー図である。 実施形態による、トランスコーダモジュールの要素を図解する概略図である。 実施形態が実装されてよいコンピュータシステムを図解するブロック図である。 実施形態による、複数のスライス形式を用いて符号化されるピクチャの例の概略図である。 実施形態による、符号化中の構造切り替わりへの対応を図解するフロー図である。 実施形態による、符号化中の構造切り替わりへの対応のためのパラメータの更新を図解するフロー図である。 実施形態による、基本単位構成を図解する概略図である。 実施形態による、基本単位構成を図解する概略図である。
以下の記載では、説明の目的のために、本発明の完全な理解を提供するために具体的な詳細が数多く説明されている。しかし、本発明の実施形態はこれらの具体的な詳細を備えることなく実施されてもよいことは明らかであろう。他の例では、本発明を不必要に不明瞭にすることを避けるために、周知の構造およびデバイスがブロック図の形で示される。
本願明細書においては次の概要に従って実施形態例が記載される：
１．０ 一般概説；
２．０ ビデオ符号化のための、符号化単位依存性に基づくレート制御モデル適合化の概説；
２．０．１ 第１の技法例−レート制御のモデル化、
２．０．２ 第２の技法例−統計量の収集、
２．０．３ 第３の技法例−ビット配分、および
２．０．４ 第４の技法例−トランスコーディング；
３．０ 実装機構例；
４．０ 実施形態例の列挙；ならびに
５．０ 均等物、拡張、代替物およびその他のこと。
［１．０ 一般概説］
図１はビデオエンコーダ内のレート制御モデル１００の実装例を示す。レート制御の機構は、ビデオシステムの帯域幅、遅延および品質の制約を満たす圧縮ビットストリームを生成することができる。レート制御は、デコーダ入力バッファのオーバーフローまたは枯渇を防止しつつ、ビットレート目標を満たすことができる。任意に、レート制御は、所与のビットレート目標および遅延／バッファリング制約についての歪みを低減する機能を果たすこともできる。
図１において、入力ビデオ１０２は、視差補償、例えば予測、ブロック１６０の出力を入力ビデオ１０２から減ずる加算器１１６に送られる。視差補償ブロック１６０は、ピクチャ参照記憶装置ブロック１６４からのピクセルサンプルと、視差推定ブロック１６２からピクチャ参照記憶装置ブロック１６４へ伝達される符号化モードとを用いて、例えば、イントラまたはインター予測（例えば、動き補償重み付け予測）を遂行することができる。視差推定ブロック１６２は、入力ビデオ１０２とピクチャ参照記憶装置ブロック１６４からのピクセルサンプルとを入力として用いて、インター予測（例えば、動き推定および重み付け予測）、イントラ予測ならびにモード決定を遂行する。視差推定ブロック１６２は、ある種の評価指標、例えば、元のサンプルとそれらの予測との間の絶対差または２乗差の和、を最小化することによって、あるいはレート−歪み最適化されたラグランジュ最小化等のより複雑な方法を考慮することによって、最良のインターまたはイントラ符号化モードを選択する。加算器１１６からの出力は変換ブロック１０４に結合され、その後に量子化ブロック１０６が続く。量子化ブロック１０６および変換ブロック１０４はレート制御１５０からの入力も受信する。変換ブロック１０４は、残差データの変換を除き、レート制御ブロック１５０によって、変換行列を調整するように命令されることができる。量子化ブロック１０６は、変換された係数の量子化処理を除き、レート制御ブロック１５０によって、とりわけ次のタスクの１つを遂行するように命令されることができる：（ａ）量子化行列を調整すること；（ｂ）ある量子化係数のサンプルを調整することまたは選択的にゼロ設定（閾値処理）すること；（ｃ）量子化丸めオフセットを調整すること、（ｄ）レート歪み最適化量子化を遂行すること。量子化ブロック１０６の出力は可変長符号化器（ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｅｒ、ＶＬＣ）ブロック１０８および逆量子化ブロック１１０に結合される。ビットストリーム１２０はＶＬＣブロック１０８から生じ、さらに、ブロック、領域またはイメージのエンコーディングに用いられたビット数、ならびにそのような決定によってもたらされた歪み等の、エンコーディングプロセスに関する情報がレート制御１５０に送られる。
レート制御１５０は、同様に、視差推定ブロック１６０および歪み計算ブロック１６８からの入力を受信するとともに、視差推定ブロック１６２、変換ブロック１０４、ループフィルタ１６６および量子化ブロック１０６への出力を有する。歪み計算ブロック１６８は、入力ビデオ１０２と、視差補償ブロック１６０からの入力ビデオ１０２の予測との間の歪み評価指標を計算する。視差推定ブロック１６２は、レート制御ブロック１５０によって、とりわけ次のうちの１つ以上を含めばよいタスクを遂行するように命令されることができる；（ａ）動き補償ブロックサイズを選択的に有効化することおよび無効化すること；（ｂ）或るピクチャを動き補償の参照として用いること；（ｃ）動き推定の探索範囲あるいは他の動き推定パラメータ（例えば、閾値または探索パターン）を調整すること；（ｄ）同時双方向予測動き推定における反復回数を調整すること；（ｅ）イントラ予測モードを選択的に有効化することおよび無効化すること；（ｆ）特定の符号化モード（例えば、スキップモード）を選択すること。ループフィルタブロック１６６はレート制御ブロック１５０によってとりわけ次のタスクのうちの１つを遂行するように命令されることができる：（ａ）ループ内デブロッキングフィルタのパラメータを調整すること；（ｂ）デブロッキングフィルタをオフに切り替えること。
逆変換ブロック１１２は逆量子化ブロック１１０から入力を受信し、加算器１２６へ出力を送信する。加算器１２６は逆変換ブロック１１２および視差補償ブロック１６０から信号を受信し、合計された信号をループフィルタ１６６へ送信する。ピクチャ参照記憶装置１６４はループフィルタ１６６から入力を受信し、視差補償ブロック１６０および視差推定ブロック１６２へ出力を送信する。視差推定ブロック１６２はレート制御１５０からも入力を受信する。ループフィルタ１６６はレート制御１５０からも入力を受信する。入力ビデオ１０２は視差補償ブロック１６０および視差推定ブロック１６２の入力へも送信される。
１ピクチャ当たりのビット配分に関しては、ピクチャに配分されるビット数が影響を受けうる方法が多数ある。例えば、配分または使用されるビット数は、以下の各種の符号化パラメータを変化させることによって制御されることができる：
（ａ）ブロックの残差変換係数を量子化するために用いられるパラメータ値である、量子化パラメータ（ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ、ＱＰ）を変化させること；
（ｂ）ブロック全体がスキップされその代わりに以前のブロックがコピーされて表示されなければならないと信号で知らせること等の、より少ないビットを伝送するために視覚的品質をトレードオフする符号化モードを選択すること；
（ｃ）動き推定および符号化モード決定のラグランジュのレート−歪み最適化の間に用いられるラグランジュのラムダ（ｌａｍｂｄａ）（「λ」）パラメータを変化させること；
（ｄ）変換された係数（例えば、離散コサイン変換（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ、ＤＣＴ）または変形ＤＣＴ等のようなフーリエ型の変換を用いて変換された係数）を、品質の劣化を最小限にとどめつつもより圧縮可能であるか、または、代わりに、係数を閾値処理（ゼロ設定）する値に量子化すること。こうした量子化は、ＤＣＴ係数の量子化の間に丸めオフセットを調整することによって任意に実装されてよい；ならびに
（ｅ）或るピクチャは符号化せず、その代わり、そのようなピクチャはスキップされなければならず、スキップされたピクチャの代わりに以前の符号化ピクチャが表示されること（例えば、フレームスキップ）を信号で知らせることを選ぶこと。
量子化パラメータ値は品質対歪みおよびビット使用に対してより直接的な関係があるので、他の方法と比べれば、レート制御は主に量子化パラメータ値を変化させることによって達成されればよいことを理解されたい。レート制御の目的は目標ビットレートを達成することである。レート制御のもう１つの目的は圧縮イメージシーケンスについて可能な限り最良の視覚的品質を達成することである。別の目的は、エンコーダおよびデコーダのバッファ制約を満たすこと、さらに二次的に、計算の複雑さの低さおよび所要メモリ量を満たすことを含んでよい。量子化パラメータの選択は単純なアルゴリズムを用いる場合またはより包括的なアルゴリズムを用いる場合があろう。単純なレート制御アルゴリズムは次のステップ例を含むことができる：ビデオシーケンス内の最初のピクチャが所定の量子化パラメータ値でエンコードされる。次に、エンコーダが、結果として生じるビット数を元のビット目標と比較する。もし結果として生じるビット数がビット目標を超えていれば、例えば閾値Ｔｈｉｇｈだけ超えていれば、ビット使用量を低減するために次のピクチャについての量子化パラメータ値がインクリメントされる。一方、もし結果として生じるビット数がビット目標よりも著しく小さければ、例えば閾値Ｔｌｏｗだけ小さければ、ビット使用量を増加させるために次のピクチャについての量子化パラメータ値がデクリメントされる。さもなければ、同じＱＰが用いられてよい。終極において、上述の発見的アルゴリズムはほぼ目標ビットレートを実現する。しかし、アルゴリズムの単純さはビデオ品質に、ことによると著しく、影響を及ぼす場合がある。
最新の包括的なレート制御アルゴリズムは、現在のピクチャと予測ピクチャとの間（またはそれらの部分間）の誤差を用いることを含む、種々の特徴を通じて良好な性能を実現することができる。以前に符号化されたピクチャ内のブロックからの動き補償を用いて現在のピクチャ内のブロックが予測される（インター予測）。別の符号化配列では、同じピクチャからのピクセル値を用いて現在のピクチャ内のブロックが予測されることができる（イントラ予測）。このような技法群は通例、符号化モードと呼ばれる。ソース信号と予測（インターまたはイントラ）との間の誤差は各種の歪み評価指標を用いて計算されることができる。一般に、（イントラまたはインター）予測誤差の、平均二乗誤差（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ、ＭＳＥ）または同等に誤差平方和（Ｓｕｍｍｅｄ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ、ＳＳＥ）、ならびに平均絶対差（Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、ＭＡＤ）または同等に絶対値差分和（Ｓｕｍｍｅｄ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、ＳＡＤ）が用いられる。ＳＡＤ予測誤差は、特定のブロックをエンコードする際の困難さの指標である。例えば、ＳＡＤ予測誤差が高ければ、それは高いエントロピーを持つ予測誤差残差の結果である可能性があり、その圧縮はコストが高くなることが分かる可能性がある。それ故、予測誤差の知識を用いることは、量子化パラメータの値をより良く選択する助けとなることができ、または一般に、ビットレートを制御する技法を調整する助けとなることができる。ＭＡＤ／ＳＡＤは予測誤差／歪みの２つのありうる評価指標にすぎないことを理解されたい。歪み、または符号化の複雑さの別のありうる評価指標が検討されてもよい。
ＳＡＤ予測誤差はモデル（例えば、線形、２次モデル等）を通じて推定されることができる。別の方法として、ＳＡＤ予測誤差は複数パスエンコーディングを通じて計算されることができる。例えば、１つのパスがＳＡＤ等の統計量を集め、さらにこうした統計量が、レート制御を向上させるために後のパス群によって用いられる。インター予測をサポートする符号化形式のためには、動き補償された誤差分散またはＳＡＤに基づく時間統計量の方が、ソースの分散等の空間統計量よりも、レート制御のためにはるかに信頼性が高い。イントラ予測をサポートするのみの符号化形式のためには、空間分散等の空間統計量が好ましい場合がある。目標ビット数および推定ＳＡＤが与えられれば、量子化パラメータ値は、２次モデル等のモデルによって推定されることができる。上述のＳＡＤおよびＱＰモデルに基づいた技法以外に、他のレート制御技法が用いられることができる。例えば、他のレート制御技法としてロー（ｒｈｏ）領域レート制御を挙げることができる。このようなロー領域レート制御技法は前述の２次モデルよりも計算が複雑である場合がある。なぜなら、ロー領域レート制御技法は、生成される変換係数毎にピクセルレベルの情報を収集するからである。こうした技法は、広く用いられているＤＣＴ変換（および関連変換類）を含む、ただしそれに限定されるものではない、データ無相関化変換を利用するビデオ圧縮システムに適用されてよいことを理解されたい。
初期のレート制御技法には、各イメージブロックを複数の量子化パラメータで繰り返し圧縮してから帯域幅制約を満たすＱＰを選択するものがある。しかし、計算コストが、これらの技法をリアルタイムのまたは複雑さの低いアプリケーションとともに使用する実用性に限界を与える場合がある。この限界を効率的なレート制御モデルが取り除く場合がある。単純なレート制御モデルはメモリおよび決定モジュールを含む。メモリモジュールは、イメージシーケンス内のピクチャの側面の中でも、とりわけ複雑さ、ビットレート使用量、および内容に関連する情報を収集する。こうした情報は、収集された統計量をビット使用量に関連づけるモデルを作るために組み合わせられてよい。モデルは、以前にエンコードされたピクチャからの情報を用いて定期的に更新されてよい。いくらかの非自明な数の符号化ピクチャを処理した後にモデルが所望の状態に収束するようにモデルを更新するために、計算的に資源が配分されればよい。新しいピクチャが符号化される際、モデルは、入力ビット目標を達成することになる符号化パラメータを計算する。
各ピクチャについて単一のＱＰを選択した初期の実用的なレート制御アルゴリズムが、テストモデル５レート制御と呼ばれるモデルである。各イメージについて複雑さの尺度が計算され、それが次にピクチャ群内でレートを配分するために用いられ、さらに任意に、符号化されるピクチャ内のブロックのスライス群内でレートをより細かく配分するために用いられる。次に、ビット目標をピクチャまたはスライスの符号化に用いられる量子化パラメータに変換するために、モデルが用いられる。テストモデル５では、用いられる複雑さの尺度はピクチャまたはブロックの空間分散であった。代替の複雑さの尺度が、以前のピクチャのエンコーディングに用いられた、結果として生じるビットと、量子化パラメータとの関数であってもよい。ＱＰ値がピクチャのブロック群内で最適に配分されるもう１つのアプローチは、現在のピクチャの動き補償された残差の標準偏差値／分散値を用いるというものである。ビットレートの制約（例えば、目標ビットレートを達成すること）を量子化パラメータに変換するモデルが、複雑さ（標準偏差）およびＱＰの２次関数であってもよい。
レート制御アルゴリズムが、残差ＤＣＴ係数を生成し符号化する前に、符号化モード（とりわけイントラまたはインター符号化モード）を選択してよいことを理解されたい。こうすれば、複雑さの推定値は既知となる場合があるので、ブロック／ピクチャの複雑さは計算される必要がなくなる場合がある。一方、視覚的品質を著しく向上させることができるより新しいエンコーディングパラダイムは、符号化モードの選択を最適化するためにラグランジュのレート−歪み最適化を用いてよいというものである。レート−歪み最適化されたビデオ圧縮システムにおいて、動き推定および符号化モード選択は、例えば、ラグランジュのコスト関数Ｊ＝Ｄ＋λ×Ｒを最小化することによって達成されることができる。ここで、Ｄは歪み（例えば、ＳＳＥ、ＳＡＤまたは他の歪み評価指標）、Ｒはエンコーディングプロセスの実際のビットレートまたはビットレートの推定値である。歪みに対するレートのトレードオフに用いられるラグランジュのパラメータλは、レート−歪み勾配に関連し、量子化パラメータの関数として定義されてよい。動き推定の最中は、レート使用量Ｒは通例、とりわけ、動きベクトル（ブロックの動きを表す情報）、参照ピクチャの添字、重み付け予測パラメータ等の、ブロックの動きパラメータを符号化するために用いられるビットを表す。モード決定の最中は、レート使用量Ｒは、前記符号化モードでブロック全体を符号化するために用いられるビットを表してもよい。現在のブロックの特性およびその隣接ブロックの特性が与えられると、複雑さの高いレート−歪み最適化（ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ ｏｐｔｉｍｉｚａｔｉｏｎ、ＲＤＯ）が用いられるなら、レート使用量は精密に計算されるし、あるいは複雑さの低いＲＤＯが用いられるなら、レート使用量は推定されてよい。モード決定におけるレート使用量の計算は予測残差の完全エントロピー符号化およびブロックの再構築を用いる。レート歪み（Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ、ＲＤ）最適化モードの決定は、エンコーディングに用いられるモードを確定するために、複数の符号化モードだけでなく、複数の量子化パラメータを考慮するか、または符号化単位の他の特性を調整する場合もある。モード決定の最中に複数の量子化パラメータを考慮すれば、性能を向上させることができようが、ことによっては著しく、より大きな計算資源を用いることにもなる可能性がある。さらに、ラグランジュ最適化を用いて複数のＱＰをＲＤに関して比較することは、比較中は一定に保たれるパラメータλを利用することになるであろう。従って、必要な計算を著しく増加させることなく複雑さの低いＲＤＯ方式を可能とするとともにラグランジュのλを簡単に選択できるようにするためには、符号化モード決定プロセスおよび予測残差変換係数の導出の前に量子化パラメータが選択されればよい。ブロックをエンコードする前に現在のブロックの複雑さ（例えばＳＡＤ）を推定するレート制御アルゴリズムが種々、提案されていることを理解されたい。
Ｈ．２６４／ＡＶＣ、ＶＣ−１およびＭＰＥＧ−２等の最新のビデオコーデックでは、ピクチャが予測ピクチャ（Ｐ符号化ピクチャ）、イントラピクチャ（Ｉ符号化ピクチャ）または双方向予測ピクチャ（Ｂ符号化ピクチャ）として符号化されてよい。Ｈ．２６４／ＡＶＣでは、ピクチャが複数のＩ、ＰまたはＢスライスの組み合わせを用いて符号化されてよい。例えば、１つのありうる配列では、ピクチャの上部半分はＩスライスとして、および下部半分はＰスライスとして符号化することが可能である。コーデックによっては、追加のスライス／ピクチャ形式、例えばＨ．２６４／ＡＶＣ内のＳＰおよびＳＩスライスならびに多重仮説ピクチャ、をサポートしており、ピクチャをフレームおよびフィールド符号化する構造を考慮することもできる。同じ形式のフィールド符号化ピクチャとフレーム符号化ピクチャは非常に異なる符号化特性を有する傾向がある。必要ならば、フレーム符号化ピクチャはフレームまたはフィールドマクロブロック符号化構造のマクロブロックレベルでさらに細分されてよい。これは符号化統計量の間にさらなる差別化を生み出しうる。ピクチャの圧縮には３つの一次符号化形式：Ｉ符号化ピクチャ、Ｐ符号化ピクチャおよびＢ符号化ピクチャ、が利用可能である。ここで、このようなピクチャは同じ形式のスライス群（それぞれＩ、Ｐ、またはＢ）から成ることが仮定されている。Ｉ符号化ピクチャとは、同じピクチャのピクセルからのイントラ予測を用いるものである。Ｐ符号化ピクチャとは、その内部のブロックが、以前にエンコードされた参照ピクチャからの動き補償を用いて追加的に予測されることができるものである。以前にエンコードされた参照ピクチャは、ＭＰＥＧ−２またはＭＰＥＧ−４ ｐａｒｔ ２のように、表示順における過去のピクチャである必要はなく、むしろ復号の順序において以前にエンコードされた参照ピクチャでありうることを理解されたい。そのような参照ピクチャは、エンコードされている現在のピクチャ内の各ブロックについて、必ずしも同じピクチャであるとは限らない。例えば、「複数参照予測」により、参照ピクチャは参照ピクチャ候補のプールから選択されることが可能となる。Ｂ符号化ピクチャとは、複数の参照ピクチャからのブロックで構成される２つの動き補償予測（ｍｏｔｉｏｎ−ｃｏｍｐｅｎｓａｔｅｄ ｐｒｅｄｉｃｔｉｏｎ、ＭＣＰ）の組み合わせを追加的に用いることができるものである。Ｈ．２６４／ＡＶＣビデオコーデックでは、組み合わせられる予測は、同じ予測方向から、例えばどちらも過去からまたはどちらも未来から、もたらされるものであっても構わないし、あるいはさらに同じピクチャからもたらされるものであっても構わないことを理解されたい。ピクチャの符号化に利用可能な符号化ツール（例えば、イントラまたはインター予測等の符号化モード）という観点から、Ｉ符号化ピクチャは基本的にＰ符号化ピクチャの特別な場合と考えられてよく、Ｐ符号化ピクチャは、同じく、Ｂ符号化ピクチャの特別な場合と考えられてよい。同様に、Ｉ、ＰおよびＢ符号化ピクチャは異なる符号化統計量を有する。同じ量子化パラメータおよび内容に対して、Ｉ符号化ピクチャは通例、Ｐ符号化ピクチャよりも用いるビットが多い。一方、かなりの時間的相関を持つイメージシーケンスの場合、さらに符号化構成（例えば、利用可能な参照群およびそれらの現在のピクチャとの関係）に応じて、Ｂ符号化ピクチャはＰ符号化ピクチャよりも用いるビットが平均的に少ない。さらに、ピクチャはプログレッシブフレームまたは一対のインターレースフィールドとして符号化されることができることを理解されたい。フィールド符号化は、テレビ制作において用いられる場合があるように、インターレースカメラを用いて作成されたビデオ内容の圧縮効率を高める場合がある。複雑さまたは符号化効率の理由のために、複数のスライス形式を用いてピクチャを符号化することも可能である。そのような符号化ピクチャの例であって、２つのＢスライス、スライス１（２００２）およびスライス２（２００４）、ならびに４つのＰスライス、スライス０（２００６）、スライス３（２００８）、スライス４（２０１０）およびスライス５（２０１２）を用いる例が図２０に示されている。このような符号化ピクチャは、Ｐスライスのみを用いるピクチャに比して異なるレート−歪み特性を有する。図２２および図２３に２つの基本単位の構成例が示されている。図２２では、２つのスライスを用いてピクチャ（２２００）が符号化される。１つ目はＢスライス（２２０２）、２つ目はＰスライス（２２０４）である。Ｂスライス（２２０２）はさらに、同じサイズのラスタ走査基本単位、基本単位０（２２０６）、基本単位１（２２０８）、基本単位２（２２１０）、基本単位３（２２１２）および基本単位４（２２１４）、に細分される。Ｐスライス（２２０４）は、物体とその背景をモデル化する２つの基本単位、基本単位５（２２１６）および基本単位６（２２１８）、に細分される。図２３では、構成例（２３００）が２つの基本単位、基本単位１（２３０２）および基本単位２（２３０４）、を後に続くピクチャ群のグループとして示すものとなっている。
最新のビデオコーデックは、シーケンスの統計量に適合する柔軟な予測構造をエンコーディング中に用いて圧縮ビットストリームの品質を最大限に高めることができる。Ｈ．２６４／ＡＶＣの場合は、図８〜図１１に示される構造のような、「階層符号化ピクチャ」として知られる複雑な予測構造を構築することが可能である。それらは本願明細書において後にさらに詳細に記載される。このような構造はレート制御に対して重要となる場合がある。なぜなら、各スライス形式のレート−歪み性能は符号化構造内の予測構造の位置によって影響を受ける場合があるためである。例えば、レベル２のＢ符号化ピクチャはレベル１のＢ符号化ピクチャとは大幅に異なる品質−ビットレートトレードオフを有しうる可能性がある。
図８〜図１１はいくつかの類似点を共有する。以下の全般的な説明は、図８を参照しながら記載されることができる。図８は、３つの時間レベルと４つの形式の符号化単位を有する階層的２進分解の構造を示す概略図（８００）である。本願明細書で用いられているように、「符号化単位」の用語は、符号化依存性とも呼ばれる次の３つの種類の情報を指してよい：符号化ピクチャの構成（例えば、イントラ対インター符号化、単方向予測対双方向予測、同じ形式のスライスの数、レート制御基本単位の数、フレーム対フィールド符号化、ピクチャ当たりの単一対複数のスライスおよびそれらの配列、等）、予測構造内におけるピクチャの位置、ならびに予測構造内における現在のピクチャの予測関係（例えば、とりわけ、その予測参照の数、形式および位置）。換言すると、特定のピクチャの符号化依存性は、その特定のピクチャの予測元のピクチャ群を特定する。階層構造は異なるレベル群を有する。ある意味で最も基本的なレベルはレベル０（「ゼロ」、８１０）である。レベル０（８１０）に属するピクチャは最も高い優先度を有し、０よりも大きなレベルに属するピクチャの復号に用いられる。一般的に、レベルｌのピクチャを復号するためには、レベル０ないしｌ−１に属するピクチャがまず復号される。ＭＰＥＧ−２およびＭＰＥＧ−４等の以前の符号化規格では、ピクチャのエンコーディング後に、２つの選択肢、すなわち、ピクチャｎ＋１を予測しエンコードすること、または、ｍ＞１として、ピクチャｎ＋ｍを予測しエンコードすることのいずれかの選択肢がある。このとき、ピクチャｎおよびｎ＋ｍはピクチャｎ＋１ないしｎ＋ｍ−１の双方向予測用の参照ピクチャとして用いられる。ピクチャｎおよびｎ＋ｍは、ピクチャｎ＋１ないしｎ＋ｍ−１を復号する前に復号されることを理解されたい。さらに、ピクチャｎおよびｎ＋ｍはピクチャｎ＋１ないしｎ＋ｍ−１とは独立して復号されることができる。故に、本実施形態では、ピクチャｎおよびｎ＋ｍはより高い優先度レベル、レベル０、を有し、一方、ピクチャｎ＋１ないしｎ＋ｍ−１はより低いレベル１にあるものとなっている。同様に、ピクチャｎ＋１ないしｎ＋ｍ−１の各ピクチャは互いに独立して復号されることができる。しかし、Ｈ．２６４／ＡＶＣコーデックでは、より複雑な符号化構造、さらには任意の符号化構造でさえも用いられることができよう。例として、内部で階層構造を成すｍ−１個のピクチャ内のより複雑な依存性を考慮することを選択してもよい。ｍの値はエンコードされるシーケンスの部位によって変化する可能性もあるし、あるいは逆の／任意の符号化順序を用いてピクチャをエンコードしてもよい。レベル０（８１０）のピクチャは「アンカー」ピクチャと呼ばれることがある。
階層構造の例が図９、４つの時間レベルと４つの形式の符号化単位を有する２進分解の構造を示す概略図（９００）、を参照しながら記載されることができる。ピクチャ０（９０２）が符号化された後、エンコーダはピクチャ８（９０４）を予測し符号化する。ピクチャ８は、Ｉ符号化ピクチャまたはＰ符号化ピクチャ（図示の９０２）、あるいは以前に符号化されたピクチャを参照として用いるＢ符号化ピクチャ（不図示）を用いて予測されエンコードされることができる。次に、ピクチャ０および８（９０２、９０４）を参照として用いて、ピクチャ４（９０６）がＢ符号化ピクチャとして符号化されることができる。ピクチャ４（９０６）はピクチャ０および８（９０２、９０４）よりも低い優先度を有し、従って、異なるレベル、例えば、レベル１、（９２０）に属する。これで、ピクチャ２（９０８）が、時間的に最も近いピクチャであるピクチャ０、４および任意に８（９０２、９０６、９０４）を参照として用いて、Ｂ符号化ピクチャとして符号化されることができる。以下の記載の大部分では各参照リストに対して１つの参照ピクチャが用いられているものの、復号されるピクチャのバッファが十分大きいときは、現在のピクチャの前に符号化され参照として保持される限り、より多くのピクチャが各参照リストの参照候補として用いられてよい。参照の並べ替えがなく且つ、１リスト当たり単一の参照のみ用いるものとすれば、一方の参照リスト（リスト０）はピクチャ０のみを包含することになり、もう一方の参照リスト（リスト１）はピクチャ４のみを包含することになろう。もし１リスト当たり３つまでの参照が許されるなら、デフォルトの生成リスト０はピクチャ０、４および８を包含することになり、一方、デフォルトのリスト１はピクチャ４、８および０をその順序で包含することになろう。小さい添字を持つピクチャは添字付けに要するビットが少なくてすむので、順序は重要になる場合がある。時間的な予測距離は圧縮性能に直接的な影響を及ぼす場合があることを理解されたい：すなわち、参照が予測ピクチャに近いほど相関は高くなり、予測残差は低くなる。ピクチャ２（９０８）は異なるレベル、レベル２（９３０）、に属するので、ピクチャ２（９０８）はピクチャ４および０（９０６、９０２）よりも低い優先度を有する。従来のビデオ符号化（例えば、ＭＰＥＧ−２）からの別の脱却においては、Ｂ符号化ピクチャを含め、任意の符号化ピクチャが参照として保持され用いられうることをさらに理解されたい。同様に、ＩおよびＰ符号化ピクチャを含め、任意のピクチャが非参照として信号で知らせられることもできよう。本実施形態では、ピクチャ４（９０６）が参照ピクチャとしてバッファされる。さもなければ、ピクチャ２（９０８）は遠くのピクチャ８（９０４）から予測されてよいが、場合によっては圧縮性能に影響を及ぼす。より近くの参照ピクチャからピクチャを予測する方が圧縮性能を高める可能性がある。それ故、ピクチャ２（９０８）も参照ピクチャとしてバッファされ、ピクチャ１（９１２）の双方向予測のためにピクチャ０（９０２）と併せて用いられる。このとき、ピクチャ３（９１４）は、ピクチャ２および４（９０８、９０６）を参照として用いて符号化される。ピクチャ１および３（９１２、９１４）はピクチャ０、２および４（９０２、９０８、９０６）よりも低い優先度を有し、レベル３（９４０）に属する。同じプロセスがピクチャ５（９１６）、ピクチャ６（９１８）およびピクチャ７（９２２）について繰り返されることができる。上述の記載はＢ符号化ピクチャについて述べているが、ピクチャ１ないし７は、Ｉ、ＰまたはＢ形式の複数のスライスを含む、特定のコーデック内で利用可能な任意の符号化形式でエンコードされることができる。さらに、ピクチャ１、３、５、７（９１２、９１４、９１６、９２２）は、使い捨てのピクチャとして信号で知らせられることができる。使い捨てのピクチャとして信号で知らせられるということは、そのようなピクチャは他のピクチャの動き補償予測のために用いられないものであることを意味してよい。或るピクチャを動き補償予測のために用いなければまたは維持さえもしなければ、メモリが節約される可能性があるとともに時間スケーラビリティが提供される可能性がある。
図８〜図１１は、符号化単位が単なる符号化形式（例えばＰ符号化ピクチャ）および時間レベル（例えばレベル１）の組み合わせを超えるものを含んでよいことを示している。例えば、符号化単位が、符号化依存性、例えば符号化単位の予測元のピクチャ群、の関数を含んでもよい。図１０、３つの時間レベルと５つの形式の符号化単位を有する非２進式の任意の分解構造を示す概略図（１０００）、を参照しながら例が記載されることができる。ピクチャ１（１００２）、３（１００４）、５（１００６）および７（１００８）はＢ符号化ピクチャであり、隣接するピクチャから予測されるものであるため、ピクチャ１（１００２）、３（１００４）、５（１００６）および７（１００８）は符号化単位Ａ（１０１０）として符号化される。例えば、ピクチャ１（１００２）、３（１００４）、５（１００６）および７（１００８）の各々は、符号化されるピクチャから表示順に１ピクチャ離れている。同様に、ピクチャ１（１００２）、３（１００４）、５（１００６）および７（１００８）の各々はレベル２（１０１２）に属する。レベル１（１０１４）においては状況が異なってよいことを理解されたい。例えば、３つのピクチャ２（１０１６）、４（１０１８）および６（１０２０）がＢ符号化ピクチャとして符号化されても、ピクチャ２（１０１６）、４（１０１８）および６（１０２０）の符号化依存性はピクチャ１（１００２）、３（１００４）、５（１００６）および７（１００８）の符号化依存性とは、ことによっては著しく、異なってよい。例えば、ピクチャ２（１０１６）は、２ピクチャ離れた一方の参照、ピクチャ０（１０２２）、と６ピクチャ離れたもう一方のピクチャ、ピクチャ８（１０２４）、とから予測される。ピクチャ４（１０１８）は、２ピクチャ離れた一方の参照、ピクチャ２（１０１６）、と４ピクチャ離れたもう一方の参照、ピクチャ８（１０２４）、とから予測される。さらに、ピクチャ６（１０２０）は、どちらも２ピクチャ離れた２つの参照、例えばピクチャ４（１０１８）およびピクチャ８（１０２４）、から予測される。上述のフレーム（またはピクチャ）距離は表示順序に関連することを理解されたい。その意味するところは、符号化統計量が変更されるということである。例えば、これらのピクチャは異なる符号化単位、符号化単位Ｂ（１０２６）、符号化単位Ｃ（１０２８）および符号化単位Ｄ（１０３０）によって符号化されると想定される。端部のＰ符号化ピクチャ０および８（１０２２、１０２４）は別の符号化単位形式、符号化単位Ｅ（１０３２）、に属する。符号化依存性の影響をさらに示すために、図１１を参照しながらより複雑な状況が記載される。図１１は、３つの時間レベルと７つの形式の符号化単位を有する非２進式の分解構造を示す概略図（１１００）である。ピクチャ３（１１０２）はＰ符号化ピクチャとして符号化され、それ故、残りのレベル２のピクチャに比すると異なる符号化統計量を有する。ピクチャ５（１１０４）は、追加の符号化単位形式を生むＩ符号化ピクチャとして符号化される。
実用的なビデオシーケンスは、２つ以上の符号化単位形式の組み合わせを用いてエンコードされることができる。レート制御モデルがピクチャの複雑さのパラメトリックモデル、およびビット数に対する量子化パラメータの関係のパラメトリックモデルを維持する。このようなパラメトリックモデルは、以前にエンコードされた符号化単位からの統計量を用いて更新されてよい。異なる符号化単位形式の場合、これらのモデルのパラメータは非常に異なる値を取り得る。例えば、イントラ予測における複雑さおよびビットの統計量は、インター・ベースの単方向予測および双方向予測における複雑さおよびビットの統計量とは、ことによると著しく、異なる場合がある。実際的には、所与のビット数を持つピクチャを、インター予測でなく、イントラ予測を用いてエンコードするための量子化パラメータが、ことによると著しく、変化する可能性がある。従って、種々の符号化単位形式の各々をエンコードするための特定のモデル群を用いることが、レート制御についての関連制約を満たす上で有効である。
一実施形態では、基本単位のエンコーディングに用いられるＱＰを変化させることによってレート制御が適用される。ここで、基本単位とはマクロブロックの集合である。マクロブロックとは、ｍ×ｎブロック（例えば、１６×１６）のピクセル値で構成される基礎的な単位である。各ピクセルは、輝度および色度情報が利用できる場合、さらにサンプリングフォーマット（例えば、４：４：４、４：２：２、４：２：０または４：０：０）にも応じて、輝度および色度情報の両方に関連づけられることができる。この方式では、レート制御基本単位をピクチャと同じほど大きくすることができ、さらに単一のマクロブロックと同じほど小さくすることができる。このようなレート制御アルゴリズムのステップは次のものを含む：
１．現在のピクチャについてビット目標が計算される。
２．現在のピクチャが複数の基本単位に分割される場合、残りのビットは現在のピクチャ内の符号化されていない全ての基本単位に等しく配分される。
３．現在のピクチャ内の現在の基本単位のＳＡＤ予測誤差が、以前のピクチャの同じ位置にある基本単位のＳＡＤの線形関数（モデル）として予測される。
４．対応する量子化パラメータが、ＳＡＤおよびヘッダビット数に関してパラメータ化される２次レート−歪みモデルを用いて計算される。
５．現在の基本単位が、ステップ４から導出された量子化パラメータでエンコードされる。
ステップ１は、現在のピクチャについてビット目標値を計算することを含む。ステップ１はレート配分としても知られる。一実施形態では、ビット目標は、フレームレート（１ピクチャ当たりのビット）全体にわたるビットレート・プラス・現在のバッファフルネス間の差の関数である項・マイナス・目標バッファレベル、の和である。本実施形態では、ビット目標はバッファ状態を考慮に入れる。目標バッファレベルを超えるバッファフルネスはビット目標の減少をもたらし、目標バッファレベル未満のバッファフルネスはビット目標の増加をもたらすことを理解されたい。ビット目標は、ピクチャのエンコードに用いられる符号化単位形式、および所与の例において利用可能な残りの総ビット数を考慮に入れることによって、さらに向上させることができる。他の有用な因子としては、各符号化単位形式の符号化される必要のある残りのピクチャ数、およびそのような符号化単位形式の複雑さ推定値が挙げられる。上述の目標レートの計算はＰ符号化ピクチャについて遂行されるものである。Ｉ符号化ピクチャまたはＢ符号化ピクチャへの対応は遂行されない。このようなＩおよびＢ符号化ピクチャは、隣接するＰ符号化ピクチャのＱＰ値の関数である発見的量子化パラメータでエンコードされる。
ステップ３では、結果として生じるビット目標値が、例えばＱＰ値をエンコードする間にエンコーダが用いることができる意味ある情報に変換される。現在のピクチャ内の現在の基本単位のＳＡＤは、以前に符号化されたピクチャの同じ位置にある基本単位のＳＡＤの線形モデルによって、次の形の式を用いて予測される：
Figure 0005400876
（１）において、ＳＡＤｃｕｒｒは現在のＳＡＤの推定値を表し、ＳＡＤｐｒｅｖは以前のＳＡＤ、α１およびα２は推定される線形モデルパラメータである。線形モデルパラメータの推定技法は、以前に符号化されたピクチャから収集された統計量に対する線形回帰を用いる。次に、ステップ０において、２次レート−歪みモデルによって次式のように量子化パラメータが計算される：
Figure 0005400876
項ｂｈｅａｄｅｒ（ｊ）は、Ｐ符号化ピクチャのエンコードに用いられるヘッダビット数の推定値である。Ｔ（ｊ）はピクチャｊについての目標ビットレートである。パラメータｃ１およびｃ２は、過去のピクチャのエンコーディング統計量に対する線形回帰を用いて推定される。次に、式（２）が解かれて量子化ステップサイズＱｓｔｅｐ（ｊ）を得る。量子化ステップサイズＱｓｔｅｐ（ｊ）と量子化パラメータは１対１の関係を共有するので、次に、量子化ステップサイズＱｓｔｅｐ（ｊ）が用いられて量子化パラメータを導出する。
上述のレート制御アルゴリズムのいくつかは、Ｐ符号化ピクチャをモデル化する既存のレート制御モデルをＩおよびＢ符号化ピクチャに適用することを避けていたことを理解されたい。例えば、単一のレート制御モデルのみが維持される。ＩおよびＢ符号化ピクチャに配分される量子化パラメータは、隣接するＰ符号化ピクチャに配分される値の発見的関数である。このような発見的関数はバッファステータスおよびビットレートを考慮することを必要としなくてもよい。それ故、ＩおよびＢ符号化ピクチャをエンコードすると、バッファのオーバーフローまたはアンダーフローをもたらす可能性がある。バッファオーバーフローまたはアンダーフローは、各符号化単位形式に対して異なるレート制御モデルを用いることで避けられる可能性がある。ただし、メモリおよび計算の複雑さが増大する可能性がある。
［２．０ ビデオ符号化のための、符号化単位依存性に基づくレート制御モデル適合化の概説］
所与の符号化単位形式（例えばＢまたはＩ符号化ピクチャ）の量子化パラメータの推定に必要な統計パラメータを、必ずしも同じ形式のものでなくてよい、以前に符号化された他の符号化単位（例えばＰ符号化ピクチャ）からの情報を用いて求める技法が提供される。或る技法は、そのような符号化単位形式の間のビットレートと品質との関係、ならびにそのような符号化単位形式のエンコーディングに用いられる量子化パラメータを用いる。符号化単位形式の間のビットレートと品質との関係を推定することにより、ピクチャの符号化に用いられる符号化単位形式に関わりなく、正確なレート制御ができる。さらに、こうした符号化単位形式の間のビットレートと品質との関係は、圧縮性能を高めるために、複数のレート制御モデルと一緒に用いられることができる。本願明細書において後にさらに詳細に説明される動き推定および補償フレームワーク（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ａｎｄ ｃｏｍｐｅｎｓａｔｉｏｎ ｆｒａｍｅｗｏｒｋ、ＭＥＭＣ）によって生成される統計量を用いれば、レート制御パラメータがさらに最適化される。
本願明細書に記載されている新しいアプローチは以下の特徴を呈してよいことを理解されたい：
（ａ）メモリの複雑さが低いこと；
（ｂ）計算の複雑さが低いこと；
（ｃ）正確なレート制御；および
（ｄ）レート制御モデルの収束および初期化がより高速であること。
項目（ａ）および（ｂ）は電力使用量の低減をもたらす可能性があり、項目（ｃ）および（ｄ）は圧縮ビットストリームの品質を向上させる可能性があることを理解されたい。
一実施形態は、レート制御の適用のために品質／歪み、複雑さおよびビットレートの推定に依存する、任意のレート制御技法に適用されることができるというものである。２つのこのようなレート制御技法は２次モデルとロー領域モデルである。
一実施形態では、イメージシーケンス内のピクチャが、利用可能な種々のピクチャ符号化形式を用いて符号化されることができる。さらに、ピクチャ符号化形式の品質−ビットレートのトレードオフは、ピクチャ符号化形式の符号化構造（例えば、イントラ対インター符号化、単方向予測対双方向予測、スライスまたは基本単位の数および形式、フレーム対フィールド符号化、１ピクチャ当たり単一対複数のスライス、等）、ならびに動き補償予測（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｅｄ ｐｒｅｄｉｃｔｉｏｎ、ＭＣＰ）構造内におけるピクチャ符号化形式の位置によって影響を受ける。基本単位はスライスよりも小さくすることができるだけでなく、複数のピクチャを含むように定義されることもできることを理解されたい。これにより、例えば、ピクチャグループ群内で一定の品質またはビットレートを確実にする柔軟性を持たせることができる。本願明細書においては、ピクチャ符号化形式および構造の位置が符号化単位と呼ばれる場合がある。一実施形態では、ビデオビットストリームにレート制御を適用するべく、各符号化単位形式の符号化統計量を正確にモデル化するために、各符号化単位に対して異なるレート制御モデルが維持される。ただし、これは、維持されているレート制御モデルを更新するために追加の計算が用いられる場合があるため、メモリの複雑さを増大させる可能性がある。例えば、予測構造がＮ個の数の符号化単位形式を含むものとする。効率的なレート制御を遂行するためには、Ｎ個のレート制御モデルが維持され、適用され、さらに符号化統計量を用いて更新される。一実施形態では、Ｍ＜Ｎとして、Ｍ個の数のレート制御モデルが維持され、適用され、さらに更新される。Ｎ−Ｍ個の足りないレート制御モデルは、Ｎ個の符号化単位形式を用いて符号化された符号化ピクチャから収集された品質とビットレートとの比を用いて近似される。他の統計量が、足りないＮ−Ｍ個のモデルの近似を向上させることが可能である。そのような統計量としては、とりわけ、空間分散、動きおよびテクスチャ等の、内容に関連する統計量が挙げられる。一実施形態では、収集された統計量は、Ｎ−Ｍ個の足りないモデルを近似するために用いられるだけでなく、Ｍ個のモデルを更新するためにも用いられる。Ｎ−Ｍ個の足りないモデルを近似するためのメモリおよび計算の複雑さは、Ｎ−Ｍ個の本物のモデルを維持し更新することから生じる複雑さを上回る節約、ことによると大幅な節約、を反映する可能性がある。複雑さはＮ−Ｍ個のモデルに関連するだけでなく、Ｍ個のモデルにも関連する可能性があることを理解されたい。一実施形態では、考慮されるのは複雑さにおける相対的な節約である。同様に、一実施形態は、イメージシーケンスをよりうまく符号化するために、予測構造の変化の故にイメージシーケンス内の符号化単位形式の数を変化させるという、極めて実際的な場合にも取り組むというものである。
エンコーディングの間に収集され、異なる符号化単位形式のピクチャの間のビットレートと品質との関係の導出に用いられる統計量以外に、空間時間的な動き推定および補償フレームワーク（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ａｎｄ ｃｏｍｐｅｎｓａｔｉｏｎ ｆｒａｍｅｗｏｒｋ、ＭＥＭＣ）によって収集される統計量を追加的に利用するという実施形態がある。このようなＭＥＭＣは過去および場合により未来のピクチャからの情報を用いる。さらに、一実施形態では、エンコーダが最初の実行時に統計量を収集し、後続の実行時に、収集した統計量を用いたり、またはピクチャ群内で最適になるようレートを導出するべく、収集した統計量を精緻化したりすることができる。一実施形態では、ＭＥＭＣフレームワークは、過去および未来のピクチャから生じるブロックの線形結合を用いて各ピクチャを予測する。本願明細書において用いられているように、ブロックとは、ｎ×ｎ（例えば８×８）アレイのピクセル値、あるいは色度および輝度情報をカプセル化する離散コサイン変換（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ、ＤＣＴ）、変形ＤＣＴ（ｍｏｄｉｆｉｅｄ ＤＣＴ、ｍＤＣＴ）または他のフーリエ的変換の値を指すものであってよい。ブロックは正方形サイズのものとする必要はなく、例えば、サイズ１６×８、８×４または４×８のものとすることができることに留意されたい。同じ符号化単位内で、異なるサイズを有するブロックの組み合わせ、例えば１６×１６と８×８、が考慮されることもできよう。予測は並進（または他の）運動および照度変化をブロックレベルで補償する。ＭＥＭＣフレームワークは任意に、ソースピクチャの分散、輝度および色度、テクスチャならびにエッジ情報に関する情報を収集する。こうした情報は内部処理され、ビット配分が最適化されることができるように未来のピクチャの複雑さを推定する際に用いられることができる。
一実施形態では、圧縮ビデオの品質を向上させるために特定の配列が用いられる。例えば、ＱＰを変化させることを含む５ステップのレート制御アルゴリズムに関連して一般概説のセクションにおいて上述されたレート制御方法が、圧縮イメージシーケンスの異なる形式の符号化単位群についてのビットレートおよび品質の統計量を得るために用いられる。本実施形態では、基本的に複雑さへの影響を無視して、他の符号化単位形式のために追加のレート制御モデルが用いられてよい。追加のモデルを用いることにより正確なレート制御ができ、レイテンシを低減させる可能性がある。高圧縮効率を達成する（例えば、同じビット数で視覚的品質を最大化する）ために、良好な符号化パラメータを選択することの他、総ビットレートのうち各符号化単位形式に配分される割合が注意深く選択される。収集されたこのようなビットレートおよび品質の統計量は、最適なレート配分を導出するために用いられる。最適なレート配分は次に、レート制御モデルによって、所与の目標ビットレートについての視覚的品質を向上させるために用いられてよい。従って、レート制御モデルの初期化および収束が加速される可能性があり、それがイメージの品質または一貫性を向上させる可能性がある。
一実施形態では、初期ビデオビットストリームを最終ビデオビットストリームにトランスコードする際に、本願明細書において上述された技法が適用される。トランスコードを行う理由としては、元のビットストリームに比して異なる（時としてより低い）バッファリングおよび帯域幅使用量、分解能または／およびフレームレートの変化、或る環境内における符号化ツールの利用可能性、等に従う新しいビットストリームを導出することを挙げることができる。一実施形態では、元のピクチャのビットレートと品質との関係が計算され、新しく作り出されるビットストリームのレート制御に適用され、それがイメージの品質を向上させるとともに複雑さを低減する場合がある。
一実施形態では次の３種類のパラメータがあることを理解されたい：（ａ）各レート制御モデルおよびその挙動を定義するレート制御モデルパラメータ（ＱＰ線形または２次モデルの係数、平均ヘッダビット、等）、（ｂ）あるレート制御モデルならびにビットまたは品質の制約を適用することによって生じる符号化パラメータ（例えばＱＰ）、ならびに（ｃ）（ｉ）１つの符号化単位からの符号化パラメータを他へ変換するか、または（ｉｉ）１つの符号化単位に対応するレート制御モデルパラメータを他へ変換するか、のいずれかを行う変換またはスケーリングパラメータ。
一実施形態は以下に挙げられる要素を有するというものである：
（ａ）ビデオエンコーダ；
（ｂ）任意に、動き推定および補償フレームワーク（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ａｎｄ ｃｏｍｐｅｎｓａｔｉｏｎ ｆｒａｍｅｗｏｒｋ、ＭＥＭＣ）；
（ｃ）任意の空間統計量分析モジュール；
（ｄ）モデルのステータスを維持し決定を行う１つまたは複数のレート制御モジュール；
（ｅ）エンコーディングプロセスから有用な統計量を収集する複数の統計量モジュール；
（ｆ）動き推定および補償フレームワークから統計量を収集する任意の統計量モジュール；ならびに
（ｇ）利用可能ならば任意のＭＥＭＣプリプロセッサからの統計量と、ビデオエンコーダからの統計量を融合させ、フィードバックをレート制御モジュールに提供する決定モジュール。
一実施形態は以下に挙げられる要素を有するというものである：
（ａ）ビデオトランスコーダ；
（ｂ）任意に、動き推定および補償フレームワーク；
（ｃ）任意の空間統計量分析モジュール；
（ｄ）モデルのステータスを維持し決定を行う１つまたは複数のレート制御モジュール；
（ｅ）エンコーディングプロセスからの有用な統計量を収集する複数の統計量モジュール；
（ｆ）動き推定および補償フレームワークから統計量を収集する任意の統計量モジュール；ならびに
（ｇ）利用可能ならば任意のＭＥＭＣプリプロセッサからの統計量と、ビデオトランスコーダからの統計量を融合させ、フィードバックをレート制御モジュールに提供する決定モジュール。
本願明細書において記載されている実施形態群は以下のことを含むというものである：
１．第１の技法（セクション２．０．１ 第１の技法例−レート制御のモデル化にて後述）が、全ての符号化単位形式について別個のレート制御モデルを維持することなく、異なる符号化単位形式でエンコードされるシーケンスに対する正確なレート制御を可能とする。このような技法は、ビデオエンコーダおよび動き補償時間フィルタ（ｍｏｔｉｏｎ−ｃｏｍｐｅｎｓａｔｅｄ ｔｅｍｐｏｒａｌ ｆｉｌｔｅｒ、ＭＣＴＦ）プリプロセッサからの統計量を収集することによって容易になる場合がある。
２．第２の技法（セクション２．０．２ 第２の技法例−統計量の収集にて後述）が、任意に、動き推定および補償フレームワーク、あるいは複数パスビデオ符号化器の最初のまたは後続のパスからの統計量を収集し、既存のレート制御方法を向上させるべくその統計量を用い、ピクチャの複雑さ推定を強化し、さらに、レート配分の最適化の助けになりうる、フェード類等のシーン形式の検出を支援する。本願明細書において後述されている、このような第２の技法のためのアルゴリズムが、第１の技法を強化するためにも用いられることができることを理解されたい。
３．第３の技法（セクション２．０．３ 第３の技法例−ビット配分にて後述）が、各符号化単位形式にそれぞれ１つ用意された複数のレート制御モデルを併用して、第１の技法によって生成された統計量を用いてビットを最適に配分する。このような技法は、正確なレート制御を維持しつつ、良好な圧縮効率を達成することができる。
４．第４の技法（セクション２．０．４ 第４の技法例−トランスコーディングにて後述）が、トランスコーディングの間に先の３つの（セクション２．０．１、２．０．２および２．０．３における）技法からの原理を用いて効率的なレート制御を適用する。
［２．０．１ 第１の技法例−レート制御のモデル化］
一実施形態は、上述の図８〜図１１に示されるような複雑かつ複数の符号化依存性を持つ動き補償予測構造を用いるイメージシーケンスを圧縮する際に、効率的かつ複雑さの低いレート制御を提供するというものである。図８〜図１１にて図示される構造のような複雑な構造はいくつかの形式の符号化単位を含んでよい。このような複雑さは、各符号化単位形式について個別のレート制御モデルを維持するという実用性に影響を及ぼす場合がある。Ｎ個の符号化単位形式のために、Ｎ個の符号化単位形式のうちのＭ個の符号化単位形式と同じ数に対応する、Ｍ個のレート制御モデルが維持される。残りのＮ−Ｍ個の符号化単位形式のためには、Ｎ個の符号化単位形式の符号化から収集された統計量を用いて、対応するレート制御モデルが近似される。最初は、ビットレート使用量を制御する符号化パラメータ（例えば、ＱＰ、ラグランジュのλ、閾値処理パラメータ、等）を導出するために、任意のモデルが用いられる。任意のモデルは、まず、特定の符号化単位形式の統計量を用いて更新され、次に、ビット目標Ｔ（ｊ）を入力として用いて、ビットレート使用量を制御する符号化パラメータを確定する。一実施形態は、Ｍ個の符号化単位形式の少なくとも１つから導出されそれに対応するレート制御モデルを、Ｎ−Ｍ個の符号化単位形式の１つに対応するレート制御モデルに変換する。このような変換は、ビット目標Ｔ（ｊ）、複雑さの推定値（例えばＳＡＤ）およびヘッダビットの推定値ｂｈｅａｄｅｒ（ｊ）等の重要なレート制御パラメータを修正することを含む。
一実施形態では、ビデオエンコーダおよび／またはＭＥＭＣフレームワークにおいて多数の空間時間的統計量を収集することによって変換が容易になる。収集されるこのような統計量として次のものが挙げられてよい。ただし、これらに限定されるものではない：
（ａ）ビデオエンコーダにおいて動き補償予測またはイントラ予測のいずれかを用いた、現在のブロックと予測ブロックとの間の予測誤差（例えば、ＳＡＤ）；
（ｂ）ＭＥＭＣフレームワークにおいて複数の動き補償予測の線形結合を用いた、現在のブロックと予測ブロックとの間の予測誤差（例えば、ＳＡＤ）；
（ｃ）ソース信号の輝度および／または色度成分の分散；
（ｄ）現在の基本単位（またはピクチャ）のエンコードに用いられた総ビット数；
（ｅ）現在の基本単位（またはピクチャ）においてテクスチャのエンコードに使われたビット数；
（ｆ）現在の基本単位においてヘッダおよび構文情報のエンコードに使われたビット数；
（ｇ）動きパラメータ（例えば、並進、アフィンまたはいくらか高次のモデル）、ならびに前記パラメータから計算されてよい、１次および２次モーメント等の統計量；
（ｈ）現在のブロックのための予測ブロックを導出するために重み付け予測を用いることによって導出される、基本単位のための重み付け係数；ならびに
（ｉ）符号化単位形式。
図１２、変換されたレート制御モデルを用いたエンコーディングを図解するフロー図（１２００）、を参照しながら一実施形態が記載されてよい。図１２のプロセスは次のステップを含んでよい：
１．（１２０２）ビデオエンコーダが初期化される。ビデオエンコーダはＮ個の数の符号化単位形式を用いて入力ピクチャをエンコードする。Ｍ個の数のレート制御モデルが作り出され、初期化され、さらにバッファされる。現在のピクチャの添字ｊが０に初期化される。
２．（１２４２）もしこれがイメージシーケンス内の最初のピクチャであれば、ピクチャは、特定のものか、またはレート制約を満たすべく反復的に求められたもののいずれかである符号化パラメータ（例えばＱＰ）で符号化される。符号化単位形式がＭ個のバッファされたレート制御モデルの１つに対応するならば、イメージが属する対応するレート制御モデルが更新され、使われたビット数を含む統計量が、その符号化単位形式のために確保された統計量バッファ内にバッファされる。全ての符号化単位形式について、符号化のデータは同じ符号化パラメータ（例えばＱＰ）に正規化される。
３．もしこれが最初のピクチャでなければ、符号化単位形式がチェックされる（１２０４）。
（ａ）もしピクチャがシーケンス内のその特定の符号化単位形式の最初のピクチャであれば、符号化パラメータ（例えばＱＰ）の初期セットを用いてそれをエンコードする。これらの符号化パラメータは、任意に選択されることもできようし、符号化単位に関するある予備的な情報、基本的な情報または完全な情報を所与として推定されることもできようし、あるいは反復的に選択されることもできよう。あるいは、上述のステップ２において収集された情報を用いて現在の符号化単位についての符号化パラメータを推定する。一実施形態では、ピクチャとピクチャの間の厳密な関係が依然求められていない間は、そのような関係は、平均的なビデオシーケンスの挙動を表す値で初期化される。例えば、Ｐ符号化ピクチャ群がＢ符号化ピクチャ群のサブセットであることを反映する情報が用いられて、それに応じてＱＰをＢ符号化ピクチャ用に適合させる。この場合、ＱＰを例えば増加させる。例えば、ピクチャとピクチャの間の関係は、ビデオシーケンスの最初のピクチャを符号化または分析してこのピクチャに良好な初期ＱＰを得ることによって収集される統計量と組み合わせられる。符号化単位形式がＭ個のバッファされたモデルの１つに対応するならば、イメージが属する符号化単位に対応するレート制御モデルが更新される。符号化単位形式に関わらず、使われたビット数およびエンコーディング後に結果として生じる歪みを含む多数の統計量が、その符号化単位形式に関連付けられる統計量バッファ内にバッファされる。
（ｂ）さもなければ、エンコーダは、符号化単位形式が、バッファされたＭ個のモデルの１つまたはＮ−Ｍ個の足りないモデルの１つに対応するかどうかを判定する（１２０４）。前者の場合、すなわち符号化単位形式が、バッファされたＭ個のモデルの１つに対応する場合（１２０６、１２０８、１２１０）、現在のピクチャのための符号化パラメータを提供するべく、適当な既存のモデルが選択される（１２１６、１２１８、１２２０）。現在のピクチャ（またはスライス）がエンコードされる（１２２６、１２２８、１２３０）。次に、イメージが属する符号化単位に対応するレート制御モデルが更新される。後者の場合、符号化単位形式はＮ−Ｍ個の足りないモデルの１つに対応し（１２１２および１２１４）、各符号化単位形式のための統計量バッファ内に収集されたデータが処理されて変換を得る（１２２２、１２２４）。このような変換が、ビット目標Ｔ（ｊ）およびヘッダビットｂｈｅａｄｅｒ（ｊ）の推定値等の符号化パラメータを、バッファされたＭ個のモデルの１つ（またはその組み合わせ）から、Ｎ−Ｍ個の符号化単位形式で用いられるのに適した符号化パラメータに変える（１２２２、１２２４）。結果として生じる符号化パラメータを用いてピクチャをエンコードする（１２３２、１２３４）。個々の符号化単位形式は、使われたビット数を含む多数の統計量を、その符号化単位形式に関連付けられる統計量バッファ内にバッファする。
４．現在のピクチャをエンコーディングした後、統計量バッファ内のデータは、最新のイメージ統計量を獲得するために処理される。
５．エンコーダは、符号化すべきピクチャがさらにあるかどうかを判定する（１２３８）。はいであれば、現在のピクチャの添字ｊがインクリメントされ（１２４０）、制御はステップ２へ進む。さもなければ、符号化は終了されてよい。
図２を参照すると、一実施形態は、レート制御モデル（２００）を用いるというものである。例えば、レート制御モデルとしてロー領域レート制御アルゴリズムが用いられることができる。レート制御決定モジュール（２１０）は、入力として、テクスチャビット数（２０２）およびヘッダビット数（２０４）等の目標ビット数、ピクチャの複雑さの推定値（単数）または推定値（複数）、例えば、ＳＡＤ（２０６）、ならびに用いられる符号化モード（２０８）を取得する。レート制御決定モジュール（２１０）は、とりわけ、ＱＰ（２１４）等の符号化パラメータ、符号化モード（２１６）、フレームスキップ（２１８）およびラグランジュのパラメータλ（２２０）を出力する。同様に、このような出力符号化パラメータ（レート制御モデルパラメータとも呼ばれる）はレート制御メモリ（２１２）内に記憶される。一実施形態では、ピクチャの符号化に複数の符号化パラメータ（例えばＱＰ）が用いられる場合、出力符号化パラメータは算術平均（平均値）、重み付け平均値、中間値、またはこのような複数の（粒度の細かい）符号化パラメータの非線形結合として計算されることができる。別の実施形態では、エンコーダが、複数のスライスを有する単一のピクチャを、複数の符号化単位を用いてエンコードした場合、出力符号化パラメータは、とりわけ、算術平均（平均値）、重み付け平均値、中間値、またはこのような複数の（粒度の細かい）符号化パラメータの非線形結合として計算されることができる。
ビデオ符号化器の一実施形態では、予測構造および従って符号化単位は、ビデオシーケンスの内在統計量とのよりよい一致を得るために、規則的または不規則な間隔で適合される。符号化単位の数および形式は変化する可能性があり、それ故、維持されたレート制御モデルおよび符号化単位の変換に影響を及ぼす可能性がある。以下に２つの状況の例が記載される：
（ａ）維持されたモデルまたは統計量を一切持たない新しい符号化単位。この場合、新しい符号化単位のレート制御モデル（バッファされたモデルまたは近似されたモデル）は、以前に維持されたレート制御モデルを新しいモデルに変換することによって初期化される。変換は特定の関係も用いる（例えば、Ｂ符号化ピクチャは、ＱＰを所与とすると、平均的にＰ符号化ピクチャよりも用いるビットが少なくてよい）。これらの変換のために適用されることができるアルゴリズムが、本願明細書において後にセクション２．０．２、「第２の技法例−統計量の収集」でさらに詳細に記載されていることを理解されたい。
（ｂ）以前の構造内にも存在した、新しい構造の符号化単位。この場合、以前に収集された統計量およびレート制御モデルは、新しい構造内で用いられるように適合される。
一実施形態では、現在のピクチャの符号化形式が特定される。例えば、現在のピクチャの符号化形式はＩ、ＰまたはＢ符号化ピクチャとして特定される。現在のピクチャがＢ符号化ピクチャであり、かつこのピクチャが（例えばレベル０内の）アンカーピクチャでなければ、階層レベルｌが同様に判定される。３つの階層レベルと２進分解の構造を持つ階層的なＢ符号化ピクチャ構造の例が図８に示されている。利用可能な階層レベルの最大数に応じ、復号される所望の最高レベルを調整することによって、復号されるビデオシーケンスの時間分解能を制御してよい。例えば、図８における時間レベル０に属するピクチャのみが復号される場合、４分の１の時間分解能のイメージシーケンスのバージョンが描画されてよい。レベル０および１に属するピクチャが復号される場合、イメージシーケンスはレベル０のみの分解能の２倍の分解能（例えば本来の半分の分解能）で表示されてよい。全ての時間レベルを復号すれば、イメージシーケンスは本来の時間分解能で表示されてよい。別の例として、符号化単位形式の数をＮ＝３、レート制御モデルの数をＭ＝１とする（Ｐ符号化ピクチャ）。もしエンコーダがＰ符号化された符号化単位を用いて現在のピクチャを符号化しているならば、既存のレート制御モデルは、式２のビット目標を利用して用いられることができる。しかし、エンコーダがＩまたはＢ符号化された符号化単位を用いて現在のピクチャをエンコードするならば、最終的なビット目標Ｔ（ｊ）は、Ｐ符号化ピクチャの統計量から上述の線形ＳＡＤモデルおよび２次ＱＰモデルの両方を確実に導出するようにスケーリングされる。この不一致についてスケーリングを行うために、スケーリングパラメータθＢ ｌおよびθＩを導入して次のレート配分を導出する：
Figure 0005400876
本実施の形態では、レート制御モデルはP符号化ピクチャに関連する。Ｉ符号化ピクチャおよびＢ符号化ピクチャが属する特性と時間レベルｌとから、Ｉ符号化ピクチャのためのスケーリングパラメータθIおよびＢ符号化ピクチャのためのθB lが推定される。一実施形態では、レート制御モデルはＩ符号化ピクチャに関連し、それぞれＢ符号化およびＰ符号化ピクチャのためのスケーリングパラメータθB lおよびθPが推定される。ビット目標Ｔ（ｊ）をＰ符号化ピクチャレート制御モデルの目標Ｔｆｉｎａｌ（ｊ）にスケーリングする関数ｆB l（）及びｆI（）は、ビデオ統計量の任意の関数とすることができることを理解されたい。
一実施形態では、Ｎｂｕｆｆｅｒが、統計量バッファ内に符号化履歴としてバッファされた結果の数を表す。このような数は、ピクチャのエンコードに用いられるビット数をバッファする前に、同じ量子化パラメータ値、ＱＰＮＯＲＭ、に正規化される。ビットを同じ量子化パラメータ値に正規化することは不可欠であり、量子化パラメータ値にもはや依存しない異なる符号化単位間のビットレートの比を得る助けとなる場合があることを理解されたい。例えば、ＱＰａｖｅの平均ピクチャＱＰ値を持つピクチャをエンコードするのにｂ個のビットが用いられたとする。同様に、Ｈ．２６４／ＡＶＣの場合は、ビット対ＱＰの因子がおよそｆＱＰ＝１．１２５であるとする。すると、正規化されたビット値ｂＮＯＲＭは次式のように計算される：
Figure 0005400876
換言すると、上述の実施形態によれば、もし平均ＱＰ値がＱＰＮＯＲＭと異なるならば、ビット数が正規化される。さもなければ、ビット数は不変のままである。
図１３を参照すると、異なる形式の符号化単位のビットレート関係を推定する一実施形態（１３００）が示されている。ＢｉｔｓＩ（ｉ）およびＲａｔｉｏＩ（ｉ）を、（ａ）Ｉ符号化ピクチャの符号化に用いられた正規化されたビット数、ならびに（ｂ）スケーリングパラメータとして用いられる比であって、ピクチャをイントラとして符号化するのに用いられた正規化されたビット数の、ピクチャをＰ符号化ピクチャとしてエンコードするのに用いられた正規化されたビット数に対する比、を記憶するサイズＮｂｕｆｆｅｒの２つの統計量バッファを表すものとする。同様に、ＢｉｔｓＢ ｌ（ｉ）およびＲａｔｉｏＢ ｌ（ｉ）を、ピクチャをＢ符号化ピクチャとして符号化するのに用いられた正規化されたビット数、ならびにスケーリングパラメータとして用いられる比であって、ピクチャを所与の時間レベルｌのＢ符号化ピクチャとして符号化するのに用いられた正規化されたビット数の、ピクチャをＰ符号化ピクチャとして符号化するのに用いられた正規化されたビット数に対する比、を記憶するサイズＮｂｕｆｆｅｒの２つの統計量バッファを表すものとする。ＢｉｔｓＰ ｌ（ｉ）を、Ｐ符号化ピクチャを符号化するのにパラメータとして用いられた正規化されたビット数を記憶する、サイズＮｂｕｆｆｅｒの統計量バッファを表すものとする。図１３をさらに参照すると、異なる形式の符号化単位のビットレート関係を推定するための一実施形態は、次のステップを含むというものである：
１．（１３０２）ビットレートスケーリングパラメータθＢ ｌおよびθＩをユーザによる所定値でθＢ ｌ（０）およびθＩ（０）として初期化する。パラメータＮＩ，ｃ、ＮＰ，ｃおよびＮＢ，ｃ ｌはそれぞれ、階層レベルｌでエンコードされたＩ符号化、Ｐ符号化およびＢ符号化ピクチャの数であり、ゼロにセットされる。エンコードされるピクチャのカウンタｊが０にセットされる。ステップ３に進む。
２．符号化単位形式を判定する（１３０６）。現在のピクチャがＩ符号化ピクチャとしてエンコードされたものであれば、ステップ３に進む。さもなければ、現在のピクチャがＰ符号化ピクチャとしてエンコードされたものであれば、ステップ４に進む。さもなければ（Ｂ符号化ピクチャ）、ステップ５に進む。
３．（１３０８）エンコードされたＩ符号化ピクチャの数ＮＩ，ｃを１、インクリメントする。現在のピクチャの符号化に使われたビット数を、例えば式４において記載されたように、正規化し、さらに現在のピクチャの符号化に使われたビット数を次式のようにＩ符号化ピクチャビット統計量バッファ内に記憶する（１３１０）：ＢｉｔｓＩ（ＮＩ，ｃ ｍｏｄ Ｎｂｕｆｆｅｒ）＝ｂ（ｊ）。次に、この数を、Ｐ符号化ピクチャビット統計量バッファ内にバッファされている、最新のＰ符号化ピクチャの符号化に使われたビット数で除算し（１３１２）、結果を次式のようにＩ符号化ピクチャビット比統計量バッファ内に記憶する：
Figure 0005400876
記憶されたビット比の平均値としてθＩを算出することによって、Ｉ符号化ピクチャのためのスケーリングパラメータθＩを推定する（１３１４）：
Figure 0005400876
ステップ６に進む。
４．エンコードされたＰ符号化ピクチャの数ＮＰ，ｃを１、インクリメントする（１３１６）。現在のピクチャの符号化に使われたビット数を正規化し、さらに次式のようにＰ符号化ピクチャビット統計量バッファ内に記憶する（１３１８）：ＢｉｔｓＰ（ＮＰ，ｃ ｍｏｄ Ｎｂｕｆｆｅｒ）＝ｂ（ｊ）。ステップ６に進む。
５．プロセスはステップ２におけるＩ符号化ピクチャのためのプロセスと同様である。所与の時間レベルｌについて、次のアクションを遂行する。エンコードされたＢ符号化ピクチャ符号化ピクチャの数ＮＢ，ｃ ｌを１、インクリメントする（１３２０）。現在のピクチャの符号化に使われたビット数を正規化し、さらに現在のピクチャの符号化に使われたビット数を次式のようにＢ符号化ピクチャビット統計量バッファ内に記憶する（１３２２）：ＢｉｔｓＢ ｌ（ＮＢ，ｃ ｌ ｍｏｄ Ｎｂｕｆｆｅｒ）＝ｂ（ｊ）。次に、この結果を、Ｐ符号化ピクチャビット統計量バッファ内にバッファされている、最新のＰ符号化ピクチャの符号化に使われたビット数で除算する（１３２４）。商をＢ符号化ピクチャビット比統計量バッファ内に記憶する：
Figure 0005400876
記憶されたビット比の平均値としてθＢ ｌを算出することによって、Ｂ符号化ピクチャのためのスケーリングパラメータθＢ ｌが推定される（１３２６）：
Figure 0005400876
ステップ６に進む。
６．カウンタｊを１、インクリメントし（１３２８）、ｊ番目のピクチャをエンコードする。エンコードすべきピクチャがさらにあるかどうかを判定する（１３３０）。もしなければ、アルゴリズムを終了する（１３３２）。さもなければ、ステップ２に進む。
或る実施形態では、ＳＰ符号化ピクチャが上述の導出におけるＰ符号化ピクチャに相当するとみなされる。
［２．０．２ 第２の技法例−統計量の収集］
上述のように、第１の技法のおかげで、ビデオシーケンスにおいてありうる全ての形式の符号化単位のためのレート制御モデルを維持し更新する必要なく、複数の符号化単位形式のための正確なレート制御ができる。本セクションにおいて記載されるように、第２の技法は、レート制御を向上させるために、ＭＥＭＣフレームワークおよび空間アナライザあるいは以前の符号化パスから収集された空間時間的統計量を用いるというものである。混成線形／２次レート制御アルゴリズム等のレート制御アルゴリズムが、現在のピクチャの複雑さの良好な推定値（例えば動き補償された予測誤差）を用いてよい。一実施形態では、ピクチャの複数パスエンコーディングを遂行することによって、高性能の解が得られる。ピクチャの複数パスエンコーディングを遂行することによって、レート制御モデルは、各符号化パスにおいて、継続的により正確になった符号化統計量を入手する。一実施形態では、以前の符号化パスの間に導出された動きパラメータをバッファ、再利用および精緻化することによって、現在のパスのための動き推定の複雑さが低減される場合がある。
図７を参照しながら記載されるように、一実施形態はレート制御を向上させるというものである。図７は、事前分析段階として用いられる動き補償時間フィルタを示す概略図（７００）である。図７に示されるように、レート制御モジュール（７０６）への入力を生成するために、動き推定および動き補償フレームワーク（７０２）ならびに空間統計量分析モジュール（７０４）が用いられ、これによりレート制御が向上する。完全を期すために、圧縮ビットストリームを生成するビデオ符号化器（７０８）、および任意のバッファ（７１０）も示されている。バッファ７１０はビデオ符号化器（７０８）のための入力ピクチャ（元のピクチャまたはフィルタリングされたピクチャ）を遅延させる。空間統計量分析モジュール（７０４）は例えば次のもの等の空間統計量を計算する：
（ａ）輝度および色度成分のＤＣ値（平均値）および分散；
（ｂ）周波数成分（ＤＣＴ、ｍＤＣＴまたはウェーブレット変換の係数）；および
（ｃ）ソーベルフィルタリングを用いたエッジ情報。
図１４、レート制御を向上させレート配分を最適化するアルゴリズムを示すフロー図（１４００）、を参照しながら一実施形態が記載されることができる。レート制御モデルが初期化される（１４０２）。特定の符号化単位の符号化に用いられるレート制御モデルの選択を容易にするために、入ってくる各符号化単位について、ＭＥＭＣフレームワークからまたは複数パスビデオ符号化器の以前の符号化パスから導出された空間時間的統計量が分析される（１４０４）。こうして分析されたデータが、そのような符号化単位について特定のシーン形式を判定するために用いられる（１４０６）。シーン形式が第１の複雑さの形式であれば、エンコーダは、そのようなシーン形式によりふさわしいレート制御モデルを選択する（１４０８）。シーン形式が第２の複雑さの形式であれば、エンコーダはデフォルトのレート制御モデルのパラメータを調整する（１４１０）。シーン形式が普通の形式であれば、エンコーダはデフォルトのレート制御モデルを選択する（１４１２）。特定の符号化単位のためのレート制御モデルを選択すると、エンコーダはレート制御を遂行する（１４１４）。エンコーダは、符号化単位が入力ビデオ内にまだ存在するかどうかを判定する（１４１６）。もしなければ、符号化は終了する（１４１８）。さもなければ、制御は符号化単位の分析に戻る（１４０４）。
図７を参照すると、レート制御モジュール（７０６）はＭＥＭＣフレームワーク（７０２）および空間的分析モジュール（７０４）から情報を受信する。このような空間時間的分析モジュール群は情報を共有しており、それにより動作が最適化されることを理解されたい。一実施形態では、ＭＥＭＣフレームワーク（７０２）は、過去のピクチャおよび任意に未来のピクチャの両方を取り込んで、単方向予測および双方向予測動き推定および補償を遂行する。同様に、複数の参照ピクチャからの動き補償予測の線形または非線形結合からピクチャが予測されることもできる。
一実施形態では、図５および図６において示されるように、ＭＥＭＣフレームワーク（７０２）がピクチャ間の動き補償された予測誤差（例えばＳＡＤ）を計算する。予測誤差は過去および未来におけるピクチャを用いて計算されることができることを理解されたい。図５は、動き補償時間フィルタ（ｍｏｔｉｏｎ−ｃｏｍｐｅｎｓａｔｅｄ ｔｅｍｐｏｒａｌ ｆｉｌｔｅｒ、ＭＣＴＦ、５０６、５０８、５１０）、および過去からの１つの参照５０２を用いる。例えば、図５は、単一の先行参照ピクチャ５０２を用いたＳＡＤ計算５００を示す。現在のピクチャ５０４および先行ピクチャ５０２が動き推定モジュール５０６に入力される。動き推定モジュール５０６は、動き補償モジュール５１０に提供される動きベクトル５０８のセットを用いて１つ以上のブロックの移動を提示する。動き補償モジュール５１０は動きベクトル５０８を先行参照フレーム５０２内の１つ以上のブロックに適用して予測ピクチャ５１２を生成する。予測ピクチャ５１２は、現在のピクチャ５０４において示されるイメージを動きベクトル５０８および先行参照ピクチャ５０２に基づいて特徴付けたものである。誤差予測モジュール５１４は予測ピクチャ５１２と現在のピクチャ５０４との間の差を求め、その差を平均絶対差として表現する。
図６は、ＭＣＴＦ（６０６、６０８、６１０）、および未来からの２つの参照６０２および６０４を用いる。例えば、図６は、複数の後続参照ピクチャ６０２および６０４を用いたＳＡＤ計算６００を示す。現在のピクチャ５０４、第１の後続参照ピクチャ６０２および第２の後続参照ピクチャ６０４が動き推定モジュール６０６内に入力される。動き推定モジュール６０６は、動き補償モジュール６１０に提供される動きベクトル６０８のセットを用いて１つ以上のブロックの移動を提示する。動き補償モジュール６１０は動きベクトル６０８を第１および第２の後続参照ピクチャ６０２、６０４内のブロックに適用して予測ピクチャ６１２を生成する。予測ピクチャ６１２は、現在のピクチャ５０４において示されるイメージを動きベクトル６０８ならびに第１および第２の後続参照ピクチャ６０２、６０４に基づいて特徴付けたものである。誤差予測モジュール６１４は予測ピクチャ６１２と現在のピクチャ５０４との間の差を求め、その差を平均絶対差として表現する。
一実施形態では、動き推定および補償手法が重み付け予測を用いる。別の実施形態では、動き補償予測を異なるピクチャ内の単一のブロックとすることもできるし、あるいは同じピクチャ、またはイメージシーケンス内の任意の場所にある異なるピクチャ群に属するブロックの線形結合とすることもできる。ＭＥＭＣフレームワーク（７０２）が採用する運動モデルは、並進、アフィンまたは放物運動モデル等の利用可能な任意のモデルとすることができることを理解されたい。次に、ＭＥＭＣフレームワークにおける予測誤差（例えばＳＡＤ）は、エンコーダによって、ビデオエンコーダにおける現在の予測誤差ＳＡＤｃｕｒｒをより正確に推定するために用いられる。例えば、線形ＳＡＤモデルが次の簡単な計算に置き換えられてよい：
Figure 0005400876
ここで、現在のエンコーダＳＡＤ値は、ＭＥＭＣフレームワークを用いた現在のピクチャの予測のためのＳＡＤ値ＳＡＤｃｕｒｒ ＭＥＭＣ・掛ける・以前のエンコーダＳＡＤ値・割る・ＭＥＭＣフレームワークを用いた以前のピクチャの予測のためのＳＡＤ値ＳＡＤｐｒｅｖ ＭＥＭＣの積として推定される。
一実施形態は、予測誤差（ＳＡＤ）の代わりに空間分散を用いるというものである。複雑さおよび遅延の制約が動き推定および補償を阻むときは、空間分散が有用である場合がある。従って、式５は次式のように一般化される：
Figure 0005400876
例えば、予測誤差は、以前に符号化されたピクチャの予測誤差、ならびにＭＥＭＣフレームワークおよび空間アナライザによって収集された統計量の関数として推定される。予測誤差および統計量は次のものを含みうる：
（ａ）動き補償フレームワークからの予測誤差値；
（ｂ）並進運動ベクトル値；
（ｃ）重み付け予測の重みおよびオフセット；ならびに
（ｄ）アフィンまたは放物モデル等のより高次の運動モデルの動きパラメータ。
一実施形態では、重みおよびオフセット等の重み付け予測パラメータがＭＥＭＣフレームワークによって推定される。このような推定値は、ビデオエンコーダにおけるピクチャの複雑さの推定を向上させるために用いられることができる。並進運動の補償がなされた予測の例が次式である：
Figure 0005400876
小数ピクセルの動き補償予測を無視すれば、ピクチャｎ内のブロックのピクセルｐｎ（ｉ，ｊ）は、開始左上座標が水平次元においてνｘピクセル、垂直次元においてνｙピクセル、シフトされるピクチャｎ−ｒ内の変位したブロックとして予測されることができる。重み付け予測を（７）に適用すると次の結果を得る：
Figure 0005400876
ここで、ｗおよびｏは重み付け予測の重みおよびオフセットパラメータを表す。例えば、動き補償予測に重みが乗算され、オフセットが加算される。
ビデオエンコーダおよびＭＥＭＣフレームワークの動き補償アーキテクチャは異なってよいことを理解されたい。同様に、エンコーダおよびＭＥＭＣフレームワークにおいて生成される予測誤差値は直接、比較可能なものでなくてよい。予測誤差値におけるこうした差は、とりわけ、ブロックベースの動き補償予測のためのブロックサイズが異なること、運動モデル（例えば、アフィン、放物、並進モデル、等）が異なること、高速動き推定アルゴリズムが異なること、重み付け予測パラメータ推定アルゴリズムが異なること、予測参照内の量子化歪み、等を含む種々の理由で生じる可能性がある。一実施形態は、ＭＥＭＣフレームワークにおいて推定された運動モデルパラメータを用いてレート制御パラメータを修正し、ビデオエンコーダの動き補償予測における制限をなくすというものである。一実施形態では、レート制御パラメータが、ＭＥＭＣから受信された情報からの運動モデルパラメータ、あるいは最初または後続の符号化パス（例えば複数符号化パスの以前のパス）から受信された情報からの符号化統計量と、エンコーダからの運動モデルパラメータと、の相違に基づいて（例えば、それらの間の差の評価指標を用いて）修正される。ＭＥＭＣフレームワークの運動モデルは、特定のビデオエンコーダ内で実行する運動モデルよりもより複雑でより正確である場合があることを理解されたい。
最新のＨ．２６４／ＡＶＣビデオ符号化規格を利用して機能する一実施形態は、推定された重み付け予測オフセットを用いて予測誤差値の推定値を修正するというものである。例えば、エンコーダがＨ．２６４／ＡＶＣベースラインプロファイルを用いてピクチャをエンコードする場合、ビデオエンコーダはＩ符号化およびＰ符号化ピクチャのみ用いてよい。別のシナリオでは、エンコーダは、Ｂ符号化ピクチャまたは重み付け予測を用いることを回避して、計算資源を節約するとともに、ありうる構文関連の制約を回避してよい。式７の並進運動モデルは並進運動（例えば、２次元の枠組みにおける水平および／または垂直移動）を効率的に処理できるものの、大域的な照度変化が、同じ並進モデルに負担をかける場合がある。重み付け予測を利用しなければ、例えば、クロスフェード、フラッシュ、フェードインおよびフェードアウト等の大域的または局所的な照度変化を伴うシーン推移がある場合、式８が符号化効率を最大化しないという可能性がある。一実施形態では、２つのブロックの平均輝度が同じであるときの並進運動についてのＳＡＤ誤差をｅとする。並進運動に加えて、照度が平均してｄｃ増加するものとする。すると、重み付け予測が利用できない場合は、予測ＳＡＤ誤差はおよそｅ＋ｄｃに増大する。大域的な照度変化を補償し、誤差を低減してｅに近づけるために、式８からのオフセットｏが用いられることができることを理解されたい。このとき、ＭＥＭＣフレームワークはオフセット値
Figure 0005400876
を推定することができ、そのオフセット値が、現在のＳＡＤ値の推定値を向上させるためにＳＡＤ推定器に供給されることができる。例えば、現在のＳＡＤ値は次のように計算される：
Figure 0005400876
一実施形態では、レート配分およびレート制御を向上させるために、ＭＥＭＣフレームワークが異なる構成で用いられてよい。図３、過去および未来における隣接するピクチャから生じるブロックの重み付け線形結合を用いた、現在のピクチャの動き補償予測（ｍｏｔｉｏｎ−ｃｏｍｐｅｎｓａｔｅｄ ｐｒｅｄｉｃｔｉｏｎ、ＭＣＰ）３００を示す概略図、を参照しながら一実施形態が記載されることができる。ＭＥＭＣフレームワークは１つの過去のピクチャ３０２、ピクチャｎ−１、および１つの未来のピクチャ３０６、ピクチャｎ＋１、を動き補償された参照として用いて現在のピクチャ３０４、ｎを予測する。現在のピクチャ３０４が過去または未来から予測されてよいのと同時に、未来のピクチャ３０６、ピクチャｎ＋１、の複雑さが予測されることもできることを理解されたい。一実施形態によれば、２つの参照（３０２、３０６）からの予測から生じる歪み値だけでなく、結果として生じる動きベクトルも比較される。２つの参照に利用可能であり且つ同じピクチャに向いた並進運動ベクトルはさらなる処理も受けやすいため、それにより、アフィン運動ベクトルを得ることができる。アフィン運動ベクトルが利用できればレート制御を強化することができる。ピクチャｎ＋１のためには、次のものを含む複数のシナリオが可能である：
（ａ）ピクチャｎ＋１がピクチャｎと相似している。その判定は容易にできる（例えば、低い予測歪み値。）
（ｂ）ピクチャｎ＋１がピクチャｎ−１と相似している。その判定は幾分、困難でありうる。この場合を判定する１つの方法は、ピクチャｎ＋１およびｎ−１から生じる動きベクトルを比較することである。照度を考慮したこのような動きベクトルが、大きさが同じで且つ方向が逆であるらしい（例えば相関性がある）とき、それら２つの参照は相似しており、おそらくピクチャｎは何らかの一時的な遮蔽（例えば妨害）または照度変化を示していると推測される。さらに、ＭＥＭＣフレームワークによって収集される、大域的（ピクチャレベル）および局所的（ブロックレベル）平均輝度および色度、ソースの分散統計量、ならびに２つの参照イメージの間の他のこのような複雑さの関係を反映する１つ以上の値（例えば２つの参照イメージの色ヒストグラムの絶対差の和）が、ピクチャｎ＋１がピクチャｎ−１と相似しているかどうかについての判定を支援する場合がある。各予測参照についてのＳＡＤの間の相似性が内容の相似性を示すこともできる。
（ｃ）上述の条件がいずれも満たされないときは、ｎ＋１からｎへのＳＡＤ予測誤差が、２つのピクチャが相似しているか相似していないかを示す場合がある。
一実施形態は、図４、ＭＣＰ４００を図解する概略図、を参照しながら記載されることができるものである。ＭＣＰ４００は未来のピクチャをバッファし、それ故、或る程度のレイテンシをもたらしてよい。符号化される現在のピクチャｎ４０６は、各予測方向において２つずつの参照ピクチャ、過去からの２つ：ピクチャｎ−２（４０２）およびｎ−７（４０４）、ならびに未来からの２つのピクチャ：ピクチャｎ＋１（４０８）およびｎ＋２（４１０）、から予測される。４つの動き補償予測は１つないし４つの予測（例えばＳＡＤ）誤差を生じさせる可能性がある。ＳＡＤ誤差から導出される情報が、レート制御モデルの間の選択、ならびにピクチャｎ、ｎ＋１およびｎ＋２のための符号化パラメータの選択において有用となりうる。例えば、ピクチャｎ＋１からのＳＡＤがピクチャｎ＋２からのＳＡＤを大幅に超えるものであるとする。（ただし、ＭＣＰのための時間的な予測距離が大きいほど、大きなＳＡＤ値を得る可能性があることを理解されたい。）ＳＡＤにおけるこのような差は、ピクチャｎ＋１に影響を及ぼす照度変化または物体の遮蔽（妨害）等の、突然のものであってよい変化を暗示している可能性がある。同時に、ピクチャｎおよびｎ＋２が互いに相関するものであってよい。もしピクチャｎ−２およびｎ−１もｎとよく相関するものであれば、相関は強められてよい。もし、ピクチャｎ−２およびｎ−１がｎとあまり相関するものでなければ、ピクチャｎおよびｎ＋２はおそらく、隔絶されたフラッシュまたは一時的な遮蔽である可能性がある。ピクチャｎ＋１とｎ−１との間の予測誤差または動きならびにピクチャｎ＋２とｎ−１との間の予測誤差または動き等の、さらなる依存性が評価されてよい。これらの評価はピクチャの間の関係をよりうまく特定することができる。例えば、突然の遮蔽またはフラッシュがあると、予測誤差が著しくなる可能性がある。しかし、こうした突然の遮蔽またはフラッシュの短い持続時間は継時マスキングと相まって予測誤差を隠す可能性がある。これらのピクチャ群内のピクチャ品質を保つためには、より高いビットレートが配分されてよい。しかし、継時マスキングにより、ビットレートを、同等のピクチャ品質を得るために適用されてよい値まで増加させなくてもよくなる。２つのピクチャの間の関係は、他の参照がないときでも、さらに、任意に、どちらも共通の参照を共有しない場合でも確立されうる。これは、これら全てのピクチャに利用可能な統計量（例えば、ＭＥＭＣモジュール、前の符号化パスからの統計量、またはトランスコーディングの場合は元のビットストリーム情報内の統計量）がある場合に可能となる。例えば、１つのピクチャがもう１つのピクチャよりも大きな空間分散またはエッジ内容を有していれば、それに応じて符号化パラメータが調整されてよい。予測誤差を比較することによって同様の結論が導かれることができる。参照が共有されていなくても、予測距離および予測の形式等の他の属性が事前に定義されていれば、またはそれらの特性がモデル化できたならば、信頼性のある関係が確立されてよい。本願明細書において用いられているように、アンカーが実際に参照ピクチャであろうとなかろうと、現在のピクチャとの関連でこうした統計量および予測パラメータが導出されるピクチャが、現在のピクチャの「アンカー」ピクチャと呼ばれてよい。
一実施形態は、所与の符号化単位形式のために作られたレート制御モデル群を、異なる符号化単位形式を各々モデル化するレート制御モデル群に変換するというものである。このような変換は、ＭＥＭＣフレームワーク統計量、以前の符号化パス、および上述のセクション、「第１の技法例−レート制御のモデル化」、において記載されている第１の技法によるビデオエンコーダによって生成される統計量、を用いて達成されてよい。レート制御モデルを初期化し、最適なモデルパラメータへの高速な収束を確実にするために、Ｎ個の符号化単位形式の間の関係が用いられる。Ｎ個の符号化単位形式の各々は、その対応するレート制御モデルを用い、さらに更新する。例えば、イメージシーケンスの開始時、ビデオエンコーダは、符号化単位形式ＣおよびＤを用いる前に符号化単位形式ＡおよびＢを何度も用いるものとする。イメージシーケンスのこのような時点において、形式ＡおよびＢのためのレート制御モデルがそれぞれのモデルパラメータについて良好な値を獲得している。形式ＣおよびＤのためのレート制御を向上させるため、ＣおよびＤのパラメータは、上述のセクション、「第１の技法例−レート制御のモデル化」、における第１の技法によって導出される関係のような、すでに導出されている関係を用いて変換された、ＡおよびＢのパラメータで初期化される。あるいは、ＡおよびＢからの符号化パラメータが、ＡおよびＢモデルを近似するＣおよびＤの符号化パラメータに混合されてよい。
例えば、式１および式２の線形および２次モデルを考える。レート制御モデルがパラメータα１、α２、ｃ１およびｃ２、ならびに同じ符号化単位形式の各ピクチャのためのヘッダ情報を符号化するために用いられるビットの推定値ｂｈｅａｄｅｒを含む。１つの符号化単位形式（例えばＰ符号化ピクチャ）のために導出されたパラメータα１およびα２は、パラメータα１およびα２にＭＥＭＣベースの双方向予測のＳＡＤを乗算し、次にその積をＭＥＭＣベースの単方向予測のＳＡＤで除算することによって、異なる符号化単位形式（例えばＢ符号化ピクチャ）をモデル化するパラメータにスケーリングされる。このようなスケーリングは式５の別形、例えば次式を用いてよい。
Figure 0005400876
ここで、ＳＡＤＢ ＭＥＭＣは、ＭＥＭＣフレームワークによる双方向予測を用いた現在のピクチャの予測についてのＳＡＤ値であり、一方、ＳＡＤＰ ＭＥＭＣは、ＭＥＭＣフレームワークによる単方向予測を用いた以前のピクチャの予測についてのＳＡＤ値である。式２からのパラメータｃ１およびｃ２にＳＡＤ予測誤差の推定値が乗算される。ＳＡＤは、異なる形式の符号化単位についてのＭＥＭＣフレームワークおよびビデオエンコーダの統計量を用いて推定されてよい。従って、パラメータｃ１およびｃ２は、異なる符号化単位をエンコードするためにスケーリングされて用いられることができる。パラメータをスケーリングし、スケーリングされたパラメータを異なる符号化単位において用いることが、複数のレート制御モデルの迅速な初期化を実現する場合がある。エンコーディングが開始する時、これらのパラメータはハードコードされた汎用的な値を持っており、各ピクチャの符号化後に更新される。しかし、複数の（例えば３つの）レート制御モデルが用いられる場合、パラメータの安定値または最適値への収束は、単一のレート制御モデルを用いる場合よりも幾分（例えば約３倍）遅くなりうる。エンドユーザのサービス品質の劣化を防ぐために、例えば、新しいシーンの開始時に、統計量を用いて、或る符号化単位形式（例えばＢ符号化ピクチャ）のレート制御パラメータを別の符号化単位形式（例えばＰ符号化ピクチャ）のパラメータで初期化する。或る符号化単位形式のレート制御パラメータを別の符号化単位形式のパラメータで初期化することは、異なる形式の符号化単位の任意の組み合わせについて実現されうることを理解されたい。
一実施形態は、或る符号化単位形式のレート制御パラメータを別の符号化単位形式のパラメータで初期化することに関連するというものであり、図１７を参照しながら記載される。図１７は、異なる符号化単位（例えばピクチャ）形式のために生成された変換レート制御モデルの混合および結合を図解するフロー図（１７００）である。ビデオ符号化が開始し（１７０１）、Ｐ、ＢおよびＩ符号化ピクチャ形式のためのレート制御モデルが初期化されるとともに、現在のピクチャの添字ｊが０に初期化される（１７０２）。ビデオエンコーダが現在のピクチャのための符号化単位形式を確定する（１７０４）。現在のピクチャがＩ符号化ピクチャであるとき、ピクチャはエンコードされる（１７０６）。次に、ビデオエンコーダは、Ｉ符号化ピクチャのためのレート制御モデルが収束したかどうかを判定する（１７１２）。はいであれば、Ｉ符号化ピクチャのためのレート制御モデルは更新される（１７１６）。いいえであれば、Ｉ符号化ピクチャのためのレート制御モデルは更新され、さらにＰ符号化ピクチャのための変換レート制御モデルと混合される（１７１８）。現在のピクチャがＢ符号化ピクチャであるとき、ピクチャは、Ｂ符号化ピクチャレート制御モデルから導出された符号化パラメータでエンコードされる（１７０８）。次に、ビデオエンコーダがＢ符号化ピクチャのためのレート制御モデルが収束したかどうかを判定する（１７１４）。はいであれば、Ｂ符号化ピクチャのためのレート制御モデルは更新される（１７２０）。いいえであれば、Ｂ符号化ピクチャのためのレート制御モデルは更新され、さらにＰ符号化ピクチャのためのレート制御モデルと混合される（１７２２）。現在のピクチャがＰ符号化ピクチャであるとき、ピクチャは、Ｐ符号化ピクチャレート制御モデルから導出された符号化パラメータでエンコードされる（１７１０）。Ｐ符号化ピクチャのためのレート制御モデルが更新される（１７２４）。ビデオエンコーダは、エンコードすべきピクチャがさらにあるかどうかを判定する（１７２８）。はいであれば、添字ｊが１、インクリメントされ、制御は符号化単位形式の確定に戻る（１７０４）。さもなければ、ビデオ符号化は終了する（１７３０）。
一実施形態は、複数パスビデオ符号化器を用い、ＭＥＭＣフレームワークをビデオ符号化器の最初または前のパスで置き換えるまたは強化するというものである。ビデオ符号化器の最初または前のパスが統計量を提供してよい。
［２．０．３ 第３の技法例−ビット配分］
レート制御およびレート配分のための技法の一実施形態は、圧縮ビットストリームのために高い視覚的品質を達成すると同時に低遅延のビデオ通信を可能とするために、本願明細書において上述された第１の技法において提示された手法の一部を用いるというものである。第１の技法はレート制御アルゴリズムの安定性および性能を向上させるものであり、第２の技法はＭＥＭＣフレームワークまたは複数パス符号化統計量を用いてレート制御をさらに向上させるものである。本セクションに記載されている第３の技法はレート制御およびレート配分に取り組むものである。レート配分が各ピクチャについてのビット目標を設定する；レート制御が、ビット目標を実現するべくピクチャの（特定の比値を含んでよい）符号化パラメータを適合する。レート配分およびレート制御は種々の方法で達成されることができ、その例が本願明細書において後述される。
一実施形態では、例えば上述の第１の技法によるのと同様に、レート制御がＮ個の数の符号化単位形式を用いてイメージシーケンスをエンコードし、Ｍ個の数のレート制御モデルがバッファされる。例えば、第１の技法が適用されて、Ｎ個の符号化単位形式全ての複雑さとビットレート使用量との関係を得る。このような関係は、次に、異なる符号化単位形式で符号化されるピクチャ群内の最適なビットレート配分を確立するために用いられる。導出されたビット目標は、次に、効率的なレート制御のために、Ｍ個のバッファされたレート制御モデルおよびＮ−Ｍ個の近似されたモデルとともに用いられる。
一実施形態では、レート制御がＮ個の符号化単位形式を用いてイメージシーケンスをエンコードし、Ｎ個のレート制御モデルがバッファされる。上述の第１の技法が適用されて、Ｎ個の符号化単位形式全ての複雑さとビットレート使用量との関係を得る。このような関係は、次に、異なる符号化単位形式で符号化されるピクチャ群内の最適なビットレート配分を確立するために用いられる。導出されたビット目標は、効率的なレート制御のために、Ｎ個のバッファされたレート制御モデルとともに用いられる。Ｎ個のバッファされたレート制御モデルを用いると、ある程度の複雑さがもたらされるものの、それらはビットレート制御に正確性を付加する可能性があり、アプリケーションによっては重要となる場合がある。
図１５を参照しながら記載されるように、一実施形態例は、Ｍ個のバッファされたレート制御モデルを用いるというものである。フロー図（１５００）が、１ピクチャ当たりＲビットの全体目標を所与とし且つ、単一のレート制御モデルを用いる、圧縮性能を最大化するために各ピクチャ形式に配分されるべきビット数の確定を図解している。ビデオエンコーダがイメージシーケンスのエンコーディングを開始する（１５０１）。ビデオエンコーダが、Ｐ符号化ピクチャのためのレート制御モデルを初期化し、Ｉ符号化ピクチャ用（ＲＩ）、Ｂ符号化ピクチャ用（ＲＢ）およびＰ符号化ピクチャ用（ＲＰ）の目標ビット値、Ｒ、を設定し、さらに現在のピクチャの添字ｊを０に初期化する（１５０２）。ビデオエンコーダが符号化単位形式を判定する（１５０４）。符号化単位形式がＩ符号化ピクチャであれば、ビデオエンコーダは、現在のピクチャが、符号化される最初のＩ符号化ピクチャであるかどうかを判定する（１５０６）。はいであれば、特定のＱＰが得られ（１５１０）、現在のピクチャがエンコードされる（１５２０）。さもなければ、Ｐ符号化ピクチャ形式のためのレート制御モデルおよびＩ符号化ピクチャのためのシータ（ｔｈｅｔａ）（「θ」）比、θＩ、が適用され（１５１２）、現在のピクチャがエンコードされる（１５２０）。θ比は、或る符号化単位形式のためのビット数を別の符号化単位形式のビット数から得るために用いられてよいスケーリングパラメータであることを理解されたい。ビデオエンコーダがθＩを更新する（１５２６）。符号化単位形式がＰ符号化ピクチャであれば、ビデオエンコーダは、現在のピクチャが、符号化される最初のＰ符号化ピクチャであるかどうかを判定する（１５０８）。はいであれば、特定のＱＰが得られ（１５１４）、現在のＰ符号化ピクチャがエンコードされる（１５２２）。さもなければ、Ｐ符号化ピクチャ形式のためのレート制御モデルが適用され（１５１６）、現在のＰ符号化ピクチャがエンコードされる（１５２２）。符号化単位形式がＢ符号化ピクチャであれば、Ｐ符号化ピクチャ形式のためのレート制御モデル、およびＢ符号化ピクチャのためのθ比、θＢ、が適用される（１５１８）。現在のＢ符号化ピクチャがエンコードされ（１５２４）、θＢが更新される（１５２８）。ビデオエンコーダが目標ビットレート、ＲＩ、ＲＢおよびＲＰを再計算する（１５３０）。ビデオエンコーダが、エンコードすべきピクチャがさらにあるかどうかを判定する（１５３４）。いいえであれば、符号化は終了する（１５３６）。はいであれば、現在のピクチャの添字、ｊ、がインクリメントされ（１５３２）、制御は新しい現在のピクチャについての符号化単位形式の判定に戻る（１５０４）。本実施形態は単一のレート制御モデルを用いるものであり、θ比は上述の第１の技法の手法を用いて導出されるものであることを理解されたい。
一実施形態は、Ｎ個の数のバッファされたレート制御モデルを用いるというものである。図１６は、１ピクチャ当たりＲビットの全体目標を所与とし、複数のレート制御モデルを用いて、圧縮性能を最大化するために各ピクチャ形式に配分されるべきビット数の確定を図解するフロー図（１６００）である。ビデオエンコーダがイメージシーケンスのエンコーディングを開始する（１６０１）。ビデオエンコーダが、Ｐ、ＢおよびＩ符号化ピクチャのためのレート制御モデルを初期化し、Ｉ符号化ピクチャ用（ＲＩ）、Ｂ符号化ピクチャ用（ＲＢ）およびＰ符号化ピクチャ用（ＲＰ）の目標ビット値、Ｒ、をセットし、さらに現在のピクチャの添字ｊを０に初期化する（１６０２）。ビデオエンコーダが符号化単位形式を判定する（１６０３）。符号化単位形式がＩ符号化ピクチャであれば、ビデオエンコーダは、現在のピクチャが、符号化される最初のＩ符号化ピクチャであるかどうかを判定する（１６０４）。はいであれば、特定のＱＰが得られ（１６０８）、現在のＩピクチャがエンコードされる（１６１８）。さもなければ、Ｉ符号化ピクチャ形式のためのレート制御モデルが適用され（１６１０）、現在のピクチャがエンコードされる（１６１８）。ビデオエンコーダがθＩを更新する（１６２４）。符号化単位形式がＰ符号化ピクチャであれば、ビデオエンコーダは、現在のピクチャが、符号化される最初のＰ符号化ピクチャであるかどうかを判定する（１６０６）。はいであれば、特定のＱＰが得られ（１６１２）、現在のＰ符号化ピクチャがエンコードされる（１６２０）。いいえであれば、Ｐ符号化ピクチャ形式のためのレート制御モデルが適用され（１６１４）、現在のＰ符号化ピクチャがエンコードされる（１６２０）。符号化単位形式がＢ符号化ピクチャであれば、ビデオエンコーダはＢ符号化ピクチャのためのレート制御モデルを適用する（１６１６）。現在のＢ符号化ピクチャがエンコードされ（１６２２）、θＢが更新される（１６２６）。ビデオエンコーダが目標ビットレート、ＲＩ、ＲＢおよびＲＰを再計算し（１６２８）、エンコードすべきピクチャがさらにあるかどうかを判定する（１６３２）。いいえであれば、符号化は終了する（１６３４）。はいであれば、現在のピクチャの添字、ｊ、がインクリメントされ（１６３０）、制御は新しい現在のピクチャについての符号化単位形式の判定に戻る（１６０３）。複数のレート制御モデルが用いられてよく、θ比は本願明細書において先に記載された第１の技法の手法を用いて導出されるものであることを理解されたい。
イメージシーケンスは多様な内容を有しうる。例えば、或るイメージシーケンスがＢ符号化ピクチャの恩恵を著しく受ける一方で、他のイメージシーケンスはＢ符号化ピクチャの恩恵をほとんど受けない場合がある。例えば、静的なイメージシーケンス、および激しい動きがあるイメージシーケンスの低遅延伝送シナリオを考える。動きの激しいシーケンスは、十分な品質目標を達成するべく、Ｂ符号化ピクチャのエンコーディングのために、Ｐ符号化ピクチャの符号化に使われるビットに匹敵する大量のビット数を用いる可能性がある。しかし、静的なシーケンスは、Ｂ符号化ピクチャのために用いられるビットが、Ｐ符号化ピクチャのために使われる対応するビットに比して大幅に少なくても、十分な品質をもってエンコードされる可能性がある。従って、固定された特定のレート配分により、非常に多様性に富む内容を持つ準最適なイメージ品質が得られる可能性がある。ビデオ通信のためのレート配分に関していえば、使うべきビット数を確定することが重要になる可能性がある。例えば、最適化の確定が、何ビットをＰ符号化ピクチャおよび／またはＩ符号化ピクチャに費やされるかに比較して、何ビットをＢ符号化ピクチャに費やすかということになるかもしれない。スケーリングパラメータθＢ ｌおよびθＩは、レベルｌにあるＢ符号化ピクチャ、およびＩ符号化ピクチャのエンコードに用いられるビットを、同じピクチャをＰ符号化ピクチャとしてエンコードするのに用いられるビットの数と比較した比を与える。ここで、全てのピクチャ形式が、同じ符号化パラメータ、例えば量子化パラメータ値ＱＰＮＯＲＭ、で正規化される。このようなパラメータは上述の第１の技法から導出されることができる。このようなパラメータは、イメージシーケンスから収集された統計量を、元の既定のレート配分目標を適合するために用いることを可能とする。例えば、観察された比、あるいはスケーリングパラメータ、θＢ ｌおよびθＩ、が与えられれば、１ピクチャ当たりＲビットの全体目標を所与として、圧縮性能を最大化するべく各ピクチャ形式に配分されるビット数が確定されてよい。
一実施形態では、γＩを、Ｐ符号化ピクチャに配分されるビット数ＲＰに対するＩ符号化ピクチャに配分されるビット数ＲＩの比を表すものとする。すると、Ｒ１＝γＩ×ＲＰ。γＢ ｌを、Ｐ符号化ピクチャに配分されるビット数ＲＰに対するビット数ＲＢ ｌの比を表すものとする。ここで、ｌは時間レベルを表す。従って、ＲＢ＝γＢ ｌ×ＲＰ。パラメータγＩおよびγＢ ｌは、例えば視覚的品質のために、各ピクチャ形式に配分されるＱＰ値（ＱＰＩ、ＱＰＢ ｌおよびＱＰＰ）の違いをなくすために、スケーリングパラメータθＩおよびθＢ ｌの関数として計算される。次のように定める：
Figure 0005400876
従って、パラメータγＩおよびγＢ ｌを計算することが、本質的に各イメージ形式のためのビット数を計算することになってよい。
ＩおよびＰ符号化ピクチャがデコーダで受信される一実施形態では、ＫＩピクチャ毎に１つのピクチャがＩ符号化ピクチャとしてエンコードされる（イントラ周期）ことを理解されたい。連続した２つのＩまたはＰ符号化ピクチャの間において、ＮＢ個のピクチャがＢ符号化ピクチャとしてエンコードされる。Ｌを図８のような時間的２進分解のレベルの数を表すものとし、ｎＢ ｌを合計ＮＢ個のうちレベルｌに属するＢ符号化ピクチャの数を表すものとする。Ｐ符号化ピクチャに配分されるビット、ＲＰ（ならびに実質的にＲＢ ｌおよびＲＩ）、は次式を用いて導出される：
Figure 0005400876
一実施形態では、このような比を、参照ピクチャの平均ＱＰ、あるいはエンコードされたピクチャおよびその符号化ピクチャの予測参照ピクチャのＱＰの差に条件付けることによって、比の計算がさらに拡張されてよい。従って、比、θＢ ｌ、は次のように表現される：θＢ ｌ（ＱＰＢ ｌ｜ＱＰＰ）またはθＢ ｌ（ＱＰＢ ｌ−ＱＰＰ）。Ｉ符号化ピクチャのスケーリングパラメータθＩは、予測の形式がイントラであるため影響を受けることはなく、ピクチャ自身の範囲外に広がることはない（例えば、イントラ予測は他のピクチャに関して条件付けられることはない）。式９は、符号化構造およびイントラ周期が一定のままであるビデオシーケンスに適用されてよいことを理解されたい。圧縮効率を最適化するためには、イントラ符号化ピクチャの符号化構造および挿入の両方が適合可能なものであればよいことを理解されたい。例えば、式９は、符号化構造が変化するか、または非周期的なイントラピクチャが挿入される度に計算されてよい。非周期的なイントラピクチャの挿入の場合、このような計算はその特定のイントラピクチャを考慮しなくてよく、例えば、このような計算はその特定のイントラピクチャを効果的に無視してよいことを理解されたい。パラメータＲは、ビットを使いすぎないようにまたは使うのが少なすぎないように適合される。パラメータγはスケーリングパラメータθの関数であり、符号化単位の間の現在のビットレート関係を特徴付けるものである。もし、シーケンスの符号化中にこのような符号化構造が修正されると、このような現在のビットレート関係は影響を受ける場合があることを理解されたい。例えば、第１の部分が構造Ａを用いて符号化され、第２の部分が構造Ｂで符号化され、さらに第３の部分が構造Ａで符号化されるならば、第３の部分についてのパラメータγは第１の部分についてのパラメータγに関連するものとなる。従って、第１の部分についてのパラメータγをバッファし、このようなパラメータγを用いて第３の部分についてのパラメータγを初期化することが望ましい。さらに、符号化構造ＡおよびＢが類似したものであれば、第３の部分に達する前に、Ｂからのパラメータが構造Ａのパラメータに変換されて、第２の部分内の構造Ａのパラメータを精緻化するために用いられてよい。例えば、構造Ｂのためのパラメータを入手できるのがイメージシーケンスの遠方部分からであり、さらに現在の構造がＢである場合は、より信頼できる可能性のある、（例えばレート−歪みの点で）類似の構造の最近のパラメータが探索されて用いられてよい。
一実施形態では、および図２１Ａを参照すると、符号化中に符号化構造が変更される際のθスケーリングパラメータへの対応が、次のステップを含むプロセスを用いて達成されてよい：
ステップ１：符号化構造の切り替わりと同時に（２１０２）、現在のθスケーリングパラメータをバッファし、バッファされたθスケーリングパラメータを以前の符号化構造でラベル付けする（２１０４）；ステップ２へ行く；
ステップ２：新しい符号化構造は以前に用いられたことがあるかどうかを判定し（２１０６）、はいであれば、ステップ３（２１１０）へ行き、さもなければステップ４へ行く（２１０８）。
ステップ３：用いられる符号化構造が信頼できるかどうかを判定する（２１１０）。はいであれば、新しいθスケーリングパラメータを、同じ符号化構造に対応する、以前にバッファされたθスケーリングパラメータで初期化する（２１１４）。さもなければ、新しいθスケーリングパラメータはバッファされたパラメータに十分近接していない、例えば、新しいθスケーリングパラメータとバッファされたθスケーリングパラメータとの差は閾値の値よりも大きいということであり、新しいθスケーリングパラメータを、レート−歪みの点で類似したより最近の構造からバッファされたパラメータを変換したパラメータで初期化する（２１１２）。後者の場合、例えば、類似の構造は現在の構造に関して変換される。一実施形態では、任意に、初期化されたθスケーリングパラメータと、レート−歪みの点で最も類似した構造形式からバッファされたθスケーリングパラメータを変換したパラメータを混合する（２１１６）。ステップ５へ行く。
ステップ４：新しいθスケーリングパラメータを、以前に用いられた符号化構造であってレート−歪みの点で最も類似した符号化構造のθスケーリングパラメータで初期化する（２１０８）。この場合、例えば、類似の構造は現在の構造に関して変換される。ステップ５へ行く。
ステップ５：符号化構造の切り替わりへの対応を終了する（２１１８）。
一実施形態では、および図２１Ｂを参照すると、符号化中のθスケーリングパラメータの更新が、次のステップを含むプロセスを用いて達成されてよい：
ステップ１：符号化を開始する（２１２０）。レート制御およびθスケーリングパラメータを初期化する（２１２２）。ピクチャを符号化し（２１２４）、過去の符号化構造について記憶された（例えばバッファされた）パラメータの最初から最後までループする（例えばスキャンする）（２１２６）；
ステップ２：記憶された各パラメータセットについて、現在の符号化構造が、記憶されたセットと同じであるかどうかを判定する（２１２８）；はいであればステップ３へ行く；さもなければステップ４へ行く；
ステップ３：記憶されたθスケーリングパラメータを現在のピクチャの統計量で更新する（２１３２）。ステップ５へ行く；
ステップ４：現在の符号化構造が、レート−歪みの点で、記憶されたパラメータセットと類似しているかどうか（例えば、新しいθスケーリングパラメータとバッファされたθスケーリングパラメータとの差が閾値の値よりも大きいかどうか）を判定する（２１３０）。はいであれば、バッファされた、レート−歪みの点で類似した構造のθスケーリングパラメータを現在のピクチャの変換された統計量（例えばθスケーリングパラメータ）で更新する（２１３４）。
ステップ５：記憶された全てのパラメータセットの考慮が完了するまではステップ２へ行く（２１３８）。さもなければ、符号化を終える（２１４０）。
［２．０．４ 第４の技法例−トランスコーディング］
本セクションにおいて記載される第４の技法例は、上述の第１および第２の技法を用いてトランスコーディングを向上させるというものである。トランスコーディングの例は、１つのデジタルコーデックを他へ変換するというものである。ビットストリームから復号されたピクチャにＭＥＭＣフレームワークを適用することが可能であってよいが、それを行うには複雑さのためにコストが追加される場合がある。しかし、圧縮ビットストリームは、ＭＥＭＣフレームワークまたは複数パスビデオ符号化を利用する場合のように、事前分析をしなくてもよい情報を提供することができる。
図１８を参照しながら、トランスコーディングに関連する実施形態例が記載される。図１８は、トランスコーダの例１８００のアーキテクチャ要素を図解する概略図である。圧縮ビットストリームがビデオデコーダに入り、完全にまたは部分的に復号される（１８０８）。完全にまたは部分的に復号されたピクチャが任意のモジュールに入力される。１つのモジュールは、ＭＥＭＣフレームワークにおける分析等の時間的分析を遂行する（１８０２）。１つのモジュールは、図７の空間統計量分析モジュール等の、空間的分析を遂行する（１８０４）。空間的および時間的分析は連係して遂行されてもよいしまたは独立して遂行されてもよい。さらに、空間的および時間的分析は空間時間的分析モジュールを用いて遂行されてもよい。任意のバッファ（１８１０）が、復号されたピクチャのビデオエンコーダへの入力に、有用なレイテンシを付加してよい。所望のビットストリームをエンコードし圧縮するために、レート制御モジュール（１８０６）からの入力、および任意にバッファされてよい（バッファ１８１０）入力ピクチャがビデオエンコーダ（１８１２）に送信される。
圧縮ビットストリームから情報が導出されてよい。導出される情報としては次のものが挙げられてよい：
（ａ）動きパラメータ；
（ｂ）重み付け予測パラメータ；
（ｃ）予測残差の量子化された変換された係数または／および逆量子化および変換後の予測残差；
（ｄ）符号化モード（イントラまたはインター）；
（ｅ）量子化パラメータ（Ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ、ＱＰ）；ならびに／あるいは
（ｆ）各ブロック、スライスまたはフレームの符号化に使われたビット数。
予測残差情報は、ＱＰと、ピクチャを表現するために用いられたビット数とともに、符号化の複雑さおよび／または（ＳＡＤ等の）予測誤差評価指標を推定するために用いられてもよい。イントラ符号化モードを含む符号化モードが、有用な空間的、時間的または空間時間的情報を生み出す場合がある。例えば、イントラ符号化モードが、ブロックを、その内部の内容（例えば、低いまたは高い周波数成分で特徴付けられるブロック内容）の周波数弁別に基づいて分類することができる。予測スライス内でイントラとして符号化されるブロックが、インターとして符号化されるブロックに対して、圧縮のためにより多くのビットを含む場合がある。このことは、レート制御基本単位が数マクロブロック（ｍａｃｒｏｂｌｏｃｋ、ＭＢ）程度で且つ、例えば、ピクチャよりも小さいときに著しくなる場合がある。このようなブロックは例えば新しい物体に属する可能性がある。ピクチャの符号化の複雑さは、用いられたＱＰおよびピクチャの符号化に用いられたビットの関数として計算されることができる。例えば、符号化の複雑さを量子化ステップサイズとビット数との積に定めることができよう。ビットストリームからブロック予測残差または量子化された変換された係数を検出し観察することによって、上述のように、短いレート制御基本単位のためのビット使用量が推定されてよい。これらの推定値は、そのピクチャについての予測誤差推定値を向上させるために、ビット数・掛ける・量子化ステップサイズ・プラス・符号化された予測残差の絶対和または、逆量子化された変換された係数、の重み付け平均値として組み合わせられることができる。これらの統計量に関連付けられる粒度が、ピクチャおよび／またはブロックを基準にしたこのような計算を可能とする。予測誤差ＳＡＤは予測残差の絶対和から推定されてもよい。動きおよび重み付け予測パラメータが、エンコーダにおけるそれぞれのパラメータを初期化するために用いられることができるが、例えば、時間的相関ならびにフェードしていくシーン推移または局所的な照度変化の指標の役割を果たすこともできる。時間的相関情報が、時間的相関が低いピクチャ群（例えば、動きの激しい内容を有するフレーム群）からのビットを節約するために用いられることができる。「規則的な」シーンに対して、符号化の労力を増大させる可能性がある、フェードしていく推移の間にもレート配分が調整されることができる。一実施形態では、元のビットストリームのビットレートと品質との関係がまず推定される。トランスコーディング段階のためのレート制御処理の間、各符号化単位形式のためのレート制御モデルは、視覚的品質、およびレート制御モデルの高速な収束を達成するために、上述された先の３つの技法を用いて初期化され適合される。例えば、上述の第１の技法例は、異なる形式の符号化単位の間の関係を導出するために用いられればよい。上述の第２の技法例は、より高速な収束およびより良い品質を促進するべく、異なる符号化単位形式の符号化パラメータおよびモデルパラメータを適合するために用いられればよい。第３の技法は、レート制御モデルの駆動に次に用いられる異なる符号化単位形式群内の最適なレート配分を導出するために用いられればよい。
本願明細書において記載されている技法および手法は、ＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ、ＶＣ−ＩおよびＭＰＥＧ−４等の最新のビデオコーデックに適用可能であってよいことを理解されたい。
［３．０ 実装機構］
図１９は、本発明の実施形態が実装されてよいコンピュータシステム１９００を図解するブロック図である。コンピュータシステム１９００は、情報を伝達するためのバス１９０２または他の通信機構、ならびに情報を処理するための、バス１９０２と結合されたプロセッサ１９０４を含む。コンピュータシステム１９００は、情報、およびプロセッサ１９０４によって実行される命令を記憶するための、バス１９０２に結合された、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）または他の動的記憶デバイス等のメインメモリ１９０６も含む。メインメモリ１９０６は、プロセッサ１９０４によって実行される命令の実行中に一時変数または他の中間情報を記憶するために用いられてもよい。コンピュータシステム１９００は、静的情報、およびプロセッサ１９０４のための命令を記憶するための、バス１９０２に結合されたリードオンリーメモリ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）１９０８または他の静的記憶デバイスをさらに含む。磁気ディスクまたは光ディスク等の記憶デバイス１９１０が、情報および命令を記憶するために提供され、バス１９０２に結合される。
コンピュータシステム１９００は、バス１９０２を介して、コンピュータユーザに対して情報を表示するための、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＬＣＤ）、プラズマディスプレイ、陰極線管（ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ、ＣＲＴ）、または同様のもの等のディスプレイ１９１２に結合されてよい。英数字または他のキーを含む入力デバイス１９１４が、情報およびコマンド選択をプロセッサ１９０４に伝達するためにバス１９０２に結合されている。もう１つの種類のユーザ入力デバイスは、方向情報およびコマンド選択をプロセッサ１９０４に伝達するための、ならびにディスプレイ１９１２上のカーソル移動を制御するための、マウス、トラックボールまたはカーソル方向キー等のカーソル制御１９１６である。この入力デバイスは通例、デバイスが平面内の位置を指定することを可能とする、２つの軸、第１の軸（例えばｘ）および第２の軸（例えばｙ）、の２つの自由度を有する。
本発明は、本願明細書において記載されている技法を実装するためのコンピュータシステム１９００の利用に関連している。本発明の１つの実施形態によれば、それらの技法は、メインメモリ１９０６に内蔵された１つ以上の命令の１つ以上のシーケンスをプロセッサ１９０４が実行するのに応答してコンピュータシステム１９００によって遂行される。このような命令は、記憶デバイス１９１０等の他の機械可読媒体からメインメモリ１９０６に読み込まれてよい。メインメモリ１９０６に内蔵されている命令シーケンスを実行すると、本願明細書において記載されているプロセスステップをプロセッサ１９０４が遂行する。実施形態によっては、本発明を実装するために、ソフトウェア命令の代わりにまたはそれらと組み合わせて、ハードワイヤード回路が用いられてよい。従って、本発明の実施形態はハードウェア回路およびソフトウェアのいかなる特定の組み合わせにも限定されるものではない。
本願明細書において用いられているような「機械可読媒体」の用語は、機械を特定の方法で動作させるデータの提供に関与する任意の媒体を指す。コンピュータシステム１９００を用いて実装される一実施形態では、例えば、命令を実行のためにプロセッサ１９０４に提供することに、種々の機械可読媒体が関わる。こうした媒体は、記憶媒体および伝送媒体を含む、ただしそれらに限定されるものではない、様々な形態をとってよい。記憶媒体は不揮発性媒体および揮発性媒体の両方を含む。不揮発性媒体は、例えば、記憶デバイス１９１０等の光または磁気ディスクを含む。揮発性媒体はメインメモリ１９０６等のダイナミックメモリを含む。伝送媒体は、バス１９０２を含む線を含め、同軸ケーブル、銅（または他の導電体）線ならびに光ファイバを含んでよい。伝送媒体は、電波および赤外線データ通信の間に生成されるもの等の、音波または光波の形態をとることもできる。このような媒体は全て、媒体によって搬送される命令を、機械に命令を読み込む物理的な機構が検出できるような、実体のあるものでなければならない。
機械可読媒体の一般的な形態としては、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、または他の任意の磁気媒体、ＣＤ−ＲＯＭ、他の任意の光媒体、パンチカード、紙テープ、孔または暗部のパターンを有する任意の他のレガシーまたは他の物理的な媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、フラッシュＥＰＲＯＭ、他の任意のメモリチップまたはカートリッジ、後述されるような搬送波、あるいはコンピュータが読み出しできる他の任意の媒体、が挙げられる。
１つ以上の命令の１つ以上のシーケンスを実行のためにプロセッサ１９０４に搬送することに種々の形態の機械可読媒体が関わってよい。例えば、命令は最初、リモートコンピュータの磁気ディスクで搬送されてよい。リモートコンピュータは命令をダイナミックメモリにロードし、命令を、モデムを用いて電話回線を通じて送信することができる。コンピュータシステム１９００にローカルなモデムが電話回線上のデータを受信し、赤外線発信器を用いてデータを赤外線信号に変換することができる。赤外線検出器が、赤外線信号で搬送されるデータを受信することができ、さらに適当な回路がデータをバス１９０２上に乗せることができる。バス１９０２はデータをメインメモリ１９０６にを搬送し、そこからプロセッサ１９０４は命令を取り出して実行する。メインメモリ１９０６によって受信された命令は、プロセッサ１９０４による実行の前または後のいずれかにおいて、任意に記憶デバイス１９１０上に記憶されてよい。
コンピュータシステム１９００は、バス１９０２に結合される通信インターフェース１９１８も含む。通信インターフェース１９１８は、ローカルネットワーク１９２２に接続されているネットワークリンク１９２０に結合する双方向データ通信を提供する。例えば、通信インターフェース１９１８は、総合デジタル通信網（ｉｎｔｅｇｒａｔｅｄ ｓｅｒｖｉｃｅｓ ｄｉｇｉｔａｌ ｎｅｔｗｏｒｋ、ＩＳＤＮ）カードまたはデジタル加入者回線（ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ、ＤＳＬ）、ケーブル、あるいは対応する種類の電話回線にデータ通信接続を提供する他のモデム（変調器／復調器）であってよい。もう１つの例として、通信インターフェース１９１８は、互換性のあるＬＡＮにデータ通信接続を提供するローカルエリアネットワーク（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ、ＬＡＮ）カードであってよい。無線リンクが実装されてもよい。このような実装のいずれにおいても、通信インターフェース１９１８は、種々の形式の情報を表すデジタルデータストリームを搬送する電気信号、電磁信号または光信号を送信し受信する。
通例、ネットワークリンク１９２０は１つ以上のネットワークを通じて他のデータデバイスにデータ通信を提供する。例えば、ネットワークリンク１９２０は、ローカルネットワーク１９２２を通じて、ホストコンピュータ１９２４に、またはインターネットサービスプロバイダ（Ｉｎｔｅｒｎｅｔ Ｓｅｒｖｉｃｅ Ｐｒｏｖｉｄｅｒ、ＩＳＰ）１９２６によって運用されるデータ機器に接続を提供してよい。ＩＳＰ１９２６は次に、現在一般的に「インターネット」と呼ばれるワールドワイドパケットデータ通信ネットワーク１９２８を通じてデータ通信サービスを提供する。ローカルネットワーク１９２２およびインターネット１９２８はいずれも、デジタルデータストリームを搬送する電気、電磁または光信号を用いる。種々のネットワークを通じた信号、ならびに通信インターフェース１９１８を通じてデジタルデータをコンピュータシステム１９００におよびそれから搬送する、ネットワークリンク１９２０上の信号は、情報を輸送する搬送波の形態の例である。
コンピュータシステム１９００は、ネットワーク（単数または複数）、ネットワークリンク１９２０および通信インターフェース１９１８を通じて、メッセージを送信したり、プログラムコードなどのデータを受信したりすることができる。インターネットの例では、サーバ１９３０が、アプリケーションプログラムのために要求されたコードを、インターネット１９２８、ＩＳＰ１９２６、ローカルネットワーク１９２２および通信インターフェース１９１８を通じて伝送すればよいであろう。
受信されたコードは受信時にプロセッサ１９０４によって実行されてよいし、ならびに／あるいは後の実行のために記憶デバイス１９１０、または他の不揮発性ストレージ内に記憶されてもよい。このようにして、コンピュータシステム１９００は搬送波の形態でアプリケーションコードを得てよい。
［４．０ 実施形態例の列挙］
符号化単位形式（例えばＢ符号化またはＩ符号化）ピクチャの量子化因子を推定するための統計量が、他の、場合によっては異なる（例えばＰ符号化）ピクチャ、または以前に符号化された符号化単位から求められる。このような符号化単位形式の間のビットレートと品質との関係が量子化パラメータとともに用いられてよい。符号化単位形式の間のビットレートと品質との関係を推定することにより、それらの符号化単位形式に関わらず、ピクチャのための正確なレート制御ができる。圧縮を高めるために、符号化単位形式の間のビットレートと品質との関係が複数のレート制御モデルとともに用いられることができる。レート制御パラメータが、動き推定および補償フレームワークによって生成される統計量で調整されてよい。圧縮ビットストリームをトランスコードする際にレート制御の性能が制御されてよい。
従って、本発明の実施形態は、以下の一覧に列挙されている例の１つ以上に関連するものであればよい。
１．１つ以上の動き推定および動き補償（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ａｎｄ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ、ＭＥＭＣ）モジュール、空間統計量分析モジュール、最初の符号化パス、または複数符号化パスの以前のパスから情報を受信することと；
以下のこと：
現在のピクチャの予測誤差を：
２つ以上の以前に符号化されたピクチャの予測誤差；または前記ＭＥＭＣにおいて収集される統計量；
のうちの少なくとも１つのものの関数として推定すること；および
前記現在のピクチャの空間分散を、前記空間統計量分析モジュールにおいて収集される、以前に符号化されたピクチャの空間分散の関数として推定すること；
のうちの１つ以上を遂行することと；
を含む方法。
２．以前に符号化されたピクチャが、前記最初の符号化パス、または複数の符号化パスの前記以前のパスからの情報を含む、列挙実施形態例１の方法。
３．前記ＭＥＭＣにおいて収集される統計量が：
予測誤差値；
並進運動ベクトル値；
重み付け予測の重みおよびオフセット；ならびに
１つ以上のより高次の運動モデルに関連付けられる動きパラメータ；
のうちの１つ以上を含む、列挙実施形態例１の方法。
４．前記方法が：
レート制御パラメータを：
１つ以上の前のＭＥＭＣモジュール；あるいは
前記前の符号化パスの運動モデルおよび符号化統計量ならびに現在のエンコーディングパスのために用いられる前記運動モデル；
のうちの１つ以上によって用いられる運動モデルの相違に基づいて修正すること；
をさらに含む、列挙実施形態例１の方法。
５．前記推定される予測誤差が、前記ＭＥＭＣモジュールによって推定される重み付け予測パラメータを含む、列挙実施形態例１の方法。
６．前記方法が：
前記現在のピクチャを予測するために、少なくとも１つの過去のピクチャまたは少なくとも１つの未来のピクチャのうちの１つ以上のものを１つ以上の動き補償された利用可能なアンカーピクチャとして用いることと；
前記アンカーピクチャのうちの１つ以上のものに関して、前記現在のピクチャの複雑さ推定値を計算することと；
２つ以上の予測参照を用いて、前記利用可能な参照ピクチャのうちの少なくとも２つの間の複雑さの関係を反映する少なくとも１つの値を計算することと；
をさらに含む、列挙実施形態例１の方法。
７．前記方法が：
前記現在のピクチャを予測するために、少なくとも１つの過去のピクチャまたは少なくとも１つの未来のピクチャのうちの１つ以上のものを１つ以上の動き補償された参照ピクチャとして用いることと；
前記少なくとも１つの未来のピクチャを用いる際、前記少なくとも１つの未来のピクチャに関連付けられる１つ以上の予測誤差および前記少なくとも１つの未来のピクチャに関連付けられる１つ以上の動きベクトルに関連する情報を比較することによって推定複雑さ特性値を計算することと；
ただし、前記１つ以上の予測誤差に関連する前記情報は前記ＭＥＭＣモジュールからの前記受信情報から得られることと；
をさらに含む、列挙実施形態例１の方法。
８．前記方法が：
前記レート制御パラメータを、前記ＭＥＭＣあるいは最初のパスまたは以前のパスの符号化統計量からの前記受信情報からの運動モデルパラメータと、エンコーダに関連する運動モデルパラメータとの間の差の評価指標を用いて修正すること；
をさらに含む、列挙実施形態例４の方法。
９．前記１つ以上の符号化単位毎に、符号化構造、１つ以上の符号化単位のためのスケーリングパラメータ、および１ピクチャ当たりのビット目標を受信することと；
前記１つ以上の符号化単位の各々に配分すべきビット数を、
前記符号化構造；
スケーリングパラメータ；および
ビット目標；
のうちのいずれかを用いて計算することと；
を含む方法。
１０．前記ビット数を計算することが：
新しいパラメータを前記スケーリングパラメータの関数として計算するとともに、前記１つ以上の符号化単位の第１の符号化単位に配分される量子化パラメータ（ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ、ＱＰ）値が、前記１つ以上の符号化単位の第２の符号化単位に配分されるＱＰ値とは異なることを許すこと；
をさらに含む、列挙実施形態例９の方法。
１１．前記方法が：
参照ピクチャの平均ＱＰ値を用いることによって、または現在のピクチャに対応する符号化ピクチャの前記ＱＰ値と前記現在のピクチャに対応する予測参照ピクチャの前記ＱＰ値との前記差を用いることによって、前記スケーリングパラメータを調整すること；
をさらに含む、列挙実施形態例９の方法。
１２．前記方法が：
１つ以上の新しい符号化構造または非周期的な挿入イントラピクチャを受信することと；
配分すべき前記ビット数を再計算することと；
をさらに含む、列挙実施形態例９の方法。
１３．Ｎ個の数の符号化単位形式のためのビデオエンコーダにおいて現在のピクチャを受信するステップと；
ただし、前記ビデオエンコーダはＭ個の数のレート制御モデルを含み、前記Ｎ個の数は前記Ｍ個の数よりも大きいことと；
前記現在のピクチャを：
特定の情報；
前記Ｍ個のレート制御モデルのうちの少なくとも１つからの１つ以上の符号化パラメータ；または
前記Ｍ個のレート制御モデルのうちの前記少なくとも１つからの前記１つ以上の符号化パラメータのうちの少なくとも１つを変換することによって得られる１つ以上の符号化パラメータ；
のうちの１つ以上を用いて符号化するステップと；
を含む方法。
１４．前記現在のピクチャがイメージシーケンス内に第１のピクチャを含み；
前記符号化ステップが、１つ以上のレート制約を満たす符号化パラメータを用いるステップを含み；
前記現在のピクチャを特徴付ける符号化単位形式が前記Ｍ個のレート制御モデルのうちの１つに対応し；さらに
前記現在のピクチャを符号化する際、前記方法が、
Ｍ個のレート制御モデルのうちの前記対応する１つを更新するステップ；
前記第１のピクチャに関連する統計量を収集するステップ；および
前記収集される統計量をバッファするステップ；
をさらに含む、列挙実施形態例１３に記載の方法。
１５．前記現在のピクチャが、前記イメージシーケンス内の前記第１のピクチャに続き符号化されるピクチャを含み；さらに
前記符号化ステップが、
前記現在のピクチャを特徴付ける符号化単位形式を確定するステップ；ならびに
前記現在のピクチャが、前記確定された符号化単位形式の第１のピクチャを含む場合、前記現在のピクチャに前記特定の情報を関連付けるステップ；
ただし、前記付加される特定の情報は、
少なくとも１つのスケーリングまたは変換パラメータ；
少なくとも１つの反復的に推定される符号化パラメータ；あるいは
前記収集される統計量；
のうちの１つ以上のものを含むこと；
をさらに含む；列挙実施形態例１４に記載の方法。
１６．前記現在のピクチャが、前記確定された符号化単位形式の前記第１のピクチャに続くピクチャを含み；さらに
前記符号化ステップが、
前記確定された符号化単位形式に対応するレート制御モデルを確定するステップ；ならびに
前記確定されたレートモデルが前記Ｍ個のレート制御モデルのうちの１つである場合、前記確定されたレート制御モデルの１つ以上のレート制御モデルパラメータを用いるステップ；ならびに
前記確定されたレート制御モデルを更新するステップ；
をさらに含む；列挙実施形態例１５に記載の方法。
１７．前記確定されたレートモデルが前記Ｍ個のレート制御モデルのうちの１つ以外のものであり；さらに
前記符号化ステップが、
前記確定されたレート制御モデルを導出するステップ
をさらに含む；列挙実施形態例１６に記載の方法。
１８．前記導出ステップが：
前記符号化単位形式の各々について収集された、前記バッファされた統計量を処理するステップ；
前記Ｍ個のレート制御モデルのうちの少なくとも１つからのパラメータを変換するステップ；
前記変換ステップに基づいて、前記変換されたパラメータを生成するステップ；
前記変換されたパラメータを前記現在のピクチャに適用するステップ；
前記対応する符号化単位形式について前記収集ステップを実行するステップ；ならびに
前記収集された統計量について前記バッファリングステップを実行するステップ；
を含む、列挙実施形態例１７に記載の方法。
１９．前記バッファリングステップが、前記収集された統計量を、前記確定された符号化単位形式に対応する統計量バッファ内にバッファするステップを含む、列挙実施形態例１８に記載の方法。
２０．前記方法が：
ビット統計量を全ての符号化単位形式について同じ符号化パラメータに正規化すること；
をさらに含む、列挙実施形態例１３の方法。
２１．前記方法が：
少なくとも１つの新しい符号化単位形式を含む適合された予測構造を受信することと；
前記新しい符号化単位形式が以前に存在したかどうかを判定することと；
前記新しい符号化単位形式が以前に存在した場合は、前記以前に存在した符号化単位形式の収集された統計量およびレート制御モデルを用いることと；
をさらに含む、列挙実施形態例１３の方法。
２２．前記方法が：
少なくとも１つの新しい符号化単位形式を含む適合された予測構造を受信することと；
前記新しい符号化単位形式が以前に存在したかどうかを判定することと；
前記新しい符号化単位形式が以前に存在しなかった場合は、以前に維持されたレート制御モデルを変換することによって、前記新しい符号化単位形式に対応するレート制御モデルを初期化することと；
をさらに含む、列挙実施形態例１３の方法。
２３．前記方法が：
Ｐ符号化ピクチャにレート制御モデルを割り当てるとともにＩ符号化ピクチャのためのおよびＢ符号化ピクチャのためのスケーリングパラメータを推定すること、あるいはＩ符号化ピクチャにレート制御モデルを割り当てるとともにＢ符号化ピクチャのためのおよびＰ符号化ピクチャのためのスケーリングパラメータを推定することと；
ただし前記スケーリングパラメータは、記憶されたビット比の平均値を表すことと；
をさらに含む、列挙実施形態例１３の方法。
２４．パラメータを変換することが、動き推定および動き補償（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ａｎｄ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ、ＭＥＭＣ）モジュールまたは以前の符号化パスにおいて収集された統計量を用いることをさらに含む、列挙実施形態例１８の方法。
２５．前記ＭＥＭＣにおいて収集された統計量が予測誤差を含む、列挙実施形態例２４の方法。
２６．現在のピクチャを受信することと；
前記現在のピクチャについてのシーン形式を判定することと；
前記判定されたシーン形式に基づいて：
前記シーン形式に適したレート制御モデルを選択するステップ；
デフォルトのレート制御モデルのパラメータを調整するステップ；および
前記デフォルトのレート制御モデルを用いるステップ；
のうちの１つ以上を遂行することと；
を含む方法。
２７．前記現在のピクチャについてのシーン形式を判定することが、動き推定および動き補償モジュールからのあるいは複数パスビデオ符号化器の以前の符号化パスからの空間時間的統計量を分析することを含む、列挙実施形態例２６の方法。
２８．イメージシーケンスであって、前記イメージシーケンスの第１の数のピクチャが第１の符号化単位形式のものである、イメージシーケンスを受信することと；
前記第１の符号化単位形式に対応する第１のレート制御モデルを用いて前記イメージシーケンスの前記第１の数のピクチャを符号化することと；
前記第１の符号化単位形式に対応する第１のレート制御モデルを用いて前記イメージシーケンスの前記第１の数のピクチャを符号化した後、前記第１のレート制御モデルのパラメータを変換することによって前記イメージシーケンスの現在のピクチャを符号化することであって、前記現在のピクチャは、前記第１の符号化単位形式とは異なる第２の符号化単位形式に対応する、符号化することと；
を含む方法。
２９．前記第１のレート制御モデルのパラメータを変換することが、動き推定および動き補償モジュールまたは以前の符号化パスからの統計量を用いることを含む、列挙実施形態例２８の方法。
３０．Ｍ個の数のレート制御モデルを初期化することと；
Ｎ個の数の符号化単位形式ピクチャについて、Ｎ個の目標ビットを計算することと；
ただし、前記Ｎ個の数は前記Ｍ個の数よりも大きいかまたはそれに等しいことと；
現在のピクチャを受信することと；
前記Ｎ個の符号化単位形式のうちの前記現在のピクチャのための符号化単位形式を確定することと；
前記現在のピクチャの前記符号化単位形式が特定の符号化単位形式である場合は：
前記特定の符号化単位形式に対応する特定の符号化パラメータを用いること、または前記Ｍ個のレート制御モデルのうちの、前記特定の符号化単位形式に対応する特定のレート制御モデルを用いること；
前記特定の符号化パラメータまたは特定のレート制御モデルに基づいて前記現在のピクチャをエンコードすること；
前記特定の符号化単位形式に対応するスケーリングパラメータを更新すること；ならびに
各符号化単位形式について前記Ｎ個の目標ビットを再計算すること；
を遂行することと；
を含む方法。
３１．前記方法が：
前記現在のピクチャの前記符号化単位形式が前記特定の符号化単位形式とは異なる第２の符号化単位形式である場合は：
前記第２の符号化単位形式に対応する第２の符号化パラメータを用いること、または前記Ｍ個のレート制御モデルのうちの、前記第２の符号化単位形式に対応する第２のレート制御モデルを用いること；
前記第２の符号化パラメータまたは第２のレート制御モデルに基づいて現在のピクチャをエンコードすること；ならびに
目標ビットを再計算すること；
を遂行すること；
をさらに含む、列挙実施形態例３０に記載の方法。
３２．前記方法が：
前記現在のピクチャの前記符号化単位形式が、前記特定の符号化単位形式および前記第２の符号化単位形式とは異なる、第３の符号化単位形式である場合は：
前記Ｍ個のレート制御モデルのうちの第３のレート制御モデルを用い、さらに前記第３の符号化単位形式に対応するとともに前記第３のレート制御モデルに対応する第３のスケーリングパラメータを用いること；
前記第３のレート制御モデルおよび前記第３のスケーリングパラメータに基づいて現在のピクチャをエンコードすること；
前記第３のスケーリングパラメータを更新すること；ならびに
目標ビットを再計算すること；
を遂行すること；
をさらに含む、列挙実施形態例３１に記載の方法。
３３．前記特定の符号化単位形式がＰ符号化ピクチャであり、前記第２の符号化単位形式がＩ符号化ピクチャであり、さらに前記第３の符号化単位形式がＢ符号化ピクチャである、列挙実施形態例３２の方法。
３４．Ｎ個の数の符号化単位形式のためのビデオエンコーダを初期化することであって、前記ビデオエンコーダはＭ個の数のレート制御モデルを含み、前記Ｍ個のレート制御モデルの各々は前記Ｎ個の符号化単位形式の符号化単位形式に対応し、さらにＮはＭよりも大きい、初期化することと；
現在のピクチャを受信することと；
前記Ｎ個の符号化単位形式のうちの、前記現在のピクチャに対応する符号化単位形式を確定することと；
前記現在のピクチャの前記符号化単位形式が特定の符号化単位形式である場合は：
前記特定の符号化単位形式に対応する特定のレート制御モデルを用いて前記現在のピクチャをエンコードすること；
前記特定のレート制御モデルが収束したかどうかを判定すること；
前記特定のレート制御モデルを更新すること；および
前記特定のレート制御モデルが収束しなかった場合は、前記特定のレート制御モデルを、前記Ｎ個の符号化単位形式のうちの第２の符号化単位形式に対応する、前記Ｍ個のレート制御モデルのうちの変換された第２のレート制御モデルと混合すること；
を遂行することと；
を含む方法。
３５．前記方法が：
前記現在のピクチャの前記符号化単位形式が前記Ｎ個の符号化単位形式のうちの第３の符号化単位形式である場合は：
前記現在のピクチャを、前記Ｍ個のレート制御モデルのうちの、前記第３の符号化単位形式に対応する第３のレート制御モデルからのパラメータでエンコードすること；
前記第３のレート制御モデルが収束したかどうかを判定すること；
前記第３のレート制御モデルを更新すること；および
前記第３のレート制御モデルが収束しなかった場合は、前記第３のレート制御モデルを、前記第２の符号化単位形式のための前記変換された第２のレート制御モデルと混合すること；
を遂行すること；
をさらに含む、列挙実施形態例３４に記載の方法。
３６．前記方法が：
前記現在のピクチャの前記符号化単位形式が前記第２の符号化単位形式である場合は、
前記現在のピクチャを前記第２のレート制御モデルからのパラメータでエンコードすることと；
前記第２のレート制御モデルを更新することと；
をさらに含む、列挙実施形態例３４に記載の方法。
３７．前記第１の符号化単位形式がＩ符号化ピクチャであり、前記第２の符号化単位形式がＰ符号化ピクチャであり、さらに前記第３の符号化単位形式がＢ符号化ピクチャである、列挙実施形態例３６の方法。
３８．１つ以上のピクチャの第１の圧縮ビットストリームを受信することと；
１つ以上のピクチャの前記圧縮ビットストリームを完全にまたは部分的に復号することと；
前記完全にまたは部分的に復号されたピクチャを：
前記完全にまたは部分的に復号された１つ以上のピクチャのうちの１つ以上のものの時間的分析を遂行するモジュール；ならびに
前記完全にまたは部分的に復号された１つ以上のピクチャのうちの１つ以上のものの空間的分析を遂行するモジュール；
のうちの１つ以上に送信することと；
レート制御モデルに：
前記完全にまたは部分的に復号された１つ以上のピクチャのうちの前記１つ以上のものの時間的分析を前記遂行すること；ならびに
前記完全にまたは部分的に復号された１つ以上のピクチャのうちの前記１つ以上のものの空間的分析を前記遂行すること；
のうちの１つ以上のことからの出力を送信することと；
ビデオ符号化器において、前記レート制御モデルからのレート制御パラメータ、および前記完全にまたは部分的に復号された１つ以上のピクチャを受信することと；
前記受信された完全にまたは部分的に復号された１つ以上のピクチャを、前記ビデオ符号化器によって、前記受信されたレート制御パラメータを用いて第２のビットストリームにエンコードし圧縮することと；
を含む方法。
３９．前記完全にまたは部分的に復号された１つ以上のピクチャを送信することが、前記完全にまたは部分的に復号された１つ以上のピクチャを、レイテンシを付加するためにバッファに送信することをさらに含み；
ビデオ符号化器において受信することが、ビデオ符号化器において前記バッファからの出力を受信することをさらに含み；さらに
前記受信された完全にまたは部分的に復号された１つ以上のピクチャを、前記受信されたレート制御パラメータを用いて第２のビットストリームにエンコードし圧縮することが、前記バッファからの前記受信された出力を、前記受信されたレート制御パラメータを用いて第２のビットストリームにエンコードし圧縮することをさらに含む；列挙実施形態例３８の方法。
４０．時間的分析を遂行する前記モジュールが動き推定および動き補償モジュールである、列挙実施形態例３８の方法。
４１．前記ビデオ符号化器が、Ｎ個の数の符号化単位形式のためのビデオ符号化器であって、Ｍ個の数のレート制御モデルを含み、ただしＮ＞Ｍである、ビデオ符号化器であり、さらに前記ビデオ符号化器によってエンコードし圧縮することが、前記Ｍ個のレート制御モデルからのパラメータを変換し前記変換されたパラメータを用いることによって、Ｎ−Ｍ個の符号化単位形式のためのパラメータを計算することをさらに含む、列挙実施形態例３８の方法。
４２．エンコードし圧縮することが、最初の符号化パスからの、または複数符号化パスの以前のパスからの情報を用いてエンコードし圧縮することをさらに含む、列挙実施形態例３８の方法。
４３．ビデオ処理のための１つ以上の命令シーケンスを記憶するコンピュータ可読媒体であって、１つ以上のプロセッサによる１つ以上の命令シーケンスの実行によって、前記１つ以上のプロセッサが：
１つ以上の動き推定および動き補償（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ａｎｄ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ、ＭＥＭＣ）モジュール、空間統計量分析モジュール、最初の符号化パス、または複数符号化パスの以前のパスから情報を受信するステップ；
以下のこと：
現在のピクチャの予測誤差を、
２つ以上の以前に符号化されたピクチャの予測誤差；または前記ＭＥＭＣにおいて収集された統計量；
のうちの少なくとも１つのものの関数として推定すること；ならびに
前記現在のピクチャの空間分散を、前記空間統計量分析モジュールにおいて収集された、以前に符号化されたピクチャの空間分散の関数として推定すること；
のうちの１つ以上を遂行するステップ；
を遂行する、コンピュータ可読媒体。
４４．ビデオ処理のための１つ以上の命令シーケンスを記憶するコンピュータ可読媒体であって、１つ以上のプロセッサによる１つ以上の命令シーケンスの実行によって、前記１つ以上のプロセッサが：
前記１つ以上の符号化単位毎に、符号化構造、１つ以上の符号化単位のためのスケーリングパラメータ、および１ピクチャ当たりのビット目標を受信するステップ；ならびに
前記１つ以上の符号化単位の各々に配分すべきビット数を：
前記符号化構造；
スケーリングパラメータ；および
ビット目標；
のうちのいずれかを用いて計算するステップ；
を遂行する、コンピュータ可読媒体。
４５．ビデオ処理のための１つ以上の命令シーケンスを記憶するコンピュータ可読媒体であって、１つ以上のプロセッサによる１つ以上の命令シーケンスの実行によって、前記１つ以上のプロセッサが：
Ｎ個の数の符号化単位形式のためのビデオエンコーダにおいて現在のピクチャを受信するステップ；
ただし、前記ビデオエンコーダはＭ個の数のレート制御モデルを含み、ただし前記Ｎ個の数は前記Ｍ個の数よりも大きいこと；ならびに
前記現在のピクチャを：
特定の情報；
前記Ｍ個のレート制御モデルのうちの少なくとも１つからの１つ以上のパラメータ；および
前記Ｍ個のレート制御モデルのうちの前記少なくとも１つからの前記１つ以上のパラメータのうちの少なくとも１つを変換することによって得られる１つ以上のパラメータ；
のうちの１つ以上を用いて符号化するステップ；
を遂行する、コンピュータ可読媒体。
４６．ビデオ処理のための１つ以上の命令シーケンスを記憶するコンピュータ可読媒体であって、１つ以上のプロセッサによる１つ以上の命令シーケンスの実行によって、前記１つ以上のプロセッサが：
現在のピクチャを受信するステップ；
前記現在のピクチャについてのシーン形式を判定するステップ；
前記判定されたシーン形式に基づいて：
前記シーン形式に適したレート制御モデルを選択するステップ；
デフォルトのレート制御モデルのパラメータを調整するステップ；および
前記デフォルトのレート制御モデルを用いるステップ；
のうちの１つ以上を遂行するステップ；
を遂行する、コンピュータ可読媒体。
４７．ビデオ処理のための１つ以上の命令シーケンスを記憶するコンピュータ可読媒体であって、１つ以上のプロセッサによる１つ以上の命令シーケンスの実行によって、前記１つ以上のプロセッサが：
イメージシーケンスであって、前記イメージシーケンスの第１の数のピクチャが第１の符号化単位形式のものである、イメージシーケンスを受信するステップ；
前記第１の符号化単位形式に対応する第１のレート制御モデルを用いて前記イメージシーケンスの前記第１の数のピクチャを符号化するステップ；ならびに
前記第１の符号化単位形式に対応する第１のレート制御モデルを用いて前記イメージシーケンスの前記第１の数のピクチャを符号化した後、前記第１のレート制御モデルのパラメータを変換することによって前記イメージシーケンスの現在のピクチャを符号化するステップであって、前記現在のピクチャは、前記第１の符号化単位形式とは異なる第２の符号化単位形式に対応する、符号化するステップ；
を遂行する、コンピュータ可読媒体。
４８．ビデオ処理のための１つ以上の命令シーケンスを記憶するコンピュータ可読媒体であって、１つ以上のプロセッサによる１つ以上の命令シーケンスの実行によって、前記１つ以上のプロセッサが：
Ｎ個の数の符号化単位形式のためのビデオエンコーダを初期化するステップであって、前記ビデオエンコーダはＭ個の数のレート制御モデルを含み、前記Ｍ個のレート制御モデルの各々は前記Ｎ個の符号化単位形式の符号化単位形式に対応し、ただしＮはＭよりも大きい、初期化するステップ；
現在のピクチャを受信するステップ；
前記Ｎ個の符号化単位形式のうちの、前記現在のピクチャに対応する符号化単位形式を確定するステップ；ならびに
前記現在のピクチャの前記符号化単位形式が特定の符号化単位形式である場合は：
前記特定の符号化単位形式に対応する特定のレート制御モデルを用いて前記現在のピクチャをエンコードすること；
前記特定のレート制御モデルが収束したかどうかを判定すること；
前記特定のレート制御モデルを更新すること；および
前記特定のレート制御モデルが収束しなかった場合は、前記特定のレート制御モデルを、前記Ｎ個の符号化単位形式のうちの第２の符号化単位形式に対応する、前記Ｍ個のレート制御モデルのうちの変換された第２のレート制御モデルと混合すること；
を遂行するステップ；
を遂行する、コンピュータ可読媒体。
４９．ビデオ処理のための１つ以上の命令シーケンスを記憶するコンピュータ可読媒体であって、１つ以上のプロセッサによる１つ以上の命令シーケンスの実行によって、前記１つ以上のプロセッサが：
１つ以上のピクチャの第１の圧縮ビットストリームを受信するステップ；
１つ以上のピクチャの前記圧縮ビットストリームを完全にまたは部分的に復号するステップ；
前記完全にまたは部分的に復号された１つ以上のピクチャを：
前記完全にまたは部分的に復号された１つ以上のピクチャのうちの１つ以上のものの時間的分析を遂行するモジュール；および
前記完全にまたは部分的に復号された１つ以上のピクチャのうちの１つ以上のものの空間的分析を遂行するモジュール；
のうちの１つ以上のものに送信するステップ；
レート制御モデルに：
前記完全にまたは部分的に復号された１つ以上のピクチャのうちの前記１つ以上のものの時間的分析を前記遂行すること；および
前記完全にまたは部分的に復号された１つ以上のピクチャのうちの前記１つ以上のものの空間的分析を前記遂行すること；
のうちの１つ以上からの出力を送信するステップ；
ビデオ符号化器において、前記レート制御モデルからのレート制御パラメータ、および前記完全にまたは部分的に復号された１つ以上のピクチャを受信するステップ；ならびに
前記完全にまたは部分的に復号された１つ以上のピクチャを、前記ビデオ符号化器によって、前記受信されたレート制御パラメータを用いて第２のビットストリームにエンコードし圧縮するステップ；
を遂行する、コンピュータ可読媒体。
５０．１つ以上の動き推定および動き補償（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ａｎｄ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ、ＭＥＭＣ）モジュール、空間統計量分析モジュール、最初の符号化パス、または複数符号化パスの以前のパスからの情報を受信する情報受信器と；
現在のピクチャの予測誤差を、
２つ以上の以前に符号化されたピクチャの予測誤差；または前記ＭＥＭＣにおいて収集された統計量；
のうちの少なくとも１つのものの関数として推定する予測誤差推定器と；
前記空間統計量分析モジュールにおいて収集された、以前に符号化されたピクチャの空間分散の関数として前記現在のピクチャの空間分散を推定する空間分散推定器と；
を含む装置。
５１．前記１つ以上の符号化単位毎に、符号化構造、１つ以上の符号化単位のためのスケーリングパラメータ、および１ピクチャ当たりのビット目標を受信する符号化構造受信器と；
ビット配分サブシステムであって、前記１つ以上の符号化単位の各々に配分すべきビット数を、
前記符号化構造；
スケーリングパラメータ；および
ビット目標；
のうちのいずれかを用いて計算する、ビット配分サブシステムと；
を含む装置。
５２．Ｎ個の数の符号化単位形式のためのビデオエンコーダにおいて現在のピクチャを受信するピクチャ受信器と；
ただし、前記ビデオエンコーダはＭ個の数のレート制御モデルを含み、ただし前記Ｎ個の数は前記Ｍ個の数よりも大きいことと；
前記現在のピクチャを：
特定の情報；
前記Ｍ個のレート制御モデルのうちの少なくとも１つからの１つ以上のパラメータ；および
前記Ｍ個のレート制御モデルのうちの前記少なくとも１つからの前記１つ以上のパラメータのうちの少なくとも１つを変換することによって得られる１つ以上のパラメータ；
のうちの１つ以上を用いて符号化する符号化サブシステムと；
を含む装置。
５３．現在のピクチャを受信するピクチャ受信器と；
前記現在のピクチャについてのシーン形式を判定するシーン形式判定サブシステムと；
以下のもの：
前記判定されたシーン形式に基づいて、前記シーン形式に適したレート制御モデルを選択するレート制御モデルセレクタ；
前記判定されたシーン形式に基づいて用いられるデフォルトのレート制御モデル；および
前記判定されたシーン形式に基づいて前記デフォルトのレート制御モデルのパラメータを調整するパラメータ調整器サブシステム、
のうちの１つ以上と；
を含む装置。
５４．イメージシーケンスであって、前記イメージシーケンスの第１の数のピクチャが第１の符号化単位形式のものである、イメージシーケンスを受信するイメージシーケンス受信器と；
前記第１の符号化単位形式に対応する第１のレート制御モデルを用いて前記イメージシーケンスの前記第１の数のピクチャを符号化する第１の符号化サブシステムと；
前記第１の符号化単位形式に対応する前記第１のレート制御モデルを用いて前記イメージシーケンスの前記第１の数のピクチャが符号化された後、前記第１のレート制御モデルのパラメータを変換することによって前記イメージシーケンスの現在のピクチャを符号化する第２の符号化サブシステムであって、前記現在のピクチャは、前記第１の符号化単位形式とは異なる第２の符号化単位形式に対応する、第２の符号化サブシステムと；
を含む装置。
５５．Ｎ個の数の符号化単位形式のためのビデオエンコーダを初期化する初期化サブシステムであって、前記ビデオエンコーダはＭ個の数のレート制御モデルを含み、前記Ｍ個のレート制御モデルの各々は前記Ｎ個の符号化単位形式の符号化単位形式に対応し、ただしＮはＭよりも大きい、初期化サブシステムと；
現在のピクチャを受信するピクチャ受信器と；
前記Ｎ個の符号化単位形式のうちの、前記現在のピクチャに対応する符号化単位形式を確定する符号化単位形式確定サブシステムと；
前記現在のピクチャの前記符号化単位形式が特定の符号化単位形式である場合は、前記特定の符号化単位形式に対応する特定のレート制御モデルを用いて前記現在のピクチャをエンコードするエンコーダと；
前記現在のピクチャの前記符号化単位形式が特定の符号化単位形式である場合は、前記特定のレート制御モデルが収束したかどうかを判定する収束判定サブシステムと；
前記現在のピクチャの前記符号化単位形式が特定の符号化単位形式である場合は、前記特定のレート制御モデルを更新する更新サブシステムと；
前記特定のレート制御モデルが収束しなかった場合は、前記特定のレート制御モデルを、前記Ｎ個の符号化単位形式のうちの第２の符号化単位形式に対応する、前記Ｍ個のレート制御モデルのうちの変換された第２のレート制御モデルと混合する混合サブシステムと；
を含む装置。
５６．１つ以上のピクチャの第１の圧縮ビットストリームを受信する圧縮ビットストリーム受信器と；
１つ以上のピクチャの前記圧縮ビットストリームを完全にまたは部分的に復号するデコーダと；
前記完全にまたは部分的に復号された１つ以上のピクチャを：
前記完全にまたは部分的に復号された１つ以上のピクチャのうちの１つ以上のものの時間的分析を遂行するモジュール；ならびに
前記完全にまたは部分的に復号された１つ以上のピクチャのうちの１つ以上のものの空間的分析を遂行するモジュール；
のうちの１つ以上のものに送信する第１の送信サブシステムと；
レート制御モデルに：
前記完全にまたは部分的に復号された１つ以上のピクチャのうちの前記１つ以上のものの時間的分析を前記遂行すること；ならびに
前記完全にまたは部分的に復号された１つ以上のピクチャのうちの前記１つ以上のものの空間的分析を前記遂行すること；
のうちの１つ以上からの出力を送信する第２の送信サブシステムと；
ビデオ符号化器において、前記レート制御モデルからのレート制御パラメータ、および前記完全にまたは部分的に復号された１つ以上のピクチャを受信するレート制御モデル受信器と；
前記完全にまたは部分的に復号された１つ以上のピクチャを、前記受信されたレート制御パラメータを用いて第２のビットストリームにエンコードし圧縮するエンコーダ−圧縮器と；
を含む装置。
５７．前記複雑さの関係が：
前記アンカーピクチャのうちの１つ以上に関して計算される前記現在のピクチャの前記複雑さ推定値；または
前記アンカーピクチャのうちの少なくとも２つの間に存在する複雑さの関係；
ただし、前記アンカーピクチャのうちの前記少なくとも２つは、少なくとも部分的に、前記現在のピクチャの予測となるものであること；
のうちの１つ以上に関連する、列挙実施形態例６に記載の方法。
５８．予測誤差ステップを前記推定することが、前記ＭＥＭＣにおいて収集される前記統計量に少なくとも部分的に基づくとともに；以下のステップ：
前記統計量を：
参照ピクチャ以外のピクチャ、またはアンカーピクチャからの情報；あるいは
少なくとも１つの動き補償時間フィルタ、トランスコーディング関連情報、あるいは以前のエンコーディングパスから得られる１つ以上の統計量；
ただし、前記以前のエンコーディングパスは、前記現在のエンコーディングパスの前記符号化構成以外の符号化構成に少なくとも部分的に基づくこと；
に少なくとも部分的に基づいて調整するステップ；
をさらに含む、列挙実施形態例６に記載の方法。
５９．２つ以上の以前に符号化されたピクチャの前記予測誤差を前記推定することが：
異なる空間的または時間的距離あるいは異なる運動モデルに対応する、１つ以上の予測誤差を比較するステップ；ならびに
前記現在のピクチャと前記以前に符号化されたピクチャとの間の関係を前記比較ステップに少なくとも部分的に基づいて定義するステップ；
を含む、列挙実施形態例６に記載の方法。
６０．前記符号化パラメータが、前記現在のピクチャがエンコードされるのに用いられる、量子化またはラグランジュパラメータ値、量子化丸めオフセットパラメータ、モード決定閾値、符号化単位形式および構成、ならびにそれらの組み合わせを記述する、列挙実施形態例１３に記載の方法。
６１．エンコードされたビデオフレームのストリーム内の第１の符号化単位形式の第１のフレームの１つ以上のエンコーディング量子化パラメータをビデオエンコーダ内で推定するための統計量を：
前記第１の符号化単位形式の少なくとも第２のフレーム；
少なくとも第２の符号化単位形式の１つ以上のフレーム；または
１つ以上の以前にエンコードされた符号化単位形式；
のうちの１つ以上から求めるステップであって、前記第１の、第２のまたは以前にエンコードされた符号化単位形式のうちの１つ以上はイントラフレーム（Ｉフレーム）、予測フレーム（Ｐフレーム）または双方向フレーム（Ｂフレーム）のうちの少なくとも１つに関連する、求めるステップと；
前記求められた統計量に少なくとも部分的に基づいて、前記第１の、第２のまたは以前にエンコードされた符号化単位形式のうちの１つ以上のものの間の１つ以上の関係を推定するステップであって、前記関係は、前記符号化単位形式の各々に関連付けられるビットレートまたはイメージ品質のうちの１つ以上に対応する、推定するステップと；
前記エンコードされたビデオストリームが前記ビデオエンコーダから伝送される前記レートを、前記量子化パラメータまたは前記推定された関係のうちの１つ以上に基づいて制御するステップと；
を含む方法。
６２．前記方法が：
前記ビデオエンコーダの動き推定および補償機能（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ａｎｄ ｃｏｍｐｅｎｓａｔｉｏｎ ｆｕｎｃｔｉｏｎ、ＭＥＣＦ）で生成される統計量を求めるステップと；
ただし、前記レート制御ステップは前記求められたＭＥＣＦ統計量にさらに基づくことと；
をさらに含む、列挙実施形態例６１に記載の方法。
６３．ＭＥＣＦで生成される統計量を前記求めることが：
以下のもの：
１つ以上の動き推定および動き補償（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ａｎｄ ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ、ＭＥＭＣ）モジュール；
空間統計量分析モジュール；
最初の符号化パス；または
複数の符号化パスの以前のパス；
のうちの１つ以上からの情報を受信するステップ；
以下のステップ：
現在のピクチャの予測誤差を、
２つ以上の以前に符号化されたピクチャの予測誤差；または
前記ＭＥＭＣにおいて収集される統計量；
のうちの少なくとも１つのものの関数として推定するステップ；あるいは
前記現在のピクチャの空間分散を、前記空間統計量分析モジュールを用いて収集される、以前に符号化されたピクチャの空間分散の関数として推定するステップ；
のうちの１つ以上のステップを遂行するステップ；
を含む、列挙実施形態例６２に記載の方法。
６４．前記方法が：
現在のフレームを受信するステップと；
前記受信された現在のフレームに対応する１つ以上のイメージ特性から、前記現在のフレームを特徴付けるシーン形式を判定するステップと；
ただし、前記現在のピクチャについての前記シーン形式を前記判定するステップは、前記ＭＥＭＣモジュールのうちの少なくとも１つからのまたは複数パスビデオ符号化器の以前の符号化パスからの空間時間的統計量を分析することを含むことと；
前記判定されたシーン形式に基づいて：
前記シーン形式に適したレート制御モデルを選択するステップ；または
デフォルトのレート制御モデルに関連付けられるパラメータを調整し、前記調整された関連パラメータを用いて、前記デフォルトのレート制御に基づいて前記レート制御ステップを遂行するステップ；
のうちの１つ以上を遂行するステップと；
をさらに含む、列挙実施形態例６３に記載の方法。
６５．前記方法が：
１つ以上の符号化単位について、符号化構造、スケーリングパラメータ、および１ピクチャ当たりのビット目標を受信するステップと；
前記１つ以上の符号化単位の各々に配分するビット数を：
前記符号化構造；
前記スケーリングパラメータ；または
前記ビット目標；
のうちの少なくとも１つを用いて計算するステップと；
ただし、前記ビット数を前記計算するステップは：
少なくとも１つの新しいパラメータを前記スケーリングパラメータの関数として計算するステップ；ならびに
前記第１の符号化単位形式に配分される前記量子化パラメータ（ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ、ＱＰ）値が、前記第２の符号化単位形式または前記以前にエンコードされた符号化単位形式のうちの１つ以上に配分される前記ＱＰ値とは異なることを可能とするステップ；
を含むことと；
をさらに含む、列挙実施形態例６１に記載の方法。
６６．前記方法が：
Ｎ個の数の符号化単位形式のための前記ビデオエンコーダにおいて現在のフレームを受信するステップと；
ただし、前記ビデオエンコーダはＭ個の数のレート制御モデルを含み、ただし前記Ｎ個の数は前記Ｍ個の数よりも大きいことと；
前記現在のフレームを：
前記現在のフレームに関連する特定の情報；
前記Ｍ個のレート制御モデルのうちの少なくとも１つからの１つ以上の符号化パラメータ；または
前記Ｍ個のレート制御モデルのうちの前記少なくとも１つからの前記符号化パラメータのうちの少なくとも１つを変換することによって得られる１つ以上の符号化パラメータ；
のうちの１つ以上を用いて符号化するステップと；
をさらに含む、列挙実施形態例６１に記載の方法。
６７．前記方法が：
前記エンコードされたビデオストリーム内のイメージのシーケンスを受信するステップであって、前記イメージシーケンスの第１の数のピクチャは前記第１の符号化単位形式である、受信するステップと；
前記第１の符号化単位形式に対応する第１のレート制御モデルを用いて前記イメージシーケンスの前記第１の数のピクチャをエンコードするステップと；
前記第１の符号化単位形式に対応する前記第１のレート制御モデルを用いて前記イメージシーケンスの前記第１の数のピクチャをエンコードする際、前記イメージシーケンスの現在のフレームをエンコードするステップであって、前記現在のフレームは、前記第１の符号化単位形式とは異なる第２の符号化単位形式に対応する、エンコードするステップと；
ただし、前記現在のフレームを前記エンコードするステップは：
前記第１のレート制御モデルに対応するパラメータを変換するステップ；
ただし、前記第１のレート制御モデルのパラメータを前記変換するステップは、前記ＭＥＭＣモジュールまたは以前の符号化パスのうちの少なくとも１つからの統計量を用いることを含むこと；ならびに
前記変換されたパラメータに基づいて前記現在のフレームをエンコードするステップ；
を含むことと；
をさらに含む、列挙実施形態例６１に記載の方法。
６８．前記方法が：
Ｍ個の数のレート制御モデルを初期化するステップと；
Ｎ個の数の符号化単位形式ピクチャについて、Ｎ個の目標ビットを計算するステップと；
ただし、前記Ｎ個の数は前記Ｍ個の数よりも大きいかまたはそれに等しいことと；
現在のピクチャを受信するステップと；
前記現在のピクチャについて前記Ｎ個の符号化単位形式の各々の前記符号化単位形式を確定するステップと；
前記現在のピクチャの前記符号化単位形式が特定の符号化単位形式である場合は：
前記特定の符号化単位形式に対応する特定の符号化パラメータを用いるか、または前記Ｍ個のレート制御モデルのうちの、前記特定の符号化単位形式に対応する特定のレート制御モデルを用いるステップ；
前記特定の符号化パラメータまたは特定のレート制御モデルに基づいて前記現在のピクチャをエンコードするステップ；
前記特定の符号化単位形式に対応するスケーリングパラメータを更新し；各符号化単位形式について前記Ｎ個の目標ビットを再計算するステップ；
を遂行するステップと；
をさらに含む、列挙実施形態例６１に記載の方法。
６９．コンピュータシステムのプロセッサを用いて実行すると１つ以上の列挙実施形態例６１〜６９に記載のプロセスを前記プロセッサに遂行させるエンコードされた命令を含むコンピュータ可読記憶媒体製品。
７０．エンコードされたビデオフレームのストリーム内の第１の符号化単位形式の第１のフレームの１つ以上のエンコーディング量子化パラメータをビデオエンコーダ内で推定するための統計量を：
前記第１の符号化単位形式の少なくとも第２のフレーム；
少なくとも第２の符号化単位形式の１つ以上のフレーム；または
１つ以上の以前にエンコードされた符号化単位形式；
のうちの１つ以上から求める手段であって、前記第１の、第２のまたは以前にエンコードされた符号化単位形式のうちの１つ以上はイントラフレーム（Ｉフレーム）、予測フレーム（Ｐフレーム）または双方向フレーム（Ｂフレーム）のうちの少なくとも１つに関連する、求める手段と；
前記求められた統計量に少なくとも部分的に基づいて、前記第１の、第２のまたは以前にエンコードされた符号化単位形式のうちの１つ以上のものの間の１つ以上の関係を推定する手段であって、前記関係は、前記符号化単位形式の各々に関連付けられるビットレートまたはイメージ品質のうちの１つ以上に対応する、推定する手段と；
前記量子化パラメータまたは前記推定された関係のうちの１つ以上に基づいて、前記エンコードされたビデオストリームが前記ビデオエンコーダから伝送される前記レートを制御する手段と；
を含むシステム。
７１．システムであって、
前記システムの１つ以上の要素を通信可能に、電気的に、光学的にまたは電子的に相互結合するバスと；
前記バスに通信可能に、電気的に、光学的にまたは電子的に結合されるとともに、エンコードされた命令を含むコンピュータ可読記憶媒体と；
前記バスに通信可能に、電気的に、光学的にまたは電子的に結合されるとともに前記コンピュータ可読記憶媒体とインタラクティブに相互結合される１つ以上のプロセッサであって、前記エンコードされた命令のうちの１つ以上を実行する際：
エンコードされたビデオフレームのストリーム内の第１の符号化単位形式の第１のフレームの１つ以上のエンコーディング量子化パラメータをビデオエンコーダ内で推定するための統計量を：
前記第１の符号化単位形式の少なくとも第２のフレーム；
少なくとも第２の符号化単位形式の１つ以上のフレーム；または
１つ以上の以前にエンコードされた符号化単位形式；
のうちの１つ以上から求めるステップであって、前記第１の、第２のまたは以前にエンコードされた符号化単位形式のうちの１つ以上はイントラフレーム（Ｉフレーム）、予測フレーム（Ｐフレーム）または双方向フレーム（Ｂフレーム）のうちの少なくとも１つに関連する、求めるステップ；
前記求められた統計量に少なくとも部分的に基づいて、前記第１の、第２のまたは以前にエンコードされた符号化単位形式のうちの１つ以上のものの間の１つ以上の関係を推定するステップであって、前記関係は、前記符号化単位形式の各々に関連付けられるビットレートまたはイメージ品質のうちの１つ以上に対応する、推定するステップ；ならびに
前記エンコードされたビデオストリームが前記ビデオエンコーダから伝送される前記レートを、前記量子化パラメータまたは前記推定された関係のうちの１つ以上に基づいて制御するステップ；
を含むプロセスを制御するまたは生じさせるプロセッサと；
を含むシステム。
７２．エンコードされたビデオフレームのストリーム内の第１の符号化単位形式の第１のフレームの１つ以上のエンコーディング量子化パラメータをビデオエンコーダ内で推定するための統計量を：
前記第１の符号化単位形式の少なくとも第２のフレーム；
少なくとも第２の符号化単位形式の１つ以上のフレーム；または
１つ以上の以前にエンコードされた符号化単位形式；
のうちの１つ以上から求める要素またはモジュールであって、前記第１の、第２のまたは以前にエンコードされた符号化単位形式のうちの１つ以上はイントラフレーム（Ｉフレーム）、予測フレーム（Ｐフレーム）または双方向フレーム（Ｂフレーム）のうちの少なくとも１つに関連する、求める要素またはモジュールと；
前記求められた統計量に少なくとも部分的に基づいて、前記第１の、第２のまたは以前にエンコードされた符号化単位形式のうちの１つ以上のものの間の１つ以上の関係を推定する要素またはモジュールであって、前記関係は、前記符号化単位形式の各々に関連付けられるビットレートまたはイメージ品質のうちの１つ以上に対応する、推定する要素またはモジュールと；
前記エンコードされたビデオストリームが前記ビデオエンコーダから伝送される前記レートを、前記量子化パラメータまたは前記推定された関係のうちの１つ以上に基づいて制御する要素またはモジュールと；
を含むイメージエンコーダ。
７３．集積回路（ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＩＣ）であって、設定された、プログラムされた、または構造的に機能する操作を実行する際、前記ＩＣに列挙実施形態例６１〜６８のうちの１つ以上に記載のプロセスを少なくとも部分的に制御させる複数の共同機能する構造要素を含む、集積回路。
７４．列挙実施形態例６１〜６８のうちの１つ以上に記載の前記プロセスのうちの１つ以上を含む計算機能またはビデオエンコーディング機能のうちの１つ以上を遂行する働きをする装置製品。
７５．列挙実施形態例６１〜６８のうちの１つ以上に記載の前記プロセスのうちの１つ以上を含む、コンピュータ、ビデオエンコーダまたはＩＣのうちの１つ以上のものの利用。
［５．０ 均等物、拡張、代替物およびその他のこと］
上述の明細書においては、本発明の実施形態が、実装によって異なってよい数多くの特定の詳細を参照しながら記載されている。従って、本発明、および出願人によって本発明として意図されるものを唯一かつ排他的に示すのは、本出願から発する、後の任意の訂正を含む、特定の形の請求項群である。このような請求項に包含される用語については、本願明細書において明示的に説明されている任意の定義が、請求項において用いられる用語の意味に適用されるものとする。従って、請求項の範囲は、請求項において明示的に記載されていない限定、要素、特性、特徴、利点または属性によって決して限定されてはならない。故に、明細書および図面は、限定的ではなく例示的な意味で考えられるべきものである。

Claims (3)

  1. Ｎ個の数の符号化単位形式のためのビデオエンコーダにおいて現在のピクチャを受信する段階と、前記ビデオエンコーダはＭ個の数のレート制御モデルを含み、前記Ｎ個の数は前記Ｍ個の数よりも大きく、
    変換されたパラメータの第１のセットを生成するために、少なくとも１つのスケーリングパラメータ又は変換パラメータを用いて前記Ｍ個のレート制御モデルのうちの少なくとも１つからの１つ以上の符号化パラメータを変換する段階と、
    変換されたパラメータの前記第１のセットを少なくとも用いて前記現在のピクチャを符号化する段階とを含み、前記現在のピクチャは、前記Ｍ個のレート制御モデルのうちのいずれにも対応しない符号化単位形式によって特徴付けられ、
    当該方法は、
    前記現在のピクチャを含むピクチャのシーケンス内の１つ以上の他のピクチャに関連する統計量を収集する段階と、
    前記統計量に基づいて前記少なくとも１つのスケーリングパラメータ又は変換パラメータを調整する段階と、
    前記Ｍ個のレート制御モデルのうちの前記少なくとも１つからの１つ以上の符号化パラメータを、変換されたパラメータの第２のセットに変換する段階と、
    変換されたパラメータの前記第２のセットを少なくとも用いて第２のピクチャを符号化する段階とを更に含み、
    前記統計量は、前記ビデオエンコーダの動き推定及び補償機能（MECF: Motion Estimation and Compensation Function）を用いて生成され、
    前記少なくとも１つのスケーリングパラメータのうちの第一のスケーリングパラメータの計算は、
    現在のピクチャをＩ符号化ピクチャとして符号化するために使われたビット数を正規化して第一の結果を生成し、生成した第一の結果をＩ符号化ピクチャビット統計量バッファに記憶すること、前記第一の結果を最新のＰ符号化ピクチャを符号化するために使われたビット数で除算してビット比の値を生成し、生成したビット値の比をＩ符号化ピクチャ比統計量バッファに記憶すること、及び前記Ｉ符号化ピクチャ比統計量バッファに記憶されているビット比の値の平均に基づいて前記第一のスケーリングパラメータを計算すること、を含み、
    前記少なくとも１つのスケーリングパラメータのうちの第二のスケーリングパラメータの計算は、現在のピクチャをＢ符号化ピクチャとして符号化するために使われたビット数を正規化して第二の結果を生成し、生成した第二の結果をＢ符号化ピクチャビット統計量バッファに記憶すること、前記第二の結果を最新のＰ符号化ピクチャを符号化するために使われたビット数で除算してビット比の値を生成し、生成したビット値の比をＢ符号化ピクチャ比統計量バッファに記憶すること、及び前記Ｂ符号化ピクチャ比統計量バッファに記憶されているビット比の値の平均に基づいて前記第二のスケーリングパラメータを計算すること、を含む、
    方法。
  2. Ｎ個の数の符号化単位形式のためのビデオエンコーダにおいて現在のピクチャを受信する手段と、前記ビデオエンコーダはＭ個の数のレート制御モデルを含み、前記Ｎ個の数は前記Ｍ個の数よりも大きく、
    変換されたパラメータの第１のセットを生成するために、少なくとも１つのスケーリングパラメータ又は変換パラメータを用いて前記Ｍ個のレート制御モデルのうちの少なくとも１つからの１つ以上の符号化パラメータを変換する手段と、
    変換されたパラメータの前記第１のセットを少なくとも用いて前記現在のピクチャを符号化する手段とを備える装置であって、前記現在のピクチャは、前記Ｍ個のレート制御モデルのうちのいずれにも対応しない符号化単位形式によって特徴付けられ、
    当該装置は、
    前記現在のピクチャを含むピクチャのシーケンス内の１つ以上の他のピクチャに関連する統計量を収集する手段と、
    前記統計量に基づいて前記少なくとも１つのスケーリングパラメータ又は変換パラメータを調整する手段と、
    前記Ｍ個のレート制御モデルのうちの前記少なくとも１つからの１つ以上の符号化パラメータを、変換されたパラメータの第２のセットに変換する手段と、
    変換されたパラメータの前記第２のセットを少なくとも用いて第２のピクチャを符号化する手段とを更に備え、
    前記統計量は、前記ビデオエンコーダの動き推定及び補償機能（MECF: Motion Estimation and Compensation Function）を用いて生成され、
    前記少なくとも１つのスケーリングパラメータのうちの第一のスケーリングパラメータの計算は、
    現在のピクチャをＩ符号化ピクチャとして符号化するために使われたビット数を正規化して第一の結果を生成し、生成した第一の結果をＩ符号化ピクチャビット統計量バッファに記憶すること、前記第一の結果を最新のＰ符号化ピクチャを符号化するために使われたビット数で除算してビット比の値を生成し、生成したビット値の比をＩ符号化ピクチャ比統計量バッファに記憶すること、及び前記Ｉ符号化ピクチャ比統計量バッファに記憶されているビット比の値の平均に基づいて前記第一のスケーリングパラメータを計算すること、を含み、
    前記少なくとも１つのスケーリングパラメータのうちの第二のスケーリングパラメータの計算は、現在のピクチャをＢ符号化ピクチャとして符号化するために使われたビット数を正規化して第二の結果を生成し、生成した第二の結果をＢ符号化ピクチャビット統計量バッファに記憶すること、前記第二の結果を最新のＰ符号化ピクチャを符号化するために使われたビット数で除算してビット比の値を生成し、生成したビット値の比をＢ符号化ピクチャ比統計量バッファに記憶すること、及び前記Ｂ符号化ピクチャ比統計量バッファに記憶されているビット比の値の平均に基づいて前記第二のスケーリングパラメータを計算すること、を含む、
    装置。
  3. １つ以上のプロセッサに、請求項１に記載の方法を実行させる命令を含むプログラムを記録したコンピュータ読み取り可能な記憶媒体。
JP2011514726A 2008-06-16 2009-06-15 ビデオ符号化のための、スライス依存性に基づくレート制御モデル適合化 Expired - Fee Related JP5400876B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US6194108P 2008-06-16 2008-06-16
US61/061,941 2008-06-16
PCT/US2009/047317 WO2010005691A1 (en) 2008-06-16 2009-06-15 Rate control model adaptation based on slice dependencies for video coding

Publications (2)

Publication Number Publication Date
JP2011525094A JP2011525094A (ja) 2011-09-08
JP5400876B2 true JP5400876B2 (ja) 2014-01-29

Family

ID=41040395

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011514726A Expired - Fee Related JP5400876B2 (ja) 2008-06-16 2009-06-15 ビデオ符号化のための、スライス依存性に基づくレート制御モデル適合化

Country Status (6)

Country Link
US (1) US8891619B2 (ja)
EP (1) EP2286595A1 (ja)
JP (1) JP5400876B2 (ja)
KR (1) KR101350723B1 (ja)
CN (1) CN102067610B (ja)
WO (1) WO2010005691A1 (ja)

Families Citing this family (165)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100271554A1 (en) * 2007-09-10 2010-10-28 Volker Blume Method And Apparatus For Motion Estimation In Video Image Data
JP4569840B2 (ja) * 2007-09-12 2010-10-27 ソニー株式会社 画像符号化装置、画像符号化方法
KR101350723B1 (ko) 2008-06-16 2014-01-16 돌비 레버러토리즈 라이쎈싱 코오포레이션 비디오 코딩을 위한 슬라이스 종속성에 기초한 레이트 제어 모델 적응 방법
WO2009157581A1 (ja) * 2008-06-27 2009-12-30 ソニー株式会社 画像処理装置及び画像処理方法
BRPI0904324A2 (pt) * 2008-06-27 2015-06-30 Sony Corp Dispositivo de processamento de imagem, e, método de processamento de imagem
JP5472106B2 (ja) * 2008-06-27 2014-04-16 ソニー株式会社 画像処理装置及び画像処理方法
RU2502213C2 (ru) * 2008-06-27 2013-12-20 Сони Корпорейшн Устройство обработки изображений и способ обработки изображений
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US8385676B2 (en) * 2009-07-30 2013-02-26 Hewlett-Packard Development Company, L.P. Context-cluster-level control of filtering iterations in an iterative discrete universal denoiser
US20110064129A1 (en) * 2009-09-16 2011-03-17 Broadcom Corporation Video capture and generation at variable frame rates
US8861879B2 (en) * 2009-09-17 2014-10-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image based on skip mode
US8897370B1 (en) * 2009-11-30 2014-11-25 Google Inc. Bitrate video transcoding based on video coding complexity estimation
EP2520092A1 (en) * 2009-12-31 2012-11-07 Thomson Licensing Methods and apparatus for adaptive coupled pre-processing and post-processing filters for video encoding and decoding
WO2011084918A1 (en) 2010-01-06 2011-07-14 Dolby Laboratories Licensing Corporation High performance rate control for multi-layered video coding applications
KR20110123651A (ko) 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
JP2012034213A (ja) * 2010-07-30 2012-02-16 Toshiba Corp 画像処理装置、画像処理システムおよび画像処理方法
CN101951504B (zh) 2010-09-07 2012-07-25 中国科学院深圳先进技术研究院 基于重叠边界的多媒体切片转码方法和系统
KR101677480B1 (ko) * 2010-09-07 2016-11-21 에스케이 텔레콤주식회사 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
US9094685B2 (en) * 2010-09-21 2015-07-28 Dialogic Corporation Efficient coding complexity estimation for video transcoding systems
US8786625B2 (en) * 2010-09-30 2014-07-22 Apple Inc. System and method for processing image data using an image signal processor having back-end processing logic
EP2458861A1 (en) * 2010-11-25 2012-05-30 ST-Ericsson SA Bit rate regulation module and method for regulating bit rate
JP5988252B2 (ja) 2011-01-12 2016-09-07 サン パテント トラスト 複数の参照ピクチャを用いた、動画像符号化方法、動画像復号方法、動画像符号化装置、及び、動画像復号装置
US9307262B2 (en) * 2011-01-13 2016-04-05 Texas Instruments Incorporated Methods and systems for facilitating multimedia data encoding utilizing configured buffer information
US8750383B2 (en) * 2011-01-17 2014-06-10 Exaimage Corporation Systems and methods for wavelet and channel-based high definition video encoding
US9066097B2 (en) * 2011-02-01 2015-06-23 Sony Corporation Method to optimize the transforms and/or predictions in a video codec
JP6078883B2 (ja) * 2011-02-08 2017-02-15 サン パテント トラスト 多数の参照ピクチャを用いる動画像符号化方法、動画像復号方法、動画像符号化装置、および動画像復号方法
WO2012117744A1 (en) 2011-03-03 2012-09-07 Panasonic Corporation Method of encoding an image into a coded image, method of decoding a coded image, and apparatuses thereof
US9282333B2 (en) * 2011-03-18 2016-03-08 Texas Instruments Incorporated Methods and systems for masking multimedia data
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
US8804820B2 (en) * 2011-04-21 2014-08-12 Dialogic Corporation Rate control with look-ahead for video transcoding
JP2012253722A (ja) * 2011-06-07 2012-12-20 Sony Corp 画像符号化装置と画像復号装置およびその方法とプログラム
KR20120138604A (ko) 2011-06-14 2012-12-26 삼성전자주식회사 멀티미디어 시스템에서 복합 미디어 컨텐츠를 송수신하는 방법 및 장치
EP2724537A1 (en) * 2011-06-22 2014-04-30 Motorola Mobility LLC Construction of combined list using temporal distance
GB2492163B (en) 2011-06-24 2018-05-02 Skype Video coding
GB2492330B (en) 2011-06-24 2017-10-18 Skype Rate-Distortion Optimization with Encoding Mode Selection
GB2492329B (en) 2011-06-24 2018-02-28 Skype Video coding
US9369723B2 (en) * 2011-07-14 2016-06-14 Comcast Cable Communications, Llc Preserving image quality in temporally compressed video streams
US8792550B2 (en) * 2011-08-04 2014-07-29 Qualcomm Incorporated Color/gray patch prevention for video coding
GB2493777A (en) * 2011-08-19 2013-02-20 Skype Image encoding mode selection based on error propagation distortion map
GB2495467B (en) 2011-09-02 2017-12-13 Skype Video coding
GB2495468B (en) 2011-09-02 2017-12-13 Skype Video coding
GB2495469B (en) 2011-09-02 2017-12-13 Skype Video coding
WO2013047811A1 (ja) * 2011-09-29 2013-04-04 シャープ株式会社 画像復号装置、画像復号方法および画像符号化装置
CN103858430B (zh) 2011-09-29 2017-05-03 夏普株式会社 图像解码装置、图像解码方法及图像编码装置
EP2579593A1 (en) * 2011-10-04 2013-04-10 Thomson Licensing Adaptive quantisation for intra-encoded image blocks
JP6034010B2 (ja) * 2011-10-24 2016-11-30 ソニー株式会社 符号化装置、符号化方法、およびプログラム
US20130107962A1 (en) 2011-10-26 2013-05-02 Intellectual Discovery Co., Ltd. Scalable video coding method and apparatus using inter prediction mode
JP6080375B2 (ja) * 2011-11-07 2017-02-15 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US20130114694A1 (en) * 2011-11-08 2013-05-09 Qualcomm Incorporated Parameter set groups for coded video data
TWI685249B (zh) * 2011-12-21 2020-02-11 日商Ｊｖｃ建伍股份有限公司 動態影像編碼裝置、動態影像編碼方法、及儲存有動態影像編碼程式之記錄媒體
JP5988577B2 (ja) * 2011-12-28 2016-09-07 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム
US9451252B2 (en) 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US9020294B2 (en) * 2012-01-18 2015-04-28 Dolby Laboratories Licensing Corporation Spatiotemporal metrics for rate distortion optimization
US9426459B2 (en) 2012-04-23 2016-08-23 Google Inc. Managing multi-reference picture buffers and identifiers to facilitate video data coding
US9609341B1 (en) 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
CN103428523B (zh) * 2012-05-22 2015-07-08 华为技术有限公司 评估视频质量的方法和装置
US11089247B2 (en) 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US9743057B2 (en) 2012-05-31 2017-08-22 Apple Inc. Systems and methods for lens shading correction
US9031319B2 (en) 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
US9532080B2 (en) 2012-05-31 2016-12-27 Sonic Ip, Inc. Systems and methods for the reuse of encoding information in encoding alternative streams of video data
US9025867B2 (en) 2012-05-31 2015-05-05 Apple Inc. Systems and methods for YCC image processing
US9077943B2 (en) 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection
US8872946B2 (en) 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
US9014504B2 (en) 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
US9142012B2 (en) 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US9332239B2 (en) 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US9105078B2 (en) 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US8917336B2 (en) 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
US8817120B2 (en) 2012-05-31 2014-08-26 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
US8953882B2 (en) 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
US9762903B2 (en) * 2012-06-01 2017-09-12 Qualcomm Incorporated External pictures in video coding
EP2859729B1 (en) * 2012-06-12 2020-09-16 Coherent Logix, Incorporated A distributed architecture for encoding and delivering video content
US10178140B2 (en) * 2012-07-10 2019-01-08 Vid Scale, Inc Quality-driven streaming
JP2015528247A (ja) * 2012-07-17 2015-09-24 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ビットストリームレベルにおけるビデオ品質評価
US20140056347A1 (en) * 2012-08-23 2014-02-27 Microsoft Corporation Non-Transform Coding
US20140086328A1 (en) * 2012-09-25 2014-03-27 Qualcomm Incorporated Scalable video coding in hevc
JP6172535B2 (ja) * 2012-09-26 2017-08-02 サン パテント トラスト 画像復号方法および画像復号装置
US9549189B2 (en) * 2012-11-06 2017-01-17 Ittiam Systems (P) Ltd. Method for media rate control in a video encoding system
US9135723B1 (en) * 2012-12-19 2015-09-15 Marvell International Ltd. Efficient visually lossless compression
CN103079065B (zh) * 2012-12-27 2016-08-03 华为技术有限公司 一种视频数据处理方法以及装置
US9357210B2 (en) * 2013-02-28 2016-05-31 Sonic Ip, Inc. Systems and methods of encoding multiple video streams for adaptive bitrate streaming
US9350990B2 (en) * 2013-02-28 2016-05-24 Sonic Ip, Inc. Systems and methods of encoding multiple video streams with adaptive quantization for adaptive bitrate streaming
US20140307803A1 (en) 2013-04-08 2014-10-16 Qualcomm Incorporated Non-entropy encoded layer dependency information
KR102161741B1 (ko) * 2013-05-02 2020-10-06 삼성전자주식회사 ＨＥＶＣ(high efficiency video coding)에서 코딩 유닛에 대한 양자화 파라미터를 변화시키는 방법과 장치, 및 시스템
US9756331B1 (en) 2013-06-17 2017-09-05 Google Inc. Advance coded reference prediction
US9565440B2 (en) * 2013-06-25 2017-02-07 Vixs Systems Inc. Quantization parameter adjustment based on sum of variance and estimated picture encoding cost
US20150023436A1 (en) 2013-07-22 2015-01-22 Texas Instruments Incorporated Method and apparatus for noise reduction in video systems
US20150071343A1 (en) * 2013-09-12 2015-03-12 Magnum Semiconductor, Inc. Methods and apparatuses including an encoding system with temporally adaptive quantization
FR3011429A1 (fr) * 2013-09-27 2015-04-03 Orange Codage et decodage video par heritage d'un champ de vecteurs de mouvement
WO2015045736A1 (ja) * 2013-09-30 2015-04-02 日本放送協会 画像符号化装置、画像復号装置及びそれらのプログラム
JP2015070488A (ja) * 2013-09-30 2015-04-13 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
CN105849800B (zh) 2013-12-02 2020-04-10 杜比国际公司 位速率估值确定方法、位速率估算器、多路复用设备、位流提供方法和编码系统
CN104717500B (zh) * 2013-12-12 2018-04-06 中国电信股份有限公司 一种视频编码码率控制方法和系统
WO2015095166A2 (en) * 2013-12-16 2015-06-25 Arris Enterprises, Inc. Producing an output need parameter for an encoder
FR3016764B1 (fr) * 2014-01-17 2016-02-26 Sagemcom Broadband Sas Procede et dispositif de transcodage de donnees video de h.264 vers h.265
CN103888765B (zh) * 2014-03-27 2015-09-30 天格科技（杭州）有限公司 一种改进型R-λ模型H.265码率控制方法
GB2525208B (en) * 2014-04-15 2020-04-08 Advanced Risc Mach Ltd Method of and apparatus for generating an encoded frame
US10397574B2 (en) * 2014-05-12 2019-08-27 Intel Corporation Video coding quantization parameter determination suitable for video conferencing
US9807398B2 (en) * 2014-09-30 2017-10-31 Avago Technologies General Ip (Singapore) Pte. Ltd. Mode complexity based coding strategy selection
FR3029381A1 (fr) * 2014-11-27 2016-06-03 Orange Procede de composition d’une representation video intermediaire
US10021396B1 (en) * 2014-12-30 2018-07-10 Ambarella, Inc. Motion detection based on observing several pictures
US11356709B2 (en) * 2015-01-05 2022-06-07 Arris Enterprises Llc Using motion compensated temporal filter (MCTF) statistics for scene change detection when a fade, dissolve or cut occurs
KR102365685B1 (ko) 2015-01-05 2022-02-21 삼성전자주식회사 인코더의 작동 방법과 상기 인코더를 포함하는 장치들
US10165272B2 (en) * 2015-01-29 2018-12-25 Arris Enterprises Llc Picture-level QP rate control performance improvements for HEVC encoding
US10313675B1 (en) * 2015-01-30 2019-06-04 Google Llc Adaptive multi-pass video encoder control
CN104683804B (zh) * 2015-02-14 2017-12-29 北京航空航天大学 基于视频内容特征的参数自适应多维码率控制方法
US9936203B2 (en) * 2015-04-13 2018-04-03 Qualcomm Incorporated Complex region detection for display stream compression
US10244255B2 (en) 2015-04-13 2019-03-26 Qualcomm Incorporated Rate-constrained fallback mode for display stream compression
US10284849B2 (en) 2015-04-13 2019-05-07 Qualcomm Incorporated Quantization parameter (QP) calculation for display stream compression (DSC) based on complexity measure
US10356428B2 (en) 2015-04-13 2019-07-16 Qualcomm Incorporated Quantization parameter (QP) update classification for display stream compression (DSC)
CN104796694B (zh) * 2015-04-30 2017-08-15 上海交通大学 基于视频纹理信息的优化帧内视频编码方法
CN104902275B (zh) * 2015-05-29 2018-04-20 宁波菊风系统软件有限公司 一种控制视频通信质量甜点的方法
CN104994387B (zh) * 2015-06-25 2017-10-31 宁波大学 一种融合图像特征的码率控制方法
CN106331704B (zh) * 2015-07-07 2019-10-22 杭州海康威视数字技术股份有限公司 一种视频码率控制方法及视频编码装置
FR3040849A1 (fr) * 2015-09-04 2017-03-10 Stmicroelectronics (Grenoble 2) Sas Procede de compression d'un flux de donnees video
KR102492318B1 (ko) 2015-09-18 2023-01-26 삼성전자주식회사 모델 학습 방법 및 장치, 및 데이터 인식 방법
CN106559671B (zh) * 2015-09-30 2019-08-23 展讯通信（上海）有限公司 一种显示图像压缩方法及系统
US10432952B2 (en) * 2015-11-19 2019-10-01 Qualcomm Incorporated System and methods for fixed-point approximations in display stream compression (DSC)
US10805635B1 (en) * 2016-03-22 2020-10-13 NGCodec Inc. Apparatus and method for coding tree unit bit size limit management
CN105872594A (zh) * 2016-03-30 2016-08-17 乐视控股（北京）有限公司 实时码率调节方法、装置及服务端设备
WO2018023554A1 (en) * 2016-08-04 2018-02-08 SZ DJI Technology Co., Ltd. System and methods for bit rate control
WO2018027237A1 (en) 2016-08-05 2018-02-08 Sportscastr.Live Llc Systems, apparatus, and methods for scalable low-latency viewing of broadcast digital content streams of live events
US10635274B2 (en) 2016-09-21 2020-04-28 Iunu, Inc. Horticultural care tracking, validation and verification
US10791037B2 (en) * 2016-09-21 2020-09-29 Iunu, Inc. Reliable transfer of numerous geographically distributed large files to a centralized store
US11538099B2 (en) 2016-09-21 2022-12-27 Iunu, Inc. Online data market for automated plant growth input curve scripts
US11244398B2 (en) 2016-09-21 2022-02-08 Iunu, Inc. Plant provenance and data products from computer object recognition driven tracking
JP2017069987A (ja) * 2017-01-18 2017-04-06 株式会社東芝 動画像符号化装置及び動画像符号化方法
CN107078852B (zh) * 2017-01-18 2019-03-08 深圳市大疆创新科技有限公司 传输编码数据的方法、装置、计算机系统和移动设备
CN106961604B (zh) * 2017-03-07 2018-06-15 腾讯科技（深圳）有限公司 视频编码的码率分配、编码单元码率分配方法及装置
CN106937118B (zh) * 2017-03-13 2019-09-13 西安电子科技大学 一种基于主观感兴趣区域和时空域相结合的码率控制方法
WO2018213481A1 (en) 2017-05-16 2018-11-22 Sportscastr.Live Llc Systems, apparatus, and methods for scalable low-latency viewing of integrated broadcast commentary and event video streams of live events, and synchronization of event information with viewed streams via multiple internet channels
US10608901B2 (en) 2017-07-12 2020-03-31 Cisco Technology, Inc. System and method for applying machine learning algorithms to compute health scores for workload scheduling
US11877001B2 (en) 2017-10-10 2024-01-16 Qualcomm Incorporated Affine prediction in video coding
JP6910461B2 (ja) * 2017-10-27 2021-07-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
WO2019104635A1 (en) 2017-11-30 2019-06-06 SZ DJI Technology Co., Ltd. System and method for controlling video coding at frame level
EP3695600A1 (en) * 2017-11-30 2020-08-19 SZ DJI Technology Co., Ltd. System and method for controlling video coding within image frame
WO2019104862A1 (en) 2017-11-30 2019-06-06 SZ DJI Technology Co., Ltd. System and method for reducing video coding fluctuation
CN109076212A (zh) * 2017-12-27 2018-12-21 深圳市大疆创新科技有限公司 码率控制的方法与编码装置
CN108200428B (zh) * 2018-01-29 2020-05-08 上海兆芯集成电路有限公司 宏块层中的码率的控制方法以及使用该方法的装置
US11062516B2 (en) 2018-02-07 2021-07-13 Iunu, Inc. Augmented reality based horticultural care tracking
CN110324622B (zh) * 2018-03-28 2022-09-23 腾讯科技（深圳）有限公司 一种视频编码码率控制方法、装置、设备及存储介质
US10834409B2 (en) * 2018-04-06 2020-11-10 Arris Enterprises Llc System and method of implementing multiple prediction models for local illumination compensation
US11830225B2 (en) * 2018-05-30 2023-11-28 Ati Technologies Ulc Graphics rendering with encoder feedback
US10560696B2 (en) * 2018-06-25 2020-02-11 Tfi Digital Media Limited Method for initial quantization parameter optimization in video coding
CN108810545B (zh) * 2018-07-04 2023-04-18 中南大学 用于视频编码的方法、装置、计算机可读介质及电子设备
US11381833B2 (en) * 2018-07-19 2022-07-05 Tencent America LLC Method and apparatus for video coding
JP2020028044A (ja) * 2018-08-13 2020-02-20 富士通株式会社 符号化装置および符号化方法
US10674152B2 (en) * 2018-09-18 2020-06-02 Google Llc Efficient use of quantization parameters in machine-learning models for video coding
WO2020089215A1 (en) * 2018-10-29 2020-05-07 Dolby International Ab Methods and apparatus for rate quality scalable coding with generative models
CN109561311A (zh) * 2018-12-07 2019-04-02 莆田学院 一种基于ρ域的三维视频编码码率控制方法及存储设备
US10764603B2 (en) 2018-12-31 2020-09-01 Alibaba Group Holding Limited Resolution-adaptive video coding
EP3687176A1 (en) 2019-01-22 2020-07-29 InterDigital CE Patent Holdings A client and a method for managing, at the client, a streaming session of a multimedia content
CN109729353B (zh) * 2019-01-31 2021-01-19 深圳市迅雷网文化有限公司 一种视频编码方法、装置、系统及介质
WO2020156515A1 (en) * 2019-01-31 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Refined quantization steps in video coding
CN109889827B (zh) * 2019-04-11 2021-01-29 腾讯科技（深圳）有限公司 帧内预测编码方法、装置、电子设备及计算机存储介质
US20220360779A1 (en) * 2019-07-05 2022-11-10 V-Nova International Limited Quantization of residuals in video coding
US11720980B2 (en) 2020-03-25 2023-08-08 Iunu, Inc. Crowdsourced informatics for horticultural workflow and exchange
US11792408B2 (en) * 2020-03-30 2023-10-17 Alibaba Group Holding Limited Transcoder target bitrate prediction techniques
TWI743919B (zh) * 2020-08-03 2021-10-21 緯創資通股份有限公司 視訊處理裝置及視訊串流的處理方法
CA3132486A1 (en) * 2020-09-30 2022-03-30 Comcast Cable Communications, Llc Method and systems for optimized content encoding
CN112433690A (zh) * 2020-12-08 2021-03-02 努比亚技术有限公司 数据处理方法、终端及计算机可读存储介质
US11290725B1 (en) * 2021-01-21 2022-03-29 Agora Lab, Inc. System and method for determining an objective video quality measure of a real-time video communication without extensive mathematical operations
CN113053085B (zh) * 2021-02-04 2022-06-03 北京戴纳实验科技有限公司 一种医院冰箱监管系统
CN114501015B (zh) * 2022-04-06 2022-09-02 杭州未名信科科技有限公司 视频编码码率处理方法和装置、存储介质及电子设备
CN115190299B (zh) * 2022-07-11 2023-02-28 杭州电子科技大学 Vvc仿射运动估计快速计算方法

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997016031A1 (en) 1995-10-26 1997-05-01 Sarnoff Corporation Apparatus and method for selecting a coding mode in a block-based coding system
US6192081B1 (en) 1995-10-26 2001-02-20 Sarnoff Corporation Apparatus and method for selecting a coding mode in a block-based coding system
US5872598A (en) 1995-12-26 1999-02-16 C-Cube Microsystems Scene change detection using quantization scale factor rate control
US5929916A (en) 1995-12-26 1999-07-27 Legall; Didier J. Variable bit rate encoding
US6366704B1 (en) 1997-12-01 2002-04-02 Sharp Laboratories Of America, Inc. Method and apparatus for a delay-adaptive rate control scheme for the frame layer
US6343098B1 (en) 1998-02-26 2002-01-29 Lucent Technologies Inc. Efficient rate control for multi-resolution video encoding
US6192079B1 (en) 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
US7130349B1 (en) 1998-07-16 2006-10-31 Intel Corporation Method and apparatus to improve efficiency in multiple-pass, bit-rate-controlled frame encoding
US6963608B1 (en) * 1998-10-02 2005-11-08 General Instrument Corporation Method and apparatus for providing rate control in a video encoder
US6192080B1 (en) 1998-12-04 2001-02-20 Mitsubishi Electric Research Laboratories, Inc. Motion compensated digital video signal processing
CN1366778A (zh) 2000-04-27 2002-08-28 皇家菲利浦电子有限公司 视频压缩
EP1202579A1 (en) 2000-10-31 2002-05-02 Interuniversitair Microelektronica Centrum Vzw A method and apparatus for adaptive encoding framed data sequences
KR100731492B1 (ko) 2000-12-04 2007-06-21 주식회사 케이티 다중채널/다중레벨 동작감지기능을 가지는 비디오 부호기 및 그 동작 감지 방법
KR100707669B1 (ko) 2000-12-04 2007-04-13 주식회사 케이티 동작 감지 기능을 가지는 비디오 부호화기 및 그를 이용한 동작 감지 방법
US6909745B1 (en) * 2001-06-05 2005-06-21 At&T Corp. Content adaptive video encoder
US7110455B2 (en) 2001-08-14 2006-09-19 General Instrument Corporation Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering
KR100481732B1 (ko) 2002-04-20 2005-04-11 전자부품연구원 다 시점 동영상 부호화 장치
RU2322770C2 (ru) 2002-04-23 2008-04-20 Нокиа Корпорейшн Способ и устройство для указания параметров квантователя в системе видеокодирования
DE60206738D1 (de) 2002-06-11 2005-11-24 St Microelectronics Srl Videokodierungsverfahren und -Vorrichtung mit variabler Bitrate
CN1206864C (zh) * 2002-07-22 2005-06-15 中国科学院计算技术研究所 结合率失真优化的码率控制的方法及其装置
EP1639801B1 (en) 2003-06-26 2018-05-09 Thomson Licensing DTV Multipass video rate control to match sliding window channel constraints
US20050036549A1 (en) 2003-08-12 2005-02-17 Yong He Method and apparatus for selection of scanning mode in dual pass encoding
WO2005020587A1 (en) 2003-08-26 2005-03-03 Samsung Electronics Co., Ltd. Adaptive interframe wavelet video coding method, computer readable recording medium and system therefor
US7623719B2 (en) 2003-09-26 2009-11-24 The Regents Of The University Of California Video encoding methods and devices
JP2005123732A (ja) 2003-10-14 2005-05-12 Matsushita Electric Ind Co Ltd デブロックフィルタ処理装置およびデブロックフィルタ処理方法
EP1551185A1 (en) * 2004-01-05 2005-07-06 Thomson Licensing S.A. Encoding method, decoding method, and encoding apparatus for a digital picture sequence
US20050169369A1 (en) 2004-02-03 2005-08-04 Sony Corporation Scalable MPEG video/macro block rate control
US7869503B2 (en) 2004-02-06 2011-01-11 Apple Inc. Rate and quality controller for H.264/AVC video coder and scene analyzer therefor
US20050195896A1 (en) 2004-03-08 2005-09-08 National Chiao Tung University Architecture for stack robust fine granularity scalability
US20060034369A1 (en) * 2004-08-10 2006-02-16 Nader Mohsenian Method and system for parametric video quality equalization in selective re-encoding
US7512182B2 (en) 2004-08-30 2009-03-31 General Instrument Corporation Method and apparatus for performing motion compensated temporal filtering in video encoding
US8948266B2 (en) 2004-10-12 2015-02-03 Qualcomm Incorporated Adaptive intra-refresh for digital video encoding
EP1800490A1 (de) 2004-10-15 2007-06-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zum erzeugen einer codierten videosequenz unter verwendung einer zwischen-schicht-bewegungsdaten-prädiktion
DE102004059978B4 (de) 2004-10-15 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium
US8311113B2 (en) 2004-11-12 2012-11-13 Broadcom Corporation Method and system for using motion prediction to equalize video quality across intra-coded frames
KR100665102B1 (ko) 2004-12-03 2007-01-04 한국전자통신연구원 전송 패킷의 길이를 고려한 비디오 부호화 율제어 방법 및그를 이용한 비디오 부호화 장치
US20060140273A1 (en) 2004-12-28 2006-06-29 Siu-Wai Wu Dual-pass HDTV encoder with noise reduction
US20060146932A1 (en) 2004-12-30 2006-07-06 Krit Panusopone Method and apparatus for providing motion estimation with weight prediction
US7876819B2 (en) * 2005-09-22 2011-01-25 Qualcomm Incorporated Two pass rate control techniques for video coding using rate-distortion characteristics
WO2007035147A1 (en) 2005-09-23 2007-03-29 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive source signal encoding
US8446954B2 (en) * 2005-09-27 2013-05-21 Qualcomm Incorporated Mode selection techniques for multimedia coding
US8175149B2 (en) 2005-11-21 2012-05-08 Electronics And Telecommunications Research Institute Method and apparatus for controlling bitrate of scalable video stream
US20080151998A1 (en) * 2006-12-21 2008-06-26 General Instrument Corporation Method and Apparatus for Providing Rate Control for Panel-Based Real Time Video Encoder
KR101350723B1 (ko) 2008-06-16 2014-01-16 돌비 레버러토리즈 라이쎈싱 코오포레이션 비디오 코딩을 위한 슬라이스 종속성에 기초한 레이트 제어 모델 적응 방법

Also Published As

Publication number Publication date
US20110090960A1 (en) 2011-04-21
JP2011525094A (ja) 2011-09-08
US8891619B2 (en) 2014-11-18
WO2010005691A1 (en) 2010-01-14
KR20110015695A (ko) 2011-02-16
KR101350723B1 (ko) 2014-01-16
CN102067610B (zh) 2013-07-10
EP2286595A1 (en) 2011-02-23
CN102067610A (zh) 2011-05-18

Similar Documents

Publication Publication Date Title
JP5400876B2 (ja) ビデオ符号化のための、スライス依存性に基づくレート制御モデル適合化
Wang et al. Rate-distortion optimization of rate control for H. 264 with adaptive initial quantization parameter determination
JP5427785B2 (ja) ビデオ圧縮技法及びビデオ伝達技法
US9060175B2 (en) System and method for motion estimation and mode decision for low-complexity H.264 decoder
US7916783B2 (en) Bit-rate control method and device combined with rate-distortion optimization
US9020294B2 (en) Spatiotemporal metrics for rate distortion optimization
JP4391809B2 (ja) 画像のシーケンスを適応的に符号化するシステムおよび方法
US8406297B2 (en) System and method for bit-allocation in video coding
US9667999B2 (en) Method and system for encoding video data
US20060239347A1 (en) Method and system for scene change detection in a video encoder
KR20010021879A (ko) 코딩 시스템의 매크로 블록 기반 비율을 제어하기 위한장치 및 방법
EP2730086A1 (en) Rate -distortion optimized video encoding mode selection based on low complexity error propagation tracking
GB2492330A (en) Rate-distortion optimisation (RDO) with optimal encoding mode selection
JP4391810B2 (ja) 画像のシーケンスを適応的に符号化するシステムおよび方法
He et al. Linear rate control and optimum statistical multiplexing for H. 264 video broadcast
US20060256856A1 (en) Method and system for testing rate control in a video encoder
EP1721467A2 (en) Rate and quality controller for h.264/avc video coder and scene analyzer therefor
JP5649296B2 (ja) 画像符号化装置
Zhang et al. A two-pass rate control algorithm for H. 264/AVC high definition video coding
Pang et al. Dependent joint bit allocation for H. 264/AVC statistical multiplexing using convex relaxation
JP4243472B2 (ja) 画像符号化装置、画像符号化方法および画像符号化プログラム
US20060239344A1 (en) Method and system for rate control in a video encoder
Liu et al. Improved methods for initializing RQ model parameters and quantization parameter in H. 264 rate control
Vizzotto et al. Neighbor-based Fast Rate Control Scheme for Basic Unit Layer for H. 264/AVC Standard
Wang et al. Motion estimation and mode decision for low-complexity h. 264 decoder

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20111011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121221

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130522

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131025

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees