JP5318134B2 - マルチパスのビデオ符号化 - Google Patents

マルチパスのビデオ符号化 Download PDF

Info

Publication number
JP5318134B2
JP5318134B2 JP2011052098A JP2011052098A JP5318134B2 JP 5318134 B2 JP5318134 B2 JP 5318134B2 JP 2011052098 A JP2011052098 A JP 2011052098A JP 2011052098 A JP2011052098 A JP 2011052098A JP 5318134 B2 JP5318134 B2 JP 5318134B2
Authority
JP
Japan
Prior art keywords
image
encoding
images
input buffer
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011052098A
Other languages
English (en)
Other versions
JP2011151838A (ja
JP2011151838A5 (ja
Inventor
シン トン，
ウー，シー−ジュン
プン，トーマス
ドゥミトラ，アドリアナ
ハスケル，バリン
ノーマイル，ジム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/118,616 external-priority patent/US8406293B2/en
Priority claimed from US11/118,604 external-priority patent/US8005139B2/en
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2011151838A publication Critical patent/JP2011151838A/ja
Publication of JP2011151838A5 publication Critical patent/JP2011151838A5/ja
Application granted granted Critical
Publication of JP5318134B2 publication Critical patent/JP5318134B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、マルチパスのビデオ符号化に関する。
ビデオ符号器は、様々な符号化方式を使用することにより、ビデオイメージ（動画像）（例えば、ビデオフレーム）のシーケンスを符号化する。ビデオ符号化方式は、通常、ビデオフレーム、またはビデオフレームの諸部分（例えば、ビデオフレーム中のピクセルの集合（ピクセルセット））をフレーム内、またはフレーム間に関して符号化する。フレーム内符号化されたフレームまたはピクセルセットとは、他のフレーム、または他のフレームの中のピクセルセットとは独立に符号化されたフレームまたはピクセルセットである。フレーム間符号化されたフレームまたはピクセルセットとは、１以上の他のフレーム、または１以上の他のフレームの中の１以上のピクセルセットを参照して符号化されたフレームまたはピクセルセットである。
ビデオフレームを圧縮する際、一部の符号器は、符号化されるべきビデオフレームまたはビデオフレームの集合（ビデオフレームセット）のための「ビット予算(bit budget)」を提供する、「レートコントローラ」を実施する。ビット予算は、ビデオフレームまたはビデオフレームセットを符号化するのに割り当てられたビットの数を指定する。ビット予算を効率的に割り当てることにより、レートコントローラは、ある制約（例えば、目標ビットレート、その他）に鑑みて、最高品質の圧縮されたビデオストリームを生成しようと試みる。
今日まで、様々な単一パスのレートコントローラおよびマルチパスのレートコントローラが、提案されてきた。単一パスのレートコントローラは、一連のビデオイメージを１回のパスで符号化する符号化方式のためのビット予算を提供するのに対して、マルチパスのレートコントローラは、一連のビデオイメージを複数回のパスで符号化する符号化方式のためのビット予算を提供する。
単一パスのレートコントローラは、リアルタイムの符号化状況において役立つ。他方、マルチパスのレートコントローラは、一連の制約に基づく特定のビットレートに関する符号化を最適化する。符号化におけるビットレートを制御する際に、フレームまたはフレーム内のピクセルセットの空間的複雑性、または時間的複雑性を考慮に入れる、レートコントローラは、現在、多くはない。また、ほとんどのマルチパスのレートコントローラは、所望されるビットレートに鑑みて、フレームおよびフレーム内のピクセルセットのうちの少なくとも一方に関して、最適な量子化パラメータを使用する符号化ソリューションを求めて、解空間を十分に探索することもしない。
したがって、当技術分野において、新規な技術を使用して、ビデオイメージの集合（ビデオイメージセット）を符号化するためのビットレートを制御しながら、ビデオイメージおよびビデオイメージの諸部分のうちの少なくとも一方の空間的複雑性、または時間的複雑性を考慮する、レートコントローラの必要性が存在する。また、当技術分野において、符号化ソリューションを十分に調べて、ビデオイメージおよびビデオイメージの諸部分のうちの少なくとも一方に関して、最適な量子化パラメータセットを使用する符号化ソリューションを特定する、マルチパスのレートコントローラの必要性も存在する。
本発明の一部の実施形態は、いくつかのイメージ（例えば、ビデオシーケンスのいくつかのフレーム）を符号化するマルチパス符号化方法を提供する。本方法は、それらのイメージを符号化する符号化操作を繰り返し実行する。符号化操作は、本方法がイメージに関する量子化パラメータを計算するために使用する、名目量子化パラメータ(nominal QP)に基づく。符号化操作の数回の異なる繰り返し中、本方法は、いくつかの異なる名目量子化パラメータを使用する。本方法は、終了の基準に達すると（例えば、本方法が、許容できるイメージの符号化を特定すると）、繰り返しを停止する。
本発明の一部の実施形態は、ビデオシーケンスを符号化するための方法を提供する。本方法は、ビデオの中の第１のイメージの複雑性を定量化する第１の属性を特定する。また、本方法は、特定された第１の属性に基づき、第１のイメージを符号化するための量子化パラメータも特定する。次に、本方法は、特定された量子化パラメータに基づき、第１のイメージを符号化する。一部の実施形態では、この方法は、ビデオの中のいくつかのイメージに関して、以上３つの操作を実行する。
本発明の一部の実施形態は、ビデオイメージ、およびビデオイメージの諸部分のうちの少なくとも一方の「視覚マスキング」属性に基づき、ビデオイメージのシーケンスを符号化する。イメージ、またはイメージの一部の視覚マスキングは、そのイメージまたはイメージ部分の中で、どれだけの符号化アーチファクトが許容されることが可能であるかの指標である。イメージまたはイメージ部分の視覚マスキング属性を表現するのに、一部の実施形態は、そのイメージまたはイメージ部分の輝度エネルギーを定量化する視覚マスキング強度を計算する。一部の実施形態では、輝度エネルギーは、イメージまたはイメージ部分の平均ルーマ（Ｌｕｍａ，輝度）エネルギーまたは平均ピクセルエネルギーの関数として測定される。
輝度エネルギーの代わりに、または輝度エネルギーと併せて、イメージまたはイメージ部分の視覚マスキング強度は、イメージまたはイメージ部分の活動エネルギーも定量化することが可能である。活動エネルギーは、イメージまたはイメージ部分の複雑性を表現する。一部の実施形態では、活動エネルギーは、イメージまたはイメージ部分の空間的複雑性を定量化する空間的成分、および、イメージ間の動きに起因する、許容されマスキングされることが可能な歪みの量を定量化する動き成分のうちの少なくとも一方を含む。
本発明の一部の実施形態は、ビデオシーケンスを符号化するための方法を提供する。本方法は、ビデオの中の第１のイメージの視覚マスキング属性を特定する。また、本方法は、特定された視覚マスキング属性に基づき、第１のイメージを符号化するための量子化パラメータも特定する。次に、本方法は、特定された量子化パラメータに基づき、第１のイメージを符号化する。
本発明の新規な諸特徴は、添付の特許請求の範囲で示される。しかし、説明のため、本発明のいくつかの実施形態が、以下の図で示される。
本発明の一部の実施形態の符号化方法を概念的に示すプロセスを示す図である。 一部の実施形態のコーデックシステムを概念的に示す図である。 一部の実施形態の符号化プロセスを示す流れ図である。 （ａ）は、一部の実施形態におけるアンダフロー条件を示す、イメージ番号に対するイメージの名目除去時間と最終到着時間の差のプロットである。（ｂ）は、アンダフロー条件が解消された後の、図４ａに示されたのと同一のイメージに関する、イメージ番号に対するイメージの名目除去時間と最終到着時間の差のプロットである。 一部の実施形態において、アンダフロー検出を実行するのに符号器が使用するプロセスを示す図である。 一部の実施形態において、イメージの単一のセグメントの中でアンダフロー条件を解消するのに符号器が利用するプロセスを示す図である。 ビデオストリーミングアプリケーションにおけるバッファアンダフロー管理の応用例を示す図である。 ＨＤ−ＤＶＤシステムにおけるバッファアンダフロー管理の応用例を示す図である。 本発明の一実施形態が実施されるコンピュータシステムを示す図である。
本発明の以下の詳細な説明では、本発明の多数の詳細、実施例、および実施形態が示され、説明される。しかし、本発明は、示される諸実施形態に限定されないこと、ならびに本発明は、説明される特定の詳細および実施例の一部を伴うことなしに実施されてもよいことが、当業者には明瞭かつ明白であろう。
［Ｉ．定義］
このセクションは、本明細書で使用されるいくつかの記号に関する定義を与える。
ＲＴは、フレームシーケンスの符号化に対して所望されるビットレートである、目標ビットレートを表す。通常、このビットレートは、毎秒のビット数単位（ビット／秒）で表現され、所望される最終ファイルサイズ、シーケンスの中のフレーム数、およびフレームレートから計算される。
Ｒｐは、パスｐの終了時における、符号化されたビットストリームのビットレートを表す。
Ｅｐは、パスｐの終了時における、ビットレートの誤差のパーセンテージを表す。一部のケースでは、そのパーセンテージは、
Figure 0005318134
として計算される。
εは、最終ビットレートの許容誤差を表す。
εＣは、第１のＱＰ探索段階に関するビットレートの許容誤差を表す。
ＱＰは、量子化パラメータを表す。
ＱＰＮｏｍ（ｐ）は、フレームシーケンスに関する、パスｐでの符号化において使用される名目量子化パラメータ(nominal QP)を表す。ＱＰＮｏｍ（ｐ）の値は、目標ビットレートに達するように、第１のＱＰ調整段階において本発明のマルチパス符号器によって調整される。
ＭＱＰｐ（ｋ）は、パスｐにおけるフレームｋに関する量子化パラメータ（ＱＰ）である、マスキングされたフレームＱＰを表す。一部の実施形態は、名目ＱＰ、およびフレームレベルでの視覚マスキングを使用することにより、この値を計算する。
ＭＱＰＭＢ（ｐ）（ｋ，ｍ）は、フレームｋおよびパスｐにおける個別のマクロブロック（マクロブロックインデックスｍを有する）に関する量子化パラメータ（ＱＰ）である、マスキングされたマクロブロックＱＰを表す。一部の実施形態は、ＭＱＰｐ（ｋ）およびマクロブロックレベルでの視覚マスキングを使用することにより、ＭＱＰＭＢ（ｐ）（ｋ，ｍ）を計算する。
φＦ（ｋ）は、フレームｋに関するマスキング強度と呼ばれる値を表す。マスキング強度φＦ（ｋ）は、フレームに関する複雑性の尺度であり、一部の実施形態では、この値は、符号化アーチファクト／雑音が、どれだけ目に見えるように現れるかを判定するのに使用され、フレームｋのＭＱＰｐ（ｋ）を計算するのに使用される。
φＲ（ｐ）は、パスｐにおける基準マスキング強度を表す。基準マスキング強度は、フレームｋのＭＱＰｐ（ｋ）を計算するのに使用され、目標ビットレートを達成するために、第２の段階において本発明のマルチパス符号器によって調整される。
φＭＢ（ｋ，ｍ）は、フレームｋの中のインデックスｍを有するマクロブロックに関するマスキング強度を表す。マスキング強度φＭＢ（ｋ，ｍ）は、マクロブロックに関する複雑性の尺度であり、一部の実施形態では、符号化アーチファクト／雑音が、どれだけ目に見えるように現れるかを判定するのに使用され、ＭＱＰＭＢ（ｐ）（ｋ，ｍ）を計算するのに使用される。
ＡＭＱＰｐは、パスｐにおけるフレーム群にわたる平均のマスキングされたＱＰを表す。一部の実施形態では、この値は、パスｐにおけるすべてのフレームにわたる平均のＭＱＰｐ（ｋ）として計算される。
［ＩＩ．概要］
本発明の一部の実施形態は、所与のビットレートでフレームシーケンスを符号化することに関して、最良の視覚的品質を実現する符号化方法を提供する。一部の実施形態では、この方法は、量子化パラメータＱＰをすべてのマクロブロックに割り当てる視覚マスキングプロセスを使用する。この割り当ては、イメージまたはビデオフレームの中のより明るい領域内、または空間的に複雑な領域内の符号化アーチファクト／雑音が、より暗い領域内、または均一の領域内におけるほどは、目に見えないという認識に基づく。
一部の実施形態では、この視覚マスキングプロセスは、本発明のマルチパス符号化プロセス（マルチパスの符号化プロセス）の一環として実行される。この符号化プロセスは、最終的な符号化されたビットストリームが、目標ビットレートに達するようにするために、名目量子化パラメータを調整し、基準マスキング強度パラメータφＲを介して、視覚マスキングプロセスを制御する。後段でさらに説明されるとおり、名目量子化パラメータを調整すること、およびマスキングアルゴリズムを制御することにより、各ピクチャ（すなわち、通常のビデオ符号化方式においては、各フレーム）に関するＱＰ値、および各ピクチャ内の各マクロブロックが調整される。
一部の実施形態では、マルチパス符号化プロセスは、シーケンス全体に関する名目ＱＰおよびφＲを全体的に調整する。他の諸実施形態では、このプロセスは、ビデオシーケンスをセグメントに分割し、各セグメントに関して、名目ＱＰおよびφＲが調整される。後段の説明は、マルチパス符号化プロセスが使用されるフレームシーケンスについて述べる。そのシーケンスには、一部の実施形態では、シーケンス全体が含まれるのに対して、他の諸実施形態では、あるシーケンスのあるセグメントだけが含まれることが、当業者には認識されよう。
一部の実施形態では、本方法は、３つの符号化段階を有する。これら３つの段階は、（１）パス０において実行される初期分析段階、（２）パス１乃至パスＮ１において実行される第１の探索段階、および（３）パスＮ１＋１乃至Ｎ１＋Ｎ２において実行される第２の探索段階である。
初期分析段階において（すなわち、パス０中に）、本方法は、名目ＱＰ（符号化のパス１において使用されるべきＱＰＮｏｍ（１））の初期値を特定する。また、初期分析段階中、本方法は、第１の探索段階におけるすべてのパスにおいて使用される、基準マスキング強度φＲの値も特定する。
第１の探索段階で、本方法は、符号化プロセスのＮ１回の繰り返し（すなわち、Ｎ１回のパス）を実行する。各パスｐ中に各フレームｋに関して、プロセスは、特定の量子化パラメータＭＱＰｐ（ｋ）、ならびにフレームｋ内の個々のマクロブロックｍに関する特定の量子化パラメータＭＱＰＭＢ（ｐ）（ｋ，ｍ）を使用することによってフレームを符号化する。ただし、ＭＱＰＭＢ（ｐ）（ｋ，ｍ）は、ＭＱＰｐ（ｋ）を使用して計算される。
第１の探索段階において、量子化パラメータＭＱＰｐ（ｋ）は、パスとパスの間で変化する名目量子化パラメータＱＰＮｏｍ（ｐ）から導出されるので、パスとパスの間で変化する。つまり、第１の探索段階中、各パスｐの終りに、プロセスは、パスｐ＋１に関する名目ＱＰＮｏｍ（ｐ＋１）を計算する。一部の実施形態では、名目ＱＰＮｏｍ（ｐ＋１）は、先行するパスからの名目ＱＰ値およびビットレート誤差に基づく。他の諸実施形態では、名目ＱＰＮｏｍ（ｐ＋１）値は、第２の探索段階において各パスの終りに、異なる形で計算される。
第２の探索段階で、本方法は、符号化プロセスのＮ２回の繰り返し（すなわち、Ｎ２回のパス）を実行する。第１の探索段階の場合と同様に、プロセスは、特定の量子化パラメータＭＱＰｐ（ｋ）、ならびにフレームｋ内の個々のマクロブロックｍに関する特定の量子化パラメータＭＱＰＭＢ（ｐ）（ｋ，ｍ）を使用することにより、各パスｐ中に各フレームｋを符号化する。ただし、ＭＱＰＭＢ（ｐ）（ｋ，ｍ）は、ＭＱＰｐ（ｋ）から導出される。
やはり、第１の探索段階の場合と同様に、量子化パラメータＭＱＰｐ（ｋ）は、パスとパスの間に変化する。しかし、第２の探索段階中、このパラメータは、パスとパスの間に変化する基準マスキング強度φＲ（ｐ）を使用して計算されるという理由により変化する。一部の実施形態では、基準マスキング強度φＲ（ｐ）は、先行するパスからのビットレートの誤差、およびφＲの値に基づいて計算される。他の諸実施形態では、この基準マスキング強度は、第２の探索段階において各プロセスの終りに、異なる値となるように計算される。
マルチパス符号化プロセスは、視覚マスキングプロセスに関連して説明されるが、符号器は、これら両方のプロセスを一緒に使用しなくてもよいことが、当業者には認識されよう。例えば、一部の実施形態では、マルチパス符号化プロセスは、φＲを無視し、前述した第２の探索段階を省くことにより、視覚マスキングなしに、所与の目標ビットレート近傍のビットストリームを符号化するのに使用される。
視覚マスキングおよびマルチパス符号化プロセスを、本出願のセクションＩＩＩおよびセクションＩＶにおいてさらに説明する。
［ＩＩＩ．視覚マスキング］
名目量子化パラメータが与えられると、視覚マスキングプロセスはまず、基準マスキング強度（φＲ）およびフレームのマスキング強度（φＦ）を使用して、各フレームに関するマスキングされたフレーム量子化パラメータ（ＭＱＰ）を計算する。次に、このプロセスは、フレームレベルおよびマクロブロックレベルのマスキング強度（φＦおよびφＭＢ）に基づき、各マクロブロックに関するマスキングされたマクロブロック量子化パラメータ（ＭＱＰＭＢ）を計算する。視覚マスキングプロセスが、マルチパス符号化プロセスにおいて使用される場合、一部の実施形態における基準マスキング強度（φＲ）は、前述し、後段でさらに説明するとおり、第１の符号化パス中に特定される。
＜Ａ．フレームレベルのマスキング強度を計算すること＞
１．第１のアプローチ
フレームレベルのマスキング強度φＦ（ｋ）を計算するのに、一部の実施形態は、以下の数式（Ａ）を使用する。すなわち、
φＦ(k)=C*power(E*avgFrameLuma(k),β)*power(D*avgFrameSAD(k),αＦ), (A)
ただし、
・ａｖｇＦｒａｍｅＬｕｍａ（ｋ）は、ｂが、１以上の整数である（例えば、ｂ＝１またはｂ＝４）、ｂ×ｂの領域を使用して計算される、フレームｋ内の平均ピクセル輝度であり、
・ａｖｇＦｒａｍｅＳＡＤ（ｋ）は、フレームｋ内のすべてのマクロブロックにわたるＭｂＳＡＤ（ｋ，ｍ）の平均であり、
・ＭｂＳＡＤ（ｋ，ｍ）は、インデックスｍを有するマクロブロック内のすべての４×４ブロックに関する関数、Ｃａｌｃ４×４ＭｅａｎＲｅｍｏｖｅｄＳＡＤ（４×４＿ｂｌｏｃｋ＿ｐｉｘｅｌ＿ｖａｌｕｅｓ）によって与えられる値の合計であり、
・αＦ、Ｃ、Ｄ、およびＥは、定数であり、かつ（或いは）、局所的な統計に適合されており、
かつ、
・ｐｏｗｅｒ（ａ，ｂ）は、ａｂを意味する。
関数Ｃａｌｃ４×４ＭｅａｎＲｅｍｏｖｅｄＳＡＤに関する擬似コードは、以下のとおりである。すなわち、
Calc4x4MeanRemovedSAD(4x4_block_pixel_values)
｛
所与の４×４ブロック内のピクセル値の平均値を計算する；
ピクセル値から平均値を引き、絶対値を計算する；
１つ前の工程で得られた絶対値を合計する；
合計を返す(return the sum;)；
｝
２．第２のアプローチ
他の諸実施形態は、フレームレベルのマスキング強度を異なる形で計算する。例えば、前述した数式（Ａ）は、フレームのマスキング強度を基本的に以下のように計算する。すなわち、
φＦ(k)=C*power(E*Brightness_Attribute,exponent0)*
power(scalar*Spatial_Activity_Attribute,exponent1)
である。
数式（Ａ）では、フレームのＢｒｉｇｈｔｎｅｓｓ＿Ａｔｔｒｉｂｕｔｅは、ａｖｇＦｒａｍｅＬｕｍａ（ｋ）と等しくなり、Ｓｐａｔｉａｌ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅは、フレーム内のすべてのマクロブロックにわたる平均マクロブロックＳＡＤ（ＭｂＳＡＤ（ｋ，ｍ））値であるａｖｇＦｒａｍｅＳＡＤ（ｋ）と等しくなる。ただし、平均マクロブロックＳＡＤは、マクロブロック内のすべての４×４ブロックに関する（Ｃａｌｃ４×４ＭｅａｎＲｅｍｏｖｅｄＳＡＤによって与えられる）平均隔たり４×４ピクセル偏差(mean removed 4x4 pixel variation)の絶対値の合計に等しい。このＳｐａｔｉａｌ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅは、符号化されているフレーム内のピクセル領域内における空間的イノベーション（空間的変化）の量を測定する。
他の諸実施形態は、いくつかの連続するフレームにわたるピクセル領域内の時間的イノベーション（時間的変化）の量を含むように活動性(activity)の尺度を拡張する。具体的には、それらの実施形態は、以下のとおりフレームのマスキング強度を計算する。すなわち、
φＦ(k)=C*power(E*Brightness_Attribute,exponent0)*
power(scalar*Activity_Attribute,exponent1) (B)
である。
この数式では、Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅが、以下の数式（Ｃ）によって与えられる。すなわち、
Activity_Attribute=G*power(D*Spatial_Activity_Attribute,exponent_beta)+
E*power(F*Temporal_Activity_Attribute,exponent_delta) (C)
である。
一部の実施形態では、Ｔｅｍｐｏｒａｌ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅは、フレーム間の動きに起因する、許容される（すなわち、マスキングされる）ことが可能な歪みの量を定量化する。それらの実施形態の一部では、フレームのＴｅｍｐｏｒａｌ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅは、ある定数に、フレーム内の定義されたピクセル領域の動き補償された誤差信号の絶対値の合計を掛けた値に等しい。他の諸実施形態では、Ｔｅｍｐｏｒａｌ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅは、以下の数式（Ｄ）によって与えられる。すなわち、
Figure 0005318134
である。
数式（Ｄ）では、「ａｖｇＦｒａｍｅＳＡＤ」は、（前述したとおり、）フレーム内の平均マクロブロックＳＡＤ（ＭｂＳＡＤ（ｋ，ｍ））値を表し、ａｖｇＦｒａｍｅＳＡＤ（０）は、現在のフレームに関するａｖｇＦｒａｍｅＳＡＤであり、負のｊは、現在のフレームより前の時間インスタンスを指し示し、正のｊは、現在のフレームより後の時間インスタンスを指し示す。このため、ａｖｇＦｒａｍｅＳＡＤ（ｊ＝−２）は、現在のフレームより前の２つのフレームの平均フレームＳＡＤを表し、ａｖｇＦｒａｍｅＳＡＤ（ｊ＝３）は、現在のフレームより後の３つのフレームの平均フレームＳＡＤを表す。
また、数式（Ｄ）において、変数Ｎおよび変数Ｍは、現在のフレームより前のフレームの数、および現在のフレームより後のフレームの数をそれぞれ示す。特定のフレーム数に基づいて値Ｎおよび値Ｍを単に選択する代わりに、一部の実施形態は、現在のフレームの時間より前の、特定の時間の長さ、およびその時間より後の、特定の時間の長さに基づき、値Ｎおよび値Ｍを計算する。動きマスキングを時間的長さと互いに関係付けることは、動きマスキングを所定のフレーム数と互いに関係付けることよりも有利である。これは、動きマスキングを時間的長さと互いに関係付けることが、見る人の時間ベースの視覚的認識にまさに一致しているからである。他方、そのようなマスキングをフレーム数と互いに関係付けることには、異なるディスプレイが、異なるフレームレートでビデオを提示するので、表示時間が定まらないという難点がある。
数式（Ｄ）において、「Ｗ」は、一部の実施形態では、フレームｊが、現在のフレームから離れるにつれ、減少する重み係数を指す。やはり、この数式において、第１の合計は、現在のフレームより前にマスキングされることが可能な動きの量を表し、第２の合計は、現在のフレームより後にマスキングされることが可能な動きの量を表し、最後の項（ａｖｇＦｒａｍｅＳＡＤ（０））は、現在のフレームのフレームＳＡＤを表す。
一部の実施形態では、重み係数は、シーン変化を考慮に入れるように調整される。例えば、一部の実施形態は、ルックアヘッド範囲内（すなわち、Ｍ個のフレームの範囲内）の来たるべきシーン変化を考慮に入れるが、シーン変化後のいずれのフレームも考慮に入れない。例えば、それらの実施形態は、シーン変化後のルックアヘッド範囲内のフレームに関しては、重み係数を０に設定することが可能である。また、一部の実施形態は、ルックビハインド範囲内（すなわち、Ｎ個のフレームの範囲内）で、シーン変化に先立つフレーム、またはシーン変化時のフレームを考慮に入れない。例えば、それらの実施形態は、前のシーンに関係する、または前のシーン変化の前に来るルックビハインド範囲内のフレームに関しては、重み係数を０に設定することが可能である。
３．第２のアプローチの変形例
ａ）Ｔｅｍｐｏｒａｌ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅに対する過去のフレーム、および将来のフレームの影響を制限すること
前述の数式（Ｄ）は、Ｔｅｍｐｏｒａｌ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅを基本的に以下の関係で表現する。すなわち、
Temporal_Activity_Attribute=Past_Frame_Activity+Future_Frame_Activity+
Current_Frame_Activity
ただし、Ｐａｓｔ＿Ｆｒａｍｅ＿Ａｃｔｉｖｉｔｙ（ＰＦＡ）は、
Figure 0005318134
に等しく、Ｆｕｔｕｒｅ＿Ｆｒａｍｅ＿Ａｃｔｉｖｉｔｙ（ＦＦＡ）は、
Figure 0005318134
に等しく、Ｃｕｒｒｅｎｔ＿Ｆｒａｍｅ＿Ａｃｔｉｖｉｔｙ（ＣＦＡ）は、ａｖｇＦｒａｍｅＳＡＤ（ｃｕｒｒｅｎｔ）に等しい。
一部の実施形態は、Ｔｅｍｐｏｒａｌ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅの計算を変更して、Ｐａｓｔ＿Ｆｒａｍｅ＿Ａｃｔｉｖｉｔｙも、Ｆｕｔｕｒｅ＿Ｆｒａｍｅ＿Ａｃｔｉｖｉｔｙも、Ｔｅｍｐｏｒａｌ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅの値を過度にコントロールしないようにする。例えば、一部の実施形態は、最初、ＰＦＡが、
Figure 0005318134
と等しくなり、ＦＦＡが、
Figure 0005318134
と等しくなるように定義する。
これらの実施形態は、次に、ＰＦＡが、スカラー掛けるＦＦＡより大きいかどうかを判定する。大きい場合、それらの実施形態は、次に、ＰＦＡを、ＰＦＡ上限値（例えば、スカラー掛けるＦＦＡ）と等しくなるように設定する。ＰＦＡ上限値と等しくなるようにＰＦＡを設定することに加え、一部の実施形態は、ＦＦＡを０に設定することと、ＣＦＡを０に設定することの組み合わせも実行することができる。他の諸実施形態は、ＰＦＡとＣＦＡのいずれか、または両方を、ＰＦＡ、ＣＦＡ、およびＦＦＡの重み付き組み合わせに設定することが可能である。
同様に、ＰＦＡ値およびＦＦＡ値を重み付き合計に基づいて最初に定義した後、一部の実施形態は、ＦＦＡ値が、スカラー掛けるＰＦＡより大きいかどうかも判定する。大きい場合、それらの実施形態は、次に、ＦＦＡを、ＦＦＡ上限値（例えば、スカラー掛けるＰＦＡ）と等しくなるように設定する。ＦＦＡ上限値と等しくなるようにＦＦＡを設定することに加え、一部の実施形態は、ＰＦＡを０に設定することと、ＣＦＡを０に設定することの組み合わせも実行することができる。他の諸実施形態は、ＦＦＡとＣＦＡのいずれか、または両方を、ＦＦＡ、ＣＦＡ、およびＰＦＡの重み付き組み合わせに設定することが可能である。
（重み付き合計に基づく、ＰＦＡ値およびＦＦＡ値の初期計算後の）続いて行われるＰＦＡ値およびＦＦＡ値の可能な調整により、これらの値のいずれかが、Ｔｅｍｐｏｒａｌ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅを過度にコントロールすることも防止される。
ｂ）Ｓｐａｔｉａｌ＿Ａｃｔｉｖｉｔｙ＿ＡｔｔｒｉｂｕｔｅおよびＴｅｍｐｏｒａｌ＿Ａｃｔｉｖｉｔｙ＿ＡｔｔｒｉｂｕｔｅのＡｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅに対する影響を制限すること
前述の数式（Ｃ）は、基本的に、以下の関係でＡｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅを表す。すなわち、
Activity_Attribute=Spatial_Activity+Temporal_Activity
ただし、Ｓｐａｔｉａｌ＿Ａｃｔｉｖｉｔｙは、ｓｃａｌａｒ＊（ｓｃａｌａｒ＊Ｓｐａｔｉａｌ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅ）βに等しく、Ｔｅｍｐｏｒａｌ＿Ａｃｔｉｖｉｔｙは、ｓｃａｌａｒ＊（ｓｃａｌａｒ＊Ｔｅｍｐｏｒａｌ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅ）Δに等しい。
一部の実施形態は、Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅの計算を変更して、Ｓｐａｔｉａｌ＿Ａｃｔｉｖｉｔｙも、Ｔｅｍｐｏｒａｌ＿Ａｃｔｉｖｉｔｙも、Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅの値を過度にコントロールしないようにする。例えば、一部の実施形態は、最初、Ｓｐａｔｉａｌ＿Ａｃｔｉｖｉｔｙ（ＳＡ）が、ｓｃａｌａｒ＊（ｓｃａｌａｒ＊Ｓｐａｔｉａｌ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅ）βと等しくなるように定義し、Ｔｅｍｐｏｒａｌ＿Ａｃｔｉｖｉｔｙ（ＴＡ）が、ｓｃａｌａｒ＊（ｓｃａｌａｒ＊Ｔｅｍｐｏｒａｌ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅ）Δと等しくなるように定義する。
それらの実施形態は、次に、ＳＡが、スカラー掛けるＴＡよりも大きいかどうかを判定する。大きい場合、それらの実施形態は、次に、ＳＡを、ＳＡ上限値（例えば、スカラー掛けるＴＡ）と等しくなるように設定する。そのようなケースにおいてＳＡ上限と等しくなるようにＳＡを設定することに加え、一部の実施形態は、ＴＡ値を、０に、またはＴＡとＳＡの重み付き組み合わせに設定することも可能である。
同様に、指数方程式に基づいてＳＡ値およびＴＡ値を最初に定義した後、一部の実施形態は、ＴＡ値が、スカラー掛けるＳＡよりも大きいかどうかも判定する。大きい場合、それらの実施形態は、次に、ＴＡを、ＴＡ上限値（例えば、スカラー掛けるＳＡ）と等しくなるように設定する。そのようなケースにおいてＴＡ上限と等しくなるようにＴＡを設定することに加え、一部の実施形態は、ＳＡ値を０に、またはＳＡとＴＡの重み付き組み合わせに設定することも可能である。
（指数方程式に基づく、ＳＡ値およびＴＡ値の初期計算後の）続いて行われるＳＡ値およびＴＡ値の可能な調整により、これらの値のいずれかが、Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅを過度にコントロールすることも防止される。
＜Ｂ．マクロブロックレベルのマスキング強度を計算すること＞
１．第１のアプローチ
一部の実施形態では、マクロブロックレベルのマスキング強度φＭＢ（ｋ，ｍ）は、以下のとおり計算される。すなわち、
φＭＢ(k,m)=A*power(C*avgMbLuma(k,m),β)*power(B*MbSAD(k,m),αＭＢ), (F)
ただし、
・ａｖｇＭｂＬｕｍａ（ｋ，ｍ）は、フレームｋ、マクロブロックｍにおける平均ピクセル輝度であり、
・αＭＢ、β、Ａ、Ｂ、およびＣは、定数であり、かつ（或いは）、局所的な統計に適合されている。
２．第２のアプローチ
前述した数式（Ｆ）は、マクロブロックのマスキング強度を基本的に以下のとおり計算する。すなわち、
φＭＢ(k,m)=D*power(E*Mb_Brightness__Attribute,exponent0)*
power(scalar*Mb_Spatial_Activity_Attribute,exponent1)
である。
数式（Ｆ）において、マクロブロックのＭｂ＿Ｂｒｉｇｈｔｎｅｓｓ＿Ａｔｔｒｉｂｕｔｅは、ａｖｇＭｂＬｕｍａ（ｋ，ｍ）に等しく、Ｍｂ＿Ｓｐａｔｉａｌ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅは、ａｖｇＭｂＳＡＤ（ｋ）に等しい。このＭｂ＿Ｓｐａｔｉａｌ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅは、符号化中のマクロブロック内のピクセル領域内における空間的イノベーションの量を測定する。
フレームのマスキング強度の場合と全く同様に、一部の実施形態は、いくつかの連続するフレームにわたるピクセル領域内の時間的イノベーションの量を含むように、マクロブロックのマスキング強度における活動性の尺度を拡張することが可能である。具体的には、それらの実施形態は、マクロブロックのマスキング強度を以下のとおり計算する。すなわち、
φＭＢ(k,m)=D*power(E*Mb_Brightness__Attribute,exponent0)*
power(scalar*Mb_Activity_Attribute,exponent1)
ただし、Ｍｂ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅは、以下の数式（Ｈ）によって与えられる。すなわち、
Mb_Activity_Attribute=F*power(D*Mb_Spatial_Activity_Attribute,exponent_beta)+
G*power(F*Mb_Temporal_Activity_Attribute,exponent_delta) (H)
である。
マクロブロックに関するＭｂ＿Ｔｅｍｐｏｒａｌ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅの計算は、フレームに関するＭｂ＿Ｔｅｍｐｏｒａｌ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅの前述した計算と同様であることが可能である。例えば、それらの実施形態の一部では、Ｍｂ＿Ｔｅｍｐｏｒａｌ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅは、以下の数式（Ｉ）によって与えられる。すなわち、
Figure 0005318134
である。
数式（Ｉ）の中の変数は、セクションＩＩＩ．Ａにおいて定義された。数式（Ｆ）において、フレームｉ内、またはフレームｊ内のマクロブロックｍは、現在のフレーム内のマクロブロックｍと同一の位置におけるマクロブロックであることが可能である。或いは、フレームｉ内、またはフレームｊ内のマクロブロックｍは、現在のフレーム内のマクロブロックｍと一致すると最初に予測されたフレームｉ内、またはフレームｊ内のマクロブロックであることが可能である。
数式（Ｉ）によって与えられるＭｂ＿Ｔｅｍｐｏｒａｌ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅは、数式（Ｄ）によって与えられる、フレームのＴｅｍｐｏｒａｌ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅの変更（前述のセクションＩＩＩ．Ａ．３で説明された）と同様の形で変更されることが可能である。具体的には、数式（Ｉ）によって与えられるＭｂ＿Ｔｅｍｐｏｒａｌ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅは、過去のフレーム内、および将来のフレーム内におけるマクロブロックの過度の影響を制限するように変更されることが可能である。
同様に、数式（Ｈ）によって与えられるＭｂ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅも、数式（Ｃ）によって与えられる、フレームのＡｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅの変更（セクションＩＩＩ．Ａ．３で前述した）と同様の形で変更されることが可能である。具体的には、数式（Ｈ）によって与えられるＭｂ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅは、Ｍｂ＿Ｓｐａｔｉａｌ＿Ａｃｔｉｖｉｔｙ＿ＡｔｔｒｉｂｕｔｅおよびＭｂ＿Ｔｅｍｐｏｒａｌ＿Ａｃｔｉｖｉｔｙ＿Ａｔｔｒｉｂｕｔｅの過度の影響を制限するように変更されることが可能である。
＜Ｃ．マスキングされたＱＰ値を計算すること＞
マスキング強度の値（φＦおよびφＭＢ）、および基準マスキング強度の値（φＲ）に基づき、視覚マスキングプロセスは、２つの関数ＣａｌｃＭＱＰおよびＣａｌｃＭＱＰｆｏｒＭＢを使用することにより、フレームレベルおよびマクロブロックレベルにおけるマスキングされたＱＰ値を計算することができる。これら２つの関数に関する擬似コードは、以下のとおりである。すなわち、
CalcMQP(nominalQP,φＲ,φＦ(k),maxQPFrameAdjustment)
｛
QPFrameAdjustment=βＦ*(φＦ(k)-φＲ)/φＲ；
[minQPFrameAdjustment,,maxQPFrameAdjustment]の範囲内に入るようにQPFrameAdjustmentをクリッピングする；
maskedQPofFrame=nominalQP+QPFrameAdjustment；
許容範囲内に入るようにmaskedQPofFrameをクリッピングする；
（フレームｋに関する）maskedQPofFrameを返す；
｝

CalcMQPforMB(maskedQPofFrame,φＦ(k),φＭＢ(k,m),maxQPMacroblockAdjustment)
｛
if(φＦ(k)＞T) ただし、Ｔは、適切に選択された閾値
QPMacroblockAdjustment=βＭＢ*(φＭＢ(k,m)-φＦ(k))/φＦ(k)；
else
QPMacroblockAdjustment=0；
[minQPMacroblockAdjustment,,maxQPMacroblockAdjustment]の範囲内に入るようにQPMacroblockAdjustmentをクリッピングする；
maskedQPofMacrobleck=maskedQPofFrame+QPMacroblockAdjustment；
有効なＱＰ値範囲内に入るようにmaskedQPofMacroblockをクリッピングする；
maskedQPofMacroblockを返す；
｝
である。
前述の関数において、βＦおよびβＭＢは、所定の定数であること、または局所的な統計に適合させられることが可能である。
［ＩＶ．マルチパス符号化］
図１は、本発明の一部の実施形態に係るマルチパス符号化方法を概念的に示すプロセス１００を提示する。この図に示されるとおり、プロセス１００は、以下の３つのサブセクションで説明される３つの段階を有する。
＜Ａ．分析および初期（最初の）ＱＰ選択＞
図１に示されるとおり、プロセス１００は、最初、マルチパス符号化プロセスの初期分析段階中に（すなわち、パス０中に）、基準マスキング強度（φＲ（１））の初期値、および名目量子化パラメータ（ＱＰＮｏｍ（１））の初期値を計算する（１０５で）。初期基準マスキング強度（φＲ（１））は、第１の探索段階中に使用されるのに対して、初期名目量子化パラメータ（ＱＰＮｏｍ（１））は、第１の探索段階の第１のパス中に（すなわち、マルチパス符号化プロセスのパス１中に）使用される。
パス０の始めに、φＲ（０）は、何らかの任意の値、または実験的結果に基づいて選択された値（例えば、φＲ値の通常の範囲の中央値）であることが可能である。シーケンスの分析中、各フレームに関してマスキング強度φＦ（ｋ）が計算され、次に、基準マスキング強度φＲ（１）が、パス０の終りにおいてａｖｇ（φＦ（ｋ））と等しくなるように設定される。また、基準マスキング強度φＲに関する他の決定も可能である。例えば、基準マスキング強度φＲは、値φＦ（ｋ）の中央値として、または例えば、値φＦ（ｋ）の重み付き平均値などの、値φＦ（ｋ）に関する他の算術関数として計算されてもよい。
異なる複雑性を有する、初期ＱＰ選択のいくつかのアプローチが存在する。例えば、初期名目ＱＰは、任意の値（例えば、２６）として選択されることが可能である。代わりに、符号化実験に基づき、目標ビットレートに対して許容できる品質をもたらすことが知られている値が、選択されることも可能である。
また、初期名目ＱＰ値は、空間分解能、フレームレート、空間的／時間的複雑性、および目標ビットレートに基づき、ルックアップテーブルから選択されることも可能である。一部の実施形態では、この初期名目ＱＰ値は、以上のパラメータの各々に基づく距離の尺度を使用して、テーブルから選択されてもよい。あるいは、以上のパラメータの重み付き距離の尺度を使用して選択されてもよい。
また、この初期名目ＱＰ値は、レートコントローラを使用する（マスキングなしの）高速符号化中に、フレームＱＰ値が選択されるにつれ、フレームＱＰ値の調整された平均に設定されることも可能である。ただし、その平均は、パス０に関するビットレートパーセンテージのレート誤差Ｅ０に基づいて調整されている。また、同様に、初期名目ＱＰは、フレームＱＰ値の重み付きの調整された平均に設定されることも可能である。ただし、各フレームに関する重みは、飛ばされるマクロブロック（スキップドマクロブロック）として符号化されない、そのフレーム内のマクロブロックのパーセンテージによって決まる。代わりに、初期名目ＱＰは、基準マスキング強度をφＲ（０）からφＲ（１）に変更することの効果が考慮に入れられる限り、レートコントローラを使用する（マスキングなしの）高速符号化中に、フレームＱＰ値が選択されるにつれ、フレームＱＰ値の調整された平均、または調整された重み付き平均に設定されることも可能である。
＜Ｂ．第１の探索段階：名目ＱＰ調整＞
１０５の後、マルチパス符号化プロセス１００は、第１の探索段階に入る。第１の探索段階では、プロセス１００は、シーケンスに対するＮ１回の符号化を実行する。ただし、Ｎ１は、第１の探索段階中のパスの回数を表す。第１の段階の各パス中、プロセスは、変化する名目量子化パラメータを、一定の基準マスキング強度とともに使用する。
具体的には、第１の探索段階における各パスｐ中、プロセス１００は、各フレームｋに関する特定の量子化パラメータＭＱＰｐ（ｋ）、およびフレームｋ内のそれぞれの個別のマクロブロックに関する特定の量子化パラメータＭＱＰＭＢ（ｐ）（ｋ，ｍ）を計算する（１０７で）。所与の名目量子化パラメータＱＰＮｏｍ（ｐ）および基準マスキング強度φＲ（ｐ）に関するパラメータＭＱＰｐ（ｋ）およびＭＱＰＭＢ（ｐ）（ｋ，ｍ）の計算は、セクションＩＩＩで説明されている（ただし、ＭＱＰｐ（ｋ）およびＭＱＰＭＢ（ｐ）（ｋ，ｍ）は、セクションＩＩＩで前述した関数、ＣａｌｃＭＱＰおよびＣａｌｃＭＱＰｆｏｒＭＢを使用して計算される）。１０７中の第１のパス（すなわち、パス１）において、名目量子化パラメータおよび第１段階の基準マスキング強度は、初期分析段階１０５中に計算されたパラメータＱＰＮｏｍ（１）および基準マスキング強度φＲ（１）である。
１０７の後、プロセスは、１０７で計算された量子化パラメータ値に基づき、シーケンスを符号化する（１１０で）。次に、符号化プロセス１００は、終了すべきかどうかを判定する（１１５で）。異なる実施形態は、全体的な符号化プロセスを終了させることに関して、異なる基準を有する。マルチパス符号化プロセスを完全に終了させる終了条件の実施例には、以下が含まれる。すなわち、
・｜Ｅｐ｜＜εである場合。ただし、εは、最終ビットレートにおける許容誤差である。
・ＱＰＮｏｍ（ｐ）が、ＱＰ値の有効範囲の上限または下限にある場合。
・パスの回数が、容認できるパスの最大回数ＰＭＡＸを超えた場合。
一部の実施形態は、以上の終了条件のすべてを使用する可能性があるのに対して、他の諸実施形態は、これらの条件の一部だけを使用する可能性がある。さらに別の諸実施形態は、符号化プロセスを終了させることに関して、他の終了条件を使用することが可能である。
マルチパス符号化プロセスが、終了することを決めた場合（１１５で）、プロセス１００は、第２の探索段階を省き、１４５に進む。１４５で、プロセスは、最後のパスｐからのビットストリームを最終結果として保存し、その後、終了する。
他方、プロセスが、終了すべきではないと判定した場合（１１５で）、プロセスは、次に、第１の探索段階を終了させるべきかどうかを判定する（１２０で）。やはり、異なる諸実施形態は、第１の探索段階を終了させることに関して、異なる基準を有する。マルチパス符号化プロセスの第１の探索段階を終了させる終了条件の実施例には、以下が含まれる。すなわち、
・ＱＰＮｏｍ（ｐ＋１）が、ＱＰＮｏｍ（ｑ）と同一であり、かつｑ≦ｐである場合（その場合、ビットレートの誤差は、名目ＱＰを変更しても、それよりも下げることができない）。
・｜Ｅｐ｜＜εＣであり、εＣ＞εである場合。ただし、εＣは、第１の探索段階に関するビットレートの許容誤差である。
・パスの回数が、Ｐ１を超えている場合。ただし、Ｐ１は、ＰＭＡｘ未満である。
・パスの回数が、Ｐ１未満であるＰ２を超えており、かつ｜Ｅｐ｜＜ε２であり、ε２＞εＣである場合。
一部の実施形態は、以上の終了条件のすべてを使用する可能性があるのに対して、他の諸実施形態は、これらの条件の一部だけを使用する可能性がある。さらに別の諸実施形態は、第１の探索段階を終了させることに関して、他の終了条件を使用することが可能である。
マルチパス符号化プロセスが、第１の探索段階を終了させることを決めた場合（１２０で）、プロセス１００は、次のサブセクションで説明される、第２の探索段階に進む。他方、プロセスが、第１の探索段階を終了させるべきではないと判定した場合（１２０で）、プロセスは、第１の探索段階における次のパスに関する名目ＱＰを更新する（１２５で）（すなわち、ＱＰＮｏｍ（ｐ＋１）を定義する）。一部の実施形態では、名目ＱＰＮｏｍ（ｐ＋１）は、以下のとおり更新される。パス１の終りで、それらの実施形態は、
ＱＰＮｏｍ（ｐ＋１）＝ＱＰＮｏｍ（ｐ）＋χＥｐ
と定義する。ただし、χは、定数である。パス２からパスＮ１までの各パスの終りで、それらの実施形態は、次に、
ＱＰＮｏｍ（ｐ＋１）＝InterpExtrap（０，Ｅｑ１，Ｅｑ２，ＱＰＮｏｍ（ｑ１），ＱＰＮｏｍ（ｑ２））
と定義する。ただし、ＩｎｔｅｒｐＥｘｔｒａｐは、以下にさらに説明される関数である。また、上の数式では、ｑ１およびｑ２は、パスｐまでのすべてのパスの中で最低である、対応するビットレート誤差を有するパス番号であり、ｑ１、ｑ２、およびｐは、以下の関係を有する。すなわち、
１≦ｑ１≦ｑ２≦ｐ
である。
以下は、ＩｎｔｅｒｐＥｘｔｒａｐ関数に関する擬似コードである。ｘが、ｘ１からｘ２までの間にない場合、この関数は、補外（外挿）関数であることに留意されたい。それ以外の場合、この関数は、補間（内挿）関数である。
InterpExtrap(x,x1,x2,y1,y2)
{
if(x2 != x1) y = y1 + (x - x1) * (y2 - y1) / (x2 - x1);
else y = y1;
return y;
｝
名目ＱＰ値は、通常、整数値に丸められ、ＱＰ値の有効範囲内に入るようにクリッピングされる。他の諸実施形態は、前述したアプローチとは異なる形で、名目ＱＰＮｏｍ（ｐ＋１）値を計算することも可能であることが、当業者には認識されよう。
１２５の後、プロセスは、１０７に戻り、次のパス（すなわち、ｐ：＝ｐ＋１）を開始し、このパスに関して、各フレームｋに関する特定の量子化パラメータＭＱＰｐ（ｋ）、ならびに現在のパスｐに関するフレームｋ内のそれぞれの個別のマクロブロックｍに関する特定の量子化パラメータＭＱＰＭＢ（ｐ）（ｋ，ｍ）を計算する（１０７で）。次に、プロセスは、それらの新たに計算された量子化パラメータに基づき、フレームシーケンスを符号化する（１１０で）。そして、１１０から、プロセスは、前述した１１５に進む。
＜Ｃ．第２の探索段階：基準マスキング強度調整＞
プロセス１００は、第１の探索段階を終了すべきであると判定した場合（１２０で）、１３０に進む。第２の探索段階で、プロセス１００は、シーケンスのＮ２回の符号化を実行する。ただし、Ｎ２は、第２の探索段階中のパスの回数を表す。各パス中、プロセスは、同一の名目量子化パラメータ、および変化する基準マスキング強度を使用する。
１３０で、プロセス１００は、パスＮ１＋１である次のパス、すなわちパスｐ＋１に関する基準マスキング強度φＲ（ｐ＋１）を計算する。パスＮ１＋１において、プロセス１００は、１３５でフレームシーケンスを符号化する。異なる諸実施形態は、パスｐの終りに、異なる形で基準マスキング強度φＲ（ｐ＋１）を計算する（１３０で）。２つの代替のアプローチを以下に説明する。
一部の実施形態は、先行するパスからのビットレートの誤差、およびφＲの値に基づき、基準マスキング強度φＲ（ｐ）を計算する。例えば、パスＮ１の終りに、一部の実施形態は、
φＲ（Ｎ１＋１）＝φＲ（Ｎ１）＋φＲ（Ｎ１）×Ｋｏｎｓｔ×ＥＮ１
であると定義する。
ｍが、１より大きい整数であるパスＮ１＋ｍの終りに、一部の実施形態は、
φＲ（Ｎ１＋ｍ）＝InterpExtrap（０，ＥＮ１＋ｍ−２，ＥＮ１＋ｍ−１，φＲ（Ｎ１＋ｍ−２），φＲ（Ｎ１＋ｍ−１））
であると定義する。
代わりに、一部の実施形態は、
φＲ（Ｎ１＋ｍ）＝InterpExtrap（０，ＥＮ１＋ｍ−ｑ２，ＥＮ１＋ｍ−ｑ１，φＲ（Ｎ１＋ｍ−ｑ２），φＲ（Ｎ１＋ｍ−ｑ１））
であると定義する。ただし、ｑ１およびｑ２は、最良の誤差を与えた先行するパスである。
他の諸実施形態は、セクションＩで定義されたＡＭＱＰを使用することにより、第２の探索段階における各パスの終りに、基準マスキング強度を計算する。所与の名目ＱＰ、およびφＲの何らかの値に関してＡＭＱＰを計算するための１つのやり方を、関数ＧｅｔＡｖｇＭａｓｋｅｄＱＰの擬似コードに関連して以下に説明する。
GetAvgMaskedQP(nominalQP,φＲ)
{
sum=0;
for(k=0;k＜numframes;k++){
MQP(k)=CalcMQP(nominalQP,φＲ,φＦ(k),maxQPFrameAdjustment)を使用して
計算された、フレームｋに関するmaskedQP; //前段を参照
sum+=MQP(k);
}
return sum/numframes;
}
ＡＭＱＰを使用する一部の実施形態は、先行するパスからのビットレートの誤差、およびＡＭＱＰの値に基づき、パスｐ＋１に関する所望されるＡＭＱＰを計算する。そのＡＭＱＰに対応するφＲ（ｐ＋１）が、次に、関数Ｓｅａｒｃｈ（ＡＭＱＰ（ｐ＋１），φＲ（ｐ））によって与えられる探索手続きを介して求められる。この関数の擬似コードは、このサブセクションの終りにおいて与えられる。
例えば、パスＮ１の終りにおいて一部の実施形態は、ＡＭＱＰＮ１＋１を計算する。ただし、
Ｎ１＞１である場合、ＡＭＱＰＮ１＋１＝ＩｎｔｅｒｐＥｘｔｒａｐ（０，ＥＮ１−１，ＥＮ１，ＡＭＱＰＮ１−１，ＡＭＱＰＮ１）であり、かつ
Ｎ１＝１である場合、ＡＭＱＰＮ１＋１＝ＡＭＱＰＮ１である。
次に、以上の実施形態は、
φＲ（Ｎ１＋１）＝Ｓｅａｒｃｈ（ＡＭＱＰＮ１＋１，φＲ（Ｎ１））
であると定義する。
パスＮ１＋ｍの終りに（ただし、ｍは、１より大きい整数）、一部の実施形態は、
ＡＭＱＰＮ１＋ｍ＝ＩｎｔｅｒｐＥｘｔｒａｐ（０，ＥＮ１＋ｍ−２，ＥＮ１＋ｍ−１，ＡＭＱＰＮ１＋ｍ−２，ＡＭＱＰＮ１＋ｍ−１）
であり、かつ
φＲ（Ｎ１＋ｍ）＝Ｓｅａｒｃｈ（ＡＭＱＰＮ１＋ｍ，φＲ（Ｎ１＋ｍ−１））
であると定義する。
所望されるＡＭＱＰ、およびφＲの何らかの既定値が与えられると、所望されるＡＭＱＰに対応するφＲは、一部の実施形態では、以下の擬似コードを有するＳｅａｒｃｈ関数を使用して求められることが可能である。すなわち、
Search(AMQP,φＲ)
{
interpolateSuccess=True; //別の設定が行われるまで

reLumaSad0=refLumaSad1=refLumaSadx=φＲ;
errorInAvgMaskedQp=GetAvgMaskedQp(nominalQp,refLumaSadx)-AMQP;
if(errorInAvgMaskedQp＞0){
ntimes=0;
do{
ntimes++;
refLumaSad0=(refLumaSad0*1.1);
errorInAvgMaskedQp=GetAvgMaskedQp(nominalQp,refLumaSad0)-amqp;
}while(errorInAvgMaskedQp＞0 && ntimes＜10);
if(ntimes＞=10) interpolateSuccess=False;
}
else{ //errorInAvgMaskedQp＜0
ntimes=0;
do{
ntimes++;
refLumaSad1=(refLumaSad1*0.9);
errorInAvgMaskedQp=GetAvgMaskedQp(nominalQp,refLumaSad1)-amqp;
}while(errorInAvgMaskedQp＜0 && ntimes＜10);
if(ntimes＞=10) interpolateSuccess=False;
}
ntimes=0;
do{
ntimes++;
refLumaSadx=(refLumaSad0+refLumaSad1)/2; //単純な連続近似
errorInAvgMaskedQp=GetAvgMaskedQp(nominalQp,refLumaSadx)-AMQP;
if(errorInAvgMaskedQp＞0) refLumaSad1=refLumaSadx;
else refLumaSad0=refLumaSadx;
}while(ABS(errorInAvgMaskedQp)＞0.05 && ntimes＜12);
if(ntimes＞=12) interpolateSuccess=False;
}
if(interpolateSuccess) return refLumaSadx;
else return φＲ
}
である。
以上の擬似コードにおいて、数値１０、１２、および０．０５は、適切に選択された閾値で置き換えられてもよい。
フレームシーケンスの符号化を介して、次のパス（パスｐ＋１）に関する基準マスキング強度を計算した後、プロセス１００は、１３２に進み、次のパス（すなわち、ｐ：＝ｐ＋１）を開始する。各符号化パスｐ中の各フレームｋ、および各マクロブロックｍに関して、プロセスは、各フレームｋに関する特定の量子化パラメータＭＱＰｐ（ｋ）、ならびにフレームｋ内の個々のマクロブロックｍに関する特定の量子化パラメータＭＱＰＭＢ（ｐ）（ｋ，ｍ）を計算する（１３２で）。所与の名目量子化パラメータＱＰＮｏｍ（ｐ）、および基準マスキング強度φＲ（ｐ）に関するパラメータＭＱＰｐ（ｋ）およびＭＱＰＭＢ（ｐ）（ｋ，ｍ）の計算は、セクションＩＩＩにおいて説明されている（ただし、ＭＱＰｐ（ｋ）およびＭＱＰＭＢ（ｐ）（ｋ，ｍ）は、セクションＩＩＩにおいて前述した関数、ＣａｌｃＭＱＰおよびＣａｌｃＭＱＰｆｏｒＭＢを使用することによって計算される）。１３２の間の第１のパス中、基準マスキング強度は、１３０において計算されたばかりの基準マスキング強度である。また、第２の探索段階中、名目ＱＰも、第２の探索段階全体を通して、一定のままである。一部の実施形態では、第２の探索段階中の名目ＱＰは、第１の探索段階中に最良の符号化ソリューションをもたらした（すなわち、最低のビットレート誤差の符号化ソリューションをもたらした）名目ＱＰである。
１３２の後、プロセスは、１３０で計算された量子化パラメータを使用してフレームシーケンスを符号化する（１３５で）。１３５の後、プロセスは、第２の探索段階を終了させるべきかどうかを判定する（１４０で）。異なる諸実施形態は、パスｐの終りに第２の探索段階を終了させることに関して、異なる基準を使用する。そのような基準の実施例は、以下のとおりである。すなわち、
・｜Ｅｐ｜＜εの場合。ただし、εは、最終ビットレートの許容誤差である。
・パスの回数が、許容されるパスの最大回数を超えている場合。
一部の実施形態は、以上の終了条件のすべてを使用する可能性があるのに対して、他の諸実施形態は、これらの条件の一部だけを使用する可能性がある。さらに別の諸実施形態は、第１の探索段階を終了させることに関して、他の終了条件を使用することが可能である。
プロセス１００は、第２の探索段階を終了させるべきでないと判定すると（１４０において）、１３０に戻り、符号化の次のパスに関する基準マスキング強度を再計算する。１３０から、プロセスは、１３２に進んで、量子化パラメータを計算し、次に、１３５に進んで、その新たに計算された量子化パラメータを使用することにより、ビデオシーケンスを符号化する。
他方、プロセスは、第２の探索段階を終了させることを決めた場合（１４０で）、１４５に進む。１４５で、プロセス１００は、最後のパスｐからのビットストリームを最終結果として保存し、その後、終了する。
［Ｖ．復号器入力バッファアンダフロー制御］
本発明の一部の実施形態は、復号器によって使用される入力バッファの使用に関して最適な符号化ソリューションを特定するため、ビデオシーケンスの目標ビットレートに対する様々な符号化を調べるマルチパス符号化プロセスを提供する。一部の実施形態は、このマルチパスプロセスは、図１のマルチパス符号化プロセス１００に従う。
復号器入力バッファ（「復号器バッファ」）の使用率は、符号化されたイメージシーケンス（例えば、フレーム）の復号化中、ある程度変動する。これは、符号化されたイメージのサイズの変動、復号器が符号化されたデータを受け取る速度、復号器バッファのサイズ、復号化プロセスの速度、その他の、様々な要因のためである。
復号器バッファアンダフローとは、イメージが、復号器側に完全に到着する前に、復号器が、次のイメージを復号化する準備ができている状況を意味する。一部の実施形態のマルチパス符号器は、復号器バッファをシミュレートし、シーケンス内の選択されたセグメントを再符号化して、復号器バッファアンダフローを防止する。
図２は、本発明の一部の実施形態のコーデックシステム２００を概念的に示す。このシステムは、復号器２０５および符号器２１０を含む。この図では、符号器２１０は、符号器２１０が、復号器２０５の同様のコンポーネントの動作をシミュレートすることを可能にする、いくつかのコンポーネントを有する。
具体的には、復号器２０５は、入力バッファ２１５と、復号化プロセス２２０と、出力バッファ２２５とを有する。符号器２１０は、シミュレートされた復号器入力バッファ２３０、シミュレートされた復号化プロセス２３５、およびシミュレートされた復号器出力バッファ２４０を保持することにより、以上のモジュールをシミュレートする。本発明の説明を妨げないように、図２は、復号化プロセス２２０および符号化プロセス２４５を単一のブロックとして示すように単純化されている。また、一部の実施形態では、シミュレートされた復号化プロセス２３５、およびシミュレートされた復号器出力バッファ２４０は、バッファアンダフロー管理のために利用されず、したがって、この図では、単に例示のために示されている。
復号器は、入力バッファ２１５を保持して、入ってくる符号化イメージの速度および到着時間の変動を平滑化する。復号器に、データがなくなった（アンダフロー）場合、または入力バッファがいっぱいになった場合（オーバフロー）、ピクチャ復号化が止まるので、または入ってくるデータが破棄されるので、目に見える復号化の不連続が存在する。これらのケースのいずれも、望ましくない。
アンダフロー条件を解消するために、符号器２１０は、一部の実施形態では、イメージシーケンスをまず符号化し、それらをストレージ２５５の中に格納する。例えば、符号器２１０は、マルチパス符号化プロセス１００を使用して、イメージシーケンスの第１の符号化を獲得する。次に、符号器２１０は、復号器入力バッファ２１５をシミュレートし、バッファアンダフローを生じさせるイメージを再符号化する。すべてのバッファアンダフロー条件が取り除かれた後、再符号化されたイメージが、ネットワーク接続（インターネット、ケーブル、ＰＳＴＮ線、その他）、非ネットワークの直接接続、媒体（ＤＶＤ、その他）、その他であることが可能な接続２６０を介して、復号器２０５に供給される。
図３は、一部の実施形態の符号器の符号化プロセス３００を示す。このプロセスは、復号器バッファがアンダフローになることを生じさせない最適な符号化ソリューションを見出そうと試みる。図３に示されるとおり、プロセス３００は、所望される目標ビットレートを満たすイメージシーケンスの第１の符号化（例えば、シーケンス内の各イメージに関する平均ビットレートが、所望される平均目標ビットレートを満たす）を特定する（３０２で）。例えば、プロセス３００は、マルチパス符号化プロセス１００を使用して（３０２で）、イメージシーケンスの第１の符号化を得ることが可能である。
３０２の後、符号化プロセス３００は、接続速度（すなわち、復号器が、符号化されたデータを受け取る速度）、復号器入力バッファのサイズ、符号化されたイメージのサイズ、復号化プロセス速度、その他などの、様々な要因を考慮することにより、復号器入力バッファ２１５をシミュレートする（３０５で）。３１０で、プロセス３００は、符号化されたイメージのセグメントが復号器入力バッファをアンダフローさせるかどうかを判定する。アンダフロー条件を判定する（その後、解消させる）のに符号器が使用する技術は、後段でさらに説明する。
符号化されたイメージが、アンダフロー条件を生じさせないとプロセス３００が判定した場合（３１０で）、プロセスは、終了する。他方、符号化されたイメージのいずれかのセグメント内にバッファアンダフロー条件が存在するとプロセス３００が判定した場合（３１０で）、プロセス３００は、符号化パラメータを、先行する符号化プロセスからのそれらのパラメータの値に基づき、改良する（３１５で）。次に、プロセスは、アンダフローを伴うセグメントを再符号化して（３２０で）、セグメントのビットサイズを小さくする。セグメントを再符号化した後、プロセス３００は、そのセグメントを調べて（３２５で）、アンダフロー条件が解消されたかどうかを判定する。
セグメントが、依然として、アンダフローを生じさせるとプロセスが判定した場合（３２５で）、プロセス３００は、３１５に進んで、アンダフローを解消するように符号化パラメータをさらに改良する。一方、セグメントが、アンダフローを全く生じさせないとプロセスが判定した場合（３２５で）、プロセスは、ビデオシーケンスを再検査して再符号化するための開始点を、３２０における前回の繰り返しにおいて再符号化されたセグメントの終りの後のフレームとして指定する（３３０で）。次に、３３５で、プロセスは、３１５および３２０で指定されたアンダフローセグメントの後に続く最初のＩＤＲフレームまで（かつ、そのフレームを除外して）、３３０で指定されたビデオシーケンスの部分を再符号化する。３３５の後、プロセスは、３０５に戻り、復号器バッファをシミュレートして、ビデオシーケンスの残りの部分が、再符号化の後、依然として、バッファアンダフローを生じさせるかどうかを判定する。３０５からのプロセス３００の流れを、以上に説明した。
＜Ａ．符号化されたイメージのシーケンス内のアンダフローセグメントを特定すること＞
前述したとおり、符号器は、復号器バッファ条件をシミュレートして、符号化された、または再符号化されたイメージシーケンス内のいずれかのセグメントが、復号器バッファの中でアンダフローを生じさせるかどうかを判定する。一部の実施形態では、符号器は、符号化されたイメージのサイズ、帯域幅などのネットワーク条件、復号器要因（例えば、入力バッファサイズ、イメージを除去するのにかかる初期時間および名目時間、復号化プロセス時間、各イメージの表示時間、その他）を考慮するシミュレーションモデルを使用する。
一部の実施形態では、ＭＰＥＧ−４ ＡＶＣ符号化ピクチャバッファ（ＣＰＢ）モデルが、復号器入力バッファの状態をシミュレートするのに使用される。ＣＰＢは、ＭＰＥＧ−４ Ｈ．２６４標準において、仮想参照デコーダ（Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ）（ＨＲＤ）のシミュレートされた入力バッファを指すのに使用される用語である。ＨＲＤは、符号化プロセスが、生成することができる適合するストリームの変動性に対する制約を指定する仮想の復号器モデルである。ＣＰＢモデルは、周知であるが、便宜上、以下のセクション１で説明する。ＣＰＢおよびＨＲＤのより詳細な説明は、Ｄｒａｆｔ ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ａｎｄ Ｆｉｎａｌ Ｄｒａｆｔ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄ ｏｆ Ｊｏｉｎｔ Ｖｉｄｅｏ Ｓｐｅｃｉｆｉｃａｔｉｏｎ（ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４／ＩＳＯ／ＩＥＣ １４４９６−１０ ＡＶＣ）で見ることができる。
１．ＣＰＢモデルを使用して、復号器バッファをシミュレートすること
以下の段落は、一部の実施形態において、ＣＰＢモデルを使用して、復号器入力バッファがどのようにシミュレートされるかを説明する。イメージｎの最初のビットが、ＣＰＢに入り始める時間は、初期到着時間ｔａｉ（ｎ）と呼ばれ、以下のとおり導出される。すなわち、
・イメージが、最初のイメージ（すなわち、イメージ０）である場合、ｔａｉ（０）＝０であり、
・イメージが、符号化されている、または再符号化されているシーケンス内の最初のイメージではない場合（すなわち、ｎ＞０である場合）、ｔａｉ（ｎ）＝Ｍａｘ（ｔａｆ（ｎ−１），ｔａｉ，ｅａｒｌｉｅｓｔ（ｎ））
である。
上の数式において、
・ｔａｉ，ｅａｒｌｉｅｓｔ（ｎ）＝ｔｒ，ｎ（ｎ）−ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ
である。ただし、ｔｒ，ｎ（ｎ）は、以下に指定されるＣＰＢからのイメージｎの名目除去時間であり、ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙは、初期バッファリング期間である。
イメージｎに関する最終到着時間は、
ｔａｆ（ｎ）＝ｔａｉ（ｎ）＋ｂ（ｎ）／ＢｉｔＲａｔｅ
によって導出される。ただし、ｂ（ｎ）は、イメージｎのサイズ（単位はビット）である。
一部の実施形態では、符号器は、Ｈ．２６４規格におけるように、ビットストリームのオプションの部分（オプショナルパート）から名目除去時間を読み取る代わりに、以下に説明されるとおり、名目除去時間の独自の計算を行う。イメージ０に関して、ＣＰＢからのイメージの名目除去時間は、
ｔｒ，ｎ（０）＝ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ
によって指定される。
イメージｎ（ｎ＞０）に関して、ＣＰＢからのイメージの名目除去時間は、
ｔｒ，ｎ（ｎ）＝ｔｒ，ｎ（０）＋ｓｕｍｉ＝０乃至ｎ−１（ｔｉ）
によって指定される。ただし、ｔｒ，ｎ（ｎ）は、イメージｎの名目除去時間であり、ｔｉは、ピクチャｉに関する表示時間である。
イメージｎの除去時間は、以下のとおり指定される。
・ｔｒ，ｎ（ｎ）＞＝ｔａｆ（ｎ）である場合、ｔｒ（ｎ）＝ｔｒ，ｎ（ｎ）であり、
・ｔｒ，ｎ（ｎ）＜ｔａｆ（ｎ）である場合、ｔｒ（ｎ）＝ｔａｆ（ｎ）である。
イメージｎのサイズ、ｂ（ｎ）が、余りにも大きいため、名目除去時間における除去が妨げられることを示すのは、この後者（ｔｒ（ｎ）＝ｔａｆ（ｎ））のケースである。
２．アンダフローセグメントの検出
前のセクションで説明されるとおり、符号器は、復号器入力バッファの状態をシミュレートし、所与の時点におけるバッファ内のビット数を獲得することができる。或いは、符号器は、その名目除去時間と最終到着時間の差（すなわち、ｔｂ（ｎ）＝ｔｒ，ｎ（ｎ）−ｔａｆ（ｎ））を介して、それぞれの個別のイメージが、復号器入力バッファの状態をどのように変化させるかを追跡することができる。ｔｂ（ｎ）が、０未満である場合、バッファは、時点ｔｒ，ｎ（ｎ）と時点ｔａｆ（ｎ）の間にアンダフローを来たしており、場合によっては、ｔｒ，ｎ（ｎ）より前、およびｔａｆ（ｎ）の後にもアンダフローを来たしている。
アンダフローに直接に関わっているイメージは、ｔｂ（０）が、０未満であるかどうかを試験することにより、容易に見出すことができる。しかし、０未満のｔｂ（ｎ）を有するイメージは、必ずしもアンダフローを生じさせるわけではなく、逆に、アンダフローを生じさせるイメージは、０未満のｔｂ（ｎ）を有さない可能性もある。一部の実施形態は、アンダフローセグメントを次のように定義する。すなわち、アンダフローがその最悪の点に達するまで、復号器入力バッファを絶えず空にすることによってアンダフローを生じさせる、一続きの連続するイメージ（復号化順の）として定義する。
図４は、一部の実施形態における、イメージ数に対する、名目除去時間と最終イメージ到着の差ｔｂ（ｎ）のプロットである。このプロットは、１５００個の符号化されたイメージのシーケンスに関して描かれている。図４ａは、アンダフローセグメントを示し、矢印が、そのセグメントの始まりと終りを示している。簡明にするため、矢印によって明示されていない、第１のアンダフローセグメントの後に出現する別のアンダフローセグメントが、図４ａに存在することに留意されたい。
図５は、３０５におけるアンダフロー検出動作を実行するのにエンコーダが使用するプロセス５００を示す。プロセス５００は、前述したとおり、復号器入力バッファの状態をシミュレートすることにより、各イメージの最終到着時間、ｔａｆ、および名目除去時間、ｔｒ，ｎをまず判定する（５０５で）。このプロセスは、バッファアンダフロー管理の繰り返しプロセス中に数回、呼び出されることが可能であるので、あるイメージ番号を開始点として受け取り、その与えられた開始イメージからイメージシーケンスを調べることに留意されたい。明らかに、最初の繰り返しに関して、開始点は、シーケンス内の最初のイメージである。
５１０で、プロセス５００は、復号器入力バッファにおける各イメージの最終到着時間を、復号器によるそのイメージの名目除去時間と比べる。名目除去時間より後の最終到着時間を有するイメージが全く存在しないとプロセスが判定した（すなわち、アンダフロー条件は、全く存在しない）場合、プロセスは、終了する。他方、最終到着時間が、名目除去時間より後であるイメージが見つかった場合、プロセスは、アンダフローが存在すると判定し、５１５に進んで、アンダフローセグメントを識別する。
５１５で、プロセス５００は、アンダフロー条件が改善し始める（すなわち、ｔｂ（ｎ）が、一続きのイメージにわたってさらに負にならない）次の大域最小値まで、復号器バッファが、絶えず空にされることが始まるイメージのセグメントとして、アンダフローセグメントを識別する。次いで、プロセス５００は、終了する。一部の実施形態では、アンダフローセグメントの始まりは、関連するフレーム間符号化されたイメージセットの開始を示すフレーム内符号化されたイメージであるＩフレームで始まるように、さらに調整される。アンダフローを生じさせる１つまたは複数のセグメントが特定されると、符号器は、そのアンダフローを解消することに取りかかる。以下のセクションＢが、単一セグメントのケース（すなわち、符号化されたイメージのシーケンス全体が、単一のアンダフローセグメントだけを含む）におけるアンダフローの解消を説明する。その後、セクションＣが、マルチセグメントのアンダフローのケースに関するアンダフローの解消を説明する。
＜Ｂ．単一セグメントのアンダフローの解消＞
図４（ａ）を参照すると、ｔｂ（ｎ）対ｎの曲線が、下降する傾きでｎ軸と１回だけ交差する場合、シーケンス全体の中に１つだけのアンダフローセグメントが存在する。アンダフローセグメントは、ゼロ交差点より前の最も近い局所最大値で始まり、ゼロ交差点とそのシーケンスの終りの間の、次の大域最小値で終わる。バッファが、アンダフローから回復する場合、セグメントの終点の後には、上昇する傾きを持つ曲線による別のゼロ交差点が続き得る。
図６は、一部の実施形態において、単一のイメージセグメント内でアンダフロー条件を解消するのに符号器が利用する（３１５、３２０、および３２５で）プロセス６００を示す。６０５で、プロセス６００は、バッファに入る入力ビットレートと、セグメントの終りで見られる最長の遅延（例えば、最小ｔｂ（ｎ））との積を計算することにより、ビットの総数を推定して、アンダフローセグメント内の（ΔＢ）を小さくする。
次に、６１０で、プロセス６００は、前回の符号化パス（または直近の複数回のパス）からの、現在のセグメント内の平均のマスキングされたフレームＱＰ（ＡＭＱＰ）、および総ビット数を使用して、そのセグメントに関する所望されるビット数、ＢＴ＝Ｂ−ΔＢｐを得るための所望されるＡＭＱＰを推定する。ただし、ｐは、そのセグメントに関するプロセス６００の現在の繰り返し回数である。その繰り返しが、特定のセグメントに関するプロセス６００の最初の繰り返しである場合、ＡＭＱＰおよび総ビット数は、３０２で特定された初期（最初の）符号化ソリューションから導出された、そのセグメントに関するＡＭＱＰおよび総ビット数である。他方、その繰り返しが、プロセス６００の最初の繰り返しではない場合、それらのパラメータは、プロセス６００の前回のパス、または前の数回のパスにおいて得られた符号化ソリューション、または符号化ソリューション群から導出されることが可能である。
次に、６１５で、プロセス６００は、所望されるＡＭＱＰを使用して、マスキング強度φＦ（ｎ）に基づく、平均のマスキングされたフレームＱＰ、ＭＱＰ（ｎ）を変更して、より多くのマスキングを許容することができるイメージが、より多くのビット削減を受けるようにする。次に、プロセスは、３１５で定義されたパラメータに基づき、ビデオセグメントを再符号化する（６２０で）。次に、プロセスは、セグメントを調べて（６２５で）、アンダフロー条件が解消されたかどうかを判定する。図４（ｂ）は、プロセス６００が、アンダフローセグメントに適用されて、そのセグメントを再符号化した後の、図４（ａ）のアンダフロー条件の解消を示す。アンダフロー条件が解消されると、プロセスは、終了する。それ以外の場合、プロセスは、６０５に戻り、総ビットサイズを小さくするように符号化パラメータをさらに調整する。
＜Ｃ．複数のアンダフローセグメントに対するアンダフロー解消＞
シーケンス内に複数のアンダフローセグメントが存在する場合、セグメントの再符号化により、すべての後続のフレームに関するバッファ充満時間、ｔｂ（ｎ）が変わる。変更されたバッファ条件を考慮に入れるのに、符号器は、下降する傾きを有する最初のゼロ交差点から（すなわち、最低のｎで）始めて、一度に１つのアンダフローセグメントを探索する。
アンダフローセグメントは、そのゼロ交差点より前の最も近い局所最大値で始まり、そのゼロ交差点と次のゼロ交差点（あるいは、ゼロ交差がもはや存在しない場合、シーケンスの終り）の間の、次の大域最小値で終わる。１つのセグメントを見出した後、符号器は、そのセグメントの終りにおいてｔｂ（ｎ）を０に設定し、すべての後続のフレームに関してバッファシミュレーションを再び行うことにより、そのセグメントの中のアンダフローを仮想的に除去し、更新されたバッファ充満度を推定する。
次に、符号器は、変更されたバッファ充満度を使用して、次のセグメントを探索することを続ける。すべてのアンダフローセグメントが、前述したとおり、特定されると、符号器は、単一セグメントのケースと全く同じように、他のセグメントとは独立に、各セグメントに関して、ＡＭＱＰを導出し、マスキングされたフレームＱＰを変更する。
他の諸実施形態は、異なる形で実施されることも可能であることが、当業者には認識されよう。例えば、一部の実施形態は、復号器の入力バッファのアンダフローを生じさせる複数のセグメントを特定しない。代わりに、一部の実施形態は、前述したバッファシミュレーションを実行して、アンダフローを生じさせる第１のセグメントを特定する。そのようなセグメントを特定した後、それらの実施形態は、そのセグメントを訂正して、そのセグメントの中のアンダフロー条件を正し、その後、訂正された部分の後から符号化を再開する。シーケンスの残りの部分の符号化の後、それらの実施形態は、次のアンダフローセグメントに関して、そのプロセスを繰り返す。
＜Ｄ．バッファアンダフロー管理の応用例＞
前述した復号器バッファアンダフローに関する技術は、多数の符号化システムおよび復号化システムに適用される。そのようなシステムのいくつかの実施例を以下に説明する。
図７は、ビデオストリーミングサーバ７１０といくつかのクライアント復号器７１５〜７２５を接続するネットワーク７０５を示す。クライアントは、毎秒３００ｋｂや毎秒３Ｍｂなどの、異なる帯域幅を有するリンクを介してネットワーク７０５に接続される。ビデオストリーミングサーバ７１０は、符号器７３０からクライアント復号器７１５〜７２５への符号化されたビデオイメージのストリーミングを制御している。
ストリーミングビデオサーバは、ネットワークにおける最も遅い帯域幅（すなわち、毎秒３００Ｋｂ）、および最小のクライアントバッファサイズを使用して、符号化されたビデオイメージをストリーミングすることを決めることが可能である。そのケースでは、ストリーミングサーバ７１０は、毎秒３００Ｋｂの目標ビットレートに対して最適化された１つだけの符号化されたイメージセットを必要とする。他方、サーバは、異なる帯域幅、および異なるクライアントバッファ条件に対して最適化された、異なる符号化を生成し、格納することができる。
図８は、復号器のアンダフロー管理のための応用例の別の実施例を示す。この実施例では、ＨＤ−ＤＶＤプレーヤ８０５が、ビデオ符号器８１０からの符号化されたビデオデータを格納しているＨＤ−ＤＶＤ８４０から、符号化されたビデオイメージを受け取っている。ＨＤ−ＤＶＤプレーヤ８０５は、入力バッファ８１５と、簡明にするために１つのブロック８２０として示された復号化モジュールセットと、出力バッファ８２５とを有する。
プレーヤ８０５の出力は、ＴＶ８３０またはコンピュータディスプレイ端末装置８３５などのディスプレイデバイスに送られる。ＨＤ−ＤＶＤプレーヤは、非常に高い帯域幅、例えば、毎秒２９．４Ｍｂを有することが可能である。ディスプレイデバイス上で高品質のイメージを維持するため、符号器は、ビデオイメージが次のように符号化されることを確実にする。すなわち、イメージシーケンスにおいて、復号器入力バッファに時間どおり送り届けられることが不可能なほど大きなセグメントが存在しないようにする。
［ＶＩ．コンピュータシステム］
図９は、本発明の一実施形態が実施されるコンピュータシステムを提示する。コンピュータシステム９００は、バス９０５と、プロセッサ９１０と、システムメモリ９１５と、読み取り専用メモリ９２０と、永久記憶デバイス９２５と、入力デバイス群９３０と、出力デバイス群９３５とを含む。バス９０５は、コンピュータシステム９００の多数の内部デバイスを通信するように接続するすべてのシステムバス、周辺バス、およびチップセットバスをひとまとめにして表す。例えば、バス９０５は、プロセッサ９１０を、読み取り専用メモリ９２０、システムメモリ９１５、および永久記憶デバイス９２５と通信するように接続する。
以上の様々なメモリユニットから、プロセッサ９１０は、本発明のプロセスを実行するために、実行されるべき命令、および処理されるべきデータを取り出す。読み取り専用メモリ（ＲＯＭ）９２０が、プロセッサ９１０、ならびにコンピュータシステムの他のモジュール群によって必要とされている静的データおよび命令を格納する。
他方、永久記憶デバイス９２５は、読み取り−書き込みメモリデバイスである。このデバイスは、コンピュータシステム９００がオフである場合でも、命令およびデータを格納する不揮発性メモリユニットである。本発明の一部の実施形態は、大容量記憶デバイス（磁気ディスクまたは光ディスク、ならびにその対応するディスクドライブなどの）を永久記憶デバイス９２５として使用する。
他の諸実施形態は、取り外し可能な記憶デバイス（フロッピー（登録商標）ディスクまたはｚｉｐ（登録商標）ディスク、ならびにその対応するディスクドライブなど）を永久記憶デバイスとして使用する。永久記憶デバイス９２５と同様に、システムメモリ９１５は、読み取り書き込みメモリデバイスである。しかし、記憶デバイス９２５とは異なり、システムメモリは、ランダムアクセスメモリなどの、揮発性読み取り−書き込みメモリである。システムメモリは、プロセッサが、ランタイムに必要とする命令およびデータの一部を格納する。一部の実施形態では、本発明のプロセスは、システムメモリ９１５、永久記憶デバイス９２５、および、読み取り専用メモリ９２０のうちの少なくとも１つの中に格納される。
また、バス９０５は、入力デバイス群９３０および出力デバイス群９３５にも接続する。入力デバイス群は、ユーザが、コンピュータシステムに対して情報を通信し、コマンドを選択することを可能にする。入力デバイス群９３０には、英数字キーボードおよびカーソルコントローラが含まれる。出力デバイス群９３５は、コンピュータシステムによって生成されたイメージを表示する。出力デバイス群には、プリンタ、ならびに陰極線管（ＣＲＴ）または液晶ディスプレイ（ＬＣＤ）などのディスプレイデバイスが含まれる。
最後に、図９に示されるとおり、バス９０５は、コンピュータ９００を、ネットワークアダプタ（図示せず）を介してネットワーク９６５にも接続する。このようにして、コンピュータは、コンピュータのネットワーク（ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、またはイントラネットなど）、またはネットワークのネットワーク（インターネットなど）の一部であることが可能である。コンピュータシステム９００のコンポーネントのいずれか、またはすべてが、本発明に関連して使用されることが可能である。しかし、他の任意のシステム構成が、本発明に関連して使用されることも可能であることが当業者には認識されよう。
本発明を多数の特定の詳細に関連して説明してきたが、本発明は、本発明の趣旨を逸脱することなく、他の特定の形態で実施されることも可能であることが当業者には認識されよう。例えば、復号器入力バッファをシミュレートするＨ２６４の方法を使用することの代わりに、バッファサイズ、バッファの中のイメージの到着時間および除去時間、ならびにイメージの復号化時間および表示時間を考慮する他のシミュレーション方法を使用してもよい。
前述したいくつかの実施形態は、平均の除去されたＳＡＤを計算して、マクロブロック内のイメージ変化の指示を得た。しかし、他の諸実施形態は、異なる形でイメージ変化を識別することが可能である。例えば、一部の実施形態は、マクロブロックのピクセルの予期されるイメージ値を予測することが可能である。それらの実施形態は、次に、その予測値をマクロブロックのピクセルの輝度値から引き、それらの減算の絶対値を合計することにより、マクロブロックＳＡＤを生成する。一部の実施形態では、予測値は、そのマクロブロック内のピクセルの値だけでなく、近隣のマクロブロックの１つまたは複数のマクロブロックの中のピクセルの値にも基づく。
また、前述した諸実施形態は、導出された空間的マスキング値および時間的マスキング値を直接に使用する。他の諸実施形態は、連続する空間的マスキング値および連続する時間的マスキング値のうちの少なくとも一方に平滑化フィルタリングを適用してから、それらの値を使用することを、ビデオイメージを介してそれらの値の一般的な傾向を選び出すために行う。このため、本発明は、以上の例示的な詳細によって限定されないことが、当業者には理解されよう。

Claims (27)

  1. 複数のイメージを含んだビデオシーケンスを符号化する方法であって、
    各々の特定のイメージ属性が少なくとも特定のイメージの特定の一部分に関する複雑性を定量化する、複数のイメージ属性を特定するステップと、
    前記ビデオシーケンスのイメージセットにおいて認識可能であろう符号化アーチファクトの量を定量化する基準視覚マスキング強度を特定するステップと、
    前記特定された複数のイメージ属性と、前記基準視覚マスキング強度と、名目量子化パラメータとに基づいて、前記複数のイメージを符号化するための量子化パラメータを特定するステップと、
    前記特定された量子化パラメータに基づいて、前記複数のイメージを符号化するステップと、
    前記複数のイメージ属性を特定するステップと、前記基準視覚マスキング強度を特定するステップと、前記量子化パラメータを特定するステップと、前記符号化するステップとを、繰り返し実行して前記符号化を最適化するステップと、
    を備え、
    前記繰り返すステップでの、複数の異なる繰り返しにおいて、複数の異なる基準視覚マスキング強度が使用される
    ことを特徴とする方法。
  2. 前記複数のイメージ属性は、各々のイメージの少なくとも一部分に関する視覚マスキング強度であり、
    前記視覚マスキング強度は、ビデオシーケンスが前記方法に従って符号化され復号化された後に、前記ビデオシーケンスの視聴者にとって認識できない符号化アーチファクトの量を推定するためのものである
    ことを特徴とする請求項１に記載の方法。
  3. 前記複数のイメージ属性は、各々のイメージの少なくとも一部分に関する視覚マスキング強度であり、
    イメージの一部分に関する視覚マスキング強度は、前記イメージの前記一部分に関する複雑性を定量化し、
    イメージの一部分に関する前記複雑性を定量化する際に、前記視覚マスキング強度は、前記符号化するステップの結果生じるものの符号化されたイメージが復号化された後に視認可能な歪みは発生しないような圧縮アーチファクトの量に関する指標を提供する
    ことを特徴とする請求項１に記載の方法。
  4. 複数の符号化パスを用いて複数のイメージを含んだビデオシーケンスを符号化する方法であって、
    第１の符号化パスのために、ビデオ符号器が、前記ビデオシーケンスのイメージセットにおいて認識可能であろう符号化アーチファクトの量を定量化する第１の基準視覚マスキング強度を特定するステップと、
    前記第１の符号化パスにおいて各イメージを符号化するステップであって、（ｉ）前記第１の基準視覚マスキング強度と当該イメージにおいて認識され得る符号化アーチファクトの量を定量化するイメージ固有の視覚マスキング強度とを用いて、イメージ固有の量子化パラメータを生成し、（ｉｉ）前記第１の符号化パスにおいて生成された前記イメージ固有の量子化パラメータを用いて当該イメージに対して量子化操作を実行することにより当該イメージを符号化することにより、各イメージを符号化するステップと、
    第２の符号化パスのために、前記第１の基準視覚マスキング強度とは異なる第２の基準視覚マスキング強度を特定するステップと、
    前記第２の符号化パスにおいて各イメージを符号化するステップであって、（ｉ）前記第２の基準視覚マスキング強度と当該イメージの前記イメージ固有の視覚マスキング強度とを用いて、イメージ固有の量子化パラメータを生成し、（ｉｉ）前記第２の符号化パスにおいて生成された前記イメージ固有の量子化パラメータを用いて当該イメージに対して量子化操作を実行することにより当該イメージを符号化することにより、各イメージを符号化するステップと、
    を備え、
    前記ビデオシーケンス中の前記イメージセットの各イメージについて、前記第２の符号化パスにおいて生成される前記イメージ固有の量子化パラメータは、前記第１の符号化パスにおいて生成される前記イメージ固有の量子化パラメータとは異なることを特徴とする方法。
  5. 前記複数のイメージに関して許容できる符号化が識別されると前記複数の符号化パスを停止するステップをさらに備えることを特徴とする請求項４に記載の方法。
  6. 前記複数のイメージに関して許容できる符号化は、前記ビデオシーケンスの符号化に関する目標ビットレートに関して特定の範囲内に収まる、前記複数のイメージの符号化であることを特徴とする請求項５に記載の方法。
  7. イメージのための前記イメージ固有の視覚マスキング強度は、前記イメージ内に定義された複数のピクセル領域に関する動き補償された誤差信号の絶対値の総和に基づいて導出されることを特徴とする請求項４に記載の方法。
  8. イメージのための前記イメージ固有の視覚マスキング強度は、前記イメージ内の平均ピクセル輝度に基づいて導出されることを特徴とする請求項４に記載の方法。
  9. イメージのための前記イメージ固有の視覚マスキング強度は、イメージ間の動きに起因する耐えられ得る歪みの量を定量化する時間的属性に基づいて導出されることを特徴とする請求項４に記載の方法。
  10. 前記第２の基準視覚マスキング強度は、前記第１の符号化パスからのビットレート誤差に基づくことを特徴とする請求項４に記載の方法。
  11. 前記第２の基準視覚マスキング強度は、前記第１の符号化パスにおける前記複数のイメージに亘るイメージ固有の量子化パラメータの平均に基づくことを特徴とする請求項４に記載の方法。
  12. イメージのための前記イメージ固有の視覚マスキング強度は、前記イメージ内の平均ピクセル輝度のパワー関数に基づいて導出されることを特徴とする請求項４に記載の方法。
  13. 各イメージに関する前記イメージ固有の量子化パラメータは、当該イメージの全体よりも小さい、当該イメージの一部分のためのものであることを特徴とする請求項４に記載の方法。
  14. 各イメージに関する前記視覚マスキング強度は、当該イメージの全体よりも小さい、当該イメージの一部分のためのものであることを特徴とする請求項４に記載の方法。
  15. 各イメージに関する前記イメージ固有の量子化パラメータは、当該イメージの全体のためのものであることを特徴とする請求項４に記載の方法。
  16. 各イメージに関する前記視覚マスキング強度は、当該イメージの全体のためのものであることを特徴とする請求項４に記載の方法。
  17. ビデオイメージのシーケンスを符号化する方法であって、
    複数の符号化パラメータを用いて前記ビデオイメージのシーケンスを符号化することにより、現在の符号化ソリューションを生成するステップと、
    前記現在の符号化ソリューションによって符号化された前記ビデオイメージのシーケンスの中から複数のビデオイメージを特定するステップであって、当該複数のビデオイメージの各々は、符号化中にデコーダ入力バッファをシミュレートするために使用される参照デコーダの入力バッファからの除去時刻よりも時間的に後である前記入力バッファへの到着時刻を持っていて前記入力バッファのアンダフローを連続的に悪化させるものである、ステップと、
    前記複数のビデオイメージの符号化パラメータのセットを調整するステップと、
    現在の符号化ソリューションとして指定される新たな符号化ソリューションを生成するために、前記調整された符号化パラメータのセットを用いて、前記複数のビデオイメージを符号化するステップと、
    前記ビデオイメージのシーケンスの符号化が前記参照デコーダの前記入力バッファのアンダフローを引き起こさなくなるまで、前記特定するステップ、前記調整するステップ、及び前記新たな符号化ソリューションを生成するために符号化する前記ステップを繰り返すステップと、
    を備えることを特徴とする方法。
  18. 前記新たな符号化ソリューションが入力バッファのアンダフローを引き起こさない場合に、前記アンダフローを連続的に悪化させていた前記複数のビデオイメージの後の最初のイメージから始まる前記ビデオイメージのシーケンスの残りを符号化するステップ
    を更に備えることを特徴とする請求項１７に記載の方法。
  19. 前記ビデオイメージのシーケンスを符号化する前記ステップは、
    前記参照デコーダの参照デコーダ入力バッファを用いて前記デコーダの前記デコーダ入力バッファをシミュレートするステップと、
    前記参照デコーダの前記入力バッファのアンダフローを防止しつつ前記ビデオイメージのシーケンスを符号化するためのビット数を選択するために前記シミュレーションを利用するステップと、
    を含む
    ことを特徴とする請求項１７に記載の方法。
  20. 前記デコーダ入力バッファをシミュレートする前記ステップは、前記デコーダが符号化されたデータを受信するネットワークの状態を考慮するステップを更に含む
    ことを特徴とする請求項１９に記載の方法。
  21. 前記デコーダ入力バッファをシミュレートする前記ステップは、前記デコーダ入力バッファのサイズを考慮するステップを更に含む
    ことを特徴とする請求項１９に記載の方法。
  22. 前記デコーダ入力バッファをシミュレートする前記ステップは、前記デコーダ入力バッファからの初期除去遅延を考慮するステップを更に含む
    ことを特徴とする請求項１９に記載の方法。
  23. 前記複数のビデオイメージの各符号化のための目標ビットレートを満たすステップを更に備え、
    前記目標ビットレートを満たすことは複数の品質基準のうちの１つであり、
    生成される各符号化ソリューションは、前記複数の品質基準の全てを満たす
    ことを特徴とする請求項１７に記載の方法。
  24. デコーダの入力バッファのアンダフローを除去する方法であって、
    パラメータセットを用いてイメージのシーケンスを符号化するステップと、
    前記イメージのシーケンスの各イメージについて、
    前記入力バッファに対する前記イメージの到着時刻を特定するステップと、
    前記入力バッファからの前記イメージの除去時刻を特定するステップと、
    前記イメージの前記到着時刻と前記除去時刻とを比較するステップと、
    を備え、更に、
    前記イメージのシーケンスの中から複数のイメージを特定するステップであって、当該複数のイメージの各々は、前記イメージの除去時刻よりも時間的に後である前記イメージの到着時刻を持つことで前記アンダフローに寄与するものである、ステップと、
    前記入力バッファの前記アンダフローを除去するために、前記パラメータセットを調整し、当該調整されたパラメータセットを用いて前記特定された複数のイメージを符号化することを繰り返すステップと、
    を備えることを特徴とする方法。
  25. Ｉフレームから開始するように前記複数のイメージを調整するステップを更に備える
    ことを特徴とする請求項２４に記載の方法。
  26. 少なくとも１つのプロセッサによって実行可能なコンピュータプログラムを格納したコンピュータ可読媒体であって、前記コンピュータプログラムは請求項１乃至２５のいずれか１項に記載の方法を実施する命令セットを含むことを特徴とするコンピュータ可読媒体。
  27. 請求項１乃至２５のいずれか１項に記載の方法の各ステップを実施する手段を含むことを特徴とするコンピュータシステム。
JP2011052098A 2004-06-27 2011-03-09 マルチパスのビデオ符号化 Expired - Fee Related JP5318134B2 (ja)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US58341804P 2004-06-27 2004-06-27
US60/583,418 2004-06-27
US64391805P 2005-01-09 2005-01-09
US60/643,918 2005-01-09
US11/118,604 2005-04-28
US11/118,616 2005-04-28
US11/118,616 US8406293B2 (en) 2004-06-27 2005-04-28 Multi-pass video encoding based on different quantization parameters
US11/118,604 US8005139B2 (en) 2004-06-27 2005-04-28 Encoding with visual masking

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2007518338A Division JP4988567B2 (ja) 2004-06-27 2005-06-24 マルチパスのビデオ符号化

Publications (3)

Publication Number Publication Date
JP2011151838A JP2011151838A (ja) 2011-08-04
JP2011151838A5 JP2011151838A5 (ja) 2012-05-10
JP5318134B2 true JP5318134B2 (ja) 2013-10-16

Family

ID=35783274

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2007518338A Expired - Fee Related JP4988567B2 (ja) 2004-06-27 2005-06-24 マルチパスのビデオ符号化
JP2011052098A Expired - Fee Related JP5318134B2 (ja) 2004-06-27 2011-03-09 マルチパスのビデオ符号化

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2007518338A Expired - Fee Related JP4988567B2 (ja) 2004-06-27 2005-06-24 マルチパスのビデオ符号化

Country Status (6)

Country Link
EP (1) EP1762093A4 (ja)
JP (2) JP4988567B2 (ja)
KR (3) KR100909541B1 (ja)
CN (3) CN102833539B (ja)
HK (1) HK1101052A1 (ja)
WO (1) WO2006004605A2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7042943B2 (en) 2002-11-08 2006-05-09 Apple Computer, Inc. Method and apparatus for control of rate-distortion tradeoff by mode selection in video encoders
US8406293B2 (en) 2004-06-27 2013-03-26 Apple Inc. Multi-pass video encoding based on different quantization parameters
US8005139B2 (en) 2004-06-27 2011-08-23 Apple Inc. Encoding with visual masking
US8208536B2 (en) 2005-04-28 2012-06-26 Apple Inc. Method and apparatus for encoding using single pass rate controller
KR100918499B1 (ko) * 2007-09-21 2009-09-24 주식회사 케이티 멀티 패스 인코딩 장치 및 그 방법
WO2009045683A1 (en) * 2007-09-28 2009-04-09 Athanasios Leontaris Video compression and tranmission techniques
EP2101503A1 (en) * 2008-03-11 2009-09-16 British Telecommunications Public Limited Company Video coding
US8908758B2 (en) 2010-01-06 2014-12-09 Dolby Laboratories Licensing Corporation High performance rate control for multi-layered video coding applications
CA2798008C (en) 2010-05-06 2015-10-20 Nippon Telegraph And Telephone Corporation Method for controlling video encoding if a decoder underflow condition is detected
BR112012028184A2 (pt) 2010-05-07 2016-08-02 Nippon Telegraph & Telephone método de controle de codificação de vídeo, aparelho de codificação de vídeo e programa de codificação de vídeo
RU2527740C2 (ru) 2010-05-12 2014-09-10 Ниппон Телеграф Энд Телефон Корпорейшн Способ управления кодированием видео, устройство кодирования видео и программа кодирования видео
KR101702562B1 (ko) 2010-06-18 2017-02-03 삼성전자 주식회사 멀티미디어 스트림 파일의 저장 파일 포맷, 저장 방법 및 이를 이용한 클라이언트 장치
KR101651027B1 (ko) * 2011-12-23 2016-08-24 인텔 코포레이션 콘텐츠 적응적 고정밀 매크로블록 레이트 제어
US9402082B2 (en) * 2012-04-13 2016-07-26 Sharp Kabushiki Kaisha Electronic devices for sending a message and buffering a bitstream
CN102946542B (zh) * 2012-12-07 2015-12-23 杭州士兰微电子股份有限公司 已编著镜像视频区间码流重新编码及无缝接入方法和系统
EP2952003B1 (en) * 2013-01-30 2019-07-17 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video
US20150071343A1 (en) * 2013-09-12 2015-03-12 Magnum Semiconductor, Inc. Methods and apparatuses including an encoding system with temporally adaptive quantization
US10313675B1 (en) 2015-01-30 2019-06-04 Google Llc Adaptive multi-pass video encoder control
US11153585B2 (en) 2017-02-23 2021-10-19 Netflix, Inc. Optimizing encoding operations when generating encoded versions of a media title
US10715814B2 (en) 2017-02-23 2020-07-14 Netflix, Inc. Techniques for optimizing encoding parameters for different shot sequences
US11166034B2 (en) 2017-02-23 2021-11-02 Netflix, Inc. Comparing video encoders/decoders using shot-based encoding and a perceptual visual quality metric
US10742708B2 (en) 2017-02-23 2020-08-11 Netflix, Inc. Iterative techniques for generating multiple encoded versions of a media title
US10666992B2 (en) 2017-07-18 2020-05-26 Netflix, Inc. Encoding techniques for optimizing distortion and bitrate
CN109756733B (zh) * 2017-11-06 2022-04-12 华为技术有限公司 视频数据解码方法及装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05167998A (ja) * 1991-12-16 1993-07-02 Nippon Telegr & Teleph Corp <Ntt> 画像の符号化制御処理方法
JP3627279B2 (ja) * 1995-03-31 2005-03-09 ソニー株式会社 量子化装置および量子化方法
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
FR2753330B1 (fr) * 1996-09-06 1998-11-27 Thomson Multimedia Sa Procede de quantification pour codage video
JPH10304311A (ja) * 1997-04-23 1998-11-13 Matsushita Electric Ind Co Ltd 映像符号化装置及び映像復号化装置
DE69830979T2 (de) * 1997-07-29 2006-05-24 Koninklijke Philips Electronics N.V. Verfahren und vorrichtung zur videocodierung mit variabler bitrate
US6192075B1 (en) * 1997-08-21 2001-02-20 Stream Machine Company Single-pass variable bit-rate control for digital video coding
JP2001520854A (ja) * 1998-02-20 2001-10-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ピクチャシーケンス符号化方法及び装置
US6278735B1 (en) * 1998-03-19 2001-08-21 International Business Machines Corporation Real-time single pass variable bit rate control strategy and encoder
US6289129B1 (en) * 1998-06-19 2001-09-11 Motorola, Inc. Video rate buffer for use with push dataflow
DE69930216T2 (de) * 1998-10-13 2006-12-07 Matsushita Electric Industrial Co., Ltd., Kadoma Regelung des Rechen- und Speicheraufwands zur Datenfolgekompression in einem Videodekoder
US20020057739A1 (en) * 2000-10-19 2002-05-16 Takumi Hasebe Method and apparatus for encoding video
US6594316B2 (en) * 2000-12-12 2003-07-15 Scientific-Atlanta, Inc. Method and apparatus for adaptive bit rate control in an asynchronized encoding system
US6831947B2 (en) * 2001-03-23 2004-12-14 Sharp Laboratories Of America, Inc. Adaptive quantization based on bit rate prediction and prediction error energy
US7062429B2 (en) * 2001-09-07 2006-06-13 Agere Systems Inc. Distortion-based method and apparatus for buffer control in a communication system
JP3753371B2 (ja) * 2001-11-13 2006-03-08 Ｋｄｄｉ株式会社 動画像圧縮符号化レート制御装置
US7027982B2 (en) * 2001-12-14 2006-04-11 Microsoft Corporation Quality and rate control strategy for digital audio
KR100468726B1 (ko) * 2002-04-18 2005-01-29 삼성전자주식회사 실시간 가변 비트율 제어를 수행하는 부호화 장치 및 방법
JP2004166128A (ja) * 2002-11-15 2004-06-10 Pioneer Electronic Corp 画像情報の符号化方法、符号化装置及び符号化プログラム
KR101017770B1 (ko) * 2003-06-26 2011-02-28 톰슨 라이센싱 슬라이딩 윈도 채널 제약에 부합하는 멀티패스 비디오레이트 제어

Also Published As

Publication number Publication date
EP1762093A4 (en) 2011-06-29
WO2006004605A2 (en) 2006-01-12
KR100909541B1 (ko) 2009-07-27
EP1762093A2 (en) 2007-03-14
WO2006004605B1 (en) 2006-07-13
WO2006004605A3 (en) 2006-05-04
KR20090037475A (ko) 2009-04-15
KR20070011294A (ko) 2007-01-24
CN102833539A (zh) 2012-12-19
KR100997298B1 (ko) 2010-11-29
JP2011151838A (ja) 2011-08-04
CN102833539B (zh) 2015-03-25
CN1926863B (zh) 2012-09-19
CN102833538B (zh) 2015-04-22
CN102833538A (zh) 2012-12-19
KR100988402B1 (ko) 2010-10-18
CN1926863A (zh) 2007-03-07
HK1101052A1 (en) 2007-10-05
JP4988567B2 (ja) 2012-08-01
KR20090034992A (ko) 2009-04-08
JP2008504750A (ja) 2008-02-14

Similar Documents

Publication Publication Date Title
JP5318134B2 (ja) マルチパスのビデオ符号化
US8811475B2 (en) Multi-pass video encoding solution for buffer underflow
US8005139B2 (en) Encoding with visual masking
US20190297347A1 (en) Picture-level rate control for video encoding
US8559501B2 (en) Method and apparatus for adaptively determining a bit budget for encoding video pictures
JP5351040B2 (ja) 映像符号化規格に対応した映像レート制御の改善
US6529631B1 (en) Apparatus and method for optimizing encoding and performing automated steerable image compression in an image coding system using a perceptual metric
JP5180294B2 (ja) ビデオ符号化において、フレームの複雑さ、バッファレベル、およびイントラフレームの位置を利用するバッファベースのレート制御
US20060233237A1 (en) Single pass constrained constant bit-rate encoding
JPH0865677A (ja) 動画像符号化装置
JP2008085673A (ja) 動画像符号化装置及びその方法
US20040233998A1 (en) Methods and apparatus for improving video quality in statistical multiplexing
JP2004328150A (ja) 動画像符号化装置及び方法
JP2000261799A (ja) 可変レート動画像符号化装置
Overmeire et al. Constant quality video coding using video content analysis
JP4329452B2 (ja) 動画像符号化装置、動画像符号化方法、及び、プログラム
JP4379046B2 (ja) 動画像符号化装置及び符号量制御方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110325

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110325

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120321

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121126

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130311

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130709

R150 Certificate of patent or registration of utility model

Ref document number: 5318134

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees