JP5189172B2 - 適応性動き情報コスト推定 - Google Patents
適応性動き情報コスト推定 Download PDFInfo
- Publication number
- JP5189172B2 JP5189172B2 JP2010544390A JP2010544390A JP5189172B2 JP 5189172 B2 JP5189172 B2 JP 5189172B2 JP 2010544390 A JP2010544390 A JP 2010544390A JP 2010544390 A JP2010544390 A JP 2010544390A JP 5189172 B2 JP5189172 B2 JP 5189172B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- cost
- motion vector
- content
- updating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/567—Motion estimation based on rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【技術分野】
【０００１】
［関連する出願およびＰＣＴの地位と利益の請求］
本出願は、発明の名称が「適応性動き情報コスト推定」で、チエン・リーおよびアレクサンドラ・トゥラピスによって、２００8年1月２２日に申請された、同時係属のアメリカ合衆国の仮特許出願Ｎｏ．６１／０２２７８７と関連があり、これについて優先権主張すると共に十分な地位の利益を請求し、これが譲受人に譲渡される（ドルビー研究所のＩＰ法的参照文献Ｎｏ．Ｄ０８００１ ＵＳ０ｌ）。この仮特許出願は、ここで完全に説明するように、すべての目的のために参照によってここに組込まれる。本出願は特許協力条約（ＰＣＴ）に準拠して申請される。
【背景技術】
【０００２】
本発明は、一般にビデオ処理に関係がある。より具体的には、本発明の実施例は適応性動き情報コスト推定に関係がある。
【０００３】
ビデオ符号化装置では、動き補償予測（ＭＣＰ）は映像シーケンス内に存在している時間的相関関係を活用するために使用される。ＭＣＰは、ビデオ情報含有量の効率的な符号化を支える。ＭＣＰは、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６１、Ｈ．２６３、ＭＰＥＧ−４ ＡＶＣ／ＩＴＵ−Ｔ Ｈ．２６４及びＶＣ−１を含む現在のビデオ符号化規格に記述される。多くの現代のビデオ符号化装置はＭＣＰを使用する。
【０００４】
この節に記述されたアプローチは、追求されるアプローチであるが、必ずしも着想されたか追求されたアプローチである必要はない。したがって、他に指定のない限り、この節に記述されたアプローチの任意の物が、単にこの節に包含されるとの理由で、先行技術としての資格を得ると見なすべきでない。同様に、１つ以上のアプローチに対して識別された問題点は、他に指定のない限り、この節に基づいて任意の先行技術において認識されたと見なすべきでない。
【特許文献】
【非特許文献】
【非特許文献１】
杉谷精一郎、杉山賢二 共著 「ＪＰＥＧ・ＭＰＥＧ完全理解」、コロナ社出版、２００５年９月２２日発行、ｐ．７４−１４３
【図面の簡単な説明】
【０００５】
本発明は、添付の図面の図画で、制限としてではなく、実施例として図示されるものである。そして、同一の要素に関しては、同一の参照数字を付してある。
【図１】図１は本発明の実施例が実施される映像エンコーダ・プラットホームを図示する。
【図２】図２は本発明の実施例が実施される映像デコーダ・プラットホームを図示する。
【図３】図３Ａと図３Ｂは、動きベクトル差速度（motion vector difference rate）の具体例を図示する。
【図４】図４Ａと図４Ｂは、図３Ａと図３Ｂでそれぞれ図示される動きベクトル差のための計算の具体例をそれぞれ図示する。
【図５】図５Ａと図５Ｂは、図４Ａと図４Ｂでそれぞれ図示される動きベクトル差計算用の速度推定不一致の具体例をそれぞれ図示する。
【図６】図６は、本発明の実施例に従って得られる符号化効率の比較例を図示する。
【図７】図７は、本発明の実施例に従って得られる符号化効率の比較例を図示する。
【図８】図８Ａ、図８Ｂおよび図８Ｃは、本発明の実施例における処理手順の具体例のフローチャートを図示する。
【発明を実施するための形態】
【０００６】
適応性動き情報コスト推定（Adaptive motion information cost estimation）がここに記述される。以下の記述では、説明のために、多数の特定の詳細が、本発明についての完全な理解を得られるようにするために述べられる。しかしながら、本発明はこれらの特定の詳細なしで実施されてもよいは明らかである。別の事例では、本発明を不必要に隠蔽し、覆い隠し、或いは不明瞭にしないために、周知の構造および装置は余すところなく詳細には記述されない。
【０００７】
Ｉ 概観
Ａ． ビデオ符号化装置プラットホームの例
ここに記述された実施例は、適応性動き情報コスト推定に関係がある。ある近来のビデオ符号化装置は、映像シーケンスおよび効率的な符号化ビデオ情報コンテンツ内に存在する時間的相関を活用するためにＭＣＰ（動き補償予測）を使用する。ビデオ符号化はエンコーダシステムとデコーダシステムで行なわれる。
【０００８】
図1は、本発明の実施例が実施された映像エンコーダ・プラットホーム１００の一例を示す。エンコーダ１００は、実質的に先進動画符号化（Advanced Video Codec）（MPEG 4 AVC/ITU-T H.264）に一致する。ビデオ入力は、変換モジュール１０１で、例えば、時間領域から周波数領域に変換される。
【０００９】
ウェーブレット変換及び／又は様々なフーリエ形変換は、離散的コサイン変換（ＤＣＴ）や修正ＤＣＴ（ＭＤＣＴ）のような変形を含めて使用される。変換された信号は、量子化モジュール１０２で量子化される。量子化された変換済み信号は、エクスポート・ビットストリームを生成するためにVLCモジュール１０４で可変長符号化（ＶＬＣ）に従わせられる。エクスポート・ビットストリームは、ビデオ入力のディジタル化された表現を含んでいる。
【００１０】
量子化された変換済み信号も、リファレンス画像の生成を含むエンコーダ１００内のアプリケーション処理のために、量子化インバーター１０５中の逆量子化と変換インバーター１０６内の逆変換に（例えばＭＤＣＴによって変換された信号に適用される逆ＭＤＣＴ）に従わせられる。逆量子化済みで逆変換済み信号は、ループフィルター１０７でフィルターされる。リファレンス画像は、ループフィルター１０７からリファレンス画像記憶装置１０８に蓄積される。ビデオ入力も動き推定器１０９、動き補償（イントラ・フレーム予測） （intra-frame prediction）ユニット１１０および速度歪み最適化器１１１に供給される。動き推定器１０９は、ビデオ入力信号内の情報への統計的に基づいた分析と別の推定技術の適用を伴って、ビデオコンテンツ内の動きの推定値を生成する。
【００１１】
動き推定値は動き補償ユニット１１０によって受け取られる。動き補償ユニット１１０は、またリファレンス画像記憶装置１０８に蓄積される適切なリファレンス画像情報にアクセスする。動き補償ユニット１１０は、変換モジュール１０１への入力用のビデオ入力信号と共に合計１１２される動き補償信号を生成するために、動き推定値とリファレンス画像情報と共にビデオ入力信号を処理する。動き補償信号は、ループフィルター１０７に向けて、逆量子化済みで逆変換済み信号と共に合計１１３される。さらに、動き補償信号は速度歪み最適化器１１１に入力を供給する。
【００１２】
速度歪み最適化器１１１は、速度歪み最適化信号を生成するために、動き補償信号と共に入力信号中のビデオ情報を処理する。速度歪み最適化器１１１は、本発明の実施例に従って入力信号ビデオ情報および動き補償信号を適応的に処理してもよい。このように、速度歪み最適化信号は、ここに記述された１つ以上の処理手順に従って導き出される。速度歪み最適化信号は、動き推定器１０９への入力を与える。したがって、動き補償ユニット１１０への動き推定信号入力と、それと同時に生成された動き補償信号は、本発明の実施例に従って行なわれた処理に、少なくとも一部分基づいている。
【００１３】
図２は、ビデオデコード・プラットホーム２００の一例を図示するもので、これを用いて本発明の実施例が実施される。デコーダ２００は、構造および／または機能において、ある意味では、エンコーダ１００（図1）より多少単純である。例えばエンコーダ１００によってエクスポートされたビットストリームは、デコーダ２００に入力を与える。デコーダ２００はＶＬＤモジュール２０１内で可変長復号化（ＶＬＤ）に処理される。
【００１４】
このようにデコードされたビットストリーム信号は、動き補償ユニット２１０に入力を与える。デコードされた信号は、デコーダ２００内の別の処理アプリケーションおよび映像出力の生成のために、変換インバーター２０６内の逆変換（例えばＭＤＣＴによって変換された信号に適用される逆ＭＤＣＴ）と量子化インバーター２０５中の逆量子化に従う。逆量子化済みで逆変換済み信号は、動き補償器２１０からの動き補償信号と合計され、ループフィルター２０７でフィルターされる。リファレンス画像はリファレンス画像バッファー２０８に蓄積される。映像出力信号は画像バッファー２０８から検索され、動き補償器２１０に入力として与えられる。
【００１５】
動き補償器２１０は、動き補償信号を生成するために、ＶＬＤユニット２０１からのデコードされたビットストリーム入力を映像出力と共に処理する。動き補償信号は、ループフィルター２０７への入力用に逆量子化済みで逆変換済み信号と共に合計２１２される。映像出力信号は、表示又はさらに進んだ処理（例えばエクスポート上の）のためにデコーダ２００によってエクスポートされる。
【００１６】
B. 動き補償済み予測
ここに記述された実施例は、適応性動き情報コスト推定（ＭＣＰ）に関係がある。実施例は、例えばビデオ符号化装置によるイメージ処理とビデオ処理に役立つ。ＭＣＰはビデオコンテンツ中の動きを推定する。動き検出は、本質的にラグランジュのコスト関数として処理される。ここで、ラグランジュのコスト関数は（1）達成される動き予測の精度と（2）動き関連情報を伝達するために必要とされるデータ速度とを均衡させる。例えば、動き検出は、ラグランジュのコスト関数（これは式1に従って定義される）の最小化問題として以下で計算される。
【数１】
（式１）
式1では、
は原始データ、
は予測される動きベクトル、
は動き補償済みの基準、
は予測された差（ここでＳＡＤは絶対差の総和）、
はすべての候補動きベクトルの一組、
は動きベクトルの予測値、および
はラグランジュ乗数を表す。式1内の術語
は、予測された動きベクトル差（ｍｖｄ）
の速度を表わし、動き情報を伝達するコストをこのように表わす。
【００１７】
動き情報は、エントロピー符号化で無劣化にて符号化される。先進動画符号化の明細書Ｈ．２６４／ＡＶＣは、例えば、全く異なった２個のエントロピー符号化方法を定義する。Ｈ．２６４／ＡＶＣ用に規定されたエントロピー符号化方法は、コンテンツ適応性の可変長符号化（ＣＡＶＬＣ）とコンテンツ適応性の二進法符号化（ＣＡＢＡＣ）を有している。
【００１８】
ＣＡＢＡＣを備えた動き情報の符号化は、動きベクトルを表わすために必要な正確なビットを数える。エンコーダは動きベクトル差「ｍｖｄ」を符号化し、すべての動きベクトル差用にコンテンツモデルを構成する。さらに、コンテンツモデルは符号化中に更新されてもよいが、それは著しく計算複雑さを増加させる場合がある。多数の動きベクトル候補が全ブロックあるいは全マクロブロックに対して評価されるもとで、動き検出のために要求された計算上の必要条件を単純化するために、
はルックアップ表（ＬＵＴ）を使用して推定される。ＬＵＴはユニバーサル可変長符号（ＵＶＬＣ）を含んでいる。
【００１９】
動きベクトル差の速度は、下記の式２によるＵＶＬＣで計算される。
【数２】
（式２）
式２では、
は床動作（floor operation）を表わす。式２はこのように閉形式の近似を提示する。閉形式の近似は、ＣＡＢＡＣで符号化されるｍｖｄ速度に対する計算の複雑さを著しく低減できる。
【００２０】
推定速度
は、ＣＡＶＬＣで使用されるエントロピー符号化には正確である。ＣＡＢＡＣを使用すると、推定速度
は実際のｍｖｄ速度と異なる。推定速度
が実際のｍｖｄ速度と異なる場合に、ＣＡＢＡＣが使用されると、式1に従って計算された動き検出結果は影響を受ける。ここでは、推定速度
と実際のｍｖｄ速度の間の差は、動きベクトル速度推定不一致（ＭＶ−ＲＥＭ）と呼ばれる。
【００２１】
C. 動きベクトル速度推定不一致の特性
ＭＶ−ＲＥＭを特徴づける特性は、標準共通中間フォーマット（ＣＩＦ）試験シーケンスを参照して、ここに記述される。図３Ａは、「フォアマン」としてビデオ処理とイメージ処理に関係のある分野に熟練している技術者に周知のＣＩＦ試験シーケンスによって計算された動きベクトル差（ｍｖｄ）速度の具体例を示す。図３Ｂは、「フットボール」としてビデオ処理とイメージ処理に関係のある分野に熟練している技術者に周知のＣＩＦ試験シーケンスによって計算されたｍｖｄ速度の具体例を描写する。図３Ａと図３Ｂでは、動きベクトル速度「ＵＶＬＣ」および動きベクトル速度「ＣＡＢＡＣ」は、それぞれＵＶＬＣとＣＡＢＡＣで計算される動きベクトル差の関数としてプロットされる。
【００２２】
図４Ａと図４Ｂは、それぞれ図３Ａと図３Ｂで示される動きベクトル差用の計算の具体例を示す。ＵＶＬＣとＣＡＢＡＣで計算された動きベクトル差の発生カウントは、それぞれフォアマンおよびフットボールＣＩＦ試験シーケンス用の動きベクトル差の関数としてプロットされる。図５Ａと図５Ｂは、それぞれ図４Ａと図４Ｂで示される動きベクトル差計算のための速度推定不一致の具体例を示す。ＵＶＬＣとＣＡＢＡＣで計算された動きベクトル速度の差は、それぞれフォアマンおよびフットボールＣＩＦ試験シーケンスのためにプロットされる。
【００２３】
図３Ａから図５Ｂ迄に関するプロットは、これらのＣＩＦ試験シーケンスのＭＶ−ＲＥＭの特性を見せる。例えば、ＭＶ−ＲＥＭは些細なものではない。それどころか、特に比較的大きなｍｖｄでは、ＭＶ−ＲＥＭは重要である。上位の動きコンテンツの媒体の距離保存と下位の動きコンテンツの距離変動に関して、ＭＶ−ＲＥＭは内在するｍｖｄ速度で上昇する。しかしながら、ＭＶ−ＲＥＭは、中位から上位の動きコンテンツに対する同じ内在する速度には比較的一定のままである。いくつかのピークでの場合以外は、２つの動きベクトル候補の推定されたＵＶＬＣ速度の差が、実際のＣＡＢＡＣ速度差に近似する。しかしながら、下位の動きコンテンツに関しては、より多くのＭＶ−ＲＥＭ変動が存在している。
【００２４】
限界的な特異な条件に関しては、
が２のべき乗として表現される場合には、ＭＶ−ＲＥＭはより重要であり、恐らく本質的である。これは、Ｈ．２６４／ＡＶＣのようなコーデック中のＵＶＬＣとＣＡＢＡＣの符号長が、異なるｍｖｄ値で増加するという事実に起因する。上記の式２に示されるように、ＵＶＬＣ速度は、
で増加する。したがって、特性
を備えたｍｖｄは、同じ推定ＵＶＬＣ符号長を共有する。同じ推定ＵＶＬＣ符号長は、
の符号長より2ビット短い。
【００２５】
対照的に、ＣＡＢＡＣ符号化されたｍｖｄのために、単項／第ｋ番目指数ゴロム（Exp-Golomb）（ＵＥＧｋ）２値化はＨ．２６４／先進動画符号化（ＡＶＣ）コーデックに定義されている。与えられたｍｖｄに関しては、ＵＥＧｋ２値化が以下のように構成される。ＵＥＧｋビン記号列の前置部（prefix part）に関しては、カットオフ値Sで切り捨てた単項の２値化が、
に使用される。各符号のない整数値記号ｘ≧０に対する単項コード語は、数「x」の「1」（1）ビットと、付加した終結の「ゼロ」（0）ビットを有する。ここで
であり、
ビットの後置部（suffix）を生成するために、後置部が
に対して第ｋ番目指数ゴロムコード名として構成される。複雑さおよび符号化する効率を均衡させるために、Ｓ＝９及びｋ＝３が選択されており、コーデック標準に定められている。
【００２６】
式３に示されるように、
が２のべき乗である場合、ｍｖｄの予期される符号長は次のように増加する。
【数３】
（式３）
式３では、ｎ’は整数である。したがって、
の
で、実際のＣＡＢＡＣ速度は増加する。
【００２７】
このように観測された非同時性化は、速度歪み性能とエンコーダの複雑さの妥協の結果発生する。例えば、ＣＡＢＡＣパラメータは符号化性能を最適化するためにＨ．２６４／ＡＶＣに定義されている。しかしながら、複雑さを低減するために、ＵＶＬＣ速度近似は、あるエンコーダにおいて実際上使用されてもよい。このように別の値と比べると、著しくより上位のＭＶ−ＲＥＭは、
でのＣＡＢＡＣを用いて取り入れられる。それらの実際のＣＡＢＡＣ速度が統計的に接近している場合に、ＵＶＬＣ近似は、
での動きベクトルよりも高価なものとして、
での動きベクトルを考慮する。
【００２８】
次のものと同時に関連する歪みはＣＡＢＡＣに関連した歪みと著しく異なるものではないが、上記の式1に従って計算された動き検出は、
での動きベクトルを選択しそうもない。同様に、次の最初（the first）の実際の速度は統計的により下位で、そこで式1のラグランジュの原価比較で好ましいものであるが、ＵＶＬＣ近似は
での動きベクトルを考慮して、
での動きベクトルと実質的に等しいコストを負担するようにさせる。したがって、
での動きベクトル候補は、ある意味で「不公平に」不利になり、選択されそうではない。
【００２９】
動き依存条件に対して、ＭＶ−ＲＥＭはビデオコンテンツの動き活動特性（motion activity characteristic）に応じて変わる。ＣＡＢＡＣ速度は、上位の動き活動シーケンスへの媒体用の推定されたＵＶＬＣ速度より低い。しかしながら、ＣＡＢＡＣ速度は、下位の動き活動シーケンスの推定されたＵＶＬＣ速度より通常速いのである。速度差は上記の式1で計算された比較において重要であるが、そのような変動は動き検出決定に著しい影響を与えない。
【００３０】
等方性の条件に関して、ＭＶ−ＲＥＭは、方向性のある検討事項について、通常対称である。不一致は存在するが、別の方向より１つの特定方向を好むような、推定された動きフィールドの不規則性を引き起こさない。
【００３１】
D. 実施例
本発明の実施例では、下位の複雑さの適応性速度推定方法でＭＶ−ＲＥＭを低減させるように機能する。この適応性速度推定方法は、ＣＡＢＡＣベースのエンコーダがすべてのｍｖｄを符号化し、その上に関連する実際のビットを計数することを可能にする。本発明の実施例は、処理されているビデオのコンテンツとコンテンツ特性に基づいて適応して更新されるルックアップ表を使用する。
【００３２】
II 処理手順の例
A.平均コストでルックアップ表を適応的に更新すること
実施例は、平均コストに従ってルックアップ表を適応的に更新する。ルックアップ表が初期化される。実施例では、上記の式２に記述されるように、ルックアップ表はＵＶＬＣを使用した推定コストで初期化される。動き検出は上記の式1により各ブロックについて計算される。動き検出はルックアップ表から読まれた動きベクトルコストで行なわれてもよい。動きベクトルを選択する際、選択された動きベクトルは予測的に符号化される。また、ｍｖｄはＣＡＢＡＣを使用してエントロピー符号化される。符号化されたｍｖｄは、デコーダにビットストリームの一部として送られる。
【００３３】
各符号化されたｍｖｄ＝ｎのために、実際の符号化速度
が収集される。ここで、
は、カレントブロックまでのｍｖｄ＝ｎの発生の合計数である。ここで、
は、テーブル初期設定で得られたｍｖｄ＝ｎのためのルックアップ表中の初期値を表わすもので、ｍｖｄ＝ｎのための対応するコストである。
は最新のルックアップ表入力を提供する。これらは、以下の式４Ａと４Ｂに記述される。
【数４】
（式４Ａおよび４Ｂ）
【００３４】
Ｂ．加重平均コストでルックアップ表を適応的に更新すること
実施例は、加重平均コストに従ってルックアップ表を適応的に更新する。各符号化されたｍｖｄ＝ｎのために、実際の符号化速度Ｒｉ ｎ，i=1、2、…、Mはすべての符号化されたｍｖｄ＝ｎのために収集される。実施例は、以下の式５Ａ及び式５Ｂで示されるような加重平均コストでルックアップ表を更新する。
【数５】
（式５Ａおよび式５Ｂ）
式５Ｂでは、ｗｉは重み付け係数を表わす。実施例では、重み付け係数ｗｉは式５Ｃに従って選択される。
【数６】
（式５Ｃ）
式５Ｃで、kは0以上の整数値である。
【００３５】
Ｃ．定期的な適応性のルックアップ表改訂
実施例では、ｍｖｄ＝ｎの実際の符号化速度は、すべての第Ｎ番目の発生のために収集される。対応するルックアップ表入力は、例えば、上記のセクションII．Ａ．とII．Ｂ．に記述された平均コストあるいは加重平均コストで適応的に更新される。現在の実施例は、N回までコンテンツを更新することで複雑さを低減し、例えばN回超えは別のアプローチによる。
【００３６】
Ｄ．選択的な適応性のルックアップ表の更新
実施例では、ルックアップ表の一部はｍｖｄのコンテンツ特性に従って更新される。２のべき乗の速度不一致は、別の値の不一致より重要である。実施例では、２のべき乗と等しいｍｖｄ値の実際の符号化速度は、選択的に収集される。そのとき、対応するルックアップ表入力は、例えば、上記のセクションII．Ａ．、II．Ｂ．並びにII．Ｃ．に記述された平均コスト、加重平均コストと共に、あるいは定期的に更新される。２のべき乗と等しいｍｖｄ値の選択的に収集する実際の符号化速度と、平均コスト、加重平均コストと共に、あるいは定期的にルックアップ表を適応して更新することは、コンテンツ更新の複雑さを低減し、効率を増加させる。
【００３７】
Ｅ．事前分析を備えた選択的なルックアップ表の更新
実施例では、ルックアップ表の一部はビデオコンテンツの特性に従って更新される。上述されるように、２つの動きベクトル候補のためのＭＶ−ＲＥＭの差は、上位の動きコンテンツより下位の動きコンテンツにとってより重要な意義を有する。一実施例では、事前分析はビデオコンテンツ上で行なわれる。ここで、事前分析により、コンテンツあるいはビデオコンテンツ中の特定の領域またはセグメントが、上位の動きに関連する特性を有することを示唆される場合、ルックアップ表中の現在の入力が使用される。しかしながら、事前分析が下位の動きコンテンツを見せる場合、実際の符号化速度が収集される。そのとき、ルックアップ表の対応する入力は、例えば、上記のセクションII．Ａ．、II．Ｂ．、II．Ｃ．並びにII．Ｄ．に記述された平均コスト、加重平均コストと共に、又は定期的、あるいは選択的に更新される。実施例では、選択的なルックアップ表の更新は、動きの面から粒度を検知するために事前分析を使用してもよい。したがって、異なる領域あるいはフレームでの個々の事前分析された動き特性を考慮して、全く異なった更新処理手順を適用してもよい。例えば、Nに対する全く異なった値を使用する定期的なルックアップ表の更新が行われる。
【００３８】
Ｆ．パラメータ化されたルックアップ表の更新
実施例では、動き情報コストはｍｖｄのパラメータ化された関数としてモデル化される。動き情報コストのモデル化がｍｖｄのパラメータ化された関数によってモデル化されると、ルックアップ表入力の直接の更新が不要となる。例えば、式6に記述されるように、動き情報コストはｍｖｄの二次関数としてモデル化される。
[数７]
Ｒ（ｍｖｄ）＝ｍ１・ｍｖｄ２＋ｍ２・ｍｖｄ＋ｍ３ （式６）
式6では、ｍ１、ｍ２およびｍ３はモデルパラメータを表わす。ｍｖｄ＝ｎのすべての収集された実際の符号化速度で、モデルパラメータは統計的なフィッティング法を使用して更新される。モデルパラメータは、ｍｖｄの発生の全て又は一部に対して更新される。そのとき、ルックアップ表は、最新のモデルパラメータで適応して更新される。
【００３９】
Ｇ．実施例の比較
図6と図7は、本発明の実施例による符号化効率の実施例の比較を示す。速度コスト推定には、例えば、上記のセクションII．Ａ．に記述されたように、平均コストでルックアップ表を適応的に更新することを含む。コンテンツは８ｘ８イントラ予測モードおよび下位の複雑さ速度歪み最適化を使用して、コード化される。ビデオとイメージ処理の分野に熟練している技術者に周知の「母親および娘試験シーケンス」のために、適応推定は、クォータ共通中間形式（ＱＣＩＦ）コンテンツで有意な利得（例えば＜１．５ｄＢ）を達成する。利得はＣＩＦコンテンツでより高い（例えば＜３ｄＢ）。さらに、利得は、上位のビットレートよりも、低ビットレートでより重要である。本発明の実施例はこのようにビデオ符号化効率を改善する。この有益性は、下位の複雑さと低ビットレートアプリケーションで特に重要である。
【００４０】
Ｈ．処理手順の例
本発明の実施例は、以下の段落中で列挙される記述の１つ以上に関係がある。図８Ａは、本発明の実施例に従って、処理手順８００の例についてのフローチャートを示す。
【００４１】
１．ビデオ情報を処理するための方法（８００）であって、
動きベクトル間の差の符号化に関係している送信コストを推定するステップ（８０１）であって、前記動きベクトル間の差は前記ビデオ情報の動き特性の記述であるステップと、
前記動きベクトルに関連した速度推定不一致を最小限にする原理（basis）で前記動きベクトル差を符号化するステップ（８０２）と、
を有し、ここで、前記符号化ステップ（８０２）は、コンテンツ適応性の二進法符号化を使用して、前記動きベクトル差に関連したビットカウントを計算するステップ（８１２）を有することを特徴とする方法。
【００４２】
図８Ｂと図８Ｃは、本発明の一実施例に従って、処理手順の例のフローチャートを示す。
２． 列挙された記述１に挙げられるような方法（８００）であって、前記推定ステップ（８０１）が次のステップ
ルックアップ表にアクセスするステップ（８２１）、
前記ルックアップ表中の１つ以上の入力からのコストに相当する値にインデックスを付けるステップ（８２２）であって、ここで、前記コストは、前記ビデオ情報に関連した文脈情報かコンテンツ特性の少なくとも１つに関係があるステップ、及び
前記文脈情報か前記コンテンツ特性の変化に少なくとも一部分基づいて、前記ルックアップ表を適応的に更新するステップ（８２３）であって、ここで、前記変化に基づいて、前記値はダイナミックに調整可能であるステップ、
を有することを特徴とする方法。
【００４３】
３． 前記送信コストが平均コストを含むことを特徴とする、列挙された記述1に挙げられるような方法（８００）。
４． 列挙された記述３に挙げられるような方法（８００）であって、前記更新ステップ（８２３）が次のステップ
ブロックの発生回数の合計にわたって符号化された前記動きベクトル差の各々の符号化速度を収集するステップ（８４１）、
前記収集された符号化速度と前記発生回数の合計に基づいた平均コストを処理するステップ（８４２）、及び
前記処理ステップに基づいた前記ルックアップ表への前記動きベクトル差の符号化に対応するコストに対する値を入力するステップ（８４３）、
を有することを特徴とする方法。
【００４４】
５． 列挙された記述３に挙げられるような方法（８００）であって、前記平均コストが加重平均コストで構成され、ここで、前記加重平均コストは重み付け係数で重み付けられた前記平均コストに相当することを特徴とする方法。
６． 列挙された記述５に挙げられるような方法（８００）であって、前記更新ステップ（８２３）が次のステップ、
ブロックの発生回数の合計にわたって前記符号化された動きベクトル差の各々について、符号化速度を収集するステップ（８６１）、及び
前記収集した符号化速度、前記発生回数の合計、並びに前記重み付け係数に少なくとも一部分基づいて平均コストを処理するステップ（８６２）であって、ここで、前記重み付け係数は、前記ブロックにわたる符号化速度の前記発生回数の合計に基づいて処理され、
そして前記処理ステップに基づいた前記ルックアップ表への前記動きベクトル差の符号化に対応するコストに対する値を登録するステップ（８６３）を有することを特徴とする方法。
【００４５】
７． 列挙された記述３又は５に挙げられるような方法（８００）であって、前記更新するステップ（８２３）は定期的に行なわれることを特徴とする方法。
８． 列挙された記述３、５、７の何れか一項に挙げられるような方法（８００）であって、前記更新するステップ（８２３）は前記動きベクトル差に関連した文脈特性に基づいて選択的に行なわれることを特徴とする方法。
９． 列挙された記述８に挙げられるような方法（８００）であって、前記収集するステップ（８６１）は、２のべき乗と等しい値を有する動きベクトル差の前記符号化速度を選択的に収集するステップ（８９１）を有し、
ここで、前記処理ステップ（８４２と８６２）は、前記選択的に収集するステップ（８９１）に少なくとも一部分基づくことを特徴とする方法。
【００４６】
１０． 列挙された記述３、５、７、８の何れか一項に挙げられるような方法（８００）であって、前記更新するステップ（８２３）は前記ビデオ情報に関連したコンテンツ特性に少なくとも一部分基づいて選択的に行なわれることを特徴とする方法。
１１． 列挙された記述１０に挙げられるような方法（８００）であって、前記コンテンツ特性は前記ビデオ情報コンテンツに関連した動き特性を含むことを特徴とする方法。
１２． 列挙された記述１１に挙げられるような方法（８００）であって、さらに
前記動き特性に基づいて前記ビデオ情報を分析するステップ（８３１）、
前記動き特性の粒状を検出するステップ（８３２）、
上位の動きコンテンツを検知すると、前記ルックアップ表中の既存の入力に少なくとも一部分に基づいて、前記インデックスを付けるステップ（８２１）、及び
下位の動きコンテンツを検知すると、前記更新するステップを行なうステップ（８２３）であって、ここで前記更新するステップ（８２３）の少なくとも一部分に基づいて、前記インデックスを付けるステップ（８２１）を行なうことを特徴とする方法。
【００４７】
１３． 列挙された記述２に挙げられるような方法（８００）であって、さらに
前記動きベクトル差のための符号化コストをモデル化するステップ（８３３）、
前記動きベクトル差の実際の符号化速度に関連した前記符号化コストを収集するステップ（８３４）、及び
前記モデル化ステップ（８３３）に関連した統計適合に少なくとも一部分基づいて、前記モデル化された符号化コストを更新するステップ（８３５）を有し、
ここで、前記適応的に更新するステップ（８２３）は、前記モデル化された符号化コストを更新するステップ（８３５）を有することを特徴とする方法。
【００４８】
１４． 列挙された記述１３に挙げられるような方法（８００）であって、前記モデル化された符号化コストを更新するステップ（８３３）が前記動きベクトル差のすべて又は少なくとも一部分にわたって行なわれることを特徴とする方法。
１５． 列挙された記述１に挙げられるような方法（８００）であって、前記推定するステップ（８０１）と前記符号化ステップ（８０２）の少なくとも１つが普遍的な可変長符号と無関係に行なわれることを特徴とすることを特徴とする方法。
【００４９】
１６． ビデオコンテンツ用のエンコーダ（１００）であって、列挙された記述１から１５に挙げられたステップと関係する符号化機能を行なうための手段から構成されることを特徴とするエンコーダ。
１７． ビデオコンテンツ用のデコーダ（２００）であって、列挙された記述１６に挙げられたエンコーダによって符号化されたビデオコンテンツをデコードするための手段から構成されることを特徴とするデコーダ。
１８． ビデオコンテンツ用のデコーダ（２００）であって、列挙された記述１−１５に挙げられたステップと関係する符号化機能を行なうための手段から構成されることを特徴とするデコーダ。
【００５０】
１９． １つ以上のプロセッサで実行された時、列挙された記述１６、１７、１８に挙げられたエンコーダ（１００）あるいはデコーダ（２００）を構成する命令を含むコンピュータ可読記憶媒体。
２０． １つ以上のプロセッサで実行された時、計算機装置にビデオ情報を処理するためのステップを行なわせる（１００と２００）命令を含むコンピュータ可読記憶媒体であって、ここで前記ステップは、列挙された記述１−１５に挙げられたステップの１つ以上を含んでいることを特徴とするコンピュータ可読記憶媒体。
【００５１】
III 等価物、拡張、代案並びにミソレニアス
適応性動き情報コスト推定のための実施例は以上のように記述される。上述の明細書では、本発明の実施例が態様毎に多数の特定の詳細を参照して記述された。したがって、何が発明であるかの唯一かつ排他的な標識であって発明であるとして出願人によって意図されるのは、本出願に基づいて許可される一組の請求項であって、いかなる後の補正も含まれる。そのような請求項に含まれる術語について明らかにここに明記されるいかなる定義も、請求項で使用される術語の意味を決定する。従って、請求項で明らかに列挙されていないような、制限、要素、特性（property）、機能、利点あるいは属性は、形はどうあれ請求項の適用範囲を制限しない。従って、明細書と図面は、制限的な趣旨ではなく本発明を説明するものに過ぎない。
【０００１】
［関連する出願およびＰＣＴの地位と利益の請求］
本出願は、発明の名称が「適応性動き情報コスト推定」で、チエン・リーおよびアレクサンドラ・トゥラピスによって、２００8年1月２２日に申請された、同時係属のアメリカ合衆国の仮特許出願Ｎｏ．６１／０２２７８７と関連があり、これについて優先権主張すると共に十分な地位の利益を請求し、これが譲受人に譲渡される（ドルビー研究所のＩＰ法的参照文献Ｎｏ．Ｄ０８００１ ＵＳ０ｌ）。この仮特許出願は、ここで完全に説明するように、すべての目的のために参照によってここに組込まれる。本出願は特許協力条約（ＰＣＴ）に準拠して申請される。
【背景技術】
【０００２】
本発明は、一般にビデオ処理に関係がある。より具体的には、本発明の実施例は適応性動き情報コスト推定に関係がある。
【０００３】
ビデオ符号化装置では、動き補償予測（ＭＣＰ）は映像シーケンス内に存在している時間的相関関係を活用するために使用される。ＭＣＰは、ビデオ情報含有量の効率的な符号化を支える。ＭＣＰは、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６１、Ｈ．２６３、ＭＰＥＧ−４ ＡＶＣ／ＩＴＵ−Ｔ Ｈ．２６４及びＶＣ−１を含む現在のビデオ符号化規格に記述される。多くの現代のビデオ符号化装置はＭＣＰを使用する。
【０００４】
この節に記述されたアプローチは、追求されるアプローチであるが、必ずしも着想されたか追求されたアプローチである必要はない。したがって、他に指定のない限り、この節に記述されたアプローチの任意の物が、単にこの節に包含されるとの理由で、先行技術としての資格を得ると見なすべきでない。同様に、１つ以上のアプローチに対して識別された問題点は、他に指定のない限り、この節に基づいて任意の先行技術において認識されたと見なすべきでない。
【特許文献】
【非特許文献】
【非特許文献１】
杉谷精一郎、杉山賢二 共著 「ＪＰＥＧ・ＭＰＥＧ完全理解」、コロナ社出版、２００５年９月２２日発行、ｐ．７４−１４３
【図面の簡単な説明】
【０００５】
本発明は、添付の図面の図画で、制限としてではなく、実施例として図示されるものである。そして、同一の要素に関しては、同一の参照数字を付してある。
【図１】図１は本発明の実施例が実施される映像エンコーダ・プラットホームを図示する。
【図２】図２は本発明の実施例が実施される映像デコーダ・プラットホームを図示する。
【図３】図３Ａと図３Ｂは、動きベクトル差速度（motion vector difference rate）の具体例を図示する。
【図４】図４Ａと図４Ｂは、図３Ａと図３Ｂでそれぞれ図示される動きベクトル差のための計算の具体例をそれぞれ図示する。
【図５】図５Ａと図５Ｂは、図４Ａと図４Ｂでそれぞれ図示される動きベクトル差計算用の速度推定不一致の具体例をそれぞれ図示する。
【図６】図６は、本発明の実施例に従って得られる符号化効率の比較例を図示する。
【図７】図７は、本発明の実施例に従って得られる符号化効率の比較例を図示する。
【図８】図８Ａ、図８Ｂおよび図８Ｃは、本発明の実施例における処理手順の具体例のフローチャートを図示する。
【発明を実施するための形態】
【０００６】
適応性動き情報コスト推定（Adaptive motion information cost estimation）がここに記述される。以下の記述では、説明のために、多数の特定の詳細が、本発明についての完全な理解を得られるようにするために述べられる。しかしながら、本発明はこれらの特定の詳細なしで実施されてもよいは明らかである。別の事例では、本発明を不必要に隠蔽し、覆い隠し、或いは不明瞭にしないために、周知の構造および装置は余すところなく詳細には記述されない。
【０００７】
Ｉ 概観
Ａ． ビデオ符号化装置プラットホームの例
ここに記述された実施例は、適応性動き情報コスト推定に関係がある。ある近来のビデオ符号化装置は、映像シーケンスおよび効率的な符号化ビデオ情報コンテンツ内に存在する時間的相関を活用するためにＭＣＰ（動き補償予測）を使用する。ビデオ符号化はエンコーダシステムとデコーダシステムで行なわれる。
【０００８】
図1は、本発明の実施例が実施された映像エンコーダ・プラットホーム１００の一例を示す。エンコーダ１００は、実質的に先進動画符号化（Advanced Video Codec）（MPEG 4 AVC/ITU-T H.264）に一致する。ビデオ入力は、変換モジュール１０１で、例えば、時間領域から周波数領域に変換される。
【０００９】
ウェーブレット変換及び／又は様々なフーリエ形変換は、離散的コサイン変換（ＤＣＴ）や修正ＤＣＴ（ＭＤＣＴ）のような変形を含めて使用される。変換された信号は、量子化モジュール１０２で量子化される。量子化された変換済み信号は、エクスポート・ビットストリームを生成するためにVLCモジュール１０４で可変長符号化（ＶＬＣ）に従わせられる。エクスポート・ビットストリームは、ビデオ入力のディジタル化された表現を含んでいる。
【００１０】
量子化された変換済み信号も、リファレンス画像の生成を含むエンコーダ１００内のアプリケーション処理のために、量子化インバーター１０５中の逆量子化と変換インバーター１０６内の逆変換に（例えばＭＤＣＴによって変換された信号に適用される逆ＭＤＣＴ）に従わせられる。逆量子化済みで逆変換済み信号は、ループフィルター１０７でフィルターされる。リファレンス画像は、ループフィルター１０７からリファレンス画像記憶装置１０８に蓄積される。ビデオ入力も動き推定器１０９、動き補償（イントラ・フレーム予測） （intra-frame prediction）ユニット１１０および速度歪み最適化器１１１に供給される。動き推定器１０９は、ビデオ入力信号内の情報への統計的に基づいた分析と別の推定技術の適用を伴って、ビデオコンテンツ内の動きの推定値を生成する。
【００１１】
動き推定値は動き補償ユニット１１０によって受け取られる。動き補償ユニット１１０は、またリファレンス画像記憶装置１０８に蓄積される適切なリファレンス画像情報にアクセスする。動き補償ユニット１１０は、変換モジュール１０１への入力用のビデオ入力信号と共に合計１１２される動き補償信号を生成するために、動き推定値とリファレンス画像情報と共にビデオ入力信号を処理する。動き補償信号は、ループフィルター１０７に向けて、逆量子化済みで逆変換済み信号と共に合計１１３される。さらに、動き補償信号は速度歪み最適化器１１１に入力を供給する。
【００１２】
速度歪み最適化器１１１は、速度歪み最適化信号を生成するために、動き補償信号と共に入力信号中のビデオ情報を処理する。速度歪み最適化器１１１は、本発明の実施例に従って入力信号ビデオ情報および動き補償信号を適応的に処理してもよい。このように、速度歪み最適化信号は、ここに記述された１つ以上の処理手順に従って導き出される。速度歪み最適化信号は、動き推定器１０９への入力を与える。したがって、動き補償ユニット１１０への動き推定信号入力と、それと同時に生成された動き補償信号は、本発明の実施例に従って行なわれた処理に、少なくとも一部分基づいている。
【００１３】
図２は、ビデオデコード・プラットホーム２００の一例を図示するもので、これを用いて本発明の実施例が実施される。デコーダ２００は、構造および／または機能において、ある意味では、エンコーダ１００（図1）より多少単純である。例えばエンコーダ１００によってエクスポートされたビットストリームは、デコーダ２００に入力を与える。デコーダ２００はＶＬＤモジュール２０１内で可変長復号化（ＶＬＤ）に処理される。
【００１４】
このようにデコードされたビットストリーム信号は、動き補償ユニット２１０に入力を与える。デコードされた信号は、デコーダ２００内の別の処理アプリケーションおよび映像出力の生成のために、変換インバーター２０６内の逆変換（例えばＭＤＣＴによって変換された信号に適用される逆ＭＤＣＴ）と量子化インバーター２０５中の逆量子化に従う。逆量子化済みで逆変換済み信号は、動き補償器２１０からの動き補償信号と合計され、ループフィルター２０７でフィルターされる。リファレンス画像はリファレンス画像バッファー２０８に蓄積される。映像出力信号は画像バッファー２０８から検索され、動き補償器２１０に入力として与えられる。
【００１５】
動き補償器２１０は、動き補償信号を生成するために、ＶＬＤユニット２０１からのデコードされたビットストリーム入力を映像出力と共に処理する。動き補償信号は、ループフィルター２０７への入力用に逆量子化済みで逆変換済み信号と共に合計２１２される。映像出力信号は、表示又はさらに進んだ処理（例えばエクスポート上の）のためにデコーダ２００によってエクスポートされる。
【００１６】
B. 動き補償済み予測
ここに記述された実施例は、適応性動き情報コスト推定（ＭＣＰ）に関係がある。実施例は、例えばビデオ符号化装置によるイメージ処理とビデオ処理に役立つ。ＭＣＰはビデオコンテンツ中の動きを推定する。動き検出は、本質的にラグランジュのコスト関数として処理される。ここで、ラグランジュのコスト関数は（1）達成される動き予測の精度と（2）動き関連情報を伝達するために必要とされるデータ速度とを均衡させる。例えば、動き検出は、ラグランジュのコスト関数（これは式1に従って定義される）の最小化問題として以下で計算される。
【数１】
式1では、
【００１７】
動き情報は、エントロピー符号化で無劣化にて符号化される。先進動画符号化の明細書Ｈ．２６４／ＡＶＣは、例えば、全く異なった２個のエントロピー符号化方法を定義する。Ｈ．２６４／ＡＶＣ用に規定されたエントロピー符号化方法は、コンテンツ適応性の可変長符号化（ＣＡＶＬＣ）とコンテンツ適応性の二進法符号化（ＣＡＢＡＣ）を有している。
【００１８】
ＣＡＢＡＣを備えた動き情報の符号化は、動きベクトルを表わすために必要な正確なビットを数える。エンコーダは動きベクトル差「ｍｖｄ」を符号化し、すべての動きベクトル差用にコンテンツモデルを構成する。さらに、コンテンツモデルは符号化中に更新されてもよいが、それは著しく計算複雑さを増加させる場合がある。多数の動きベクトル候補が全ブロックあるいは全マクロブロックに対して評価されるもとで、動き検出のために要求された計算上の必要条件を単純化するために、
【００１９】
動きベクトル差の速度は、下記の式２によるＵＶＬＣで計算される。
【数２】
式２では、
【００２０】
推定速度
【００２１】
C. 動きベクトル速度推定不一致の特性
ＭＶ−ＲＥＭを特徴づける特性は、標準共通中間フォーマット（ＣＩＦ）試験シーケンスを参照して、ここに記述される。図３Ａは、「フォアマン」としてビデオ処理とイメージ処理に関係のある分野に熟練している技術者に周知のＣＩＦ試験シーケンスによって計算された動きベクトル差（ｍｖｄ）速度の具体例を示す。図３Ｂは、「フットボール」としてビデオ処理とイメージ処理に関係のある分野に熟練している技術者に周知のＣＩＦ試験シーケンスによって計算されたｍｖｄ速度の具体例を描写する。図３Ａと図３Ｂでは、動きベクトル速度「ＵＶＬＣ」および動きベクトル速度「ＣＡＢＡＣ」は、それぞれＵＶＬＣとＣＡＢＡＣで計算される動きベクトル差の関数としてプロットされる。
【００２２】
図４Ａと図４Ｂは、それぞれ図３Ａと図３Ｂで示される動きベクトル差用の計算の具体例を示す。ＵＶＬＣとＣＡＢＡＣで計算された動きベクトル差の発生カウントは、それぞれフォアマンおよびフットボールＣＩＦ試験シーケンス用の動きベクトル差の関数としてプロットされる。図５Ａと図５Ｂは、それぞれ図４Ａと図４Ｂで示される動きベクトル差計算のための速度推定不一致の具体例を示す。ＵＶＬＣとＣＡＢＡＣで計算された動きベクトル速度の差は、それぞれフォアマンおよびフットボールＣＩＦ試験シーケンスのためにプロットされる。
【００２３】
図３Ａから図５Ｂ迄に関するプロットは、これらのＣＩＦ試験シーケンスのＭＶ−ＲＥＭの特性を見せる。例えば、ＭＶ−ＲＥＭは些細なものではない。それどころか、特に比較的大きなｍｖｄでは、ＭＶ−ＲＥＭは重要である。上位の動きコンテンツの媒体の距離保存と下位の動きコンテンツの距離変動に関して、ＭＶ−ＲＥＭは内在するｍｖｄ速度で上昇する。しかしながら、ＭＶ−ＲＥＭは、中位から上位の動きコンテンツに対する同じ内在する速度には比較的一定のままである。いくつかのピークでの場合以外は、２つの動きベクトル候補の推定されたＵＶＬＣ速度の差が、実際のＣＡＢＡＣ速度差に近似する。しかしながら、下位の動きコンテンツに関しては、より多くのＭＶ−ＲＥＭ変動が存在している。
【００２４】
限界的な特異な条件に関しては、
【００２５】
対照的に、ＣＡＢＡＣ符号化されたｍｖｄのために、単項／第ｋ番目指数ゴロム（Exp-Golomb）（ＵＥＧｋ）２値化はＨ．２６４／先進動画符号化（ＡＶＣ）コーデックに定義されている。与えられたｍｖｄに関しては、ＵＥＧｋ２値化が以下のように構成される。ＵＥＧｋビン記号列の前置部（prefix part）に関しては、カットオフ値Sで切り捨てた単項の２値化が、
【００２６】
式３に示されるように、
【数３】
式３では、ｎ’は整数である。したがって、
【００２７】
このように観測された非同時性化は、速度歪み性能とエンコーダの複雑さの妥協の結果発生する。例えば、ＣＡＢＡＣパラメータは符号化性能を最適化するためにＨ．２６４／ＡＶＣに定義されている。しかしながら、複雑さを低減するために、ＵＶＬＣ速度近似は、あるエンコーダにおいて実際上使用されてもよい。このように別の値と比べると、著しくより上位のＭＶ−ＲＥＭは、
【００２８】
次のものと同時に関連する歪みはＣＡＢＡＣに関連した歪みと著しく異なるものではないが、上記の式1に従って計算された動き検出は、
【００２９】
動き依存条件に対して、ＭＶ−ＲＥＭはビデオコンテンツの動き活動特性（motion activity characteristic）に応じて変わる。ＣＡＢＡＣ速度は、上位の動き活動シーケンスへの媒体用の推定されたＵＶＬＣ速度より低い。しかしながら、ＣＡＢＡＣ速度は、下位の動き活動シーケンスの推定されたＵＶＬＣ速度より通常速いのである。速度差は上記の式1で計算された比較において重要であるが、そのような変動は動き検出決定に著しい影響を与えない。
【００３０】
等方性の条件に関して、ＭＶ−ＲＥＭは、方向性のある検討事項について、通常対称である。不一致は存在するが、別の方向より１つの特定方向を好むような、推定された動きフィールドの不規則性を引き起こさない。
【００３１】
D. 実施例
本発明の実施例では、下位の複雑さの適応性速度推定方法でＭＶ−ＲＥＭを低減させるように機能する。この適応性速度推定方法は、ＣＡＢＡＣベースのエンコーダがすべてのｍｖｄを符号化し、その上に関連する実際のビットを計数することを可能にする。本発明の実施例は、処理されているビデオのコンテンツとコンテンツ特性に基づいて適応して更新されるルックアップ表を使用する。
【００３２】
II 処理手順の例
A.平均コストでルックアップ表を適応的に更新すること
実施例は、平均コストに従ってルックアップ表を適応的に更新する。ルックアップ表が初期化される。実施例では、上記の式２に記述されるように、ルックアップ表はＵＶＬＣを使用した推定コストで初期化される。動き検出は上記の式1により各ブロックについて計算される。動き検出はルックアップ表から読まれた動きベクトルコストで行なわれてもよい。動きベクトルを選択する際、選択された動きベクトルは予測的に符号化される。また、ｍｖｄはＣＡＢＡＣを使用してエントロピー符号化される。符号化されたｍｖｄは、デコーダにビットストリームの一部として送られる。
【００３３】
各符号化されたｍｖｄ＝ｎのために、実際の符号化速度
【数４】
【００３４】
Ｂ．加重平均コストでルックアップ表を適応的に更新すること
実施例は、加重平均コストに従ってルックアップ表を適応的に更新する。各符号化されたｍｖｄ＝ｎのために、実際の符号化速度Ｒｉ ｎ，i=1、2、…、Mはすべての符号化されたｍｖｄ＝ｎのために収集される。実施例は、以下の式５Ａ及び式５Ｂで示されるような加重平均コストでルックアップ表を更新する。
【数５】
式５Ｂでは、ｗｉは重み付け係数を表わす。実施例では、重み付け係数ｗｉは式５Ｃに従って選択される。
【数６】
式５Ｃで、kは0以上の整数値である。
【００３５】
Ｃ．定期的な適応性のルックアップ表改訂
実施例では、ｍｖｄ＝ｎの実際の符号化速度は、すべての第Ｎ番目の発生のために収集される。対応するルックアップ表入力は、例えば、上記のセクションII．Ａ．とII．Ｂ．に記述された平均コストあるいは加重平均コストで適応的に更新される。現在の実施例は、N回までコンテンツを更新することで複雑さを低減し、例えばN回超えは別のアプローチによる。
【００３６】
Ｄ．選択的な適応性のルックアップ表の更新
実施例では、ルックアップ表の一部はｍｖｄのコンテンツ特性に従って更新される。２のべき乗の速度不一致は、別の値の不一致より重要である。実施例では、２のべき乗と等しいｍｖｄ値の実際の符号化速度は、選択的に収集される。そのとき、対応するルックアップ表入力は、例えば、上記のセクションII．Ａ．、II．Ｂ．並びにII．Ｃ．に記述された平均コスト、加重平均コストと共に、あるいは定期的に更新される。２のべき乗と等しいｍｖｄ値の選択的に収集する実際の符号化速度と、平均コスト、加重平均コストと共に、あるいは定期的にルックアップ表を適応して更新することは、コンテンツ更新の複雑さを低減し、効率を増加させる。
【００３７】
Ｅ．事前分析を備えた選択的なルックアップ表の更新
実施例では、ルックアップ表の一部はビデオコンテンツの特性に従って更新される。上述されるように、２つの動きベクトル候補のためのＭＶ−ＲＥＭの差は、上位の動きコンテンツより下位の動きコンテンツにとってより重要な意義を有する。一実施例では、事前分析はビデオコンテンツ上で行なわれる。ここで、事前分析により、コンテンツあるいはビデオコンテンツ中の特定の領域またはセグメントが、上位の動きに関連する特性を有することを示唆される場合、ルックアップ表中の現在の入力が使用される。しかしながら、事前分析が下位の動きコンテンツを見せる場合、実際の符号化速度が収集される。そのとき、ルックアップ表の対応する入力は、例えば、上記のセクションII．Ａ．、II．Ｂ．、II．Ｃ．並びにII．Ｄ．に記述された平均コスト、加重平均コストと共に、又は定期的、あるいは選択的に更新される。実施例では、選択的なルックアップ表の更新は、動きの面から粒度を検知するために事前分析を使用してもよい。したがって、異なる領域あるいはフレームでの個々の事前分析された動き特性を考慮して、全く異なった更新処理手順を適用してもよい。例えば、Nに対する全く異なった値を使用する定期的なルックアップ表の更新が行われる。
【００３８】
Ｆ．パラメータ化されたルックアップ表の更新
実施例では、動き情報コストはｍｖｄのパラメータ化された関数としてモデル化される。動き情報コストのモデル化がｍｖｄのパラメータ化された関数によってモデル化されると、ルックアップ表入力の直接の更新が不要となる。例えば、式6に記述されるように、動き情報コストはｍｖｄの二次関数としてモデル化される。
[数７]
Ｒ（ｍｖｄ）＝ｍ１・ｍｖｄ２＋ｍ２・ｍｖｄ＋ｍ３ （式６）
式6では、ｍ１、ｍ２およびｍ３はモデルパラメータを表わす。ｍｖｄ＝ｎのすべての収集された実際の符号化速度で、モデルパラメータは統計的なフィッティング法を使用して更新される。モデルパラメータは、ｍｖｄの発生の全て又は一部に対して更新される。そのとき、ルックアップ表は、最新のモデルパラメータで適応して更新される。
【００３９】
Ｇ．実施例の比較
図6と図7は、本発明の実施例による符号化効率の実施例の比較を示す。速度コスト推定には、例えば、上記のセクションII．Ａ．に記述されたように、平均コストでルックアップ表を適応的に更新することを含む。コンテンツは８ｘ８イントラ予測モードおよび下位の複雑さ速度歪み最適化を使用して、コード化される。ビデオとイメージ処理の分野に熟練している技術者に周知の「母親および娘試験シーケンス」のために、適応推定は、クォータ共通中間形式（ＱＣＩＦ）コンテンツで有意な利得（例えば＜１．５ｄＢ）を達成する。利得はＣＩＦコンテンツでより高い（例えば＜３ｄＢ）。さらに、利得は、上位のビットレートよりも、低ビットレートでより重要である。本発明の実施例はこのようにビデオ符号化効率を改善する。この有益性は、下位の複雑さと低ビットレートアプリケーションで特に重要である。
【００４０】
Ｈ．処理手順の例
本発明の実施例は、以下の段落中で列挙される記述の１つ以上に関係がある。図８Ａは、本発明の実施例に従って、処理手順８００の例についてのフローチャートを示す。
【００４１】
１．ビデオ情報を処理するための方法（８００）であって、
動きベクトル間の差の符号化に関係している送信コストを推定するステップ（８０１）であって、前記動きベクトル間の差は前記ビデオ情報の動き特性の記述であるステップと、
前記動きベクトルに関連した速度推定不一致を最小限にする原理（basis）で前記動きベクトル差を符号化するステップ（８０２）と、
を有し、ここで、前記符号化ステップ（８０２）は、コンテンツ適応性の二進法符号化を使用して、前記動きベクトル差に関連したビットカウントを計算するステップ（８１２）を有することを特徴とする方法。
【００４２】
図８Ｂと図８Ｃは、本発明の一実施例に従って、処理手順の例のフローチャートを示す。
２． 列挙された記述１に挙げられるような方法（８００）であって、前記推定ステップ（８０１）が次のステップ
ルックアップ表にアクセスするステップ（８２１）、
前記ルックアップ表中の１つ以上の入力からのコストに相当する値にインデックスを付けるステップ（８２２）であって、ここで、前記コストは、前記ビデオ情報に関連した文脈情報かコンテンツ特性の少なくとも１つに関係があるステップ、及び
前記文脈情報か前記コンテンツ特性の変化に少なくとも一部分基づいて、前記ルックアップ表を適応的に更新するステップ（８２３）であって、ここで、前記変化に基づいて、前記値はダイナミックに調整可能であるステップ、
を有することを特徴とする方法。
【００４３】
３． 前記送信コストが平均コストを含むことを特徴とする、列挙された記述1に挙げられるような方法（８００）。
４． 列挙された記述３に挙げられるような方法（８００）であって、前記更新ステップ（８２３）が次のステップ
ブロックの発生回数の合計にわたって符号化された前記動きベクトル差の各々の符号化速度を収集するステップ（８４１）、
前記収集された符号化速度と前記発生回数の合計に基づいた平均コストを処理するステップ（８４２）、及び
前記処理ステップに基づいた前記ルックアップ表への前記動きベクトル差の符号化に対応するコストに対する値を入力するステップ（８４３）、
を有することを特徴とする方法。
【００４４】
５． 列挙された記述３に挙げられるような方法（８００）であって、前記平均コストが加重平均コストで構成され、ここで、前記加重平均コストは重み付け係数で重み付けられた前記平均コストに相当することを特徴とする方法。
６． 列挙された記述５に挙げられるような方法（８００）であって、前記更新ステップ（８２３）が次のステップ、
ブロックの発生回数の合計にわたって前記符号化された動きベクトル差の各々について、符号化速度を収集するステップ（８６１）、及び
前記収集した符号化速度、前記発生回数の合計、並びに前記重み付け係数に少なくとも一部分基づいて平均コストを処理するステップ（８６２）であって、ここで、前記重み付け係数は、前記ブロックにわたる符号化速度の前記発生回数の合計に基づいて処理され、
そして前記処理ステップに基づいた前記ルックアップ表への前記動きベクトル差の符号化に対応するコストに対する値を登録するステップ（８６３）を有することを特徴とする方法。
【００４５】
７． 列挙された記述３又は５に挙げられるような方法（８００）であって、前記更新するステップ（８２３）は定期的に行なわれることを特徴とする方法。
８． 列挙された記述３、５、７の何れか一項に挙げられるような方法（８００）であって、前記更新するステップ（８２３）は前記動きベクトル差に関連した文脈特性に基づいて選択的に行なわれることを特徴とする方法。
９． 列挙された記述８に挙げられるような方法（８００）であって、前記収集するステップ（８６１）は、２のべき乗と等しい値を有する動きベクトル差の前記符号化速度を選択的に収集するステップ（８９１）を有し、
ここで、前記処理ステップ（８４２と８６２）は、前記選択的に収集するステップ（８９１）に少なくとも一部分基づくことを特徴とする方法。
【００４６】
１０． 列挙された記述３、５、７、８の何れか一項に挙げられるような方法（８００）であって、前記更新するステップ（８２３）は前記ビデオ情報に関連したコンテンツ特性に少なくとも一部分基づいて選択的に行なわれることを特徴とする方法。
１１． 列挙された記述１０に挙げられるような方法（８００）であって、前記コンテンツ特性は前記ビデオ情報コンテンツに関連した動き特性を含むことを特徴とする方法。
１２． 列挙された記述１１に挙げられるような方法（８００）であって、さらに
前記動き特性に基づいて前記ビデオ情報を分析するステップ（８３１）、
前記動き特性の粒状を検出するステップ（８３２）、
上位の動きコンテンツを検知すると、前記ルックアップ表中の既存の入力に少なくとも一部分に基づいて、前記インデックスを付けるステップ（８２１）、及び
下位の動きコンテンツを検知すると、前記更新するステップを行なうステップ（８２３）であって、ここで前記更新するステップ（８２３）の少なくとも一部分に基づいて、前記インデックスを付けるステップ（８２１）を行なうことを特徴とする方法。
【００４７】
１３． 列挙された記述２に挙げられるような方法（８００）であって、さらに
前記動きベクトル差のための符号化コストをモデル化するステップ（８３３）、
前記動きベクトル差の実際の符号化速度に関連した前記符号化コストを収集するステップ（８３４）、及び
前記モデル化ステップ（８３３）に関連した統計適合に少なくとも一部分基づいて、前記モデル化された符号化コストを更新するステップ（８３５）を有し、
ここで、前記適応的に更新するステップ（８２３）は、前記モデル化された符号化コストを更新するステップ（８３５）を有することを特徴とする方法。
【００４８】
１４． 列挙された記述１３に挙げられるような方法（８００）であって、前記モデル化された符号化コストを更新するステップ（８３３）が前記動きベクトル差のすべて又は少なくとも一部分にわたって行なわれることを特徴とする方法。
１５． 列挙された記述１に挙げられるような方法（８００）であって、前記推定するステップ（８０１）と前記符号化ステップ（８０２）の少なくとも１つが普遍的な可変長符号と無関係に行なわれることを特徴とすることを特徴とする方法。
【００４９】
１６． ビデオコンテンツ用のエンコーダ（１００）であって、列挙された記述１から１５に挙げられたステップと関係する符号化機能を行なうための手段から構成されることを特徴とするエンコーダ。
１７． ビデオコンテンツ用のデコーダ（２００）であって、列挙された記述１６に挙げられたエンコーダによって符号化されたビデオコンテンツをデコードするための手段から構成されることを特徴とするデコーダ。
１８． ビデオコンテンツ用のデコーダ（２００）であって、列挙された記述１−１５に挙げられたステップと関係する符号化機能を行なうための手段から構成されることを特徴とするデコーダ。
【００５０】
１９． １つ以上のプロセッサで実行された時、列挙された記述１６、１７、１８に挙げられたエンコーダ（１００）あるいはデコーダ（２００）を構成する命令を含むコンピュータ可読記憶媒体。
２０． １つ以上のプロセッサで実行された時、計算機装置にビデオ情報を処理するためのステップを行なわせる（１００と２００）命令を含むコンピュータ可読記憶媒体であって、ここで前記ステップは、列挙された記述１−１５に挙げられたステップの１つ以上を含んでいることを特徴とするコンピュータ可読記憶媒体。
【００５１】
III 等価物、拡張、代案並びにミソレニアス
適応性動き情報コスト推定のための実施例は以上のように記述される。上述の明細書では、本発明の実施例が態様毎に多数の特定の詳細を参照して記述された。したがって、何が発明であるかの唯一かつ排他的な標識であって発明であるとして出願人によって意図されるのは、本出願に基づいて許可される一組の請求項であって、いかなる後の補正も含まれる。そのような請求項に含まれる術語について明らかにここに明記されるいかなる定義も、請求項で使用される術語の意味を決定する。従って、請求項で明らかに列挙されていないような、制限、要素、特性（property）、機能、利点あるいは属性は、形はどうあれ請求項の適用範囲を制限しない。従って、明細書と図面は、制限的な趣旨ではなく本発明を説明するものに過ぎない。
Claims (12)
- ビデオ情報を処理するための方法であって、
動きベクトルと、前記動きベクトルの予測値との動きベクトル間の差のＣＡＢＡＣ符号化の送信コストを推定するステップであって、
前記推定ステップが、
ユニバーサル可変長符号を使用した推定コストでルックアップ表を初期化するステップ、
前記ルックアップ表にアクセスするステップ、
前記ルックアップ表から前記動きベクトル差によってインデックスを付けられるコスト値を読み出すステップ、及び
前記動きベクトル差の収集された実際の符号化速度に少なくとも基づくコストを用いて、前記ルックアップ表の前記コスト値を適応的に更新するステップ
を有することを特徴とする方法。 - 請求項１に記載された方法であって、前記動きベクトルとその前記予測値との間の符号化された差は、複数の動きベクトルとそれらの各前記予測値との間の複数の符号化された差の一つを構成し、
前記更新ステップが、
複数の動きベクトルとそれらの各前記予測値との間の複数の符号化された差の各々の符号化速度を収集するステップ、
複数の動きベクトルとそれらの各前記予測値との間の複数の符号化された差の各々の収集された符号化速度の平均コスト値を計算するステップ、及び
各動きベクトル差に対して、前記計算するステップからの前記平均コスト値を前記ルックアップ表のコスト値に入力するステップ、
を有することを特徴とする方法。 - 請求項２に記載された方法であって、前記平均コストが加重平均コストで構成され、そして、前記加重平均コストは以下の式により重み付け係数ｗ ｉ で重み付けられた前記平均コストに相当することを特徴とする方法。
ｋ：０以上の整数値 - 請求項２に記載された方法であって、前記更新するステップが、実際の符号化速度がＮ回発生する度に行われることを特徴とする方法。
- 請求項２に記載された方法であって、前記収集するステップが２のべき乗に等しい値を有する動きベクトル差に対する前記符号化速度を選択的に収集するステップを有し、
前記計算するステップが前記選択的に収集するステップに基づくことを特徴とする方法。 - 請求項２、又は５の何れか一項に記載された方法であって、前記更新するステップが前記ビデオ情報に関連したコンテンツ特性に基づいて選択的に行われ、
前記コンテンツ特性は、ビデオ情報コンテンツに関連する動き特性を含み、
前記方法はさらに、
前記動き特性に基づいて前記ビデオ情報を分析するステップ、
前記動き特性における粒度を検知するステップを有し、
上位の動きコンテンツが検知されると、前記ルックアップテーブル表中の既存の入力に基づいて前記インデックスを付けるステップを行い、
下位の動きコンテンツが検知されると、前記更新ステップを実行するステップと、前記更新ステップに基づく前記インデックスを付けるステップとを、
を行うことを特徴とする方法。 - 請求項６に記載された方法であって、前記コンテンツ特性は、前記ビデオ情報コンテンツで実行される事前分析によって決定されることを特徴とする方法。
- 請求項１に記載された方法であって、さらに
前記動きベクトル差の二次関数を用いて前記符号化コストをモデル化するステップ、
前記動きベクトル差の実際の符号化速度に関連した符号化コストを収集するステップ、及び
収集された前記実際の符号化速度を用いた統計的なフィッティング法に基づいて、前記モデル化された符号化コストを更新するステップ、
を有し、前記更新するステップは、前記モデル化された符号化コストを更新するステップを有することを特徴とする方法。 - 請求項８に記載された方法であって、前記モデル化された符号化コストを更新するステップが前記動きベクトル差のすべて又は少なくとも一部分にわたって行なわれることを特徴とする方法。
- ビデオコンテンツ用のエンコーダであって、請求項１乃至９の何れか一項に記載されたステップを用いて符号化機能を行なう手段から構成されることを特徴とするエンコーダ。
- 請求項１０に記載されたエンコーダと、
前記エンコーダによって符号化された映像コンテンツをデコードするためのデコーダを備えるシステム。 - １つ以上のプロセッサで実行された時、コンピュータシステムがビデオ情報を処理するステップを実行するように動作させ、又は制御する命令を記憶したコンピュータ可読記憶媒体であって、
前記ステップは請求項１乃至９の何れか一項に記載されたステップを有し、又は請求項１０に記載されたエンコーダ又は請求項１１に記載されたシステムに実行されることを特徴とするコンピュータ可読記憶媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US2278708P | 2008-01-22 | 2008-01-22 | |
| US61/022,787 | 2008-01-22 | ||
| PCT/US2009/031493 WO2009094349A1 (en) | 2008-01-22 | 2009-01-21 | Adaptive motion information cost estimation with dynamic look-up table updating |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011510601A JP2011510601A (ja) | 2011-03-31 |
| JP5189172B2 true JP5189172B2 (ja) | 2013-04-24 |
Family
ID=40677544
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010544390A Expired - Fee Related JP5189172B2 (ja) | 2008-01-22 | 2009-01-21 | 適応性動き情報コスト推定 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8855196B2 (ja) |
| EP (1) | EP2245857B1 (ja) |
| JP (1) | JP5189172B2 (ja) |
| CN (1) | CN101933328B (ja) |
| WO (1) | WO2009094349A1 (ja) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2959376A1 (fr) * | 2010-04-22 | 2011-10-28 | France Telecom | Procede de traitement d'une information de mouvement, procedes de codage et de decodage, dispositifs, signal et programme d'ordinateur correspondants |
| US20110293004A1 (en) * | 2010-05-26 | 2011-12-01 | Jicheng An | Method for processing motion partitions in tree-based motion compensation and related binarization processing circuit thereof |
| US8913662B2 (en) * | 2011-01-06 | 2014-12-16 | Qualcomm Incorporated | Indicating intra-prediction mode selection for video coding using CABAC |
| CN107517384B (zh) | 2011-06-16 | 2020-06-30 | Ge视频压缩有限责任公司 | 解码器、编码器、解码方法、编码方法以及存储介质 |
| UA114674C2 (uk) | 2011-07-15 | 2017-07-10 | ДЖ.І. ВІДІЕУ КЕМПРЕШН, ЛЛСі | Ініціалізація контексту в ентропійному кодуванні |
| AU2013211004B2 (en) | 2012-01-20 | 2016-03-17 | Ge Video Compression, Llc | Transform coefficient coding |
| US9491475B2 (en) * | 2012-03-29 | 2016-11-08 | Magnum Semiconductor, Inc. | Apparatuses and methods for providing quantized coefficients for video encoding |
| US10021409B2 (en) * | 2012-05-09 | 2018-07-10 | Integrated Device Technology, Inc. | Apparatuses and methods for estimating bitstream bit counts |
| US9392286B2 (en) | 2013-03-15 | 2016-07-12 | Magnum Semiconductor, Inc. | Apparatuses and methods for providing quantized coefficients for video encoding |
| US9794575B2 (en) | 2013-12-18 | 2017-10-17 | Magnum Semiconductor, Inc. | Apparatuses and methods for optimizing rate-distortion costs in video encoding |
| PL411574A1 (pl) * | 2015-03-16 | 2016-09-26 | Politechnika Poznańska | System i sposób określania kosztu zastosowania określonego typu kodowania w koderze wizyjnym |
| KR20200098520A (ko) * | 2018-01-08 | 2020-08-20 | 삼성전자주식회사 | 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치 |
| CN110662043B (zh) | 2018-06-29 | 2021-12-21 | 北京字节跳动网络技术有限公司 | 一种用于处理视频数据的方法、装置和计算机可读介质 |
| WO2020003283A1 (en) | 2018-06-29 | 2020-01-02 | Beijing Bytedance Network Technology Co., Ltd. | Conditions for updating luts |
| BR112020024142A2 (pt) | 2018-06-29 | 2021-03-02 | Beijing Bytedance Network Technology Co., Ltd. | método para processamento de vídeo, aparelho para codificação de dados de vídeo, meio de armazenamento e meio de gravação legíveis por computador não transitório |
| JP7328330B2 (ja) | 2018-06-29 | 2023-08-16 | 北京字節跳動網絡技術有限公司 | Ｌｕｔにおける動き候補のチェック順序 |
| WO2020003270A1 (en) | 2018-06-29 | 2020-01-02 | Beijing Bytedance Network Technology Co., Ltd. | Number of motion candidates in a look up table to be checked according to mode |
| KR20210025537A (ko) | 2018-06-29 | 2021-03-09 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 하나 또는 다수의 룩업 테이블들을 사용하여 이전에 코딩된 모션 정보를 순서대로 저장하고 이를 사용하여 후속 블록들을 코딩하는 개념 |
| AU2019293670B2 (en) | 2018-06-29 | 2023-06-08 | Beijing Bytedance Network Technology Co., Ltd. | Update of look up table: FIFO, constrained FIFO |
| CN110662056B (zh) | 2018-06-29 | 2022-06-07 | 北京字节跳动网络技术有限公司 | 哪个查找表需要更新或不更新 |
| WO2020008348A1 (en) * | 2018-07-02 | 2020-01-09 | Beijing Bytedance Network Technology Co., Ltd. | Order of rounding and pruning in lamvr |
| TW202021358A (zh) * | 2018-07-14 | 2020-06-01 | 大陸商北京字節跳動網絡技術有限公司 | 用時間信息擴展基於查找表的運動向量預測 |
| GB2590310B (en) | 2018-09-12 | 2023-03-22 | Beijing Bytedance Network Tech Co Ltd | Conditions for starting checking HMVP candidates depend on total number minus K |
| KR102648159B1 (ko) | 2019-01-10 | 2024-03-18 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | Lut 업데이트의 호출 |
| CN113383554B (zh) | 2019-01-13 | 2022-12-16 | 北京字节跳动网络技术有限公司 | LUT和共享Merge列表之间的交互 |
| CN113330739A (zh) | 2019-01-16 | 2021-08-31 | 北京字节跳动网络技术有限公司 | Lut中的运动候选的插入顺序 |
| WO2020192611A1 (en) | 2019-03-22 | 2020-10-01 | Beijing Bytedance Network Technology Co., Ltd. | Interaction between merge list construction and other tools |
| CN116916026B (zh) * | 2019-06-17 | 2024-05-31 | 北京达佳互联信息技术有限公司 | 用于视频编解码中的解码器侧运动矢量细化的方法和装置 |
| WO2021007133A1 (en) * | 2019-07-06 | 2021-01-14 | Beijing Dajia Internet Information Technology Co., Ltd. | Methods and apparatuses for decoder-side motion vector refinement in video coding |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100604702B1 (ko) * | 1997-02-12 | 2006-07-28 | 미디어텍 인크. | 이미지 시퀀스를 인코딩하는 장치 및 이미지 신호를 양자화하기 위해서 양자화 스케일을 생성하는 방법 |
| US20040258147A1 (en) * | 2003-06-23 | 2004-12-23 | Tsu-Chang Lee | Memory and array processor structure for multiple-dimensional signal processing |
| US6900748B2 (en) * | 2003-07-17 | 2005-05-31 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Method and apparatus for binarization and arithmetic coding of a data value |
| US7233622B2 (en) | 2003-08-12 | 2007-06-19 | Lsi Corporation | Reduced complexity efficient binarization method and/or circuit for motion vector residuals |
| US7379608B2 (en) * | 2003-12-04 | 2008-05-27 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. | Arithmetic coding for transforming video and picture data units |
| WO2006004305A1 (en) | 2004-04-08 | 2006-01-12 | Samsung Electronics Co., Ltd. | Method and apparatus for implementing motion scalability |
| US8116374B2 (en) * | 2004-05-07 | 2012-02-14 | Broadcom Corporation | Method and system for generating a transform size syntax element for video decoding |
| JP4828925B2 (ja) * | 2005-11-30 | 2011-11-30 | パナソニック株式会社 | 符号化装置 |
| JP2007166039A (ja) * | 2005-12-09 | 2007-06-28 | Matsushita Electric Ind Co Ltd | 画像符号化装置 |
| US7693219B2 (en) * | 2006-01-04 | 2010-04-06 | Freescale Semiconductor, Inc. | System and method for fast motion estimation |
| US7653130B2 (en) * | 2006-12-27 | 2010-01-26 | General Instrument Corporation | Method and apparatus for bit rate reduction in video telephony |
-
2009
- 2009-01-21 JP JP2010544390A patent/JP5189172B2/ja not_active Expired - Fee Related
- 2009-01-21 EP EP09704731.0A patent/EP2245857B1/en not_active Not-in-force
- 2009-01-21 WO PCT/US2009/031493 patent/WO2009094349A1/en active Application Filing
- 2009-01-21 US US12/863,923 patent/US8855196B2/en not_active Expired - Fee Related
- 2009-01-21 CN CN200980102854.8A patent/CN101933328B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20100316118A1 (en) | 2010-12-16 |
| EP2245857B1 (en) | 2015-06-03 |
| CN101933328B (zh) | 2014-11-19 |
| US8855196B2 (en) | 2014-10-07 |
| JP2011510601A (ja) | 2011-03-31 |
| CN101933328A (zh) | 2010-12-29 |
| WO2009094349A1 (en) | 2009-07-30 |
| EP2245857A1 (en) | 2010-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5189172B2 (ja) | 適応性動き情報コスト推定 | |
| CN101946515B (zh) | Cabac译码器的二回合量化 | |
| JP6284954B2 (ja) | イントラ予測のためのモード決定の簡略化 | |
| KR101437719B1 (ko) | 보간 필터들 및 오프셋들을 이용한 디지털 비디오 코딩 | |
| CA2828013C (en) | Methods and devices for data compression using offset-based adaptive reconstruction levels | |
| JP5566529B2 (ja) | 辞書を用いてビデオをコード化する方法 | |
| CN108055541B (zh) | 用于编码和解码图像的方法、编码和解码设备 | |
| CN107396126B (zh) | 用于编码和解码图像的方法、编码和解码设备、以及相应的计算机程序 | |
| CN102413323B (zh) | 一种基于h.264的视频压缩方法 | |
| JP4545388B2 (ja) | フェーディング推定／補償によりビデオフレームを処理するシステムおよび方法 | |
| US9571851B2 (en) | Inter prediction method and apparatus using adjacent pixels, and image encoding/decoding method and apparatus using same | |
| JP2006140758A (ja) | 動画像符号化方法、動画像符号化装置および動画像符号化プログラム | |
| KR20110017302A (ko) | 움직임 벡터의 정확도 조절을 이용한 영상 부호화, 복호화 방법 및 장치 | |
| JP2011515940A (ja) | 映像の符号化、復号化の方法及び装置 | |
| JP6698142B2 (ja) | ビデオデータを符号化するための方法及び装置 | |
| KR20080033813A (ko) | 데이터 인코딩/디코딩 방법 및 장치 | |
| KR20090087767A (ko) | 영상의 인트라 예측 부호화 방법 | |
| JP2012104926A (ja) | 量子化パラメータ制御装置、量子化パラメータ制御方法、及びプログラム | |
| Türkan et al. | Sparse approximation with adaptive dictionary for image prediction | |
| JP2015515812A (ja) | ビデオ符号化のための量子化係数を提供するための機器および方法 | |
| KR20130046377A (ko) | 화소 블록 코딩 및 재구성 방법 및 대응 장치 | |
| CN115334306A (zh) | 一种率失真优化量化方法、装置、设备及存储介质 | |
| JP2019110529A (ja) | ビデオデータを符号化するための方法及び装置 | |
| KR20100136907A (ko) | 비디오 부호화 및 복호화를 위한 부호화 모드 보상 적응적 인루프 필터링 방법과 그 장치 | |
| KR101796876B1 (ko) | 움직임 추정을 이용한 영상 부호화 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20111011 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120124 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120418 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130108 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130123 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160201 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |