JP5509390B2 - ビデオ符号化および処理のための照明補償および遷移のための方法およびシステム - Google Patents

Description

関連出願への相互参照
本願は、2010年9月3日に出願された米国仮特許出願第61/380,111号の優先権を主張する。該出願の内容はここに参照によってその全体においてあらゆる目的について組み込まれる。

技術
本願は概括的には画像処理に関する。より詳細には、本発明のある実施形態は、ビデオ符号化および処理のための、照明補償パラメータを導出し、照明優勢遷移型を検出することに向けられる。

ビデオ信号のあるピクチャから次のピクチャへの遷移はしばしば、圧縮もしくは処理動作にかけられたことがありうる前のピクチャを基準とした新しいピクチャにおける何らかの動き、オブジェクトもしくはその一部の出現もしくは消滅または全く新しいシーンの登場によって特徴付けられる。全く新しいシーンの登場では、前の符号化された、処理されたまたはもとのピクチャは、予測基準として使うのにそれほど好適でなくなる。これらのイベントの大半は動き補償（インター予測の特別な場合）およびフレーム内予測を使ってモデル化できる。動き補償は、一つまたは複数の前に符号化されたピクチャ中のサンプルを使って現在のピクチャ中のサンプルを予測するために使われる。より具体的には、ブロック・ベースの動き補償では、現在のピクチャにおけるサンプルのブロックが、何らかのすでに復号された基準ピクチャからのサンプルのブロックから予測される。この後者のブロックは予測ブロックとして知られる。予測ブロックは、何らかの前の符号化されたピクチャ内の共位置のブロックという単純なものでもよい。これはすべてゼロの動きベクトルに対応する。しかしながら、動きを取り入れるために、デコーダに、予測されるブロックとよりよく一致する他の何らかの変位したブロックを使うよう指示する動きベクトルが伝送される。動きモデルは、動きパラメータが横方向および縦方向の変位動きベクトルからなる並進という単純なものであることも、6個または8個の動きパラメータを要求するアフィンまたはパースペクティブ動きモデルのような複雑なものであることもできる。より複雑な動き補償方式も、種々の動きパラメータに対応する複数のブロックの組み合わせである予測ブロックを与えうる。しかしながら、ビデオ信号は、動き補償（インター予測）やイントラ予測によって効果的にモデル化できないグローバルまたはローカルな照明変化（illumination change）を含むこともある。これらの照明変化は通例、フェード、クロスフェード、フラッシュおよび他の局所的な照明変化として見出される。これはたとえば、複数の照明源の存在によって引き起こされることがある。重み付き予測（WP: weighted prediction）、たとえば照明補償（illumination compensation）は、フェード、クロスフェード、フラッシュおよび他の局所的な照明変化のための予測効率を利することができる。重み付き予測は、色成分サンプル、たとえばルーマおよび／またはクロマ・サンプルに利得で重みをかけ（利得を乗算し）、それが追加的なオフセットを加えることによってさらに増大させられることからなる。本開示においては、色パラメータまたは色成分は、色領域または色空間をなす個々の成分を指すために使用されることがあることに留意されたい。また、いくつかの領域または空間では、色成分は強度に関係した成分および色に関係した成分を含むことがあることにも留意されたい。強度に関係した成分はルーマ値またはルミナンス値の一つまたは複数を含んでいてもよく、色に関係した成分はクロマ値またはクロミナンス値の一つまたは複数を含んでいてもよい。H.264/AVCのような現状技術のコーデックは、多くの可能な色空間／色領域の一つにあってもよいサンプルの重み付き予測をサポートする。重み付き予測は、中でもセンサー・ノイズ、圧縮もしくは他のアーチファクトおよび時間的フリッカー／非一貫性を軽減するために使うことのできる時間的な前置フィルタリングおよび後置フィルタリングのためにも有用である。実際上、照明変化の原因となる画像処理演算は必ずしも画像を圧縮または処理するために使われる領域、たとえばYCbCr領域に発するのではないことがある。実験的な知見によってサポートされる直観は、これらの演算が通例、他の何らかの領域、通例はsRGB領域で実施されることを示す（sRGBはPCおよびデジタル・カメラのための広く使われているRGB色空間である）。該他の領域は、色情報の人間の知覚認識により近くもある。RGB色空間へのおよびRGB色空間からの多数の可能なYCbCr変換公式があることを注意しておく。また、RGB値が照明変化をもたらした動作の前または後にガンマ補正されているという問題も考慮する必要がある。処理（主としてフェードおよびクロスフェード）によってもたらされた照明変化とは別に、たとえばグローバルまたはローカルなフラッシュ、懐中電灯や照明機器からの変動する照明およびシフトする自然の照明のような、コンテンツの一部である照明変化もある。

重み付き予測パラメータ、たとえばサンプルpからサンプルsのs＝w×p＋fという照明補償のために使われる利得wおよびオフセットfは、何らかの種類の重み付き予測パラメータ探索／推定（WP探索）を通じて導出される。その最も素直であり複雑さが最大の形では、何らかの制約された探索窓内で利得およびオフセットのあらゆる可能な組み合わせを考える、動き推定のために用いられる力ずくのフル探索方式と似た力ずくの探索方式を使って、源信号と比較しての、照明補償された基準信号の歪み／類似性を計算し、最小歪みにつながる照明補償パラメータを選択するのでもよい。そのような探索の間に動き推定および補償が考慮されてもよい。しかしながら、フル探索は計算集約的である。何らかの所与のブロック、領域またはさらにはフレーム全体（グローバル照明補償について）について「最適な」利得およびオフセットを推定する、多様な重み付けされたパラメータ推定技法が提案されている。たとえば、非特許文献１参照。これは、フェードイン／フェードアウト、カメラ虹彩絞り調整、フリッカー、照明変化などによって引き起こされるグローバルな輝度変動を含むビデオ・シーンについての符号化効率を改善する、グローバル輝度変動補償方式を記述している。非特許文献２および非特許文献３も参照。

上で論じた文献に記載される方法は、最良の可能な結果のために、すべての色成分に対して別個に適用する必要がある。重み付けされたパラメータ探索は動き推定および補償から裨益することもありうる。たとえば非特許文献４参照。H.264/AVC規格では、最終的な予測されたサンプルを与えるには、サンプルの動き補償に続いて重み付き予測が適用される。よって、WP探索の間、動きベクトルと重み付けされたパラメータとの間には相互依存関係がある。これは、次のようにして複数の反復工程を実行することによって対処できる：重み付けされたパラメータが何らかの簡単なアルゴリズムを用いて初期化され、基準フレームをスケーリングおよびオフセットするために使われる。次いでスケーリングおよびオフセットされた基準フレームは動きベクトルを与える動き推定のために使われる。あるいはまた、サンプルのスケーリングおよびオフセットは動き推定ステップに組み込まれてもよい。そのような実装では、スケールおよびオフセットはオンザフライで考慮され、重み付けされた基準を生成する別個のステップの必要はない。第二の反復工程では、これらの動きベクトルがWP探索の際に使われ、それにより各MBについて、WPパラメータを導出するために実際の予測基準ブロックが使われる。再びこれに続いて、すでに導出されたスケールおよびオフセットを考慮する、動き推定または単一の動き推定ステップにかけられるスケーリングされ、オフセットされた基準フレームが生成される。

K. Kamikura et al. "Global Brightness-Variation Compensation for Video Coding", IEEE Transactions on Circuits and Systems for Video Technology, vol.8, no.8, Wavelet Applications in Industrial Processing, December 1998, pp.988-1000 Y. Kikuchi and T. Chujoh, "Interpolation coefficient adaptation in multi-frame interpolative prediction", Joint Video Team of ISO/IEC MPEG and ITU-T VCEG, JVT-C103, Mar. 2002 H. Kato and Y. Nakajima, "Weighting factor determination algorithm for H.264/MPEG-4 AVC weighted prediction", Proc. IEEE 6th Workshop on Multimedia Signal Proc., Siena, Italy, Oct. 2004 J.M. Boyce, "Weighted prediction in the H.264/MPEG-4 AVC video coding standard", Proc. IEEE International Symposium on Circuits and Systems, Vancouver, Canada, May 2004, vol.3, pp.789-792 A. Ford and A. Roberts, "Color Space Conversions"、http://www.poynton.com/PDFs/coloureq.pdfで入手可能 P. Yin, A.M. Tourapis, and J.M. Boyce, "Localized weighted prediction for video coding," Proc. IEEE International Symposium on Circuits and Systems, May 2005, vol.5, pp.4365-4368

上述したように、照明補償に対処する当技術分野で知られている諸方法は、計算集約的であることがあり、その結果、画像表示のパフォーマンスが低下したり、あるいは所望されるパフォーマンスを与えるためのハードウェア・コストが高まったりする。フレームおよびピクチャといった用語が交換可能に使われることがあるものの、そのような交換可能な用法は、フィールド・ピクチャのようなインターレース・スキャン・コンテンツを排除するものと解釈すべきでないことを注意しておく。本開示の教示は、順次走査されるフレームおよびインターフェース・スキャンされるフィールド（表（top）または裏（bottom））のピクチャの両方に適用可能である。

本発明は請求項記載の手段によって課題を解決する。

付属の図面は、この明細書に組み込まれ、その一部をなし、本開示の一つまたは複数の実施形態を例解し、詳細な説明および例とともに本開示の原理および実装を説明するはたらきをする。
ローカルまたはグローバルな照明変化の判別のアルゴリズムのフローチャートである。 フェードについてのカラーWPパラメータ推定のフローチャートである。 利得w_Yが1に等しくなく、オフセットf_Yが0でない場合の色パラメータ導出アルゴリズムのフローチャートである。 フラッシュについてのカラーWPパラメータの導出のためのアルゴリズムのフローチャートである。 線形領域でのフェードについてのWPパラメータ導出のためのアルゴリズムについてのフローチャートである。 DCがフレームm＋2まで減少するフェードの終わりの図である。 DCがフレームm＋2まで増加するフェードの終わりの図である。 DCがフレームm＋2から増加するフェードの始まりの図である。 DCがフレームm＋2から減少するフェードの終わりの図である。 照明関係を使ったフェード検出のためのアルゴリズムのフローチャートである。 低計算量のクロスフェード検出器のためのアルゴリズムのフローチャートである。 黒からのフェードインをもつ飽和した背景をもつグローバルな照明の例を示す図である。 飽和した背景をもつ一般的なグローバルな照明の例を示す図である。 ラベル付けされた集合に基づくWPパラメータ探索についてのアルゴリズムのフローチャートを示す図である。 逐次消去を使ったWP探索のアルゴリズムのフローチャートである。 ハイブリッド・ビデオ・デコーダのブロック図である。

下記の例に示すように、本発明のある実施形態は、ビデオ信号のあるピクチャから次のピクチャへの遷移におけるフェード検出およびフェードのグローバルまたはローカルな性質の判別のための方法であって：ピクチャの複数のフレームおよび関係した予測基準フレームを提供し；各フレームおよび関係した予測基準フレームについて；第一の色領域における一つまたは複数の強度に関係した値および一つまたは複数の色に関係した成分値を計算し；各フレームおよび関係した予測基準フレームについて、前記第一の色領域における各色成分値について重み付き予測利得を計算し；重み付き予測利得がすべて非負でありかつ互いに実質的に同様である場合、ゼロ・オフセットをもつグローバル遷移が主として第二の色領域において起きつつあると判定し；重み付き予測利得がすべて非負でありかつ互いに実質的に同様ではない場合、グローバルなフェード遷移；ゼロ・オフセットをもつグローバルなフェード遷移；または第二の色領域におけるゼロ・オフセットをもつグローバルなフェード遷移のうちの少なくとも一つが起きていないと判定することを含む、方法である。

さらに下記の例に示すように、本発明のもう一つの実施形態は、ビデオ信号のあるピクチャから次のピクチャへの遷移におけるフェード検出およびフェードのグローバルまたはローカルな性質の判別のための方法であって：ピクチャの複数のフレームおよび関係した予測基準フレームを提供し；各フレームおよび関係した予測基準フレームについて；第一の色領域における強度に関係したおよび色に関係した値を計算し；各フレームおよび関係した予測基準フレームについて；強度に関係した重み付き予測パラメータを計算し；各フレームおよび関係した予測基準フレームについて、計算された（たとえば算出された）強度に関係したおよび色に関係した値からおよび計算された強度に関係した重み付き予測パラメータから重み付き予測利得を計算し；重み付き予測利得がすべて非負でありかつ互いに実質的に同様である場合、ゼロ・オフセットをもつグローバル遷移が主として第二の色領域において起きつつあると判定し；重み付き予測利得がすべて非負でありかつ互いに実質的に同様ではない場合、ローカルな遷移が起きつつあるかどうかを試験することを含む、方法である。

本発明のさらにもう一つの実施形態は、ビデオ信号のあるピクチャから次のピクチャへの遷移におけるフェードのグローバルまたはローカルな性質の判別のための方法であって：ピクチャの複数のフレームおよび関係した予測基準フレームを提供し；各フレームおよび関係した予測基準フレームについて、第一の色領域における強度に関係したおよび色に関係した値を計算（たとえば算出）し；各フレームおよび関係した予測基準フレームについて、第一の色領域における強度に関係したおよび色に関係した各値について重み付き予測利得を計算し；各フレームおよび関係した予測基準フレームについて、重み付き予測利得を互いと比較し；重み付き予測利得がすべて非負でありかつ互いに実質的に同様である場合、フェードがグローバルであると判定し；重み付き予測利得がすべて非負でありかつ互いに実質的に同様ではない場合、フェードはローカルであると判定することを含む、方法である。

本発明のさらにもう一つの実施形態は、画像遷移が起こるときに色空間変換および第一の色成分重み付き予測パラメータについての情報から第二および第三の色成分の重み付き予測パラメータを計算する方法であって：第一の色成分重み付き予測利得およびオフセットを計算し；計算された第一の色成分重み付き予測利得およびオフセットの値に基づいて、色変換オフセット、色変換行列の係数および第一の色成分重み付き予測利得およびオフセットの関数として、第二および第三の色成分重み付き予測利得およびオフセットを計算することを含む、方法である。

もう一つの実施形態は、画像フラッシュが起こるときに強度に関係したパラメータおよび色空間変換についての情報から色に関係したパラメータを計算する方法であって：強度に関係した利得およびオフセットを計算し；強度に関係した利得が1でなくかつ強度に関係したオフセットが0でない場合、色に関係した利得を強度に関係した利得に等しいと設定し、色に関係したオフセットを、色フォーマット変換オフセット、強度に関係した利得、強度に関係したオフセットおよび色変換行列の係数の関数として計算し；強度に関係した利得が1でなくかつ強度に関係したオフセットが0である場合、色に関係した利得を強度に関係した利得に等しいと設定し、色に関係したオフセットを、色フォーマット変換オフセット、強度に関係した利得および色変換行列の係数の関数として計算し；強度に関係した利得が1であるか1に近い場合、色に関係した利得を1に等しいと設定し、色に関係したオフセットを、強度に関係したオフセットおよび色変換行列の係数の関数として計算することを含む、方法である。

さらにもう一つの実施形態は、ビデオ信号のあるシーンから次のシーンへの遷移におけるフェード検出の方法であって、次のステップを含む方法である：ステップＡ：ビデオ信号からの複数のフレームを提供する；ステップＢ：前記複数のフレームのうち現在フレームを選択する；ステップＣ：現在フレームに先行するフレームおよび現在フレームの後続のフレームの一つまたは複数の色成分のフレーム値に基づいて現在フレームの一つまたは複数の色空間成分について一組の属性を計算する；ステップＤ：先行フレームに先行するフレームおよび先行フレームの後続のフレームの一つまたは複数の色成分のフレーム値に基づいて現在フレームに先行する先行フレームの一つまたは複数の色空間成分について一組の属性を計算する；ステップＥ：前記現在フレームの前記一つまたは複数の色空間パラメータについての前記一組の属性を前記先行フレームの前記一つまたは複数の色空間パラメータについての前記一組の属性と比較して、前記現在フレームが増加するもしくは減少するフレーム値をもつフェードの終了フレームであるかどうかまたは前記現在フレームに先行する前記フレームが増加するもしくは減少するフレーム値をもつフェードの開始フレームであるかどうかを判定する。

さらにもう一つの実施形態は、クロスフェード検出の方法であって：ビデオ・シーケンスの複数のフレームおよび関係した双方向の予測基準フレームを提供し；現在フレームおよび関係した双方向の予測基準フレームの第一の色領域の色空間成分について計算された平均利得ならびに現在フレームおよび関係した双方向の予測基準フレームの第二の色領域の色空間成分について計算された平均利得に基づいてクロスフェードが存在するかどうかを判定することを含む、方法である。

さらにもう一つの実施形態は、フェード条件の存在下での重み付けされたパラメータ決定の方法であって、次のステップを含む方法である：ステップＡ：ピクチャからの複数のフレームおよび関係した予測基準フレームを提供する；ステップＢ：色成分を選択する；ステップＣ：各フレームおよび関係した予測基準フレームについて、そのフレームおよびその関係した予測基準フレーム内で選択された色成分について飽和されたパーティションを判別する；ステップＤ：各フレームおよび関係した予測基準フレームについて、両フレームが、選択された色成分について、飽和した値をもつ大きな領域を共有するかどうかを判定し、飽和した値をもつ共有された大きな領域がなければステップＨに進む；ステップＥ：各フレームおよび関係した予測基準フレームについて、そのフレームおよびその関係した予測基準フレーム内で飽和していないパーティションを判別する；ステップＦ：各フレームおよび関係した予測基準フレームについて、両フレームが、選択された色成分について、飽和していない値をもつ大きな領域を共有するかどうかを判定し、飽和していない値をもつ共有された大きな領域がなければステップＨに進む；ステップＧ：各フレームおよび関係した予測基準フレームについて、共有され、任意的には同じピクセル数に規格化された、飽和していない値をもつ大きな領域に基づいて、重み付き予測利得および因子を計算する；ステップＨ：各フレームおよび関係した予測基準フレームについて、フレーム全体に基づいて重み付き予測利得および因子を計算する。

さらにもう一つの実施形態は、フェード条件の存在下での重み付けされたパラメータ決定の方法であって、次のステップを含む方法である：ステップＡ：色サンプル・データを含む、ピクチャからの複数のフレームおよび関係した予測基準フレームを提供する；ステップＢ：色成分を選択する；ステップＣ：各フレームについて、前記色サンプル・データについての選択された色領域に基づいて選択された色成分についての現在の最低飽和値および現在の最高飽和値を設定する；ステップＤ：各関係した予測基準フレームについて、前記色サンプル・データについての選択された色領域に基づいて選択された色成分についての現在の基準最低飽和値および現在の基準最高飽和値を設定する；ステップＥ：各フレームおよび関係した基準フレームについて、現在の最低飽和値、現在の最高飽和値、現在の基準最低飽和値および現在の基準最高飽和値に基づいて重み付き予測パラメータを推定する；ステップＦ：各関係した予測基準フレームについて、推定された重み付き予測パラメータに基づいて更新された現在の基準最低飽和値および更新された現在の基準最高飽和値を計算する；ステップＧ：現在の基準最低飽和値を更新された現在の基準最低飽和値に等しく設定し、現在の基準最高飽和値を更新された現在の基準最高飽和値に等しく設定する；ステップＨ：現在の反復工程についての重み付き予測パラメータが直前の反復工程についての重み付き予測パラメータと、選択された値だけ違っている場合または反復工程の数が選択された反復工程カウントより大きい場合、ステップＤないしＧを一連の逐次反復工程について繰り返す。

本発明のさらにもう一つの実施形態は、ビデオ信号のあるピクチャから次のピクチャへのフェード遷移における重み付き予測利得およびオフセットを推定する方法であって：ビデオ信号内のピクチャから現在フレームおよび関係した予測基準フレームを提供し；各現在フレームおよび関係した予測基準フレームについて；色領域内で色成分値を計算し、A_mは現在フレームについての第一の色成分を表し、B_mは現在フレームについての第二の色成分を表し、C_mは現在フレームについての第三の色成分を表し、A_m+1は関係した予測基準フレームについての第一の色成分を表し、B_m+1は関係した予測基準フレームについての第二の色成分を表し、C_m+1は関係した予測基準フレームについての第三の色成分を表し；重み付き予測利得をすべての色成分について等しく設定し、wがすべての色成分についての等しい値の重み付き予測利得を表し；色成分のうちの二つの色成分についての重み付き予測オフセットを互いに等しく設定し、f_Aが第一の色成分についてのオフセットを表し、f_Cが色成分のうちの二つの色成分についての等しい値の重み付き予測オフセットを表し；重み付き予測利得wおよび重み付き予測オフセットf_Aおよびf_Cについての公式を解くことを含む、方法である。

本発明のさらにもう一つの実施形態は、ビデオ信号のあるピクチャから次のピクチャへのフェード遷移における重み付き予測利得およびオフセットを推定する方法であって：ビデオ信号内のピクチャから現在フレームおよび関係した予測基準フレームを提供し；各現在フレームおよび関係した予測基準フレームについて；色領域内で色成分値を計算し、A_mは現在フレームについての第一の色成分を表し、B_mは現在フレームについての第二の色成分を表し、C_mは現在フレームについての第三の色成分を表し、A_m+1は関係した予測基準フレームについての第一の色成分を表し、B_m+1は関係した予測基準フレームについての第二の色成分を表し、C_m+1は関係した予測基準フレームについての第三の色成分を表し；重み付き予測オフセットをすべての色成分について等しく設定し、fがすべての色成分についての等しい値の重み付き予測オフセットを表し；色成分のうちの二つの色成分についての重み付き予測利得を互いに等しく設定し、w_Aが第一の色成分についてのオフセットを表し、w_Cが色成分のうちの二つの色成分についての等しい値の重み付き予測オフセットを表し；重み付き予測利得w_Aおよびw_Cおよび重み付き予測オフセットfについての公式を解くことを含む、方法である。

本発明のさらにもう一つの実施形態は、重み付き予測パラメータを第一の色領域から第二の色領域に変換する方法であって、前記第一の色領域から前記第二の領域への変換は線形ではなく：前記第一の色領域から前記第二の色領域への変換の表現に基づいて、前記第二の領域における一つまたは複数のフレームについての第二の色領域の重み付き予測パラメータを計算することを含む、方法である。

〈概観〉
本開示は色空間を考慮する照明補償に関する方法および実施形態を記述する。具体的には、これらの方法および実施形態は、二次元および三次元アプリケーションの両方についてビデオ・エンコードおよびデコードを使う装置およびソフトウェアに組み込まれてもよい照明補償に向けられる。そのような装置はビデオディスク・システム、無線ブロードキャスト・システム、インターネット・プロトコル・テレビジョン（IPTV: Internet Protocol television）システムおよび他のそのような装置を含んでいてもよい。

ビデオ表現のための最も広く使われる色空間はRGB色空間である。各成分は各原色、この場合は赤、緑および青の原色の強度を表す。RGB領域は、色情報の表現に関して、非常に効率的である。さらに、RGB値はディスプレイまたはグラフィック・カードに送られる前にガンマ補正される。ガンマ補正演算は下記の式１に示されるように一般化できる。

パラメータγ_R、γ_Gおよびγ_Bはガンマ補正指数であり、利得α_R、α_Gおよびα_Bはコントラストを制御し、オフセットβ_R、β_Gおよびβ_Bは黒レベルおよび強度を制御する。本開示の残りの部分では、α_R＝α_G＝α_B＝1かつβ_R＝β_G＝β_B＝0と想定される。γ指数は成分ごとに異なることができるが、本開示の残りの部分では、記法および解析を簡単にするため、γ_R＝γ_G＝γ_B＝γとする。しかしながら、本稿に記載される方法の多くが指数が異なる場合でも適用可能であることは理解される。基本的かつ最も実際的な応用については、ガンマ利得およびガンマ・オフセットも色チャネルを通じて一貫していると想定される。

RGB色空間は色表現および表示の点で効率的であるが、通例、ビデオ圧縮のためには効率的ではない。色チャネルの間に有意な相関があることがあるからである。テレビジョン放送システムの圧縮パフォーマンスを改善するために、RGB信号を脱相関して新しい色空間にするいくつかの変換が提案され、規格化されている。新しい色空間では、一つの成分がルミナンス情報に集中してしばしばY（ガンマ補正されればY'）で表され、残り二つの成分はほとんどクロミナンス情報を保持する。これらの変換は、アナログの米国NTSC Y'I'Q'およびアナログの欧州EBU Y'U'V'ならびにY'CbCrのさまざまなデジタル変形を含む。たとえば非特許文献５を参照。下記で、それらの変換の最も広く使われているバージョンおよびその適用から生じうる問題について述べる。下記の変換および式は例示の目的のために呈示されているのであって、本願発明を述べられる特定の変換および式に限定すると解釈するべきではないことに留意されたい。当業者は、他の変換および式が本発明の範囲内であることを理解するであろう。

標準精細度（SD: Standard Definition）解像度でのデジタルTVピクチャの符号化のための国際標準はITU BT.601である。アナログRGB空間からアナログYCbCr空間への変換のための非線形符号化行列が下記の式２に示されている。

式２は0から1までの範囲のRGB色チャネル表現（(E'_R,E'_G,E'_B)∈[0,1]）について有効であり、E'_YE'_PBE'_PRの「アナログ」値を与える。それらはE'_Y∈[0,1]、E'_PB∈[−0.5,0.5]、E'_PR∈[−0.5,0.5]の値を取る。デジタル・コンピュータでは、RGB色成分は通例、Nビット、たとえば8ビットの符号なし整数値で表現され、0から255までの値が許容される。(R',G',B')∈[0,255]とする。アナログE'_YE'_PBE'_PR値のデジタルY'CbCr値への変換（これは本質的には量子化プロセスである）は、ITUおよびSMPTE仕様によれば下記の式３に示される変換を用いて達成できる。

式２および式３を使って、Y'CbCr成分の8ビット表現が下記の式４に示されるように導出される。

8ビット・デジタル表現では、RGB成分は0から255までの範囲である。このダイナミックレンジはY'CbCr空間への変換を適用するときに制約されてもよい。下記の式５の変換を使うと、有効範囲はY'∈[16,235]、Cb∈[16,240]およびCr∈[16,240]となる。

式５に示した表現はさらに単純化されて、式６に示される整数のみのSIMD演算による迅速な計算を可能にしてもよい。

式５および式６の導出はルーマ成分についての16というオフセットを使う。ITUおよびSMPTEによって推奨されている式３とは別に、JPEGグループのJFIF規格は、主としてダイナミックレンジのより大きなスライスを保持することが望ましい画像圧縮についてのアナログ‐デジタル変換のための代替的な式を標準化した。この代替的な式は下記の式７に示される。

式７に示される変換はもとのアナログ信号のダイナミックレンジのより多くを保持する。さらに、ルーマ値はもはや、16以上かつ235未満であるよう制約されない。クロマ値もより高いダイナミックレンジをもつ。しかしながら、Y'値についてのオフセットの不在にも注意されたい。ここで、この解析および本発明の方法を8ビットでサンプリングされる色空間成分に限定すべきではないことを注意しておく。現在も従来も、より大きなビット深さのコンテンツが、中でもデジタル映画館のようなアプリケーションのために利用可能である。そのような場合、たとえば変換のオフセットは適切なビット深さにスケーリングされる。さらに、変換された色空間がもとの色空間と同じダイナミックレンジを保持することは必要ではない。最後に、ダイナミックレンジ（またはビット深さ）は成分ごとに異なっていてもよい。

高精細度（HD: High Definition）解像度でのデジタルTVピクチャの符号化のための国際標準はITU BT.709である。その非線形符号化行列が下記の式８に示されている。

式８に示される公式は0から1までの範囲のRGB色チャネル表現（(E'_R,E'_G,E'_B)∈[0,1]）について有効であり、E'_Y、E'_PBおよびE'_PRの「アナログ」値を与える。それらはE'_Y∈[0,1]、E'_PB∈[−0.5,0.5]、E'_PR∈[−0.5,0.5]の値を取る。

式５を基礎として使って、RGBからY'CbCrへの変換は下記の式９に示されるように一般化できる。

上記の式は照明変化をモデル化する際に有用である。特に断りのない限り、Y'CbCrおよびRGBはガンマ補正された値を指すことに留意されたい。ただし、RGBが同じ式またはコンテキストにおいてR'G'B'とともに使われるときは、前者の記法は線形値を表し、後者の記法がガンマ補正された値を表す。

上に与えたRGBからY'CbCrへの変換の説明で、本発明のいくつかの実施形態によって対処される照明変化が下記のようにカテゴリー分けされうる。

フェードインは、コンテンツのないフレーム（通例ブランクまたは単色）から始まって新しいシーンの始まりで終わるグローバルな照明変化である。開始時の色が黒、たとえば8ビットのITU BT.601色空間についてはY'値が17未満でありCb、Cr値が128に近い場合、黒からのフェードインがあり、開始時のフレーム色が白、たとえば8ビットのITU BT.601色空間についてはY'値が234より大きくCb、Cr値が128に近い場合、白からのフェードインがある。開始フレームと終了フレーム（端フレーム）の間のフレームは二つの端フレームの線形結合としてモデル化できる。ただし、フェードインは単一方向からも予測できる。すなわち、開始フレームが明るいか暗いかに依存して、最後のフレームの前のフレームは終了フレームのより明るいまたはより暗いバージョンになる。ある集合のDCとは集合の平均値を表すとする。最初のフレームをフレームnとし、最後のフレームをフレームn＋Nとする。Y'_nはフレームnについてのルーマDCを表すとする。Cb_n、Cr_n、R_n、G_nおよびB_nは同様に定義されることができる。グローバルな照明変化は、各色空間成分cmpについて利得w_cmpおよびオフセットf_cmpをもつ遷移としてモデル化される。フェードインについて、式１０および式１１に示される式が使用されてもよい。

項kはk≧1およびk≦−1として定義される（任意の0でない整数）。式１１に基づくフェードインのモデルは下記の式１２のように示される。

式１２から、単一の利得wがRGB色空間における変化をモデル化できると想定できる。オフセットfはしばしば0であると想定される。式１０のようにフェードインをモデル化することは、たとえばH.264ビデオ符号化規格において実装されるようなオフセットおよび利得をもつ重み付き予測に対応することを注意しておく。pは予測（prediction）ブロック中のサンプルを表し、fは最終的な（final）予測値を表すとする。またw_xは利得を表し、o_xはオフセットを表し、logWDは演算の数学的精度を制御する項を表すとする。重み付き予測は下記の式１３に示されるように実装されてもよい。

フェードアウトは、シーンの終わりであるフレームから始まってコンテンツのないフレーム（通例ブランクまたは単色）で終わるグローバルな照明変化である。終了時の色が黒の場合、黒へのフェードアウトがあり、終了時のフレーム色が白の場合、白へのフェードインがある。開始フレームと終了フレーム（端フレーム）の間のフレームは二つの端フレームの線形結合としてモデル化できる。ただし、フェードアウトは単一方向からも予測できる。すなわち、終了フレームが明るいか暗いかに依存して、最後のフレームの前のフレームは終了フレームのより暗いまたはより明るいバージョンになる。

クロスフェードは、開始フレームがあるシーンに属するフレームであり終了フレームが次のシーンに属するフレームであるグローバルな照明変化である。開始フレームと終了フレーム（端フレーム）の間のフレームは二つの端フレームの線形結合としてモデル化できる。ただし、フェードインやフェードアウトと異なり、クロスフェードは単一方向からは効率的に予測できない。その理由は、クロスフェードにおけるフレームは定義により、二つの非常に異なるシーンに属する二つのフレームの混合だからである。この混合は、たいていの場合は線形だが、通例RGB色空間において行われ、各予測方向からの二つのサンプルの重み付けされた平均としてモデル化されてもよい。下記の式１４はクロスフェードのために使用されてもよいモデルを示している。

利得の和が1に等しい、すなわちw₁＋w₂＝1と想定される。さらに、オフセットfはしばしば0であると想定される。パラメータpは−1以下、たとえばp≦−1と定義される。一方、パラメータqは1以上、たとえばq≧1と定義される。

フラッシュおよび雑多な照明変化は、フェード、クロスフェードといった上記のカテゴリーのいずれにも当てはまらない照明変化であり、たいていは画像処理動作を通じて課される人工的な（合成的な）照明変化である。フラッシュはたいてい自然に起こる照明変化であり、一方、雑多な照明変化は人工的なタイプ（たとえば後処理の際に導入される）であることも自然なタイプであることもできる。ただし、コンピュータ・アニメーション化されたコンテンツを考えるときは人工的なタイプと自然なタイプとを区別することは難しいことを注意しておく。これらの照明変化の継続時間は多様であり、フラッシュの場合のように、単一フレームくらいの短さであることもしばしばある。さらに、ピクチャの単一の部分に影響し、グローバル照明補償（グローバルな重み付き予測パラメータ）によって簡単にはモデル化できないこともしばしばある。追加的な複雑化要因は、その振る舞いがコンテンツや光源に依存しており、制約されたモデル化になじむことは多くないということがある。たとえば、色空間成分を横断した諸変化の間の関係を確立することが困難であろう。光源の性質およびオブジェクトのセンサーからの距離についての情報は、これらの関係を確立するのを支援することがありうる。たとえば、光源が特定の色、たとえば赤である場合、赤い色の情報を保持する成分は、他の色に影響する成分よりも大きな影響を受けることになる。対照的に、フェードやクロスフェードについては、照明補償アルゴリズムの基礎を提供することができるいくつかの直観的な想定をすることができる。以下に記載されるのは、雑多な照明変化およびフラッシュのいくつかの例である。

雑多な照明変化は人工的または自然であることができる。人工的な変化はフェードイン／アウトおよびクロスフェードのローカル対応物を含む。たとえば、ニュース番組において、局所化された照明変化はきわめて一般的でありうる。たとえば、中でもロゴまたはピクチャ・イン・ピクチャ・セグメント挿入のためである。数多くの自然な照明変化もシーンに影響しうる：中でも次のようなものがある、（ａ）内部の光源（たとえばランプ）を動かすおよび／またはシフトさせる（強度またさらには色温度を）、（ｂ）外部の光源（日没、スポットライトなど）を動かすまたはやはりシフトさせる（たとえば太陽が雲の中を動く）、（ｃ）オブジェクトに同時に影響する複数の源の存在、（ｄ）光源からカメラまたはオブジェクトへの反射、（ｅ）他の何らかの、おそらくは動いているオブジェクトが光源を隠蔽することにより、または光源自身の動きによりオブジェクトを陰にすること、（ｆ）ある種の色にも影響する複数の光源を生じる爆発のようなきわめてダイナミックなイベント、（ｇ）水のような透明で動いている物質の存在が光源から来る光の方向および強度に、時間的および空間的に影響すること。光の強度によっては、色情報は保存されることもある。ただし、これが成り立たないケースもあるであろう。

フラッシュは数フレームにわたって、しばしばほんの一フレームだけ存続し、ローカルまたはグローバルな照明変化に関わる。色成分、たとえばRGB色空間上での重みおよびオフセットは必ずしも相関していない。光源が白である場合、すべての重みはほぼ同じ値をもつものとしてモデル化されることができる。しかしながら、光源が優勢な色をもつことも可能である。さらに、フラッシュ源が白であったとしても、それは色飽和を高めることができる。低い光はシーン内のあらゆる色情報を洗い流す傾向があるからである。ただし、同様の効果をもつ非常に明るい光についても同じような議論が成り立つ。よって、フェードに関しては多少なりとも真実であった、色情報が維持されるという考えは、フラッシュの間は必ずしも成り立たない。

懐中電灯のような局所化された、動いている、指向性のある光源は、局所的な照明変化を引き起こし、しばしば色を飽和させたりまたは色成分を変えたりすることができる。前のフレームに存在していなかった色情報を明らかにするからである。よって、色情報は必ずしも維持されない。

本開示は、色空間を考慮した照明補償に関係する、本発明に基づくいくつかの実施形態を記述する。特定の色空間を使った例示の呈示が本発明の実施形態をそれらの色空間に限定するものと解釈されるべきではないことを注意しておく。特に、ルーマおよびクロマ成分を利用する色空間を使う実施形態の記述は説明の目的のために呈示されているのであり、当業者はそのような例が他の色空間に拡張されうることを理解する。本発明の実施形態およびその例について以下で簡単に述べ、のちに示されるセクション見出しによって示されるようにさらに詳細に呈示する。

ある実施形態は、フェード検出および照明変化の性質、つまりローカルかグローバルかの判定の方法を含む。この方法は、次の段落で述べる実施形態の動作を案内するためにも有用である。この方法は、中でも、ルーマおよびクロマDC値またはヒストグラム・モードのようないくつかのグローバル・パラメータを要求し、フェードがあるかどうか、そしてそれがローカルかグローバルかを確立するために異なる色空間（RGB対YCbCr）における関係を活用する。

もう一つの実施形態は、ルーマ・パラメータおよび色空間変換情報が与えられたときに照明補償のための欠けているクロマ・パラメータの導出の方法を含む。ルーマ・パラメータがローカル・ベース（ブロックまたは領域ごとに）で知られていれば、本方法は、クロマ事前〔アプリオリ〕情報が限定的であるよう制約されておりスコープにおいてグローバルであるという事実にもかかわらず、クロマ・パラメータもローカル・ベースで導出することを許容する。この方法により、ローカルおよびグローバルな照明補償パラメータが、必ずしも成分すべてにおけるフル探索に頼ることなく、ルーマおよびクロマ成分の両方について得られる。照明変化の各型について種々の実施形態を以下で述べる。追加的な実施形態は、この方法をビデオ復号システムの一部として実装してもよい。他の実施形態は、ローカル・パラメータを導出するときにセグメンテーションを考慮することによってクロマ・パラメータ推定を向上させてもよい。セグメンテーションは動き補償から裨益してもよく、同様のクロマ情報を共有するシーン内の諸オブジェクトを追跡する際に有用である。このように、クロマ・パラメータは、正しい欠けているクロマ・パラメータを導出する可能性を改善するとともにそうするプロセスを高速化するいくつかの初期化値から裨益することができる。

さらにもう一つの実施形態は、照明変化が圧縮中に使われた表現（領域）以外の色空間表現において発生する場合についての照明補償パラメータ導出の方法を含む。そのような場合は、変換行列／式が線形でない場合を含んでいてもよい。一つの目標は、ある領域におけるパラメータを、他の何らかの領域におけるパラメータの値または特性についての知識を与えられて、決定することである。たとえば、フェードおよびクロスフェードが線形領域またはガンマ領域の4:4:4 RGB色空間において直接、サンプルを処理することによって生成されたが、一方で予測とそれに続く圧縮はたとえばガンマ領域または対数領域4:2:0 YCbCr色空間において発生するということが可能である。これは、XYZ色空間、広色範囲（WCG: wide color gamut）空間または既存のもしくは将来の色空間の他の何らかの組み合わせに関わる応用にも拡張されうる。同様の問題は、一つの層（基本；BL）がある色空間でのコンテンツ、たとえばフレームの低ダイナミックレンジ（LDR: low dynamic range）バージョンを含み、向上層（EL: enhancement layer）が異なる色空間でのコンテンツ、たとえばフレームの視覚ダイナミックレンジ（VDR: visual dynamic range）バージョンを含むスケーラブル・ビデオ符号化においても生じうる。この実施形態のもう一つの応用は、立体視画像の対を扱う。立体視カメラ対において、各カメラは異なる色空間特性を有していてもよく、これは不十分な較正の結果であることもあるが、どの二つのレンズもカメラ・センサーも同一の周波数伝達特性をもつことはないという事実の結果でもある。結果として、各カメラによって捕捉された画像は色シフトを表示する。よって、ある画像について導出された照明補償パラメータは他方には直接適用可能でないこともある。しかしながら、一方のカメラから他方のカメラへ色空間座標を関係付ける変換の知識が（較正を通じて）与えられれば、この実施形態を適用して第二の画像についてのパラメータを導出してもよい。このようにこの実施形態は、BLが立体視用画像対の第一の画像を符号化しELが第二の画像を符号化するスケーラブル符号化システムにおいて適用されることができる。これらおよび類似の場合についてのパラメータ導出を最適化する方法は下記でより詳細に記述される。

さらにもう一つの実施形態は、照明変化関係を使うフェードおよびクロスフェード検出を含む。照明補償パラメータの探索中に抽出されたパラメータを使ってフェード・シーケンスを画定する（demarcate）ために使用できる低計算量の諸方法が以下でより詳細に記述される。

もう一つの実施形態は、クリッピングおよび飽和補償をもつ照明補償パラメータ導出を含む。ルーマおよびクロマ成分におけるサンプルがクリッピングされ所定の値に飽和させられるという事実を取り入れる諸方法が以下で記述される。クリッピングおよび飽和のような動作は、重み付き予測が意図したとおりに機能することを許容する標準的な前提の多くを破る。これらの方法の基礎は、サンプルを、限界（bounds）から離れているサンプルと限界に近いサンプルにカテゴリー分けすることである。上記の領域／カテゴリーの追跡および導出を改善するために、セグメンテーションおよび動き補償を利用する追加的な実施形態も定義される。

他の実施形態は、照明補償パラメータの低計算量推定のための方法を含む。

〈フェード検出およびフェードの性質（グローバルかローカルか）の判定のための方法〉
H.264/AVCのような現代のコーデックは通例、Y'CbCr領域で動作する。Y'CbCr領域の非常に良好な脱相関属性のためである。ただし、H.264/AVCの場合、入力およびデコードされたピクチャは次の色空間のいずれであってもよいことを注意しておく：Yのみ（グレースケール）、Y'CbCrまたはYCgCo、RGBおよび他の指定されない単色もしくは三刺激色空間（たとえばXYZとしても知られるYZX）。にもかかわらず、表示の前に、圧縮解除されたビデオは通例、もとの源RGB領域に変換し戻される。RGB領域は人間の視覚系の動作により近く、フェード遷移は、上記で述べたようにこの領域で調べたほうがよりよく理解できる。人工的なフェードを創り出すためにしばしば使われるポストプロダクション・ソフトウェアはRGB領域で動作する可能性が高い。本開示については、RGBおよびYCbCrは例示的な実施形態として使われていることを注意しておく。しかしながら、本願に開示される方法は、変換行列／アルゴリズムがわかっている限り、所与の任意の色空間組み合わせ（たとえばXYZ対YCgCo）について適用されることができる。記法を簡単にするため、本開示の残りの部分では、Y'CbCrの代わりにYCbCrを使うことを注意しておく。

フェード遷移の際は、照明が変化する間、色情報が保存されることが想定される。その結果、すべての成分について共通の利得wとなるが、これはグラスマンの混色の第二法則（Grassman's Second Law of Color Mixture）の結果である。式１２は、すべての成分にわたって（小さな）オフセットが一様であると想定することによって式１５に示されるようにさらに単純化できる。

(Y'_m,Cb_m,Cr_m)がフレームmについてのY'CbCr成分を表すとする。下記の式１６は式１５と式９を組み合わせることによって導出される。

広く使われているITU BT.601のRGBからY'CbCrへの変換行列については、式１６は下記に示す式１７のように単純化できる。

上記の式１７は、RGB領域のすべての成分における一様なオフセットがY'CbCr領域におけるY（ルーマ）成分についての単一のオフセットに変換されることを示しており、きわめて直観的である。さらに、アナログ値がいかにしてデジタル対応物に量子化されるかに依存して、二つの場合が得られる。一つの場合は、ITU/SMPTEアナログ‐デジタル変換（式３）が使われる場合で、下記の式１８によって表される。

もう一つの場合は、JPEGのJFIFアナログ‐デジタル変換（式７）が使われる場合で、下記の式１９によって表される。

上記の式は、Y成分についての利得および重みをCbおよびCr成分についての重みおよびオフセットに変換するアルゴリズム（後述）を生じさせる。ある種の側面は、根底にあるフェードについて、時間のかかる重み付き予測探索に頼ることなく、ローカルかグローバルかのようなその分類など、より多くの情報を集めるのを助けることがある。f＝0と想定すると、式１７に表されている演算は展開できて、下記の式２０に示される式が得られる。

成分毎の利得が等しくなくてもよいとすると、下記に示すような式２１が得られる。

いくつかの実施形態では、項d₀は0または16である。一方、たいていの実際上の目的のためには、項d₁およびd₂は128に等しい。これらの項は、ビット深さが8より大きいコンテンツを考えるときには異なる値を取る。Y'_mおよびY'_m+kはいずれもd₀より大きいよう制約される一方、同じことはCb_m、Cb_m+k、Cr_mおよびCr_m+kについては成り立たない。実際、w_Yは非負であることが保証される一方、w_Cbおよびw_Crについては負の値を得ることが可能である。これに基づき、これまでの想定が満たされているかどうかを検証するための試験が使用されてもよい。これまでのところ、（ａ）f＝0、（ｂ）フェードがRGB領域で起こる、（ｃ）フェードが式１５でモデル化されることが想定されている。

ならば、上述した想定が満たされているかどうかを確立するために、次の試験を使うことができる。
（ａ）現在フレームmおよびその予測基準フレームm＋kが与えられたとき、それらの平均ルーマおよびクロマ成分値を計算し、それらをY'_m、Y'_m+k、Cb_m、Cb_m+k、Cr_mおよびCr_m+kと表す。ある代替的な実施形態では、DC値の代わりに、ヒストグラム情報を使うことができる。ヒストグラムの最大および二番目に大きなピークまたはそれらの組み合わせを使うことができる。それらは、DC値だけを考えることに比べ、突出値の影響を受けにくいからである。
（ｂ）式２１を用いて利得w_Y、w_Cbおよびw_Crを計算し、それらを比較する。みな非負でありかつ十分似通っていれば、フレームmおよびm＋kの評価されているフレーム対について上記の想定が満たされていると判定される。利得の類似性は、利得が互いの5%ないし10%以内であるかどうかを検査することによって確立されてもよい。これは、利得を、対数関数を使って0から1までの間のスケールに変換し、利得の差が0.05または0.1より小さいかどうかを検査することによって行われてもよい。

上記の試験は、最初のフレームで始まり、フレーム・シーケンス中の各フレームについて呼び出される。あるいはまた、シーン分類器または前処理器のような何らかの外部手段を通じて照明変化があると指示されたフレームについてのみ該試験を適用してもよい。上記の試験により上記の想定が満たされると判定されたら、つまり、（ａ）グローバルなフェード遷移があり、それは（ｂ）ゼロ・オフセットをもち、（ｃ）主としてRGB領域において起こっていると判定されたら、任意的に、グローバルな重み付き予測パラメータ（すぐ後述する）だけを使って、色パラメータが導出されることができ、時間のかかるローカルな重み付き予測は回避できる。これらの想定が満たされない場合、照明変化はグローバルではないまたはRGB領域で起こっているのではないまたはオフセットが0でないと推測できる。この場合、照明変化は任意的に、ローカル・ベースで対処されることができる。ローカルまたはグローバルな照明変化の判定のためのアルゴリズムは図１に描かれている。

上記の試験の否定的な結果は、何のフェード遷移もないことを指すこともできる。よって、上記のアルゴリズムはフェード検出器またはフェード検出方式のコンポーネントのはたらきをしうる。さらに、フレームがフェードを含んでいるという何らかの外的な知識がある場合、否定的な結果は、そのフェードを、グローバルなフェードではなくローカルなものとして分類する助けとなることができる。図１に描かれたアルゴリズムを次のように修正することによってさらなる諸実施形態が可能である：（ａ）フェード型の判定が代替的な既存の諸方法を用いてなされてもよい、（ｂ）上記の試験のステップ（ｂ）において重みを導出するために既存の諸方法が使用できる、（ｃ）クロマに対する通常のWP探索に頼ることなく、クロマ・パラメータを他の諸方法（たとえば、DC法、ヒストグラム法、逐次反復による動き補償された方法など）により推定できる。クロマ推定値はそれらの初期値を洗練しうる逐次反復的なWP探索アルゴリズムのためのシードを提供することができ、よって逐次反復の数を減らすことを注意しておく。

図１は、ローカルなルーマWPパラメータの計算が、上記で式２１において示した利得を計算し比較するのに先立って実行できることを示している。しかしながら、これは単に任意的である。代替的な実施形態では、式２１に示される利得はグローバルなルーマおよびクロマDC値からのみ計算されてもよい。次いでこれらの利得が比較されて、そのフェードがローカルなフェードかグローバルなフェードかが判定される。たとえばそれらの利得が非負であり似通っていればそのフェードはグローバルなフェードであり、（ルーマおよびクロマについての）色WPパラメータが局所探索なしに推定できる。しかしながら、それらの利得が負であるおよび／または似通っていない場合、クロマおよびルーマのWPパラメータ両方について任意的に局所的な探索が実行されるべきである。

照明補償のための欠けているクロマ・パラメータの導出
この実施形態では、ある種のパラメータについての事前知識がある場合、改善された照明補償のためのアルゴリズムが使用される。次の統計が前もって知られていると想定される：（ａ）ルーマ成分（Y）のブロック（たとえば8×8ピクセル）毎または領域（たとえばスライス）毎またはピクチャ・レベルの重み付き予測利得およびオフセット；および（ｂ）色空間変換についての情報。ブロックまたは領域は重なっていてもよいことを注意しておく。目標は、グローバルおよびローカル（たとえばブロック毎）両方の照明補償のために欠けているクロマ重み付き予測パラメータを得ることである。そのような技法は、三つの色空間成分全部ではなく単一の色空間成分上でローカルな重み付き予測パラメータを探索することによって計算量を減らす。この方法は、欠けている色パラメータの推定を高速化することとは別に、デコーダにおける重み付き予測方式のコンポーネントとしてのはたらきをすることもできる：そのような応用シナリオでは、圧縮されたビットストリームは上述した情報のみ（Yパラメータおよび前記色成分についてのグローバルなDCパラメータのみ）を担持し、デコーダは、提案される方法を使って欠けている色パラメータを推定する。もう一つの実施形態では、ルーマおよびクロマ関係についてのデコーダ情報もデコーダに伝送されてもよい。

フェードに関わる状況をまず扱うことにする。ルーマWPオフセットおよび利得が（たとえば8×8ピクセルの）ブロックまたは領域ごとに推定され、圧縮システムはクロマWPパラメータを欠いている場合から始める。クロマWPパラメータが利用可能でないと圧縮効率が悪化する。この問題に対する、一般的に使われているが最適ではない解決策は、クロマ成分について何らかのデフォルトの重み付き予測パラメータ：クロマ重み付き予測についての利得1およびオフセット0、を使うことである。もう一つのかなりストレートな解決策は、ルーマ利得をクロマ利得としても使うというものである。しかしながら、上述した解決策は両方とも不正確なことがある。以下の諸段落では、効率的なフェードインおよびフェードアウト重み付き予測のための、ルーマWPパラメータをクロマWPパラメータに変換するアルゴリズムが呈示され、記述される。

グローバルおよびローカルなYルーマ・パラメータおよび色空間変換についての情報があたえられたときのクロマ重み付き予測パラメータ推定のためのアルゴリズムを以下に記述する。このアルゴリズムは、フェードの性質の判定に関する上記のセクションで述べた想定が満たされている場合にトリガーされることができる。しかしながら、これは任意的であり、その方法に結合される必要はない。あるピクセル、ブロック、領域またはフレームm全体について、フレームm＋kからの基準を与えられたときのそのルーマ利得およびオフセットが供給されたとする：Y'_m＝w_Y×Y'_m+k＋f_Y。目標は、式１０からクロマ・パラメータw_Cb、w_Cr、f_Cbおよびf_Crを推定することである。三つの主要な場合がある：
（ａ）利得w_Yは1に等しくなく、オフセットf_Yは0でない；
（ｂ）利得w_Yは1に等しくなく、オフセットf_Yは0である；
（ｃ）利得w_Yは1に等しく、オフセットf_Yは0でない。

図２は、すぐ上で述べた三つの場合を扱う際のWPパラメータ推定のためのフローチャートである。以下に記載されるのはこれら三つの場合のそれぞれについての推定アルゴリズムに関する詳細である。

利得w_Yが1に等しくなく、オフセットf_Yが0でない場合（場合（ａ））については、式１７を使うと、下記の式２２に示されるように、クロマ利得がルーマ重みに等しく設定される。

式１７は、RGB領域利得がルーマ利得に等しいということw＝w_Yと、Y'CbCr領域のオフセットが、RGB領域でのオフセットに、RGB領域利得およびルーマ成分についてのオフセットに基づく修正子を加えたものに等しいということf_Y＝f＋(1−w)d₀の両方を要求している。これはRGB領域オフセットfの計算をf＝f_Y−(1−w_Y)d₀として許容する。式１６を使ったクロマ成分のオフセットについては、下記の式２３が得られる。

クロマ成分のオフセットは、色フォーマット変換オフセットd_cmp、Yルーマ利得w_Y、ルーマ・オフセットf_YおよびRGBからY'CbCrへの変換行列の係数の関数として計算されることを注意しておく。

ここで、このケースのより実際的で複雑な変形を考えよう。フェード遷移は利得だけを使ってRGB領域で実施されたと想定することができる。これはかなり一般的な慣行である。この変形では、RGB領域オフセットfは0に設定され、色フォーマット変換オフセットは0でない：d₀≠0と想定される。つまり、このアルゴリズムが成り立つために、それがまだ有効であるかどうかを判定するために、次の式が評価される：

これら二つの量が十分近ければ、このモデルは成り立ち、クロマ・オフセットは下記の式２４に示されるように計算されうる：
f_Cb＝(1−w_Y)×d₁
f_Cr＝(1−w_Y)×d₂ Eq.24。

他方、上記の式が有効でなく、f_Y≠(1−w_Y)d₀であれば、上記の想定またはf_Yおよびw_Yを与えた機構の何かがおかしいことになる。この場合、次のオプションのうちの一つを考えることができる。
（ａ）二つのパラメータのうちw_Yのほうが信頼できると判断する。f_Yをf'_Y＝(1−w_Y)d₀として計算されるf'_Yで置き換える。新しいオフセットを、もともと与えられたf_Yに十分近い、たとえば8ビット精度については[f_Y−64,f_Y＋64]の範囲内であるなど、何らかの合理的な束縛を満足するという点で検査する。ただし、これらの束縛は内容依存であってもよく、適応的であることもできることを注意しておく。もしそうであれば、それは信頼できると宣言する。
（ｂ）二つのパラメータのうちf_Yのほうが信頼できると判断する。w_Yをw'_Y＝(d₀−f_Y)/ d₀として計算されるw'_Yで置き換える。新しい利得を、[0.0,1.0]の間であるなど、何らかの合理的な束縛を満足するという点で検査する。ただし、負の利得を使っても完全に有効であるが、フェードについては利得は非負でありうる可能性がきわめて高いことを注意しておく。もしそうであれば、それは信頼できると宣言する。
（ｃ）二つのパラメータのうちw_Yのほうが信頼できると判断する。f_Yは0に設定する。
（ｄ）二つのパラメータのうちf_Yのほうが信頼できると判断する。w_Yは1に設定する。

上記の四つのオプションのそれぞれについて、式２２、式２３および式２４からなる上記の方法がクロマ利得およびオフセットを得るために適用される。複雑さの考察に依存して、四つのオプションのうち、たとえば事前解析または他の外的な知識を通じて最も蓋然性が高いと見なされた一つが試験されてもよいし、二つ以上だが四つ全部ではないオプションが単一オプションの場合と同様の理由により試験されてもよいし、それらのオプションすべてが並列にまたは逐次的に試験されて何らかの基準を満たすことによってこれらのオプションのうちの一つのオプションの導出されたパラメータを選択してもよい。基準は、何らかのメトリック（たとえば歪みメトリック）を最小化もしくは最大化するまたは何らかの正気チェック（sanity check）（たとえば、導出されたパラメータは合理的な束縛の範囲内か？）を満足することを含んでいてもよい。

利得w_Yが1に等しくなく、オフセットf_Yが0でない場合（場合（ａ））について、色パラメータ導出のためのアルゴリズムは図３に描かれている。図３のアルゴリズムはローカルにも（たとえばブロック毎に）グローバルにも（フレーム全体について）適用できることを注意しておく。ルーマ・パラメータ情報が局所的に入手可能である場合、可能な最高のパフォーマンスを保証するため、色成分パラメータも局所的に推定することが好ましい。H.264/AVCを含む動き補償を使うコーデックまたは前処理／後処理方式のすべてが局所的に信号伝達用WPパラメータをサポートしているわけではないことを注意しておく。しかしながら、H.264の場合には、コーデックのいくつかの機能：たとえば、複数基準動き補償された予測（multiple reference motion-compensated prediction）および基準ピクチャ・リスト修正（reference picture list modification）機能を通じてローカルなパラメータを使うことが可能である。これらの機能は、フレームの動き補償された予測のための各予測リストについて、WPパラメータの16通りまでの異なるセットを使うことを許容する。よって、あるさらなる実施形態では、ルーマおよびクロマについてのローカルなWPパラメータが処理され、各予測リストについての16通りまでの比較的有意なセットが選択され、基準ピクチャ・リスト修正信号の助けにより動き補償された重み付き予測のために使われるためにビットストリーム中で伝送される。P符号化されたフレームは単一リストの予測を使う一方、B符号化されたフレームは二つのリストからの単一リスト双方向予測動き補償をサポートすることを注意しておく。

利得w_Yが1に等しくなく、オフセットf_Yが0である場合（場合（ｂ））、クロマ利得は、利得w_Yが1に等しくなく、オフセットf_Yが0でない場合について計算されたものと同一である。クロマY'CbCr成分のためのオフセットは、ゼロ・ルーマ・オフセットf_Y＝0について、下記の式２５に示されるように与えられる：

ここでもまた、クロマ成分のオフセットは、色フォーマット変換オフセットd_cmp、Yルーマ重みw_YおよびRGBからY'CbCrへの変換行列の係数の関数として計算される。

利得w_Yが1に等しく、オフセットf_Yは0でない場合（場合（ｃ））については、クロマ利得はみな1.0に等しい。クロマY'CbCr成分についてのオフセットはルーマ・オフセットf_Yについて、下記の式２６に示されるように与えられる：

クロマ成分のオフセットは、ルーマ・オフセットf_YおよびRGBからY'CbCrへの変換行列の係数の関数として計算される。

たいていの実際的なRGBからY'CbCrへの変換においては、変換行列のクロマ成分行の和が下記の式２７に示されるように0に等しくなる：

利得w_Yが1に等しく、オフセットf_Yは0でない場合、たとえば場合（ｃ）について、式２７は、オフセットがいずれも0であることを意味する。ITU/SMPTE（式３）またはJFIF（式７）のアナログ‐デジタル変換を与えられれば、先の三つの場合について、次の単純化が導出できる：
場合（ａ）：クロマ・オフセットはf_Cb＝f_Cr＝(1−w_Y)×128と書ける。
場合（ｂ）：クロマ・オフセットはf_Cb＝f_Cr＝(1−w_Y)×128と書ける。
場合（ｃ）：クロマ・オフセットはf_Cb＝f_Cr＝0と書ける。

クロスフェードに関わる状況についてこれから扱う。クロスフェードをモデル化するためには、式１４が使われ、さらにオフセットがみな0であると想定し参照添え字を付け直すことによって下記の式２８に示されるように簡略化される。

ここでまた、w₁＋w₂＝1と想定される。式２８を式９と組み合わせると、下記の式２９および式３０に示される式

が導かれ、下記の式３１

が得られる。

オフセットd_iは0でないこともできるが、w₁＋w₂＝1の条件が、RGB領域での線形の重み付けされた組み合わせがY'CbCr領域でも線形の重み付けされた組み合わせであることを保証するのに十分である。よって、クロスフェードについての双方向予測において、利得は両方の色空間において同一である。よって、フレームmがクロスフェードに属する場合、各基準フレームについてのクロマ成分（CbおよびCr）利得はルーマ成分の利得に等しいと設定される。式３１のモデルはH.264符号化規格の重み付けされた双方向実装に関する。これについて手短に述べておく。p₀およびp₁は各予測ブロックにおけるサンプルを表し、fは最終的な予測値を表すとする。またw₀およびw₁は利得を表し、o₀およびo₁はオフセットを表し、logWDは演算の数学的精度を制御する項を表すとする。すると、重み付き予測は下記の式３２に示されるように実装されてもよい。

〈フラッシュおよびローカルな照明（ローカルなフェードおよびクロスフェード以外）〉
フラッシュおよびローカルな照明のモデル化は、フェードおよびクロスフェードよりも本来的に難しい。グローバルなY'CbCr成分平均へのアクセスがあるかもしれないが、それらはローカルな照明変化を扱うのにはあまり有用ではない。1でない利得がルーマ成分について利用可能であれば、上記でフェードについて論じたのと同一の技法がクロマ成分の利得を決定するために使用できる。そうでなく、利得が1に非常に近く、0でないオフセットがある場合には、欠けているクロマ・オフセットを導出するためにこれらのオフセットに対して若干の仮説を立てることができる。

RGB領域サンプルがオフセットされる場合についてここで述べる。RGB領域におけるオフセットは下記の式３３に示される式によってモデル化される：

式３３を式９と組み合わせることによって、式３４に示される式が得られる：

f_Yは既知であるので、c₀₀f_R＋c₀₁f_G＋c₀₂f_B＝f_Yは三つの未知数(f_R,f_G,f_B)をもつ方程式である。ブロック毎のf_Yは欠けているブロック毎のf_Cbおよびf_Crオフセットに変換される。何らかの単純化の仮定をすれば、この問題の解が得られる。四つの可能な解を以下に挙げる：
（ａ）f_R＝f_G＝f_Bと想定する。c₀₀＋c₀₁＋c₀₂＝1なので、f_Y＝f_R＝f_G＝f_Bである。式２のBT.601変換についてはc₁₀＋c₁₁＋c₁₂＝0かつc₂₀＋c₂₁＋c₂₂＝0のため、f_Cb＝0およびf_Cr＝0となる。
（ｂ）f_R＝f_G＝0と想定する。よってf_Y＝c₀₂f_B ⇔ f_B＝f_Y/c₀₂となる。するとクロマ・オフセットはf_Cb＝(c₁₂×f_Y)/c₀₂およびf_Cb＝(c₂₂×f_Y)/c₀₂として計算される。
（ｃ）f_R＝f_B＝0と想定する。よってf_Y＝c₀₁f_G ⇔ f_G＝f_Y/c₀₁となる。するとクロマ・オフセットはf_Cb＝(c₁₁×f_Y)/c₀₁およびf_Cb＝(c₂₁×f_Y)/c₀₁として計算される。
（ｄ）f_G＝f_B＝0と想定する。よってf_Y＝c₀₀f_R ⇔ f_R＝f_Y/c₀₀となる。するとクロマ・オフセットはf_Cb＝(c₁₀×f_Y)/c₀₀およびf_Cb＝(c₂₀×f_Y)/c₀₀として計算される。

上記の四つの解が表している仮定はそれぞれ、（ａ）光源が白色であった、（ｂ）光源が主として青であった、（ｃ）光源が主として緑であった、（ｄ）光源が主として赤であった、というものである。符号化の際、フラッシュ・シーンを符号化するときにこれらの解の任意のものが使用できる。あるいはこれらのすべてが有効にされることができ、何らかのコスト、たとえばラグランジアン・コストを最小化することによって最良の解が選択されることができる。この方法は図４に示されている。さらなる実施形態では、上記三つの未知数をもつ方程式は探索を高速化するために使用できる。未知数のうちの二つについて探索が実施され、第三の未知数はその式を使って導出されるのである。これは三つの未知数のうちどのペアの組み合わせについても可能である。もう一つの変形も記述される：第一の成分についてのパラメータは探索を行うことによって導出され、第二は探索を用いてと、上記の四つの解のうちの一つを試験することによっての両方の方法で導出される。第二の成分についての値が上記の解のうちの上記一つに近ければ、第三の成分は上記で論じた方法で推定される。そうでなければ、第三の成分について探索が実施される。たとえば過去のフレームについての以前の決定を考慮することによってさらなる高速化が可能である。フレームが中でも分散、ルミナンス、クロミナンスおよび／またはテクスチャ情報のような同様の特性を共有していれば、この情報を使ってプロセスを高速化できる。

〈デコーダ実施形態〉
既知のローカルもしくはグローバルなルーマ・パラメータおよび色空間変換方式についての知識から欠けているクロマ・パラメータを推定する上記の方法は図１６に示されるビデオ・デコーダの一部として使用されることができる。そのような実施形態において、圧縮されたビットストリームはすぐ利用可能な情報を担持し、デコーダは上記の方法を適用して、視差補償モジュールの一部として重み付き予測を実行する前に、ローカルもしくはグローバルなクロマ・パラメータを導出する。さらなる実施形態においては、欠けているクロマ・パラメータをフルに導出する代わりに、符号化ビットストリームにおいてWPパラメータの予測残差を伝送するための予測子として使うことができる。デコーダは伝送された残差を受信し、それに上記方法を使って得られる予測を加えて、欠けているクロマ・パラメータを与え、重み付き予測サンプルを形成する。ある別の実施形態は、ルーマとクロマ・パラメータの間の関係または色空間成分一般についての情報／パラメータをビットストリーム中で伝送する。この情報は、色空間成分を得るために使われる変換行列のような行列、（たとえばルーマからクロマへの、UからVへのなどの）種々の成分の利得およびオフセットについての遷移式もしくは行列または何らかの式のパラメータからなっていてもよい。この情報はまた、現在のフレームがフェードまたはクロスフェードであるかどうかまたは上記の方法を駆動する仮定のいくつかが満たされるか否かといった特徴付け情報をも含んでいてもよい。この情報は、デコーダにおいて、我々の方法および他のビットストリーム情報と一緒に、欠けている色空間成分パラメータを導出するために使われることができる。

上記の実施形態と似たさらなる実施形態は、圧縮されたビットストリームがWPパラメータを伝達せず、WPパラメータがデコーダ側で、利用可能な原因情報を使って導出される場合に定義される。たとえば非特許文献６参照。すべての色成分についてのパラメータについてデコーダにおいて探索する代わりに、本発明のある実施形態に基づく方法は、たとえばルーマ成分だけに探索を制約し、欠けている、たとえば色成分のパラメータを導出するのを助けるために使用されることができる。この実施形態は、ローカルおよびグローバル両方の重み付き予測について有効である。

〈さらなる実施形態〉
上記の方法は、ローカルなクロマ・パラメータを導出するためにローカルに適用されることができる。これは、先述したようなH.264/AVCのようなコーデックにおいてでも、基準ピクチャ・リスト修正および動き補償された予測のための複数基準の使用を通じて、可能である。各画像領域および照明変化の型について異なる方法を適用することによって改善されたパフォーマンスが可能である。たとえば、ある領域はフェードインとして分類され、他の領域はフラッシュとして分類されることがある。それらの領域は重なり合っていてもよい。各領域は適切なアルゴリズムによって扱われる（前者についてはフェード方法、後者についてはローカル照明／フラッシュ方法）。画像を領域にセグメント分割することは、何らかの既存のアルゴリズムまたはこれらの方法によって抽出されたクロマまたはルーマ情報を使って容易にされることができる。たとえば、このようにしてDC値またはヒストグラム情報が領域ごとに／ローカルに計算されることができる。セグメント分割は、動き補償から裨益してもよく、同様のクロマ情報を共有するシーン内の諸オブジェクトを追跡するのに有用である。このようにして、クロマ・パラメータは、正しい欠けているクロマ・パラメータを導出する可能性を改善し、導出を高速化するいくつかの初期化値から裨益することができる。

ある種の項の使用を単に逆にすることによって導出されるもう一つの実施形態は、既知のクロマ・パラメータから欠けているルーマ・パラメータを導出することを可能にする。使用される変換行列はかなり一般的なので、それらの式を修正して、何らかの成分の欠けているパラメータを、他の成分からのパラメータおよび色空間変換行列／式についての知識が与えられたときに見出すものに問題が再定式化されるようにすることは面倒なことではない。この実施形態は、上記のデコーダ実施形態と組み合わせることもできる。

本発明の実施形態に基づく方法は、動き推定および補償を用いて増強される逐次反復式WPパラメータ推定と組み合わされてもよい。非特許文献４に記述されるように、まず初期WPパラメータを推定し、次いで動き推定を実行し、次いでWPパラメータを先のステップで得られた動き情報を使って改めて推定し、続いてもう一ラウンドの動き推定および逐次反復を、何らかの基準が満たされる（たとえば中でも反復工程の最大回数など）まで続ける。さらなる実施形態では、本発明のある実施形態に基づく方法は、そのような逐次反復方法の最初の反復工程にシードを与える／初期化するために使われてもよい。計算をさらに高速化するために、任意的に、中間的な反復工程で使われてもよい。最後に、先の諸反復工程からの情報が、利用可能なモード、たとえば場合（ａ）または（ｂ）、のどれが所与のコンテンツについて正しいモードであるかを前もって決定するために使われてもよい。これはさらなる高速化につながる。

ある実施形態では、上記の方法を用いたローカル・ベースでの重み付き予測が可能なのは、コーデックがWP利得および因子を領域、マクロブロックまたはブロック・レベルで信号伝達することをサポートする場合である。領域またはブロックは重なり合っていてもよい。スライス・レベルでWPパラメータを信号伝達することしかサポートしていないH.264のようなコーデックを用いる実施形態については、ローカル・レベルでの異なるWPパラメータの使用は、複数基準動き補償された予測および基準並べ替え／修正の合同使用を通じて可能となる。種々の実施形態において、上記の方法は、重み付き予測と組み合わせてやはり動き推定および補償に関わっていてもよい前処理もしくは後処理モジュール（動き補償された時間的前置フィルタもしくは後置フィルタ）に組み込まれてもよい。

照明変化が圧縮の際に使われた領域以外の色空間領域で起こり、変換行列／式が線形でない場合の照明補償パラメータ導出
上記の記述は、開始時の色空間から終了時の色空間への変換が線形であるという想定をしていた。しかしながら、この想定が成り立たない例がある。たとえば、フェードおよびクロスフェードが、ガンマ補正を適用する前に、線形領域のRGB色空間において直接、サンプルを処理することによって人工的に生成された場合を考えてみる。同じことは、線形空間RGB（またさらにはガンマ空間RGB）が対数空間RGBまたはYCbCr色空間に変換されるときにも成り立つ。これはたとえば、高ダイナミックレンジの、対数空間RGBもしくはYCbCrで記述された画像およびビデオ・コンテンツの符号化を考えるときに起こる。開始時の色空間から終了時の色空間へのWPパラメータの変化は下記のようにモデル化される。二つの実施形態が存在する。一つはガンマ補正されたRGB（R'G'B'）用でありもう一つは対数空間RGB（R"G"B"）用である。

式１の一般的なガンマ補正の式は下記に示す式３５に単純化されうる：

対数空間RGBについては、下記に示す式３６が導かれる：

この変換の、フェードおよびクロスフェードの予測に対する効果について以下に述べる。

フェード
ガンマ補正されたRGBについては、最も単純な場合は、フェードが下記の式３７に示される単一の利得をもってモデル化される場合である：

ガンマ補正された対応物についてw'およびf'を計算するために、下記に示す式３８が使用されてもよい：

式３５および式３８を組み合わせると、式３９に示される式が得られる：

上記の式は、利得因子wを用いてモデル化される線形RGB領域のフェードは、やはり利得因子w^γを使って、ガンマ補正されたR'G'B'領域においてモデル化されることができることを示している。線形RGB領域において利得因子によってモデル化されるフェード遷移がガンマ補正されたR'G'B'領域において補償されることができると結論できる。項γが使われているものの、これはγが各成分について同一であるという想定を含意するものではないことを注意しておく。上記の演算は成分ごとに適用されうるので、記載される方法は、指数が成分ごとに異なる場合にも適用可能である。たとえば、成分Rについて、因子w^γRが導出される。

対数空間RGBについて、上記と同様、対数空間対応物についてw"およびf"は下記で式４０に示されるように計算される：

式３６および式４０を組み合わせると、式４０に示される式が得られる：

上記の式４１は、利得因子wを用いてモデル化される線形RGB領域のフェードは、logwに設定されたオフセットを用いて対数空間R"G"B"領域においてモデル化されることができることを示している。

クロスフェード
ここで、式２８の単純だが実際的なモデルを使う、ガンマ補正されたRGBについての実施形態を考える。式３７をこのモデルとともに使うと、式４２に示される式が得られる：

式４２を見ると、二つの基準フレームのガンマ補正された成分と現在フレームmのガンマ補正された成分との間の線形関係を導出することが困難であることが明らかになる。γ乗された和の一つ、たとえば(w₁×R₁＋w₂×R₂)^γを分析しようとすることによっていくらか洞察が得られる。これはまず、下記の式４３に示されるように単純化される：

いちばん右側の項は二項級数を用いて展開できる。二項級数は式４４に示されるように定義される：

αは実数であり、整数ではないので、二項係数は式４５に示されるように計算されうる：

よって、式４６に示した式が得られる：

しかしながら、式４５に示した展開は特に有用ではないかもしれない。一つの結論は、二つの基準の重み付けされた平均に関わる線形RGB領域における処理によって生成されるクロスフェードは、二つの（ガンマ補正された）基準の重み付けされた平均に加えて0でないオフセットを使ってガンマ補正されたR'G'B'領域において補償できるというものである。あるいはまた、利得だけを使ってクロスフェードをモデル化することも可能であるが、この場合、利得はたいていは不均等になり、合計が1にはならないであろう。もとの利得およびR₁およびR₂の値へのアクセスがあれば、結果として得られるオフセットはある精度まで計算できる。よく振る舞うコンテンツおよびフレームmから等距離の基準フレームについては、w₁＝w₂＝1/2であると想定できる。そのような想定は、RGB領域における利得およびオフセットに対する上記の計算を単純化できる。

さらに、上記の解が、乗数(w₂×R₂)^γを括弧内の無限小和の外に出したままにすることによって和を展開することに基づいていることを注意しておく。代替的な展開を得ることも全く可能である。今回は項(w₁×R₁)^γが代替的な無限小和の乗数となる。よって、線形領域で生成されたクロスフェードについてのガンマ補正された領域における利得およびオフセットを決定する問題についての二つの相異なる、同じように正しい解（仮説）を得ることができる。二つの解の利得およびオフセットを平均すれば照明補償を改善できる。この方法は図５に示されている。項γが使われているものの、これはγが各成分について同一であるという想定を含意するものではないことを注意しておく。上記の演算は成分ごとに適用されうるので、記載される方法は、指数が成分ごとに異なる場合にも適用可能である。

上記の解と同様の解が、対数空間領域でのクロスフェードについて適用できる。この実施形態では、主な違いは、主として利得因子を援用してクロスフェードをモデル化する代わりに、この場合には、クロスフェードは、フェードの場合についてそうであったように、主としてオフセットを援用してモデル化されるということである。ストレートな解は、重み付けされた双方向予測についてのオフセットを開始時の領域（たとえば線形RGB領域）における利得因子の対数に等しいものと設定することである。

〈さらなる実施形態〉
他の色空間からのおよび他の色空間への変換、たとえばガンマ補正されたRGBから対数空間RGBまたは第一の色空間から非線形変換を通じて得られる他の何らかの第二の色空間への変換について、同様の実施形態も可能であることを注意しておく。

ある実施形態では、上記の方法を用いたローカル・ベースでの重み付き予測が可能なのは、コーデックがWP利得および因子をマクロブロック、ブロックまたは領域レベルで信号伝達することをサポートする場合である。領域またはブロックは重なり合っていてもよい。スライス・レベルでWPパラメータを信号伝達することしかサポートしていないH.264のようなコーデックを用いる実施形態については、ローカル・レベルでの異なるWPパラメータの使用は、複数基準動き補償された予測および基準並べ替え／修正の合同使用を通じて可能となる。ある異なる実施形態では、上記の方法は、重み付き予測と組み合わせてやはり動き推定および補償に関わっていてもよい前処理もしくは後処理モジュール（動き補償された時間的前置フィルタもしくは後置フィルタ）に組み込まれてもよい。

もう一つの実施形態は、コンテンツが二つの層、基本層（BL: base layer）および向上層（EL: enhancement layer）中に圧縮されるスケーラブルなビデオ符号化に用途を見出す。ここで、ELはしばしばBLから予測される。BLが第一の色表現を使って圧縮される一方、ELは第二の色表現を使って圧縮されるという場合がありうる。第一の色表現は線形またはガンマ補正されたものであってもよいのに対し、第二の色表現はたとえば非線形（対数空間）であってもよい。本稿に記載される方法はある層について導出されるWPパラメータを他の層に変換するために使用できる。これは、デコーダ上でもエンコーダ上でも実装でき、それにより二つの異なる色表現についてのパラメータを伝送する必要がなくなる。任意的に、ある層（たとえばBL）が与えられたときの予測された（たとえばELの）WPパラメータを実際のELパラメータから引くことによって計算される、照明および動き補償された残差がELにおいてデコーダに伝送されてもよい。それにより、BLから予測を加えることによって実際のパラメータを再構成し、使うのを助けるのである。

照明変化関係を使うフェードおよびクロスフェード検出
このセクションでは、フェードおよびクロスフェード検出の両方について有用であるアルゴリズムが記述される。それは、フェードおよびクロスフェードの開始フレームおよび終了フレームを検出することによる。このアルゴリズムは、フェードまたはクロスフェードがおおむね線形であり、よって式３１および式３７のような式によってモデル化されるという想定に基づいている。この想定は、現在フレームと基準フレーム（単数または複数）の間の距離に比例する利得因子w_iに翻訳される。Y'成分についてのアルゴリズムの一つの可能な実施形態が提示されるが、RGB領域または他の何らかの線形色空間領域の他のいかなる成分を考えることもでき、それでもフェードおよびクロスフェードを画定することを注意しておく。いくつかの条件のもとで、このアルゴリズムはCbおよびCr成分に拡張されることができる。しかしながら、それらのDCはフェードおよびクロスフェード検出の目的のためには信頼できないことがある。ある異なる実施形態では、一つまたは複数の色空間成分の合同使用がこのフェード検出方法の信頼性を高めることができる。この記述のためには、Y'_m,dcがフレームmのY'成分のDC平均値を表すとする。

まず、フェード遷移が線形であるという想定から帰結するいくつかの属性を以下に呈示しておく。
Ａ．フレームmのDCの値は、その先行フレームおよび後続フレームのDCの値の平均にほぼ等しい：

この属性は式３１および式３７の結果として成り立つ。
Ｂ．フレームmのDCの値は、次のフレームのDC値の2倍から該次のフレームに続くフレームのDC値を引いたものにほぼ等しい：

これは上記の属性Ａの結果として成り立つ。
Ｃ．フレームmのDCの値は、その先行フレームのDC値の2倍に次のフレームに続くフレームのDC値を加えた和を3で割ったものにほぼ等しい：

これは上記の属性ＡおよびＢの結果として成り立つ。場合（ｃ）および（ｄ）は逆順で定義されてもよい。これらの定義は次のようになる。
Ｄ．フレームmのDCの値は、先行フレームのDC値の2倍から該先行フレームに先行するフレームのDC値を引いたものにほぼ等しい：

これは上記の属性Ａの結果として成り立つ。
Ｅ．フレームmのDCの値は、次のフレームのDC値の2倍に先行フレームに先行するフレームのDC値を加えた和を3で割ったものにほぼ等しい：

これは上記の属性ＡおよびＤの結果として成り立つ。

上記の場合の、図６、図７、図８および図９に描かれる状況への適用について、各状況に結びついたいくつかの条件の導出とともに、以下で述べる。

条件１：減少するDC値をもつフェードの終わりの場合について（図６参照）、次の不等式が成り立つ：属性Ｃのフレームm＋2のDC値が属性Ａのものより大きく、属性Ａのものは属性Ｂのものより大きい
Y'_m+2,dc(C)＞Y'_m+2,dc(A)＞Y'_m+2,dc(B)
同じことはフレームm＋1のDC値についても成り立つ
Y'_m+1,dc(C)＞Y'_m+1,dc(A)＞Y'_m+1,dc(B)。

条件２：増加するDC値をもつフェードの終わりの場合について（図７参照）、次の不等式が成り立つ：属性Ｃのフレームm＋2のDC値が属性Ａのものより小さく、属性Ａのものは属性Ｂのものより小さい
Y'_m+2,dc(C)＜Y'_m+2,dc(A)＜Y'_m+2,dc(B)
同じことはフレームm＋1のDC値についても成り立つ
Y'_m+1,dc(C)＜Y'_m+1,dc(A)＜Y'_m+1,dc(B)。

条件３：増加するDC値をもつフェードの始まりの場合について（図８参照）、次の不等式が成り立つ：属性Ｅのフレームm＋2のDC値が属性Ａのものより大きく、属性Ａのものは属性Ｄのものより大きい
Y'_m+2,dc(E)＞Y'_m+2,dc(A)＞Y'_m+2,dc(D)
同じことはフレームm＋3のDC値についても成り立つ
Y'_m+3,dc(E)＜Y'_m+3,dc(A)＜Y'_m+3,dc(D)。

条件４：減少するDC値をもつフェードの始まりの場合について（図９参照）、次の不等式が成り立つ：属性Ｅのフレームm＋2のDC値が属性Ａのものより小さく、属性Ａのものは属性Ｄのものより小さい
Y'_m+2,dc(E)＜Y'_m+2,dc(A)＜Y'_m+2,dc(D)
同じことはフレームm＋3のDC値についても成り立つ
Y'_m+3,dc(E)＜Y'_m+3,dc(A)＜Y'_m+3,dc(D)。

ある代替的な実施形態では、上記の条件は入力シーケンスを時間的かつ空間的にサブサンプリングすることによって試験されてもよい。これは、たとえばより長いフェード遷移の場合においてより高速な計算のために有益となりうる。それはまた、突出値をなくす助けとなり、検出器の効率を向上させることもできる。時間軸でのサブサンプリングは、検出アルゴリズムのために使われる統計の時間フィルタリングから裨益することもできる。

上記の場合および条件の解析から帰結するフェードおよびクロスフェード検出アルゴリズムを以下に述べる。このアルゴリズムのフローチャートは図１０に示されている（ステップ番号は図１０で使われるラベル数字を指す）。
（ａ）ステップ１０１：フレーム・カウンタを初期化し、フレームのパース（parsing）を開始する。ステップ１０２に進む。
（ｂ）ステップ１０２：現在フレームmについて、Y'CbCrおよびRGB領域成分のDC値を計算する。ステップ３に進む。
（ｃ）ステップ１０３：現在フレームmについて、RGB領域のすべての成分DCについての項Y'_m,dc(A)、Y' _m,dc(B)、Y' _m,dc(C)、Y' _m,dc(D)およびY'_m,dc(E)ならびにY'CbCr領域のY'成分を計算する。ステップ４に進む。
（ｄ）ステップ１０４：まだ試験されていない領域の成分を選択する。
（ｅ）ステップ１０５：フレームm−1およびmに関して条件１を試験する。満たされていれば、フレームmを減少するDC値をもつフェードの終了フレームとラベル付けする。
（ｆ）ステップ１０６：フレームm−1およびmに関して条件２を試験する。満たされていれば、フレームmを増加するDC値をもつフェードの終了フレームとラベル付けする。
（ｇ）ステップ１０７：フレームm−1およびmに関して条件３を試験する。満たされていれば、フレームm−1を増加するDC値をもつフェードの開始フレームとラベル付けする。
（ｈ）ステップ１０８：フレームm−1およびmに関して条件４を試験する。満たされていれば、フレームm−1を減少するDC値をもつフェードの開始フレームとラベル付けする。
（ｉ）ステップ１０９：選択されていない色空間領域成分がまだあれば、成分カウンタ１１４を更新し、ステップ１０４に進む。もうなければステップ１１０に進む。
（ｊ）ステップ１１０：プロセス・ラベル付け：衝突するラベルがある場合、最も多く出現するものを選択する。ここで、ある種の成分ラベルに他よりも重要である（たとえばYがCbまたはCrより重要）とラベル付けすることも可能である。それにより決定メトリックが重み付けされることができる。最終的なラベル付けを保存する。ステップ１１１に進む。
（ｋ）ステップ１１１：現在フレームmに先立つ諸フレームを処理したのちに何らかの以前の最終的なラベル付けが以前に記憶されているかどうかを検査する。もしなければステップ１１２に進む。そうでなければ、現在および以前に保存されたラベル付けが「両立する」かどうかを検査する（ステップ１１５）：たとえば、前のラベルが「増加するDCをもつフェードの開始フレーム」であり、現在のラベルが「増加するDCをもつフェードの終了フレーム」であれば、それらのフレームのシーケンスはフェードインをなすと宣言できる。だが現在のラベルが「減少するDCをもつフェードの開始フレーム」であれば、誤った警報がある。あるいはまた、現在のラベルが「減少するDCをもつフェードの終了フレーム」であれば、フレームのシーケンスはクロスフェードであると推測できる。ステップ１１２に進む。
（ｌ）ステップ１１２：パースすべきフレームがまだあるかどうかを判定する。もしあれば、フレーム・カウンタを更新し（ステップ１１５）、ステップ１０２に進む。そうでなければ、ステップ１１３に進む。
（ｍ）ステップ１１３：フレームのパースを終了する。

あるさらなる実施形態では、フレームのDCを考える代わりに、フレームのヒストグラムのモード〔最頻値〕またはヒストグラムの最高値の組み合わせを考えてもよいことを注意しておく。計算量を制約するために時間的および／または空間的サブサンプリングが使われてもよい。サブサンプリングは色成分ごとに異なっていてもよい：フェードによってより多く影響されることがわかっている色空間成分はより低いサブサンプリング因子から裨益できる。二つ以上の成分が合同検出のために使われる場合、決定階層を採用することによってさらなる高速化が可能である：諸成分は、フェードの検出をどのくらいよく助けるかに従って順序づけられることができる。第一の成分がこの検出方法を用いて処理され、その結果が否定的であれば、残りの成分を検査する必要はない。別の実施形態では、この方法は、ローカルなフェードまたはクロスフェードを検出するために、領域ごとに適用されてもよく、任意的に、セグメント分割を通じて向上される。そのような場合、DCまたさらにはヒストグラムのような統計が所与の領域について計算されるべきである。ある異なる実施形態では、上記の方法は、重み付き予測と組み合わせてやはり動き推定および補償に関わっていてもよい前処理もしくは後処理モジュール（動き補償された時間的前置フィルタもしくは後置フィルタ）に組み込まれてもよい。

〈低計算量クロスフェード検出〉
フレームをフェードとして分類することは、サードパーティーのアルゴリズムを通じてまたは図１１に示され以下で説明するようなアルゴリズムのようなアルゴリズムを通じて行える。
（ａ）現在フレームmについて、RGBおよびY'CbCr色空間成分の平均値を計算する：(R_m,G_m,B_m)および(Y'_m,Cb_m,Cr_m)。また、RGBおよびY'CbCr色空間成分の平均値を、その双方向の予測基準フレームについて計算する：(R₁,G₁,B₁)、(Y'₁,Cb₁,Cr₁)、(R₂,G₂,B₂)および(Y'₂,Cb₂,Cr₂)。これらの平均値はフレーム全体または何らかの領域上でのDC値として、あるいはヒストグラムのモードまたはヒストグラムもしくは複数のヒストグラム（フレーム毎に複数のヒストグラムが計算されるとして）の最高の諸ピークの組み合わせとして計算されてもよい。
（ｂ）各基準からの平均利得w₁およびw₂の合計が1になるかどうかを検証する。利得の大きさが現在フレームからの基準フレームの距離に反比例するかどうかも検証する。たとえば、等距離のフレームについては、ほぼ半分の利得が観察されることが期待される。
（ｃ）最後に、先の二つのステップからの値を入れたときに式２８および式３１が満たされているかどうかを試験する。（この場合のように）クロマ成分利得が未知であれば、それらは両方の色空間についてのルーマ成分利得の値に設定する。

上記の諸試験が満たされていれば、そのフレームはクロスフェード・フレームであると宣言され、Y'CbCr領域についてのクロマ成分重みは上記のように設定される。

クリッピングおよび飽和のある照明補償パラメータ導出
Y'CbCr領域の量子化されたデジタル・バージョンの先の導出は、Y'CbCr成分が8ビット符号なし整数についての[0,255]の範囲全体を使わないことがあることを示している。実際、BT.601の変換（式６）および推奨されるアナログ‐デジタル変換方法（式３）について、結果として得られる範囲はY'∈[16,235]、Cb∈[16,240]およびCr∈[16,240]である。たとえ（図７のJFIFアナログ‐デジタル変換を用いて）範囲全体が使われるときでも、値は0および255においてクリップされ、飽和される。8ビットの深さのコンテンツが上記で呈示した解析において使われていたものの、クリッピングおよび飽和に関しては常に問題が生じることを注意しておく（飽和した、飽和、クリッピングされたという用語は本稿では交換可能に使われていることを注意しておく）。たとえば10または12ビットのコンテンツのようなより高いビット深さのコンテンツも同じ問題を受ける。本発明の諸実施形態は、コンテンツ・ビット深さおよび色空間（たとえばXYZ、YCbCr、YCgCoなど）には無関係に適用される。クリッピングおよび飽和動作は、グローバルな重み付き予測の予測効率には不都合であることがある。さらに、最良のグローバルおよびローカルな重み付き予測パラメータ（利得およびオフセット）の探索を妨害する。飽和したピクセル値を持つ場合において、二つの広く使われる重み付き予測探索方法の動作について以下で論じる。

図１２は、グローバルな照明変化の場合を示している。背景Cは暗く、暗いままである：すなわち値16においてクリッピングされている。図１２では、これらの数字はY'成分の値を表すとする。オブジェクトの第一の部分Ａはフレームnでは値32をもちわずかに見え、フレームn＋1では値64をもって強度がさらに明るくなっている。値32をもつ同じオブジェクトの別の部分Ｂがフレームn＋1において現れる。パーティションＣがフレームの半分に等しいとする。パーティションＡおよびＢがそれぞれフレームの四分の一の面積に等しいとする。また、パーティションＣのコンテンツが非常に平坦であり、よって非常に少数のビットで符号化できるとする。それに対し、パーティションＡおよびＢはテクスチャがあり、よって符号化がより難しい。この状況は、ロゴのフェードインまたはフェードアウトを反映している。これは映画の予告編においてきわめて一般的である。

予測基準フレームnを使ってフレームn＋1を予測するために、グローバルな重み付き予測（オフセットfおよび利得w）が使用されうる。利得およびオフセッの推定は、中でもDCベースの方法、逐次反復式動き補償ベースの方法およびヒストグラム方法をもってできる。以下の記述は三つの既存のDCベース技法を呈示する：
技法１：第一の技法はオフセットを0に設定し、利得をDC_n+1/DC_nとして計算する。
技法２：第二の技法は利得を1に設定し、オフセットをDC_n+1−DC_nとして計算する。
技法３：第三の技法は利得をw＝（E{|I_n+1−DC_n+1|}）／（E{|I_n−DC_n|}）に設定し、オフセットをf＝DC_n+1−w×DC_nとして計算する。この技法は非特許文献１および非特許文献２において記述されている平均二乗最小化の一つとして問題に取り組むことによって導出される。DC値はDC_n＝E{I_n}として定義され、ここで、I_nはフレームnのピクセルの値であり、演算E{X}はXの平均値を表す。

上記の諸技法を用いて利得およびオフセットを推定し、それらを照明変化補償のために用いた結果を以下に述べる。
技法１：技法１を使うと、(w,f)＝(1.2,0)が得られる。これらのパラメータを用いたグローバル照明補償を基準フレームnに適用すると、パーティションＢおよびＣは19.2の値をもち、パーティションＡは38.4の値をもつ。よって、すべてのパーティションは誤って予測されている。
技法２：技法２を使うと、(w,f)＝(1.0,4)が得られる。これらのパラメータを用いたグローバル照明補償を基準フレームnに適用すると、パーティションＢおよびＣは値20をもち、パーティションＡは36の値をもつ。よって、すべてのパーティションは誤って予測されている。パーティションＡは符号化するのがより難しいので、技法１はこの予測状況については技法２より性能がよいと結論できる。
技法３：技法３を使うと、(w,f)＝(2.67,−29.34)が得られる。これらのパラメータを用いたグローバル照明補償を基準フレームnに適用すると、パーティションＢおよびＣは値2.66をもち、パーティションＡは56.1の値をもつ。よって、すべてのパーティションは誤って予測されている。パーティションＡおよびＢは符号化するのがＣより難しいので、この予測状況について技法１および２に対する技法３の性能に関して結論を導き出すことはできない。

上記の解析から、これらのDCベースの技法がクリッピング／飽和値に近い遷移に対処することができないことが明らかになる。実のところ、上記の記述は、最初16で飽和している黒からのフェードインを呈示しているものの、16または0において飽和する黒へのフェードアウトまたは255または240で飽和する白へのフェードアウトを調べる場合にも同じ結論が確立されるであろう。より高いビット深さまたは異なる色空間についても同様の結論が有効である。一般に、飽和点、たとえばルーマおよびクロマのダイナミックレンジの最小および最大の近くで動作するときは重み付けされたパラメータ推定は悪くなる。この記述において、これらの飽和値はl_sおよびh_sとして一般化されることができるが、これらは必ずしも非0ではない（値は0より小さくならないようクリッピングされるので0も飽和点である）。以下のサブセクションでは、ピクセル値の飽和がありふれたことであるフェードの端におけるグローバルな重み付き予測の問題に対処することができる二つのアルゴリズムが論じられる。

〈ラベル付けされた集合に基づくアルゴリズム〉
このアルゴリズムは、次のようなピクセルに属するピクセル位置にラベル付けすることに基づく：
（ａ）フレームn−1について飽和していて、フレームnにおいて飽和していない値を取るピクセル。たとえば、ピクセル値は最低の飽和値I_n-1＝l_sまたは最高の飽和値I_n-1＝h_sで飽和していたが、今ではそれぞれ最小の飽和値より大きいI_n-1＞l_sまたは最高の飽和値より小さいI_n-1＜h_s；
（ｂ）またはフレームn−1について飽和しておらず、フレームnにおいて飽和した値を取るピクセル。たとえば、ピクセル値は最低の飽和値より大きかったI_n-1＞l_sまたは最高の飽和値より小さかったI_n-1＜h_sが、今ではそれぞれ最小の飽和値I_n-1＝l_sまたは最高の飽和値I_n-1＝h_sにある。

図１３では、フレームn＋kについて、パーティションＣは飽和したままである一方、パーティションＢは最初飽和していて次いで飽和していない値を取る（フレームn＋kにおいて）。パーティションＡは、予測されるフレームおよび基準フレームの両方において値が飽和していないパーティションの集合として定義される。パーティションＤは、所与のフレームについて値が飽和していないパーティションの集合として定義される。図１３に示した例とは対照的に、パーティションが連続的である必要はないことを注意しておく。パーティションは、上記の条件に従う限り、複数の領域を含んでいてもよい。これを白および黒（または他のいかなる一様な色でもよい）への、また白および黒からのフェードインおよびフェードアウトに一般化するには、kが任意の0でない整数であるとする。よって、状況に依存して、フレームnは現在フレームまたは予測基準のいずれかとしてはたらくことができる。フレームn＋kについては反対のことが成り立つ。A_n+k＝D_n+k∩D_nであることは注目に値する。また、D_n+k＝A_n+k∪B_n+kであることも注意しておく。

ラベル付けされた集合に基づくWPパラメータ探索のためのアルゴリズムが図１４に示されており（ステップ番号は図に示したラベル数字を指す）、下記でより詳細に述べる：
（ａ）ステップ２０１：各予測されるフレームおよび基準フレームの対について、フレーム番号を初期化し、ステップ２０２に進む。
（ｂ）ステップ２０２：各予測されるフレームおよび基準フレームの対について、基準カウンタを初期化し、ステップ２０３に進む。
（ｃ）ステップ２０３：各予測されるフレームおよび基準フレームの対内で飽和したパーティションがもしあれば判別し、ステップ２０４に進む。
（ｄ）ステップ２０４：両方のフレームが飽和したルミナンス値をもつ大きな面積を共有するかどうかを判定する。これは、既存の諸方法を用いて、あるいはまたフレーム内のピクセルをしかるべく試験し分類することによってできる。もしそうであればステップ２０５に進み、そうでなければステップ２０８に進む。
（ｅ）ステップ２０５：各予測されるフレームおよび基準フレームの対内で飽和していないパーティションがもしあれば判別し、ステップ２０６に進む。
（ｆ）ステップ２０６：両フレームが飽和していない値をもつ大きな共通の面積を共有する。

かどうかを判定する。既存の諸方法またはピクセル毎の試験および分類がこのタスクのために使用されうる。もしそうであればステップ２０７に進み、そうでなければステップ２０８に進む。
（ｇ）ステップ２０７：何らかのWP探索方法（DCベースの方法、ヒストグラム・ベースの方法、動き推定および補償を用いる逐次反復方法など）を（同じピクセル数に）規格化された集合A_n+kおよびA_nに対して適用する。現在の探索を初期化するために前の諸フレームからのWPパラメータを再利用する。利得および因子を得る。ステップ２０９に進む。
（ｈ）ステップ２０８：何らかのWP探索方法（DCベースの方法、ヒストグラム・ベースの方法、動き推定および補償を用いる逐次反復方法など）を（同じピクセル数に）規格化されたフレームnおよびn＋kに対して適用する。現在の探索を初期化するために前の諸フレームからのWPパラメータを再利用する。利得および因子を得る。ステップ２０９に進む。
（ｈ）ステップ２０９：さらなる成分が解析されるべきであるかどうかを判定する。もしそうであれば、基準カウンタを更新し（ステップ２１１）、ステップ２０３に進み、そうでなければステップ２１０に進む。
（ｉ）ステップ２１０：さらなる予測されるフレームおよび基準フレーム対が評価される必要があれば、一つを選び、現在のフレーム対について導出されたWPパラメータを記憶し、フレーム・カウンタを更新し（ステップ２１２）、ステップ２０２に進む。そうでなければ、アルゴリズムを終了する。

〈さらなる実施形態〉
飽和した領域および飽和していない領域の導出は、セグメント分割方法を使うことから裨益できる。動き補償はあるフレームから次のフレームへこれらの領域を追跡するために使用されることもでき、よってこれらの方法の重要な構成要素であるパーティションＡ、Ｂ、ＣおよびＤの形成のためのシードのはたらきをすることができる。ある代替的な実施形態では、諸パーティションＡに対してあたかもそれらが同じ単一の領域を表すかのようにWPパラメータ推定方法を適用する代わりに、セグメント分割はそれらを異なるオブジェクトに範疇分けし、各オブジェクト／領域に対して別個にアルゴリズムが適用されることができる。ある実施形態では、上記の方法を用いたローカル・ベースの重み付き予測が可能であるのは、コーデックがWP利得および因子をマクロブロック、ブロックまたは領域レベルで信号伝達することをサポートする場合である。領域またはブロックは重なり合っていてもよい。スライス・レベルでWPパラメータを信号伝達することしかサポートしていないH.264のようなコーデックを用いる実施形態については、ローカル・レベルでの異なるWPパラメータの使用は、複数基準動き補償された予測および基準並べ替え／修正の合同使用を通じて可能となる。ある異なる実施形態では、上記の方法は、重み付き予測と組み合わせてやはり動き推定および補償に関わっていてもよい前処理もしくは後処理モジュール（動き補償された時間的前置フィルタもしくは後置フィルタ）に組み込まれてもよい。

〈逐次消去に基づくアルゴリズム〉
このアルゴリズムは飽和した値の問題に別の仕方で対処する。さらに、分岐処理の点での複雑さの増大という前のアルゴリズムの主要な問題に対処する。共通の集合交わりA_n+k＝D_n+k∩D_nの決定はストレートなことのように聞こえるが、それらの集合を決定するためにはピクセル毎の条件分岐が必要になる。さらに、それらの集合の決定後も、重み付けされたパラメータ推定アルゴリズムに依存して、結果として得られる集合についてまだDC値を計算する必要がある。複雑な技法３のようなある種のWP探索方法については、これはピクセル毎の総和をも伴い、この総和もその特定の集合について制約される必要がある。したがって、ヒストグラムおよび複数の反復工程に基づく異なるアルゴリズムが有用であることがある。このアルゴリズムは、DCベースの方法、ヒストグラム・ベースの方法、動き推定および補償を用いる逐次反復方法などのような重み付けされたパラメータ推定技法への適用になじみやすいことを注意しておく。

逐次消去（iterative elimination）に基づくアルゴリズムでは、フレームnが現在フレームであり、フレームn+kが重み付き予測に使われる基準フレームであるとする。基準フレームはもとのフレームまたは圧縮された残差の再構成後の圧縮解除されたフレームのいずれかであることができる。以下のパラメータが次のように初期化されてもよい：
（ａ）現在の反復工程番号t＝0；
（ｂ）現在フレームnについての現在の最低飽和値lⁿ _s,t＝lⁿ _s,0＝l_s；
（ｃ）現在フレームnについての現在の最高飽和値hⁿ _s,t＝hⁿ _s,0＝h_s；
（ｄ）基準フレームn＋kについての現在の最低飽和値l^n+k _s,t＝l^n+k _s,0＝l_s；
（ｃ）基準フレームn＋kについての現在の最高飽和値h^n+k _s,t＝h^n+k _s,0＝h_s。

現在の反復工程番号をtとする。アルゴリズムは任意的に、まず両フレームのヒストグラムを計算してもよい。この演算は、ピクセル毎の分岐を避け、代わりにピクセル毎の行列メモリ・アクセスを用いるので、低計算量である。256要素の行列はどんなプロセッサのキャッシュメモリにも簡単に収まるので、行列メモリ・アクセスは一般に実装がより高速である。そのような任意的な計算は、たとえばヒストグラム・マッチングまたはDC値に依存するWP探索方法にとって有用である。次のステップは、基準フレームn＋kを使ってフレームnを予測する重み付けされたパラメータの推定（WP探索）に関わる。WP探索はDCベースの方法、ヒストグラム・ベースの方法（たとえばヒストグラム・マッチング）、動き推定および補償を用いた逐次反復方法などを考えてもよい。さらに、反復工程t−1で導出されたWPパラメータが反復工程tにおけるWP探索を改善し、高速化するために使われてもよい。

WP探索はオフセットおよび利得を決定するためにヒストグラムを用いるアルゴリズムをも考慮してもよい。ヒストグラムは今、所与のフレームmについてパラメータl^m _s,tおよびh^m _s,tを通じて制約されてもよい。一般に、本方法の新規な点は各反復工程におけるWP探索が、現在フレームおよび基準フレームについてのあらかじめ決定された最低および最高の飽和限界を考慮するよう制約されることである。

重み付き予測パラメータの推定の完了後、限界パラメータl^m _s,tおよびh^m _s,tが更新される必要がある。一般に、現在フレームのパラメータlⁿ _s,tおよびhⁿ _s,tは逐次反復に関わりなく不変のままである。よって、lⁿ _s,t＝lⁿ _s,t+1およびhⁿ _s,t＝hⁿ _s,t+1である。ただし、基準フレームのパラメータl^n+k _s,tおよびh^n+k _s,tは、次の段落で述べるようなアルゴリズムを用いて更新される。

基準フレームのパラメータを更新するアルゴリズムにおいて、(w_t,f_t)が重み付き予測推定アルゴリズムによって決定されたオフセットおよび利得を表すとする。次の反復工程のために使われるパラメータl^n+k _s,t+1およびh^n+k _s,t+1は式４７に示される次の不等式を満たすことによって決定できる：

p_n+kは基準フレームn＋kにおける任意のピクセル値であるとする。新たに導出された利得およびオフセットによって飽和またはクリッピングされることになるピクセル値は望ましくないものとしてマークされる。一般に、本発明のある実施形態に基づく更新アルゴリズムは、基準フレームについての下限および上限を、その基準フレームから現在フレームを予測するために重み付き予測が使われるときに結果として得られるピクセル値が飽和またはクリッピングされないように設定する。よって、上記の式から、次の反復工程t+1についての新しい飽和限界は下記の式４８に示されるように決定される。

次に、利得およびオフセット(w_t,f_t)が前の反復工程の値(w_t-1,f_t-1)から十分に異なっているかどうかが判定される。この際たとえば、8ビットのコンテンツおよび実数値の利得を想定し、絶対的な利得差が0.03より大きく絶対的なオフセット差が3より大きいと想定する。もし十分に異なっていなければ、アルゴリズムは収束しており、重み付けされたパラメータ推定は終了する。アルゴリズムはまた、最大反復工程数に達した場合にも終了する。そうでない場合には、反復工程カウンタがt＋1にインクリメントされ、実行は重み付けされたパラメータ(w_t-1,f_t-1)の推定に戻る。このアルゴリズムは図１５に示されている。

〈さらなる実施形態〉
本発明のこの実施形態は、シーン中の異なるオブジェクトまたはコンテンツに対応するセグメント分割された領域を考えることによって増強されてもよい。セグメント分割および領域の導出後、各領域に対して別個に上記の方法を適用してもよい。動き補償はトラッキングに関して助けになりうる。上記の方法は色空間の単一の成分を考える。各利得およびオフセット選択の影響が同時に色空間全体において考慮されれば、よりよいパフォーマンスを得ることができる。成分のうちの二つは飽和していないが最後の成分が飽和問題を呈しうる場合がありうる。さらに、より重要なことに、サンプル値が色空間変換を受けた後でのサンプル値への影響を考慮してもよい：たとえば、サンプル値は圧縮のために使われる初期の色空間、たとえばY'CbCrでは飽和していないことがある一方、表示またはたとえば層間予測（向上層において高ダイナミックレンジのサンプルを用いるスケーラブル符号化の場合）のためにサンプルを別の色空間、たとえばRGBに変換したあとに成分の一つまたは複数に飽和した値が生じることがある。アルゴリズムはこれを考慮に入れ、飽和していない色空間の成分に対しても限界を制約することができる。ある実施形態では、上記の方法を用いたローカル・ベースでの重み付き予測が可能なのは、コーデックがWP利得および因子をマクロブロックまたはブロック・レベルで信号伝達することをサポートする場合である。スライス・レベルでWPパラメータを信号伝達することしかサポートしていないH.264のようなコーデックを用いる実施形態については、ローカル・レベルでの異なるWPパラメータの使用は、複数基準動き補償された予測および基準並べ替え／修正の合同使用を通じて可能となる。ある異なる実施形態では、上記の方法は、重み付き予測と組み合わせてやはり動き推定および補償に関わっていてもよい前処理もしくは後処理モジュール（動き補償された時間的前置フィルタもしくは後置フィルタ）に組み込まれてもよい。

照明補償パラメータの低計算量の推定
WPパラメータ推定のための先に提案された諸方法には共通の特徴がある：それら三つはすべて、単一の色成分に対して作用するのである。よって、たとえばY'についてのオフセットおよび利得は、CbおよびCr成分についての結果を全く顧慮することなく計算される。同様に、G成分についてのオフセットおよび利得はRおよびB成分には関わりなく計算される。ただし、上記の議論は、フェード種別に基づいて多くの関係があることを示している。次の問題が定式化されうる：RGBおよびY'CbCr成分のDC値が現在フレームmおよび基準フレームm＋kについてわかっている。kは任意の0でない整数である。さらに、グローバルな照明変化を想定する。そうして重み付き予測を実行するための利得およびオフセットが求められる。一般に、そうすることは常に、六つの未知数をもつ三つの式につながり（式１０および式１１参照）、これは無限個の解を与える。しかしながら、未知数の数が方程式の数に等しくなるようある種の制約条件を課せば、信頼できる一意的な解が得られる。制約条件／想定は事前知識の結果であることができる。複数の想定／制約条件に対応して複数の解が生成されてもよく、次いで一貫性／正気検査を実行する（限界外または不合理な値についての解を度外視する）ことによって最良の解が選択されてもよい。

すべての成分にわたって、たとえばY'CbCrについて重みが等しいと制約されれば、一つの解が可能である。これはたいていのフェード・シナリオについて成り立つ。さらに、下記の式４９に示されるようにクロマ・オフセットが等しいと設定される：

すると式４８が解けて、利得wおよびオフセットf_Y'およびf_Cが得られる。

RGB領域ではもう一つの実施形態が可能である（ただし、これら二つの領域に限定されるわけではない）。下記の式５０に示されるように、RGBオフセットが等しいと設定され、利得が制約されることができる。

代替的な導出は、下記の式５１に示されるようなものであってもよい。

上記の連立方程式は解くことができ、次いで利得およびオフセットがY'CbCr領域に変換され、Y'CbCr領域で動作する予測方式内で使われることができる。どこで計算を行うか、つまりRGB領域かY'CbCr領域かの決定は、シーケンスについてのどんな事前知識が存在しているかに依存する：たいていの処理がRGB領域で行われたのであれば、推定をその領域で実行することは理にかなっている。処理がY'CbCr領域で行われたのであれば事情は逆になる。

〈さらなる実施形態〉
上記の諸方法は、グローバル（フレームまたは成分全体）またはローカル・ベースで適用でき、可能性としては主たる方法に先行する、より一様な特性をもつ内容をもつ諸領域を導出するセグメント分割を通じて行われる。よって、たとえばDC値は領域／ローカル・ベースで計算できる。ある実施形態では、上記の方法を用いたローカル・ベースでの重み付き予測が可能なのは、コーデックがWP利得および因子をマクロブロックまたはブロック・レベルで信号伝達することをサポートする場合である。スライス・レベルでWPパラメータを信号伝達することしかサポートしていないH.264のようなコーデックを用いる実施形態については、ローカル・レベルでの異なるWPパラメータの使用は、複数基準動き補償された予測および基準並べ替え／修正の合同使用を通じて可能となる。種々の実施形態において、上記の方法は、重み付き予測と組み合わせてやはり動き推定および補償に関わっていてもよい前処理もしくは後処理モジュール（動き補償された時間的前置フィルタもしくは後置フィルタ）に組み込まれてもよい。

まとめると、いくつかの実施形態によれば、本開示は、多様な方法を用いてサンプリングおよび多重化された可能性があるデータについての、ループ内（エンコード／デコード・プロセスの一部）またはブロック解除やノイズ除去のようなループ外（前処理または後処理段）処理のような、データ向上または処理のシステムおよび方法を考えている。これらのシステムおよび方法は、既存のコーデック（エンコーダおよびデコーダ）に適用されることができるが、コア・コンポーネントへの修正をも提供することによって将来のエンコーダおよびデコーダにも拡張できる。用途はブルーレイ・ビデオ・エンコーダおよびプレーヤー、セットトップボックス、ソフトウェア・エンコーダおよびプレーヤーを含むことができるが、より帯域幅が制約されるブロードキャストおよびダウンロード・ソリューションをも含むことができる。さらなる用途はBDビデオ・エンコーダ、プレーヤーおよび適切なフォーマットで製作されたビデオ・ディスクまたさらにはブロードキャスト、衛星およびIPTVシステムなどのような他の用途を目標とするコンテンツおよびシステムをも含む。

本開示において記述された方法およびシステムはハードウェア、ソフトウェア、ファームウェアまたはそれらの組み合わせにおいて実装されてもよい。ブロック、モジュールまたはコンポーネントとして記述される特徴は一緒に実装されてもよいし（たとえば集積論理デバイスのような論理デバイスにおいて）、あるいは別個に実装されてもよい（たとえば別個の接続された論理デバイスとして）。本開示の方法のソフトウェア部分は、実行されたときに少なくとも部分的に記述された方法を実行する命令を含むコンピュータ可読媒体を有していてもよい。コンピュータ可読媒体はたとえば、ランダム・アクセス・メモリ（RAM）および／または読み出し専用メモリ（ROM）を有していてもよい。命令はプロセッサ（たとえばデジタル信号プロセッサ（DSP）、特定用途向け集積回路（ASIC）またはフィールド・プログラム可能な論理アレイ（FPGA））によって実行されてもよい。

本稿で述べたように、このように、本発明のある実施形態は、下記の表１に列挙される実施例の一つまたは複数に関係することがありうる。よって、本発明は、下記の以下の付番実施例（EEE: Enumerated Example Embodiment）を含むがそれに限定されない、本稿に記載される形のいずれにおいて具現されてもよい。それは、本発明のいくつかの部分の構造、特徴および機能を述べたものである。

表１
付番実施例
〔ＥＥＥ１〕ビデオ信号のあるピクチャから次のピクチャへの遷移におけるフェード検出およびフェードのグローバルまたはローカルな性質の判別のための方法であって：
ピクチャの複数のフレームおよび関係した予測基準フレームを提供し；
各フレームおよび関係した予測基準フレームについて；第一の色領域における一つまたは複数の強度に関係した値および一つまたは複数の色に関係した値を計算し；
各フレームおよび関係した予測基準フレームについて、前記第一の色領域における各色成分値について重み付き予測利得を計算し；
重み付き予測利得がすべて非負でありかつ互いに実質的に同様である場合、ゼロ・オフセットをもつグローバル遷移が主として第二の色領域において起きつつあると判定し；
重み付き予測利得がすべて非負でありかつ互いに実質的に同様ではない場合、グローバルなフェード遷移；ゼロ・オフセットをもつグローバルなフェード遷移；または第二の色領域におけるゼロ・オフセットをもつグローバルなフェード遷移のうちの少なくとも一つが起きていないと判定することを含む、
方法。
〔ＥＥＥ２〕前記強度に関係した値が、ルーマ値またはルミナンス値の一つまたは複数を含む、付番実施例１記載の方法。
〔ＥＥＥ３〕前記色に関係した値がクロマ値またはクロミナンス値の一つまたは複数を含む、付番実施例１記載の方法。
〔ＥＥＥ４〕付番実施例１記載の方法であって、前記第一の色領域がYCbCr領域であり、重み付き予測利得が公式

に従って計算され、
Y'_mおよびY'_m+kはフレームおよび該フレームの予測基準フレームのルーマ成分であり；
Cb_mおよびCr_mは前記フレームのクロマ成分値であり；
Cb_m+kおよびCr_m+kは前記フレームの前記予測基準フレームのクロマ成分値であり；
d₀、d₁およびd₂は色フォーマット変換オフセットである、
方法。
〔ＥＥＥ５〕前記強度に関係した値および色に関係した値が平均強度に関係しおよび色に関係した値である、付番実施例１記載の方法。
〔ＥＥＥ６〕前記強度に関係した値および色に関係した値がヒストグラム情報から計算される、付番実施例１記載の方法。
〔ＥＥＥ７〕前記複数のフレームがフレーム・シーケンスの一部である、付番実施例１記載の方法。
〔ＥＥＥ８〕前記複数のフレームが、照明変化があると示されているフレームの集合の一部である、付番実施例１記載の方法。
〔ＥＥＥ９〕前記第一の色領域から前記第二の色領域への遷移を定義する色空間行列が線形である、付番実施例１記載の方法。
〔ＥＥＥ１０〕前記重み付き予測利得が実質的に同様であるのが、それらの利得が互いの5%ないし10%の範囲内である場合である、付番実施例１記載の方法。
〔ＥＥＥ１１〕付番実施例１記載の方法であって、さらに：
前記重み付き予測利得を0から1までの間の値をもつよう対数スケーリングし、それらの利得が実質的に同様であるかどうかの判定を、前記重み付き予測利得値の間の差が0.1未満であるかどうかを計算することによって行うことを含む、
方法。
〔ＥＥＥ１２〕ビデオ信号のあるピクチャから次のピクチャへの遷移におけるフェード検出およびフェードのグローバルまたはローカルな性質の判別のための方法であって：
ピクチャの複数のフレームおよび関係した予測基準フレームを提供し；
各フレームおよび関係した予測基準フレームについて；第一の色領域における強度に関係したおよび色に関係した値を計算し；
各フレームおよび関係した予測基準フレームについて；強度に関係した重み付き予測パラメータを計算し；
各フレームおよび関係した予測基準フレームについて、計算された強度に関係したおよび色に関係した値からおよび計算された強度に関係した重み付き予測パラメータから重み付き予測利得を計算し；
重み付き予測利得がすべて非負でありかつ互いに実質的に同様である場合、ゼロ・オフセットをもつグローバル遷移が主として第二の色領域において起きつつあると判定し；
重み付き予測利得がすべて非負でありかつ互いに実質的に同様ではない場合、ローカルな遷移が起きつつあるかどうかを試験することを含む、
方法。
〔ＥＥＥ１３〕前記強度に関係した値が、ルーマ値またはルミナンス値の一つまたは複数を含む、付番実施例１２記載の方法。
〔ＥＥＥ１４〕前記色に関係した値がクロマ値またはクロミナンス値の一つまたは複数を含む、付番実施例１３記載の方法。
〔ＥＥＥ１５〕付番実施例１２記載の方法であって、前記第一の色領域がYCbCr領域であり、重み付き予測利得が公式

に従って計算され、
Y'_mおよびY'_m+kはフレームおよび該フレームの予測基準フレームのルーマ成分であり；
Cb_mおよびCr_mは前記フレームのクロマ成分値であり；
Cb_m+kおよびCr_m+kは前記フレームの前記予測基準フレームのクロマ成分値であり；
d₀、d₁およびd₂は色フォーマット変換オフセットである、
方法。
〔ＥＥＥ１６〕前記強度に関係した値および色に関係した値が平均強度に関係しおよび色に関係した値である、付番実施例１２記載の方法。
〔ＥＥＥ１７〕前記強度に関係した値および色に関係した値がヒストグラム情報から計算される、付番実施例１２記載の方法。
〔ＥＥＥ１８〕前記複数のフレームがフレーム・シーケンスの一部である、付番実施例１２記載の方法。
〔ＥＥＥ１９〕前記複数のフレームが、照明変化があると示されているフレームの集合の一部である、付番実施例１２記載の方法。
〔ＥＥＥ２０〕前記第一の色領域から前記第二の色領域への遷移を定義する色空間行列が線形である、付番実施例１２記載の方法。
〔ＥＥＥ２１〕前記重み付き予測利得が実質的に同様であるのが、それらの利得が互いの5%ないし10%の範囲内である場合である、付番実施例１２記載の方法。
〔ＥＥＥ２２〕付番実施例１２記載の方法であって、さらに：
前記重み付き予測利得を0から1までの間の値をもつよう対数スケーリングし、それらの利得が実質的に同様であるかどうかの判定を、前記重み付き予測利得値の間の差が0.1未満であるかどうかを計算することによって行うことを含む、
方法。
〔ＥＥＥ２３〕ビデオ信号のあるピクチャから次のピクチャへの遷移におけるフェードのグローバルまたはローカルな性質の判別のための方法であって：
前記ピクチャの複数のフレームおよび関係した予測基準フレームを提供し；
各フレームおよび関係した予測基準フレームについて、第一の色領域における強度に関係したおよび色に関係した値を計算し；
各フレームおよび関係した予測基準フレームについて、第一の色領域における強度に関係したおよび色に関係した各値について重み付き予測利得を計算し；
各フレームおよび関係した予測基準フレームについて、重み付き予測利得を互いと比較し；
重み付き予測利得がすべて非負でありかつ互いに実質的に同様である場合、フェードがグローバルであると判定し；
重み付き予測利得がすべて非負でありかつ互いに実質的に同様ではない場合、フェードはローカルであると判定することを含む、
方法。
〔ＥＥＥ２４〕前記強度に関係した値が、ルーマ値またはルミナンス値の一つまたは複数を含む、付番実施例２３記載の方法。
〔ＥＥＥ２５〕前記色に関係した値がクロマ値またはクロミナンス値の一つまたは複数を含む、付番実施例２３記載の方法。
〔ＥＥＥ２６〕画像遷移が起こるときに色空間変換および第一の色成分重み付き予測パラメータについての情報から第二および第三の色成分の重み付き予測パラメータを計算する方法であって：
第一の色成分重み付き予測利得およびオフセットを計算し；
計算された第一の色成分重み付き予測利得およびオフセットの値に基づいて、色変換オフセット、色変換行列の係数および第一の色成分重み付き予測利得およびオフセットの関数として、第二および第三の色成分重み付き予測利得およびオフセットを計算することを含む、
方法。
〔ＥＥＥ２７〕
付番実施例２６記載の方法であって、前記第二および第三の色成分重み付き予測パラメータは色に関係した利得およびオフセットを含み、前記第一の色成分重み付き予測パラメータは強度に関係した利得およびオフセットを含み、前記画像遷移はフェードを含み、当該方法が：
強度に関係した利得およびオフセットを計算することを含み；
前記強度に関係した利得が1でなく、強度に関係したオフセットが0でない場合、色に関係した利得を強度に関係した利得に等しいと設定し、色に関係したオフセットを、色フォーマット変換オフセット、強度に関係した利得、強度に関係したオフセットおよび色変換行列の係数の関数として計算し；
強度に関係した利得が1でなく、強度に関係したオフセットが0である場合、色に関係した利得を前記強度に関係した利得に等しいと設定し、色に関係したオフセットを、色フォーマット変換オフセット、強度に関係した利得および色変換行列の係数の関数として計算し；
強度に関係した利得が1であり、強度に関係したオフセットが0でない場合、色に関係した利得を1に等しいと設定し、色に関係したオフセットを、強度に関係したオフセットおよび色変換行列の係数の関数として計算することを含む、
方法。
〔ＥＥＥ２８〕前記強度に関係した利得およびオフセットが、ルーマ利得およびオフセットを含む、付番実施例２７記載の方法。
〔ＥＥＥ２９〕前記色に関係した利得およびオフセットが、クロマ利得およびオフセットを含む、付番実施例２７記載の方法。
〔ＥＥＥ３０〕付番実施例２７記載の方法であって、前記色空間変換がRGBからY'CbCrであり、もし強度に関係した利得が1に等しくなく、強度に関係したオフセットが0である場合、色に関係したオフセットは公式
f_Cb＝(c₁₀＋c₁₁＋c₁₂)×(w_Y−1)×d₀＋(1−w_Y)×d₁
f_Cr＝(c₂₀＋c₂₁＋c₂₂)×(w_Y−1)×d₀＋(1−w_Y)×d₂
に従って計算され、
f_Cbおよびf_Crは前記クロマ・オフセットであり；
c₁₀、c₁₁、c₁₂、c₂₀、c₂₁およびc₂₂は前記色変換行列の係数であり；
w_Yはルーマ利得であり；
d₀、d₁およびd₂は前記色フォーマット変換オフセットである、
方法。
〔ＥＥＥ３１〕付番実施例２７記載の方法であって、前記色空間変換がRGBからY'CbCrであり、もし強度に関係した利得が1であり、強度に関係したオフセットが0でない場合、色に関係したオフセットは公式
f_Cb＝f_Y×(c₁₀＋c₁₁＋c₁₂)
f_Cr＝f_Y×(c₂₀＋c₂₁＋c₂₂)
に従って計算され、
f_Cbおよびf_Crは前記クロマ・オフセットであり；
f_Yはルーマ・オフセットであり；
c₁₀、c₁₁、c₁₂、c₂₀、c₂₁およびc₂₂は前記色変換行列の係数である、
方法。
〔ＥＥＥ３２〕付番実施例２７記載の方法であって、前記色空間変換がRGBからY'CbCrであり、もし強度に関係した利得が1に等しくなく、強度に関係したオフセットが0でない場合、色に関係したオフセットは公式
f_Cb＝(f_Y−(1−w_Y)d₀)×(c₁₀＋c₁₁＋c₁₂)×(w_Y−1)＋(1−w_Y)×d₁
f_Cr＝(f_Y−(1−w_Y)d₀)×(c₂₀＋c₂₁＋c₂₂)×(w_Y−1)＋(1−w_Y)×d₂
に従って計算され、
f_Cbおよびf_Crは前記クロマ・オフセットであり；
c₁₀、c₁₁、c₁₂、c₂₀、c₂₁およびc₂₂は前記色変換行列の係数であり；
w_Yはルーマ利得であり；
f_Yはルーマ・オフセットであり；
d₀、d₁およびd₂は前記色フォーマット変換オフセットである、
方法。
〔ＥＥＥ３３〕付番実施例２７記載の方法であって、前記色空間変換がRGBからY'CbCrであり、前記強度に関係した利得およびオフセットがルーマ利得およびオフセットを含み、色に関係した利得およびオフセットがクロマ利得およびオフセットを含み、d₀、d₁およびd₂が色フォーマット変換オフセットであり、f_Yがルーマ・オフセットであり、w_Yがルーマ利得であり、もし前記ルーマ・オフセットが0でなく、前記ルーマ利得が1でなく、f_Yが(1−w_Y)d₀にほぼ等しい場合、前記クロマ利得はルーマ利得に等しく、クロマ・オフセットは公式
f_Cb＝(1−w_Y)×d₁
f_Cr＝(1−w_Y)×d₂
に従って計算され、
f_Cbおよびf_Crは前記クロマ・オフセットである、
方法。
〔ＥＥＥ３４〕付番実施例３３記載の方法であって、f_Yが(1−w_Y)d₀にほぼ等しくない場合、次のオプションＡ、Ｂ、ＣまたはＤのうちの一つを選択することをさらに含む方法：
オプションＡ：ルーマ利得を信頼できるとして選択し、ルーマ・オフセットを公式：
f_Y＝(1−w_Y)d₀
から計算し；
f'_Yを合理性について検査し；
クロマ利得をルーマ利得に等しいと設定し；
クロマ・オフセットを公式
f_Cb＝(1−w_Y)×d₁
f_Cr＝(1−w_Y)×d₂
に従って計算する；
オプションＢ：ルーマ・オフセットを信頼できるとして選択し、ルーマ利得を公式：
w_Y＝(d₀−f_Y)/d₀
から計算し；
fw_Yを合理性について検査し；
クロマ利得をルーマ利得に等しいと設定し；
クロマ・オフセットを公式
f_Cb＝(1−w_Y)×d₁
f_Cr＝(1−w_Y)×d₂
に従って計算する；
オプションＣ：ルーマ利得を信頼できるとして選択し、ルーマ・オフセットを0に等しいと設定し：
クロマ利得をルーマ利得に等しいと設定し；
クロマ・オフセットを公式
f_Cb＝(c₁₀＋c₁₁＋c₁₂)×(w_Y−1)×d₀＋(1−w_Y)×d₁
f_Cr＝(c₂₀＋c₂₁＋c₂₂)×(w_Y−1)×d₀＋(1−w_Y)×d₂
に従って計算し、
c₁₀、c₁₁、c₁₂、c₂₀、c₂₁およびc₂₂は前記色変換行列の係数である；
オプションＤ：ルーマ・オフセットを信頼できるとして選択し、ルーマ利得を1に等しいと設定し：
クロマ利得をルーマ利得に等しいと設定し；
クロマ・オフセットを公式
f_Cb＝f_Y×(c₁₀＋c₁₁＋c₁₂)
f_Cr＝f_Y×(c₂₀＋c₂₁＋c₂₂)
に従って計算する。
〔ＥＥＥ３５〕オプションＡ、Ｂ、ＣまたはＤの一つがある選択された基準を満たすよう選択される、付番実施例３４記載の方法。
〔ＥＥＥ３６〕前記選択された基準が、選択されたメトリックを最小化または最大化するまたは計算された利得またはオフセットが選択された限界内にあるかどうかを判定することを含む、付番実施例３５記載の方法。
〔ＥＥＥ３７〕前記選択された基準が単一のクロマ成分または両方のクロマ成分に基づく、付番実施例３６記載の方法。
〔ＥＥＥ３８〕前記強度に関係したおよび色に関係した利得およびオフセットが画像フレーム全体についてのデータから計算される、付番実施例２７記載の方法。
〔ＥＥＥ３９〕前記強度に関係したおよび色に関係した利得およびオフセットが画像フレームの選択された部分についてのデータから計算される、付番実施例２７記載の方法。
〔ＥＥＥ４０〕付番実施例２７記載の方法であって、前記色空間変換がITU/SMPTEまたはJFIF規格に基づくRBGからY'CbCrであり、前記強度に関係した利得およびオフセットがルーマ利得およびオフセットを含み、色に関係した利得およびオフセットがクロマ利得およびオフセットを含み、当該方法が：
ルーマ利得が1でない場合、前記クロマ利得を前記ルーマ利得に等しいと設定し、クロマ・オフセットを公式：
f_Cb＝f_Cr＝(1−w_Y)×128
に従って計算し、
f_Cbおよびf_Crは前記クロマ・オフセットであり、w_Yは前記ルーマ利得であり、
前記ルーマ利得が0である場合、前記クロマ・オフセットを0に設定し、前記クロマ利得を1に等しいと設定する、
方法。
〔ＥＥＥ４１〕付番実施例２７記載の方法であって、画像フェードが起こるとき、当該方法がさらに：
強度に関係した利得およびルーマ・オフセットを計算し；
色に関係した利得を強度に関係した利得に等しいと設定することを含む、
方法。
〔ＥＥＥ４２〕付番実施例２７記載の方法であって、前記第一の色成分重み付き予測パラメータが、クロマ利得およびオフセットのペアの一つを含み、前記第二および第三の色成分重み付き予測パラメータが、クロマ利得およびオフセットおよびルーマ利得およびルーマ・オフセットの前記ペアの第二のものを含む、方法。
〔ＥＥＥ４３〕画像フラッシュが起こるときに強度に関係したパラメータおよび色空間変換についての情報から色に関係したパラメータを計算する方法であって：
強度に関係した利得およびオフセットを計算し；
強度に関係した利得が1でなくかつ強度に関係したオフセットが0でない場合、色に関係した利得を強度に関係した利得に等しいと設定し、色に関係したオフセットを、色フォーマット変換オフセット、強度に関係した利得、強度に関係したオフセットおよび色変換行列の係数の関数として計算し；
強度に関係した利得が1でなくかつ強度に関係したオフセットが0である場合、色に関係した利得を前記強度に関係した利得に等しいと設定し、色に関係したオフセットを、色フォーマット変換オフセット、強度に関係した利得および色変換行列の係数の関数として計算し；
強度に関係した利得が1であるか1に近い場合、色に関係した利得を1に等しいと設定し、色に関係したオフセットを、強度に関係したオフセットおよび色変換行列の係数の関数として計算することを含む、
方法。
〔ＥＥＥ４４〕前記強度に関係した利得およびオフセットがルーマ利得およびオフセットを含む、付番実施例４３記載の方法。
〔ＥＥＥ４５〕前記色に関係した利得およびオフセットがクロマ利得およびオフセットを含む、付番実施例４３記載の方法。
〔ＥＥＥ４６〕前記強度に関係した利得が1であるか1に近い場合、色に関係したオフセットの計算が、色に関係したオフセットを、当該画像フラッシュについての主要な光源の色に基づいて計算することを含む、付番実施例４３記載の方法。
〔ＥＥＥ４７〕付番実施例４３記載の方法であって、前記色空間変換がRGBからY'CbCrであり、強度に関係した利得およびオフセットがルーマ利得およびオフセットを含み、前記色に関係した利得およびオフセットがクロマ利得およびオフセットを含み、もし前記ルーマ利得が1であるか1に近い場合、前記クロマ・オフセットの計算が、次の計算のうちの少なくとも一つを選択することを含む、方法：
f_Cb＝0およびf_Cr＝0；
f_Cb＝(c₁₂×f_Y)/c₀₂およびf_Cb＝(c₂₂×f_Y)/c₀₂；
f_Cb＝(c₁₁×f_Y)/c₀₁およびf_Cb＝(c₂₁×f_Y)/c₀₁；および
f_Cb＝(c₁₀×f_Y)/c₀₀およびf_Cb＝(c₂₀×f_Y)/c₀₀；
ここで、c₀₀、c₀₁、c₀₂、c₁₀、c₁₁、c₁₂、c₂₀、c₂₁およびc₂₂は前記色変換行列の係数であり、f_Cbおよびf_Crは前記クロマ・オフセットである。
〔ＥＥＥ４８〕付番実施例４３記載の方法であって、前記色空間変換がRGBからY'CbCrであり、強度に関係した利得およびオフセットがルーマ利得およびオフセットを含み、前記色に関係した利得およびオフセットがクロマ利得およびオフセットを含み、もし前記ルーマ利得が1であるか1に近い場合、前記クロマ・オフセットの計算が：
当該画像フラッシュが白色光を含むと想定し、
前記クロマ・オフセットf_Cbおよびf_Cを
f_Cb＝0およびf_Cr＝0
として計算することを含む、
方法。
〔ＥＥＥ４９〕付番実施例４３記載の方法であって、前記色空間変換がRGBからY'CbCrであり、強度に関係した利得およびオフセットがルーマ利得およびオフセットを含み、前記色に関係した利得およびオフセットがクロマ利得およびオフセットを含み、もし前記ルーマ利得が1であるか1に近い場合、前記クロマ・オフセットの計算が：
当該画像フラッシュが青色光を含むと想定し、
前記クロマ・オフセットf_Cbおよびf_Cを
f_Cb＝(c₁₂×f_Y)/c₀₂およびf_Cb＝(c₂₂×f_Y)/c₀₂；
として計算することを含み、
ここで、c₀₂、c₁₂およびc₂₂は前記色変換行列の係数である、
方法。
〔ＥＥＥ５０〕付番実施例４３記載の方法であって、前記色空間変換がRGBからY'CbCrであり、強度に関係した利得およびオフセットがルーマ利得およびオフセットを含み、前記色に関係した利得およびオフセットがクロマ利得およびオフセットを含み、もし前記ルーマ利得が1であるか1に近い場合、前記クロマ・オフセットの計算が：
当該画像フラッシュが緑色光を含むと想定し、
前記クロマ・オフセットf_Cbおよびf_Cを
f_Cb＝(c₁₁×f_Y)/c₀₁およびf_Cb＝(c₂₁×f_Y)/c₀₁；
として計算することを含み、
ここで、c₀₁、c₁₁およびc₂₁は前記色変換行列の係数である、
方法。
〔ＥＥＥ５１〕付番実施例４３記載の方法であって、前記色空間変換がRGBからY'CbCrであり、強度に関係した利得およびオフセットがルーマ利得およびオフセットを含み、前記色に関係した利得およびオフセットがクロマ利得およびオフセットを含み、もし前記ルーマ利得が1であるか1に近い場合、前記クロマ・オフセットの計算が：
当該画像フラッシュが赤色光を含むと想定し、
前記クロマ・オフセットf_Cbおよびf_Cを
f_Cb＝(c₁₀×f_Y)/c₀₀およびf_Cb＝(c₂₀×f_Y)/c₀₀；
として計算することを含み、
ここで、c₀₀、c₁₀およびc₂₀は前記色変換行列の係数である、
方法。
〔ＥＥＥ５２〕付番実施例４７記載の方法であって、二つ以上の計算が選択され、それらの計算の一つからの解がある選択基準に基づいて選ばれる、方法。
〔ＥＥＥ５３〕付番実施例４７記載の方法であって、前のフレームに関する情報に基づいて計算が選択される、方法。
〔ＥＥＥ５４〕ビデオ信号のあるシーンから次のシーンへの遷移におけるフェード検出の方法であって、次のステップを含む方法である：
ステップＡ：前記ビデオ信号からの複数のフレームを提供する；
ステップＢ：前記複数のフレームのうち現在フレームを選択する；
ステップＣ：現在フレームに先行するフレームおよび現在フレームの後続のフレームの一つまたは複数の色成分のフレーム値に基づいて現在フレームの一つまたは複数の色空間成分について一組の属性を計算する；
ステップＤ：現在フレームに先行する先行フレームの一つまたは複数の色空間成分について一組の属性を、前記先行フレームに先行するフレームおよび前記先行フレームの後続のフレームの一つまたは複数の色成分のフレーム値に基づいて計算する；
ステップＥ：前記現在フレームの前記一つまたは複数の色空間パラメータについての前記一組の属性を、前記先行フレームの前記一つまたは複数の色空間パラメータについての前記一組の属性と比較して、前記現在フレームが増加するもしくは減少するフレーム値をもつフェードの終了フレームであるかどうかまたは前記現在フレームに先行する前記フレームが増加するもしくは減少するフレーム値をもつフェードの開始フレームであるかどうかを判定する。
〔ＥＥＥ５５〕付番実施例５４記載の方法であって、フレームmが前記複数のフレーム中の選択されたフレームを示し、フレームm−1がフレームmに先行する前記複数のフレーム中のフレームを示し、フレームm−2がフレームm−1に先行する前記複数のフレーム中のフレームを示し、フレームm＋1がフレームmに後続する前記複数のフレーム中のフレームを示し、フレームm＋2がフレームm＋1に後続する前記複数のフレーム中のフレームを示し、一つまたは複数の色空間成分について一組の属性を計算することが、以下の属性を計算することを含む：
属性Ａ、ここで、フレームmの属性Ａフレーム値はフレームm＋1およびフレームm−1のフレーム値の平均に等しい；
属性Ｂ、ここで、フレームmの属性Ｂフレーム値はフレームm＋1のフレーム値の2倍からフレームm＋2のフレーム値を引いたものに等しい；
属性Ｃ、ここで、フレームmの属性Ｃフレーム値は、属性Ｃ被除数を属性Ｃ除数で割ったものに等しく、属性Ｃ被除数はフレームm−1のフレーム値の2倍にフレームm＋2のフレーム値を加えたものに等しく、フレームＣ除数は3である；
属性Ｄ、ここで、フレームmの属性Ｄフレーム値はフレームm−1のフレーム値の2倍からフレームm−2のフレーム値を引いたものに等しい：
属性Ｅ、ここで、フレームmの属性Ｅフレーム値は、属性Ｅ被除数を属性Ｅ除数で割ったものに等しく、属性Ｅ被除数はフレームm＋1のフレーム値の2倍にフレームm−2のフレーム値を加えたものに等しく、フレームＥ除数は3である。
〔ＥＥＥ５６〕付番実施例５４記載の方法であって、前記現在フレームの前記一つまたは複数の色空間パラメータについての前記一組の属性を、先行フレームの前記一つまたは複数の色空間パラメータについての前記一組のパラメータと比較することが、次の条件のうちの少なくとも一つについて試験することを含む、方法：
条件１、ここで、条件１は、現在フレームの属性Ｃフレーム値が現在フレームの属性Ａフレーム値より大きく、現在フレームの属性Ａフレーム値が現在フレームの属性Ｂフレーム値より大きく、前記先行フレームの属性Ｃフレーム値が前記先行フレームの属性Ａフレーム値より大きく、前記先行フレームの属性Ａフレーム値が前記先行フレームの属性Ｂフレーム値より大きい場合に満たされる；
条件２，ここで、条件２は、現在フレームの属性Ｃフレーム値が現在フレームの属性Ａフレーム値より小さく、現在フレームの属性Ａフレーム値が現在フレームの属性Ｂフレーム値より小さく、前記先行フレームの属性Ｃフレーム値が前記先行フレームの属性Ａフレーム値より小さく、前記先行フレームの属性Ａフレーム値が前記先行フレームの属性Ｂフレーム値より小さい場合に満たされる；
条件３，ここで、条件３は、前記先行フレームの属性Ｅフレーム値が前記先行フレームの属性Ａフレーム値より大きく、前記先行フレームの属性Ａフレーム値が前記先行フレームの属性Ｄフレーム値より大きく、現在フレームの属性Ｅフレーム値が現在フレームの属性Ａフレーム値より大きく、現在フレームの属性Ａフレーム値が現在フレームの属性Ｄフレーム値より大きい場合に満たされる；
条件４，ここで、条件４は、前記先行フレームの属性Ｅフレーム値が前記先行フレームの属性Ａフレーム値より小さく、前記先行フレームの属性Ａフレーム値が前記先行フレームの属性Ｄフレーム値より小さく、現在フレームの属性Ｅフレーム値が現在フレームの属性Ａフレーム値より小さく、現在フレームの属性Ａフレーム値が現在フレームの属性Ｄフレーム値より小さい場合に満たされる；
ここで、条件１が満たされる場合、前記現在フレームは減少するフレーム値をもつフェードの終了フレームであると指示され；
条件２が満たされる場合、前記現在フレームは増加するフレーム値をもつフェードの終了フレームであると指示され；
条件３が満たされる場合、直前フレームは増加するフレーム値をもつフェードの開始フレームであると指示され；
条件４が満たされる場合、直前フレームは減少するフレーム値をもつフェードの開始フレームであると指示される。
〔ＥＥＥ５７〕付番実施例４９記載の方法であって、さらに：
前記複数のフレームからもう一つのフレームを選択し；
選択されたフレームを現在フレームとして指定し；
ステップＣないしＥを繰り返し；
先の現在フレームについてのステップＥの結果を今回の現在フレームと比較して結果が両立するかどうかを判定し；
フェードがフェードインであるかフェードアウトであるかクロスフェードであるかを一つまたは複数のフレーム値に基づいて判定することを含む、
方法。
〔ＥＥＥ５８〕付番実施例５５記載の方法であって、フレームの前記フレーム値が一つまたは複数の色空間成分についてのフレーム全体のDCの値を含む、方法。
〔ＥＥＥ５９〕付番実施例５５記載の方法であって、フレームの前記フレーム値が一つまたは複数の色空間成分についてのフレームの指定された部分（単数または複数）のDCの値を含む、方法。
〔ＥＥＥ６０〕付番実施例５５記載の方法であって、フレームの前記フレーム値が一つまたは複数の色空間成分についてのフレームのヒストグラムを含む、方法。
〔ＥＥＥ６１〕付番実施例５５記載の方法であって、フレームの前記フレーム値が一つまたは複数の色空間成分についてのフレームの指定された部分（単数または複数）のヒストグラムを含む、方法。
〔ＥＥＥ６２〕付番実施例５５記載の方法であって、フレームm−1がフレームmの直前であり、フレームm−2がフレームm−1の直前であり、フレームm＋1がフレームmの直後であり、フレームm＋2がフレームm＋1の直後である、方法。
〔ＥＥＥ６３〕付番実施例５５記載の方法であって、フレームm−1がフレームmに時間的に先行する任意のフレームを指示し、フレームm−2がフレームm−1に時間的に先行する任意のフレームを指示し、フレームm＋1がフレームmに時間的に後続する任意のフレームを指示し、フレームm＋2がフレームm＋1に時間的に後続する任意のフレームを指示する、方法。
〔ＥＥＥ６４〕付番実施例６３記載の方法であって、フレームm−1、m−2、m＋1、m＋2の任意のものの時間的選択が可変である、方法。
〔ＥＥＥ６５〕付番実施例６４記載の方法であって、時間的選択がフレーム内容に依存して変わる、方法。
〔ＥＥＥ６６〕付番実施例５４記載の方法であって、前記色空間成分が強度に関係したおよび色に関係した成分を含み、前記一組の属性が各フレームのルーマ成分についてのみ計算される、方法。
〔ＥＥＥ６７〕付番実施例６６記載の方法であって、前記強度に関係した成分がルーマ値またはルミナンス値の一つまたは複数を含む、方法。
〔ＥＥＥ６８〕付番実施例６６記載の方法であって、前記色に関係した成分がクロマ値またはクロミナンス値の一つまたは複数を含む、方法。
〔ＥＥＥ６９〕付番実施例５４記載の方法であって、すべての色空間成分についてステップＣ、ＤおよびＥを実行することをさらに含む、方法。
〔ＥＥＥ７０〕付番実施例５４記載の方法であって、第一の選択された集合の色空間成分についてステップＣ、ＤおよびＥを実行し、前記第一の選択された集合の色空間成分を試験することに基づいてフェード条件の判定がなされたらステップＥのあと終了することをさらに含む、方法。
〔ＥＥＥ７１〕クロスフェード検出の方法であって：
ビデオ・シーケンスの複数のフレームおよび関係した双方向の予測基準フレームを提供し；
現在フレームおよび関係した双方向の予測基準フレームの第一の色領域の色空間成分について計算された平均利得ならびに現在フレームおよび関係した双方向の予測基準フレームの第二の色領域の色空間成分について計算された平均利得に基づいてクロスフェードが存在するかどうかを判定することを含む、
方法。
〔ＥＥＥ７２〕付番実施例７１記載の方法であって、クロスフェードが存在するかどうかを判定することが：
現在フレームの第一の色領域の色空間成分の平均値および関係した双方向の予測基準フレームの第一の色領域の色空間成分の平均値を計算し；
現在フレームの第二の色領域の色空間成分の平均値および関係した双方向の予測基準フレームの第二の色領域の色空間成分の平均値を計算し；
条件１ないし６のそれぞれが満たされるかどうかを判定することを含む、方法：
条件１：第一の色空間領域についての双方向の各予測基準フレームについての平均利得の合計が1またはほぼ1になるかどうか；
条件２：第二の色空間領域についての双方向の各予測基準フレームについての平均利得の合計が1またはほぼ1になるかどうか；
条件３：第一の色空間領域についての双方向の各予測基準フレームについての平均利得の大きさが、現在フレームからの、双方向の予測基準フレームの距離に反比例しているかどうか；
条件４：第二の色空間領域についての双方向の各予測基準フレームについての平均利得の大きさが、現在フレームからの、双方向の予測基準フレームの距離に反比例しているかどうか；
条件５：第一の色空間領域の平均利得が、前記第一の色空間領域におけるクロスフェードの正しいモデルを与えるかどうか；
条件６：第二の色空間領域の平均利得が、前記第二の色空間領域におけるクロスフェードの正しいモデルを与えるかどうか。
〔ＥＥＥ７３〕付番実施例７２記載の方法であって、前記第一の色空間領域がRGB領域であり、前記第二の色空間領域がYbCbCr領域であり、条件５および条件６が満たされるかどうかを判定することが、次の等式が満たされるかどうかを判定することを含む、方法：

ここで、［R_m G_m B_m］^tはRGB領域における現在フレームについてのベクトルを示し、
［R₁ G₁ B₁］^tおよび［R₂ G₂ B₂］^tはRGB領域における双方向の基準フレームについてのベクトルを示し、
［Y'_m Cb_m Cr_m］^tはYCbCr領域における現在フレームについてのベクトルを示し、
［Y'₁ Cb₁ Cr₁］^tおよび［Y'₂ Cb₂ Cr₂］^tはYCbCr領域における双方向の基準フレームについてのベクトルを示し、
w₁およびw₂は平均利得を示す。
〔ＥＥＥ７４〕付番実施例７１記載の方法であって、さらに、クロスフェードがある場合にクロマ成分利得をルーマ成分利得に等しいと設定することを含む、方法。
〔ＥＥＥ７５〕フェード条件の存在下での重み付けされたパラメータ決定の方法であって、次のステップを含む方法：
ステップＡ：ピクチャからの複数のフレームおよび関係した予測基準フレームを提供する；
ステップＢ：色成分を選択する；
ステップＣ：各フレームおよび関係した予測基準フレームについて、そのフレームおよびその関係した予測基準フレーム内で、選択された色成分について飽和されたパーティションを判別する；
ステップＤ：各フレームおよび関係した予測基準フレームについて、両フレームが、選択された色成分について、飽和した値をもつ大きな領域を共有するかどうかを判定し、飽和した値をもつ共有された大きな領域がなければステップＨに進む；
ステップＥ：各フレームおよび関係した予測基準フレームについて、そのフレームおよびその関係した予測基準フレーム内で、飽和していないパーティションを判別する；
ステップＦ：各フレームおよび関係した予測基準フレームについて、両フレームが、選択された色成分について、飽和していない値をもつ大きな領域を共有するかどうかを判定し、飽和していない値をもつ共有された大きな領域がなければステップＨに進む；
ステップＧ：各フレームおよび関係した予測基準フレームについて、共有され、任意的には同じピクセル数に規格化された、飽和していない値をもつ大きな領域に基づいて、重み付き予測利得および因子を計算する；
ステップＨ：各フレームおよび関係した予測基準フレームについて、フレーム全体に基づいて重み付き予測利得および因子を計算する。
〔ＥＥＥ７６〕付番実施例７５記載の方法であって、もう一つの色成分を選択し、その選択された色成分についてステップＣないしＨを繰り返すことをさらに含む、方法。
〔ＥＥＥ７７〕付番実施例７５記載の方法であって、重み付き予測利得および因子を計算することが、前のフレームについての重み付き予測利得および因子に基づく、方法。
〔ＥＥＥ７８〕付番実施例７５記載の方法であって、各フレームおよび関係した予測フレームがセグメント分割され、ステップＡないしＨが各フレームおよび関係した予測フレームの一つまたは複数のセグメントに対して実行され、重み付き予測利得および因子が各セグメントについて計算される、方法。
〔ＥＥＥ７９〕付番実施例７８記載の方法であって、動き補償が、あるフレームから別のフレームへとセグメントを追跡する、方法。
〔ＥＥＥ８０〕フェード条件の存在下での重み付けされたパラメータ決定の方法であって、次のステップを含む方法：
ステップＡ：色サンプル・データを含む、ピクチャからの複数のフレームおよび関係した予測基準フレームを提供する；
ステップＢ：色成分を選択する；
ステップＣ：各フレームについて、前記色サンプル・データについての選択された色領域に基づいて、選択された色成分についての現在の最低飽和値および現在の最高飽和値を設定する；
ステップＤ：各関係した予測基準フレームについて、前記色サンプル・データについての選択された色領域に基づいて選択された色成分についての現在の基準最低飽和値および現在の基準最高飽和値を設定する；
ステップＥ：各フレームおよび関係した基準フレームについて、現在の最低飽和値、現在の最高飽和値、現在の基準最低飽和値および現在の基準最高飽和値に基づいて重み付き予測パラメータを推定する；
ステップＦ：各関係した予測基準フレームについて、推定された重み付き予測パラメータに基づいて、更新された現在の基準最低飽和値および更新された現在の基準最高飽和値を計算する；
ステップＧ：現在の基準最低飽和値を更新された現在の基準最低飽和値に等しく設定し、現在の基準最高飽和値を更新された現在の基準最高飽和値に等しく設定する；
ステップＨ：現在の反復工程についての重み付き予測パラメータが直前の反復工程についての重み付き予測パラメータと、選択された値だけ違っている場合または反復工程の数が選択された反復工程カウントより大きい場合、ステップＤないしＧを一連の逐次反復工程について繰り返す。
〔ＥＥＥ８１〕付番実施例８０記載の方法であって、反復工程tについての重み付き予測パラメータが重み付けされた利得w_tおよび因子f_tを含み、前記更新された現在の基準最低飽和値および更新された現在の基準最高飽和値が公式

に従って計算され、
ここで、lⁿ _s,0は現在の最低飽和値であり、hⁿ _s,0は現在の最高飽和値であり、l^n+k _s,t+1は更新された現在の基準最低飽和値であり、h^n+k _s,t+1は更新された現在の基準最高飽和値である、方法。
〔ＥＥＥ８２〕付番実施例８１記載の方法であって、重み付き予測パラメータを推定するのに先立って前記フレームおよび前記関係した予測基準フレームのヒストグラムを計算することをさらに含み、重み付き予測パラメータの推定が計算されたヒストグラムに基づく、方法。
〔ＥＥＥ８３〕付番実施例８１記載の方法であって、もう一つの色成分を選択し、その選択された色成分についてステップＣないしＨを繰り返すことをさらに含む、方法。
〔ＥＥＥ８４〕付番実施例８１記載の方法であって、重み付き予測パラメータの推定が、直前の反復工程について推定された重み付き予測パラメータに基づく、方法。
〔ＥＥＥ８５〕付番実施例８０記載の方法であって、各フレームおよび関係した予測フレームがセグメント分割され、ステップＣないしＨが各フレームおよび関係した予測基準フレームの一つまたは複数のセグメントに対して実行される、方法。
〔ＥＥＥ８６〕付番実施例８４記載の方法であって、推定された重み付き予測パラメータに基づいて更新された現在の基準最低飽和値および更新された現在の基準最高飽和値を計算することが、どのピクセル値も重み付き予測の結果として飽和やクリッピングされないよう、更新された現在の基準最低飽和値および更新された現在の基準最高飽和値を計算することを含む、方法。
〔ＥＥＥ８７〕付番実施例８４記載の方法であって、選択された色領域が初期色空間を含む、方法。
〔ＥＥＥ８８〕付番実施例８４記載の方法であって、選択された色領域が、第一の色領域からの変換から導出される第二の色領域を含み、推定された重み付き予測パラメータが第一の色領域における重み付き予測パラメータを含む、方法。
〔ＥＥＥ８９〕付番実施例８４記載の方法であって、複数の色領域が、第一の色領域からの変換から導出され、選択された色領域は前記複数の色領域の各色領域を選択することを含み、推定された重み付き予測パラメータは選択された色領域の各色領域に基づく、方法。
〔ＥＥＥ９０〕ビデオ信号のあるピクチャから次のピクチャへのフェード遷移における重み付き予測利得およびオフセットを推定する方法であって：
前記ビデオ信号内のピクチャから現在フレームおよび関係した予測基準フレームを提供し；
各現在フレームおよび関係した予測基準フレームについて；ある色領域における色成分値を計算し、A_mは現在フレームについての第一の色成分を表し、B_mは現在フレームについての第二の色成分を表し、C_mは現在フレームについての第三の色成分を表し、A_m+1は関係した予測基準フレームについての第一の色成分を表し、B_m+1は関係した予測基準フレームについての第二の色成分を表し、C_m+1は関係した予測基準フレームについての第三の色成分を表し；
重み付き予測利得をすべての色成分について等しく設定し、wがすべての色成分についての等しい値の重み付き予測利得を表し；
色成分のうちの二つの色成分についての重み付き予測オフセットを互いに等しく設定し、f_Aが第一の色成分についてのオフセットを表し、f_Cが色成分のうちの二つの色成分についての等しい値の重み付き予測オフセットを表し；
重み付き予測利得wおよび重み付き予測オフセットf_Aおよびf_Cについての公式

を解くことを含む、
方法。
〔ＥＥＥ９１〕付番実施例９０記載の方法であって、前記色領域がYCbCr領域であり、互いに等しく設定された色成分のうちの二つの色成分についての重み付き予測オフセットがクロマ色成分についての重み付き予測オフセットを含む、方法。
〔ＥＥＥ９２〕付番実施例９０記載の方法であって、色成分値が現在フレームおよび関係した予測基準フレームの一つまたは複数のセグメントについて計算される、方法。
〔ＥＥＥ９３〕ビデオ信号のあるピクチャから次のピクチャへのフェード遷移における重み付き予測利得およびオフセットを推定する方法であって：
前記ビデオ信号内のピクチャから現在フレームおよび関係した予測基準フレームを提供し；
各現在フレームおよび関係した予測基準フレームについて；ある色領域における色成分値を計算し、A_mは現在フレームについての第一の色成分を表し、B_mは現在フレームについての第二の色成分を表し、C_mは現在フレームについての第三の色成分を表し、A_m+1は関係した予測基準フレームについての第一の色成分を表し、B_m+1は関係した予測基準フレームについての第二の色成分を表し、C_m+1は関係した予測基準フレームについての第三の色成分を表し；
重み付き予測オフセットをすべての色成分について等しく設定し、fがすべての色成分についての等しい値の重み付き予測オフセットを表し；
色成分のうちの二つの色成分についての重み付き予測利得を互いに等しく設定し、w_Aが第一の色成分についてのオフセットを表し、w_Cが色成分のうちの二つの色成分についての等しい値の重み付き予測オフセットを表し；
重み付き予測利得w_Aおよびw_Cおよび重み付き予測オフセットfについての公式

を解くことを含む、
方法。
〔ＥＥＥ９４〕付番実施例９３記載の方法であって、前記色領域がRGB領域であり、互いに等しく設定された色成分のうちの二つの色成分についての重み付き予測利得が緑および青成分についての重み付き予測オフセットを含む、方法。
〔ＥＥＥ９５〕付番実施例９３記載の方法であって、前記色領域がRGB領域であり、互いに等しく設定された色成分のうちの二つの色成分についての重み付き予測利得が赤および青成分についての重み付き予測オフセットを含む、方法。
〔ＥＥＥ９６〕付番実施例９３記載の方法であって、色成分値が現在フレームおよび関係した予測基準フレームの一つまたは複数のセグメントについて計算される、方法。
〔ＥＥＥ９７〕重み付き予測パラメータを第一の色領域から第二の色領域に変換する方法であって、前記第一の色領域から前記第二の領域への変換は線形ではなく、当該方法は：
前記第一の色領域から前記第二の色領域への変換式に基づいて、前記第二の領域における一つまたは複数のフレームについての第二の色領域の重み付き予測パラメータを計算することを含む、方法。
〔ＥＥＥ９８〕付番実施例９７記載の方法であって、重み付き予測パラメータの変換が画像遷移の存在時に行われる、方法。
〔ＥＥＥ９９〕付番実施例９７記載の方法であって、前記第一の色領域から前記第二の色領域への前記変換式が、指数関数変換を含み、当該方法がさらに：
前記第一の色領域における一つまたは複数のフレームについて第一の色領域の重み付き予測パラメータを計算して第一の色領域利得値を得ることをさらに含み、
第二の色領域の重み付き予測パラメータを計算することが、前記第一の色領域の利得値を前記指数関数変換の指数乗したものに等しい第二の色領域の利得値を計算することを含む、方法。
〔ＥＥＥ１００〕付番実施例９９記載の方法であって、重み付き予測パラメータの変換が画像フェードの存在時に行われる、方法。
〔ＥＥＥ１０１〕付番実施例９９記載の方法であって、前記指数関数変換が、γが前記指数を表すガンマ補正を含み、前記第一の色領域の値がwと表され、前記第二の色領域の値がw^γに等しい、方法。
〔ＥＥＥ１０２〕付番実施例９７記載の方法であって、前記第一の色領域から前記第二の色領域への前記変換式が、対数空間変換式を含み、前記画像遷移がフェードを含み、当該方法がさらに：
前記第一の色領域における一つまたは複数のフレームについて第一の色領域の重み付き予測パラメータを計算して第一の色領域利得値を得ることをさらに含み、
第二の色領域の重み付き予測パラメータを計算することが、前記第一の色領域の利得値の対数に等しい第二の色領域のオフセット値を計算することを含む、方法。
〔ＥＥＥ１０３〕付番実施例９８記載の方法であって、前記第一の色領域から前記第二の色領域への前記変換式が、指数関数変換を含み、前記画像遷移がフェードを含み、第二の色領域の重み付き予測パラメータを計算することが、1に等しくない第二の色領域の利得値および0に等しい第二の色領域のオフセット値を計算することを含む、方法。
〔ＥＥＥ１０４〕付番実施例９８記載の方法であって、前記第一の色領域から前記第二の色領域への前記変換式が、対数空間変換式を含み、前記画像遷移がフェードを含み、第二の色領域の重み付き予測パラメータを計算することが、1に等しい第二の色領域の利得値および0に等しくない第二の色領域のオフセット値を計算することを含む、方法。
〔ＥＥＥ１０５〕付番実施例９７記載の方法であって、前記画像遷移がクロスフェードを含み、前記第一の色領域から前記第二の色領域への前記変換式が、指数関数変換を含み、当該方法がさらに：
第一の基準フレームについての第一の基準利得値および第二の基準フレームについての第二の基準利得値を含む第一の色領域の重み付き予測パラメータを計算することを含み、
第二の色領域の重み付き予測パラメータを計算することが、前記第一の基準利得値および前記第二の基準利得値に基づいて第二の色領域の利得値を計算することを含む、方法。
〔ＥＥＥ１０６〕付番実施例１０５記載の方法であって、第二の色領域の重み付き予測パラメータを計算することが、前記第一の基準利得値および一つまたは複数の第一の基準フレーム値および前記第二の基準利得値および一つまたは複数の第二の基準フレーム値に基づく二つの二項展開を解くことを含む、方法。
〔ＥＥＥ１０７〕付番実施例９７記載の方法であって、前記画像遷移がクロスフェードを含み、前記第一の色領域から前記第二の色領域への前記変換式が、対数空間変換を含み、当該方法がさらに：
第一の基準フレームについての第一の基準利得値および第二の基準フレームについての第二の基準利得値を含む第一の色領域の重み付き予測パラメータを計算することを含み、
第二の色領域の重み付き予測パラメータを計算することが、前記第一の基準利得値および前記第二の基準利得値に基づいて第二の色領域の利得値を計算することを含む、方法。
〔ＥＥＥ１０８〕付番実施例１０７記載の方法であって、第二の色領域の重み付き予測パラメータにおけるオフセットが、前記第一の基準利得値および前記第二の基準利得値の対数に等しく設定される、方法。
〔ＥＥＥ１０９〕付番実施例９７記載の方法であって、さらに：
前記第一の色領域を使ってコンテンツを第一の層に圧縮し；
前記第二の色領域を使ってコンテンツを第二の層に圧縮し；
前記第一の層について計算された重み付き予測パラメータが前記第二の層についての重み付き予測パラメータに変換される、方法。
〔ＥＥＥ１１０〕前記第一の層が基本層を含み前記第二の層が向上層を含む、付番実施例１０９記載の方法。
〔ＥＥＥ１１１〕前記第一の層についての重み付き予測パラメータが前記第二の層についてのデコーダまたはエンコーダに伝送される、付番実施例１１０記載の方法。
〔ＥＥＥ１１２〕付番実施例１ないし１１１のうち一つまたは複数に記載の方法に基づいてビデオ信号をエンコードするエンコーダ。
〔ＥＥＥ１１３〕付番実施例１ないし１１１のうち一つまたは複数に記載の方法に基づいてビデオ信号をエンコードする装置。
〔ＥＥＥ１１４〕付番実施例１ないし１１１のうち一つまたは複数に記載の方法に基づいてビデオ信号をエンコードするシステム。
〔ＥＥＥ１１５〕付番実施例１ないし１１１のうち一つまたは複数に記載の方法に基づいてビデオ信号をデコードするデコーダ。
〔ＥＥＥ１１６〕重み付き予測パラメータが当該デコーダに伝達されず、前記重み付き予測パラメータが当該デコーダに送られるピクチャ情報から導出される、付番実施例１１５記載のデコーダ。
〔ＥＥＥ１１７〕付番実施例１ないし１１１のうち一つまたは複数に記載の方法に基づいてビデオ信号をデコードする装置。
〔ＥＥＥ１１８〕重み付き予測パラメータが当該装置に伝達されず、前記重み付き予測パラメータが当該装置に送られるピクチャ情報から導出される、付番実施例１１７記載の装置。
〔ＥＥＥ１１９〕付番実施例１ないし１１１のうち一つまたは複数に記載の方法に基づいてビデオ信号をデコードするシステム。
〔ＥＥＥ１２０〕重み付き予測パラメータが当該システムに伝達されず、前記重み付き予測パラメータが当該システムに送られるピクチャ情報から導出される、付番実施例１１９記載のシステム。
〔ＥＥＥ１２１〕付番実施例１ないし１１１のうち一つまたは複数に記載の方法をコンピュータに実行させる一組の命令を含むコンピュータ可読媒体。
〔ＥＥＥ１２２〕ビデオ信号をエンコードするための付番実施例１ないし１１１のうち一つまたは複数に記載の方法の使用。
〔ＥＥＥ１２３〕ビデオ信号をデコードするための付番実施例１ないし１１１のうち一つまたは複数に記載の方法の使用。
〔ＥＥＥ１２４〕付番実施例１ないし１１１のうち一つまたは複数に記載の方法を実行するようコンピュータまたは集積回路（IC）デバイスの一つまたは複数を引き起こす、制御する、プログラムするまたは構成する一組の命令を含むコンピュータ可読記憶媒体。
〔ＥＥＥ１２５〕付番実施例１ないし１１１のうち一つまたは複数に記載のプロセスを実行するよう構成、プログラム、制御または設計されたICデバイス。

本開示が個別的な方法またはシステムに限定されないことは理解しておくべきである。個別的な方法やシステムはむろん多様である。また、本稿で使われる用語は単に個別的な実施形態を説明するためのものであり、限定することは意図されていないことも理解しておくべきである。本明細書および付属の請求項において、単数形の表現は、前後関係が明らかにそうでないことを示すのでない限り、複数の被指示物も含む。「複数」という用語は前後関係が明らかにそうでないことを示すのでない限り二つ以上の被指示物を含む。特に定義されているのでない限り、本稿で使われているすべての技術用語および科学用語は当業者が通常理解する意味をもつ。

上記の例は、本開示のサンプリングされ多重化された画像およびビデオ・データについての向上方法の実施形態をいかにして作成し、利用するかの完全な開示および記述を当業者に与えるために提供されており、発明者がその開示と見なすものの範囲を限定することを意図したものではない。本開示を実行するための上記の態様の修正が当業者によって使用されてもよく、以下の請求項の範囲内であることが意図されている。

本開示のいくつかの実施形態を述べてきた。だが、本開示の精神および範囲から外れることなくさまざまな修正がなされてもよいことは理解されるであろう。よって、他の実施形態も請求項の範囲内にある。

さらに、本明細書において言及されるあらゆる特許および刊行物は、本開示が関係する当業者のレベルを示すことがありうる。本開示において引用されるあらゆる文献は、各文献が個々にその全体において参照によって組み込まれているかと同じように参照によって組み込まれる。
いくつかの態様を記載しておく。
〔態様１〕ビデオ信号のあるピクチャから次のピクチャへの遷移におけるフェード検出およびフェードのグローバルまたはローカルな性質の判別のための方法であって：
ピクチャの複数のフレームおよび関係した予測基準フレームを提供し；
各フレームおよび関係した予測基準フレームについて；第一の色領域における一つまたは複数の強度に関係した値および一つまたは複数の色に関係した値を計算し；
各フレームおよび関係した予測基準フレームについて、前記第一の色領域における各色成分値について重み付き予測利得を計算し；
重み付き予測利得がすべて非負でありかつ互いに実質的に同様である場合、ゼロ・オフセットをもつグローバル遷移が主として第二の色領域において起きつつあると判定し；
重み付き予測利得がすべて非負でありかつ互いに実質的に同様ではない場合、グローバルなフェード遷移；ゼロ・オフセットをもつグローバルなフェード遷移；または第二の色領域におけるゼロ・オフセットをもつグローバルなフェード遷移のうちの少なくとも一つが起きていないと判定することを含む、
方法。
〔態様２〕前記強度に関係した値が、ルーマ値またはルミナンス値の一つまたは複数を含む、態様１記載の方法。
〔態様３〕前記色に関係した値がクロマ値またはクロミナンス値の一つまたは複数を含む、態様１記載の方法。
〔態様４〕態様１記載の方法であって、前記第一の色領域がYCbCr領域を含み、前記重み付き予測利得が：
フレームおよび該フレームの予測基準フレームのルーマ成分；
前記フレームのクロマ成分値；
前記フレームの前記予測基準フレームのクロマ成分値；および
色フォーマット変換オフセット値を含む値を用いて計算される、
方法。
〔態様５〕前記強度に関係した値および色に関係した値が平均強度に関係した色および色に関係した値である、態様１記載の方法。
〔態様６〕前記強度に関係した値および色に関係した値がヒストグラム情報から計算される、態様１記載の方法。
〔態様７〕前記複数のフレームがフレーム・シーケンスの一部を含む、態様１記載の方法。
〔態様８〕前記複数のフレームが、照明変化があると示されているフレームの集合の一部を含む、態様１記載の方法。
〔態様９〕前記第一の色領域から前記第二の色領域への遷移を定義する色空間行列が線形である、態様１記載の方法。
〔態様１０〕前記重み付き予測利得が実質的に同様であるのが、それらの利得が互いの5%ないし10%の範囲内である場合である、態様１記載の方法。
〔態様１１〕態様１記載の方法であって、さらに：
前記重み付き予測利得を0から1までの間の値をもつよう対数スケーリングし、それらの利得が実質的に同様であるかどうかの判定を、前記重み付き予測利得値の間の差が0.1未満であるかどうかを計算することによって行うことを含む、
方法。
〔態様１２〕ビデオ信号のあるピクチャから次のピクチャへの遷移におけるフェード検出およびフェードのグローバルまたはローカルな性質の判別のための方法であって：
ピクチャの複数のフレームおよび関係した予測基準フレームを提供し；
各フレームおよび関係した予測基準フレームについて；第一の色領域における強度に関係したおよび色に関係した値を計算し；
各フレームおよび関係した予測基準フレームについて；強度に関係した重み付き予測パラメータを計算し；
各フレームおよび関係した予測基準フレームについて、計算された強度に関係したおよび色に関係した値からおよび計算された強度に関係した重み付き予測パラメータから重み付き予測利得を計算し；
重み付き予測利得がすべて非負でありかつ互いに実質的に同様である場合、ゼロ・オフセットをもつグローバル遷移が主として第二の色領域において起きつつあると判定し；
重み付き予測利得がすべて非負でありかつ互いに実質的に同様ではない場合、ローカルな遷移が起きつつあるかどうかを試験することを含む、
方法。
〔態様１３〕ビデオ信号のあるピクチャから次のピクチャへの遷移におけるフェードのグローバルまたはローカルな性質の判別のための方法であって：
前記ピクチャの複数のフレームおよび関係した予測基準フレームを提供し；
各フレームおよび関係した予測基準フレームについて、第一の色領域における強度に関係したおよび色に関係した値を計算し；
各フレームおよび関係した予測基準フレームについて、第一の色領域における強度に関係したおよび色に関係した各値について重み付き予測利得を計算し；
各フレームおよび関係した予測基準フレームについて、重み付き予測利得を互いと比較し；
重み付き予測利得がすべて非負でありかつ互いに実質的に同様である場合、フェードがグローバルであると判定し；
重み付き予測利得がすべて非負でありかつ互いに実質的に同様ではない場合、フェードはローカルであると判定することを含む、
方法。
〔態様１４〕ビデオ信号のあるピクチャから次のピクチャへの遷移におけるフェードのグローバルまたはローカルな性質の判別のための方法であって：
前記ピクチャの複数のフレームおよび関係した予測基準フレームを提供し；
各フレームおよび関係した予測基準フレームについて、第一の色領域における強度に関係したおよび色に関係した値を計算し；
各フレームおよび関係した予測基準フレームについて、第一の色領域における強度に関係したおよび色に関係した各値について重み付き予測利得を計算し；
各フレームおよび関係した予測基準フレームについて、重み付き予測利得を互いと比較し；
重み付き予測利得がすべて非負でありかつ互いに実質的に同様である場合、フェードがグローバルであると判定し；
重み付き予測利得がすべて非負でありかつ互いに実質的に同様ではない場合、フェードはローカルであると判定することを含む、
方法。
〔態様１５〕画像遷移が起こるときに色空間変換および第一の色成分重み付き予測パラメータについての情報から第二および第三の色成分の重み付き予測パラメータを計算する方法であって：
第一の色成分重み付き予測利得およびオフセットを計算し；
計算された第一の色成分重み付き予測利得およびオフセットの値に基づいて、色変換オフセット、色変換行列の係数および第一の色成分重み付き予測利得およびオフセットの関数として、第二および第三の色成分重み付き予測利得およびオフセットを計算することを含む、
方法。
〔態様１６〕画像フラッシュが起こるときに強度に関係したパラメータおよび色空間変換についての情報から色に関係したパラメータを計算する方法であって：
強度に関係した利得およびオフセットを計算し；
強度に関係した利得が1でなくかつ強度に関係したオフセットが0でない場合、色に関係した利得を強度に関係した利得に等しいと設定し、色に関係したオフセットを、色フォーマット変換オフセット、強度に関係した利得、強度に関係したオフセットおよび色変換行列の係数の関数として計算し；
強度に関係した利得が1でなくかつ強度に関係したオフセットが0である場合、色に関係した利得を前記強度に関係した利得に等しいと設定し、色に関係したオフセットを、色フォーマット変換オフセット、強度に関係した利得および色変換行列の係数の関数として計算し；
強度に関係した利得が1であるか1に近い場合、色に関係した利得を1に等しいと設定し、色に関係したオフセットを、強度に関係したオフセットおよび色変換行列の係数の関数として計算することを含む、
方法。
〔態様１７〕ビデオ信号のあるシーンから次のシーンへの遷移におけるフェード検出の方法であって、次のステップを含む方法：
ステップＡ：前記ビデオ信号からの複数のフレームを提供する；
ステップＢ：前記複数のフレームのうち現在フレームを選択する；
ステップＣ：現在フレームに先行するフレームおよび現在フレームの後続のフレームの一つまたは複数の色成分のフレーム値に基づいて現在フレームの一つまたは複数の色空間成分について一組の属性を計算する；
ステップＤ：現在フレームに先行する先行フレームの一つまたは複数の色空間成分について一組の属性を、前記先行フレームに先行するフレームおよび前記先行フレームの後続のフレームの一つまたは複数の色成分のフレーム値に基づいて計算する；
ステップＥ：前記現在フレームの前記一つまたは複数の色空間パラメータについての前記一組の属性を、前記先行フレームの前記一つまたは複数の色空間パラメータについての前記一組の属性と比較して、前記現在フレームが増加するもしくは減少するフレーム値をもつフェードの終了フレームであるかどうかまたは前記現在フレームに先行する前記フレームが増加するもしくは減少するフレーム値をもつフェードの開始フレームであるかどうかを判定する。
〔態様１８〕フェード条件の存在下での重み付けされたパラメータ決定の方法であって、次のステップを含む方法：
ステップＡ：色サンプル・データを含む、ピクチャからの複数のフレームおよび関係した予測基準フレームを提供する；
ステップＢ：色成分を選択する；
ステップＣ：各フレームについて、前記色サンプル・データについての選択された色領域に基づいて、選択された色成分についての現在の最低飽和値および現在の最高飽和値を設定する；
ステップＤ：各関係した予測基準フレームについて、前記色サンプル・データについての選択された色領域に基づいて選択された色成分についての現在の基準最低飽和値および現在の基準最高飽和値を設定する；
ステップＥ：各フレームおよび関係した基準フレームについて、現在の最低飽和値、現在の最高飽和値、現在の基準最低飽和値および現在の基準最高飽和値に基づいて重み付き予測パラメータを推定する；
ステップＦ：各関係した予測基準フレームについて、推定された重み付き予測パラメータに基づいて、更新された現在の基準最低飽和値および更新された現在の基準最高飽和値を計算する；
ステップＧ：現在の基準最低飽和値を更新された現在の基準最低飽和値に等しく設定し、現在の基準最高飽和値を更新された現在の基準最高飽和値に等しく設定する；
ステップＨ：現在の反復工程についての重み付き予測パラメータが直前の反復工程についての重み付き予測パラメータと、選択された値だけ違っている場合または反復工程の数が選択された反復工程カウントより大きい場合、ステップＤないしＧを一連の逐次反復工程について繰り返す。
〔態様１９〕
第一の色領域から第二の色領域への変換式に基づいて、前記第二の領域における一つまたは複数のフレームの前記第二の色領域についての一つまたは複数の重み付き予測パラメータを計算する段階と；
一つまたは複数の重み付き予測パラメータを前記第一の色領域から前記第二の色領域に変換する段階とを含む方法であって、前記第一の色領域から前記第二の領域への変換は非線形である、方法。
〔態様２０〕態様１ないし１９のうち一つまたは複数に記載の方法に基づいてビデオ信号をエンコードするエンコーダ。
〔態様２１〕態様１ないし１９のうち一つまたは複数に記載の方法に基づいてビデオ信号をエンコードする装置。
〔態様２２〕態様１ないし１９のうち一つまたは複数に記載の方法に基づいてビデオ信号をエンコードするシステム。
〔態様２３〕態様１ないし１９のうち一つまたは複数に記載の方法に基づいてビデオ信号をデコードするデコーダ。
〔態様２４〕重み付き予測パラメータが当該デコーダに送られるピクチャ情報から導出される、態様２３記載のデコーダ。
〔態様２５〕態様１ないし１９のうち一つまたは複数に記載の方法に基づいてビデオ信号をデコードする装置。
〔態様２６〕重み付き予測パラメータが当該装置に送られるピクチャ情報から導出される、態様２５記載の装置。
〔態様２７〕態様１ないし１９のうち一つまたは複数に記載の方法に基づいてビデオ信号をデコードするシステム。
〔態様２８〕重み付き予測パラメータが当該システムに送られるピクチャ情報から導出される、態様２７記載のシステム。
〔態様２９〕態様１ないし１９のうち一つまたは複数に記載の方法をコンピュータまたは集積回路（IC）デバイスに実行させる、実行するよう制御する、実行するようプログラムするまたは実行するよう構成する一組の命令を含むコンピュータ可読媒体。
〔態様３０〕態様１ないし１９のうち一つまたは複数に記載のプロセスを実行するよう構成された、プログラムされた、制御されるまたは設計されたICデバイス。
〔態様３１〕ビデオ信号をデコードするための態様１ないし１９のうち一つまたは複数に記載の方法の使用。
〔態様３２〕ビデオ信号をエンコードするための態様１ないし１９のうち一つまたは複数に記載の方法の使用。

Claims (24)

1. ビデオ信号のあるピクチャから次のピクチャへの遷移におけるフェード検出およびフェードのグローバルまたはローカルな性質の判別のために、装置が実行する方法であって、前記装置が、
   ピクチャの複数のフレームおよび関係した予測基準フレームを提供し；
   各フレームおよび関係した予測基準フレームについて；第一の色領域における一つまたは複数の強度に関係した値および一つまたは複数の色に関係した値を計算し、ここで、計算された一つまたは複数の強度に関係した値および一つまたは複数の色に関係した値は色成分を含み；
   各フレームおよび関係した予測基準フレームについて、前記第一の色領域における各計算された色成分値について重み付き予測利得を計算し；
   重み付き予測利得がすべて非負でありかつ互いに実質的に同様である場合、ゼロ・オフセットをもつグローバル遷移が第二の色領域において起きつつあると判定し；
   重み付き予測利得がすべて非負でありかつ互いに実質的に同様ではない場合、グローバルなフェード遷移；ゼロ・オフセットをもつグローバルなフェード遷移；または第二の色領域におけるゼロ・オフセットをもつグローバルなフェード遷移のうちの少なくとも一つが起きていないと判定することを含む、
   方法。
2. 前記強度に関係した値が、ルーマ値またはルミナンス値の一つまたは複数を含む、請求項１記載の方法。
3. 前記色に関係した値がクロマ値またはクロミナンス値の一つまたは複数を含む、請求項１記載の方法。
4. 請求項１記載の方法であって、前記第一の色領域がYCbCr領域を含み、前記重み付き予測利得が：
   フレームおよび該フレームの予測基準フレームのルーマ成分；
   前記フレームのクロマ成分値；
   前記フレームの前記予測基準フレームのクロマ成分値；および
   色フォーマット変換オフセット値を含む値を用いて計算される、
   方法。
5. 前記強度に関係した値および色に関係した値が平均強度に関係した色および色に関係した値である、請求項１記載の方法。
6. 前記強度に関係した値および色に関係した値がヒストグラム情報から計算される、請求項１記載の方法。
7. 前記複数のフレームがフレーム・シーケンスの一部を含む、請求項１記載の方法。
8. 前記複数のフレームが、照明変化があると示されているフレームの集合の一部を含む、請求項１記載の方法。
9. 前記第一の色領域から前記第二の色領域への遷移を定義する色空間行列が線形である、請求項１記載の方法。
10. 前記重み付き予測利得が実質的に同様であるのが、それらの利得が互いの5%ないし10%の範囲内である場合である、請求項１記載の方法。
11. 請求項１記載の方法であって、さらに：
    前記重み付き予測利得を0から1までの間の値をもつよう対数スケーリングし、それらの利得が実質的に同様であるかどうかの判定を、前記重み付き予測利得値の間の差が0.1未満であるかどうかを計算することによって行うことを含む、
    方法。
12. ビデオ信号のあるピクチャから次のピクチャへの遷移におけるフェード検出およびフェードのグローバルまたはローカルな性質の判別のために、装置が実行する方法であって、前記装置が、
    ピクチャの複数のフレームおよび関係した予測基準フレームを提供し；
    各フレームおよび関係した予測基準フレームについて；第一の色領域における強度に関係したおよび色に関係した値を計算し；
    各フレームおよび関係した予測基準フレームについて；強度に関係した重み付き予測パラメータを計算し；
    各フレームおよび関係した予測基準フレームについて、計算された強度に関係したおよび色に関係した値からおよび計算された強度に関係した重み付き予測パラメータから重み付き予測利得を計算し；
    重み付き予測利得がすべて非負でありかつ互いに実質的に同様である場合、ゼロ・オフセットをもつグローバル遷移が主として第二の色領域において起きつつあると判定し；
    重み付き予測利得がすべて非負でありかつ互いに実質的に同様ではない場合、ローカルな遷移が起きつつあるかどうかを試験することを含む、
    方法。
13. ビデオ信号のあるピクチャから次のピクチャへの遷移におけるフェードのグローバルまたはローカルな性質の判別のために、装置が実行する方法であって、前記装置が、
    前記ピクチャの複数のフレームおよび関係した予測基準フレームを提供し；
    各フレームおよび関係した予測基準フレームについて、第一の色領域における強度に関係したおよび色に関係した値を計算し；
    各フレームおよび関係した予測基準フレームについて、第一の色領域における強度に関係したおよび色に関係した各値について重み付き予測利得を計算し；
    各フレームおよび関係した予測基準フレームについて、重み付き予測利得を互いと比較し；
    重み付き予測利得がすべて非負でありかつ互いに実質的に同様である場合、フェードがグローバルであると判定し；
    重み付き予測利得がすべて非負でありかつ互いに実質的に同様ではない場合、フェードはローカルであると判定することを含む、
    方法。
14. 請求項１ないし１３のうち一つまたは複数に記載の方法に基づいてビデオ信号をエンコードするエンコーダ。
15. 請求項１ないし１３のうち一つまたは複数に記載の方法に基づいてビデオ信号をエンコードする装置。
16. 請求項１ないし１３のうち一つまたは複数に記載の方法に基づいてビデオ信号をエンコードするシステム。
17. 請求項１ないし１３のうち一つまたは複数に記載の方法に基づいてビデオ信号をデコードするデコーダ。
18. 重み付き予測パラメータが当該デコーダに送られるピクチャ情報から導出される、請求項１７記載のデコーダ。
19. 請求項１ないし１３のうち一つまたは複数に記載の方法に基づいてビデオ信号をデコードする装置。
20. 重み付き予測パラメータが当該装置に送られるピクチャ情報から導出される、請求項１９記載の装置。
21. 請求項１ないし１３のうち一つまたは複数に記載の方法に基づいてビデオ信号をデコードするシステム。
22. 重み付き予測パラメータが当該システムに送られるピクチャ情報から導出される、請求項２１記載のシステム。
23. 請求項１ないし１３のうち一つまたは複数に記載の方法をコンピュータまたは集積回路（IC）デバイスに実行させる、実行するよう制御する、実行するようプログラムするまたは実行するよう構成する一組の命令を含むコンピュータ可読記録媒体。
24. 請求項１ないし１３のうち一つまたは複数に記載のプロセスを実行するよう構成された、プログラムされた、制御されるまたは設計されたICデバイス。
    

Images