JP6408314B2 - カラービデオ処理システムおよび方法、ならびに対応するコンピュータプログラム - Google Patents

Description

本発明はカラービデオ処理に関し、特にカラービデオを視聴者に視覚的に誘引的にするためのカラービデオ処理に関する。

カラービデオのシーン内のいくつかのオブジェクトは、それらの局部的なコントラスト、照明の変化に応じて過度に顕著（視覚的に誘引的）である場合があり、それらは全体のシーンにうまく適合しない。

それでもなお、このようなオブジェクトの直接（フレームベース）の調和は、それが生じる視覚的な不整合により、考えられない。したがって、本発明は、このようなオブジェクトが、シーン内でもはや調和しないものとして検出されたときに、オブジェクト調和を時間的に円滑化することを提案する。

米国特許出願公開第２０１０／０９２０８５（Ａ１）号明細書 欧州特許第１６９５２８８号明細書

"Color Harmonization for Videos", N. Sawant and N. J. Mitra, Indian Conference on Computer Vision, Graphics and Image Processing, 2008 "An Iterative Image Registration Technique with an Application To Stereo Vision", B. D. Lucas and T. Kanade, Joint Conference on Artificial Intelligence, pages 674 to 679, 1981 "Learning Color Names for Real-World Applications", J. van de Weijer et al, IEEE Transactions in Image Processing, 2009

この問題を克服するために、非特許文献１は、調和された、視聴者にとって好ましいビデオシーケンスを生成する技術について述べている。

簡単な手法では、ビデオのフレームは個々に調和される。しかし、この解決策では、１つのフレームと別のフレームとの間に視覚的な不整合を引き起こす。

もう１つの手法では、フレームは個々にではなくグループにて処理される。共通カラーテンプレートが決定され、フレームはそれらの色が共通カラーテンプレートに近くなるように処理される。

この方法は全体のフレームを処理するという不利な点を有し、これはフレームのグローバルな色の雰囲気を変化させる場合がある。したがって、調和されたフレームは、元のものと大きく相違する。

さらに、特許文献１は、フレームのシーケンスを調和する方法について述べる。各フレームは、前景と背景との間で分割される。次いで、フレームの前景の中から基準前景が選択され、他の前景はこの基準前景を用いて調和される。同様に、フレームの背景の中から基準背景が選択され、他の背景はこの基準背景を用いて調和される。

この方法は、各フレーム内で、すなわちフレームの前景と背景との間で、調和を考慮しないという点で不利である。

したがって、元のカラービデオに忠実なままで、１つのフレームと別のフレームとの整合性を有することによって、カラービデオのフレームのシーケンスの各フレームを調和することができるカラービデオ処理方法の必要性がある。

カラービデオ処理方法であって、
− フレームのシーケンスの各フレーム内の背景からオブジェクトを画定するステップと、
− 少なくとも２つの連続するフレームを選択するステップと、
− 前記選択されたフレームの前記背景からグローバルカラーテンプレートを決定するステップと、
− 各選択されたフレームに対して、および前記画定されたオブジェクトの色に対して、グローバルカラーテンプレートに従って調和された色を、前記調和された色がその元の色よりグローバルカラーテンプレートに近くなるように決定するステップと、
を含む、方法が提案される。

任意選択で、オブジェクトを画定するステップは、オブジェクトを取り囲むウィンドウを定義するステップを含む。

任意選択で、各フレーム内の背景からオブジェクトを画定するステップは、
− その第１に続くシーケンスの各フレームに対して、その先行するフレームから前記オブジェクトを追従し、前記追従されたオブジェクトを画定するステップを含む。

任意選択で方法はさらに、前記シーケンスの各フレームに対して、
− 前記フレームの各画素を顕著性値に関連付けるステップと、
− 前記顕著性値から、画定されたオブジェクトの誘引度を求めるステップと、
− 前記画定されたオブジェクトの前記誘引度が、前記画定されたオブジェクトが調和していることを示す条件を満たすかどうかを判定するステップであって、本明細書の以下では条件は「調和条件」と呼ばれる、ステップと、
− 前記画定されたオブジェクトの前記誘引度が前記調和条件を満たさない場合は、前記背景からフレームカラーテンプレートを決定するステップであって、本明細書の以下では前記フレームは「非調和フレーム」と呼ばれ、各選択されたフレームは非調和フレームであり、前記グローバルカラーテンプレートは前記選択されたフレームの前記カラーテンプレートから決定される、ステップと、
を含む。

任意選択で前記誘引度は、画前記定されたオブジェクトの前記画素の前記顕著性値の平均値および偏差値を含む。

任意選択で前記調和条件は、前記平均値が所定の平均値閾値より小さいこと、および前記偏差値が所定の偏差値閾値より小さいことを含む。

任意選択で、少なくとも２つの連続的なフレームを選択するステップは、
− 連続する非調和フレームの数が、少なくとも２に等しい所定の閾値以上であるかどうかを判定するステップと、
− そうである場合は、前記連続する非調和フレームを選択するステップと、
を含む。

任意選択で、フレームの前記背景からフレームカラーテンプレートを決定するステップは、
− 所定のカラーテンプレートの中から１つを選択するステップであって、各所定のカラーテンプレートは循環する色シーケンスにおける少なくとも１つの色範囲を示す、ステップと、
− フレームテンプレートシフトを決定するステップと、
− フレームカラーテンプレートを取得するために、前記選択された所定のカラーテンプレートの各色範囲に前記フレームテンプレートシフトを適用するステップと、
を含む。

任意選択で、前記グローバルカラーテンプレートを決定するステップは、
− 所定のカラーテンプレートの中から１つを選択するステップであって、各所定のカラーテンプレートは循環する色シーケンスにおける少なくとも１つの色範囲を示す、ステップと、
− グローバルテンプレートシフトを決定するステップと、
− 前記グローバルカラーテンプレートを取得するために、前記選択された所定のカラーテンプレートの各色範囲に前記グローバルテンプレートシフトを適用するステップと、
を含む。

任意選択で、前記選択されたフレームのフレームカラーテンプレートから前記グローバルカラーテンプレートを決定するステップは、
− 選択されたフレームの所定のカラーテンプレートを選択するステップと、
− 前記選択されたフレームの前記フレームテンプレートシフトから、前記グローバルテンプレートシフトを決定するステップと、
を含む。

任意選択で、前記グローバルテンプレートシフトは、前記フレームテンプレートシフトの平均値である。

任意選択で、所定のカラーテンプレートを選択するステップは、
− 前記選択されたフレームの前記フレームカラーテンプレートを取得するために最も用いられる前記所定のカラーテンプレートを選択するステップ
を含む。

さらに、コンピュータによって実行されたときに、本発明によるカラービデオ処理方法を前記コンピュータに行わせる命令を含む、コンピュータプログラムが提案される。

さらに、カラービデオ処理システムであって、
− フレームのシーケンスの各フレーム内の背景からオブジェクトを画定するための構成要素と、
− 少なくとも２つの連続するフレームを選択するための構成要素と、
− 前記選択されたフレームの前記背景からグローバルカラーテンプレートを決定するための構成要素と、
− 各選択されたフレームに対して、および画定されたオブジェクトの色に対して、前記グローバルカラーテンプレートに従って調和された色を、前記調和された色がその元の色より前記グローバルカラーテンプレートに近くなるように決定するための構成要素と、
を備える、システムが提案される。

本発明の実施形態は、例示のみの目的で添付の図を参照して述べる。
カラービデオ処理システムを示す図である。 例えば図１のカラービデオ処理方法によって行われる、カラービデオ処理方法を示す図である。 図２のカラービデオ処理方法において用いることができる、所定のカラーテンプレートを示す図である。 図２のカラービデオ処理方法を行う簡単な例を示す図である。

図１を参照して、本発明の例示的実施形態となるカラービデオ処理システム１００について述べる。

カラービデオ処理システム１００は、中央処理装置１０４と、メモリ１０６と、例えばディスプレイ装置、キーボード、およびマウスを含むヒューマン−コンピュータインタフェース１０８と、を含むコンピュータ１０２を備える。

カラービデオ処理システム１００はさらに、メモリ１０６に記憶されたコンピュータプログラム１１０を備える。コンピュータプログラム１１０は、コンピュータ１０２によって、具体的には中央処理装置１０４によって実行されたときに、図２を参照して述べられるカラービデオ処理方法をコンピュータ１０２に実行させる命令を備える。

カラービデオ処理システム１００はさらに、メモリ１０６に記憶されたカラービデオ１１２を備える。カラービデオ１１２は、ヒューマン−コンピュータインタフェース１０８のディスプレイ装置などのディスプレイ装置上に、次々に表示することが意図された連続的なフレームを備える。各フレームは画素を備え、各画素は色を有する。述べられる例では、画素の色は色相値によって表される。

次に、図２を参照して、図１のカラービデオ処理システム１００によって実行され、本発明の例示的実施形態となるカラービデオ処理方法２００について述べる。述べられる例では、以下のステップは、コンピュータプログラム１１０の命令を実行するコンピュータ１０２によって実行される。

コンピュータ１０２は、カラービデオ１１２のフレームのシーケンスの各フレームに対して第１のパスを行う。フレームのシーケンスは、全体のカラービデオ１１２とすることができる。第１のパスは、以下のステップを含む。

ステップ２０２の間に、コンピュータ１０２は、フレーム内の背景からオブジェクトを画定（mark out）する。

述べられる例では、ステップ２０２は、オブジェクトを取り囲むウィンドウ、例えば矩形ウィンドウを決定するステップを含む。さらに、述べられる例では、ステップ２０２は、シーケンスの第１のフレームに対して、コンピュータ１０２が、オブジェクトを画定するための命令をヒューマン−コンピュータインタフェース１０８を通してユーザから受け取るステップと、コンピュータ１０２が、第１に続くシーケンスの各フレームに対して、１または複数の先行するフレームからオブジェクトを自動的に追従し、追従されたオブジェクトを自動的に画定するステップとを含む。このような実現の例は、非特許文献２に述べられている。非特許文献２は、信頼性よくそれらを追従するのに十分なテクスチャを有する、特徴点のスパース集合（sparse set）を自動的に検出する「ＫＬＴアルゴリズム」について述べている。その後、検出された点は、各点に対して、現在の特徴点位置を中心とするウィンドウと平行移動された位置との間の差平方和相違度（sum-squared-difference dissimilarity）を最小にする平行移動を推定することによって追従される。

ステップ２０４の間に、コンピュータ１０２は、フレームの各画素を顕著性値に関連付けることによって、フレームに対する顕著性マップを決定する。これは、例えば特許文献２において述べられている方法により実行することができる。述べられている方法は、最も視覚的に誘引的な画素が０から２５５までの値によって表される顕著性マップを生成する。これは視覚系のモデリングに基づく。

ステップ２０６の間に、コンピュータ１０２は、画定されたオブジェクトの顕著性値から、すなわち述べられる例ではオブジェクトを取り囲むウィンドウの内側の画素から、画定されたオブジェクトＭＯの誘引度を求める。さらに、述べられる例では、画定されたオブジェクトＭＯの誘引度を求めることは、背景の顕著性値に関係なく、すなわちそれらの値を考慮せずに実行される。

述べられる例では、画定されたオブジェクトの誘引度は、画定されたオブジェクトの画素の顕著性値の平均値および偏差値である。

ステップ２０８の間に、コンピュータ１０２は、画定されたオブジェクトＭＯの誘引度が、画定されたオブジェクトＭＯがフレーム内で調和していることを示す条件を満たすかどうかを判定し、この条件は本明細書の以下では「調和条件」と呼ばれる。

述べられる例では、調和条件は、平均値が所定の平均値閾値より小さいことおよび偏差値が所定の偏差値閾値より小さいことを含む。

ステップ２１０の間に、画定されたオブジェクトＭＯの誘引度が調和条件を満たさない場合は、コンピュータ１０２は、画定されたオブジェクトの色に関係なく、フレームの背景からフレームカラーテンプレートＦＣＴを決定する。一般に、カラーテンプレートは、色シーケンスにおける少なくとも１つの色範囲を示す。述べられる例では、色シーケンスは循環的である。フレームは、そのすべての色がカラーテンプレートの内側に限定されるとき、すなわちそのすべての色がカラーテンプレートの色範囲に属するときは、調和するものと予想される。本明細書の以下では、その誘引度が調和条件を満たさない画定されたオブジェクトＭＯを含むフレームは、「非調和フレーム」と呼ばれる。

述べられる例では、ステップ２１０は、最初に所定のカラーテンプレートＰＣＴの中から１つを選択すること、および本明細書で以下に説明されるように、選択された所定のカラーテンプレートＰＣＴの各色範囲がその値だけシフトされることが意図される、フレームテンプレートシフトＦＴＳを決定することを含む。

述べられる例では、所定のカラーテンプレートＰＣＴを選択することおよびフレームテンプレートシフトＦＴＳを決定することは、例えばＨＳＶ（色相−彩度−明度）空間におけるフレームの背景の色ヒストグラムを決定することを含む。例えば色ヒストグラムは、彩度および明度（ＨＳＶ色モデルの意味における）によって重み付けされた正規化された色相分布に等しい。述べられる例では、色ヒストグラムは、以下の式から算出される。

ただし、Ｍ＝［Ｍ_ｉ］はＳ＊Ｖのｕおよびｖの値によって範囲が定められる各ビンｉに対する値Ｍ_ｉを含む色ヒストグラムであり、Ｓ［ｘ，ｙ］はフレーム内の位置［ｘ，ｙ］にある画素の彩度であり、Ｖ［ｘ，ｙ］は位置［ｘ，ｙ］にある画素の明度であり、（ｘ，ｙ）は位置［ｘ，ｙ］にある画素を表す。

所定のカラーテンプレートＰＣＴを選択することおよびフレームテンプレートシフトＦＴＳを決定することはさらに、あらゆる所定のカラーテンプレートＰＣＴおよびあらゆる可能なテンプレートシフトにわたって関数を最小にすることにより、所定のカラーテンプレートＰＣＴおよび色ヒストグラムに最もよく対応する関連付けられたフレームテンプレートシフトＦＴＳを選択することを含む。述べられる例では、関数は、カルバック−ライブラー情報量（Kullback-Leibler divergence）である。

ただし、Ｐ_ｉ（ｍ，α）はテンプレートシフトαに対する所定のカラーテンプレートＰＣＴ ｍの一様分布であり、この一様分布は例えば次式によって定義される。

ただしｗ_ｍはテンプレートｍの考察される色範囲の長さである。

述べられる例では、ステップ２１０はさらに、フレームカラーテンプレートＦＣＴを取得するために、決定されたフレームテンプレートシフトＦＴＳを選択された所定のカラーテンプレートＰＣＴの各色範囲に適用することを含む。

ステップ２１２の間に、画定されたオブジェクトＭＯの誘引度が調和条件を満たす場合は、コンピュータ１０２は、少なくとも２である所定の閾値Ｎ以上の数の先行する連続する非調和フレームがあるかどうかを判定する。

ステップ２１４の間に、先行する連続する非調和フレームの数が所定の閾値より大きい場合は、コンピュータ１０２は、ステップ２１６から開始して述べられるように、それらの色を調和させるために、先行する連続する非調和フレームを選択する。本明細書の以下では、これらの連続する非調和フレームは、「選択されたフレーム」と呼ばれる。そうでない場合、コンピュータ１０２は、先行する連続する非調和フレームの色を調和させない。

連続する非調和フレームが選択された場合、コンピュータ１０２は、以下のステップを含む第２のパスを行う。

ステップ２１６の間に、コンピュータ１０２は、選択されたフレームの画定されたオブジェクトＭＯの色に関係なく、選択されたフレームの背景からグローバルカラーテンプレートＧＣＴを決定する。

述べられる例では、ステップ２１６は、所定のカラーテンプレートＰＣＴの中から、例えばステップ２１０のものの中から、１つを選択することと、グローバルカラーテンプレートＧＣＴを取得するために、選択された所定のカラーテンプレートＰＣＴの（１または複数の）範囲に適用されるグローバルテンプレートシフトＧＴＳを決定することとを含む。

述べられる例では、グローバルカラーテンプレートＧＣＴは、選択されたフレームのフレームカラーテンプレートＦＣＴから決定される。

述べられる例では、ステップ２１６は、選択されたフレームの１つのフレームカラーテンプレートＦＣＴがそれから取得される、所定のカラーテンプレートＰＣＴを選択することを含む。述べられる例では、選択は、選択されたフレームのフレームカラーテンプレートＦＣＴを取得するために最もよく用いられる、所定のカラーテンプレートＰＣＴを選択することによって実行される。

述べられる例では、ステップ２１６はさらに、選択されたフレームのフレームテンプレートシフトＦＴＳから、グローバルテンプレートシフトＧＴＳを決定することを含む。例えばグローバルテンプレートシフトＧＴＳは、選択されたフレームのフレームテンプレートシフトＦＴＳの平均値である。

ステップ２１８の間に、各選択されたフレームに対して、コンピュータ１０２は、画定されたオブジェクトＭＯの色に対して、本明細書の以下では「調和された色」と呼ばれる、元の色よりグローバルカラーテンプレートＧＣＴに近い色を決定する。調和された色は、グローバルカラーテンプレートＧＣＴの内側にある、すなわちその（１または複数の）色範囲内にあることが好ましい。

述べられる例では、ステップ２１８は、選択されたフレームの画定されたオブジェクトＭＯに対して色セグメント化を行うことを含む。色セグメント化時は、画定されたオブジェクトＭＯはセグメントに分割され、各セグメント再グループ化画素は色類似性条件に従って互いに近い色を有する。色セグメント化の例は、非特許文献３に見出すことができる。

述べられる例では、ステップ２１８はさらに、画定されたオブジェクトＭＯの各セグメントを、グローバルカラーテンプレートＧＣＴの１つの範囲に、例えば色近接性条件に従って最も近いものに関連付けることを含む。例えば各セグメントは、セグメントの画素の色の平均値に最も近い範囲に関連付けられる。

述べられる例では、ステップ２１８はさらに、画定されたオブジェクトＭＯの各画素に対して、画素の元の色より、画素が属するセグメントに関連付けられたグローバルカラーテンプレートＧＣＴの範囲に近い調和された色を決定することを含む。特定のおよび非限定的な実施形態では、ステップ２１８において画素の元の色は、調和された色に従って変更される。例示として、画素の元の色は、調和された色によって置き換えられる。例えば調和された色の決定は、各画素の色に対して調和化関数と呼ばれる関数を適用することによって行われる。調和化関数は、色のシグモイド関数である。このようにして、画素の色が色範囲から遠く離れているときは、シグモイド関数を選ぶことができ、それによりその漸近特性は、色範囲の内側の、例えば色範囲の最も近い端部における、調和された色をもたらす。さらに画素の色が色範囲の内側にあるときは、色の線形的な変更を得るようにシグモイド関数を選ぶことができ、これは色調和に自然な感覚をもたらす。

述べられる例では、調和化関数は、選択されたフレームにおけるフレームの位置を示すパラメータを含み、それによりすべての条件が同じである場合、同じ色は、選択されたフレームのシーケンスに沿ってますます変更されるようになる。例として、第１の選択されたフレームの色は、もっと後の選択されたフレームの同じ色より変更の度合いが小さくなる。画素の元の色を変更するステップは、元の色を調和された色によって置き換えることを含む。

述べられる例では、調和化関数は、以下の式で示される。

ただし、Ｈ’（ｐ）は画素ｐの調和された色、Ｈ（ｐ）は画素ｐの色相値、Ｃ（ｐ）はｐが属するセグメントに関連付けられた色範囲の中心色相値、ｗは色範囲におけるグローバルカラーテンプレートＧＣＴの色シーケンスに沿った長さであり、｜｜ ｜｜はＨ（ｐ）とＣ（ｐ）との間のグローバルカラーテンプレートＧＣＴの色シーケンスに沿った距離であり、ｔは選択されたフレームのシーケンスにおける選択されたフレームの位置であり、Ｔｖは最大限でも選択されたフレームの数に等しい所定の閾値である。

述べられる例では、任意選択で、ステップ２１８は、画定されたオブジェクトＭＯの各画素をその元の色とその調和された色との差に等しい色変更値に関連付けることによって、色変更マップを決定することを含む。色変更マップは、後の段階で、画定されたオブジェクトＭＯの画素の元の色を、対応する調和された色で置き換えるために用いることができるので有利である。

図３を参照すると、９個の所定のカラーテンプレートＰＣＴの一例が示される。述べられる例では、色は色相値によって表される。さらに、各カラーテンプレートは、色相値の円を備える色相ホイールとして表され、本明細書では（１または複数の）色範囲は（１または複数の）扇型（斜線部）として表される。このようにして色をホイールの角度によって表すことができる。赤、青および緑色の位置は、第１の所定のカラーテンプレート上に示され、他の所定のカラーテンプレートにおいて同様の位置にある。色は、これらの３つの位置の各対の間で第１の位置の色から第２に位置の色まで徐々に変化する。

第１の所定のカラーテンプレートは「ｉ型」カラーテンプレートと呼ばれ、３０°よりも少ない、例えば２０°の円弧長を有する１つの色範囲のみを備える。

第２の所定のカラーテンプレートは「Ｖ型」カラーテンプレートと呼ばれ、６０°と１２０°の間、例えば９０°の円弧長を有する１つの色範囲のみを備える。

第３の所定のカラーテンプレートは「Ｌ型」カラーテンプレートと呼ばれ、２つの色範囲のみを備え、第１は３０°よりも少ない、例えば２０°の円弧長を有し、第２は６０°と１２０°の間、例えば９０°の円弧長を有して第１から＋９０°だけシフトされる（シフトはそれらの二等分線の間で考察される）。

第４の所定のカラーテンプレートは「Ｊ型」カラーテンプレートと呼ばれ、２つの色範囲のみを備え、第１は３０°よりも少ない、例えば２０°の円弧長を有し、第２は６０°と１２０°の間、例えば９０°の円弧長を有して第１から−９０°だけシフトされる（シフトはそれらの二等分線の間で考察される）。

第５の所定のカラーテンプレートは「Ｉ型」カラーテンプレートと呼ばれ、２つの色範囲のみを備え、共に３０°よりも少ない、例えば２０°の円弧長を有し、第２は第１から１８０°だけシフトされる（シフトはそれらの二等分線の間で考察される）。

第６の所定のカラーテンプレートは「Ｔ型」カラーテンプレートと呼ばれ、１２０°と２４０°の間、例えば１８０°の円弧長を有する１つの色範囲のみを備える。

第７の所定のカラーテンプレートは「Ｙ型」カラーテンプレートと呼ばれ、２つの色範囲のみを有し、第１は６０°と１２０°の間、例えば９０°の円弧長を有し、第２は３０°よりも少ない、例えば２０°の円弧長を有して第１から１８０°だけシフトされる（シフトはそれらの二等分線の間で考察される）。

第８の所定のカラーテンプレートは「Ｘ型」カラーテンプレートと呼ばれ、２つの色範囲のみを有し、共に６０°と１２０°の間、例えば９０°の円弧長を有し、第２は第１から１８０°だけシフトされる（シフトはそれらの二等分線の間で考察される）。

第９の所定のカラーテンプレートは「Ｏ型」カラーテンプレートと呼ばれ、円弧長３６０°を有する１つの色範囲のみを有する。「Ｏ型」カラーテンプレートは、例えば虹の画像を含んだフレームのように、フレームを調和させないようにすべての色相を等しく含む。

次に図４を参照して、図２のカラービデオ処理方法２００を行う簡単な例について述べる。

フレームのシーケンスは、フレームＡ、Ｂ、Ｃ、およびＤから開始すると仮定する。

コンピュータ１０２は、フレームＡに対してステップ２０２から２０６までを行い、フレームＡ内の画定されたオブジェクトＭＯ（Ａ）の誘引度が調和条件を満たすと判断する（ステップ２０８）。次いでコンピュータ１０２は、先行する連続する非調和フレームの数が、２に等しいと仮定される所定の閾値Ｎ以上でないと判断する（先行するフレームはない）（ステップ２１２）。

次いでコンピュータ１０２は、フレームＢに対してステップ２０２から２０６までを行い、次いでフレームＢ内の画定されたオブジェクトＭＯ（Ｂ）の誘引度が調和条件を満たさないと判断する（ステップ２０８）。結果として、コンピュータ１０２は、フレームＢに対するフレームカラーテンプレートＦＣＴ（Ｂ）を決定する（ステップ２１０）。フレームカラーテンプレートＦＣＴ（Ｂ）は、＋９０°のカラーテンプレートシフトＣＴＳを有するＸ型の所定のカラーテンプレートＰＣＴから取得されたと仮定する。

次いでコンピュータ１０２は、フレームＣに対してステップ２０２から２０６までを行い、次いでフレームＣ内の画定されたオブジェクトＭＯ（Ｃ）の誘引度が調和条件を満たさないと判断する（ステップ２０８）。結果として、コンピュータ１０２は、フレームＣに対するフレームカラーテンプレートＦＣＴ（Ｃ）を決定する（ステップ２１０）。フレームカラーテンプレートＦＣＴ（Ｃ）は、＋１８０°のフレームテンプレートシフトＦＴＳを有するＸ型の所定のカラーテンプレートＰＣＴから取得されたと仮定する。

次いでコンピュータ１０２は、フレームＤに対してステップ２０２から２０６までを行い、フレームＤ内の画定されたオブジェクトＭＯ（Ｄ）の誘引度が調和条件を満たすと判断する（ステップ２０８）。結果として、コンピュータ１０２は、フレームＤには２つの非調和フレーム、フレームＢおよびＣが先行していると判断し、これらは数が２に等しい（ステップ２１２）。結果として、コンピュータ１０２は、フレームＢおよびＣを選択してそれらを調和させる（ステップ２１４）。

次いでコンピュータ１０２は、フレームカラーテンプレートＦＣＴ（Ｂ）およびＦＣＴ（Ｃ）からグローバルカラーテンプレートＧＣＴを決定する（ステップ２１６）。フレームカラーテンプレートＦＣＴ（Ｂ）およびＦＣＴ（Ｃ）は共にＸ型の所定のカラーテンプレートから取得され、それによりグローバルカラーテンプレートＧＣＴを決定するためにＸ型の所定のカラーテンプレートが選択される。さらに、グローバルテンプレートシフトＧＴＳは、両方のカラーテンプレートシフトＣＴＳ（Ｂ）およびＣＴＳ（Ｃ）の平均値として決定され、すなわち（９０°＋１８０°）／２＝＋１３５°となる。したがって結果としてグローバルカラーテンプレートＧＣＴは、それぞれ＋１３５°および＋３１５°を中心とする２つの色範囲Ｒ１およびＲ２を備える。本明細書の以下では、２つの色範囲は、それぞれ９０°の長さを有すると仮定する。

次いでコンピュータ１０２は、フレームＢおよびＣのそれぞれに対して、画定されたオブジェクトＭＯの各画素の調和された色を決定する（ステップ２１８）。述べられる例では、コンピュータ１０２は、フレームＢおよびＣの両方の色セグメント化を行う。フレームＢのセグメント化は、色範囲Ｒ１に関連付けられるセグメントを備えると仮定される。色範囲Ｒ１の中心は＋１３５°である。

したがって、このセグメントの各画素は、前の調和化関数に従って調和され、ただしＣ（ｐ）＝＋１３５°、ｗ＝９０°、ｔ＝１（フレームＢは選択されたフレームのシーケンス｛Ｂ，Ｃ｝の第１のフレームである）、およびＴｖは２に等しいと仮定し、これらから次が得られる。

フレームＢおよびＣの他のセグメントに対して同様な演算が行われる。

次いでコンピュータ１０２は、フレームＤに後続するフレームに対してカラービデオ処理方法２００を続行する。

カラービデオ１１２のすべてのフレームが処理された後に、コンピュータ１０２は、例えばヒューマン−コンピュータインタフェース１０８のディスプレイ装置などのディスプレイ装置に表示される、処理されたカラービデオを生成する。

本発明は、前述の実施形態に制限されず、代わりに添付の特許請求の範囲によって定義される。実際、当業者には前述の実施形態に変更が適用され得ることが明らかであろう。

例えば、カラービデオ処理方法２００の各ステップをコンピュータ１０２に行わせるためのプログラム命令は、すべてまたは一部をハードウェア構成要素によって置き換えることができる。

さらにフレームは、２Ｄ画像に制限されず、例えば３Ｄ画像とすることもできる。

さらに画素の色は、ＲＶＢ値などの他の量またはいくつかの他の量によって表すこともできる。

さらに前述の方法により、１つではなくいくつかのオブジェクトを画定し、色を調和させることもできる。

加えて、添付の特許請求の範囲で用いられる用語は、前述の実施形態の要素に制限されると理解されるべきではなく、これに反して、当業者が彼等の一般的な知識を用いて導き出すことができるすべての等価な要素を含むものと理解されるべきである。
［付記１］
カラービデオ処理方法（２００）であって、
− フレームのシーケンスの各フレーム内の背景からオブジェクトを画定するステップ（２０２）と、
− 少なくとも２つの連続するフレームを選択するステップ（２１４）と、
− 前記選択されたフレームの前記背景からグローバルカラーテンプレートを決定するステップ（２１６）と、
− 各選択されたフレームに対して、および前記画定されたオブジェクトの色に対して、前記グローバルカラーテンプレートに従って調和された色を、前記調和された色がその元の色より前記グローバルカラーテンプレートに近くなるように決定するステップ（２１８）と、
を含む、前記カラービデオ処理方法。
［付記２］
前記画定されたオブジェクトの前記色を、前記対応する調和された色に従って変更するステップをさらに含む、付記１に記載のカラービデオ処理方法（２００）。
［付記３］
前記オブジェクトを画定するステップ（２０２）は、前記オブジェクトを取り囲むウィンドウを定義するステップを含む、付記１または２に記載のカラービデオ処理方法（２００）。
［付記４］
各フレーム内の背景からオブジェクトを画定するステップ（２０２）は、
− その第１に続くシーケンスの各フレームに対して、その先行するフレームから前記オブジェクトを追従し、前記追従されたオブジェクトを画定するステップを含む、付記１乃至３のいずれか一項に記載のカラービデオ処理方法（２００）。
［付記５］
前記シーケンスの各フレームに対して、
− 前記フレームの各画素を顕著性値に関連付けるステップ（２０４）と、
− 前記顕著性値から、前記画定されたオブジェクトの誘引度を求めるステップ（２０６）と、
− 前記画定されたオブジェクトの前記誘引度が、前記画定されたオブジェクトが調和していることを示す条件を満たすかどうかを判定するステップ（２０８）であって、以下では前記条件は「調和条件」と呼ばれる、ステップと、
− 前記画定されたオブジェクトの前記誘引度が前記調和条件を満たさない場合、前記背景からフレームカラーテンプレートを決定するステップ（２１０）であって、以下では前記フレームは「非調和フレーム」と呼ばれ、各選択されたフレームは非調和フレームであり、前記グローバルカラーテンプレートは前記選択されたフレームの前記カラーテンプレートから決定される、ステップと
を含む、付記１乃至４のいずれか一項に記載のカラービデオ処理方法（２００）。
［付記６］
前記誘引度は、前記画定されたオブジェクトの前記画素の前記顕著性値の平均値および偏差値を含む、付記５に記載のカラービデオ処理方法（２００）。
［付記７］
前記調和条件は、前記平均値が所定の平均値閾値より小さいことおよび前記偏差値が所定の偏差値閾値より小さいことを含む、付記６に記載のカラービデオ処理方法（２００）。
［付記８］
少なくとも２つの連続的なフレームを選択するステップは、
− 連続する非調和フレームの数が、少なくとも２に等しい所定の閾値以上であるかどうかを判定するステップと、− そうである場合は、前記連続する非調和フレームを選択するステップと、
を含む、付記５乃至７のいずれか一項に記載のカラービデオ処理方法（２００）。
［付記９］
フレームの前記背景からフレームカラーテンプレートを決定するステップ（２１０）は、
− 所定のカラーテンプレートの中から１つを選択するステップであって、各所定のカラーテンプレートは、循環する色シーケンスにおける少なくとも１つの色範囲を示す、ステップと、
− フレームテンプレートシフトを決定するステップと、
− 前記フレームカラーテンプレートを取得するために、前記選択された所定のカラーテンプレートの各色範囲に前記フレームテンプレートシフトを適用するステップと、
を含む、付記５乃至８のいずれか一項に記載のカラービデオ処理方法（２００）。
［付記１０］
前記グローバルカラーテンプレートを決定するステップ（２１６）は、
− 所定のカラーテンプレートの中から１つを選択するステップであって、各所定のカラーテンプレートは循環する色シーケンスにおける少なくとも１つの色範囲を示す、ステップと、
− グローバルテンプレートシフトを決定するステップと、
− 前記グローバルカラーテンプレートを取得するために、前記選択された所定のカラーテンプレートの各色範囲に前記グローバルテンプレートシフトを適用するステップと、
を含む、付記１乃至９のいずれか一項に記載のカラービデオ処理方法（２００）。
［付記１１］
前記選択されたフレームの前記フレームカラーテンプレートから前記グローバルカラーテンプレートを決定するステップは、
− 選択されたフレームの所定のカラーテンプレートを選択するステップと、
− 前記選択されたフレームの前記フレームテンプレートシフトから、前記グローバルテンプレートシフトを決定するステップと、
を含む、付記９または１０に記載のカラービデオ処理方法（２００）。
［付記１２］
前記グローバルテンプレートシフトは、前記フレームテンプレートシフトの平均値である、付記１１に記載のカラービデオ処理方法（２００）。
［付記１３］
所定のカラーテンプレートを選択するステップは、
− 前記選択されたフレームの前記フレームカラーテンプレートを取得するために最も用いられる前記所定のカラーテンプレートを選択するステップを含む、付記１１または１２に記載のカラービデオ処理方法（２００）。
［付記１４］
コンピュータによって実行されたときに、付記１乃至１３のいずれか一項に記載のカラービデオ処理方法（２００）を前記コンピュータに行わせる命令を含む、コンピュータプログラム（１１０）。
［付記１５］
カラービデオ処理システム（１００）であって、
− フレームのシーケンスの各フレーム内の背景からオブジェクトを画定するように構成された構成要素と、
− 少なくとも２つの連続するフレームを選択するように構成された構成要素と、
− 前記選択されたフレームの前記背景からグローバルカラーテンプレートを決定するように構成された構成要素と、
− 各選択されたフレームに対して、および前記画定されたオブジェクトの色に対して、前記グローバルカラーテンプレートに従って調和された色を、前記調和された色がその元の色より前記グローバルカラーテンプレートに近くなるように決定するように構成された構成要素と、
を備える、前記カラービデオ処理システム。
［付記１６］
前記対応する調和された色に従って、前記画定されたオブジェクトの前記色を変更するように構成された構成要素をさらに備える、付記１５に記載のカラービデオ処理システム。

Claims (16)

1. カラービデオ処理方法であって、
   − フレームのシーケンスの各フレーム内の背景からオブジェクトを画定することと、
   − 少なくとも２つの連続するフレームを選択することと、
   − 前記選択されたフレームの前記背景からグローバルカラーテンプレートを決定することと、
   − 各選択されたフレームに対して、および前記画定されたオブジェクトの色に対して、前記グローバルカラーテンプレートに従って調和された色を、前記調和された色がその元の色より前記グローバルカラーテンプレートに近くなるように決定することと、
   を含む、前記カラービデオ処理方法。
2. 前記画定されたオブジェクトの前記色を、対応する前記調和された色に従って変更することをさらに含む、請求項１に記載のカラービデオ処理方法。
3. 前記オブジェクトを画定することは、前記オブジェクトを取り囲むウィンドウを定義することを含む、請求項１または２に記載のカラービデオ処理方法。
4. 各フレーム内の背景からオブジェクトを画定することは、
   − その第１に続くシーケンスの各フレームに対して、その先行するフレームから前記オブジェクトを追従し、前記追従されたオブジェクトを画定することを含む、請求項１乃至３のいずれか一項に記載のカラービデオ処理方法。
5. 前記シーケンスの各フレームに対して、
   − 前記フレームの各画素を顕著性値に関連付けることと、
   − 前記顕著性値から、前記画定されたオブジェクトの誘引度を求めることと、
   − 前記画定されたオブジェクトの前記誘引度が、前記画定されたオブジェクトが調和していることを示す条件を満たすかどうかを判定することであって、以下では前記条件は「調和条件」と呼ばれる、ことと、
   − 前記画定されたオブジェクトの前記誘引度が前記調和条件を満たさない場合、前記背景からフレームカラーテンプレートを決定することであって、以下では前記フレームは「非調和フレーム」と呼ばれ、各選択されたフレームは非調和フレームであり、前記グローバルカラーテンプレートは前記選択されたフレームの前記カラーテンプレートから決定される、ことと
   を含む、請求項１乃至４のいずれか一項に記載のカラービデオ処理方法。
6. 前記誘引度は、前記画定されたオブジェクトの前記画素の前記顕著性値の平均値および偏差値を含む、請求項５に記載のカラービデオ処理方法。
7. 前記調和条件は、前記平均値が所定の平均値閾値より小さいことおよび前記偏差値が所定の偏差値閾値より小さいことを含む、請求項６に記載のカラービデオ処理方法。
8. 少なくとも２つの連続的なフレームを選択することは、
   − 連続する非調和フレームの数が、少なくとも２に等しい所定の閾値以上であるかどうかを判定することと、
   − そうである場合は、前記連続する非調和フレームを選択することと、
   を含む、請求項５乃至７のいずれか一項に記載のカラービデオ処理方法。
9. フレームの前記背景からフレームカラーテンプレートを決定することは、
   − 所定のカラーテンプレートの中から１つを選択することであって、各所定のカラーテンプレートは、循環する色シーケンスにおける少なくとも１つの色範囲を示す、ことと、
   − フレームテンプレートシフトを決定することと、
   − 前記フレームカラーテンプレートを取得するために、前記選択された所定のカラーテンプレートの各色範囲に前記フレームテンプレートシフトを適用することと、
   を含む、請求項５乃至８のいずれか一項に記載のカラービデオ処理方法。
10. 前記グローバルカラーテンプレートを決定することは、
    − 所定のカラーテンプレートの中から１つを選択することであって、各所定のカラーテンプレートは循環する色シーケンスにおける少なくとも１つの色範囲を示す、ことと、
    − グローバルテンプレートシフトを決定することと、
    − 前記グローバルカラーテンプレートを取得するために、前記選択された所定のカラーテンプレートの各色範囲に前記グローバルテンプレートシフトを適用することと、
    を含む、請求項１乃至９のいずれか一項に記載のカラービデオ処理方法。
11. 前記選択されたフレームの前記フレームカラーテンプレートから前記グローバルカラーテンプレートを決定することは、
    − 選択されたフレームの所定のカラーテンプレートを選択することと、
    − 前記選択されたフレームの前記フレームテンプレートシフトから、前記グローバルテンプレートシフトを決定することと、
    を含む、請求項１０に記載のカラービデオ処理方法。
12. 前記グローバルテンプレートシフトは、前記フレームテンプレートシフトの平均値である、請求項１１に記載のカラービデオ処理方法。
13. 所定のカラーテンプレートを選択することは、
    − 前記選択されたフレームの前記フレームカラーテンプレートを取得するために最も用いられる前記所定のカラーテンプレートを選択することを含む、請求項１１または１２に記載のカラービデオ処理方法。
14. コンピュータによって実行されたときに、請求項１乃至１３のいずれか一項に記載のカラービデオ処理方法を前記コンピュータに行わせる命令を含む、コンピュータプログラム。
15. カラービデオ処理システムであって、
    − フレームのシーケンスの各フレーム内の背景からオブジェクトを画定するように構成された構成要素と、
    − 少なくとも２つの連続するフレームを選択するように構成された構成要素と、
    − 前記選択されたフレームの前記背景からグローバルカラーテンプレートを決定するように構成された構成要素と、
    − 各選択されたフレームに対して、および前記画定されたオブジェクトの色に対して、前記グローバルカラーテンプレートに従って調和された色を、前記調和された色がその元の色より前記グローバルカラーテンプレートに近くなるように決定するように構成された構成要素と、
    を備える、前記カラービデオ処理システム。
16. 前記画定されたオブジェクトの前記色を、対応する前記調和された色に従って変更するように構成された構成要素をさらに備える、請求項１５に記載のカラービデオ処理システム。