JP3741803B2 - 有色背景に対して動くサブジェクトをクリッピングするためのキーを決定する方法及びその方法を実現する装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は新たな有色背景にそのサブジェクトを重ねることが出来るように有色背景に対して動くサブジェクトをクリッピングするキーを決定する方法に関する。
本発明は又この方法を実現するあらゆる電子装置、例えば「クローマ−キーヤー」と称される映像画像を共通にクリッピング又は重ねるビデオミキサ又は自律装置に関する。このような電子装置は例えばテレビスタジオ装置に使用される。
【０００２】
以下の記述では有色背景上を動くサブジェクトよりなるソース画像をサブジェクト映像を称する。
【０００３】
【従来の技術】
クリッピングキーは可能なかぎり近くでクリッピングされるべきサブジェクトを文画（ｄｅｍａｒｃａｔｅ）することを可能にしなければならない。したがってサブジェクトの最も詳細細部、例えば人、個々の髪、眼鏡の透明度、又は煙草からの煙等を保持することを望むことが必要とされる。
【０００４】
当業者にとっては周知の如く、クリッピングキーはサブジェクト映像の有色背景とサブジェクト自体とを区別することを可能にする機能を有する。そこで、それを新たな有色背景に対して重ねるために有色背景からサブジェクトを抽出することが出来るようにするために色空間において有色背景を表すボリュームを画成することが必要である。
【０００５】
【発明が解決しようとする課題】
本発明は上述のものの如くのサブジェクトの詳細を組み入れるのに最も良いものの如くの有色背景の新たなボリュームアプローチに関する。
【０００６】
【課題を解決しようとする手段】
この目的のために本発明は有色背景に対して動くサブジェクトをクリッピングするキーＫＤを決定する方法に関し、そのキーは色空間を三つの領域に分割するこを可能にし、第１の領域は有色背景を表すボリュームを画成し、第２の領域はサブジェクトを表すボリュームを表すボリュームを画成し、第３の領域は有色背景とサブジェクトとの間の遷移領域を画成する。この方法は、その対称軸が色空間のアクロミック及びゼロ輝度点及び有色背景の色を表す点を通過する開口角αの錐の形状で有色背景を表すボリュームを画成することを可能にする様々な計算段階よりなる。
【０００７】
同様に本発明は有色背景に対して動くサブジェクトをクリッピングするキーを計算する手段よりなる電子装置に関し、そのキーは色空間を三つの領域に分割するこを可能にし、第１の領域は有色背景を表すボリュームを画成し、第２の領域はサブジェクトを表すボリュームを表すボリュームを画成し、第３の領域は有色背景とサブジェクトとの間の遷移領域を画成する。クリッピングキーを計算する手段は基準のフレーム（Ｕ、Ｖ、Ｗ）における色空間の各画素の座標を計算する手段よりなり、基準のフレーム（Ｕ、Ｖ、Ｗ）はその中心がゼロ輝度のアクロミック点でありその軸Ｗが有色背景の色の点を向いている右手三面体であり、更に開口角αであり軸Ｗを対称軸として有する錐の形状で有色背景を表すボリュームを画成する手段よりなる。
【０００８】
添付図面と共に望ましい実施例の説明を読むことによって本発明の様々な特徴及び効果が明確になるであろう。
【０００９】
【発明の実施の形態】
図１は従来の有色背景のボリュームの例である。
有色背景の指数ｎの各画素Ｍ（ｎ）は３個の座標ｙｎ、ｃｂｎ、ｃｒｎで表され、ｙｎ、ｃｂｎ及びｃｒｎは夫々画素Ｍ（ｎ）の輝度成分、赤色差クロミナンス成分及び青色差クロミナンス成分である。便宜上、以下色差クロミナンス成分をクロミナンス成分と称する。有色背景の各成分の平均値ｙ０、ｃｂ０、ｃｒ０は次のように書かれ得る：
【００１０】
【数２】

【００１１】
尚、ここでＮは有色背景の全て又は一部分を示す獲得窓に対応する有色背景の画素数である。
平面（ＣＢ，ＣＲ）において、指数ｎの画素の点ｃｂ０、ｃｒ０からのユークリッド距離ρ_n の計算は次の関係から得られる：
【００１２】
【数３】

【００１３】
二つの閾値演算、一つは平面（ＣＢ，ＣＲ）におけるものであり、他の一つは軸Ｙに沿うものによって背景とサブジェクトとの間の区別の領域を画成することが可能となる。このようにしてその輝度値が極値ｙｍｉｎ及びｙｍａｘの間にあり、そのユークリッド距離が値ρ₁ 未満のいずれの点も有色背景１に属する。
同様にその輝度値が値ｙｍｉｎ及びｙｍａｘの間にありそのユークリッド距離ρ_n がそれ自体ρ₁ より大きい値ρ₂ より大きいいずれの点もサブジェクト３に属する。最後に、その輝度値が値ｙｍｉｎ及びｙｍａｘの間にありそのユークリッド距離ρ_n がρ₁ 及びρ₂ の間にあるいずれの点も中間遷移領域２に属する。
【００１４】
画像の内容の調整はそのようなボリュームアプローチによって困難であることが証明される。図１に示される円柱形のボリュームは多くの問題点を有する。例えばサブジェクトの輝度に影響を及ぼさずに有色背景の輝度を過度に変化させることは困難である。同様に影を投ずること（ｓｈａｄｏｗ ｃａｓｔ）を表す画素を有色背景のボリュームに組み入れることは出来ない。この結果いずれの影の処理も不可能であることが当然証明される。本発明はこれらの問題点を有さない。
【００１５】
図２（ａ）及び（ｂ）は本発明による有色背景を画成するボリュームを構成することを可能にする様々な変換を表す。
図２（ａ）はゼロ輝度（Ｙ＝０）での面（ＣＢ，ＣＲ）の軸Ｙの周りの回転を表す。回転角βは、軸ＣＲが方向Ｄで有色背景の色の色相（ｈｕｅ）を向いた軸Ｚとなるようなものである。この同じ回転によって軸ＣＢは軸Ｚに直交する軸Ｕとなり、もって三面体（Ｕ、Ｚ、Ｙ）は右手三面体である。この基準のフレームの変更は行列形式で次の関係で表される：
【００１６】
【数４】

【００１７】
尚、ここでｃｂ及びｃｒは軸ＣＢ及びＣＲに沿った色空間の点の成分であり、ｕ及びｚは軸Ｕ及びＺに沿った同じ点の成分である。
図２（ｂ）は平面（Ｚ，Ｙ）の軸Ｕの周りの回転を表す。回転の角度γは、軸Ｙが方向Ｃで有色背景の色を向いた軸Ｗになるようなものである。この同じ回転によって軸Ｚは軸Ｗに直交する軸Ｖとなり、もって三面体（Ｕ、Ｖ、Ｗ）は右手三面体である。
【００１８】
この基準のフレームの変更は行列形式で次の関係で表される：
【００１９】
【数５】

【００２０】
尚、ここでｚ及びｙは色空間の点の軸Ｚ及びＹに沿った成分であり、ｗ及びｖは同じ点の軸Ｗ及びＶに沿った成分である。
図３は図２（ａ）及び（ｂ）で構成された新たな基準フレームにおける色空間の画素を表す。
画素Ｍ（ｉ）は３軸Ｕ、Ｖ、Ｗの各々に沿った成分、即ち夫々ｕ（ｉ）、ｖ（ｉ）、ｗ（ｉ）を有する。
【００２１】
基準のフレーム（Ｕ、Ｖ、Ｗ）における点Ｍ（ｉ）の円柱座標は：ｒ（ｉ）、θ（ｉ）及びｗ（ｉ）である。周知の如く、この結果：
【００２２】
【数６】

【００２３】
尚、ここで点Ｐ（Ｍｉ）は点Ｍ（ｉ）の平面（Ｕ、Ｖ）への投影である。
以下の記述において距離ｒ（ｉ）を軸Ｗに関する点Ｍ（ｉ）のクロミナンス距離と称する。
図４は本発明による有色背景のボリュームアプローチを表す。有色背景を表すボリュームは、図２（ａ）、（ｂ）で示された幾何学的変換によって基準のフレーム（ＣＢ，ＣＲ，Ｙ）からたどられた新たな基準のフレーム（Ｕ、Ｖ，Ｗ）に関して参照が付けられた色空間において完全な錐（ボリュームＶ１）又は切頭錐（ｔｒｕｎｃａｔｅｄ ｃｏｎｅ）（ボリュームＶ２）の形状を有する。この色空間は前記の如く３個の領域：有色背景を表す領域１、サブジェクトを表す領域３及びサブジェクトと有色背景との間の遷移を表す領域３に分割される。有色背景を表す錐は角開口α、軸Ｗ上の横座標ｗｓに位置する頂点及び楕円又は円形断面によって画成される。軸Ｗ上の横座標ｗｈの高輝度閾値は錐の頂点の反対側の面を画成することを可能にする。軸Ｗ上の横座標ｗｂの低輝度閾値は横座標ｗｓを有する頂点から距離ｄに位置する切頭面を画成することを可能にする。横座標ｗｂは横座標ｗｓを一致し得る。本発明によれば、錐は軸Ｗの周りに０からπへと変化する角度Ｒで回転し得る。
【００２４】
遷移領域２は、開口αの錐の表面とαより大きい開口α１の錐の表面との間に含まれる空間によって画成され、開口α１の錐は開口αの錐と同じ対称の軸を有し同じ頂点を有し、その錐の頂点の反対側の面は開口αの錐の頂点の反対側の面と同一平面にあるものとする。
サブジェクトを表す領域３は開口α１の錐を越えて位置する空間によって画成される。図５はその錐の横断面平面（Ｕｏ、Ｖｏ）による本発明の有色背景のボリュームの断面図を表す。
【００２５】
この断面図は楕円断面を示す。この楕円断面は軸Ｗの周りに上記の角度Ｒで回転可能である。有色背景の範囲を定める角画素Ｍ（ｉ）の座標ｒ（ｉ）及びθ（ｉ）は次の等式によってリンクされる：
ｋ² r(i)² cos² (θ（i)＋Ｒ）＋ r(i)²sin²（θ(i) ＋Ｒ）＝定数。
パラメータｋの調整（ｍｏｄｕｌａｔｉｏｎ）によって楕円の歪ませることが可能である。本発明によれば、クロミナンス距離の楕円調整はｋ＝１の場合に円を生成してしまう可能性を考慮する。優先としてはｋは１及び２の間で変化する。Ｒの値は０からπへ変化し得る。効果的なことに、この調整技術は有色背景を画成するボリュームの選択性を増加させることを可能とする。例としてこの回転Ｒに関連する楕円調整の技術は硝子の透明度を再生することに関して著しい進歩を可能にする。
【００２６】
図６は楕円の長軸及び錐の頂点を通る平面による本発明の有色背景のボリュームの断面図を表す。
本発明によれば、ｒ_e （ｉ）で示される楕円調整クロミナンス距離、錐の開口の角度α及びそのクロミナンス距離がｒ_e （ｉ）である点の座標ｗ（ｉ）が次の等式によってリンクされるように錐形ボリュームが画成される：
ｒ_e (i) −αｗ(i) ＝ＣＬＩＰ
尚、ここでＣＬＩＰは、その変化が軸Ｗ上の錐の頂点の縦座標ｗｓのずらすことを達成することを可能にするパラメータである。例として、角度αの変化の幅は０と４５°との間である。パラメータαとＣＬＩＰとのコンジュゲート（ｃｏｎｊｕｇａｔｅ）な変更は有色背景の画成の調整及び従って処理されるべきサブジェクトの画成の調整を効果的に可能にする。ゼロ閾値ｗｓに対しては、クリッピングされたボリュームの全ては黒平面へと落ちる。
【００２７】
横座標ｗｓの変化は有色背景の色相を有するより大きい又はより小さい輝度の点を有色背景を画成するボリュームへと組み入れることを可能にする。効果的なことに、その輝度が眼に対して実質的でないとは言えない程度に変化する非均一有色背景を考慮することが可能になる。前述の如く（図４参照）、ｗｂがｗｓと異なる場合錐は距離ｄで切頭され得る。
【００２８】
パラメータＣＬＩＰはクロミナンスキーＫＣを計算することを可能にする。そのクロミナンス距離が値ＣＬＩＰより小さいいずれの点も有色背景１に属し、ゼロクロミナンスキーＫＣを有する。
遷移領域２はクロミナンス距離の閾値に関連し、背景とサブジェクトとの間の漸進的な移動を考慮する。遷移領域の大きさはＧＡＩＮと称される調節パラメータによって変更可能である。この目的のためにパラメータＧＡＩＮは開口αの錐の点から開口α１の点を隔てている距離を計算することを可能にする。遷移領域２を越えて領域３に位置するいずれの画像点もサブジェクトに属し、１に等しいクロミナンスキーＫＣを有する。
【００２９】
ｗｂより小さい横座標ｗ（ｉ）を有する全ての点は１に等しい輝度キーＫＬを有する。ｗｈより大きい横座標ｗ（ｉ）を有する全ての点は０に等しい輝度キーＫＬを有する。ｗｂをｗｈとの間に位置する横座標ｗ（ｉ）を有する全ての点は輝度遷移領域内にある。
有色背景に関するクリッピングキーＫＤの発生はクロミナンスキーＫＣ及び輝度キーＫＬの組み合わせによって実行される。このようにして、画像の点の各々に関して、二つのキーの内の最大値の計算は有色背景を画成するボリュームの構成を可能にし、その結果：
ＫＤ＝ＭＡＸ［ＫＣ，ＫＬ］。
【００３０】
図７は本発明によるクリッピングキーの計算のアルゴリズムを表す。このアルゴリズムはマイクロプロセッサによって実行されることが望ましく図２（ａ）、（ｂ）乃至図６に示されている様々な段階を要約している。
ソース映像の各画素はフレーム（ＣＢ，ＣＲ，Ｙ）によって参照が付けられた色空間における３個の成分ｃｂｓ、ｃｒｓ，ｙｓよりなる。
【００３１】
当業者には周知である如く、輝度及びクロミナンスデータは一般的にフォーマット４：２：２のものである。輝度成分のためのサンプリング周波数は１３．５ＭＨｚであり、クロミナンス成分のためのそれは６．７５ＭＨｚである。そこでクロミナンス成分ｃｂｓ、ｃｒｓの列を補間する必要があり、これはフォーマット２：２のものをフォーマット４：４のクロミナンス成分ｃｂ１、ｃｒ１の列にすることである。補間オペレータ１０はこのために設けられている。ソース映像ＶＳの画素のクロミナンス成分はラインブランキングの間に抑圧（ｓｕｐｐｒｅｓｓ）され、もってラインの最初と最後に位置する補間された成分がラインブランキング信号に妨害されないようになることが望ましい。補間は周知の方法で実行される。クロミナンス成分ｃｂｓ及びｃｒｓに関連するキュー（ｃｕｅ）は整数型のものである。補間計算を簡略化するために、例えば１０ビットで符号化された映像信号に関するレベル５１２に対応するアクロミックレベルが高次ビットの値を反転することによって算術的ゼロに変換される。例として、非常に高い計算の精度を得るために補間が５５色差点に対して実行され得る。補間器１０の出力では成分ｃｂ、ｃｒが映像のビット数より大きいビットの数Ｎで符号化される。このようにして、補間器の入力で１０ビットで符号化されていた映像信号に対し、補間器の出力Ｌで得られたサンプルｃｂ、ｃｒのダイナミックレンジは例えば１６ビットに符号化され得、その中には１０ビットの映像、映像の精度を定める意図の４分割（ｓｐｌｉｔｔｉｎｇ）ビット、１符号ビット及び１オーバフロービットがある。
【００３２】
補間計算で生じたクロミナンス成分ｃｂ、ｃｒは図２（ａ）で示した如くの角度βの水平回転１１によってクロミナンス成分ｕ及びｚに変換される。
水平回転は２段階で実行される。第１の段階ではフィールドブランキングの間マイクロプロセッサがキューｓｉｎ（β）及びｃｏｓ（β）をロードし、アクティブフィールドの間画像の各々の点に関して乗算器が積ｃｒ×ｃｏｓ（β）、ｃｒ×ｓｉｎ（β）、ｃｂ×ｃｏｓ（β）及びｃｂ×ｓｉｎ（β）を計算する。キューｕ及びｚが周波数１３．５ＭＨｚで与えられる。キューｃｏｓ（β）、ｓｉｎ（β）は周波数２７ＭＨｚで与えられる。その結果乗算器の出力では当然これらのキューが２７ＭＨｚでマルチプレックスされる。
【００３３】
第２の段階では周波数２７ＭＨｚでマルチプレックスされたキューがデマルチプレックスされマトリックスされ、１３．５ＭＨｚの周波数で信号ｕ及びｚが得られる。
既に図２（ａ）の説明で述べた行列（マトリックス）関係が次の通りに書かれ得る：
【００３４】
【数７】

【００３５】
サブジェクト映像Ｖｓの輝度サンプルｙｓは補間演算１０及び水平回転演算の間にクロミナンスサンプルｃｂｓ及びｃｒｓがこうむった遅延を補償するために遅延１９によって遅延され輝度サンプルｙとされる。輝度キューｙがクロミナンスキューｃｂ、ｃｒと同一のフォーマットを有するようにするためスケールで（ｉｎ ｓｃａｌｅｓ）換算され、もって輝度ゼロが算術的ゼロに対応するようにされ、クロミナンスサンプルのそれと同一のビットの数Ｎで符号化される。各画素の成分ｃｂ、ｃｒ、ｙはそこで、図２（ｂ）で説明した如くの角度γの垂直回転によって成分（ｕ、ｖ、ｗ）に変換される。
【００３６】
垂直回転は水平回転に関して述べたものと同じ原理で実行される。第１の段階ではフィールドブランキングの間マイクロプロセッサがキューｓｉｎ（γ）及びｃｏｓ（γ）をロードし、乗算器はアクティブフィールドの間、積ｚ×ｃｏｓ（γ）、ｚ×ｓｉｎ（γ）、ｙ×ｃｏｓ（γ）及びｙ×ｓｉｎ（γ）を計算する。キューｚ、ｙは１３．５ＭＨｚの周波数で与えられる。キューｃｏｓ（γ）、ｓｉｎ（γ）は２７ＭＨｚの周波数で与えられる。その結果乗算器の出力では当然２７ＭＨｚの周波数でこれらのキューがマルチプレックスされる。
【００３７】
第２の段階では２７ＭＨｚの周波数でマルチプレックスされたキューはデマルチプレックスされマトリックスされ、１３．５ＭＨｚの周波数で信号ｗ及びｖが得られる。図２（ｂ）を説明した際に既に述べた行列関係は次の通りに書かれ得る：
【００３８】
【数８】

【００３９】
垂直回転演算１２の間、信号ｗは、垂直回転の演算１２に引き続く座標ｒ、θを計算する演算に要される処理時間を補償するように遅延される。
画素に関連する座標ｒ及びθは次の公式で与えられる：
【００４０】
【数９】

【００４１】
楕円調整１４を実行するために、座標ｒ及びθはオペレータ１３の出力から抽出される。
楕円調整１４は調整計数Ａを計算することによって実行されることが望ましい。この計数Ａは図５を説明した際に述べたものの如くの二つの調節パラメータｋ及びＲの使用によって、フィールドブランキングの間、各画素毎に計算される；その結果当然：
【００４２】
【数１０】

【００４３】
計数ｋはクロミナンス距離ｒの楕円歪みを可能にし、角度Ｒは錐の楕円断面の０からπまでの回転を可能とする。
楕円調整されたクロミナンス距離は
ｒ_e ＝ｒ（Ａ）^1/2
と書くことが出来る。
【００４４】
Ａの計算は、例えばこの目的のためにハードワイヤド（ｈａｒｄ−ｗｉｒｅｄ）されたＥＰＲＯＭメモリを使用することによって実行される。ｒを（Ａ）^1/2 で乗ずることのダイナミックスはＮビット、例えば１６ビットで、輝度成分をサンプリングする周波数、即ち１３．５ＭＨｚで実行される。
楕円調整１４は錐をオープンすること及びパラメータα、ＣＬＩＰ、ＧＡＩＮ、ｗｂ及びｗｈの使用によってクリッピングボリュームを画成することを可能にする演算１５によって引き継がれる。
【００４５】
錐開口角α及びクロミナンス距離閾値ＣＬＩＰが図６で前に述べた法則に従って各画素の値ｒ_e 及びｗに適用される、即ち：
ｒ_e −αｗ＝ＣＬＩＰ。
パラメータＧＡＩＮは前記の如く有色背景とサブジェクトとの間の遷移領域の大きさを定めることを可能にする。
【００４６】
同様にパラメータｗｂ及びｗｈ、低輝度閾値及び高輝度閾値は夫々軸Ｗに沿った有色背景のボリュームの境界決定を可能にする。
このように、本発明の効果的なところは有色背景を覚醒するボリュームの適応的性質である。
クリッピングボリュームを画成することは上記の如くのクロミナンスキーＫＣ及び輝度キーＫＬの発生を可能にする。クリッピングボリュームを画成する演算１５から得られたキーＫＣ及びＫＬは、有色背景を画成するボリュームをクリッピングすることを可能にするキーＫＤを得るために、そこで組み合わせ演算１６で組み合わされる。前記の如く、その結果、当然：
ＫＤ＝ＭＡＸ［ＫＣ，ＫＬ］。
【００４７】
ＫＤ＝１の画素はサブジェクトに属し、ＫＤ＝０のものは有色背景に属する。遷移領域の画素に関してはＫＤは０と１との間にある。
本発明の望ましい実施例によれば、キーＫＣ及びＫＬを組み合わせる演算１６はそれ自体周知のキーＫＤをマスキング及びフィルタリングする演算１７によって引き継がれる。事実サブジェクトが抽出された際、サブジェクトに属する詳細のいくつかが有色背景にリンクされていることがある。最も度々起こる例としては人の眼の測色（ｃｏｌｏｒｉｍｅｔｒｙ）の欠如である。マスキング及びフィルタリング演算を導入することはクリッピングのレベルを局所的に取り消すことを可能にする。例として、マスクは矩形形状で調節可能な寸法のものとし得る。しかしながら形状発生器（ｓｈａｐｅ ｇｅｎｅｒａｔｏｒ）によって得られる異なる形状のマスクでも使用可能である。
【００４８】
当業者にとって周知である如く、クリッピングキーのフィルタリングはサブジェクト映像の背景の色の残余を除去することを可能にする。
サブジェクトに対する最終的なクリッピングキーＫＤＦはマスキング及びフィルタリング演算１７から得られる。このキーＫＤＦはそこで新たな背景に対して動くサブジェクトの画像を発生するために周知の方法で最終的な混合演算に加えられる。
【００４９】
図８は図７で示されたアルゴリズムの拡張である。
この拡張はオペレータ１９から出力される領域検出キューＤＺの発生に関する。
効果的なことに、この拡張はサブジェクトによって有色背景上へ影を投ずることの検出を可能にする。影と投ずることは、有色背景の平均輝度レベルより低く、有色背景のものと同じ色相を有する輝度キューによって特徴付けられる。
【００５０】
本発明によれば、影と投ずることは、新たに受ける（ｎｅｗ ｒｅｃｅｉｖｉｎｇ）背景の輝度を減ずることによってブランクアウト（ｂｌａｎｋ ｏｕｔ）され或いは復元され得る。クリッピングを可能にするキューに関する限り、影は有色背景の一部ではない。しかしながらそれはサブジェクトとは区別されるべきである。この目的のために有色背景の色相の周囲に位置し、その輝度値はある閾値より低く、有色背景１とサブジェクト３との間に位置する遷移領域に属するいずれの画素をも影画素と見做す。
【００５１】
効果的なことに、有色背景を画成するボリュームの適応及び錐形状はサブジェクトを有色背景から隔てる遷移領域へ影画素が入ることを可能とする。
図８には、図７で示されている如くに補間オペレータ１０、水平回転オペレータ１１、遅延オペレータ１８及びマスキング及びフィルタリングオペレータ１７が表されている。簡略化のためにオペレータ１２、１３、１４、１５及び１６は共にグループとされ同じブロックＢ内にあるものとした。
【００５２】
この本発明の拡張によれば領域検出オペレータ１９はサブジェクトによる有色背景上へ影と投ずることの検出を可能にする。遅延オペレータ１８によって出力される輝度成分ｙは輝度閾値ｙａと比較され、図７で説明したオペレータ１３によって出力される角度座標θは二つの値θmin 及びθmax と比較され、それらの差θmax −θmin は、θに関連する画素の色相が有色背景の色相にリンクされるためにその中に角度θが有る必要がある角開口を画成する。そのθの値がθmin とθmax との間にあり、その輝度値ｙがｙａより小さいいじれの画素も影画素と見做される。
【００５３】
前述の如く、影画素は有色背景からサブジェクトを隔てている遷移領域２に位置している。このようにして、遷移領域２の画素の位置を見い出す（ｌｏｃａｔｅ）ことを可能にするキューを供給するためにキーＫＤが領域検出オペレータ１９に加えられる。領域検出オペレータ１９から出力される信号ＤＺは上述の工程によって影画素を検出するためにキューを供給することを可能とする。
【００５４】
効果的なことに、図９から明らかなように、信号ＤＺは影画素の位置を確認するためのキューのみではなく、色空間におけるそれらの位置によってサブジェクト映像を表す画素の位置を見い出すことを可能にする様々なキューをも供給し得る。
図９には、信号ＤＺが色空間におけるそれらの位置によってサブジェクト映像を表す画素の位置を見い出すことを可能にする全てのキューを供給する場合の領域検出演算１９の様々な段階がフローチャートの形式で表されている。しかしながら本発明は又ＤＺがそれらのキューの全て又はそのいくつかを供給する場合にも関する。
【００５５】
キーＫＤが値１を有する場合、キューＤＺはサブジェクトの検出を意味する値ｘ１をとる。
キーＫＤが値０を有する場合、キューＤＺは背景の検出を意味する値ｘ２をとる。
キーＫＤが０と１との間の値を有する場合、輝度値ｙが閾値ｙａと比較され：
− ｙがｙａより小さくない場合、キューＤＺは背景とサブジェクトとの間の遷移領域の検出を意味する値ｘ３をとる。
【００５６】
− ｙがｙａより小さく且つθがθmin とθmax との間にある場合、キューＤＺは影の検出を意味する値をとる。影画素が背景の画素と同様に処理されるようにこの値はｘ２と等しいことが望ましい。
− ｙがｙａより小さく且つθが間隔θmin 、θmax 内に無い場合、キューＤＺは背景とサブジェクトとの間の遷移領域の検出を意味する値をとる。
【図面の簡単な説明】
【図１】従来技術の有色背景のボリュームの例を示す図である。
【図２】（ａ）、（ｂ）は本発明による有色背景のボリューム近似を可能にする色空間の新たな基準フレーム（Ｕ、Ｖ、Ｗ）を画成することを可能にする基準フレーム（ＣＢ、ＣＲ、Ｙ）の幾何学的変換を表す図である。
【図３】新たな上記基準フレームにおける色空間の画素を表す図である。
【図４】本発明による有色背景のボリュームを表す図である。
【図５】新たな基準フレームの第１の軸に垂直な面による本発明の有色背景のボリュームの断面図である。
【図６】新たな基準フレームの第２の軸に垂直な面による本発明の有色背景のボリュームの断面図である。
【図７】本発明によるクリッピングキーの計算のアルゴリズムを表す図である。
【図８】図７に述べられたアルゴリズムの拡張を表す図である。
【図９】図８に述べられた拡張の記述を表す図である。
【符号の説明】
１ 有色背景（第１の領域）
２ 中間遷移領域（第３の領域）
３ サブジェクト（第２の領域）
１０ 補間演算（オペレータ）
１１ 水平回転演算（オペレータ）
１２ 垂直回転演算（オペレータ）
１３ 極座標計算（オペレータ）
１４ 楕円調整（オペレータ）
１５ 錐をオープンしてクリッピングボリュームを画成する演算
１６ キー組み合わせ演算（オペレータ）
１７ マスキング及びフィルタリング（オペレータ）
１８ 遅延オペレータ
１９ 領域検出オペレータ

Claims (25)

1. 有色背景に対して動くサブジェクトをクリッピングするキーＫＤを決定する方法であって、上記キーは色空間を３個の領域、有色背景を表すボリュームを画成する第１の領域、サブジェクトを表すボリュームを画成する第２の領域及び有色背景とサブジェクトとの間の遷移領域を画成する第３の領域に分割することを可能にするものであって、有色背景を表すボリュームをその対称の軸Ｗが色空間のアクロミック及びゼロ輝度点並びに有色背景の色を表す点を通過する開口角αの錐の形状で画成することを可能にする様々な計算段階よりなることを特徴とする方法。
2. 錐の三面体（Ｕｏ、Ｖｏ、Ｗ）が右手三面体であるような平面（Ｕｏ、Ｖｏ）における断面を画成する様々な画素（Ｍｉ）の極座標ｒ（ｉ）及びθ（ｉ）が等式
   ｋ² r(i)² cos² (θ(i) ＋Ｒ）＋r(i)² sin²（θ(i) ＋Ｒ）＝定数、
   に従うことを特徴とし、尚ここでθ（ｉ）は平面（Ｕｏ、Ｖｏ）における点Ｍ（ｉ）を定める極角であり、ｋ及びＲは夫々座標ｒ（ｉ）に対する楕円調整計数及び錐の断面の回転の角度である請求項１に記載の方法。
3. 錐の開口αは
   ｒ_e (i) −αｗ(i) ＝ＣＬＩＰ
   尚ここで
   ｒ_e (i) ＝ｒ(i) （Ａ）^1/2 であり
   

   

   のように調節パラメータＣＬＩＰとリンクされていることを特徴とし、尚ここでｗ（ｉ）は平面（Ｕｏ、Ｖｏ）の錐の対称の軸Ｗ上の座標であり、錐の頂点と反対側の面は錐の対称の軸Ｗ上の座標ｗｈによって画成される請求項２に記載の方法。
4. 楕円調整計数ｋは１≦ｋ≦２であり、角度Ｒは０からπまで変化し得ることを特徴とする請求項２又は３に記載の方法。
5. 有色背景とサブジェクトとの間の遷移領域は有色背景を画成する開口αの錐の表面と、有色背景を画成する錐と同じ対称の軸及び同じ頂点を有しその頂点と反対側の面が有色背景を画成する錐の頂点と反対側の面と同一平面にあるαより大きい開口α１の錐との間に含まれる空間の領域によって画成されることを特徴とする請求項１乃至４のうちにいずれか一項に記載の方法。
6. 遷移領域の大きさは調節パラメータによって変更され得ることを特徴とする請求項５に記載の方法。
7. 有色背景を画成する錐は、対称の軸Ｗ上に錐の頂点の位置を与える座標ｗｓを上記対称の軸上にｗｓとｗｈとの間に有る値を有する低輝度閾値ｗｂを定める座標ｗｂから隔てる距離ｄで切頭され得ることを特徴とする請求項１乃至６のうちのいずれか一項に記載の方法。
8. クリッピングキーＫＤは
   ＫＤ＝ＭＡＸ［ＫＣ、ＫＬ］
   のようにクロミナンスキーＫＣと輝度キーＫＬとを組み合わせる演算から得られ、輝度キーＫＬは、その開口αの錐の対称の軸上の座標ｗ（ｉ）がｗｂより小さいいずれの画素についても値１を有し、その開口αの錐の対称の軸上の座標ｗ（ｉ）がｗｈより大きいいずれの画素についても値０を有し、クロミナンスキーＫＣは開口αの錐に属するいずれの画素のついても値０を有し開口α１の錐を越えて位置するいずれの画素についても値１を有することを特徴とする請求項２乃至６のうちのいずれか一項に記載の方法。
9. 様々なクロミナンス成分のアクロミックレベル及び色空間の基準のフレームの原点（ｏｒｉｇｉｎ）を構成する輝度成分のゼロレベルは算術的ゼロに変換され得ることを特徴とする請求項１乃至８のうちのいずれか一項に記載の方法。
10. 有色背景に対して動くサブジェクトよりなる画像の画素の赤色差クロミナンス成分及び青色差クロミナンス成分が上記画素の輝度成分として同じ映像フォーマットにトランスポーズ（ｔｒａｎｓｐｏｓｅ）されるというような補間の段階よりなることを特徴とする請求項１乃至９のうちのいずれか一項に記載の方法。
11. 各画素の赤色差クロミナンス成分、青色差クロミナンス成分及び輝度成分を上記成分の映像ビットの数より大きいビットの数Ｎで符号化することを可能にする段階よりなることを特徴とする請求項１０に記載の方法。
12. 赤及び青色差クロミナンス成分の並びに輝度成分の映像ビットの数は１０に等しく、上記クロミナンス及び輝度成分が符号化されるビット数Ｎは１６に等しく、その中には映像の１０ビット、映像の精度を定めることを意図した４分割ビット、１符号ビット及び１オーバフロービットがあることを特徴とする請求項１１に記載の方法。
13. 有色背景に対して動くサブジェクトよりなる画像の様々な画素の位置を与えるキューＤＺを与えることを可能にする領域検出段階よりなることを特徴とする請求項１乃至１２のうちのいずれか一項に記載の方法。
14. 領域検出段階はサブジェクトによって有色背景上に影が投じられることを表す画素の位置を与えるキューＤＺを与えることを可能にする段階よりなることを特徴とする請求項１３に記載の方法。
15. − クリッピングキーＫＤが０と１との間にある場合、各画素Ｍ（ｉ）の輝度値ｙが閾値ｙａと比較され：
    − ｙがｙａより大きい場合、キューＤＺは背景とサブジェクトとの間の遷移領域の検出を意味する値をとり；
    − ｙがｙａより小さく且つ角度θ（ｉ）が、その差θmax −θmin がθ（ｉ）に関連する画素の色相を有色背景の色相にリンクさせるために角度θ（ｉ）がその中に有る必要がある角開口を画成する二つの値θmin 及びθmax の間にある場合、キューＤＺは影の検出を意味する値をとり、
    − ｙがｙａより小さく且つ角度θ（ｉ）が上記値θmin 及びθmax の間に無い場合、キューＤＺは背景とサブジェクトとの間の遷移領域の検出を意味する値をとるというシーケンスよりなり、サブジェクトが有色背景上に影を投じること（ｓｈａｄｏｗ ｃａｓｔ）を表す画素の位置を与えるキューＤＺを与えることを可能にする段階よりなることを特徴とする請求項１４に記載の方法。
16. クリッピングキーＫＤから最終的なクリッピングキーＫＤＦを計算することを可能にするマスキング及びフィルタリング演算よりなることを特徴とする請求項１乃至１５の内のいずれか一項に記載の方法。
17. 有色背景に対して動くサブジェクトをクリッピングするキーＫＤを計算する手段よりなり、上記キーＫＤは色空間を３個の領域、有色背景を表すボリュームを画成する第１の領域、サブジェクトを表すボリュームを画成する第２の領域及び有色背景とサブジェクトとの間の遷移領域を画成する第３の領域に分割することを可能にし、クリッピングキーＫＤを計算する手段は基準のフレーム（Ｕ，Ｖ，Ｗ）における色空間の角画素の座標を計算する手段よりなり、基準のフレーム（Ｕ，Ｖ，Ｗ）は右手三面体でありその中心はゼロ輝度のアクロミック点でありその軸Ｗは有色背景の色の点の方に向けられており、クリッピングキーＫＤを計算する手段は更に対称の軸として軸Ｗを有する開口角αの錐の形状で有色背景を表すボリュームを画成する手段よりなることを特徴とする電子装置。
18. 開口角αの錐の断面を楕円調整する手段よりなる請求項１７に記載の装置。
19. 有色背景とサブジェクトとの間の遷移領域が有色背景を画成する開口αの錐の表面と、有色背景を画成する錐と同じ対称の軸及び同じ頂点を有し、その頂点の反対側の面が有色背景を画成する錐の頂点の反対側の面と同じ平面にある、αより大きい開口α１の錐との間に含まれる空間の領域によって画成されるというような手段よりなることを特徴とする請求項１７及び１８のいずれか一項に記載の装置。
20. 有色背景を画成する錐を距離ｄで切頭するする手段よりなり、上記距離ｄは対称の軸Ｗ上の錐の頂点の位置を与える座標ｗｓを上記対称の軸上でｗｓとｗｈとの間に有る値を有する低輝度閾値ｗｂを画成する座標ｗｂから隔てるものであり、ｗｈは錐の頂点の反対側の面を画成する平面の横座標であることを特徴とする請求項１７乃至１９のうちのいずれか一項に記載の装置。
21. 有色背景に対して動くサブジェクトよりなる画像の様々な画素の位置を与えるキューを与えるために上記領域を検出することを可能にする手段よりなることを特徴とする請求項１７乃至２０のうちのいずれか一項に記載の装置。
22. 上記領域を検出することを可能にする手段はサブジェクトが有色背景上に影を投じることを表す画素の位置を与えるキューを与える手段よりなることを特徴とする請求項２１に記載の装置。
23. クリッピングされたサブジェクトを新たに受ける背景上に重ねる手段よりなることを特徴とする請求項１７乃至２２のうちのいずれか一項に記載の装置。
24. 請求項１７乃至２３のうちのいずれか一項による装置よりなることを特徴とするビデオミキサ。
25. 請求項１７乃至２３のうちのいずれか一項による装置よりなることを特徴とする自律映像画像クリッピング及びオーバレイイング装置。

Images