JPH09187030A - 有色背景に対して動くサブジェクトをクリッピングするためのキーを決定する方法及びその方法を実現する装置 - Google Patents

有色背景に対して動くサブジェクトをクリッピングするためのキーを決定する方法及びその方法を実現する装置

Info

Publication number
JPH09187030A
JPH09187030A JP8312465A JP31246596A JPH09187030A JP H09187030 A JPH09187030 A JP H09187030A JP 8312465 A JP8312465 A JP 8312465A JP 31246596 A JP31246596 A JP 31246596A JP H09187030 A JPH09187030 A JP H09187030A
Authority
JP
Japan
Prior art keywords
colored background
cone
subject
key
defining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8312465A
Other languages
English (en)
Other versions
JP3741803B2 (ja
Inventor
Alain Demay
ドメイ アラン
Lan Michel Le
ル ラン ミシェル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Broadcast SAS
Original Assignee
Thomson Broadcast SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Broadcast SAS filed Critical Thomson Broadcast SAS
Publication of JPH09187030A publication Critical patent/JPH09187030A/ja
Application granted granted Critical
Publication of JP3741803B2 publication Critical patent/JP3741803B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects
    • H04N9/75Chroma key

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Generation (AREA)

Abstract

(57)【要約】 【課題】 サブジェクトの詳細を組み入れるのに最も良
いもののような、有色背景の新たなボリュームアプロー
チを実現することが課題である。 【解決手段】 有色背景に対して動くサブジェクトをク
リッピングするためのキーKDを計算する方法であっ
て、上記キーは色空間を3個の領域、有色背景を表すボ
リュームを画成する第1の領域(1)、サブジェクトを
表すボリュームを画成する第2の領域(3)及び有色背
景とサブジェクトとの間の遷移領域を画成する第3の領
域(2)に分割することを可能にし、その対称の軸
(W)がアクロミック及びゼロ輝度点並びに有色背景の
色を表す点を通過する、開口角αの錐の形状で有色背景
を表すボリュームを画成することを可能にする様々な計
算段階よりなることを特徴とする。又、上記方法を実現
する、ビデオミキサ、映像画像をクリッピング及びオー
バレイイングする自律装置等のあらゆる種類の電子装置
である。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は新たな有色背景にそ
のサブジェクトを重ねることが出来るように有色背景に
対して動くサブジェクトをクリッピングするキーを決定
する方法に関する。本発明は又この方法を実現するあら
ゆる電子装置、例えば「クローマ−キーヤー」と称され
る映像画像を共通にクリッピング又は重ねるビデオミキ
サ又は自律装置に関する。このような電子装置は例えば
テレビスタジオ装置に使用される。
【0002】以下の記述では有色背景上を動くサブジェ
クトよりなるソース画像をサブジェクト映像を称する。
【0003】
【従来の技術】クリッピングキーは可能なかぎり近くで
クリッピングされるべきサブジェクトを文画(dema
rcate)することを可能にしなければならない。し
たがってサブジェクトの最も詳細細部、例えば人、個々
の髪、眼鏡の透明度、又は煙草からの煙等を保持するこ
とを望むことが必要とされる。
【0004】当業者にとっては周知の如く、クリッピン
グキーはサブジェクト映像の有色背景とサブジェクト自
体とを区別することを可能にする機能を有する。そこ
で、それを新たな有色背景に対して重ねるために有色背
景からサブジェクトを抽出することが出来るようにする
ために色空間において有色背景を表すボリュームを画成
することが必要である。
【0005】
【発明が解決しようとする課題】本発明は上述のものの
如くのサブジェクトの詳細を組み入れるのに最も良いも
のの如くの有色背景の新たなボリュームアプローチに関
する。
【0006】
【課題を解決しようとする手段】この目的のために本発
明は有色背景に対して動くサブジェクトをクリッピング
するキーKDを決定する方法に関し、そのキーは色空間
を三つの領域に分割するこを可能にし、第1の領域は有
色背景を表すボリュームを画成し、第2の領域はサブジ
ェクトを表すボリュームを表すボリュームを画成し、第
3の領域は有色背景とサブジェクトとの間の遷移領域を
画成する。この方法は、その対称軸が色空間のアクロミ
ック及びゼロ輝度点及び有色背景の色を表す点を通過す
る開口角αの錐の形状で有色背景を表すボリュームを画
成することを可能にする様々な計算段階よりなる。
【0007】同様に本発明は有色背景に対して動くサブ
ジェクトをクリッピングするキーを計算する手段よりな
る電子装置に関し、そのキーは色空間を三つの領域に分
割するこを可能にし、第1の領域は有色背景を表すボリ
ュームを画成し、第2の領域はサブジェクトを表すボリ
ュームを表すボリュームを画成し、第3の領域は有色背
景とサブジェクトとの間の遷移領域を画成する。クリッ
ピングキーを計算する手段は基準のフレーム(U、V、
W)における色空間の各画素の座標を計算する手段より
なり、基準のフレーム(U、V、W)はその中心がゼロ
輝度のアクロミック点でありその軸Wが有色背景の色の
点を向いている右手三面体であり、更に開口角αであり
軸Wを対称軸として有する錐の形状で有色背景を表すボ
リュームを画成する手段よりなる。
【0008】添付図面と共に望ましい実施例の説明を読
むことによって本発明の様々な特徴及び効果が明確にな
るであろう。
【0009】
【発明の実施の形態】図1は従来の有色背景のボリュー
ムの例である。有色背景の指数nの各画素M(n)は3
個の座標yn、cbn、crnで表され、yn、cbn
及びcrnは夫々画素M(n)の輝度成分、赤色差クロ
ミナンス成分及び青色差クロミナンス成分である。便宜
上、以下色差クロミナンス成分をクロミナンス成分と称
する。有色背景の各成分の平均値y0、cb0、cr0
は次のように書かれ得る:
【0010】
【数2】
【0011】尚、ここでNは有色背景の全て又は一部分
を示す獲得窓に対応する有色背景の画素数である。平面
(CB,CR)において、指数nの画素の点cb0、c
r0からのユークリッド距離ρn の計算は次の関係から
得られる:
【0012】
【数3】
【0013】二つの閾値演算、一つは平面(CB,C
R)におけるものであり、他の一つは軸Yに沿うものに
よって背景とサブジェクトとの間の区別の領域を画成す
ることが可能となる。このようにしてその輝度値が極値
ymin及びymaxの間にあり、そのユークリッド距
離が値ρ1 未満のいずれの点も有色背景1に属する。同
様にその輝度値が値ymin及びymaxの間にありそ
のユークリッド距離ρn がそれ自体ρ1 より大きい値ρ
2 より大きいいずれの点もサブジェクト3に属する。最
後に、その輝度値が値ymin及びymaxの間にあり
そのユークリッド距離ρn がρ1 及びρ2 の間にあるい
ずれの点も中間遷移領域2に属する。
【0014】画像の内容の調整はそのようなボリューム
アプローチによって困難であることが証明される。図1
に示される円柱形のボリュームは多くの問題点を有す
る。例えばサブジェクトの輝度に影響を及ぼさずに有色
背景の輝度を過度に変化させることは困難である。同様
に影を投ずること(shadow cast)を表す画
素を有色背景のボリュームに組み入れることは出来な
い。この結果いずれの影の処理も不可能であることが当
然証明される。本発明はこれらの問題点を有さない。
【0015】図2(a)及び(b)は本発明による有色
背景を画成するボリュームを構成することを可能にする
様々な変換を表す。図2(a)はゼロ輝度(Y=0)で
の面(CB,CR)の軸Yの周りの回転を表す。回転角
βは、軸CRが方向Dで有色背景の色の色相(hue)
を向いた軸Zとなるようなものである。この同じ回転に
よって軸CBは軸Zに直交する軸Uとなり、もって三面
体(U、Z、Y)は右手三面体である。この基準のフレ
ームの変更は行列形式で次の関係で表される:
【0016】
【数4】
【0017】尚、ここでcb及びcrは軸CB及びCR
に沿った色空間の点の成分であり、u及びzは軸U及び
Zに沿った同じ点の成分である。図2(b)は平面
(Z,Y)の軸Uの周りの回転を表す。回転の角度γ
は、軸Yが方向Cで有色背景の色を向いた軸Wになるよ
うなものである。この同じ回転によって軸Zは軸Wに直
交する軸Vとなり、もって三面体(U、V、W)は右手
三面体である。
【0018】この基準のフレームの変更は行列形式で次
の関係で表される:
【0019】
【数5】
【0020】尚、ここでz及びyは色空間の点の軸Z及
びYに沿った成分であり、w及びvは同じ点の軸W及び
Vに沿った成分である。図3は図2(a)及び(b)で
構成された新たな基準フレームにおける色空間の画素を
表す。画素M(i)は3軸U、V、Wの各々に沿った成
分、即ち夫々u(i)、v(i)、w(i)を有する。
【0021】基準のフレーム(U、V、W)における点
M(i)の円柱座標は:r(i)、θ(i)及びw
(i)である。周知の如く、この結果:
【0022】
【数6】
【0023】尚、ここで点P(Mi)は点M(i)の平
面(U、V)への投影である。以下の記述において距離
r(i)を軸Wに関する点M(i)のクロミナンス距離
と称する。図4は本発明による有色背景のボリュームア
プローチを表す。有色背景を表すボリュームは、図2
(a)、(b)で示された幾何学的変換によって基準の
フレーム(CB,CR,Y)からたどられた新たな基準
のフレーム(U、V,W)に関して参照が付けられた色
空間において完全な錐(ボリュームV1)又は切頭錐
(truncated cone)(ボリュームV2)
の形状を有する。この色空間は前記の如く3個の領域:
有色背景を表す領域1、サブジェクトを表す領域3及び
サブジェクトと有色背景との間の遷移を表す領域3に分
割される。有色背景を表す錐は角開口α、軸W上の横座
標wsに位置する頂点及び楕円又は円形断面によって画
成される。軸W上の横座標whの高輝度閾値は錐の頂点
の反対側の面を画成することを可能にする。軸W上の横
座標wbの低輝度閾値は横座標wsを有する頂点から距
離dに位置する切頭面を画成することを可能にする。横
座標wbは横座標wsを一致し得る。本発明によれば、
錐は軸Wの周りに0からπへと変化する角度Rで回転し
得る。
【0024】遷移領域2は、開口αの錐の表面とαより
大きい開口α1の錐の表面との間に含まれる空間によっ
て画成され、開口α1の錐は開口αの錐と同じ対称の軸
を有し同じ頂点を有し、その錐の頂点の反対側の面は開
口αの錐の頂点の反対側の面と同一平面にあるものとす
る。サブジェクトを表す領域3は開口α1の錐を越えて
位置する空間によって画成される。図5はその錐の横断
面平面(Uo、Vo)による本発明の有色背景のボリュ
ームの断面図を表す。
【0025】この断面図は楕円断面を示す。この楕円断
面は軸Wの周りに上記の角度Rで回転可能である。有色
背景の範囲を定める角画素M(i)の座標r(i)及び
θ(i)は次の等式によってリンクされる: k2 r(i)2 cos2 (θ(i)+R)+ r(i)2sin2(θ(i) +
R)=定数。 パラメータkの調整(modulation)によって
楕円の歪ませることが可能である。本発明によれば、ク
ロミナンス距離の楕円調整はk=1の場合に円を生成し
てしまう可能性を考慮する。優先としてはkは1及び2
の間で変化する。Rの値は0からπへ変化し得る。効果
的なことに、この調整技術は有色背景を画成するボリュ
ームの選択性を増加させることを可能とする。例として
この回転Rに関連する楕円調整の技術は硝子の透明度を
再生することに関して著しい進歩を可能にする。
【0026】図6は楕円の長軸及び錐の頂点を通る平面
による本発明の有色背景のボリュームの断面図を表す。
本発明によれば、re (i)で示される楕円調整クロミ
ナンス距離、錐の開口の角度α及びそのクロミナンス距
離がre (i)である点の座標w(i)が次の等式によ
ってリンクされるように錐形ボリュームが画成される: re (i) −αw(i) =CLIP 尚、ここでCLIPは、その変化が軸W上の錐の頂点の
縦座標wsのずらすことを達成することを可能にするパ
ラメータである。例として、角度αの変化の幅は0と4
5°との間である。パラメータαとCLIPとのコンジ
ュゲート(conjugate)な変更は有色背景の画
成の調整及び従って処理されるべきサブジェクトの画成
の調整を効果的に可能にする。ゼロ閾値wsに対して
は、クリッピングされたボリュームの全ては黒平面へと
落ちる。
【0027】横座標wsの変化は有色背景の色相を有す
るより大きい又はより小さい輝度の点を有色背景を画成
するボリュームへと組み入れることを可能にする。効果
的なことに、その輝度が眼に対して実質的でないとは言
えない程度に変化する非均一有色背景を考慮することが
可能になる。前述の如く(図4参照)、wbがwsと異
なる場合錐は距離dで切頭され得る。
【0028】パラメータCLIPはクロミナンスキーK
Cを計算することを可能にする。そのクロミナンス距離
が値CLIPより小さいいずれの点も有色背景1に属
し、ゼロクロミナンスキーKCを有する。遷移領域2は
クロミナンス距離の閾値に関連し、背景とサブジェクト
との間の漸進的な移動を考慮する。遷移領域の大きさは
GAINと称される調節パラメータによって変更可能で
ある。この目的のためにパラメータGAINは開口αの
錐の点から開口α1の点を隔てている距離を計算するこ
とを可能にする。遷移領域2を越えて領域3に位置する
いずれの画像点もサブジェクトに属し、1に等しいクロ
ミナンスキーKCを有する。
【0029】wbより小さい横座標w(i)を有する全
ての点は1に等しい輝度キーKLを有する。whより大
きい横座標w(i)を有する全ての点は0に等しい輝度
キーKLを有する。wbをwhとの間に位置する横座標
w(i)を有する全ての点は輝度遷移領域内にある。有
色背景に関するクリッピングキーKDの発生はクロミナ
ンスキーKC及び輝度キーKLの組み合わせによって実
行される。このようにして、画像の点の各々に関して、
二つのキーの内の最大値の計算は有色背景を画成するボ
リュームの構成を可能にし、その結果: KD=MAX[KC,KL]。
【0030】図7は本発明によるクリッピングキーの計
算のアルゴリズムを表す。このアルゴリズムはマイクロ
プロセッサによって実行されることが望ましく図2
(a)、(b)乃至図6に示されている様々な段階を要
約している。ソース映像の各画素はフレーム(CB,C
R,Y)によって参照が付けられた色空間における3個
の成分cbs、crs,ysよりなる。
【0031】当業者には周知である如く、輝度及びクロ
ミナンスデータは一般的にフォーマット4:2:2のも
のである。輝度成分のためのサンプリング周波数は1
3.5MHzであり、クロミナンス成分のためのそれは
6.75MHzである。そこでクロミナンス成分cb
s、crsの列を補間する必要があり、これはフォーマ
ット2:2のものをフォーマット4:4のクロミナンス
成分cb1、cr1の列にすることである。補間オペレ
ータ10はこのために設けられている。ソース映像VS
の画素のクロミナンス成分はラインブランキングの間に
抑圧(suppress)され、もってラインの最初と
最後に位置する補間された成分がラインブランキング信
号に妨害されないようになることが望ましい。補間は周
知の方法で実行される。クロミナンス成分cbs及びc
rsに関連するキュー(cue)は整数型のものであ
る。補間計算を簡略化するために、例えば10ビットで
符号化された映像信号に関するレベル512に対応する
アクロミックレベルが高次ビットの値を反転することに
よって算術的ゼロに変換される。例として、非常に高い
計算の精度を得るために補間が55色差点に対して実行
され得る。補間器10の出力では成分cb、crが映像
のビット数より大きいビットの数Nで符号化される。こ
のようにして、補間器の入力で10ビットで符号化され
ていた映像信号に対し、補間器の出力Lで得られたサン
プルcb、crのダイナミックレンジは例えば16ビッ
トに符号化され得、その中には10ビットの映像、映像
の精度を定める意図の4分割(splitting)ビ
ット、1符号ビット及び1オーバフロービットがある。
【0032】補間計算で生じたクロミナンス成分cb、
crは図2(a)で示した如くの角度βの水平回転11
によってクロミナンス成分u及びzに変換される。水平
回転は2段階で実行される。第1の段階ではフィールド
ブランキングの間マイクロプロセッサがキューsin
(β)及びcos(β)をロードし、アクティブフィー
ルドの間画像の各々の点に関して乗算器が積cr×co
s(β)、cr×sin(β)、cb×cos(β)及
びcb×sin(β)を計算する。キューu及びzが周
波数13.5MHzで与えられる。キューcos
(β)、sin(β)は周波数27MHzで与えられ
る。その結果乗算器の出力では当然これらのキューが2
7MHzでマルチプレックスされる。
【0033】第2の段階では周波数27MHzでマルチ
プレックスされたキューがデマルチプレックスされマト
リックスされ、13.5MHzの周波数で信号u及びz
が得られる。既に図2(a)の説明で述べた行列(マト
リックス)関係が次の通りに書かれ得る:
【0034】
【数7】
【0035】サブジェクト映像Vsの輝度サンプルys
は補間演算10及び水平回転演算の間にクロミナンスサ
ンプルcbs及びcrsがこうむった遅延を補償するた
めに遅延19によって遅延され輝度サンプルyとされ
る。輝度キューyがクロミナンスキューcb、crと同
一のフォーマットを有するようにするためスケールで
(in scales)換算され、もって輝度ゼロが算
術的ゼロに対応するようにされ、クロミナンスサンプル
のそれと同一のビットの数Nで符号化される。各画素の
成分cb、cr、yはそこで、図2(b)で説明した如
くの角度γの垂直回転によって成分(u、v、w)に変
換される。
【0036】垂直回転は水平回転に関して述べたものと
同じ原理で実行される。第1の段階ではフィールドブラ
ンキングの間マイクロプロセッサがキューsin(γ)
及びcos(γ)をロードし、乗算器はアクティブフィ
ールドの間、積z×cos(γ)、z×sin(γ)、
y×cos(γ)及びy×sin(γ)を計算する。キ
ューz、yは13.5MHzの周波数で与えられる。キ
ューcos(γ)、sin(γ)は27MHzの周波数
で与えられる。その結果乗算器の出力では当然27MH
zの周波数でこれらのキューがマルチプレックスされ
る。
【0037】第2の段階では27MHzの周波数でマル
チプレックスされたキューはデマルチプレックスされマ
トリックスされ、13.5MHzの周波数で信号w及び
vが得られる。図2(b)を説明した際に既に述べた行
列関係は次の通りに書かれ得る:
【0038】
【数8】
【0039】垂直回転演算12の間、信号wは、垂直回
転の演算12に引き続く座標r、θを計算する演算に要
される処理時間を補償するように遅延される。画素に関
連する座標r及びθは次の公式で与えられる:
【0040】
【数9】
【0041】楕円調整14を実行するために、座標r及
びθはオペレータ13の出力から抽出される。楕円調整
14は調整計数Aを計算することによって実行されるこ
とが望ましい。この計数Aは図5を説明した際に述べた
ものの如くの二つの調節パラメータk及びRの使用によ
って、フィールドブランキングの間、各画素毎に計算さ
れる;その結果当然:
【0042】
【数10】
【0043】計数kはクロミナンス距離rの楕円歪みを
可能にし、角度Rは錐の楕円断面の0からπまでの回転
を可能とする。楕円調整されたクロミナンス距離は re =r(A)1/2 と書くことが出来る。
【0044】Aの計算は、例えばこの目的のためにハー
ドワイヤド(hard−wired)されたEPROM
メモリを使用することによって実行される。rを(A)
1/2で乗ずることのダイナミックスはNビット、例えば
16ビットで、輝度成分をサンプリングする周波数、即
ち13.5MHzで実行される。楕円調整14は錐をオ
ープンすること及びパラメータα、CLIP、GAI
N、wb及びwhの使用によってクリッピングボリュー
ムを画成することを可能にする演算15によって引き継
がれる。
【0045】錐開口角α及びクロミナンス距離閾値CL
IPが図6で前に述べた法則に従って各画素の値re
びwに適用される、即ち: re −αw=CLIP。 パラメータGAINは前記の如く有色背景とサブジェク
トとの間の遷移領域の大きさを定めることを可能にす
る。
【0046】同様にパラメータwb及びwh、低輝度閾
値及び高輝度閾値は夫々軸Wに沿った有色背景のボリュ
ームの境界決定を可能にする。このように、本発明の効
果的なところは有色背景を覚醒するボリュームの適応的
性質である。クリッピングボリュームを画成することは
上記の如くのクロミナンスキーKC及び輝度キーKLの
発生を可能にする。クリッピングボリュームを画成する
演算15から得られたキーKC及びKLは、有色背景を
画成するボリュームをクリッピングすることを可能にす
るキーKDを得るために、そこで組み合わせ演算16で
組み合わされる。前記の如く、その結果、当然: KD=MAX[KC,KL]。
【0047】KD=1の画素はサブジェクトに属し、K
D=0のものは有色背景に属する。遷移領域の画素に関
してはKDは0と1との間にある。本発明の望ましい実
施例によれば、キーKC及びKLを組み合わせる演算1
6はそれ自体周知のキーKDをマスキング及びフィルタ
リングする演算17によって引き継がれる。事実サブジ
ェクトが抽出された際、サブジェクトに属する詳細のい
くつかが有色背景にリンクされていることがある。最も
度々起こる例としては人の眼の測色(colorime
try)の欠如である。マスキング及びフィルタリング
演算を導入することはクリッピングのレベルを局所的に
取り消すことを可能にする。例として、マスクは矩形形
状で調節可能な寸法のものとし得る。しかしながら形状
発生器(shape generator)によって得
られる異なる形状のマスクでも使用可能である。
【0048】当業者にとって周知である如く、クリッピ
ングキーのフィルタリングはサブジェクト映像の背景の
色の残余を除去することを可能にする。サブジェクトに
対する最終的なクリッピングキーKDFはマスキング及
びフィルタリング演算17から得られる。このキーKD
Fはそこで新たな背景に対して動くサブジェクトの画像
を発生するために周知の方法で最終的な混合演算に加え
られる。
【0049】図8は図7で示されたアルゴリズムの拡張
である。この拡張はオペレータ19から出力される領域
検出キューDZの発生に関する。効果的なことに、この
拡張はサブジェクトによって有色背景上へ影を投ずるこ
との検出を可能にする。影と投ずることは、有色背景の
平均輝度レベルより低く、有色背景のものと同じ色相を
有する輝度キューによって特徴付けられる。
【0050】本発明によれば、影と投ずることは、新た
に受ける(new receiving)背景の輝度を
減ずることによってブランクアウト(blank ou
t)され或いは復元され得る。クリッピングを可能にす
るキューに関する限り、影は有色背景の一部ではない。
しかしながらそれはサブジェクトとは区別されるべきで
ある。この目的のために有色背景の色相の周囲に位置
し、その輝度値はある閾値より低く、有色背景1とサブ
ジェクト3との間に位置する遷移領域に属するいずれの
画素をも影画素と見做す。
【0051】効果的なことに、有色背景を画成するボリ
ュームの適応及び錐形状はサブジェクトを有色背景から
隔てる遷移領域へ影画素が入ることを可能とする。図8
には、図7で示されている如くに補間オペレータ10、
水平回転オペレータ11、遅延オペレータ18及びマス
キング及びフィルタリングオペレータ17が表されてい
る。簡略化のためにオペレータ12、13、14、15
及び16は共にグループとされ同じブロックB内にある
ものとした。
【0052】この本発明の拡張によれば領域検出オペレ
ータ19はサブジェクトによる有色背景上へ影と投ずる
ことの検出を可能にする。遅延オペレータ18によって
出力される輝度成分yは輝度閾値yaと比較され、図7
で説明したオペレータ13によって出力される角度座標
θは二つの値θmin 及びθmax と比較され、それらの差
θmax −θmin は、θに関連する画素の色相が有色背景
の色相にリンクされるためにその中に角度θが有る必要
がある角開口を画成する。そのθの値がθminとθmax
との間にあり、その輝度値yがyaより小さいいじれの
画素も影画素と見做される。
【0053】前述の如く、影画素は有色背景からサブジ
ェクトを隔てている遷移領域2に位置している。このよ
うにして、遷移領域2の画素の位置を見い出す(loc
ate)ことを可能にするキューを供給するためにキー
KDが領域検出オペレータ19に加えられる。領域検出
オペレータ19から出力される信号DZは上述の工程に
よって影画素を検出するためにキューを供給することを
可能とする。
【0054】効果的なことに、図9から明らかなよう
に、信号DZは影画素の位置を確認するためのキューの
みではなく、色空間におけるそれらの位置によってサブ
ジェクト映像を表す画素の位置を見い出すことを可能に
する様々なキューをも供給し得る。図9には、信号DZ
が色空間におけるそれらの位置によってサブジェクト映
像を表す画素の位置を見い出すことを可能にする全ての
キューを供給する場合の領域検出演算19の様々な段階
がフローチャートの形式で表されている。しかしながら
本発明は又DZがそれらのキューの全て又はそのいくつ
かを供給する場合にも関する。
【0055】キーKDが値1を有する場合、キューDZ
はサブジェクトの検出を意味する値x1をとる。キーK
Dが値0を有する場合、キューDZは背景の検出を意味
する値x2をとる。キーKDが0と1との間の値を有す
る場合、輝度値yが閾値yaと比較され: − yがyaより小さくない場合、キューDZは背景と
サブジェクトとの間の遷移領域の検出を意味する値x3
をとる。
【0056】− yがyaより小さく且つθがθmin と
θmax との間にある場合、キューDZは影の検出を意味
する値をとる。影画素が背景の画素と同様に処理される
ようにこの値はx2と等しいことが望ましい。 − yがyaより小さく且つθが間隔θmin 、θmax 内
に無い場合、キューDZは背景とサブジェクトとの間の
遷移領域の検出を意味する値をとる。
【図面の簡単な説明】
【図1】従来技術の有色背景のボリュームの例を示す図
である。
【図2】(a)、(b)は本発明による有色背景のボリ
ューム近似を可能にする色空間の新たな基準フレーム
(U、V、W)を画成することを可能にする基準フレー
ム(CB、CR、Y)の幾何学的変換を表す図である。
【図3】新たな上記基準フレームにおける色空間の画素
を表す図である。
【図4】本発明による有色背景のボリュームを表す図で
ある。
【図5】新たな基準フレームの第1の軸に垂直な面によ
る本発明の有色背景のボリュームの断面図である。
【図6】新たな基準フレームの第2の軸に垂直な面によ
る本発明の有色背景のボリュームの断面図である。
【図7】本発明によるクリッピングキーの計算のアルゴ
リズムを表す図である。
【図8】図7に述べられたアルゴリズムの拡張を表す図
である。
【図9】図8に述べられた拡張の記述を表す図である。
【符号の説明】
1 有色背景(第1の領域) 2 中間遷移領域(第3の領域) 3 サブジェクト(第2の領域) 10 補間演算(オペレータ) 11 水平回転演算(オペレータ) 12 垂直回転演算(オペレータ) 13 極座標計算(オペレータ) 14 楕円調整(オペレータ) 15 錐をオープンしてクリッピングボリュームを画成
する演算 16 キー組み合わせ演算(オペレータ) 17 マスキング及びフィルタリング(オペレータ) 18 遅延オペレータ 19 領域検出オペレータ

Claims (25)

    【特許請求の範囲】
  1. 【請求項1】 有色背景に対して動くサブジェクトをク
    リッピングするキーKDを決定する方法であって、上記
    キーは色空間を3個の領域、有色背景を表すボリューム
    を画成する第1の領域、サブジェクトを表すボリューム
    を画成する第2の領域及び有色背景とサブジェクトとの
    間の遷移領域を画成する第3の領域に分割することを可
    能にするものであって、有色背景を表すボリュームをそ
    の対称の軸Wが色空間のアクロミック及びゼロ輝度点並
    びに有色背景の色を表す点を通過する開口角αの錐の形
    状で画成することを可能にする様々な計算段階よりなる
    ことを特徴とする方法。
  2. 【請求項2】 錐の三面体(Uo、Vo、W)が右手三
    面体であるような平面(Uo、Vo)における断面を画
    成する様々な画素(Mi)の極座標r(i)及びθ
    (i)が等式 k2 r(i)2 cos2 (θ(i) +R)+r(i)2 sin2(θ(i) +
    R)=定数、 に従うことを特徴とし、尚ここでθ(i)は平面(U
    o、Vo)における点M(i)を定める極角であり、k
    及びRは夫々座標r(i)に対する楕円調整計数及び錐
    の断面の回転の角度である請求項1に記載の方法。
  3. 【請求項3】 錐の開口αは re (i) −αw(i) =CLIP 尚ここで re (i) =r(i) (A)1/2 であり 【数1】 のように調節パラメータCLIPとリンクされているこ
    とを特徴とし、尚ここでw(i)は平面(Uo、Vo)
    の錐の対称の軸W上の座標であり、錐の頂点と反対側の
    面は錐の対称の軸W上の座標whによって画成される請
    求項2に記載の方法。
  4. 【請求項4】 楕円調整計数kは1≦k≦2であり、角
    度Rは0からπまで変化し得ることを特徴とする請求項
    2又は3に記載の方法。
  5. 【請求項5】 有色背景とサブジェクトとの間の遷移領
    域は有色背景を画成する開口αの錐の表面と、有色背景
    を画成する錐と同じ対称の軸及び同じ頂点を有しその頂
    点と反対側の面が有色背景を画成する錐の頂点と反対側
    の面と同一平面にあるαより大きい開口α1の錐との間
    に含まれる空間の領域によって画成されることを特徴と
    する請求項1乃至4のうちにいずれか一項に記載の方
    法。
  6. 【請求項6】 遷移領域の大きさは調節パラメータによ
    って変更され得ることを特徴とする請求項5に記載の方
    法。
  7. 【請求項7】 有色背景を画成する錐は、対称の軸W上
    に錐の頂点の位置を与える座標wsを上記対称の軸上に
    wsとwhとの間に有る値を有する低輝度閾値wbを定
    める座標wbから隔てる距離dで切頭され得ることを特
    徴とする請求項1乃至6のうちのいずれか一項に記載の
    方法。
  8. 【請求項8】 クリッピングキーKDは KD=MAX[KC、KL] のようにクロミナンスキーKCと輝度キーKLとを組み
    合わせる演算から得られ、輝度キーKLは、その開口α
    の錐の対称の軸上の座標w(i)がwbより小さいいず
    れの画素についても値1を有し、その開口αの錐の対称
    の軸上の座標w(i)がwhより大きいいずれの画素に
    ついても値0を有し、クロミナンスキーKCは開口αの
    錐に属するいずれの画素のついても値0を有し開口α1
    の錐を越えて位置するいずれの画素についても値1を有
    することを特徴とする請求項2乃至6のうちのいずれか
    一項に記載の方法。
  9. 【請求項9】 様々なクロミナンス成分のアクロミック
    レベル及び色空間の基準のフレームの原点(origi
    n)を構成する輝度成分のゼロレベルは算術的ゼロに変
    換され得ることを特徴とする請求項1乃至8のうちのい
    ずれか一項に記載の方法。
  10. 【請求項10】 有色背景に対して動くサブジェクトよ
    りなる画像の画素の赤色差クロミナンス成分及び青色差
    クロミナンス成分が上記画素の輝度成分として同じ映像
    フォーマットにトランスポーズ(transpose)
    されるというような補間の段階よりなることを特徴とす
    る請求項1乃至9のうちのいずれか一項に記載の方法。
  11. 【請求項11】 各画素の赤色差クロミナンス成分、青
    色差クロミナンス成分及び輝度成分を上記成分の映像ビ
    ットの数より大きいビットの数Nで符号化することを可
    能にする段階よりなることを特徴とする請求項10に記
    載の方法。
  12. 【請求項12】 赤及び青色差クロミナンス成分の並び
    に輝度成分の映像ビットの数は10に等しく、上記クロ
    ミナンス及び輝度成分が符号化されるビット数Nは16
    に等しく、その中には映像の10ビット、映像の精度を
    定めることを意図した4分割ビット、1符号ビット及び
    1オーバフロービットがあることを特徴とする請求項1
    1に記載の方法。
  13. 【請求項13】 有色背景に対して動くサブジェクトよ
    りなる画像の様々な画素の位置を与えるキューDZを与
    えることを可能にする領域検出段階よりなることを特徴
    とする請求項1乃至12のうちのいずれか一項に記載の
    方法。
  14. 【請求項14】 領域検出段階はサブジェクトによって
    有色背景上に影が投じられることを表す画素の位置を与
    えるキューDZを与えることを可能にする段階よりなる
    ことを特徴とする請求項13に記載の方法。
  15. 【請求項15】 − クリッピングキーKDが0と1と
    の間にある場合、各画素M(i)の輝度値yが閾値ya
    と比較され: − yがyaより大きい場合、キューDZは背景とサブ
    ジェクトとの間の遷移領域の検出を意味する値をとり; − yがyaより小さく且つ角度θ(i)が、その差θ
    max −θmin がθ(i)に関連する画素の色相を有色背
    景の色相にリンクさせるために角度θ(i)がその中に
    有る必要がある角開口を画成する二つの値θmin 及びθ
    max の間にある場合、キューDZは影の検出を意味する
    値をとり、 − yがyaより小さく且つ角度θ(i)が上記値θmi
    n 及びθmax の間に無い場合、キューDZは背景とサブ
    ジェクトとの間の遷移領域の検出を意味する値をとると
    いうシーケンスよりなり、サブジェクトが有色背景上に
    影を投じること(shadow cast)を表す画素
    の位置を与えるキューDZを与えることを可能にする段
    階よりなることを特徴とする請求項14に記載の方法。
  16. 【請求項16】 クリッピングキーKDから最終的なク
    リッピングキーKDFを計算することを可能にするマス
    キング及びフィルタリング演算よりなることを特徴とす
    る請求項1乃至15の内のいずれか一項に記載の方法。
  17. 【請求項17】 有色背景に対して動くサブジェクトを
    クリッピングするキーKDを計算する手段よりなり、上
    記キーKDは色空間を3個の領域、有色背景を表すボリ
    ュームを画成する第1の領域、サブジェクトを表すボリ
    ュームを画成する第2の領域及び有色背景とサブジェク
    トとの間の遷移領域を画成する第3の領域に分割するこ
    とを可能にし、クリッピングキーKDを計算する手段は
    基準のフレーム(U,V,W)における色空間の角画素
    の座標を計算する手段よりなり、基準のフレーム(U,
    V,W)は右手三面体でありその中心はゼロ輝度のアク
    ロミック点でありその軸Wは有色背景の色の点の方に向
    けられており、クリッピングキーKDを計算する手段は
    更に対称の軸として軸Wを有する開口角αの錐の形状で
    有色背景を表すボリュームを画成する手段よりなること
    を特徴とする電子装置。
  18. 【請求項18】 開口角αの錐の断面を楕円調整する手
    段よりなる請求項17に記載の装置。
  19. 【請求項19】 有色背景とサブジェクトとの間の遷移
    領域が有色背景を画成する開口αの錐の表面と、有色背
    景を画成する錐と同じ対称の軸及び同じ頂点を有し、そ
    の頂点の反対側の面が有色背景を画成する錐の頂点の反
    対側の面と同じ平面にある、αより大きい開口α1の錐
    との間に含まれる空間の領域によって画成されるという
    ような手段よりなることを特徴とする請求項17及び1
    8のいずれか一項に記載の装置。
  20. 【請求項20】 有色背景を画成する錐を距離dで切頭
    するする手段よりなり、上記距離dは対称の軸W上の錐
    の頂点の位置を与える座標wsを上記対称の軸上でws
    とwhとの間に有る値を有する低輝度閾値wbを画成す
    る座標wbから隔てるものであり、whは錐の頂点の反
    対側の面を画成する平面の横座標であることを特徴とす
    る請求項17乃至19のうちのいずれか一項に記載の装
    置。
  21. 【請求項21】 有色背景に対して動くサブジェクトよ
    りなる画像の様々な画素の位置を与えるキューを与える
    ために上記領域を検出することを可能にする手段よりな
    ることを特徴とする請求項17乃至20のうちのいずれ
    か一項に記載の装置。
  22. 【請求項22】 上記領域を検出することを可能にする
    手段はサブジェクトが有色背景上に影を投じることを表
    す画素の位置を与えるキューを与える手段よりなること
    を特徴とする請求項21に記載の装置。
  23. 【請求項23】 クリッピングされたサブジェクトを新
    たに受ける背景上に重ねる手段よりなることを特徴とす
    る請求項17乃至22のうちのいずれか一項に記載の装
    置。
  24. 【請求項24】 請求項17乃至23のうちのいずれか
    一項による装置よりなることを特徴とするビデオミキ
    サ。
  25. 【請求項25】 請求項17乃至23のうちのいずれか
    一項による装置よりなることを特徴とする自律映像画像
    クリッピング及びオーバレイイング装置。
JP31246596A 1995-11-23 1996-11-22 有色背景に対して動くサブジェクトをクリッピングするためのキーを決定する方法及びその方法を実現する装置 Expired - Fee Related JP3741803B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9513953 1995-11-23
FR9513953A FR2741770B1 (fr) 1995-11-23 1995-11-23 Procede de calcul d'une cle de decoupe d'un sujet evoluant devant un fond colore et dispositif mettant en oeuvre ce procede

Publications (2)

Publication Number Publication Date
JPH09187030A true JPH09187030A (ja) 1997-07-15
JP3741803B2 JP3741803B2 (ja) 2006-02-01

Family

ID=9484867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31246596A Expired - Fee Related JP3741803B2 (ja) 1995-11-23 1996-11-22 有色背景に対して動くサブジェクトをクリッピングするためのキーを決定する方法及びその方法を実現する装置

Country Status (7)

Country Link
US (1) US5903318A (ja)
EP (1) EP0776136B1 (ja)
JP (1) JP3741803B2 (ja)
DE (1) DE69608769T2 (ja)
ES (1) ES2148704T3 (ja)
FR (1) FR2741770B1 (ja)
IL (1) IL119670A (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998011735A1 (fr) * 1996-09-12 1998-03-19 Sony Corporation Processeur de signaux video
CN100373955C (zh) * 1997-02-20 2008-03-05 索尼公司 图像信号处理装置和方法、画面合成装置、以及编辑装置
GB2336054B (en) 1998-04-01 2002-10-16 Discreet Logic Inc Processing image data
GB2336056B (en) * 1998-04-01 2002-10-16 Discreet Logic Inc Image processing
GB2336055B (en) * 1998-04-01 2002-10-16 Discreet Logic Inc Image processing
US6456300B1 (en) 1999-03-31 2002-09-24 Autodesk Canada Inc. Method and apparatus for processing image data to produce control data
GB0007974D0 (en) 2000-04-01 2000-05-17 Discreet Logic Inc Processing image data
JP3642258B2 (ja) * 2000-05-08 2005-04-27 松下電器産業株式会社 映像合成装置
US6795068B1 (en) * 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
JP3581835B2 (ja) 2001-03-14 2004-10-27 株式会社イマジカ クロマキー処理における色変換方法及び装置
US8133115B2 (en) * 2003-10-22 2012-03-13 Sony Computer Entertainment America Llc System and method for recording and displaying a graphical path in a video game
US7508455B2 (en) * 2004-03-26 2009-03-24 Ross Video/Live Production Technology Method, system, and device for automatic determination of nominal backing color and a range thereof
US7119838B2 (en) * 2004-08-19 2006-10-10 Blue Marlin Llc Method and imager for detecting the location of objects
US20060071933A1 (en) 2004-10-06 2006-04-06 Sony Computer Entertainment Inc. Application binary interface for multi-pass shaders
US7636126B2 (en) 2005-06-22 2009-12-22 Sony Computer Entertainment Inc. Delay matching in audio/video systems
US7880746B2 (en) 2006-05-04 2011-02-01 Sony Computer Entertainment Inc. Bandwidth management through lighting control of a user environment via a display device
US7965859B2 (en) 2006-05-04 2011-06-21 Sony Computer Entertainment Inc. Lighting control of a user environment via a display device
US10786736B2 (en) 2010-05-11 2020-09-29 Sony Interactive Entertainment LLC Placement of user information in a game space
US9342817B2 (en) 2011-07-07 2016-05-17 Sony Interactive Entertainment LLC Auto-creating groups for sharing photos

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2448821A1 (fr) * 1979-02-12 1980-09-05 Telediffusion Fse Procede et systeme d'incrustation d'images en television en couleurs
FR2464001A1 (fr) * 1979-08-17 1981-02-27 Thomson Csf Generateur de signaux de commutation pour effet d'incrustation en television et dispositif de commande d'effets speciaux comportant un tel generateur
JPS5846783A (ja) * 1981-09-12 1983-03-18 Sony Corp クロマキ−装置
JPS62125339A (ja) * 1985-11-27 1987-06-06 Suraidetsukusu Kk 情報記録担体用保持シ−ト
US5003491A (en) * 1988-03-10 1991-03-26 The Boeing Company Multiplying video mixer system
US5657395A (en) * 1989-03-02 1997-08-12 Minolta Camera Kabushiki Kaisha Image processing device providing improved image data processing by converting original image into a plurality of pixels and analyzing density data of each pixel
FR2652972B1 (fr) * 1989-10-06 1996-11-29 Thomson Video Equip Procede et dispositif d'incrustation d'images video couleur auto-adaptatif.
US5051828A (en) * 1990-04-27 1991-09-24 The Grass Valley Group, Inc. Keyer with variable shaping
DE4017878A1 (de) * 1990-06-02 1991-12-05 Broadcast Television Syst Verfahren und anordnung zur ableitung eines stanzsignals
US5117283A (en) * 1990-06-25 1992-05-26 Eastman Kodak Company Photobooth compositing apparatus
JP2573434B2 (ja) * 1991-05-31 1997-01-22 松下電工株式会社 特定色抽出方法
US5202762A (en) * 1991-09-10 1993-04-13 Ultimatte Corporation Method and apparatus for applying correction to a signal used to modulate a background video signal to be combined with a foreground video signal
JPH06225329A (ja) * 1993-01-22 1994-08-12 Imagica:Kk クロマキー処理方法及び装置
US5574511A (en) * 1995-10-18 1996-11-12 Polaroid Corporation Background replacement for an image

Also Published As

Publication number Publication date
ES2148704T3 (es) 2000-10-16
US5903318A (en) 1999-05-11
FR2741770A1 (fr) 1997-05-30
IL119670A (en) 2003-04-10
FR2741770B1 (fr) 1998-01-02
IL119670A0 (en) 1997-02-18
DE69608769D1 (de) 2000-07-13
EP0776136B1 (fr) 2000-06-07
EP0776136A1 (fr) 1997-05-28
DE69608769T2 (de) 2000-10-26
JP3741803B2 (ja) 2006-02-01

Similar Documents

Publication Publication Date Title
JPH09187030A (ja) 有色背景に対して動くサブジェクトをクリッピングするためのキーを決定する方法及びその方法を実現する装置
US5923381A (en) Device and method for processing a signal with a subject moving against a colored background
JPH04127675A (ja) デジタル画像生成方法及び装置
US5987169A (en) Method for improving chromatic text resolution in images with reduced chromatic bandwidth
JP2647666B2 (ja) ビデオ画像の強調方法及びその装置
JPH1023267A (ja) 画像のシャープネス処理装置
JPH02272894A (ja) カラー映像信号エンコード方法
CN110298812A (zh) 一种图像融合处理的方法及装置
US20040109089A1 (en) Adaptive Y/C separation circuit
JPS62206556A (ja) 画像の人工着色方法
US7224406B2 (en) Digital signal processing system and method applied for chroma transition
JPH0314312A (ja) 適応型輝度信号色信号分離装置
JPS61214893A (ja) カラ−画像処理方法
US7339630B2 (en) Method and system for a correlation sharpening filter
US7391479B2 (en) Method and system for 3D bidirectional comb filtering
JP2543857B2 (ja) カラ―画像処理装置
JPH0344172A (ja) 輪郭補正回路
JPH10145805A (ja) 色相補正回路
KR100398883B1 (ko) 윤곽선 검출 장치 및 방법
JP2538319B2 (ja) 動き検出器
JPH10126708A (ja) 画像信号の遠近感強調回路
KR940006178B1 (ko) 영상 색신호 조정방법
JPS62290269A (ja) 雑音除去装置
JPH0686158A (ja) 画像編集装置
JPH0614216A (ja) 画質改善装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051109

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081118

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091118

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091118

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101118

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111118

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121118

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121118

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121118

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131118

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees