JP3679115B2 - ビデオ画像を合成する方法および装置 - Google Patents
ビデオ画像を合成する方法および装置 Download PDFInfo
- Publication number
- JP3679115B2 JP3679115B2 JP52325894A JP52325894A JP3679115B2 JP 3679115 B2 JP3679115 B2 JP 3679115B2 JP 52325894 A JP52325894 A JP 52325894A JP 52325894 A JP52325894 A JP 52325894A JP 3679115 B2 JP3679115 B2 JP 3679115B2
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- signal
- control signal
- foreground
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/74—Circuits for processing colour signals for obtaining special effects
- H04N9/75—Chroma key
Description
発明の背景
米国特許第４１００５６９号、第４３４４０８５号、第４５８９０１３号、第４６２５２３１号は、着色されたバックとカメラの間に配設された前景被写体と背景シーンを合成して合成画像を形成するユニークな線形方法を記載している。この方法では、湯気でも、髪の毛でも、窓からの反射でも、カメラから見える背景シーン中のあらゆるもの（着色されたバックを除く）が、減衰なしで、かつ被写体を変化させずに、完全なレベルで再現される。この方法が線形であるのは、前景シーンの透過部分の後方の背景シーンも、前記透過部分を通じて着色されたバックの輝度および可視性の線形関数として再現するからである。
背景シーン・ビデオ・レベルは、バックの輝度および可視性に比例する制御信号Ｅcによって調整される。青いバックは、それをスイッチオフするのではなく、バックの青色成分、緑色成分、赤色成分（Ｂ、Ｇ、Ｒ）のそれぞれに等しいＥcの部分を減じることによって除去される。バックのビデオ信号をゼロに低減させれば、簡単な加算によってバックが背景ビデオ信号を受け入れる準備が完了する。上記の特許は、このような機能を詳細に説明するものである。
本発明では、Ｅc制御信号のいくつかの制限をなくすることによってＥc制御信号を改良する。これらの制限は以下の説明で明らかになろう。Ｅc制御信号は、その最も簡単な形では以下の数式１で表される。
Ｅc＝Ｂ−ｍａｘ（Ｇ，Ｒ）・・・・・・・・・・・・・・・・・・・・・式１
上式で、「ｍａｘ」は緑と赤のうちで大きい方を指定するものである。
Ｅc制御信号は、走査スポットが青いバックから離れて被写体に入り始めたときに低下を開始し、理想的には走査スポットが青いバックから離れて完全に被写体内に入った時点で丁度ゼロに達するべきである。明確に合焦される被写体の場合、この遷移は走査スポットの幅の範囲内で発生する。焦点の外れた被写体の場合、この遷移は、半透明のぼけたエッジの幅にわたって発生する。
前景被写体が完全に不透明になったときにＥcが完全にゼロになることが必須であり、そうでない場合、不透明な前景被写体を通じて背景シーンが見えるようになる。そのような印刷抜けは大量生産品質の合成ビデオでは受け入れられない。
数式１で丁度ゼロに達するＥcは、グレー・スケール・オブジェクトの場合に発生する。これは、Ｂ、Ｇ、Ｒが相互に等しいからである。
Ｅcは、シアン（Ｂ＝Ｇ）およびマゼンタ（Ｂ＝Ｒ）の場合にも丁度ゼロに達する。
しかし、青い目など、青い被写体の場合（ＲＧＢの典型的な値は、Ｂ＝８０、Ｇ＝７０、Ｒ＝６０）、数式１中のＥcはゼロに達せず、被写体が不透明である場合でも背景シーンの印刷抜けを発生させる。このため、以下のように数式１を定数ｋ2を追加するように修正する。
Ｅc＝Ｂ−Ｋ2ｍａｘ（Ｇ，Ｒ）・・・・・・・・・・・・・・・・・・・式２
Ｋ2を１．０から１．１４に増加させる（１４％）ことによって、Ｇは７０から８０のレベルに増加し、その場合、Ｅcはゼロになる。しかし、緑（および赤）を１４％増加させると、グレイ・スケール・オブジェクトでは、走査スポットがバックを離れる前にＥcがゼロに達する。Ｅcは、ゼロになると、走査スポットが完全に被写体に入る前に背景シーンを遮断する。前景被写体のエッジに背景ビデオがないと、前景被写体の周りに認識できる黒い線が残る。
数式２で、Ｅcは、光沢のある黒い被写体に青いバックの低レベルの反射が発生したときにもゼロに達しない。青いバックには緑も赤もほとんどないので、バックを反射する光沢のある黒いオブジェクトの場合、Ｋ2にはＥcをゼロに減少させる効果はない。したがって、このためにＫ1を追加する。この場合、Ｅc式は以下の数式３で表される。
Ｅc＝［（Ｂ−Ｋ1）−Ｋ2ｍａｘ（Ｇ，Ｒ）］+・・・・・・・・・・・・式３
（上付き文字「＋」の意味については以下に説明する）この数式は以下のように書き直すことができる。
ＫＥc＝［Ｋ1Ｂ−Ｋ2ｍａｘ（Ｇ，Ｒ）−Ｋ3］+・・・・・・・・・・・・式４
上式は、数式３とまったく同じ結果を達成する。
Ｅcをゼロに減少させる代替方法は以下の数式５で表される。
ＫＥc−Ｋ1＝［Ｂ−Ｋ2ｍａｘ（Ｇ，Ｒ）］+・・・・・・・・・・・・・式５
数式３、４、５は、同じ数式の変形例に過ぎず、同じ結果をもたらす。
ある種のシーン、具体的にはクローズアップでは、人間が重要な被写体であり、肌色の周りの黒い線をなくすることが重要である。これは、引用した特許では、項Ｋ3およびＫ4を追加して以下の数式を生成することによって行われた。
Ｅc＝［（Ｂ−Ｋ1）−Ｋ2ｍａｘ（Ｋ3Ｇ，Ｋ4Ｒ）］+・・・・・・・・・式６
肌色の赤色定数は、青色含有量または緑色含有量の少なくとも２倍の大きさなので、Ｅcが過度に早くゼロになり、したがって、黒いエッジが残る。この問題は、引用した特許では、数式６中のＫ4Ｒを減少させて肌色中の青のレベルを近似し、したがって、走査スポットが完全に青いバックを離れた時点でＥcがゼロに達するようにすることによって解決された。
Ｋ3によって、緑色被写体が最も関心のある被写体であるときＫ3Ｇを減少させることができる。
まれではあるが、青いバックが実際は、青ではなくシアンであることがある。この場合、上記のＥc式では、バック領域で十分なレベルのＥcをもたらすことができない。これは、引用した特許のうちのより新しい特許では、以下のように追加項Ｋ5を追加することによって補正された。
Ｅc＝｛（Ｂ−Ｋ1）−Ｋ2［Ｋ5ｍａｘ（Ｋ3Ｇ，Ｋ4Ｒ）＋（１−Ｋ5）ｍｉｎ
（Ｋ3Ｇ，Ｋ4Ｒ）］｝+・・・・・・・・・・・・・・・・・・・・・・・・式７
上式で「ｍｉｎ」は、各項のうちで「最も小さいもの」を指定するものである。
シアン色バックの場合、Ｋ5はゼロに設定され、したがって、数式７は以下のように低減される。
Ｅc＝［（Ｂ−Ｋ1）−Ｋ2ｍｉｎ（Ｋ3Ｇ，Ｋ4Ｒ）］+・・・・・・・式７．１
通常、妥当な青いバックを仮定すると、Ｅc制御信号は、Ｋ5（数式７）を１．０に設定し、数式６をもたらす。
「Ｋ」の値を１．０に設定しても、０に設定しても、他の何らかの値に設定しても、新しい数式が生成されないことに留意されたい。
上記の数式で、
Ｋ1＝黒い光沢制御
Ｋ2＝つや消し密度制御
Ｋ3＝緑色つや消し密度制御
Ｋ4＝赤色つや消し密度制御
Ｋ5＝バック純度制御
すべての前記の説明および数式は、引用した特許に記載されたものである。表１は、淡い青（目）および明るい青を含めていくつかの色に関する典型的なＢ、Ｇ、Ｒビデオ・レベルをリストしたものである。Ｅc値は、数式１を使用して算出した。Ｅcは、背景（ＢＧ）シーンを完全にターンオンした場合、１００でなければならず、不透明な被写体で遮られたときに背景が完全に遮断された場合、ゼロ（またはそれ以下）でなければならない。
引用した特許では、ゼロ・クリップを使用することによってＥcが負になることが妨げられる。ゼロ・クリップは、数式中では、Ｅc＝［−−−］+などＥcを生成する頂上の上付き文字として置かれたプラス（＋）符号によって指定される。ゼロ・クリップは、１つの入力がゼロにセットされた「ＯＲ」ゲートを使用して達成される。
引用した特許には記載されていないゼロ・クリップを生成する他の方法がある。たとえば、以下の数式９で、
Ｅc＝ｍａｘ（Ｂ，Ｇ）−ｍａｘ（Ｇ，Ｒ）・・・・・・・・・・・・・・式８
項ｍａｘ（Ｂ，Ｇ）は実際上、ある種の色の場合にゼロ・クリップを導入する。
すべての色に対するゼロ・クリップは、以下の数式によって達成される。
ＥC＝Ｋ1［ｍａｘ（ＫbＢ，ＫgＧ，ＫrＲ）−Ｋ2ｍａｘ（ＫgＧ，ＫrＲ）］・・・・・式９
数式９は見た所、数式６とは異なるが、まったく同じ結果をもたらす。表１は、クリップされる前の負のＥcを示すためにゼロ・クリップなしのＥcの値をリストしたものである。負の数のサイズは、バックから被写体へ遷移する際にＥc＝０となる点も示す。Ｅcは、青いバックで１００で、赤みがかった被写体では−１００であるとすると、走査スポットが遷移の中間位置にきたときにゼロになる。数式９は、表１中のＥcを計算するように再設定されると、青を除くすべての色に対してＥcがゼロになる。しかし、数式９の２つの項のそれぞれは、「ＭＡＸ」の表現、すなわち、「ＯＲ］ゲート、したがって、ゼロ・クリップを含む。バックから被写体への遷移中に、Ｅcは、数式１、２、３、４、５、６、７、８、９での遷移中のまったく同じ点で所与の色に対してゼロに達する。これらの数式はすべて、数式７として最もよく表された同じ基本数式の変形例であり、すべて、表１中の色に対して同じゼロ公差をもたらす。
数式４、５、８、９は、引用した特許では具体的に示されていないが、同じ関数を実行し同じ結果を得る。したがって、これらの数式は、新規のものとも、異なるものとも、より有用なものともみなされない。
表１の最後の列で、青いバック領域で背景シーンを１００％ターンオンさせるためにＥcに係数１．６７が乗じられている。青い目および明るく輝く青の場合、Ｅcが０よりも大きいことに留意されたい。透過率が１７％のものと場合と同様に背景シーンが青い目を通して見える。また、明るく輝く青を通して背景シーンが透過率５０％のものと同様に透けて見える。緑、黄色、赤、および肌色（白色人種のメーキャップを有する）に対するＥcは負である。これは、走査スポットが、緑の被写体への半分の位置にあり、赤または黄色の被写体への半分の位置に達しない位置にあるとき、背景シーンが遮断される（ゼロＥc）ことを意味する。走査スポットが完全に被写体に乗る前に背景シーンが遮断されると、低減されたビデオのギャップ（すなわち、黒い線）が残る。肌色が主色であるとき、数式６でＫ4を減少させて赤を緑のレベルに低減させると、赤および肌色の周りの黒い線がなくなる。緑が主色であるとき、Ｋ3を使用して、緑を赤色レベルに低減させ、明るい緑の周りの黒い線をなくす。
引用した特許にリストされたＥc式では、数式６中のＫ2を増加させない限り、青被写体色を使用することはできない。数式６中のＫ2を増加させると、以下の表２に示したように、すべてのグレイ・スケール被写体とシアンおよびマゼンタが負のＥcを示し、雑音レベルが増大する。
表２は、数式６中のＫ2に１．１４を乗じたときのＥcを示す。背景シーンを完全にターンオンするために、Ｅcが１００になるようにＥcに１．７５が乗じられている。
この場合、青い目に対するＥcは、必要な値であるゼロになる。しかし、明るく輝く青に対するＥcは４０であり、これは、この青が印刷抜けすることを意味する。他の色は、黄色の場合を除いて、Ｋ3またはＫ4の調整に応じて受け入れられる。
数式６は、Ｋ2を増加させることによって青いバックに対する淡い青色陰影を再現することができる。他の色に対する雑音および目に見える黒いエッジが増加することによって、被写体をどれだけ青くすることができるかに関する限界に、すぐに達する。Ｋ2を増加させると、Ｅcは、すべてのグレイ・スケール被写体とシアンおよびマゼンタに対してゼロよりも小さくなり、これは望ましくない。
上記で引用した特許は、バックから二次照明をなくし、前景（ＦＧ）オブジェクトからレンズのフレアをなくする技法も記載している。青いバックの場合、バックに近接して置かれたオブジェクトは、バックから二次青色照明を受け取り、その照明が顕著な青い色合いをオブジェクトに与える。青い光で満たされたカメラ・レンズの視野は、レンズ内の複数の内部反射のために前景オブジェクト上に青い曇りを与える。
上述の特許に記載された方法は、前景オブジェクトから青いバックのすべての形跡をなくす動的クランプの青色チャネルを主題としている。青色クランプ式は、以下の数式１１で表される。
Ｂ≦Ｋ20Ｇ＋Ｋ22（Ｇ−Ｒ）+＋Ｋ23（Ｒ−Ｇ）+＋（１−Ｋ22）ｍｉｎ（Ｇ，Ｒ）
この青色クランプ式は、フレア抑圧式Ｅkとも呼ばれ、以下のように書くことができる。
Ｅk＝｛Ｋ20Ｂ−［Ｋ22Ｇ＋ｍａｘ［Ｋ22（Ｇ−Ｒ），
Ｋ23（Ｒ−Ｇ）］＋（１−Ｋ22）ｍｉｎ（Ｇ，Ｒ）］｝+
上式で、
Ｋ20＝ホワイト・バランス
Ｋ22＝ゲート１／３［ゲート１またはゲート３］
Ｋ23＝ゲート２である。
以下の手順が適用される。
１−Ｋ20は各目上、白い前景オブジェクト上のホワイト・バランスでは１．０である。
２−Ｋ22は通常、大部分のシーンでは１．０であり、そのため、前景オブジェクトはその色を保存する。前景オブジェクトが緑である場合、青いフレアによって色がシアンになる。Ｋ22を０．０に設定すると、前景オブジェクトに緑が復元される。
３−Ｋ23は通常、０．０に設定され、そのため前景の肌色が青いこぼれ光からのマゼンタ色合いを帯びることが防止される。ピンク色またはマゼンタ色を再現することが必須である場合、Ｋ23は、０．０ないし１．０の値に設定される。Ｋ23を、被写体を満たすピンク色またはマゼンタ色を生成するのに丁度よい値に設定し、それによって、肌色がマゼンタの色合いを帯びる度合いを最小限に抑えることが重要である。
青い画面の前方のブロンドまたは茶色の髪を扱う際は、青いフレアを抑制するようにＫ20［ホワイト・バランス］を調整する。そうすると、白い前景オブジェクトは、より暖かな色相を帯びる。本発明では、上述の問題に対処するためにＥk式に新しい制御を追加する。この新しい制御、すなわち、ブラック・バランスは、ホワイト・バランス制御の「正の利得」に対して、Ｅk式中の青色チャネルに対する「負の利得」として働く。
多数の青色画面生成方法では、画面のマーキング、欠陥、サスペンション・ワイヤ、不要な陰影、および望ましくないその他の画面要素を最終合成ビデオから電子的になくする必要がある。上述の特許は、クリーンアップ制御およびクリーンアップ・バランス制御を使用することによって、望ましくないすべてのこれらの画面要素をなくする手段を記載している。残念なことに、これらの制御を使用すると、望ましくない問題が生じ、すなわち、前景オブジェクトから微細なディテイルが失われる。画面の補正を扱う、上述の特許の発明者による特許のうちのより新しい特許は、前景オブジェクトからディテイルを喪失させずに、画面の輝度および色の一様性の変動を処理する代替技法を記載している。この画面補正処理は、前景フレームおよび基準フレームに共通するすべての画面の欠陥をなくし、同時に、前景オブジェクトのすべてのディテイル情報および陰影情報を保存する。しかし、前景オブジェクトのディテイルを保存し、同時に、前景陰影をなくすることが望ましい例がある。前景陰影をなくすると、前景ディテイルが失われるので、既存の形のクリーンアップも画面補正も十分な結果をもたらさない。本発明は、所望の結果を達成する方法および装置を対象とするものである。
発明の概要
本発明の目的は、緑色オブジェクトおよび肌色に対してＥcが丁度ゼロになるようにＫ3およびＫ4を調整しても、それと同時にグレイ・スケール被写体のＥcが低減されることも、印刷抜けが生じることもないように、Ｅc式を改良することである。また、本発明の目的は、Ｋ2つや消し密度制御を増大させることも、雑音レベルを増加させることもなしに、青いバックの存在下で淡い青から明るい青までの広範囲の青色を再現することである。
第３の目的は、このような結果をもたらす代替Ｅc式を示すことである。
本発明の第４の目的は、前景の明るい白い色合いに影響を与えずに、ブロンドまたは茶色の髪へバックの色のもれをなくす代替Ｅk式を示すことである。
本発明の第５の目的は、前景陰影をなくする陰影クリーンアップ式を生成し、同時に、大部分の前景ディテイル情報を保存することである。
【図面の簡単な説明】
第１図は、基本画像合成システムのブロック図である。
第２図は、数式１４ａの実施の形態を示す回路の一例を示す。
第３図は、数式２２と等価な回路に対するＥk生成回路のブロック図である。
第４図は、数式３２の実施の形態を示すＢＧＥC生成回路のブロック図を示す。
発明の詳細な説明
表１に指摘したように、肌色は、２０青、２５緑、７０赤などのビデオ・レベルを有する。走査スポットがその遷移を完了した時点でＥcをゼロにするには、緑と赤を共に２０に減少させなければならない。そうすると、すでにグレー・スケール被写体、シアン被写体、およびマゼンタ被写体に対してゼロであったＥcが正になり、印刷抜けが発生する（すなわち、背景が遮断されない）。この問題は、以下の新しいＥc式によって補正される。
Ｅc＝｛（Ｂ−Ｋ1）−Ｋ2ｍａｘ（Ｇ，Ｒ）＋
［ｍａｘ（Ｋ3Ｇ，Ｋ4Ｒ）−ｍｉｎ（Ｇ，Ｒ）］｝+・・・・・・・・・・式１０
上式で、Ｋ1をゼロに設定した場合、項Ｅc＝Ｂ−Ｋ2ｍａｘ（Ｇ，Ｒ）のために、Ｅcは、すべてのグレイ・スケール被写体とシアンおよびマゼンタに対してはゼロになるが、肌色に対しては負になる。次の項ｍａｘ（Ｋ3Ｇ，Ｋ4Ｒ）−ｍｉｎ（Ｇ，Ｒ）は正であり、したがって、Ｋ3−Ｋ4調整によって、Ｅcは肌色に対して丁度ゼロになる。グレイ・スケール被写体は影響を受けず、Ｅcは丁度ゼロのままである。シアンおよびマゼンタが存在する場合、それらは正のＥcを示す。
数式１０と同じ結果をもたらす簡単な方法は、数式１１によって達成される。
Ｅc＝（Ｂ−Ｋ1）−Ｋ2ｍａｘ［ｍｉｎ（Ｇ，Ｒ），（Ｋ3Ｇ，Ｋ4Ｒ］+・・式１１
この数式で、Ｋ3およびＫ4は、肌色とグレイ・スケール被写体に対して同時に丁度ゼロが得られるように調整することができる。
代替数式１１は以下のように表される。
Ｅc＝（Ｂ−Ｋ1）−ｍａｘ［Ｋ2ｍｉｎ（Ｇ，Ｒ），Ｋ3Ｇ，Ｋ4Ｒ］+・・・・・・式１１ａ
画像合成の専門家は常に、バック・カラーが青なので、黒い線の問題と雑音のために、前景被写体色としての目立つ青を避けなければならないと仮定する。
以下に説明する改良されたＥcでは、Ｋ2を増加させずに、かつそれほど黒い線の問題を生じさせずに、より広範囲の青前景色を含めることができる。
雑音を低減させるためにＥcを最小限に抑え、青色されたフィルム上の漏話を低減させるために、バック用に選択される青色は緑色成分も赤色成分もほとんど含まない。Ｅcは、青をハイにして、緑と赤を同様にローにすることによって最大になる。８０青、２０緑、および２０赤のビデオはそのようなバックを表す。
多数の明るい青色は、表３から分かるように、青から緑、緑から赤への降順ビデオ・レベルを有する。本発明ではこのほぼ線形の降順を使用する。
数式６中のＫ2も、改良された数式１０、数式１１、および数式１１ａ中のＫ2も増加させずに、青い目および青い洋服ダンスに対してＥcをゼロにする方法が必要であり、これが、本発明の目的である。上述の数式に新規の項ｍａｘ［Ｋ5（Ｇ−Ｒ），Ｋ5（Ｒ−Ｇ）］を追加して、改良された一連の数式１２ないし１４ａを得る。追加されたこの項によって、より広範囲の青い前景オブジェクトが許容され、青い画面の前方で降順Ｂ、Ｇ、ＲレベルまたはＢ、Ｒ、Ｇレベルを使用することができ、かつ発生する問題は最小限に抑えられる。この新規の１組の数式は以下のように表される。
ＥC＝｛（Ｂ−Ｋ1）−Ｋ2ｍａｘ（Ｋ3Ｇ，Ｋ4Ｒ）
−ｍａｘ｛（Ｋ5（Ｇ−Ｒ），Ｋ6（Ｒ−Ｇ）］｝+・・・・式１２
ＥC＝｛（Ｂ−Ｋ1）−Ｋ2ｍａｘ（Ｇ，Ｒ）＋
［ｍａｘ（Ｋ3Ｇ，Ｋ4Ｒ）−ｍｉｎ（Ｇ，Ｒ）−ｍａｘ［Ｋ5（Ｇ−Ｒ），Ｋ6（Ｒ−Ｇ）］｝+・・・・・・・・・・・・・・・・・・・・・式１３
ＥC＝｛（Ｂ−Ｋ1）−Ｋ2ｍａｘ［ｍｉｎ
（Ｇ，Ｒ），Ｋ3Ｇ，Ｋ4Ｒ］−ｍａｘ［Ｋ5（Ｇ−Ｒ），Ｋ6（Ｒ−
Ｇ）］｝+・・・・・・・・・・・・・・・・・・・・・・・・・・・・・式１４
ＥC＝｛（Ｂ−Ｋ1）−
ｍａｘ［Ｋ2ｍｉｎ（Ｇ，Ｒ），Ｋ3Ｇ，Ｋ4Ｒ］−ｍａｘ［Ｋ5（Ｇ−
Ｒ），Ｋ6（Ｒ−Ｇ）］｝+・・・・・・・・・・・・・・・・・・・・式１４ａ
数式１２が、数式６に第３の項を追加したものであり、かつこの項がＫ5およびＫ6によって制御されることに留意されたい。
以下のように、表１および２で使用されたのと同じ色およびビデオ・レベルを数式１２および表３で使用する。
Ｋ5Ｋ6＝０およびＫ2Ｋ3Ｋ4Ｋ5＝１．０するとＥC＝｛Ｂ−
［ｍａｘ（Ｇ，Ｒ）＋Ｋ5（Ｇ−Ｒ）］｝+
表１、２、３のＥcを示す表３の最後の３列を調べると分かるように、表３（数式１２）のＥcは、青い目、明るく輝く青、およびすべてのグレイ・スケール被写体に対して丁度ゼロになる。黒い線の問題は、Ｋ3またはＫ4によって補正しない限り、シアン、マゼンタ、緑、および肌色に対してはある程度増大する。数式１３、数式１４、数式１４ａによって、Ｋ3とＫ4を共に同時に補正することができる。
改良されたＥc式を得る第４の技法は、比を使用することである。この技法では、バック色値の比に基づいて２つの数式が生成される。この数式は以下の通りである。
ＧＥC１＝Ｇ−Ｋ7Ｂ
ＲＥC１＝Ｒ−Ｋ8Ｂ
上式で、
Ｋ7＝ＧＭＡＸ／ＢＭＡＸ，Ｋ7＞０
Ｋ8＝ＧＭＡＸ／ＢＭＡＸ，Ｋ8＞０である。
ＲＭＡＸ、ＧＭＡＸ、ＢＭＡＸは、（手動で、あるいは、自動的に）選択された基準バック領域でのＲ値、Ｇ値、Ｂ値、すなわち、自動的に選択されるときは、バックの最も純粋な青を有するバック領域中の位置でのＲ値、Ｇ値、Ｂ値、または、手動で選択するときは、髪など微細な前景ディテイルを有する領域でのＲ値、Ｇ値、Ｂ値である。
比率式は、Ｇ／Ｂ値およびＲ／Ｂ値に基づく、バック色からの前景オブジェクトの色離れ量を表す。この数式は、すべての輝度値に関して、前景オブジェクトに対して正の値を有することも、負の値を有することもでき、バック領域に対してゼロを有することができる。
ＧＥc１およびＲＥc１の負の部分を以下のように選択する。
ＧＣＯＲ１＝ＭＩＮ［ＧＥc１，０］
ＲＣＯＲ１＝ＭＩＮ［ＲＥc１，０］
ＧＥＣ１およびＧＣＯＲ１から以下の２つの新規の数式を生成する。
ＧＥC２＝［１／（１−Ｋ7）］［Ｇ−ＧＣＯＲ１−Ｋ7Ｂ］
ＧＥC３＝［１／（１−Ｋ7）］［Ｇ−（ＧＣＯＲ１／ｋ7）−Ｋ7Ｂ］
ＲＥc１およびＲＣＯＲ１から以下の２つの新規の数式を生成する。
ＲＥC２＝［１／（１−Ｋ8）］［Ｒ−ＲＣＯＲ１−Ｋ8Ｂ］
ＲＥC３＝［１／（１−Ｋ8）］［Ｒ−（ＲＣＯＲ１／Ｋ8）−Ｋ8Ｂ］
上式で、ＧＥc２、ＧＥc３、ＲＥc２、ＲＥc３は、前景オブジェクトに対して正の値を有し、バック領域に対してゼロを有する。
ＧＥc２、ＧＥc３、ＲＥc２、ＲＥc３から以下の２つの数式を生成する。
ＥCＴ2＝ＭＡＸ［Ｋ3ＧＥC２，Ｋ4ＲＥC２］
ＥCＴ3＝ＭＩＮ［ＧＥC３，ＲＥC３］
上記の２つの項をＥc式３に追加して、以下の新規のＥc式を生成する。
ＥC＝｛［Ｂ−Ｋ1］−Ｋ2ＭＡＸ［Ｇ、Ｒ］＋ＭＡＸ［ＥCＴ２−
ＥCＴ３］｝+・・・・・・・・・・・・・・・・・・・・・・・・・・・式１５
上記の数式に項［ｍａｘＫ5（Ｇ−Ｒ），Ｋ6（Ｒ−Ｇ）］を追加する。
完全なＥc式は以下の数式で表される。
ＥC＝｛［Ｂ−Ｋ1］−Ｋ2ＭＡＸ［Ｇ、Ｒ］＋
ＭＡＸ［ＥCＴ２−ＥCＴ３］−ｍａｘＫ5（Ｇ−Ｒ）、Ｋ6（Ｒ−Ｇ）］｝+
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・式１６
数式１５および１６は、それらの数式で比率項が使用されることを除いて、数式１０および１３に類似している。
赤、黄褐色、茶色、肌色など暖かな色合いが含まれるとき、Ｅcは、数式１２中のＫ4を減少させることによって丁度ゼロになる。被写体が高飽和緑色を含む場合、Ｋ3を減少させることによって、被写体のエッジでＥcをゼロにすることができる。この２つのオプションは前述の特許で教示されているが、被写体の洋服ダンスが青いとき、これらの従来型のシステムでは、Ｋ2を増加させた後にＥc利得を増加させる必要があるために雑音が発生した。
本発明は、数式１０、１１、１１ａ、１３、１４、１４ａ、２５、２６の実施形態を対象とするものであり、中立色オブジェクトに影響を与えずにＫ3とＫ4を同時に調整することができる代替Ｅc式生成手段を提供する。本発明は、Ｅc式に項＋Ｋ5（Ｇ−Ｒ）またはＫ6（Ｒ−Ｇ）も追加し、そのため、Ｋ2もＥc利得も増加させずに、かなり明るく輝く青色の洋服ダンスを前景で使用することができる。
前景が、白に対して合成された明るい緑色とシアンを共に含む場合、青い被写体および青いバックを使用すると問題が発生することがある。この組合せでは、Ｋ3を使用して黒い線の問題を軽減することができず、この問題が存在する場合、背景が白であり、あるいは、非常に明るいとき、黒い線が見えるようになる。この条件の特定の組合せが発生することは非常にまれなので、画像を劣化させずに洋服ダンスおよび青い目を自由に使用できることは、画像合成の顕著な改良である。
前述のように、青い画面の前方のブロンドまたは茶色の髪を扱う際、Ｋ20［ホワイト・バランス］を調整して青いフレアを抑圧する必要がある。そうすると、白い前景オブジェクトはより暖かな色相を帯びる。
本発明では、上述の問題に対処するためにＥk式に新しい制御を追加する。この新しい制御、すなわちブラック・バランスは、ホワイト・バランス制御の「正の利得」に対して、Ｅk式中の青色チャネルに対する「負の利得」として働く。
修正されたＥk式は、以下の式で表される。
ＥK＝｛［Ｋ20Ｂ＋｛Ｋ21（（ＭＡＸＰＩＸ−
Ｂ）ＭＡＸＰＩＸ）］｝−［Ｋ22Ｇ＋ｍａｘ［Ｋ22（Ｇ−Ｒ）、Ｋ23（Ｒ−
Ｇ）］＋（１−Ｋ22）ｍｉｎ（Ｇ，Ｒ）］｝+・・・・・・・・・・・・式２２
上式で、
Ｋ20＝ホワイト・バランス
Ｋ21＝ブラック・バランス
Ｋ22＝ゲート１／３（ゲート１またはゲート３）
Ｋ23＝ゲート２である。
ＭＡＸＰＩＸ＝最大画素値［最大許容前景値］
ホワイト・バランスではなくブラック・バランスを使用して上述の問題を解決すると、明るい白の色相を変化させずに妥当な髪の色が復元される。数式２２は、画像合成システムのフレア抑制部分の顕著な改良を有する技法を説明するものである。
前述のように、青色画面を生成する際には、前景オブジェクト・ディテイルを保存し、同時に、最終合成画像から陰影をなくすることが望ましい場合がある。この一例は、バックと同じ色の手袋またはスーツを着用し、青い画面の前方であやつりり人形を動かす人形遣いである。このような青い手袋およびスーツは、バックとは異なる複雑な形（腕または体）を有するので、どれだけ強く照明されるかにかかわらず、様々な量の光を様々な方向に反射する。このような手袋およびスーツは、バックと同様に青色であるが、輝度が異なるものなので、上述のＥc式に類似の線形つや消し式では、このような変動はバック上の「陰影」として説明される。したがって、このような変動は、背景画像に移され、最終合成ビデオに現れる。青い手袋またはスーツは前景画像の一部であり、基準フレームには存在しないので、画面補正を使用することはできず、輝度の変動は、それが前景にも基準フレームにも存在する場合しか補正できない。既存のクリーンアップ機能はこのような輝度の変動をなくするが、同時に、前景のあやつり人形の微細なディテイルもなくする。したがって、あやつり人形は「切抜き絵」のようになる。
既存のクリーンアップを用いた場合、背景Ｅcだけを処理して陰影を除去すると、前景オブジェクト上に鮮やかなエッジがもたらされる。というのは、Ｅcの利得を増加させることによって、通常ＦＧ／ＢＧ遷移エッジに存在するよりもずっと高い値の背景画像が存在するからである。処理された前景にこのような過度の背景が追加されることによって、通常よりも明るく、したがって、鮮やかなエッジがもたらされる。エッジが鮮やかなものになるのを防止するために、クリーンアップを前景画像にも適用して前景エッジ値を減少させる。このように前景エッジ値を減少させると、微細ディテイル情報が失われる。
以下に説明する新規のクリーンアップ方法は、輝度の変動または「陰影」をなくし、前景オブジェクトの微細ディテイル情報の劣化を最小限に抑える。本発明は、背景が処理されるとき、背景にＥcが乗じられるために、画面の輝度の変動が背景画像に移されることを利用する。前景は、Ｅcを使用して画面をゼロに減じることによって処理され、Ｅcが画面と同じ輝度変動を含むので、すべてのこの変動はゼロに低減される。このプロセスは、上述の特許に記載されており、Ｕｌｔｉｍａｔｔｅ Ｃｏｒｐｏｒａｔｉｏｎ、すなわち、本発明の出願人の基本画像合成プロセスである。本発明は、処理済みの前景とＥc式を使用して、新規のＥc式を生成する。次いで、この数式を使用して背景画像を処理する。
所与の前景画像では、処理済み前景Ｒ、Ｇ、Ｂ式は以下の数式３１で表される。
ＰＲ Ｒ＝ｍａｘ｛［Ｒ−Ｋ30ＥC］，０｝
ＰＲ Ｇ＝ｍａｘ｛［Ｇ−Ｋ31ＥC］，０｝
ＰＲ Ｂ＝ｍａｘ｛［Ｂ−Ｋ32ＥC］，０｝
上式で、
Ｋ30＝ＲＭＡＸ／ＥcＭＡＸ
Ｋ31＝ＧＭＡＸ／ＥcＭＡＸ
Ｋ32＝ＢＭＡＸ／ＥcＭＡＸである。
Ｅcは、数式２のように最も簡単な形でも、数式３ないし数式１６に記載したより複雑な形でもよい。
ＥcＭＡＸ＝前景画像中の基準点でのＥcの値である。基準点は、手動で、あるいは自動的に選択され、選択基準によって、自動的に選択されるときは、バックの最も純粋な青が選択され、手動で選択するときは、髪など微細な前景ディテイルを有する領域が選択される。
ＲＭＡＸ、ＧＭＡＸ、ＢＭＡＸ＝ＥcＭＡＸ点でのバック色を表す前景画像のＲ値、Ｇ値、Ｂ値である。
ＢＧＥC＝（ｍｉｎ（Ｋ33ＥC、［ＭＡＸＰＩＸ−ｍａｘ（Ｋ34ＰＲ
Ｒ、Ｋ35ＰＲ Ｇ、Ｋ36ＰＲ Ｂ）］｝｝+・・・・・・・・・・・・・・式３０
上式で、
Ｋ33＝陰影クリーンアップ
Ｋ34＝Ｒクリーンアップ
Ｋ35＝Ｇクリーンアップ
Ｋ36＝Ｂクリーンアップ
ＭＡＸＰＩＸ＝最大前景画素値［最大許容前景値］
前記で指摘したように、処理済み前景は画面情報も陰影情報も有さない。３つの前景チャネルのうちの「最も高い前景チャネル」を反転する（反転してオフセットする）と、黒であった画面領域が白になり、前景色はそれぞれ反転される。数式３０に示したように、ＢＧＥcはこの項とＥcのうちの「より低い方」である。Ｋ33を１に設定し、Ｋ34、Ｋ35、Ｋ36を０に設定すると、ＢＧＥc＝Ｅcとなる。大きな利得をＥcに適用して陰影情報をなくし、Ｋ34、Ｋ35、Ｋ36を、妥当なエッジ遷移が得られるように設定する［Ｋ＞０］と、前景オブジェクト内のつや消しの密度はＥcによって保持されるが、遷移時に、反転された前景項によって妥当なレベルが与えられる。したがって、陰影がなくなり、微細ディテイル・エッジの劣化が最小限に抑えられ、あるいはなくなる。少量のエッジ・グローまたは少量の微細なディテイルの喪失が発生するのは、非常に黒い、あるいは黒い前景オブジェクトだけである。この方法は主として、明るい色のあやつり人形の例に類似の状況で使用されるので、この方法が与える顕著な利点と比べて欠点は無視できるものである。
ＢＧＥcを生成する代替技法は画面比率法である。この技法では、画面色比を使用して、陰影を含めて画面領域がゼロに低減される。以下の比率式が得られる。
ＧＥC１＝Ｇ−Ｋ7Ｂ
ＲＥC１＝Ｒ−Ｋ8Ｂ
上式で、
Ｋ7＝ＧＭＡＸ／ＢＭＡＸ，Ｋ7＞０
Ｋ8＝ＲＭＡＸ／ＢＭＡＸ，Ｋ8＞０である。
ＲＭＡＸ、ＧＭＡＸ、ＢＭＡＸは、手動で、あるいは、自動的に選択された基準バック領域でのＲ値、Ｇ値、Ｂ値、すなわち、自動的に選択されるときは、バックの最も純粋な青を有するバック領域中の位置でのＲ値、Ｇ値、Ｂ値、または、手動で選択するときは、髪など微細な前景ディテイルを有する領域でのＲ値、Ｇ値、Ｂ値である。
比率式は、Ｇ／Ｂ値およびＲ／Ｂ値に基づく、バックの色から前景オブジェクトの色離れ量を表す。この数式は、すべての輝度値に関して、前景オブジェクトに対して正の値を有することも、負の値を有することもでき、バック領域に対してゼロを有することができる。
ＧＥc１およびＲＥc１の負の部分を以下のように選択する。
ＧＣＯＲ１＝ＭＩＮ［ＧＥc１，０］
ＲＣＯＲ１＝ＭＩＮ［ＲＥc１，０］
ＧＣＯＲ１およびＲＣＯＲ１から以下の２つの新規の数式を生成する。
ＧＥC２＝［１／（１／Ｋ7）］［Ｇ−ＧＣＯＲ１−Ｋ7Ｂ］
ＲＥC２＝［１／（１／Ｋ8）］［Ｒ−ＲＣＯＲ１−Ｋ8Ｂ］
上式で、ＧＥc２およびＲＦｃ２は、前景オブジェクトに対して正の値を有し、バック領域に対してゼロを有する。
ＢＧＥC＝｛ｍｉｎ｛Ｋ33ＥC、［ＭＡＸＰＩＸ−
ｍａｘ（Ｋ37ＧＥC２、Ｋ38ＲＥC２）］｝｝+・・・・・・・・・・・・・式３１
上式で。
Ｋ33＝陰影クリーンアップ
Ｋ37＝ＧＥc２クリーンアップ
Ｋ38＝ＲＥc２クリーンアップ
ＭＡＸＰＩＸ＝最大前景画素値（最大許容前景値）
数式３１によって得られる結果は、数式３０によって得られる結果に非常に類似している。Ｋ37およびＫ38は、数式３０のＫ34、Ｋ35、Ｋ36と同様に働く。
ＢＧＥc式を生成する第３の技法は、単に数式３０と数式３１を組み合わせて以下の新規の数式形成することによるものである。
ＢＧＥC＝｛ｍｉｎ｛Ｋ33ＥC、［ＭＡＸＰＩＸ−ｍａｘ（Ｋ34ＰＲ
Ｒ、Ｋ35ＰＲ Ｇ、Ｋ36ＰＲ Ｂ、Ｋ37ＧＥC２、Ｋ38ＲＥC２）］｝｝+
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・式３２
上式で、
Ｋ33＝陰影クリーンアップ
Ｋ34＝Ｒクリーンアップ
Ｋ35＝Ｇクリーンアップ
Ｋ36＝Ｂクリーンアップ
Ｋ37＝ＧＥc２クリーンアップ
Ｋ38＝ＲＥc２クリーンアップ
ＭＡＸＰＩＸ＝最大前景画素値［最大許容前景値］
機能的には、数式３２は、数式３０および数式３１に類似しており、ある程度冗長な制御を有する。
本明細書に記載したすべての改良は、アナログ・ハードウェアでも、ディジタル・ハードウェアでも、ソフトウェアでも、この３つの方法のうちのどれかまたはすべての組合せでも実施することができる。
改良された画像合成式をどのようにハードウェアで実施するかの一例を第１図ないし第４図に示す。第１図は、基本画像合成システムのブロック図である。第２図、第３図、第４図は、改良された新規の数式が使用される第１図の各部分の拡大ブロック図である。
ＥcＧＥＮ１は、上述の技法によってＥc制御信号を生成する。数式１０、数式１１、数式１１ａ、または数式１２ないし１４ａによってＥc制御信号を生成する特定の回路は、当業者には明らかであろう。数式１４ａの実施の形態を示す第２図に適当な回路の一例を示す。つや消し制御１１は、Ｋ数として指定され、以下のように定義される。
Ｋ1＝黒い光沢
Ｋ2＝つや消し密度
Ｋ3＝密度バランス１
Ｋ4＝密度バランス２
Ｋ5＝密度１
Ｋ6＝密度２
これらの制御は、システム・オペレータによって、あるいはコンピュータの制御下で設定される。要素２１、２３、２５、２７、２９はマルチプライヤである。要素３１、３３、３５、３７は差動回路である。要素３９、４１、４３は遅延回路である。要素４５は、その入力の最小値を通過させる。要素４７、４９、５１は、その入力の最大値を通過させる。この接続では、要素４９への一方の入力が０なので、要素４９はゼロ・クリップとして機能する。
ＥcＭａｘ検出器３は、処理中の現画像に関して第２図の回路によって生成される最大Ｅc値および位置を検出する。この機能を実行する適当な回路の詳細は、当業者には容易に明らかになろう。
この値・位置情報は、ＲＧＢバイアス回路２に渡され、ＲＧＢバイアス回路は、前景画像を処理するのに必要な妥当なバイアス値を生成し、その結果、画像の画面領域は正しく黒に制限される。曇り制御６１は、このバイアス値に対するオペレータが調整するオーバライドである。適当なＲＧＢバイアス回路２は、１９８６年１２月２５日に発行されＵｌｔｉｍａｔｔｅ Ｃｏｒｐｏｒａｔｉｏｎに譲渡された米国特許第４６２５２３１号に記載されている。
Ｅk生成回路４は、本発明の改良されたフレア抑制またはＥk生成を代表するものである。第３図は、数式２２と等価の回路に対するＥk生成回路４の詳細ブロック図である。フレア制御は、Ｋ数として指定され、以下のように定義される。
Ｋ20＝ホワイト・バランス
Ｋ21＝ブラック・バランス
Ｋ22＝ゲート１
１−Ｋ22＝ゲート３
Ｋ23＝ゲート２
この例は、設定済み青色画面に関するものなので、Ｅkは、前景青色チャネルからのフレアを抑制する。第３図で、要素６１ないし６６はマルチプライヤであり、要素７１ないし７３は差動回路であり、要素７５は加算器／差動回路であり、要素７７は加算器である。第３図には、遅延要素８１ないし８５、最小選択回路９１、最大選択回路８７および８９、除算回路９１も示されている。ＭＡＸＰＩＸは差動回路７３および分割回路９１へ入力される。上述のＫ21は、マルチプライヤ６６に入力される。上述のＫ20は、マルチプライヤ６５に入力される。上述の定数１−Ｋ22は、マルチプライヤ６４に入力される。この回路へのＲＧＢ入力が、上述の回路要素および一定の入力によって処理されると、制御信号Ｅｋが生成される。
ＢＧＥc生成回路５には、本発明の陰影クリーンアップ式が組み込まれている。第４図は、数式３２の実施の形態を示すＢＧＥc生成回路５の詳細ブロック図を示す。クリーンアップ制御は、Ｋ数として指定され、以下のように定義される。
Ｋ33＝陰影クリーンアップ／ＢＧレベル・バランス
Ｋ34＝Ｒクリーンアップ
Ｋ35＝Ｇクリーンアップ
Ｋ36＝Ｂクリーンアップ
クリーンアップが必要でないとき、Ｋ33＝１、Ｋ34＝Ｋ35＝Ｋ36＝０であり、Ｋ33は、背景レベル・バランス制御として働き、前景画面領域に存在したすべての陰影情報を背景に移す。陰影が必要でないとき、Ｋ33は１よりも大きな値に設定され、Ｋ34、Ｋ35、Ｋ36は０よりも大きな値に設定される。このような調整は、オペレータによって設定され、それぞれ、他の入力としてＥc、ＰＲＢ、ＰＲＧ、およびＰＲＲを有する、マルチプライヤ１０１ないし１０４にそれぞれ入力される。Ｅcは上述のように第２図の回路によって生成される。ＰＲＢ、ＰＲＧ、およびＰＲＲは、それぞれ、差動回路１１１ないし１１３および最大比較器回路１１５ないし１１７によって生成された青、緑、および赤である。この結果はＢＧＥc生成回路５に入力される。第４図で、要素１１４および１１８は最大比較器であり、要素１１９は最小比較器であり、要素１２０は差動回路である。図示したように、ＢＧＥcは、最小比較器１１９から出力される信号である。
再び第１図を参照すると、背景画像は、マルチプライヤ１２１ないし１２３によってＢＧＥc生成回路５の出力が乗じられ、次いで、加算器１３１ないし１３３によって処理済み前景ＲＧＢが加算されて合成画像となる。
第３図および第４図に示した項ＭＡＸＰＩＸは最大許容前景画像値である（たとえば、画素色システム当たり８ビットの場合は２５５）。この値はシステムに依存する。
Ｄ１ないしＤ１７は遅延装置であり、システム中の様々な経路のタイミングをとるために使用される。使用すべき特定の遅延量はシステムに依存する。周知の技法によって様々な回路、加算器、および比較器を構築することができる。
本明細書の改良は、青いバックに関して説明したが、緑色バックおよび赤いバックにも有効である。緑色バックの場合、項Ｂと項Ｇを相互に交換する。赤いバックの場合は、項Ｒと項Ｂを相互に交換する。
米国特許第４１００５６９号、第４３４４０８５号、第４５８９０１３号、第４６２５２３１号は、着色されたバックとカメラの間に配設された前景被写体と背景シーンを合成して合成画像を形成するユニークな線形方法を記載している。この方法では、湯気でも、髪の毛でも、窓からの反射でも、カメラから見える背景シーン中のあらゆるもの（着色されたバックを除く）が、減衰なしで、かつ被写体を変化させずに、完全なレベルで再現される。この方法が線形であるのは、前景シーンの透過部分の後方の背景シーンも、前記透過部分を通じて着色されたバックの輝度および可視性の線形関数として再現するからである。
背景シーン・ビデオ・レベルは、バックの輝度および可視性に比例する制御信号Ｅcによって調整される。青いバックは、それをスイッチオフするのではなく、バックの青色成分、緑色成分、赤色成分（Ｂ、Ｇ、Ｒ）のそれぞれに等しいＥcの部分を減じることによって除去される。バックのビデオ信号をゼロに低減させれば、簡単な加算によってバックが背景ビデオ信号を受け入れる準備が完了する。上記の特許は、このような機能を詳細に説明するものである。
本発明では、Ｅc制御信号のいくつかの制限をなくすることによってＥc制御信号を改良する。これらの制限は以下の説明で明らかになろう。Ｅc制御信号は、その最も簡単な形では以下の数式１で表される。
Ｅc＝Ｂ−ｍａｘ（Ｇ，Ｒ）・・・・・・・・・・・・・・・・・・・・・式１
上式で、「ｍａｘ」は緑と赤のうちで大きい方を指定するものである。
Ｅc制御信号は、走査スポットが青いバックから離れて被写体に入り始めたときに低下を開始し、理想的には走査スポットが青いバックから離れて完全に被写体内に入った時点で丁度ゼロに達するべきである。明確に合焦される被写体の場合、この遷移は走査スポットの幅の範囲内で発生する。焦点の外れた被写体の場合、この遷移は、半透明のぼけたエッジの幅にわたって発生する。
前景被写体が完全に不透明になったときにＥcが完全にゼロになることが必須であり、そうでない場合、不透明な前景被写体を通じて背景シーンが見えるようになる。そのような印刷抜けは大量生産品質の合成ビデオでは受け入れられない。
数式１で丁度ゼロに達するＥcは、グレー・スケール・オブジェクトの場合に発生する。これは、Ｂ、Ｇ、Ｒが相互に等しいからである。
Ｅcは、シアン（Ｂ＝Ｇ）およびマゼンタ（Ｂ＝Ｒ）の場合にも丁度ゼロに達する。
しかし、青い目など、青い被写体の場合（ＲＧＢの典型的な値は、Ｂ＝８０、Ｇ＝７０、Ｒ＝６０）、数式１中のＥcはゼロに達せず、被写体が不透明である場合でも背景シーンの印刷抜けを発生させる。このため、以下のように数式１を定数ｋ2を追加するように修正する。
Ｅc＝Ｂ−Ｋ2ｍａｘ（Ｇ，Ｒ）・・・・・・・・・・・・・・・・・・・式２
Ｋ2を１．０から１．１４に増加させる（１４％）ことによって、Ｇは７０から８０のレベルに増加し、その場合、Ｅcはゼロになる。しかし、緑（および赤）を１４％増加させると、グレイ・スケール・オブジェクトでは、走査スポットがバックを離れる前にＥcがゼロに達する。Ｅcは、ゼロになると、走査スポットが完全に被写体に入る前に背景シーンを遮断する。前景被写体のエッジに背景ビデオがないと、前景被写体の周りに認識できる黒い線が残る。
数式２で、Ｅcは、光沢のある黒い被写体に青いバックの低レベルの反射が発生したときにもゼロに達しない。青いバックには緑も赤もほとんどないので、バックを反射する光沢のある黒いオブジェクトの場合、Ｋ2にはＥcをゼロに減少させる効果はない。したがって、このためにＫ1を追加する。この場合、Ｅc式は以下の数式３で表される。
Ｅc＝［（Ｂ−Ｋ1）−Ｋ2ｍａｘ（Ｇ，Ｒ）］+・・・・・・・・・・・・式３
（上付き文字「＋」の意味については以下に説明する）この数式は以下のように書き直すことができる。
ＫＥc＝［Ｋ1Ｂ−Ｋ2ｍａｘ（Ｇ，Ｒ）−Ｋ3］+・・・・・・・・・・・・式４
上式は、数式３とまったく同じ結果を達成する。
Ｅcをゼロに減少させる代替方法は以下の数式５で表される。
ＫＥc−Ｋ1＝［Ｂ−Ｋ2ｍａｘ（Ｇ，Ｒ）］+・・・・・・・・・・・・・式５
数式３、４、５は、同じ数式の変形例に過ぎず、同じ結果をもたらす。
ある種のシーン、具体的にはクローズアップでは、人間が重要な被写体であり、肌色の周りの黒い線をなくすることが重要である。これは、引用した特許では、項Ｋ3およびＫ4を追加して以下の数式を生成することによって行われた。
Ｅc＝［（Ｂ−Ｋ1）−Ｋ2ｍａｘ（Ｋ3Ｇ，Ｋ4Ｒ）］+・・・・・・・・・式６
肌色の赤色定数は、青色含有量または緑色含有量の少なくとも２倍の大きさなので、Ｅcが過度に早くゼロになり、したがって、黒いエッジが残る。この問題は、引用した特許では、数式６中のＫ4Ｒを減少させて肌色中の青のレベルを近似し、したがって、走査スポットが完全に青いバックを離れた時点でＥcがゼロに達するようにすることによって解決された。
Ｋ3によって、緑色被写体が最も関心のある被写体であるときＫ3Ｇを減少させることができる。
まれではあるが、青いバックが実際は、青ではなくシアンであることがある。この場合、上記のＥc式では、バック領域で十分なレベルのＥcをもたらすことができない。これは、引用した特許のうちのより新しい特許では、以下のように追加項Ｋ5を追加することによって補正された。
Ｅc＝｛（Ｂ−Ｋ1）−Ｋ2［Ｋ5ｍａｘ（Ｋ3Ｇ，Ｋ4Ｒ）＋（１−Ｋ5）ｍｉｎ
（Ｋ3Ｇ，Ｋ4Ｒ）］｝+・・・・・・・・・・・・・・・・・・・・・・・・式７
上式で「ｍｉｎ」は、各項のうちで「最も小さいもの」を指定するものである。
シアン色バックの場合、Ｋ5はゼロに設定され、したがって、数式７は以下のように低減される。
Ｅc＝［（Ｂ−Ｋ1）−Ｋ2ｍｉｎ（Ｋ3Ｇ，Ｋ4Ｒ）］+・・・・・・・式７．１
通常、妥当な青いバックを仮定すると、Ｅc制御信号は、Ｋ5（数式７）を１．０に設定し、数式６をもたらす。
「Ｋ」の値を１．０に設定しても、０に設定しても、他の何らかの値に設定しても、新しい数式が生成されないことに留意されたい。
上記の数式で、
Ｋ1＝黒い光沢制御
Ｋ2＝つや消し密度制御
Ｋ3＝緑色つや消し密度制御
Ｋ4＝赤色つや消し密度制御
Ｋ5＝バック純度制御
すべての前記の説明および数式は、引用した特許に記載されたものである。表１は、淡い青（目）および明るい青を含めていくつかの色に関する典型的なＢ、Ｇ、Ｒビデオ・レベルをリストしたものである。Ｅc値は、数式１を使用して算出した。Ｅcは、背景（ＢＧ）シーンを完全にターンオンした場合、１００でなければならず、不透明な被写体で遮られたときに背景が完全に遮断された場合、ゼロ（またはそれ以下）でなければならない。
引用した特許では、ゼロ・クリップを使用することによってＥcが負になることが妨げられる。ゼロ・クリップは、数式中では、Ｅc＝［−−−］+などＥcを生成する頂上の上付き文字として置かれたプラス（＋）符号によって指定される。ゼロ・クリップは、１つの入力がゼロにセットされた「ＯＲ」ゲートを使用して達成される。
引用した特許には記載されていないゼロ・クリップを生成する他の方法がある。たとえば、以下の数式９で、
Ｅc＝ｍａｘ（Ｂ，Ｇ）−ｍａｘ（Ｇ，Ｒ）・・・・・・・・・・・・・・式８
項ｍａｘ（Ｂ，Ｇ）は実際上、ある種の色の場合にゼロ・クリップを導入する。
すべての色に対するゼロ・クリップは、以下の数式によって達成される。
ＥC＝Ｋ1［ｍａｘ（ＫbＢ，ＫgＧ，ＫrＲ）−Ｋ2ｍａｘ（ＫgＧ，ＫrＲ）］・・・・・式９
数式９は見た所、数式６とは異なるが、まったく同じ結果をもたらす。表１は、クリップされる前の負のＥcを示すためにゼロ・クリップなしのＥcの値をリストしたものである。負の数のサイズは、バックから被写体へ遷移する際にＥc＝０となる点も示す。Ｅcは、青いバックで１００で、赤みがかった被写体では−１００であるとすると、走査スポットが遷移の中間位置にきたときにゼロになる。数式９は、表１中のＥcを計算するように再設定されると、青を除くすべての色に対してＥcがゼロになる。しかし、数式９の２つの項のそれぞれは、「ＭＡＸ」の表現、すなわち、「ＯＲ］ゲート、したがって、ゼロ・クリップを含む。バックから被写体への遷移中に、Ｅcは、数式１、２、３、４、５、６、７、８、９での遷移中のまったく同じ点で所与の色に対してゼロに達する。これらの数式はすべて、数式７として最もよく表された同じ基本数式の変形例であり、すべて、表１中の色に対して同じゼロ公差をもたらす。
数式４、５、８、９は、引用した特許では具体的に示されていないが、同じ関数を実行し同じ結果を得る。したがって、これらの数式は、新規のものとも、異なるものとも、より有用なものともみなされない。
引用した特許にリストされたＥc式では、数式６中のＫ2を増加させない限り、青被写体色を使用することはできない。数式６中のＫ2を増加させると、以下の表２に示したように、すべてのグレイ・スケール被写体とシアンおよびマゼンタが負のＥcを示し、雑音レベルが増大する。
表２は、数式６中のＫ2に１．１４を乗じたときのＥcを示す。背景シーンを完全にターンオンするために、Ｅcが１００になるようにＥcに１．７５が乗じられている。
この場合、青い目に対するＥcは、必要な値であるゼロになる。しかし、明るく輝く青に対するＥcは４０であり、これは、この青が印刷抜けすることを意味する。他の色は、黄色の場合を除いて、Ｋ3またはＫ4の調整に応じて受け入れられる。
数式６は、Ｋ2を増加させることによって青いバックに対する淡い青色陰影を再現することができる。他の色に対する雑音および目に見える黒いエッジが増加することによって、被写体をどれだけ青くすることができるかに関する限界に、すぐに達する。Ｋ2を増加させると、Ｅcは、すべてのグレイ・スケール被写体とシアンおよびマゼンタに対してゼロよりも小さくなり、これは望ましくない。
上述の特許に記載された方法は、前景オブジェクトから青いバックのすべての形跡をなくす動的クランプの青色チャネルを主題としている。青色クランプ式は、以下の数式１１で表される。
Ｂ≦Ｋ20Ｇ＋Ｋ22（Ｇ−Ｒ）+＋Ｋ23（Ｒ−Ｇ）+＋（１−Ｋ22）ｍｉｎ（Ｇ，Ｒ）
この青色クランプ式は、フレア抑圧式Ｅkとも呼ばれ、以下のように書くことができる。
Ｅk＝｛Ｋ20Ｂ−［Ｋ22Ｇ＋ｍａｘ［Ｋ22（Ｇ−Ｒ），
Ｋ23（Ｒ−Ｇ）］＋（１−Ｋ22）ｍｉｎ（Ｇ，Ｒ）］｝+
上式で、
Ｋ20＝ホワイト・バランス
Ｋ22＝ゲート１／３［ゲート１またはゲート３］
Ｋ23＝ゲート２である。
以下の手順が適用される。
１−Ｋ20は各目上、白い前景オブジェクト上のホワイト・バランスでは１．０である。
２−Ｋ22は通常、大部分のシーンでは１．０であり、そのため、前景オブジェクトはその色を保存する。前景オブジェクトが緑である場合、青いフレアによって色がシアンになる。Ｋ22を０．０に設定すると、前景オブジェクトに緑が復元される。
３−Ｋ23は通常、０．０に設定され、そのため前景の肌色が青いこぼれ光からのマゼンタ色合いを帯びることが防止される。ピンク色またはマゼンタ色を再現することが必須である場合、Ｋ23は、０．０ないし１．０の値に設定される。Ｋ23を、被写体を満たすピンク色またはマゼンタ色を生成するのに丁度よい値に設定し、それによって、肌色がマゼンタの色合いを帯びる度合いを最小限に抑えることが重要である。
青い画面の前方のブロンドまたは茶色の髪を扱う際は、青いフレアを抑制するようにＫ20［ホワイト・バランス］を調整する。そうすると、白い前景オブジェクトは、より暖かな色相を帯びる。本発明では、上述の問題に対処するためにＥk式に新しい制御を追加する。この新しい制御、すなわち、ブラック・バランスは、ホワイト・バランス制御の「正の利得」に対して、Ｅk式中の青色チャネルに対する「負の利得」として働く。
多数の青色画面生成方法では、画面のマーキング、欠陥、サスペンション・ワイヤ、不要な陰影、および望ましくないその他の画面要素を最終合成ビデオから電子的になくする必要がある。上述の特許は、クリーンアップ制御およびクリーンアップ・バランス制御を使用することによって、望ましくないすべてのこれらの画面要素をなくする手段を記載している。残念なことに、これらの制御を使用すると、望ましくない問題が生じ、すなわち、前景オブジェクトから微細なディテイルが失われる。画面の補正を扱う、上述の特許の発明者による特許のうちのより新しい特許は、前景オブジェクトからディテイルを喪失させずに、画面の輝度および色の一様性の変動を処理する代替技法を記載している。この画面補正処理は、前景フレームおよび基準フレームに共通するすべての画面の欠陥をなくし、同時に、前景オブジェクトのすべてのディテイル情報および陰影情報を保存する。しかし、前景オブジェクトのディテイルを保存し、同時に、前景陰影をなくすることが望ましい例がある。前景陰影をなくすると、前景ディテイルが失われるので、既存の形のクリーンアップも画面補正も十分な結果をもたらさない。本発明は、所望の結果を達成する方法および装置を対象とするものである。
発明の概要
本発明の目的は、緑色オブジェクトおよび肌色に対してＥcが丁度ゼロになるようにＫ3およびＫ4を調整しても、それと同時にグレイ・スケール被写体のＥcが低減されることも、印刷抜けが生じることもないように、Ｅc式を改良することである。また、本発明の目的は、Ｋ2つや消し密度制御を増大させることも、雑音レベルを増加させることもなしに、青いバックの存在下で淡い青から明るい青までの広範囲の青色を再現することである。
第３の目的は、このような結果をもたらす代替Ｅc式を示すことである。
本発明の第４の目的は、前景の明るい白い色合いに影響を与えずに、ブロンドまたは茶色の髪へバックの色のもれをなくす代替Ｅk式を示すことである。
本発明の第５の目的は、前景陰影をなくする陰影クリーンアップ式を生成し、同時に、大部分の前景ディテイル情報を保存することである。
【図面の簡単な説明】
第１図は、基本画像合成システムのブロック図である。
第２図は、数式１４ａの実施の形態を示す回路の一例を示す。
第３図は、数式２２と等価な回路に対するＥk生成回路のブロック図である。
第４図は、数式３２の実施の形態を示すＢＧＥC生成回路のブロック図を示す。
発明の詳細な説明
表１に指摘したように、肌色は、２０青、２５緑、７０赤などのビデオ・レベルを有する。走査スポットがその遷移を完了した時点でＥcをゼロにするには、緑と赤を共に２０に減少させなければならない。そうすると、すでにグレー・スケール被写体、シアン被写体、およびマゼンタ被写体に対してゼロであったＥcが正になり、印刷抜けが発生する（すなわち、背景が遮断されない）。この問題は、以下の新しいＥc式によって補正される。
Ｅc＝｛（Ｂ−Ｋ1）−Ｋ2ｍａｘ（Ｇ，Ｒ）＋
［ｍａｘ（Ｋ3Ｇ，Ｋ4Ｒ）−ｍｉｎ（Ｇ，Ｒ）］｝+・・・・・・・・・・式１０
上式で、Ｋ1をゼロに設定した場合、項Ｅc＝Ｂ−Ｋ2ｍａｘ（Ｇ，Ｒ）のために、Ｅcは、すべてのグレイ・スケール被写体とシアンおよびマゼンタに対してはゼロになるが、肌色に対しては負になる。次の項ｍａｘ（Ｋ3Ｇ，Ｋ4Ｒ）−ｍｉｎ（Ｇ，Ｒ）は正であり、したがって、Ｋ3−Ｋ4調整によって、Ｅcは肌色に対して丁度ゼロになる。グレイ・スケール被写体は影響を受けず、Ｅcは丁度ゼロのままである。シアンおよびマゼンタが存在する場合、それらは正のＥcを示す。
数式１０と同じ結果をもたらす簡単な方法は、数式１１によって達成される。
Ｅc＝（Ｂ−Ｋ1）−Ｋ2ｍａｘ［ｍｉｎ（Ｇ，Ｒ），（Ｋ3Ｇ，Ｋ4Ｒ］+・・式１１
この数式で、Ｋ3およびＫ4は、肌色とグレイ・スケール被写体に対して同時に丁度ゼロが得られるように調整することができる。
代替数式１１は以下のように表される。
Ｅc＝（Ｂ−Ｋ1）−ｍａｘ［Ｋ2ｍｉｎ（Ｇ，Ｒ），Ｋ3Ｇ，Ｋ4Ｒ］+・・・・・・式１１ａ
画像合成の専門家は常に、バック・カラーが青なので、黒い線の問題と雑音のために、前景被写体色としての目立つ青を避けなければならないと仮定する。
以下に説明する改良されたＥcでは、Ｋ2を増加させずに、かつそれほど黒い線の問題を生じさせずに、より広範囲の青前景色を含めることができる。
雑音を低減させるためにＥcを最小限に抑え、青色されたフィルム上の漏話を低減させるために、バック用に選択される青色は緑色成分も赤色成分もほとんど含まない。Ｅcは、青をハイにして、緑と赤を同様にローにすることによって最大になる。８０青、２０緑、および２０赤のビデオはそのようなバックを表す。
多数の明るい青色は、表３から分かるように、青から緑、緑から赤への降順ビデオ・レベルを有する。本発明ではこのほぼ線形の降順を使用する。
数式６中のＫ2も、改良された数式１０、数式１１、および数式１１ａ中のＫ2も増加させずに、青い目および青い洋服ダンスに対してＥcをゼロにする方法が必要であり、これが、本発明の目的である。上述の数式に新規の項ｍａｘ［Ｋ5（Ｇ−Ｒ），Ｋ5（Ｒ−Ｇ）］を追加して、改良された一連の数式１２ないし１４ａを得る。追加されたこの項によって、より広範囲の青い前景オブジェクトが許容され、青い画面の前方で降順Ｂ、Ｇ、ＲレベルまたはＢ、Ｒ、Ｇレベルを使用することができ、かつ発生する問題は最小限に抑えられる。この新規の１組の数式は以下のように表される。
ＥC＝｛（Ｂ−Ｋ1）−Ｋ2ｍａｘ（Ｋ3Ｇ，Ｋ4Ｒ）
−ｍａｘ｛（Ｋ5（Ｇ−Ｒ），Ｋ6（Ｒ−Ｇ）］｝+・・・・式１２
ＥC＝｛（Ｂ−Ｋ1）−Ｋ2ｍａｘ（Ｇ，Ｒ）＋
［ｍａｘ（Ｋ3Ｇ，Ｋ4Ｒ）−ｍｉｎ（Ｇ，Ｒ）−ｍａｘ［Ｋ5（Ｇ−Ｒ），Ｋ6（Ｒ−Ｇ）］｝+・・・・・・・・・・・・・・・・・・・・・式１３
ＥC＝｛（Ｂ−Ｋ1）−Ｋ2ｍａｘ［ｍｉｎ
（Ｇ，Ｒ），Ｋ3Ｇ，Ｋ4Ｒ］−ｍａｘ［Ｋ5（Ｇ−Ｒ），Ｋ6（Ｒ−
Ｇ）］｝+・・・・・・・・・・・・・・・・・・・・・・・・・・・・・式１４
ＥC＝｛（Ｂ−Ｋ1）−
ｍａｘ［Ｋ2ｍｉｎ（Ｇ，Ｒ），Ｋ3Ｇ，Ｋ4Ｒ］−ｍａｘ［Ｋ5（Ｇ−
Ｒ），Ｋ6（Ｒ−Ｇ）］｝+・・・・・・・・・・・・・・・・・・・・式１４ａ
数式１２が、数式６に第３の項を追加したものであり、かつこの項がＫ5およびＫ6によって制御されることに留意されたい。
以下のように、表１および２で使用されたのと同じ色およびビデオ・レベルを数式１２および表３で使用する。
Ｋ5Ｋ6＝０およびＫ2Ｋ3Ｋ4Ｋ5＝１．０するとＥC＝｛Ｂ−
［ｍａｘ（Ｇ，Ｒ）＋Ｋ5（Ｇ−Ｒ）］｝+
表１、２、３のＥcを示す表３の最後の３列を調べると分かるように、表３（数式１２）のＥcは、青い目、明るく輝く青、およびすべてのグレイ・スケール被写体に対して丁度ゼロになる。黒い線の問題は、Ｋ3またはＫ4によって補正しない限り、シアン、マゼンタ、緑、および肌色に対してはある程度増大する。数式１３、数式１４、数式１４ａによって、Ｋ3とＫ4を共に同時に補正することができる。
ＧＥC１＝Ｇ−Ｋ7Ｂ
ＲＥC１＝Ｒ−Ｋ8Ｂ
上式で、
Ｋ7＝ＧＭＡＸ／ＢＭＡＸ，Ｋ7＞０
Ｋ8＝ＧＭＡＸ／ＢＭＡＸ，Ｋ8＞０である。
ＲＭＡＸ、ＧＭＡＸ、ＢＭＡＸは、（手動で、あるいは、自動的に）選択された基準バック領域でのＲ値、Ｇ値、Ｂ値、すなわち、自動的に選択されるときは、バックの最も純粋な青を有するバック領域中の位置でのＲ値、Ｇ値、Ｂ値、または、手動で選択するときは、髪など微細な前景ディテイルを有する領域でのＲ値、Ｇ値、Ｂ値である。
比率式は、Ｇ／Ｂ値およびＲ／Ｂ値に基づく、バック色からの前景オブジェクトの色離れ量を表す。この数式は、すべての輝度値に関して、前景オブジェクトに対して正の値を有することも、負の値を有することもでき、バック領域に対してゼロを有することができる。
ＧＥc１およびＲＥc１の負の部分を以下のように選択する。
ＧＣＯＲ１＝ＭＩＮ［ＧＥc１，０］
ＲＣＯＲ１＝ＭＩＮ［ＲＥc１，０］
ＧＥＣ１およびＧＣＯＲ１から以下の２つの新規の数式を生成する。
ＧＥC２＝［１／（１−Ｋ7）］［Ｇ−ＧＣＯＲ１−Ｋ7Ｂ］
ＧＥC３＝［１／（１−Ｋ7）］［Ｇ−（ＧＣＯＲ１／ｋ7）−Ｋ7Ｂ］
ＲＥc１およびＲＣＯＲ１から以下の２つの新規の数式を生成する。
ＲＥC２＝［１／（１−Ｋ8）］［Ｒ−ＲＣＯＲ１−Ｋ8Ｂ］
ＲＥC３＝［１／（１−Ｋ8）］［Ｒ−（ＲＣＯＲ１／Ｋ8）−Ｋ8Ｂ］
上式で、ＧＥc２、ＧＥc３、ＲＥc２、ＲＥc３は、前景オブジェクトに対して正の値を有し、バック領域に対してゼロを有する。
ＧＥc２、ＧＥc３、ＲＥc２、ＲＥc３から以下の２つの数式を生成する。
ＥCＴ2＝ＭＡＸ［Ｋ3ＧＥC２，Ｋ4ＲＥC２］
ＥCＴ3＝ＭＩＮ［ＧＥC３，ＲＥC３］
上記の２つの項をＥc式３に追加して、以下の新規のＥc式を生成する。
ＥC＝｛［Ｂ−Ｋ1］−Ｋ2ＭＡＸ［Ｇ、Ｒ］＋ＭＡＸ［ＥCＴ２−
ＥCＴ３］｝+・・・・・・・・・・・・・・・・・・・・・・・・・・・式１５
上記の数式に項［ｍａｘＫ5（Ｇ−Ｒ），Ｋ6（Ｒ−Ｇ）］を追加する。
完全なＥc式は以下の数式で表される。
ＥC＝｛［Ｂ−Ｋ1］−Ｋ2ＭＡＸ［Ｇ、Ｒ］＋
ＭＡＸ［ＥCＴ２−ＥCＴ３］−ｍａｘＫ5（Ｇ−Ｒ）、Ｋ6（Ｒ−Ｇ）］｝+
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・式１６
数式１５および１６は、それらの数式で比率項が使用されることを除いて、数式１０および１３に類似している。
赤、黄褐色、茶色、肌色など暖かな色合いが含まれるとき、Ｅcは、数式１２中のＫ4を減少させることによって丁度ゼロになる。被写体が高飽和緑色を含む場合、Ｋ3を減少させることによって、被写体のエッジでＥcをゼロにすることができる。この２つのオプションは前述の特許で教示されているが、被写体の洋服ダンスが青いとき、これらの従来型のシステムでは、Ｋ2を増加させた後にＥc利得を増加させる必要があるために雑音が発生した。
本発明は、数式１０、１１、１１ａ、１３、１４、１４ａ、２５、２６の実施形態を対象とするものであり、中立色オブジェクトに影響を与えずにＫ3とＫ4を同時に調整することができる代替Ｅc式生成手段を提供する。本発明は、Ｅc式に項＋Ｋ5（Ｇ−Ｒ）またはＫ6（Ｒ−Ｇ）も追加し、そのため、Ｋ2もＥc利得も増加させずに、かなり明るく輝く青色の洋服ダンスを前景で使用することができる。
前景が、白に対して合成された明るい緑色とシアンを共に含む場合、青い被写体および青いバックを使用すると問題が発生することがある。この組合せでは、Ｋ3を使用して黒い線の問題を軽減することができず、この問題が存在する場合、背景が白であり、あるいは、非常に明るいとき、黒い線が見えるようになる。この条件の特定の組合せが発生することは非常にまれなので、画像を劣化させずに洋服ダンスおよび青い目を自由に使用できることは、画像合成の顕著な改良である。
前述のように、青い画面の前方のブロンドまたは茶色の髪を扱う際、Ｋ20［ホワイト・バランス］を調整して青いフレアを抑圧する必要がある。そうすると、白い前景オブジェクトはより暖かな色相を帯びる。
本発明では、上述の問題に対処するためにＥk式に新しい制御を追加する。この新しい制御、すなわちブラック・バランスは、ホワイト・バランス制御の「正の利得」に対して、Ｅk式中の青色チャネルに対する「負の利得」として働く。
修正されたＥk式は、以下の式で表される。
ＥK＝｛［Ｋ20Ｂ＋｛Ｋ21（（ＭＡＸＰＩＸ−
Ｂ）ＭＡＸＰＩＸ）］｝−［Ｋ22Ｇ＋ｍａｘ［Ｋ22（Ｇ−Ｒ）、Ｋ23（Ｒ−
Ｇ）］＋（１−Ｋ22）ｍｉｎ（Ｇ，Ｒ）］｝+・・・・・・・・・・・・式２２
上式で、
Ｋ20＝ホワイト・バランス
Ｋ21＝ブラック・バランス
Ｋ22＝ゲート１／３（ゲート１またはゲート３）
Ｋ23＝ゲート２である。
ＭＡＸＰＩＸ＝最大画素値［最大許容前景値］
ホワイト・バランスではなくブラック・バランスを使用して上述の問題を解決すると、明るい白の色相を変化させずに妥当な髪の色が復元される。数式２２は、画像合成システムのフレア抑制部分の顕著な改良を有する技法を説明するものである。
前述のように、青色画面を生成する際には、前景オブジェクト・ディテイルを保存し、同時に、最終合成画像から陰影をなくすることが望ましい場合がある。この一例は、バックと同じ色の手袋またはスーツを着用し、青い画面の前方であやつりり人形を動かす人形遣いである。このような青い手袋およびスーツは、バックとは異なる複雑な形（腕または体）を有するので、どれだけ強く照明されるかにかかわらず、様々な量の光を様々な方向に反射する。このような手袋およびスーツは、バックと同様に青色であるが、輝度が異なるものなので、上述のＥc式に類似の線形つや消し式では、このような変動はバック上の「陰影」として説明される。したがって、このような変動は、背景画像に移され、最終合成ビデオに現れる。青い手袋またはスーツは前景画像の一部であり、基準フレームには存在しないので、画面補正を使用することはできず、輝度の変動は、それが前景にも基準フレームにも存在する場合しか補正できない。既存のクリーンアップ機能はこのような輝度の変動をなくするが、同時に、前景のあやつり人形の微細なディテイルもなくする。したがって、あやつり人形は「切抜き絵」のようになる。
既存のクリーンアップを用いた場合、背景Ｅcだけを処理して陰影を除去すると、前景オブジェクト上に鮮やかなエッジがもたらされる。というのは、Ｅcの利得を増加させることによって、通常ＦＧ／ＢＧ遷移エッジに存在するよりもずっと高い値の背景画像が存在するからである。処理された前景にこのような過度の背景が追加されることによって、通常よりも明るく、したがって、鮮やかなエッジがもたらされる。エッジが鮮やかなものになるのを防止するために、クリーンアップを前景画像にも適用して前景エッジ値を減少させる。このように前景エッジ値を減少させると、微細ディテイル情報が失われる。
以下に説明する新規のクリーンアップ方法は、輝度の変動または「陰影」をなくし、前景オブジェクトの微細ディテイル情報の劣化を最小限に抑える。本発明は、背景が処理されるとき、背景にＥcが乗じられるために、画面の輝度の変動が背景画像に移されることを利用する。前景は、Ｅcを使用して画面をゼロに減じることによって処理され、Ｅcが画面と同じ輝度変動を含むので、すべてのこの変動はゼロに低減される。このプロセスは、上述の特許に記載されており、Ｕｌｔｉｍａｔｔｅ Ｃｏｒｐｏｒａｔｉｏｎ、すなわち、本発明の出願人の基本画像合成プロセスである。本発明は、処理済みの前景とＥc式を使用して、新規のＥc式を生成する。次いで、この数式を使用して背景画像を処理する。
所与の前景画像では、処理済み前景Ｒ、Ｇ、Ｂ式は以下の数式３１で表される。
ＰＲ Ｒ＝ｍａｘ｛［Ｒ−Ｋ30ＥC］，０｝
ＰＲ Ｇ＝ｍａｘ｛［Ｇ−Ｋ31ＥC］，０｝
ＰＲ Ｂ＝ｍａｘ｛［Ｂ−Ｋ32ＥC］，０｝
上式で、
Ｋ30＝ＲＭＡＸ／ＥcＭＡＸ
Ｋ31＝ＧＭＡＸ／ＥcＭＡＸ
Ｋ32＝ＢＭＡＸ／ＥcＭＡＸである。
Ｅcは、数式２のように最も簡単な形でも、数式３ないし数式１６に記載したより複雑な形でもよい。
ＥcＭＡＸ＝前景画像中の基準点でのＥcの値である。基準点は、手動で、あるいは自動的に選択され、選択基準によって、自動的に選択されるときは、バックの最も純粋な青が選択され、手動で選択するときは、髪など微細な前景ディテイルを有する領域が選択される。
ＲＭＡＸ、ＧＭＡＸ、ＢＭＡＸ＝ＥcＭＡＸ点でのバック色を表す前景画像のＲ値、Ｇ値、Ｂ値である。
ＢＧＥC＝（ｍｉｎ（Ｋ33ＥC、［ＭＡＸＰＩＸ−ｍａｘ（Ｋ34ＰＲ
Ｒ、Ｋ35ＰＲ Ｇ、Ｋ36ＰＲ Ｂ）］｝｝+・・・・・・・・・・・・・・式３０
上式で、
Ｋ33＝陰影クリーンアップ
Ｋ34＝Ｒクリーンアップ
Ｋ35＝Ｇクリーンアップ
Ｋ36＝Ｂクリーンアップ
ＭＡＸＰＩＸ＝最大前景画素値［最大許容前景値］
前記で指摘したように、処理済み前景は画面情報も陰影情報も有さない。３つの前景チャネルのうちの「最も高い前景チャネル」を反転する（反転してオフセットする）と、黒であった画面領域が白になり、前景色はそれぞれ反転される。数式３０に示したように、ＢＧＥcはこの項とＥcのうちの「より低い方」である。Ｋ33を１に設定し、Ｋ34、Ｋ35、Ｋ36を０に設定すると、ＢＧＥc＝Ｅcとなる。大きな利得をＥcに適用して陰影情報をなくし、Ｋ34、Ｋ35、Ｋ36を、妥当なエッジ遷移が得られるように設定する［Ｋ＞０］と、前景オブジェクト内のつや消しの密度はＥcによって保持されるが、遷移時に、反転された前景項によって妥当なレベルが与えられる。したがって、陰影がなくなり、微細ディテイル・エッジの劣化が最小限に抑えられ、あるいはなくなる。少量のエッジ・グローまたは少量の微細なディテイルの喪失が発生するのは、非常に黒い、あるいは黒い前景オブジェクトだけである。この方法は主として、明るい色のあやつり人形の例に類似の状況で使用されるので、この方法が与える顕著な利点と比べて欠点は無視できるものである。
ＢＧＥcを生成する代替技法は画面比率法である。この技法では、画面色比を使用して、陰影を含めて画面領域がゼロに低減される。以下の比率式が得られる。
ＧＥC１＝Ｇ−Ｋ7Ｂ
ＲＥC１＝Ｒ−Ｋ8Ｂ
上式で、
Ｋ7＝ＧＭＡＸ／ＢＭＡＸ，Ｋ7＞０
Ｋ8＝ＲＭＡＸ／ＢＭＡＸ，Ｋ8＞０である。
ＲＭＡＸ、ＧＭＡＸ、ＢＭＡＸは、手動で、あるいは、自動的に選択された基準バック領域でのＲ値、Ｇ値、Ｂ値、すなわち、自動的に選択されるときは、バックの最も純粋な青を有するバック領域中の位置でのＲ値、Ｇ値、Ｂ値、または、手動で選択するときは、髪など微細な前景ディテイルを有する領域でのＲ値、Ｇ値、Ｂ値である。
比率式は、Ｇ／Ｂ値およびＲ／Ｂ値に基づく、バックの色から前景オブジェクトの色離れ量を表す。この数式は、すべての輝度値に関して、前景オブジェクトに対して正の値を有することも、負の値を有することもでき、バック領域に対してゼロを有することができる。
ＧＥc１およびＲＥc１の負の部分を以下のように選択する。
ＧＣＯＲ１＝ＭＩＮ［ＧＥc１，０］
ＲＣＯＲ１＝ＭＩＮ［ＲＥc１，０］
ＧＣＯＲ１およびＲＣＯＲ１から以下の２つの新規の数式を生成する。
ＧＥC２＝［１／（１／Ｋ7）］［Ｇ−ＧＣＯＲ１−Ｋ7Ｂ］
ＲＥC２＝［１／（１／Ｋ8）］［Ｒ−ＲＣＯＲ１−Ｋ8Ｂ］
上式で、ＧＥc２およびＲＦｃ２は、前景オブジェクトに対して正の値を有し、バック領域に対してゼロを有する。
ＢＧＥC＝｛ｍｉｎ｛Ｋ33ＥC、［ＭＡＸＰＩＸ−
ｍａｘ（Ｋ37ＧＥC２、Ｋ38ＲＥC２）］｝｝+・・・・・・・・・・・・・式３１
上式で。
Ｋ33＝陰影クリーンアップ
Ｋ37＝ＧＥc２クリーンアップ
Ｋ38＝ＲＥc２クリーンアップ
ＭＡＸＰＩＸ＝最大前景画素値（最大許容前景値）
数式３１によって得られる結果は、数式３０によって得られる結果に非常に類似している。Ｋ37およびＫ38は、数式３０のＫ34、Ｋ35、Ｋ36と同様に働く。
ＢＧＥc式を生成する第３の技法は、単に数式３０と数式３１を組み合わせて以下の新規の数式形成することによるものである。
ＢＧＥC＝｛ｍｉｎ｛Ｋ33ＥC、［ＭＡＸＰＩＸ−ｍａｘ（Ｋ34ＰＲ
Ｒ、Ｋ35ＰＲ Ｇ、Ｋ36ＰＲ Ｂ、Ｋ37ＧＥC２、Ｋ38ＲＥC２）］｝｝+
・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・式３２
上式で、
Ｋ33＝陰影クリーンアップ
Ｋ34＝Ｒクリーンアップ
Ｋ35＝Ｇクリーンアップ
Ｋ36＝Ｂクリーンアップ
Ｋ37＝ＧＥc２クリーンアップ
Ｋ38＝ＲＥc２クリーンアップ
ＭＡＸＰＩＸ＝最大前景画素値［最大許容前景値］
機能的には、数式３２は、数式３０および数式３１に類似しており、ある程度冗長な制御を有する。
本明細書に記載したすべての改良は、アナログ・ハードウェアでも、ディジタル・ハードウェアでも、ソフトウェアでも、この３つの方法のうちのどれかまたはすべての組合せでも実施することができる。
改良された画像合成式をどのようにハードウェアで実施するかの一例を第１図ないし第４図に示す。第１図は、基本画像合成システムのブロック図である。第２図、第３図、第４図は、改良された新規の数式が使用される第１図の各部分の拡大ブロック図である。
ＥcＧＥＮ１は、上述の技法によってＥc制御信号を生成する。数式１０、数式１１、数式１１ａ、または数式１２ないし１４ａによってＥc制御信号を生成する特定の回路は、当業者には明らかであろう。数式１４ａの実施の形態を示す第２図に適当な回路の一例を示す。つや消し制御１１は、Ｋ数として指定され、以下のように定義される。
Ｋ1＝黒い光沢
Ｋ2＝つや消し密度
Ｋ3＝密度バランス１
Ｋ4＝密度バランス２
Ｋ5＝密度１
Ｋ6＝密度２
これらの制御は、システム・オペレータによって、あるいはコンピュータの制御下で設定される。要素２１、２３、２５、２７、２９はマルチプライヤである。要素３１、３３、３５、３７は差動回路である。要素３９、４１、４３は遅延回路である。要素４５は、その入力の最小値を通過させる。要素４７、４９、５１は、その入力の最大値を通過させる。この接続では、要素４９への一方の入力が０なので、要素４９はゼロ・クリップとして機能する。
ＥcＭａｘ検出器３は、処理中の現画像に関して第２図の回路によって生成される最大Ｅc値および位置を検出する。この機能を実行する適当な回路の詳細は、当業者には容易に明らかになろう。
この値・位置情報は、ＲＧＢバイアス回路２に渡され、ＲＧＢバイアス回路は、前景画像を処理するのに必要な妥当なバイアス値を生成し、その結果、画像の画面領域は正しく黒に制限される。曇り制御６１は、このバイアス値に対するオペレータが調整するオーバライドである。適当なＲＧＢバイアス回路２は、１９８６年１２月２５日に発行されＵｌｔｉｍａｔｔｅ Ｃｏｒｐｏｒａｔｉｏｎに譲渡された米国特許第４６２５２３１号に記載されている。
Ｅk生成回路４は、本発明の改良されたフレア抑制またはＥk生成を代表するものである。第３図は、数式２２と等価の回路に対するＥk生成回路４の詳細ブロック図である。フレア制御は、Ｋ数として指定され、以下のように定義される。
Ｋ20＝ホワイト・バランス
Ｋ21＝ブラック・バランス
Ｋ22＝ゲート１
１−Ｋ22＝ゲート３
Ｋ23＝ゲート２
この例は、設定済み青色画面に関するものなので、Ｅkは、前景青色チャネルからのフレアを抑制する。第３図で、要素６１ないし６６はマルチプライヤであり、要素７１ないし７３は差動回路であり、要素７５は加算器／差動回路であり、要素７７は加算器である。第３図には、遅延要素８１ないし８５、最小選択回路９１、最大選択回路８７および８９、除算回路９１も示されている。ＭＡＸＰＩＸは差動回路７３および分割回路９１へ入力される。上述のＫ21は、マルチプライヤ６６に入力される。上述のＫ20は、マルチプライヤ６５に入力される。上述の定数１−Ｋ22は、マルチプライヤ６４に入力される。この回路へのＲＧＢ入力が、上述の回路要素および一定の入力によって処理されると、制御信号Ｅｋが生成される。
ＢＧＥc生成回路５には、本発明の陰影クリーンアップ式が組み込まれている。第４図は、数式３２の実施の形態を示すＢＧＥc生成回路５の詳細ブロック図を示す。クリーンアップ制御は、Ｋ数として指定され、以下のように定義される。
Ｋ33＝陰影クリーンアップ／ＢＧレベル・バランス
Ｋ34＝Ｒクリーンアップ
Ｋ35＝Ｇクリーンアップ
Ｋ36＝Ｂクリーンアップ
クリーンアップが必要でないとき、Ｋ33＝１、Ｋ34＝Ｋ35＝Ｋ36＝０であり、Ｋ33は、背景レベル・バランス制御として働き、前景画面領域に存在したすべての陰影情報を背景に移す。陰影が必要でないとき、Ｋ33は１よりも大きな値に設定され、Ｋ34、Ｋ35、Ｋ36は０よりも大きな値に設定される。このような調整は、オペレータによって設定され、それぞれ、他の入力としてＥc、ＰＲＢ、ＰＲＧ、およびＰＲＲを有する、マルチプライヤ１０１ないし１０４にそれぞれ入力される。Ｅcは上述のように第２図の回路によって生成される。ＰＲＢ、ＰＲＧ、およびＰＲＲは、それぞれ、差動回路１１１ないし１１３および最大比較器回路１１５ないし１１７によって生成された青、緑、および赤である。この結果はＢＧＥc生成回路５に入力される。第４図で、要素１１４および１１８は最大比較器であり、要素１１９は最小比較器であり、要素１２０は差動回路である。図示したように、ＢＧＥcは、最小比較器１１９から出力される信号である。
再び第１図を参照すると、背景画像は、マルチプライヤ１２１ないし１２３によってＢＧＥc生成回路５の出力が乗じられ、次いで、加算器１３１ないし１３３によって処理済み前景ＲＧＢが加算されて合成画像となる。
第３図および第４図に示した項ＭＡＸＰＩＸは最大許容前景画像値である（たとえば、画素色システム当たり８ビットの場合は２５５）。この値はシステムに依存する。
Ｄ１ないしＤ１７は遅延装置であり、システム中の様々な経路のタイミングをとるために使用される。使用すべき特定の遅延量はシステムに依存する。周知の技法によって様々な回路、加算器、および比較器を構築することができる。
本明細書の改良は、青いバックに関して説明したが、緑色バックおよび赤いバックにも有効である。緑色バックの場合、項Ｂと項Ｇを相互に交換する。赤いバックの場合は、項Ｒと項Ｂを相互に交換する。
Claims (23)
- 前景シーンが、着色されたバックとビデオ・カメラの間に配設された前景被写体を含み、前景シーンおよび背景シーン用の赤色成分、青色成分、および緑色成分を有するビデオ信号を合成するシステムにおいて、
ａ）着色されたバックの輝度および可視性に比例するレベルを有する制御信号を生成する手段であって、その制御信号が、緑または肌色である前景被写体の部分に対してゼロに等しいとき、同時に、グレイ・スケール被写体に対して低減されることがないように生成され、その結果、印刷抜けをなくすようにされた、制御信号を生成する手段（１）を備え、その制御信号Ｅ C が、
ＥC＝{(Ｂ−Ｋ1)−Ｋ2 max(Ｇ，Ｒ)＋[max(Ｋ3Ｇ，Ｋ4Ｒ)−min(Ｇ，Ｒ)]}+
の形をとり、ここにＲ，Ｇ，Ｂは前記バックのビデオ信号の赤色成分，緑色成分，青色成分であり、
ｂ）ビデオ・ラインごとに前記バックのビデオ信号の赤、青、緑の色成分のビデオ信号レベルに一致するように制御信号のレベルを調整する手段（３）を備え、
ｃ）前景シーン・ビデオ信号から、ビデオ信号レベルに一致するように調整された制御信号を減じる手段を備え、それによりビデオ・ラインごとに前記バックの色成分が除去された前景シーン・ビデオ信号が得られ、
ｄ）背景シーン・ビデオ信号のレベルを制御信号の線形関数として制御する手段（６）を備え、
ｅ）前記バックの色成分がビデオ・ラインごとに個別に除去された前景シーン・ビデオ信号と、レベルが制御信号によって制御された背景シーン・ビデオ信号とを組み合わせる手段（７）を備える
ことを特徴とするシステム。 - 前景シーンが、着色されたバックとビデオ・カメラの間に配設された前景被写体を含み、前景シーンおよび背景シーン用の赤色成分、青色成分、および緑色成分を有するビデオ信号を合成するシステムにおいて、
ａ）着色されたバックの輝度および可視性に比例するレベルを有する制御信号を生成する手段であって、その制御信号が、緑または肌色である前景被写体の部分に対してゼロに等しいとき、同時に、グレイ・スケール被写体に対して低減されることがないように生成され、その結果、印刷抜けをなくすようにされた、制御信号を生成する手段（１）を備え、その制御信号ＥCが、
ＥC＝{(Ｂ−Ｋ1)−Ｋ2max(Ｋ3Ｇ，Ｋ4Ｒ)−max[Ｋ5(Ｇ−Ｒ)，Ｋ6(Ｒ−Ｇ)]}+
の形をとり、ここにＲ，Ｇ，Ｂは前記バックのビデオ信号の赤色成分，緑色成分，青色成分であり、
ｂ）ビデオ・ラインごとに前記バックのビデオ信号の赤、青、緑の色成分のビデオ信号レベルに一致するように制御信号のレベルを調整する手段（３）を備え、
ｃ）前景シーン・ビデオ信号から、ビデオ信号レベルに一致するように調整された制御信号を減じる手段を備え、それによりビデオ・ラインごとに前記バックの色成分が除去された前景シーン・ビデオ信号が得られ、
ｄ）背景シーン・ビデオ信号のレベルを制御信号の線形関数として制御する手段（６）を備え、
ｅ）前記バックの色成分がビデオ・ラインごとに個別に除去された前景シーン・ビデオ信号と、レベルが制御信号によって制御された背景シーン・ビデオ信号とを組み合わせる手段（７）を備える
ことを特徴とするシステム。 - 前景シーンが、着色されたバックとビデオ・カメラの間に配設された前景被写体を含み、前景シーンおよび背景シーン用の赤色成分、青色成分、および緑色成分を有するビデオ信号を合成するシステムにおいて、
ａ）着色されたバックの輝度および可視性に比例するレベルを有する制御信号を生成する手段であって、その制御信号が、緑または肌色である前景被写体の部分に対してゼロに等しいとき、同時に、グレイ・スケール被写体に対して低減されることがないように生成され、その結果、印刷抜けをなくすようにされた、制御信号を生成する手段（１）を備え、その制御信号ＥCが、
ＥC＝{(Ｂ−Ｋ1)−Ｋ2max(Ｇ，Ｒ)＋
[max(Ｋ3Ｇ，Ｋ4Ｒ)−min(Ｇ，Ｒ)−max[Ｋ5(Ｇ−Ｒ)，Ｋ6(Ｒ−Ｇ)]}+
の形をとり、ここにＲ，Ｇ，Ｂは前記バックのビデオ信号の赤色成分，緑色成分，青色成分であり、
ｂ）ビデオ・ラインごとに前記バックのビデオ信号の赤、青、緑の色成分のビデオ信号レベルに一致するように制御信号のレベルを調整する手段（３）を備え、
ｃ）前景シーン・ビデオ信号から、ビデオ信号レベルに一致するように調整された制御信号を減じる手段を備え、それによりビデオ・ラインごとに前記バックの色成分が除去された前景シーン・ビデオ信号が得られ、
ｄ）背景シーン・ビデオ信号のレベルを制御信号の線形関数として制御する手段（６）を備え、
ｅ）前記バックの色成分がビデオ・ラインごとに個別に除去された前景シーン・ビデオ信号と、レベルが制御信号によって制御された背景シーン・ビデオ信号とを組み合わせる手段（７）を備える
ことを特徴とするシステム。 - 前景シーンが、着色されたバックとビデオ・カメラの間に配設された前景被写体を含み、前景シーンおよび背景シーン用の赤色成分、青色成分、および緑色成分を有するビデオ信号を合成するシステムにおいて、
ａ）着色されたバックの輝度および可視性に比例するレベルを有する制御信号を生成する手段であって、その制御信号が、緑または肌色である前景被写体の部分に対してゼロに等しいとき、同時に、グレイ・スケール被写体に対して低減されることがないように生成され、その結果、印刷抜けをなくすようにされた、制御信号を生成する手段（１）を備え、その制御信号ＥCが、
ＥC＝{(Ｂ−Ｋ1)−Ｋ2max[min(Ｇ，Ｒ)，Ｋ3Ｇ，Ｋ4Ｒ]
−max[Ｋ5(Ｇ−Ｒ)，Ｋ6(Ｒ−Ｇ)]}+
の形をとり、ここにＲ，Ｇ，Ｂは前記バックのビデオ信号の赤色成分，緑色成分，青色成分であり、
ｂ）ビデオ・ラインごとに前記バックのビデオ信号の赤、青、緑の色成分のビデオ信号レベルに一致するように制御信号のレベルを調整する手段（３）を備え、
ｃ）前景シーン・ビデオ信号から、ビデオ信号レベルに一致するように調整された制御信号を減じる手段を備え、それによりビデオ・ラインごとに前記バックの色成分が除去された前景シーン・ビデオ信号が得られ、
ｄ）背景シーン・ビデオ信号のレベルを制御信号の線形関数として制御する手段（６）を備え、
ｅ）前記バックの色成分がビデオ・ラインごとに個別に除去された前景シーン・ビデオ信号と、レベルが制御信号によって制御された背景シーン・ビデオ信号とを組み合わせる手段（７）を備える
ことを特徴とするシステム。 - 前景シーンが、着色されたバックとビデオ・カメラの間に配設された前景被写体を含み、前景シーンおよび背景シーン用の赤色成分、青色成分、および緑色成分を有するビデオ信号を合成するシステムにおいて、
ａ）着色されたバックの輝度および可視性に比例するレベルを有する制御信号を生成する手段であって、その制御信号が、緑または肌色である前景被写体の部分に対してゼロに等しいとき、同時に、グレイ・スケール被写体に対して低減されることがないように生成され、その結果、印刷抜けをなくすようにされた、制御信号を生成する手段（１）を備え、その制御信号ＥCが、
ＥC＝{(Ｂ−Ｋ1)−max[Ｋ2min(Ｇ，Ｒ)，Ｋ3Ｇ，Ｋ4Ｒ]
−max[Ｋ5(Ｇ−Ｒ)，Ｋ6(Ｒ−Ｇ)]}+
の形をとり、ここにＲ，Ｇ，Ｂは前記バックのビデオ信号の赤色成分，緑色成分，青色成分であり、
ｂ）ビデオ・ラインごとに前記バックのビデオ信号の赤、青、緑の色成分のビデオ信号レベルに一致するように制御信号のレベルを調整する手段（３）を備え、
ｃ）前景シーン・ビデオ信号から、ビデオ信号レベルに一致するように調整された制御信号を減じる手段を備え、それによりビデオ・ラインごとに前記バックの色成分が除去された前景シーン・ビデオ信号が得られ、
ｄ）背景シーン・ビデオ信号のレベルを制御信号の線形関数として制御する手段（６）を備え、
ｅ）前記バックの色成分がビデオ・ラインごとに個別に除去された前景シーン・ビデオ信号と、レベルが制御信号によって制御された背景シーン・ビデオ信号とを組み合わせる手段（７）を備える
ことを特徴とするシステム。 - 前景シーンが、着色されたバックとビデオ・カメラの間に配設された前景被写体を含み、前景シーンおよび背景シーン用の赤色成分、青色成分、および緑色成分を有するビデオ信号を合成するシステムにおいて、
ａ）着色されたバックの輝度および可視性に比例するレベルを有する制御信号を生成する手段であって、その制御信号が、緑または肌色である前景被写体の部分に対してゼロに等しいとき、同時に、グレイ・スケール被写体に対して低減されることがないように生成され、その結果、印刷抜けをなくすようにされた、制御信号を生成する手段（１）を備え、その制御信号ＥCが、
ＥC＝{(Ｂ−Ｋ1)−Ｋ2MAX[Ｇ，Ｒ]＋MAX[ＥcＴ２−ＥcＴ３]}+
の形をとり、ここに、ＥcＴ２＝MAX[Ｋ3ＧＥc２，Ｋ4ＲＥc２]およびＥcＴ３＝MIN[ＧＥc３，ＲＥc３]であり、Ｒ，Ｇ，Ｂは前記バックのビデオ信号の赤色成分，緑色成分，青色成分であり、
ｂ）ビデオ・ラインごとに前記バックのビデオ信号の赤、青、緑の色成分のビデオ信号レベルに一致するように制御信号のレベルを調整する手段（３）を備え、
ｃ）前景シーン・ビデオ信号から、ビデオ信号レベルに一致するように調整された制御信号を減じる手段を備え、それによりビデオ・ラインごとに前記バックの色成分が除去された前景シーン・ビデオ信号が得られ、
ｄ）背景シーン・ビデオ信号のレベルを制御信号の線形関数として制御する手段（６）を備え、
ｅ）前記バックの色成分がビデオ・ラインごとに個別に除去された前景シーン・ビデオ信号と、レベルが制御信号によって制御された背景シーン・ビデオ信号とを組み合わせる手段（７）を備える
ことを特徴とするシステム。 - 前景シーンが、着色されたバックとビデオ・カメラの間に配設された前景被写体を含み、前景シーンおよび背景シーン用の赤色成分、青色成分、および緑色成分を有するビデオ信号を合成するシステムにおいて、
ａ）着色されたバックの輝度および可視性に比例するレベルを有する制御信号を生成する手段であって、その制御信号が、緑または肌色である前景被写体の部分に対してゼロに等しいとき、同時に、グレイ・スケール被写体に対して低減されることがないように生成され、その結果、印刷抜けをなくすようにされた、制御信号を生成する手段（１）を備え、その制御信号ＥCが、
ＥC＝{[Ｂ−Ｋ1]−Ｋ2MAX[Ｇ，Ｒ]＋MAX[ＥcＴ２−ＥcＴ３]
−[maxＫ5(Ｇ−Ｒ)，Ｋ6(Ｒ−Ｇ)]}+
の形をとり、ここに、ＥcＴ２＝MAX[Ｋ3ＧＥc２，Ｋ4ＲＥc２]およびＥcＴ３＝MIN[ＧＥc３，ＲＥc３]であり、Ｒ，Ｇ，Ｂは前記バックのビデオ信号の赤色成分，緑色成分，青色成分であり、
ｂ）ビデオ・ラインごとに前記バックのビデオ信号の赤、青、緑の色成分のビデオ信号レベルに一致するように制御信号のレベルを調整する手段（３）を備え、
ｃ）前景シーン・ビデオ信号から、ビデオ信号レベルに一致するように調整された制御信号を減じる手段を備え、それによりビデオ・ラインごとに前記バックの色成分が除去された前景シーン・ビデオ信号が得られ、
ｄ）背景シーン・ビデオ信号のレベルを制御信号の線形関数として制御する手段（６）を備え、
ｅ）前記バックの色成分がビデオ・ラインごとに個別に除去された前景シーン・ビデオ信号と、レベルが制御信号によって制御された背景シーン・ビデオ信号とを組み合わせる手段（７）を備える
ことを特徴とするシステム。 - 請求項１〜７の何れか１項に記載のシステムにおいて、
青色バックの前方のブロンドまたは茶色の前景被写体のためにフレアを抑制し、同時に、白い前景被写体がより暖かな色相を帯びることを抑えるＥk信号を生成する手段（４）を備え、そのＥk信号が、
Ｅk＝{[Ｋ20Ｂ＋[Ｋ21((MAXPIX−B) / MAXPIX)]]
−[Ｋ22Ｇ＋max[Ｋ22(Ｇ−Ｒ)，Ｋ23(Ｒ−Ｇ)]＋(1−Ｋ22)min(Ｇ，Ｒ)]}+
の形をとり、ここに、MAXPIXは最大画素値であり、Ｒ，Ｇ，Ｂは前記バックのビデオ信号の赤色成分，緑色成分，青色成分であり、
前記調整された制御信号を減じる手段は、前景ビデオシーンの青色成分については、前記調整された制御信号を減じ、さらに前記Ｅk信号を減じるようにされている
ことを特徴とするシステム。 - 前景シーンが、着色されたバックとビデオ・カメラの間に配設された前景被写体を含み、前景シーンおよび背景シーン用の赤色成分、青色成分、および緑色成分を有するビデオ信号を合成するシステムにおいて、
ａ）着色されたバックの輝度および可視性に比例するレベルを有する制御信号を生成する手段であって、その制御信号が、緑または肌色である前景被写体の部分に対してゼロに等しいとき、同時に、グレイ・スケール被写体に対して低減されることがないように生成され、その結果、印刷抜けをなくすようにされた、制御信号を生成する手段（１）を備え、その制御信号Ｅcが、
ＥC＝{(Ｂ−Ｋ1)−Ｋ2 max(Ｇ，Ｒ)＋[max(Ｋ3Ｇ，Ｋ4Ｒ)−min(Ｇ，Ｒ)]}+
の形をとり、ここにＲ，Ｇ，Ｂは前記バックのビデオ信号の赤色成分，緑色成分，青色成分であり、
ｂ）ビデオ・ラインごとに前記バックのビデオ信号の赤、青、緑の色成分のビデオ信号レベルに一致するように制御信号のレベルを調整する手段（３）を備え、
ｃ）前景シーン・ビデオ信号から、ビデオ信号レベルに一致するように調整された制御信号を減じる手段であって、それにより前記バックの色成分がビデオ・ラインごとに除去された前景シーン・ビデオ信号が得られ、
ｄ）前記バックの色成分が除去された前景シーン・ビデオ信号の赤色成分、青色成分、緑色成分のそれぞれごとにクリーンアップ信号を生成する手段を備え、
ｅ）このクリーンアップ信号を生成する手段および前記制御信号を生成する手段に結合され、前記前景シーン・ビデオ信号中の陰影を、微細ディテイル・エッジの劣化を抑えつつなくすためのＢＧＥc信号を生成するＢＧＥc生成手段（５）を備え、
ｆ）背景シーン・ビデオ信号のレベルを前記ＢＧＥｃ信号の線形関数として制御する手段（６）を備え、
ｇ）前記クリーンアップ信号を生成する手段からのクリーンアップ信号と、前記ＢＧＥｃ信号によって制御されたレベルの背景シーン・ビデオ信号とを組み合わせる手段（７）を備える
ことを特徴とするシステム。 - 前景シーンが、着色されたバックとビデオ・カメラの間に配設された前景被写体を含み、前景シーンおよび背景シーン用の赤色成分、青色成分、および緑色成分を有するビデオ信号を合成するシステムにおいて、
ａ）着色されたバックの輝度および可視性に比例するレベルを有する制御信号を生成する手段であって、その制御信号が、緑または肌色である前景被写体の部分に対してゼロに等しいとき、同時に、グレイ・スケール被写体に対して低減されることがないように生成され、その結果、印刷抜けをなくすようにされた、制御信号を生成する手段（１）を備え、その制御信号Ｅcが、
ＥC＝{(Ｂ−Ｋ1)−Ｋ2max(Ｋ3Ｇ，Ｋ4Ｒ)−max[Ｋ5(Ｇ−Ｒ)，Ｋ6(Ｒ−Ｇ)]}+
の形をとり、ここにＲ，Ｇ，Ｂは前記バックのビデオ信号の赤色成分，緑色成分，青色成分であり、
ｂ）ビデオ・ラインごとに前記バックのビデオ信号の赤、青、緑の色成分のビデオ信号レベルに一致するように制御信号のレベルを調整する手段（３）を備え、
ｃ）前景シーン・ビデオ信号から、ビデオ信号レベルに一致するように調整された制御信号を減じる手段であって、それにより前記バックの色成分がビデオ・ラインごとに除去された前景シーン・ビデオ信号が得られ、
ｄ）前記バックの色成分が除去された前景シーン・ビデオ信号の赤色成分、青色成分、緑色成分のそれぞれごとにクリーンアップ信号を生成する手段を備え、
ｅ）このクリーンアップ信号を生成する手段および前記制御信号を生成する手段に結合され、前記前景シーン・ビデオ信号中の陰影を、微細ディテイル・エッジの劣化を抑えつつなくすためのＢＧＥc信号を生成するＢＧＥc生成手段（５）を備え、
ｆ）背景シーン・ビデオ信号のレベルを前記ＢＧＥｃ信号の線形関数として制御する手段（６）を備え、
ｇ）前記クリーンアップ信号を生成する手段からのクリーンアップ信号と、前記ＢＧＥｃ信号によって制御されたレベルの背景シーン・ビデオ信号とを組み合わせる手段（７）を備える
ことを特徴とするシステム。 - 前景シーンが、着色されたバックとビデオ・カメラの間に配設された前景被写体を含み、前景シーンおよび背景シーン用の赤色成分、青色成分、および緑色成分を有するビデオ信号を合成するシステムにおいて、
ａ）着色されたバックの輝度および可視性に比例するレベルを有する制御信号を生成する手段であって、その制御信号が、緑または肌色である前景被写体の部分に対してゼロに等しいとき、同時に、グレイ・スケール被写体に対して低減されることがないように生成され、その結果、印刷抜けをなくすようにされた、制御信号を生成する手段（１）を備え、その制御信号Ｅcが、
ＥC＝{(Ｂ−Ｋ1)−Ｋ2max(Ｇ，Ｒ)＋
[max(Ｋ3Ｇ，Ｋ4Ｒ)−min(Ｇ，Ｒ)−max[Ｋ5(Ｇ−Ｒ)，Ｋ6(Ｒ−Ｇ)]}+
の形をとり、ここにＲ，Ｇ，Ｂは前記バックのビデオ信号の赤色成分，緑色成分，青色成分であり、
ｂ）ビデオ・ラインごとに前記バックのビデオ信号の赤、青、緑の色成分のビデオ信号レベルに一致するように制御信号のレベルを調整する手段（３）を備え、
ｃ）前景シーン・ビデオ信号から、ビデオ信号レベルに一致するように調整された制御信号を減じる手段であって、それにより前記バックの色成分がビデオ・ラインごとに除去された前景シーン・ビデオ信号が得られ、
ｄ）前記バックの色成分が除去された前景シーン・ビデオ信号の赤色成分、青色成分、緑色成分のそれぞれごとにクリーンアップ信号を生成する手段を備え、
ｅ）このクリーンアップ信号を生成する手段および前記制御信号を生成する手段に結合され、前記前景シーン・ビデオ信号中の陰影を、微細ディテイル・エッジの劣化を抑えつつなくすためのＢＧＥc信号を生成するＢＧＥc生成手段（５）を備え、
ｆ）背景シーン・ビデオ信号のレベルを前記ＢＧＥｃ信号の線形関数として制御する手段（６）を備え、
ｇ）前記クリーンアップ信号を生成する手段からのクリーンアップ信号と、前記ＢＧＥｃ信号によって制御されたレベルの背景シーン・ビデオ信号とを組み合わせる手段（７）を備える
ことを特徴とするシステム。 - 前景シーンが、着色されたバックとビデオ・カメラの間に配設された前景被写体を含み、前景シーンおよび背景シーン用の赤色成分、青色成分、および緑色成分を有するビデオ信号を合成するシステムにおいて、
ａ）着色されたバックの輝度および可視性に比例するレベルを有する制御信号を生成する手段であって、その制御信号が、緑または肌色である前景被写体の部分に対してゼロに等しいとき、同時に、グレイ・スケール被写体に対して低減されることがないように生成され、その結果、印刷抜けをなくすようにされた、制御信号を生成する手段（１）を備え、その制御信号Ｅcが、
ＥC＝{(Ｂ−Ｋ1)−Ｋ2max[min(Ｇ，Ｒ)，Ｋ3Ｇ，Ｋ4Ｒ]
−max[Ｋ5(Ｇ−Ｒ)，Ｋ6(Ｒ−Ｇ)]}+
の形をとり、ここにＲ，Ｇ，Ｂは前記バックのビデオ信号の赤色成分，緑色成分，青色成分であり、
ｂ）ビデオ・ラインごとに前記バックのビデオ信号の赤、青、緑の色成分のビデオ信号レベルに一致するように制御信号のレベルを調整する手段（３）を備え、
ｃ）前景シーン・ビデオ信号から、ビデオ信号レベルに一致するように調整された制御信号を減じる手段であって、それにより前記バックの色成分がビデオ・ラインごとに除去された前景シーン・ビデオ信号が得られ、
ｄ）前記バックの色成分が除去された前景シーン・ビデオ信号の赤色成分、青色成分、緑色成分のそれぞれごとにクリーンアップ信号を生成する手段を備え、
ｅ）このクリーンアップ信号を生成する手段および前記制御信号を生成する手段に結合され、前記前景シーン・ビデオ信号中の陰影を、微細ディテイル・エッジの劣化を抑えつつなくすためのＢＧＥc信号を生成するＢＧＥc生成手段（５）を備え、
ｆ）背景シーン・ビデオ信号のレベルを前記ＢＧＥｃ信号の線形関数として制御する手段（６）を備え、
ｇ）前記クリーンアップ信号を生成する手段からのクリーンアップ信号と、前記ＢＧＥｃ信号によって制御されたレベルの背景シーン・ビデオ信号とを組み合わせる手段（７）を備える
ことを特徴とするシステム。 - 前景シーンが、着色されたバックとビデオ・カメラの間に配設された前景被写体を含み、前景シーンおよび背景シーン用の赤色成分、青色成分、および緑色成分を有するビデオ信号を合成するシステムにおいて、
ａ）着色されたバックの輝度および可視性に比例するレベルを有する制御信号を生成する手段であって、その制御信号が、緑または肌色である前景被写体の部分に対してゼロに等しいとき、同時に、グレイ・スケール被写体に対して低減されることがないように生成され、その結果、印刷抜けをなくすようにされた、制御信号を生成する手段（１）を備え、その制御信号Ｅcが、
ＥC＝{(Ｂ−Ｋ1)−max[Ｋ2min(Ｇ，Ｒ)，Ｋ3Ｇ，Ｋ4Ｒ]
−max[Ｋ5(Ｇ−Ｒ)，Ｋ6(Ｒ−Ｇ)]}+
の形をとり、ここにＲ，Ｇ，Ｂは前記バックのビデオ信号の赤色成分，緑色成分，青色成分であり、
ｂ）ビデオ・ラインごとに前記バックのビデオ信号の赤、青、緑の色成分のビデオ信号レベルに一致するように制御信号のレベルを調整する手段（３）を備え、
ｃ）前景シーン・ビデオ信号から、ビデオ信号レベルに一致するように調整された制御信号を減じる手段であって、それにより前記バックの色成分がビデオ・ラインごとに除去された前景シーン・ビデオ信号が得られ、
ｄ）前記バックの色成分が除去された前景シーン・ビデオ信号の赤色成分、青色成分、緑色成分のそれぞれごとにクリーンアップ信号を生成する手段を備え、
ｅ）このクリーンアップ信号を生成する手段および前記制御信号を生成する手段に結合され、前記前景シーン・ビデオ信号中の陰影を、微細ディテイル・エッジの劣化を抑えつつなくすためのＢＧＥc信号を生成するＢＧＥc生成手段（５）を備え、
ｆ）背景シーン・ビデオ信号のレベルを前記ＢＧＥｃ信号の線形関数として制御する手段（６）を備え、
ｇ）前記クリーンアップ信号を生成する手段からのクリーンアップ信号と、前記ＢＧＥｃ信号によって制御されたレベルの背景シーン・ビデオ信号とを組み合わせる手段（７）を備える
ことを特徴とするシステム。 - 前景シーンが、着色されたバックとビデオ・カメラの間に配設された前景被写体を含み、前景シーンおよび背景シーン用の赤色成分、青色成分、および緑色成分を有するビデオ信号を合成するシステムにおいて、
ａ）着色されたバックの輝度および可視性に比例するレベルを有する制御信号を生成する手段であって、その制御信号が、緑または肌色である前景被写体の部分に対してゼロに等しいとき、同時に、グレイ・スケール被写体に対して低減されることがないように生成され、その結果、印刷抜けをなくすようにされた、制御信号を生成する手段（１）を備え、その制御信号Ｅcが、
ＥC＝{(Ｂ−Ｋ1)−Ｋ2MAX[Ｇ，Ｒ]＋MAX[ＥcＴ２−ＥcＴ３]}+
の形をとり、ここに、ＥcＴ２＝MAX[Ｋ3ＧＥc２，Ｋ4ＲＥc２]およびＥcＴ３＝MIN[ＧＥc３，ＲＥc３]であり、Ｒ，Ｇ，Ｂは前記バックのビデオ信号の赤色成分，緑色成分，青色成分であり、
ｂ）ビデオ・ラインごとに前記バックのビデオ信号の赤、青、緑の色成分のビデオ信号レベルに一致するように制御信号のレベルを調整する手段（３）を備え、
ｃ）前景シーン・ビデオ信号から、ビデオ信号レベルに一致するように調整された制御信号を減じる手段であって、それにより前記バックの色成分がビデオ・ラインごとに除去された前景シーン・ビデオ信号が得られ、
ｄ）前記バックの色成分が除去された前景シーン・ビデオ信号の赤色成分、青色成分、緑色成分のそれぞれごとにクリーンアップ信号を生成する手段を備え、
ｅ）このクリーンアップ信号を生成する手段および前記制御信号を生成する手段に結合され、前記前景シーン・ビデオ信号中の陰影を、微細ディテイル・エッジの劣化を抑えつつなくすためのＢＧＥc信号を生成するＢＧＥc生成手段（５）を備え、
ｆ）背景シーン・ビデオ信号のレベルを前記ＢＧＥｃ信号の線形関数として制御する手段（６）を備え、
ｇ）前記クリーンアップ信号を生成する手段からのクリーンアップ信号と、前記ＢＧＥｃ信号によって制御されたレベルの背景シーン・ビデオ信号とを組み合わせる手段（７）を備える
ことを特徴とするシステム。 - 前景シーンが、着色されたバックとビデオ・カメラの間に配設された前景被写体を含み、前景シーンおよび背景シーン用の赤色成分、青色成分、および緑色成分を有するビデオ信号を合成するシステムにおいて、
ａ）着色されたバックの輝度および可視性に比例するレベルを有する制御信号を生成する手段であって、その制御信号が、緑または肌色である前景被写体の部分に対してゼロに等しいとき、同時に、グレイ・スケール被写体に対して低減されることがないように生成され、その結果、印刷抜けをなくすようにされた、制御信号を生成する手段（１）を備え、その制御信号Ｅcが、
ＥC＝{[Ｂ−Ｋ1]−Ｋ2MAX[Ｇ，Ｒ]＋MAX[ＥcＴ２−ＥcＴ３]
−[maxＫ5(Ｇ−Ｒ)，Ｋ6(Ｒ−Ｇ)]}+
の形をとり、ここに、ＥcＴ２＝MAX[Ｋ3ＧＥc２，Ｋ4ＲＥc２]およびＥcＴ３＝MIN[ＧＥc３，ＲＥc３]であり、Ｒ，Ｇ，Ｂは前記バックのビデオ信号の赤色成分，緑色成分，青色成分であり、
ｂ）ビデオ・ラインごとに前記バックのビデオ信号の赤、青、緑の色成分のビデオ信号レベルに一致するように制御信号のレベルを調整する手段（３）を備え、
ｃ）前景シーン・ビデオ信号から、ビデオ信号レベルに一致するように調整された制御信号を減じる手段であって、それにより前記バックの色成分がビデオ・ラインごとに除去された前景シーン・ビデオ信号が得られ、
ｄ）前記バックの色成分が除去された前景シーン・ビデオ信号の赤色成分、青色成分、緑色成分のそれぞれごとにクリーンアップ信号を生成する手段を備え、
ｅ）このクリーンアップ信号を生成する手段および前記制御信号を生成する手段に結合され、前記前景シーン・ビデオ信号中の陰影を、微細ディテイル・エッジの劣化を抑えつつなくすためのＢＧＥc信号を生成するＢＧＥc生成手段（５）を備え、
ｆ）背景シーン・ビデオ信号のレベルを前記ＢＧＥｃ信号の線形関数として制御する手段（６）を備え、
ｇ）前記クリーンアップ信号を生成する手段からのクリーンアップ信号と、前記ＢＧＥｃ信号によって制御されたレベルの背景シーン・ビデオ信号とを組み合わせる手段（７）を備える
ことを特徴とするシステム。 - 請求項９〜１５の何れか１項に記載のシステムにおいて、
青色バックの前方のブロンドまたは茶色の前景被写体のためにフレアを抑制し、同時に、白い前景被写体がより暖かな色相を帯びることを抑えるＥk信号を生成する手段（４）を備え、そのＥk信号が、
Ｅk＝{[Ｋ20Ｂ＋[Ｋ21((MAXPIX−B) / MAXPIX)]]
−[Ｋ22Ｇ＋max[Ｋ22(Ｇ−Ｒ)，Ｋ23(Ｒ−Ｇ)]＋(1−Ｋ22)min(Ｇ，Ｒ)]}+
の形をとり、ここに、MAXPIXは最大画素値であり、Ｒ，Ｇ，Ｂは前記バックのビデオ信号の赤色成分，緑色成分，青色成分であり、
前記調整された制御信号を減じる手段は、前景ビデオシーンの青色成分については、前記調整された制御信号を減じるとともに、さらに前記Ｅk信号を減じるようにされている
ことを特徴とするシステム。 - 前景シーンが、着色されたバックとビデオ・カメラの間に配設された前景被写体を含み、前景シーンおよび背景シーン用の赤色成分、青色成分、および緑色成分を有するビデオ信号を合成する方法において、
ａ）着色されたバックの輝度および可視性に比例するレベルを有する制御信号を生成するステップであって、その制御信号が、緑または肌色である前景被写体の部分に対してゼロに等しいとき、同時に、グレイ・スケール被写体に対して低減されることがないように生成され、その結果、印刷抜けをなくすようにされた、制御信号を生成するステップを備え、その制御信号ＥCが、
ＥC＝{(Ｂ−Ｋ1)−Ｋ2 max(Ｇ，Ｒ)＋[max(Ｋ3Ｇ，Ｋ4Ｒ)−min(Ｇ，Ｒ)]}+
の形をとり、ここにＲ，Ｇ，Ｂは前記バックのビデオ信号の赤色成分，緑色成分，青色成分であり、
ｂ）ビデオ・ラインごとに前記バックのビデオ信号の赤、青、緑の色成分のビデオ信号レベルに一致するように制御信号のレベルを調整するステップを備え、
ｃ）前景シーン・ビデオ信号から、ビデオ信号レベルに一致するように調整された制御信号を減じるステップを備え、それによりビデオ・ラインごとに前記バックの色成分が除去された前景シーン・ビデオ信号が得られ、
ｄ）背景シーン・ビデオ信号のレベルを制御信号の線形関数として制御するステップを備え、
ｅ）前記バックの色成分がビデオ・ラインごとに個別に除去された前景シーン・ビデオ信号と、レベルが制御信号によって制御された背景シーン・ビデオ信号とを組み合わせるステップを備える
ことを特徴とする方法。 - 前景シーンが、着色されたバックとビデオ・カメラの間に配設された前景被写体を含み、前景シーンおよび背景シーン用の赤色成分、青色成分、および緑色成分を有するビデオ信号を合成する方法において、
ａ）着色されたバックの輝度および可視性に比例するレベルを有する制御信号を生成するステップであって、その制御信号が、緑または肌色である前景被写体の部分に対してゼロに等しいとき、同時に、グレイ・スケール被写体に対して低減されることがないように生成され、その結果、印刷抜けをなくすようにされた、制御信号を生成するステップを備え、その制御信号ＥCが、
ＥC＝{(Ｂ−Ｋ1)−Ｋ2max(Ｋ3Ｇ，Ｋ4Ｒ)−max[Ｋ5(Ｇ−Ｒ)，Ｋ6(Ｒ−Ｇ)]}+
の形をとり、ここにＲ，Ｇ，Ｂは前記バックのビデオ信号の赤色成分，緑色成分，青色成分であり、
ｂ）ビデオ・ラインごとに前記バックのビデオ信号の赤、青、緑の色成分のビデオ信号レベルに一致するように制御信号のレベルを調整するステップを備え、
ｃ）前景シーン・ビデオ信号から、ビデオ信号レベルに一致するように調整された制御信号を減じるステップを備え、それによりビデオ・ラインごとに前記バックの色成分が除去された前景シーン・ビデオ信号が得られ、
ｄ）背景シーン・ビデオ信号のレベルを制御信号の線形関数として制御するステップを備え、
ｅ）前記バックの色成分がビデオ・ラインごとに個別に除去された前景シーン・ビデオ信号と、レベルが制御信号によって制御された背景シーン・ビデオ信号とを組み合わせるステップを備える
ことを特徴とする方法。 - 前景シーンが、着色されたバックとビデオ・カメラの間に配設された前景被写体を含み、前景シーンおよび背景シーン用の赤色成分、青色成分、および緑色成分を有するビデオ信号を合成する方法において、
ａ）着色されたバックの輝度および可視性に比例するレベルを有する制御信号を生成するステップであって、その制御信号が、緑または肌色である前景被写体の部分に対してゼロに等しいとき、同時に、グレイ・スケール被写体に対して低減されることがないように生成され、その結果、印刷抜けをなくすようにされた、制御信号を生成するステップを備え、その制御信号ＥCが、
ＥC＝{(Ｂ−Ｋ1)−Ｋ2max(Ｇ，Ｒ)＋
[max(Ｋ3Ｇ，Ｋ4Ｒ)−min(Ｇ，Ｒ)−max[Ｋ5(Ｇ−Ｒ)，Ｋ6(Ｒ−Ｇ)]}+
の形をとり、ここにＲ，Ｇ，Ｂは前記バックのビデオ信号の赤色成分，緑色成分，青色成分であり、
ｂ）ビデオ・ラインごとに前記バックのビデオ信号の赤、青、緑の色成分のビデオ信号レベルに一致するように制御信号のレベルを調整するステップを備え、
ｃ）前景シーン・ビデオ信号から、ビデオ信号レベルに一致するように調整された制御信号を減じるステップを備え、それによりビデオ・ラインごとに前記バックの色成分が除去された前景シーン・ビデオ信号が得られ、
ｄ）背景シーン・ビデオ信号のレベルを制御信号の線形関数として制御するステップを備え、
ｅ）前記バックの色成分がビデオ・ラインごとに個別に除去された前景シーン・ビデオ信号と、レベルが制御信号によって制御された背景シーン・ビデオ信号とを組み合わせるステップを備える
ことを特徴とする方法。 - 前景シーンが、着色されたバックとビデオ・カメラの間に配設された前景被写体を含み、前景シーンおよび背景シーン用の赤色成分、青色成分、および緑色成分を有するビデオ信号を合成する方法において、
ａ）着色されたバックの輝度および可視性に比例するレベルを有する制御信号を生成するステップであって、その制御信号が、緑または肌色である前景被写体の部分に対してゼロに等しいとき、同時に、グレイ・スケール被写体に対して低減されることがないように生成され、その結果、印刷抜けをなくすようにされた、制御信号を生成するステップを備え、その制御信号ＥCが、
ＥC＝{(Ｂ−Ｋ1)−Ｋ2max[min(Ｇ，Ｒ)，Ｋ3Ｇ，Ｋ4Ｒ]
−max[Ｋ5(Ｇ−Ｒ)，Ｋ6(Ｒ−Ｇ)]}+
の形をとり、ここにＲ，Ｇ，Ｂは前記バックのビデオ信号の赤色成分，緑色成分，青色成分であり、
ｂ）ビデオ・ラインごとに前記バックのビデオ信号の赤、青、緑の色成分のビデオ信号レベルに一致するように制御信号のレベルを調整するステップを備え、
ｃ）前景シーン・ビデオ信号から、ビデオ信号レベルに一致するように調整された制御信号を減じるステップを備え、それによりビデオ・ラインごとに前記バックの色成分が除去された前景シーン・ビデオ信号が得られ、
ｄ）背景シーン・ビデオ信号のレベルを制御信号の線形関数として制御するステップを備え、
ｅ）前記バックの色成分がビデオ・ラインごとに個別に除去された前景シーン・ビデオ信号と、レベルが制御信号によって制御された背景シーン・ビデオ信号とを組み合わせるステップを備える
ことを特徴とする方法。 - 前景シーンが、着色されたバックとビデオ・カメラの間に配設された前景被写体を含み、前景シーンおよび背景シーン用の赤色成分、青色成分、および緑色成分を有するビデオ信号を合成する方法において、
ａ）着色されたバックの輝度および可視性に比例するレベルを有する制御信号を生成するステップであって、その制御信号が、緑または肌色である前景被写体の部分に対してゼロに等しいとき、同時に、グレイ・スケール被写体に対して低減されることがないように生成され、その結果、印刷抜けをなくすようにされた、制御信号を生成するステップを備え、その制御信号ＥCが、
ＥC＝{(Ｂ−Ｋ1)−max[Ｋ2min(Ｇ，Ｒ)，Ｋ3Ｇ，Ｋ4Ｒ]
−max[Ｋ5(Ｇ−Ｒ)，Ｋ6(Ｒ−Ｇ)]}+
の形をとり、ここにＲ，Ｇ，Ｂは前記バックのビデオ信号の赤色成分，緑色成分，青色成分であり、
ｂ）ビデオ・ラインごとに前記バックのビデオ信号の赤、青、緑の色成分のビデオ信号レベルに一致するように制御信号のレベルを調整するステップを備え、
ｃ）前景シーン・ビデオ信号から、ビデオ信号レベルに一致するように調整された制御信号を減じるステップを備え、それによりビデオ・ラインごとに前記バックの色成分が除去された前景シーン・ビデオ信号が得られ、
ｄ）背景シーン・ビデオ信号のレベルを制御信号の線形関数として制御するステップを備え、
ｅ）前記バックの色成分がビデオ・ラインごとに個別に除去された前景シーン・ビデオ信号と、レベルが制御信号によって制御された背景シーン・ビデオ信号とを組み合わせるステップを備える
ことを特徴とする方法。 - 前景シーンが、着色されたバックとビデオ・カメラの間に配設された前景被写体を含み、前景シーンおよび背景シーン用の赤色成分、青色成分、および緑色成分を有するビデオ信号を合成する方法において、
ａ）着色されたバックの輝度および可視性に比例するレベルを有する制御信号を生成するステップ、その制御信号が、緑または肌色である前景被写体の部分に対してゼロに等しいとき、同時に、グレイ・スケール被写体に対して低減されることがないように生成され、その結果、印刷抜けをなくすようにされた、制御信号を生成するステップを備え、その制御信号ＥCが、
ＥC＝{(Ｂ−Ｋ1)−Ｋ2MAX[Ｇ，Ｒ]＋MAX[ＥcＴ２−ＥcＴ３]}+
の形をとり、ここに、ＥcＴ２＝MAX[Ｋ3ＧＥc２，Ｋ4ＲＥc２]およびＥcＴ３＝MIN[ＧＥc３，ＲＥc３]であり、Ｒ，Ｇ，Ｂは前記バックのビデオ信号の赤色成分，緑色成分，青色成分であり、
ｂ）ビデオ・ラインごとに前記バックのビデオ信号の赤、青、緑の色成分のビデオ信号レベルに一致するように制御信号のレベルを調整するステップを備え、
ｃ）前景シーン・ビデオ信号から、ビデオ信号レベルに一致するように調整された制御信号を減じるステップを備え、それによりビデオ・ラインごとに前記バックの色成分が除去された前景シーン・ビデオ信号が得られ、
ｄ）背景シーン・ビデオ信号のレベルを制御信号の線形関数として制御するステップを備え、
ｅ）前記バックの色成分がビデオ・ラインごとに個別に除去された前景シーン・ビデオ信号と、レベルが制御信号によって制御された背景シーン・ビデオ信号とを組み合わせるステップを備える
ことを特徴とする方法。 - 前景シーンが、着色されたバックとビデオ・カメラの間に配設された前景被写体を含み、前景シーンおよび背景シーン用の赤色成分、青色成分、および緑色成分を有するビデオ信号を合成する方法において、
ａ）着色されたバックの輝度および可視性に比例するレベルを有する制御信号を生成するステップであって、その制御信号が、緑または肌色である前景被写体の部分に対してゼロに等しいとき、同時に、グレイ・スケール被写体に対して低減されることがないように生成され、その結果、印刷抜けをなくすようにされた、制御信号を生成するステップを備え、その制御信号ＥCが、
ＥC＝{[Ｂ−Ｋ1]−Ｋ2MAX[Ｇ，Ｒ]＋MAX[ＥcＴ２−ＥcＴ３]
−[maxＫ5(Ｇ−Ｒ)，Ｋ6(Ｒ−Ｇ)]}+
の形をとり、ここに、ＥcＴ２＝MAX[Ｋ3ＧＥc２，Ｋ4ＲＥc２]およびＥcＴ３＝MIN[ＧＥc３，ＲＥc３]であり、Ｒ，Ｇ，Ｂは前記バックのビデオ信号の赤色成分，緑色成分，青色成分であり、
ｂ）ビデオ・ラインごとに前記バックのビデオ信号の赤、青、緑の色成分のビデオ信号レベルに一致するように制御信号のレベルを調整するステップを備え、
ｃ）前景シーン・ビデオ信号から、ビデオ信号レベルに一致するように調整された制御信号を減じるステップを備え、それによりビデオ・ラインごとに前記バックの色成分が除去された前景シーン・ビデオ信号が得られ、
ｄ）背景シーン・ビデオ信号のレベルを制御信号の線形関数として制御するステップを備え、
ｅ）前記バックの色成分がビデオ・ラインごとに個別に除去された前景シーン・ビデオ信号と、レベルが制御信号によって制御された背景シーン・ビデオ信号とを組み合わせるステップを備える
ことを特徴とする方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US08/048,750 | 1993-04-15 | ||
| US08/048,750 US5343252A (en) | 1993-04-15 | 1993-04-15 | Method and apparatus for compositing video images |
| PCT/US1994/003678 WO1994024831A1 (en) | 1993-04-15 | 1994-04-04 | Method and apparatus for compositing video images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08510876A JPH08510876A (ja) | 1996-11-12 |
| JP3679115B2 true JP3679115B2 (ja) | 2005-08-03 |
Family
ID=21956259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP52325894A Expired - Lifetime JP3679115B2 (ja) | 1993-04-15 | 1994-04-04 | ビデオ画像を合成する方法および装置 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US5343252A (ja) |
| JP (1) | JP3679115B2 (ja) |
| AU (1) | AU6625294A (ja) |
| CA (1) | CA2160551C (ja) |
| DE (2) | DE4492448B4 (ja) |
| GB (1) | GB2291759B (ja) |
| WO (1) | WO1994024831A1 (ja) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5523958A (en) * | 1992-06-10 | 1996-06-04 | Seiko Epson Corporation | Apparatus and method of processing image |
| US5907315A (en) * | 1993-03-17 | 1999-05-25 | Ultimatte Corporation | Method and apparatus for adjusting parameters used by compositing devices |
| JP3679114B2 (ja) * | 1993-04-15 | 2005-08-03 | アルティマット・コーポレーション | ビデオ信号を合成するためのシステムおよび方法 |
| US5515109A (en) * | 1995-04-05 | 1996-05-07 | Ultimatte Corporation | Backing color and luminance nonuniformity compensation |
| DE19619090A1 (de) | 1996-04-30 | 1997-11-13 | Cfb Gmbh | Vorrichtung und Verfahren zur Erzeugung eines Kompositbildes |
| US5742354A (en) * | 1996-06-07 | 1998-04-21 | Ultimatte Corporation | Method for generating non-visible window edges in image compositing systems |
| US6301382B1 (en) * | 1996-06-07 | 2001-10-09 | Microsoft Corporation | Extracting a matte of a foreground object from multiple backgrounds by triangulation |
| US5974198A (en) | 1996-08-26 | 1999-10-26 | Adobe Systems Incorporated | Adjustment layers for composited image manipulation |
| DE19639355B4 (de) * | 1996-09-25 | 2006-05-04 | Bts Holding International Bv | Verfahren und Anordnung zum Farbstanzen |
| US6288703B1 (en) * | 1996-11-25 | 2001-09-11 | Ultimatte Corporation | Method for removing from an image the background surrounding a selected subject by generating candidate mattes |
| US6532022B1 (en) | 1997-10-15 | 2003-03-11 | Electric Planet, Inc. | Method and apparatus for model-based compositing |
| US6134346A (en) * | 1998-01-16 | 2000-10-17 | Ultimatte Corp | Method for removing from an image the background surrounding a selected object |
| GB9813632D0 (en) * | 1998-06-24 | 1998-08-26 | Robinson Alan W | Outside televised broadcast shadow compensator |
| US6229550B1 (en) | 1998-09-04 | 2001-05-08 | Sportvision, Inc. | Blending a graphic |
| US7075556B1 (en) * | 1999-10-21 | 2006-07-11 | Sportvision, Inc. | Telestrator system |
| US6909438B1 (en) | 2000-02-04 | 2005-06-21 | Sportvision, Inc. | Video compositor |
| US6870574B2 (en) * | 2000-03-08 | 2005-03-22 | Mitchell Kriegman | Method and apparatus for enhanced puppetry or similar types of performances utilizing a virtual set |
| WO2003005299A2 (en) | 2001-07-06 | 2003-01-16 | Vision Iii Imaging, Inc. | Image segmentation by means of temporal parallax difference induction |
| US6538396B1 (en) * | 2001-09-24 | 2003-03-25 | Ultimatte Corporation | Automatic foreground lighting effects in a composited scene |
| GB0220138D0 (en) | 2002-08-30 | 2002-10-09 | Kaydara Inc | Matte extraction using fragment processors |
| US20050176812A1 (en) * | 2003-11-06 | 2005-08-11 | Pamela Cohen | Method of treating cancer |
| US9215383B2 (en) | 2011-08-05 | 2015-12-15 | Sportsvision, Inc. | System for enhancing video from a mobile camera |
| CN103366364B (zh) * | 2013-06-07 | 2016-06-29 | 太仓中科信息技术研究院 | 一种基于颜色差异的抠图方法 |
| US9872005B2 (en) * | 2014-01-21 | 2018-01-16 | Mitsubishi Electric Corporation | Moving image reproducing apparatus |
| US9350924B2 (en) | 2014-08-25 | 2016-05-24 | John G. Posa | Portable electronic devices with integrated image/video compositing |
| EP3358824B1 (de) * | 2017-02-02 | 2019-08-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zum ersetzen von bildinhalten |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4100569A (en) * | 1976-11-03 | 1978-07-11 | Petro Vlahos | Comprehensive electronic compositing system |
| US4319266A (en) * | 1979-09-04 | 1982-03-09 | The Grass Valley Group, Inc. | Chroma keying system |
| US4344085A (en) * | 1980-12-04 | 1982-08-10 | Vlahos-Gottschalk Research Corp. | Comprehensive electronic compositing system |
| FR2527033A1 (fr) * | 1982-05-17 | 1983-11-18 | Telediffusion Fse | Systeme d'incrustation d'images en television en couleurs |
| US4589013A (en) * | 1983-06-13 | 1986-05-13 | 501 Ultimatte Corporation | Automated encoded signal color image compositing |
| US4625231A (en) * | 1984-04-27 | 1986-11-25 | Ultimatte Corporation | Comprehensive electronic compositing system |
| US5032901A (en) * | 1988-06-28 | 1991-07-16 | Petro Vlahos | Backing color and luminance nonuniformity compensation for linear image compositing |
-
1993
- 1993-04-15 US US08/048,750 patent/US5343252A/en not_active Expired - Lifetime
-
1994
- 1994-04-04 WO PCT/US1994/003678 patent/WO1994024831A1/en active Application Filing
- 1994-04-04 JP JP52325894A patent/JP3679115B2/ja not_active Expired - Lifetime
- 1994-04-04 DE DE4492448A patent/DE4492448B4/de not_active Expired - Lifetime
- 1994-04-04 AU AU66252/94A patent/AU6625294A/en not_active Abandoned
- 1994-04-04 DE DE4492448T patent/DE4492448T1/de not_active Expired - Lifetime
- 1994-04-04 CA CA002160551A patent/CA2160551C/en not_active Expired - Lifetime
- 1994-04-04 GB GB9521079A patent/GB2291759B/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| DE4492448B4 (de) | 2005-07-07 |
| CA2160551C (en) | 2003-11-11 |
| US5343252A (en) | 1994-08-30 |
| AU6625294A (en) | 1994-11-08 |
| GB9521079D0 (en) | 1995-12-20 |
| JPH08510876A (ja) | 1996-11-12 |
| DE4492448T1 (de) | 1996-08-22 |
| WO1994024831A1 (en) | 1994-10-27 |
| CA2160551A1 (en) | 1994-10-27 |
| GB2291759B (en) | 1997-07-30 |
| GB2291759A (en) | 1996-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3679115B2 (ja) | ビデオ画像を合成する方法および装置 | |
| US4100569A (en) | Comprehensive electronic compositing system | |
| JP3679114B2 (ja) | ビデオ信号を合成するためのシステムおよび方法 | |
| JP3834334B2 (ja) | コンポジット画像の形成装置および形成方法 | |
| JP7087331B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP4041687B2 (ja) | フラッシュアーチファクトを除去する方法および装置 | |
| JPH0716251B2 (ja) | カラー映像ビデオ信号を合成する電子装置 | |
| JP2756940B2 (ja) | 電子画像合成装置 | |
| JP3450022B2 (ja) | 背景信号を前景信号の部分にはめ込む制御信号を取出す方法及び装置 | |
| US6262778B1 (en) | Image processing system | |
| JPH0256878B2 (ja) | ||
| JP2009010566A (ja) | 写真画像のダイナミックレンジを拡大する方法及び撮像装置 | |
| US9928582B2 (en) | Method and system for processing image content for enabling high dynamic range (UHD) output thereof and computer-readable medium comprising UHD content created using same | |
| JP6771977B2 (ja) | 画像処理装置および画像処理方法、プログラム | |
| US6616281B1 (en) | Visible-invisible background prompter | |
| US20170337668A1 (en) | Method and system for processing image content for enabling high dynamic range (uhd) output thereof and computer-readable medium comprising uhd content created using same | |
| US6538396B1 (en) | Automatic foreground lighting effects in a composited scene | |
| JP3912866B2 (ja) | 合成ビデオ信号発生方法及び装置 | |
| Utray Delgado | Color correction workflow | |
| GB1581376A (en) | Comprehensive electronic compositing system | |
| JPH0392087A (ja) | 輪郭強調装置 | |
| WO2017127445A1 (en) | Processing image content for enabling high dynamic range (hdr) output thereof and computer-readable program product having such hdr content | |
| WALKLING | ADVANCING PHOTOSHOP/COURSE NOTES |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040602 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040727 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20041027 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20041213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050412 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050512 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090520 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100520 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110520 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120520 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130520 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |