JPH08510876A - ビデオ画像を合成する方法および装置 - Google Patents

ビデオ画像を合成する方法および装置

Info

Publication number
JPH08510876A
JPH08510876A JP6523258A JP52325894A JPH08510876A JP H08510876 A JPH08510876 A JP H08510876A JP 6523258 A JP6523258 A JP 6523258A JP 52325894 A JP52325894 A JP 52325894A JP H08510876 A JPH08510876 A JP H08510876A
Authority
JP
Japan
Prior art keywords
foreground
control signal
max
blue
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6523258A
Other languages
English (en)
Other versions
JP3679115B2 (ja
Inventor
ディドーリアン，アルパグ
Original Assignee
アルティマット・コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルティマット・コーポレーション filed Critical アルティマット・コーポレーション
Publication of JPH08510876A publication Critical patent/JPH08510876A/ja
Application granted granted Critical
Publication of JP3679115B2 publication Critical patent/JP3679115B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

(57)【要約】 緑色オブジェクトおよび肌色に対してＥcが丁度ゼロになるように調整しても、同時にグレイ・スケール被写体のＥcが低減されることも、印刷抜けが発生することもないように、ビデオ画像合成システムで使用される制御信号Ｅc（１）を改良する方法および装置。本発明は、つや消し密度制御（１１）を増大させることも、雑音レベルを増加させることもなしに、青いバックの存在下で淡い青から明るい青までの広範囲の青色も再現する。本発明は、前景の明るい白い色合いに影響を与えずに、ブロンドおよび茶色の髪からのバックの色写しをなくする第２の制御信号Ｅk（４）も提供する。本発明は、前景陰影をなくし、同時に、大部分の前景ディテイル情報を保存する陰影クリーンアップ信号（５）も生成する。

Description

【発明の詳細な説明】 ビデオ画像を合成する方法および装置 発明の背景 米国特許第４１００５６９号、第４３４４０８５号、第４５８９０１３号、第 ４６２５２３１号は、着色されたバックとカメラの間に配設された前景被写体と 背景シーンを合成して合成画像を形成するユニークな線形方法を記載している。 この方法では、湯気でも、髪の毛でも、窓からの反射でも、カメラから見える背 景シーン中のあらゆるもの（着色されたバックを除く）が、減衰なしで、かつ被 写体を変化させずに、完全なレベルで再現される。この方法が線形であるのは、 前景シーンの透過部分の後方の背景シーンも、前記透過部分を通じて着色された バックの輝度および可視性の線形関数として再現するからである。 背景シーン・ビデオ・レベルは、バックの輝度および可視性に比例する制御信 号Ｅcによって調整される。青いバックは、それをスイッチオフするのではなく 、バックの青色成分、緑色成分、赤色成分（Ｂ、Ｇ、Ｒ）のそれぞれに等しいＥc の部分を減じることによって除去される。バックのビデオ信号をゼロに低減さ せれば、簡単な加算によってバックが背景ビデオ信号を受け入れる準備が完了す る。上記の特許は、このような機能を詳細に説明するものである。 本発明では、Ｅc制御信号のいくつかの制限をなくすることによってＥc制御信 号を改良する。これらの制限は以下の説明で明らかになろう。Ｅc制御信号は、 その最も簡単な形では以下の数式１で表される。 Ｅc＝Ｂ−ｍａｘ（Ｇ，Ｒ）・・・・・・・・・・・・・・・・・・・・式１ 上式で、「ｍａｘ」は緑と赤のうちで大きい方を指定するものである。 Ｅc制御信号は、走査スポットが青いバックから離れて被写体に入り始めたと きに低下を開始し、理想的には走査スポットが青いバックから離れて完全に被写 体内に入った時点で丁度ゼロに達するべきである。明確に合焦される被写体の場 合、この遷移は走査スポットの幅の範囲内で発生する。焦点の外れた被写体の場 合、この遷移は、半透明のぼけたエッジの幅にわたって発生する。 前景被写体が完全に不透明になったときにＥcが完全にゼロになることが必須 であり、そうでない場合、不透明な前景被写体を通じて背景シーンが見えるよう になる。そのような印刷抜けは大量生産品質の合成ビデオでは受け入れられない 。 数式１で丁度ゼロに達するＥcは、グレー・スケール・オブジェクトの場合に 発生する。これは、Ｂ、Ｇ、Ｒが相互に等しいからである。 Ｅcは、シアン（Ｂ＝Ｇ）およびマゼンタ（Ｂ＝Ｒ）の場合にも丁度ゼロに達 する。 しかし、青い目など、青い被写体の場合（ＲＧＢの典型的な値は、Ｂ＝８０、 Ｇ＝７０、Ｒ＝６０）、数式１中のＥcはゼロに達せず、被写体が不透明である 場合でも背景シーンの印刷抜けを発生させる。このため、以下のように数式１を 定数ｋ2を追加するように修正する。 Ｅc＝Ｂ−Ｋ2ｍaｘ（Ｇ，Ｒ）・・・・・・・・・・・・・・・・・・・式２ Ｋ2を１．０から１．１４に増加させる（１４％）ことによって、Ｇは７０か ら８０のレベルに増加し、その場合、Ｅcはゼロになる。しかし、緑（および赤 ）を１４％増加させると、グレイ・スケール・オブジェクトでは、走査スポット がバックを離れる前にＥcがゼロに達する。Ｅcは、ゼロになると、走査スポット が完全に被写体に入る前に背景シーンを遮断する。前景被写体のエッジに背景ビ デオがないと、前景被写体の周りに認識できる黒い線が残る。 数式２で、Ｅcは、光沢のある黒い被写体に青いバックの低レベルの反射が発 生したときにもゼロに達しない。青いバックには緑も赤もほとんどないので、バ ックを反射する光沢のある黒いオブジェクトの場合、Ｋ2にはＥcをゼロに減少さ せる効果はない。したがって、このためにＫ1を追加する。この場合、Ｅc式は以 下の数式３で表される。 Ｅc＝［（Ｂ−Ｋ1）−Ｋ2ｍａｘ（Ｇ，Ｒ）］+・・・・・・・・・・・・式３ （上付き文字「＋」の意味については以下に説明する）この数式は以下のよう に書き直すことができる。 ＫＥc＝［Ｋ1Ｂ−Ｋ2ｍａｘ（Ｇ，Ｒ）−Ｋ3］+・・・・・・・・・・・式４ 上式は、数式３とまったく同じ結果を達成する。 Ｅcをゼロに減少させる代替方法は以下の数式５で表される。 ＫＥc−Ｋ1＝［Ｂ−Ｋ2ｍａｘ（Ｇ，Ｒ）］+・・・・・・・・・・・・・式５ 数式３、４、５は、同じ数式の変形例に過ぎず、同じ結果をもたらす。 ある種のシーン、具体的にはクローズアップでは、人間が重要な被写体であり 、肌色の周りの黒い線をなくすることが重要である。これは、引用した特許では 、項Ｋ3およびＫ4を追加して以下の数式を生成することによって行われた。 Ｅc＝［（Ｂ−Ｋ1）−Ｋ2ｍａｘ（Ｋ3Ｇ，Ｋ4Ｒ）］+・・・・・・・・・式６ 肌色の赤色定数は、青色含有量または緑色含有量の少なくとも２倍の大きさな ので、Ｅcが過度に早くゼロになり、したがって、黒いエッジが残る。この問題 は、引用した特許では、数式６中のＫ4Ｒを減少させて肌色中の青のレベルを近 似し、したがって、走査スポットが完全に青いバックを離れた時点でＥcがゼロ に達するようにすることによって解決された。 Ｋ3によって、緑色被写体が最も関心のある被写体であるときＫ3Ｇを減少させ ることができる。 まれではあるが、青いバックが実際は、青ではなくシアンであることがある。 この場合、上記のＥc式では、バック領域で十分なレベルのＥcをもたらすことが できない。これは、引用した特許のうちのより新しい特許では、以下のように追 加項Ｋ5を追加することによって補正された。 Ｅc＝｛（Ｂ−Ｋ1）−Ｋ2［Ｋ5ｍａｘ（Ｋ3Ｇ，Ｋ4Ｒ）＋（１−Ｋ5）ｍｉｎ （Ｋ3Ｇ，Ｋ4Ｒ）］｝+・・・・・・・・・・・・・・・・・・・・・・・式７ 上式で「ｍｉｎ」は、各項のうちで「最も小さいもの」を指定するものである 。 シアン色バックの場合、Ｋ5はゼロに設定され、したがって、数式７は以下の ように低減される。 Ｅc=［（Ｂ−Ｋ1）−Ｋ2ｍｉｎ（Ｋ3Ｇ，Ｋ4Ｒ）］+・・・・・・・式７．１ 通常、妥当な青いバックを仮定すると、Ｅc制御信号は、Ｋ5（数式７）を１． ０に設定し、数式６をもたらす。 「Ｋ」の値を１．０に設定しても、０に設定しても、他の何らかの値に設定し ても、新しい数式が生成されないことに留意されたい。 上記の数式で、 Ｋ1＝黒い光沢制御 Ｋ2＝つや消し密度制御 Ｋ3＝緑色つや消し密度制御 Ｋ4＝赤色つや消し密度制御 Ｋ5＝バック純度制御 すべての前記の説明および数式は、引用した特許に記載されたものである。表 １は、淡い青（目）および明るい青を含めていくつかの色に関する典型的なＢ、 Ｇ、Ｒビデオ・レベルをリストしたものである。Ｅc値は、数式１を使用して算 出した。Ｅcは、背景（ＢＧ）シーンを完全にターンオンした場合、１００でな ければならず、不透明な被写体で遮られたときに背景が完全に遮断された場合、 ゼロ（またはそれ以下）でなければならない。 引用した特許では、ゼロ・クリップを使用することによってＥcが負になるこ とが妨げられる。ゼロ・クリップは、数式中では、Ｅc＝［−−−］+などＥcを 生成する項上の上付き文字として置かれたプラス（＋）符号によって指定される 。ゼロ・クリップは、１つの入力がゼロにセットされた「ＯＲ」ゲートを使用し て達成される。 引用した特許には記載されていないゼロ・クリップを生成する他の方法がある 。 たとえば、以下の数式９で、 Ｅc＝ｍａｘ（Ｂ，Ｇ）−ｍａｘ（Ｇ，Ｒ）・・・・・・・・・・・・・式８ 項ｍａｘ（Ｂ，Ｇ）は実際上、ある種の色の場合にゼロ・クリップを導入する 。 すべての色に対するゼロ・クリップは、以下の数式によって達成される。 Ｅc＝Ｋ1［ｍａｘ（ＫbＢ，ＫgＧ，ＫrＲ）−Ｋ2ｍａｘ（ＫgＧ，ＫrＲ）］・・ ・・・式９ 数式９は見た所、数式６とは異なるが、まったく同じ結果をもたらす。表１は 、クリップされる前の負のＥcを示すためにゼロ・クリップなしのＥcの値をリス トしたものである。負の数のサイズは、バックから被写体へ遷移する際にＥc＝ ０となる点も示す。Ｅcは、青いバックで１００で、赤みがかった被写体では− １００であるとすると、走査スポットが遷移の中間位置にきたときにゼロになる 。数式９は、表１中のＥcを計算するように再設定されると、青を除くすべての 色に対してＥcがゼロになる。しかし、数式９の２つの項のそれぞれは、「ＭＡ Ｘ」の表現、 すなわち、「ＯＲ」ゲート、したがって、ゼロ・クリップを含む。バックから被 写体への遷移中に、Ｅcは、数式１、２、３、４、５、６、７、８、９での遷移 中のまったく同じ点で所与の色に対してゼロに達する。これらの数式はすべて、 数式７として最もよく表された同じ基本数式の変形例であり、すべて、表１中の 色に対して同じゼロ公差をもたらす。 数式４、５、８、９は、引用した特許では具体的に示されていないが、同じ関 数を実行し同じ結果を得る。したがって、これらの数式は、新規のものとも、異 なるものとも、より有用なものともみなされない。 表１の最後の列で、青いバック領域で背景シーンを１００％ターンオンさせる ためにＥcに係数１．６７が乗じられている。青い目および明るく輝く青の場合 、Ｅcが０よりも大きいことに留意されたい。透過率が１７％のものと場合と同 様に背景シーンが青い目を通して見える。また、明るく輝く青を通して背景シー ンが透過率５０％のものと同様に透けて見える。緑、黄色、赤、および肌色（白 色人種のメーキャップを有する）に対するＥcは負である。これは、走査スポッ トが、 緑の被写体への半分の位置にあり、赤または黄色の被写体への半分の位置に達し ない位置にあるとき、背景シーンが遮断される（ゼロＥc）ことを意味する。走 査スポットが完全に被写体に乗る前に背景シーンが遮断されると、低減されたビ デオのギャップ（すなわち、黒い線）が残る。肌色が主色であるとき、数式６で Ｋ4を減少させて赤を緑のレベルに低減させると、赤および肌色の周りの黒い線 がなくなる。緑が主色であるとき、Ｋ3を使用して、緑を赤色レベルに低減させ 、明るい緑の周りの黒い線をなくす。 引用した特許にリストされたＥc式では、数式６中のＫ2を増加させない限り、 青被写体色を使用することはできない。数式６中のＫ2を増加させると、以下の 表２に示したように、すべてのグレイ・スケール被写体とシアンおよびマゼンタ が負のＥcを示し、雑音レベルが増大する。 表２は、数式６中のＫ2に１．１４を乗じたときのＥcを示す。背景シーンを完 全にターンオンするために、Ｅcが１００になるようにＥcに１．７５が乗じられ ている。 この場合、青い目に対するＥcは、必要な値であるゼロになる。しかし、明る く輝く青に対するＥcは４０であり、これは、この青が印刷抜けすることを意味 する。他の色は、黄色の場合を除いて、Ｋ3またはＫ4の調整に応じて受け入れら れる。 数式６は、Ｋ2を増加させることによって青いバックに対する淡い青色陰影を 再現することができる。他の色に対する雑音および目に見える黒いエッジが増加 することによって、被写体をどれだけ青くすることができるかに関する限界に、 すぐに達する。Ｋ2を増加させると、Ｅcは、すべてのグレイ・スケール被写体と シアンおよびマゼンタに対してゼロよりも小さくなり、これは望ましくない。 上記で引用した特許は、バックから二次照明をなくし、前景（ＦＧ）オブジェ クトからレンズのフレアをなくする技法も記載している。青いバックの場合、バ ックに近接して置かれたオブジェクトは、バックから二次青色照明を受け取り、 その照明が顕著な青い色合いをオブジェクトに与える。青い光で満たされたカメ ラ・レンズの視野は、レンズ内の複数の内部反射のために前景オブジェクト上に 青い曇りを与える。 上述の特許に記載された方法は、前景オブジェクトから青いバックのすべての 形跡をなくす動的クランプの青色チャネルを主題としている。青色クランプ式は 、以下の数式１１で表される。 Ｂ≦Ｋ20Ｇ＋Ｋ22（Ｇ−Ｒ）+＋Ｋ23（Ｒ−Ｇ）+＋（１−Ｋ22）ｍｉｎ（Ｇ，Ｒ ） この青色クランプ式は、フレア抑圧式Ｅkとも呼ばれ、以下のように書くこと ができる。 Ｅk＝｛Ｋ20Ｂ−［Ｋ22Ｇ＋ｍａｘ［Ｋ22（Ｇ−Ｒ）， Ｋ23（Ｒ−Ｇ）］＋（１−Ｋ22）ｍｉｎ（Ｇ，Ｒ）］｝+ 上式で、 Ｋ20＝ホワイト・バランス Ｋ22＝ゲート１／３［ゲート１またはゲート３］ Ｋ23＝ゲート２である。 以下の手順が適用される。 １−Ｋ20は名目上、白い前景オブジェクト上のホワイト・バランスでは１．０ である。 ２−Ｋ22は通常、大部分のシーンでは１．０であり、そのため、前景オブジェ クトはその色を保存する。前景オブジェクトが緑である場合、青いフレアによっ て色がシアンになる。Ｋ22を０．０に設定すると、前景オブジェクトに緑が復元 される。 ３−Ｋ23は通常、０．０に設定され、そのため、前景の肌色が青いこぼれ光か らのマゼンタ色合いを帯びることが防止される。ピンク色またはマゼンタ色を再 現することが必須である場合、Ｋ23は、０．０ないし１．０の値に設定される。 Ｋ23を、被写体を満たすピンク色またはマゼンタ色を生成するのに丁度よい値に 設定し、それによって、肌色がマゼンタの色合いを帯びる度合いを最小限に抑え ることが重要である。 青い画面の前方のブロンドまたは茶色の髪を扱う際は、青いフレアを抑制する ようにＫ20［ホワイト・バランス］を調整する。そうすると、白い前景オブジェ クトは、より暖かな色相を帯びる。本発明では、上述の問題に対処するためにＥk 式に新しい制御を追加する。この新しい制御、すなわち、ブラック・バランス は、ホワイト・バランス制御の「正の利得」に対して、Ｅk式中の青色チャネル に対する「負の利得」として働く。 多数の青色画面生成方法では、画面のマーキング、欠陥、サスペンション・ワ イヤ、不要な陰影、および望ましくないその他の画面要素を最終合成ビデオから 電子的になくする必要がある。上述の特許は、クリーンアップ制御およびクリー ンアップ・バランス制御を使用することによって、望ましくないすべてのこれら の画面要素をなくする手段を記載している。残念なことに、これらの制御を使用 すると、望ましくない問題が生じ、すなわち、前景オブジェクトから微細なディ テイルが失われる。画面の補正を扱う、上述の特許の発明者による特許のうちの より新しい特許は、前景オブジェクトからディテイルを喪失させずに、画面の輝 度および色の一様性の変動を処理する代替技法を記載している。この画面補正処 理は、前景フレームおよび基準フレームに共通するすべての画面の欠陥をなくし 、同時に、前景オブジェクトのすべてのディテイル情報および陰影情報を保存す る。しかし、前景オブジェクトのディテイルを保存し、同時に、前景陰影をなく することが望ましい例がある。前景陰影をなくすると、前景ディテイルが失われ るので、既存の形のクリーンアップも画面補正も十分な結果をもたらさない。本 発明は、所望の結果を達成する方法および装置を対象とするものである。 発明の概要 本発明の目的は、緑色オブジェクトおよび肌色に対してＥcが丁度ゼロになる ようにＫ3およびＫ4を調整しても、それと同時にグレイ・スケール被写体のＥc が低減されることも、印刷抜けが生じることもないように、Ｅc式を改良するこ とである。また、本発明の目的は、Ｋ2つや消し密度制御を増大させることも、 雑音レベルを増加させることもなしに、青いバックの存在下で淡い青から明るい 青までの広範囲の青色を再現することである。 第３の目的は、このような結果をもたらす代替Ｅc式を示すことである。 本発明の第４の目的は、前景の明るい白い色合いに影響を与えずに、ブロンド または茶色の髪へバックの色のもれをなくす代替Ｅk式を示すことである。 本発明の第５の目的は、前景陰影をなくする陰影クリーンアップ式を生成し、 同時に、大部分の前景ディテイル情報を保存することである。 発明の詳細な説明 表１に指摘したように、肌色は、２０青、２５緑、７０赤などのビデオ・レベ ルを有する。走査スポットがその遷移を完了した時点でＥcをゼロにするには、 緑と赤を共に２０に減少させなければならない。そうすると、すでにグレー・ス ケール被写体、シアン被写体、およびマゼンタ被写体に対してゼロであったＥc が正 になり、印刷抜けが発生する（すなわち、背景が遮断されない）。この問題は、 以下の新しいＥc式によって補正される。 Ｅc＝｛（Ｂ−Ｋ1）−Ｋ2ｍａｘ（Ｇ，Ｒ）＋ ［ｍａｘ（Ｋ3Ｇ，Ｋ4Ｒ）−ｍｉｎ（Ｇ，Ｒ）］｝+・・・・・・・・・式１０ 上式で、Ｋ1をゼロに設定した場合、項Ｅc＝Ｂ−Ｋ2ｍａｘ（Ｇ，Ｒ）のため に、Ｅcは、すべてのグレイ・スケール被写体とシアンおよびマゼンタに対して はゼロになるが、肌色に対しては負になる。次の項ｍａｘ（Ｋ3Ｇ，Ｋ4Ｒ）−ｍ ｉｎ（Ｇ，Ｒ）は正であり、したがって、Ｋ3−Ｋ4調整によって、Ｅcは肌色に 対して丁度ゼロになる。グレイ・スケール被写体は影響を受けず、Ｅcは丁度ゼ ロのままである。シアンおよびマゼンタが存在する場合、それらは正のＥcを示 す。 数式１０と同じ結果をもたらす簡単な方法は、数式１１によって達成される。 Ｅc＝（Ｂ−Ｋ1）−Ｋ2ｍaｘ［ｍｉｎ（Ｇ，Ｒ），Ｋ3Ｇ，Ｋ4Ｒ］+・・式１１ この数式で、Ｋ3およびＫ4は、肌色とグレイ・スケール被写体に対して同時に 丁度ゼロが得られるように調整することができる。 代替数式１１は以下のように表される。 Ｅc＝（Ｂ−Ｋ1）−ｍａｘ［Ｋ2ｍｉｎ（Ｇ，Ｒ），Ｋ3Ｇ，Ｋ4Ｒ］+・・・ ・・・式１１ａ 画像合成の専門家は常に、バック・カラーが青なので、黒い線の問題と雑音の ために、前景被写体色としての目立つ青を避けなければならないと仮定する。 以下に説明する改良されたＥcでは、Ｋ2を増加させずに、かつそれほど黒い線 の問題を生じさせずに、より広範囲の青前景色を含めることができる。 雑音を低減させるためにＥcを最小限に抑え、着色されたフィルム上の漏話を 低減させるために、バック用に選択される青色は緑色成分も赤色成分もほとんど 含まない。Ｅcは、青をハイにして、緑と赤を同様にローにすることによって最 大になる。８０青、２０緑、および２０赤のビデオはそのようなバックを表す。 多数の明るい青色は、表３から分かるように、青から緑、緑から赤への降順ビ デオ・レベルを有する。本発明ではこのほぼ線形の降順を使用する。 数式６中のＫ2も、改良された数式１０、数式１１、および数式１１ａ中のＫ2 も増加させずに、青い目および青い洋服ダンスに対してＥcをゼロにする方法が 必 要であり、これが、本発明の目的である。上述の数式に新規の項ｍａｘ［Ｋ5（ Ｇ−Ｒ），Ｋ5（Ｒ−Ｇ）］を追加して、改良された一連の数式１２ないし１４ ａを得る。追加されたこの項によって、より広範囲の青い前景オブジェクトが許 容され、青い画面の前方で降順Ｂ、Ｇ、ＲレベルまたはＢ、Ｒ、Ｇレベルを使用 することができ、かつ発生する問題は最小限に抑えられる。この新規の１組の数 式は以下のように表される。 Ｅc＝｛（Ｂ−Ｋ1）−Ｋ2ｍａｘ （Ｋ3Ｇ、Ｋ4Ｇ）−ｍａｘ｛Ｋ5（Ｇ−Ｒ）、Ｋ6 （Ｒ−Ｇ）］｝+・・・・・・・・・・・・・・・・・・・・・・・・・式１２ Ｅc＝｛（Ｂ−Ｋ1）−Ｋ2ｍａｘ（Ｇ，Ｒ）＋ ［ｍａｘ（Ｋ3Ｇ，Ｋ4Ｒ）−ｍｉｎ（Ｇ，Ｒ）−ｍａｘ［Ｋ5（Ｇ− Ｒ），Ｋ6（Ｒ−Ｇ）］｝+・・・・・・・・・・・・・・・・・・・・・式１３ Ｅc＝｛（Ｂ−Ｋ1）−Ｋ2ｍａｘ［ｍｉｎ （Ｇ，Ｒ），Ｋ3Ｇ，Ｋ4Ｒ］−ｍａｘ［Ｋ5（Ｇ−Ｒ），Ｋ6（Ｒ− Ｇ）］｝+・・・・・・・・・・・・・・・・・・・・・・・・・・・・式１４ Ｅc＝｛（Ｂ−Ｋ1）− ｍａｘ［Ｋ2ｍｉｎ（Ｇ，Ｒ），Ｋ3Ｇ，Ｋ4Ｒ］−ｍａｘ［Ｋ5（Ｇ− Ｒ），Ｋ6（Ｒ−Ｇ）］｝+・・・・・・・・・・・・・・・・・・・・式１４ａ 数式１２が、数式６に第３の項を追加したものであり、かつこの項がＫ5およ びＫ6によって制御されることに留意されたい。 以下のように、表１および２で使用されたのと同じ色およびビデオ・レベルを 数式１２および表３で使用する。 Ｋ5Ｋ6＝０およびＫ2Ｋ3Ｋ4Ｋ5＝１．０するとＥc＝｛Ｂ− ［ｍａｘ（Ｇ，Ｒ）＋Ｋ5（Ｇ−Ｒ）］｝+ 表１、２、３のＥcを示す表３の最後の３列を調べると分かるように、表３（ 数式１２）のＥcは、青い目、明るく輝く青、およびすべてのグレイ・スケール 被写体に対して丁度ゼロになる。黒い線の問題は、Ｋ3またはＫ4によって補正し ない限り、シアン、マゼンタ、緑、および肌色に対してはある程度増大する。数 式１３、数式１４、数式１４ａによって、Ｋ3とＫ4を共に同時に補正することが でき る。 改良されたＥc式を得る第４の技法は、比を使用することである。この技法で は、バック色値の比に基づいて２つの数式が生成される。この数式は以下の通り である。 ＧＥc１＝Ｇ−Ｋ7Ｂ ＲＥc１＝Ｒ−Ｋ8Ｂ 上式で、 Ｋ7＝ＧＭＡＸ／ＢＭＡＸ，Ｋ7＞０ Ｋ8＝ＧＭＡＸ／ＢＭＡＸ，Ｋ8＞０である。 ＲＭＡＸ、ＧＭＡＸ、ＢＭＡＸは、（手動で、あるいは、自動的に）選択され た基準バック領域でのＲ値、Ｇ値、Ｂ値、すなわち、自動的に選択されるときは 、バックの最も純粋な青を有するバック領域中の位置でのＲ値、Ｇ値、Ｂ値、ま たは、手動で選択するときは、髪など微細な前景ディテイルを有する領域でのＲ 値、Ｇ値、Ｂ値である。 比率式は、Ｇ／Ｂ値およびＲ／Ｂ値に基づく、バック色からの前景オブジェク トの色離れ量を表す。この数式は、すべての輝度値に関して、前景オブジェクト に対して正の値を有することも、負の値を有することもでき、バック領域に対し てゼロを有することができる。 ＧＥc１およびＲＥc１の負の部分を以下のように選択する。 ＧＣＯＲ１＝ＭＩＮ［ＧＥc１，０］ ＲＣＯＲ１＝ＭＩＮ［ＲＥc１，０］ ＧＥＣ１およびＧＣＯＲ１から以下の２つの新規の数式を生成する。 ＧＥc２＝［１／（１−Ｋ7）］［Ｇ−ＧＣＯＲ１−Ｋ7Ｂ］ ＧＥc３＝［１／（１−Ｋ7）］［Ｇ−（ＧＣＯＲ１／ｋ7）−Ｋ7Ｂ］ ＲＥc１およびＲＣＯＲ１から以下の２つの新規の数式を生成する。 ＲＥc２＝［１／（１−Ｋ8）］［Ｒ−ＲＣＯＲ１−Ｋ8Ｂ］ ＲＥc３＝［１／（１−Ｋ8）］［Ｒ−（ＲＣＯＲ１／Ｋ8）−Ｋ8Ｂ］ 上式で、ＧＥc２、ＧＥc３、ＲＥc２、ＲＥc３は、前景オブジェクトに対して 正の値を有し、バック領域に対してゼロを有する。 ＧＥc２、ＧＥc３、ＲＥc２、ＲＥc３から以下の２つの数式を生成する。 ＥcＴ2＝ＭＡＸ［Ｋ3ＧＥc２，Ｋ4ＲＥc２］ ＥcＴ3＝ＭＩＮ［ＧＥc３，ＲＥc３］ 上記の２つの項をＥc式３に追加して、以下の新規のＥc式を生成する。 Ｅc＝｛［Ｂ−Ｋ1］−Ｋ2ＭＡＸ［Ｇ、Ｒ］＋ＭＡＸ［ＥcＴ２−Ｅ Ｔ３］｝ ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・式１５ 上記の数式に項［ｍａｘＫ5（Ｇ−Ｒ），Ｋ6（Ｒ−Ｇ）］を追加する。 完全なＥc式は以下の数式で表される。 Ｅc＝｛［Ｂ−Ｋ1］−Ｋ2ＭＡＸ［Ｇ、Ｒ］＋ＭＡＸ［ＥcＴ２−ＥcＴ３］− ｍａｘＫ5（Ｇ−Ｒ）、Ｋ6（Ｒ−Ｇ）］｝+ ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・式１６ 数式１５および１６は、それらの数式で比率項が使用されることを除いて、数 式１０および１３に類似している。 赤、黄褐色、茶色、肌色など暖かな色合いが含まれるとき、Ｅcは、数式１２ 中のＫ4減少させることによって丁度ゼロになる。被写体が高飽和緑色を含む場 合、Ｋ3を減少させることによって、被写体のエッジでＥcをゼロにすることがで きる。 この２つのオプションは前述の特許で教示されているが、被写体の洋服ダンスが 青いとき、これらの従来型のシステムでは、Ｋ2を増加させた後にＥc利得を増加 させる必要があるために雑音が発生した。 本発明は、数式１０、１１、１１ａ、１３、１４、１４ａ、２５、２６の実施 形態を対象とするものであり、中立色オブジェクトに影響を与えずにＫ3とＫ4を 同時に調整することができる代替Ｅc式生成手段を提供する。本発明は、Ｅc式に 項＋Ｋ5（Ｇ−Ｒ）またはＫ6（Ｒ−Ｇ）も追加し、そのため、Ｋ2もＥc利得も増 加させずに、かなり明るく輝く青色の洋服ダンスを前景で使用することができる 。 前景が、白に対して合成された明るい緑色とシアンを共に含む場合、青い被写 体および青いバックを使用すると問題が発生することがある。この組合せでは、 Ｋ3を使用して黒い線の問題を軽減することができず、この問題が存在する場合 、背景が白であり、あるいは、非常に明るいとき、黒い線が見えるようになる。 この条件の特定の組合せが発生することは非常にまれなので、画像を劣化させず に洋服ダンスおよび青い目を自由に使用できることは、画像合成の顕著な改良で ある。 前述のように、青い画面の前方のブロンドまたは茶色の髪を扱う際、Ｋ20［ホ ワイト・バランス］を調整して青いフレアを抑圧する必要がある。そうすると、 白い前景オブジェクトはより暖かな色相を帯びる。 本発明では、上述の問題に対処するためにＥk式に新しい制御を追加する。こ の新しい制御、すなわちブラック・バランスは、ホワイト・バランス制御の「正 の利得」に対して、Ｅk式中の青色チャネルに対する「負の利得」として働く。 修正されたＥk式は、以下の式で表される。 ＥK＝｛［Ｋ20Ｂ＋｛Ｋ21（（ＭＡＸＰＩＸ−Ｂ）ＭＡＸＰＩＸ）］｝−［Ｋ2 2 Ｇ＋ｍａｘ［Ｋ22（Ｇ−Ｒ）、Ｋ23（Ｒ−Ｇ）］＋（１−Ｋ22）ｍｉｎ（Ｇ， Ｒ）］｝ ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・式２２ 上式で、 Ｋ20＝ホワイト・バランス Ｋ21＝ブラック・バランス Ｋ22＝ゲート１／３（ゲート１またはゲート３） Ｋ23＝ゲート２である。 ＭＡＸＰＩＸ＝最大画素値［最大許容前景値］ ホワイト・バランスではなくブラック・バランスを使用して上述の問題を解決 すると、明るい白の色相を変化させずに妥当な髪の色が復元される。数式２２は 、画像合成システムのフレア抑制部分の顕著な改良を有する技法を説明するもの である。 前述のように、青色画面を生成する際には、前景オブジェクト・ディテイルを 保存し、同時に、最終合成画像から陰影をなくすることが望ましい場合がある。 この一例は、バックと同じ色の手袋またはスーツを着用し、青い画面の前方であ やつりり人形を動かす人形遣いである。このような青い手袋およびスーツは、バ ックとは異なる複雑な形（腕または体）を有するので、どれだけ強く照明される かにかかわらず、様々な量の光を様々な方向に反射する。このような手袋および スーツは、バックと同様に青色であるが、輝度が異なるものなので、上述のＥc 式に類似の線形つや消し式では、このような変動はバック上の「陰影」として説 明される。したがって、このような変動は、背景画像に移され、最終合成ビデオ に現れる。青い手袋またはスーツは前景画像の一部であり、基準フレームには存 在しないので、画面補正を使用することはできず、輝度の変動は、それが前景に も基準フレームにも存在する場合しか補正できない。既存のクリーンアップ機能 はこのような輝度の変動をなくするが、同時に、前景のあやつり人形の微細なデ ィテイルもなくする。したがって、あやつり人形は「切抜き絵」のようになる。 既存のクリーンアップを用いた場合、背景Ｅcだけを処理して陰影を除去する と、前景オブジェクト上に鮮やかなエッジがもたらされる。というのは、Ｅcの 利得を増加させることによって、通常ＦＧ／ＢＧ遷移エッジに存在するよりもず っと高い値の背景画像が存在するからである。処理された前景にこのような過度 の背景が追加されることによって、通常よりも明るく、したがって、鮮やかなエ ッジがもたらされる。エッジが鮮やかなものになるのを防止するために、クリー ンアップを前景画像にも適用して前景エッジ値を減少させる。このように前景エ ッジ値を減少させると、微細ディテイル情報が失われる。 以下に説明する新規のクリーンアップ方法は、輝度の変動または「陰影」をな くし、前景オブジェクトの微細ディテイル情報の劣化を最小限に抑える。本発明 は、背景が処理されるとき、背景にＥcが乗じられるために、画面の輝度の変動 が背景画像に移されることを利用する。前景は、Ｅcを使用して画面をゼロに減 じることによって処理され、Ｅcが画面と同じ輝度変動を含むので、すべてのこ の変動はゼロに低減される。このプロセスは、上述の特許に記載されており、Ｕ ｌｔｉｍａｔｔｅ Ｃｏｒｐｏｒａｔｉｏｎ、すなわち、本発明の出願人の基本 画像合成プロセスである。本発明は、処理済みの前景とＥc式を使用して、新規 のＥc式を生成する。次いで、この数式を使用して背景画像を処理する。 所与の前景画像では、処理済み前景Ｒ、Ｇ、Ｂ式は以下の数式３１で表される 。 ＰＲ Ｒ＝ｍａｘ｛［Ｒ−Ｋ30Ｅc］，０｝ ＰＲ Ｇ＝ｍａｘ｛［Ｇ−Ｋ31Ｅc］，０｝ ＰＲ Ｂ＝ｍａｘ｛［Ｂ−Ｋ32Ｅc］，０｝ 上式で、 Ｋ30＝ＲＭＡＸ／ＥcＭＡＸ Ｋ31＝ＧＭＡＸ／ＥcＭＡＸ Ｋ32＝ＢＭＡＸ／ＥcＭＡＸである。 Ｅcは、数式２のように最も簡単な形でも、数式３ないし数式１６に記載した より複雑な形でもよい。 ＥcＭＡＸ＝前景画像中の基準点でのＥcの値である。基準点は、手動で、ある いは自動的に選択され、選択基準によって、自動的に選択されるときは、バック の最も純粋な青が選択され、手動で選択するときは、髪など微細な前景ディテイ ルを有する領域が選択される。 ＲＭＡＸ、ＧＭＡＸ、ＢＭＡＸ＝ＥcＭＡＸ点でのバック色を表す前景画像の Ｒ値、Ｇ値、Ｂ値である。 ＢＧＥc＝（ｍｉｎ（Ｋ33Ｅc、［ＭＡＸＰＩＸ−ｍａｘ（Ｋ34ＰＲＲ、Ｋ35Ｐ Ｒ Ｇ、Ｋ36ＰＲ Ｂ）］｝｝+ ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・式３０ 上式で、 Ｋ33＝陰影クリーンアップ Ｋ34＝Ｒクリーンアップ Ｋ35＝Ｇクリーンアップ Ｋ36＝Ｂクリーンアップ ＭＡＸＰＩＸ＝最大前景画素値［最大許容前景値］ 前記で指摘したように、処理済み前景は画面情報も陰影情報も有さない。３つ の前景チャネルのうちの「最も高い前景チャネル」を反転する（反転してオフセ ットする）と、黒であった画面領域が白になり、前景色はそれぞれ反転される。 数式３０に示したように、ＢＧＥcはこの項とＥcのうちの「より低い方」である 。Ｋ33を１に設定し、Ｋ34、Ｋ35、Ｋ36を０に設定すると、ＢＧＥc＝Ｅcとなる 。大きな利得をＥcに適用して陰影情報をなくし、Ｋ34、Ｋ35、Ｋ36を、妥当な エッジ遷移が得られるように設定する［Ｋ＞０］と、前景オブジェクト内のつや 消しの密度はＥcによって保持されるが、遷移時に、反転された前景項によって 妥当なレベルが与えられる。したがって、陰影がなくなり、微細ディテイル・エ ッジの劣化が最小限に抑えられ、あるいはなくなる。少量のエッジ・グローまた は少量の微細なディテイルの喪失が発生するのは、非常に黒い、あるいは黒い前 景オブジェクトだけである。この方法は主として、明るい色のあやつり人形の例 に類似の状況で使用されるので、この方法が与える顕著な利点と比べて欠点は無 視できるものである。 ＢＧＥcを生成する代替技法は画面比率法である。この技法では、画面色比を 使用して、陰影を含めて画面領域がゼロに低減される。以下の比率式が得られる 。 ＧＥc１＝Ｇ−Ｋ7Ｂ ＲＥc１＝Ｒ−Ｋ8Ｂ 上式で、 Ｋ7＝ＧＭＡＸ／ＢＭＡＸ，Ｋ7＞０ Ｋ8＝ＲＭＡＸ／ＢＭＡＸ，Ｋ8＞０である。 ＲＭＡＸ、ＧＭＡＸ、ＢＭＡＸは、手動で、あるいは、自動的に選択された基 準バック領域でのＲ値、Ｇ値、Ｂ値、すなわち、自動的に選択されるときは、バ ックの最も純粋な青を有するバック領域中の位置でのＲ値、Ｇ値、Ｂ値、または 、手動で選択するときは、髪など微細な前景ディテイルを有する領域でのＲ値、 Ｇ値、Ｂ値である。 比率式は、Ｇ／Ｂ値およびＲ／Ｂ値に基づく、バックの色から前景オブジェク トの色離れ量を表す。この数式は、すべての輝度値に関して、前景オブジェクト に対して正の値を有することも、負の値を有することもでき、バック領域に対し てゼロを有することができる。 ＧＥc１およびＲＥc１の負の部分を以下のように選択する。 ＧＣＯＲ１＝ＭＩＮ［ＧＥc１，０］ ＲＣＯＲ１＝ＭＩＮ［ＲＥc１，０］ ＧＣＯＲ１およびＲＣＯＲ１から以下の２つの新規の数式を生成する。 ＧＥc２＝［１／（１／Ｋ7）］［Ｇ−ＧＣＯＲ１−Ｋ7Ｂ］ ＲＥc２＝［１／（１／Ｋ8）］［Ｒ−ＲＣＯＲ１−Ｋ8Ｂ］ 上式で、ＧＥc２およびＲＦｃ２は、前景オブジェクトに対して正の値を有し 、バック領域に対してゼロを有する。 ＢＧＥc＝｛ｍｉｎ｛Ｋ33Ｅc、［ＭＡＸＰＩＸ−ｍａｘ（Ｋ37ＧＥc２、Ｋ38 ＲＥc２）］｝｝+ ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・式３１ 上式で。 Ｋ33＝陰影クリーンアップ Ｋ37＝ＧＥc２クリーンアップ Ｋ38＝ＲＥc２クリーンアップ ＭＡＸＰＩＸ＝最大前景画素値（最大許容前景値） 数式３１によって得られる結果は、数式３０によって得られる結果に非常に類 似している。Ｋ37およびＫ38は、数式３０のＫ34、Ｋ35、Ｋ36と同様に働く。 ＢＧＥc式を生成する第３の技法は、単に数式３０と数式３１を組み合わせて 以下の新規の数式形成することによるものである。 ＢＧＥc＝｛ｍｉｎ｛Ｋ33Ｅc、［ＭＡＸＰＩＸ−ｍａｘ（Ｋ34ＰＲＲ、Ｋ35Ｐ Ｒ Ｇ、Ｋ35ＰＲ Ｂ、Ｋ37ＧＥc２、Ｋ38ＲＥc２）］｝｝+ ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・式３２ 上式で、 Ｋ33＝陰影クリーンアップ Ｋ34＝Ｒクリーンアップ Ｋ35＝Ｇクリーンアップ Ｋ36＝Ｂクリーンアップ Ｋ37＝ＧＥc２クリーンアップ Ｋ38＝ＲＥc２クリーンアップ ＭＡＸＰＩＸ＝最大前景画素値［最大許容前景値］ 機能的には、数式３２は、数式３０および数式３１に類似しており、ある程度 冗長な制御を有する。 本明細書に記載したすべての改良は、アナログ・ハードウェアでも、ディジタ ル・ハードウェアでも、ソフトウェアでも、この３つの方法のうちのどれかまた はすべての組合せでも実施することができる。 改良された画像合成式をどのようにハードウェアで実施するかの一例を第１図 ないし第４図に示す。第１図は、基本画像合成システムのブロック図である。第 ２図、第３図、第４図は、改良された新規の数式が使用される第１図の各部分の 拡大ブロック図である。 ＥcＧＥＮ１は、上述の技法によってＥc制御信号を生成する。数式１０、数式 １１、数式１１ａ、または数式１２ないし１４ａによってＥc制御信号を生成す る特定の回路は、当業者には明らかであろう。数式１４ａの実施の形態を示す第 ２図に適当な回路の一例を示す。つや消し制御１１は、Ｋ数として指定され、以 下のように定義される。 Ｋ1＝黒い光沢 Ｋ2＝つや消し密度 Ｋ3＝密度バランス１ Ｋ4＝密度バランス２ Ｋ5＝密度１ Ｋ6＝密度２ これらの制御は、システム・オペレータによって、あるいはコンピュータの制 御下で設定される。そのような１つの適当なコンピュータ制御は、 に出願 された関連米国特許出願第 号に記載されている。要素２１、２３、２５ 、２７、２９はマルチプライヤである。要素３１、３３、３５、３７は差動回路 で ある。要素３９、４１、４３は遅延回路である。要素４５は、その入力の最小値 を通過させる。要素４７、４９、５１は、その入力の最大値を通過させる。この 接続では、要素４９への一方の入力が０なので、要素４９はゼロ・クリップとし て機能する。 ＥcＭａｘ検出器３は、処理中の現画像に関して第２図の回路によって生成さ れる最大Ｅc値および位置を検出する。この機能を実行する適当な回路の詳細は 、当業者には容易に明らかになろう。 この値・位置情報は、ＲＧＢバイアス回路２に渡され、ＲＧＢバイアス回路は 、前景画像を処理するのに必要な妥当なバイアス値を生成し、その結果、画像の 画面領域は正しく黒に制限される。曇り制御６１は、このバイアス値に対するオ ペレータが調整するオーバライドである。適当なＲＧＢバイアス回路２は、１９ ８６年１２月２５日に発行されＵｌｔｉｍａｔｔｅ Ｃｏｒｐｏｒａｔｉｏｎに 譲渡された米国特許第４６２５２３１号に記載されている。 Ｅk生成回路４は、本発明の改良されたフレア抑制またはＥk生成を代表するも のである。第３図は、数式２２と等価の回路に対するＥk生成回路４の詳細ブロ ック図である。フレア制御は、Ｋ数として指定され、以下のように定義される。 Ｋ20＝ホワイト・バランス Ｋ21＝ブラック・バランス Ｋ22＝ゲート１ １−Ｋ22＝ゲート３ Ｋ23＝ゲート２ この例は、設定済み青色画面に関するものなので、Ｅkは、前景青色チャネル からのフレアを抑制する。第３図で、要素６１ないし６６はマルチプライヤであ り、要素７１ないし７３は差動回路であり、要素７５は加算器／差動回路であり 、要素７７は加算器である。第３図には、遅延要素８１ないし８５、最小選択回 路９１、最大選択回路８７および８９、除算回路９１も示されている。ＭＡＸＰ ＩＸは差動回路７３および分割回路９１へ入力される。上述のＫ21は、マルチプ ライヤ６６に入力される。上述のＫ20は、マルチプライヤ６５に入力される。上 述の定数１−Ｋ22は、マルチプライヤ６４に入力される。この回路へのＲＧＢ入 力が、 上述の回路要素および一定の入力によって処理されると、制御信号Ｅｋが生成さ れる。 ＢＧＥc生成回路５には、本発明の陰影クリーンアップ式が組み込まれている 。第４図は、数式３２の実施の形態を示すＢＧＥc生成回路５の詳細ブロック図 を示す。クリーンアップ制御は、Ｋ数として指定され、以下のように定義される 。 Ｋ33＝陰影クリーンアップ／ＢＧレベル・バランス Ｋ34＝Ｒクリーンアップ Ｋ35＝Ｇクリーンアップ Ｋ36＝Ｂクリーンアップ クリーンアップが必要でないとき、Ｋ33＝１、Ｋ34＝Ｋ35＝Ｋ36＝０であり、 Ｋ33は、背景レベル・バランス制御として働き、前景画面領域に存在したすべて の陰影情報を背景に移す。陰影が必要でないとき、Ｋ33は１よりも大きな値に設 定され、Ｋ34、Ｋ35、Ｋ36は０よりも大きな値に設定される。このような調整は 、オペレータによって設定され、それぞれ、他の入力としてＥc、ＰＲＢ、ＰＲ Ｇ、およびＰＲＲを有する、マルチプライヤ１０１ないし１０４にそれぞれ入力 される。Ｅcは上述のように第２図の回路によって生成される。ＰＲＢ、ＰＲＧ 、およびＰＲＲは、それぞれ、差動回路１１１ないし１１３および最大比較器回 路１１５ないし１１７によって生成された青、緑、および赤である。この結果は ＢＧＥc生成回路５に入力される。第４図で、要素１１４および１１８は最大比 較器であり、要素１１９は最小比較器であり、要素１２０は差動回路である。図 示したように、ＢＧＥcは、最小比較器１１９から出力される信号である。 再び第１図を参照すると、背景画像は、マルチプライヤ１２１ないし１２３に よってＢＧＥc生成回路５の出力が乗じられ、次いで、加算器１３１ないし１３ ３によって処理済み前景ＲＧＢが加算されて合成画像となる。 第３図および第４図に示した項ＭＡＸＰＩＸは最大許容前景画像値である（た とえば、画素色システム当たり８ビットの場合は２５５）。この値はシステムに 依存する。 Ｄ１ないしＤ１７は遅延装置であり、システム中の様々な経路のタイミングを とるために使用される。使用すべき特定の遅延量はシステムに依存する。周知の 技法によって様々な回路、加算器、および比較器を構築することができる。 本明細書の改良は、青いバックに関して説明したが、緑色バックおよび赤いバ ックにも有効である。緑色バックの場合、項Ｂと項Ｇを相互に交換する。赤いバ ックの場合は、項Ｒと項Ｂを相互に交換する。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，Ｍ Ｃ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ， ＴＤ，ＴＧ)，ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，ＢＹ， ＣＡ，ＣＨ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，Ｇ Ｂ，ＧＥ，ＨＵ，ＪＰ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＫ ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＮ，ＭＷ，ＮＬ，ＮＯ， ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＩ，Ｓ Ｋ，ＴＪ，ＴＴ，ＵＡ，ＵＺ，ＶＮ

Claims (1)

  1. 【特許請求の範囲】 １．前景シーンが、着色されたバックとビデオ・カメラの間に配設された前景被 写体を含み、前景シーンおよび背景シーン用の赤色成分、青色成分、および緑色 成分を有するビデオ信号を合成するシステムにおいて、 ａ）着色されたバックの輝度および可視性に比例するレベルを有する制御信号 を生成する手段であって、緑または肌色である前景被写体の部分に対してゼロに 等しいとき、同時に、グレイ・スケール被写体に対して低減されることがないよ うに生成され、その結果、印刷抜けをなくする前記制御信号を生成する手段（１ 、１１）と、 ｂ）各ビデオ・ラインごとにバックに関するビデオ信号の赤色成分、青色成分 、および緑色成分のビデオ信号レベルに一致するように制御信号のレベルを調整 する手段（３）と、 ｃ）前景ビデオ制御信号から、レベルの一致した制御信号を減じる手段（１１ １、１１２、１１３）と、 ｄ）背景シーン・ビデオ信号のレベルを制御信号の線形関数として制御する手 段（１２１、１２２、１２３）と、 ｅ）バックの色成分が各ビデオ・ライン上で独立に除去された前景シーン・ビ デオ信号と、レベルが制御信号によって制御される背景シーン・ビデオ信号とを 組み合わせる手段（１３１、１３２、１３３）と を備えることを特徴とするシステム。 ２．さらに、 ａ）前景シーン・ビデオ信号の赤色成分、青色成分、および緑色成分のそれぞ れごとのクリーンアップ信号を生成する手段（１１５、１１６、１１７）と、 ｂ）前記前景シーン・ビデオ信号中の陰影をなくし、同時に、微細ディテイル ・エッジの劣化をほぼなくすために、前記クリーンアップ信号生成手段および前 記制御信号生成手段に結合された手段（５）と を備えることを特徴とする請求項１に記載のシステム。 ３．さらに、 ａ）青色バックの前方のブロンドまたは茶色の前景被写体のためにフレアを抑 制し、同時に、白い前景被写体がより暖かな色相を帯びることをほぼなくする手 段（４）を備えることを特徴とする請求項１に記載のシステム。 ４．前記制御信号Ｅcが、 Ｅc＝｛（Ｂ−Ｋ1）−Ｋ2ｍａｘ（Ｇ，Ｒ）＋［ｍａｘ（Ｋ3Ｇ，Ｋ4Ｒ）−ｍ ｉｎ（Ｇ，Ｒ）］｝+ の形をとることを特徴とする請求項１に記載のシステム。 ５．前記制御信号Ｅcが、 Ｅc＝｛（Ｂ−Ｋ1）−Ｋ2ｍａｘ（Ｋ3Ｇ，Ｋ4Ｒ）−ｍａｘ［Ｋ5（Ｇ−Ｒ）， Ｋ6（Ｒ−Ｇ）］｝+ の形をとることを特徴とする請求項１に記載のシステム。 ６．前記制御信号Ｅcが、 Ｅc＝｛（Ｂ−Ｋ1）−Ｋ2ｍａｘ（Ｇ，Ｒ）＋［ｍａｘ（Ｋ3Ｇ，Ｋ4Ｒ）−ｍ ｉｎ（Ｇ，Ｒ）−ｍａｘ［Ｋ5（Ｇ−Ｒ），Ｋ6（Ｒ−Ｇ）］｝+ の形をとることを特徴とする請求項１に記載のシステム。 ７．前記制御信号Ｅcが、 Ｅc＝｛（Ｂ−Ｋ1）−Ｋ2ｍａｘ［ｍｉｎ（Ｇ，Ｒ），Ｋ3Ｇ，Ｋ4Ｒ］−ｍａ ｘ［Ｋ5（Ｇ−Ｒ），Ｋ5（Ｒ−Ｇ）］｝+ の形をとることを特徴とする請求項１に記載のシステム。 ８．前記制御信号Ｅcが、 Ｅc＝｛（Ｂ−Ｋ1）−ｍａｘ［Ｋ2ｍｉｎ（Ｇ，Ｒ），Ｋ3Ｇ，Ｋ4Ｒ］−ｍａ ｘ［Ｋ5（Ｇ−Ｒ），Ｋ6（Ｒ−Ｇ）］｝+ の形をとることを特徴とする請求項１に記載のシステム。 ９．前記制御信号Ｅcが、 Ｅc＝｛（Ｂ−Ｋ1）−Ｋ2ＭＡＸ［Ｇ，Ｒ］＋ＭＡＸ［ＥcＴ2−ＥcＴ３］｝+ の形をとることを特徴とする、請求項１に記載のシステム。 １０．前記制御信号Ｅcが、 Ｅc＝｛［Ｂ−Ｋ1］−Ｋ2ＭＡＸ［Ｇ，Ｒ］＋ＭＡＸ［ＥcＴ２−ＥcＴ３］− ［ｍａｘ Ｋ5（Ｇ−Ｒ），Ｋ5（Ｒ−Ｇ）］｝+ の形をとることを特徴とする請求項１に記載のシステム。 １１．前景シーンが着色されたバックとビデオ・カメラの間に配設された前景被 写体を含み、前景シーンおよび背景シーン用の赤色成分、青色成分、および緑色 成分を有するビデオ信号を合成する方法において、 ａ）着色されたバックの輝度および可視性に比例するレベルを有し、緑または 肌色である前景被写体の部分に対してゼロに等しいとき、同時に、グレイ・スケ ール被写体に対して低減されることがないように生成され、その結果、印刷抜け をなくする制御信号を生成するステップと、 ｂ）各ビデオ・ラインごとにバックに関するビデオ信号の赤色成分、青色成分 、および緑色成分のビデオ信号レベルに一致するように制御信号のレベルを調整 するステップと、 ｃ）前景ビデオ制御信号から、レベルの一致した制御信号を減じるステップと 、 ｄ）背景シーン・ビデオ信号のレベルを制御信号の線形関数として制御するス テップと、 ｅ）バックの色成分が各ビデオ・ライン上で独立に除去された前景シーン・ビ デオ信号と、レベルが制御信号によって制御される背景シーン・ビデオ信号を組 み合わせるステップとを備えることを特徴とする方法。
JP52325894A 1993-04-15 1994-04-04 ビデオ画像を合成する方法および装置 Expired - Lifetime JP3679115B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/048,750 US5343252A (en) 1993-04-15 1993-04-15 Method and apparatus for compositing video images
US08/048,750 1993-04-15
PCT/US1994/003678 WO1994024831A1 (en) 1993-04-15 1994-04-04 Method and apparatus for compositing video images

Publications (2)

Publication Number Publication Date
JPH08510876A true JPH08510876A (ja) 1996-11-12
JP3679115B2 JP3679115B2 (ja) 2005-08-03

Family

ID=21956259

Family Applications (1)

Application Number Title Priority Date Filing Date
JP52325894A Expired - Lifetime JP3679115B2 (ja) 1993-04-15 1994-04-04 ビデオ画像を合成する方法および装置

Country Status (7)

Country Link
US (1) US5343252A (ja)
JP (1) JP3679115B2 (ja)
AU (1) AU6625294A (ja)
CA (1) CA2160551C (ja)
DE (2) DE4492448T1 (ja)
GB (1) GB2291759B (ja)
WO (1) WO1994024831A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5523958A (en) * 1992-06-10 1996-06-04 Seiko Epson Corporation Apparatus and method of processing image
US5907315A (en) * 1993-03-17 1999-05-25 Ultimatte Corporation Method and apparatus for adjusting parameters used by compositing devices
GB2292284B (en) * 1993-04-15 1997-08-13 Ultimatte Corp Screen filtering boundary detection for image compositing
US5515109A (en) * 1995-04-05 1996-05-07 Ultimatte Corporation Backing color and luminance nonuniformity compensation
DE19619090A1 (de) 1996-04-30 1997-11-13 Cfb Gmbh Vorrichtung und Verfahren zur Erzeugung eines Kompositbildes
US6301382B1 (en) * 1996-06-07 2001-10-09 Microsoft Corporation Extracting a matte of a foreground object from multiple backgrounds by triangulation
US5742354A (en) * 1996-06-07 1998-04-21 Ultimatte Corporation Method for generating non-visible window edges in image compositing systems
US5974198A (en) * 1996-08-26 1999-10-26 Adobe Systems Incorporated Adjustment layers for composited image manipulation
DE19639355B4 (de) * 1996-09-25 2006-05-04 Bts Holding International Bv Verfahren und Anordnung zum Farbstanzen
US6288703B1 (en) * 1996-11-25 2001-09-11 Ultimatte Corporation Method for removing from an image the background surrounding a selected subject by generating candidate mattes
US6532022B1 (en) * 1997-10-15 2003-03-11 Electric Planet, Inc. Method and apparatus for model-based compositing
US6134346A (en) * 1998-01-16 2000-10-17 Ultimatte Corp Method for removing from an image the background surrounding a selected object
GB9813632D0 (en) * 1998-06-24 1998-08-26 Robinson Alan W Outside televised broadcast shadow compensator
US6229550B1 (en) 1998-09-04 2001-05-08 Sportvision, Inc. Blending a graphic
US7075556B1 (en) 1999-10-21 2006-07-11 Sportvision, Inc. Telestrator system
US6909438B1 (en) 2000-02-04 2005-06-21 Sportvision, Inc. Video compositor
US6870574B2 (en) * 2000-03-08 2005-03-22 Mitchell Kriegman Method and apparatus for enhanced puppetry or similar types of performances utilizing a virtual set
CA2453056A1 (en) * 2001-07-06 2003-01-16 Vision Iii Imaging, Inc. Image segmentation by means of temporal parallax difference induction
US6538396B1 (en) * 2001-09-24 2003-03-25 Ultimatte Corporation Automatic foreground lighting effects in a composited scene
GB0220138D0 (en) * 2002-08-30 2002-10-09 Kaydara Inc Matte extraction using fragment processors
US20050176812A1 (en) * 2003-11-06 2005-08-11 Pamela Cohen Method of treating cancer
US9215383B2 (en) 2011-08-05 2015-12-15 Sportsvision, Inc. System for enhancing video from a mobile camera
CN103366364B (zh) * 2013-06-07 2016-06-29 太仓中科信息技术研究院 一种基于颜色差异的抠图方法
DE112014006224T5 (de) * 2014-01-21 2016-11-03 Mitsubishi Electric Corporation Bewegtbildwiedergabevorrichtung
US9350924B2 (en) 2014-08-25 2016-05-24 John G. Posa Portable electronic devices with integrated image/video compositing
ES2755776T3 (es) * 2017-02-02 2020-04-23 Fraunhofer Ges Forschung Procedimiento para sustituir contenidos de imágenes

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4100569A (en) * 1976-11-03 1978-07-11 Petro Vlahos Comprehensive electronic compositing system
US4319266A (en) * 1979-09-04 1982-03-09 The Grass Valley Group, Inc. Chroma keying system
US4344085A (en) * 1980-12-04 1982-08-10 Vlahos-Gottschalk Research Corp. Comprehensive electronic compositing system
FR2527033A1 (fr) * 1982-05-17 1983-11-18 Telediffusion Fse Systeme d'incrustation d'images en television en couleurs
JPS60501680A (ja) * 1983-06-13 1985-10-03 アルテイマツト　コ−ポレ−シヨン 自動符号化信号カラ−画像合成
US4625231A (en) * 1984-04-27 1986-11-25 Ultimatte Corporation Comprehensive electronic compositing system
US5032901A (en) * 1988-06-28 1991-07-16 Petro Vlahos Backing color and luminance nonuniformity compensation for linear image compositing

Also Published As

Publication number Publication date
DE4492448B4 (de) 2005-07-07
GB2291759B (en) 1997-07-30
AU6625294A (en) 1994-11-08
JP3679115B2 (ja) 2005-08-03
CA2160551A1 (en) 1994-10-27
GB9521079D0 (en) 1995-12-20
DE4492448T1 (de) 1996-08-22
US5343252A (en) 1994-08-30
GB2291759A (en) 1996-01-31
CA2160551C (en) 2003-11-11
WO1994024831A1 (en) 1994-10-27

Similar Documents

Publication Publication Date Title
JP3679115B2 (ja) ビデオ画像を合成する方法および装置
US4100569A (en) Comprehensive electronic compositing system
JP3679114B2 (ja) ビデオ信号を合成するためのシステムおよび方法
JPH0716251B2 (ja) カラー映像ビデオ信号を合成する電子装置
JP2756940B2 (ja) 電子画像合成装置
US7027662B2 (en) Method and apparatus for the removal of flash artifacts
US6667774B2 (en) Method and apparatus for the automatic generation of subject to background transition area boundary lines and subject shadow retention
JP3450022B2 (ja) 背景信号を前景信号の部分にはめ込む制御信号を取出す方法及び装置
JP7087331B2 (ja) 画像処理装置、画像処理方法及びプログラム
US4409611A (en) Encoded signal color image compositing
JPH0256878B2 (ja)
US6262778B1 (en) Image processing system
JP2000509225A (ja) コンポジット画像の形成装置および形成方法
US9928582B2 (en) Method and system for processing image content for enabling high dynamic range (UHD) output thereof and computer-readable medium comprising UHD content created using same
US9990702B2 (en) Method and system for processing image content for enabling high dynamic range (UHD) output thereof and computer-readable medium comprising UHD content created using same
US6538396B1 (en) Automatic foreground lighting effects in a composited scene
JP3912866B2 (ja) 合成ビデオ信号発生方法及び装置
Kanagavel et al. Color Compensation Based Fusion for Enhancement of Weakly Artitifical Illuminated Indoor Images
JPS6033029B2 (ja) ビデオ画像の電子式合成装置
WO2017127445A1 (en) Processing image content for enabling high dynamic range (hdr) output thereof and computer-readable program product having such hdr content
JPS63160471A (ja) イメージエンハンサ
JP2004349785A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040727

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20041027

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20041213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050512

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090520

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100520

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110520

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120520

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130520

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term