JP3834334B2 - コンポジット画像の形成装置および形成方法 - Google Patents

Description

本発明は、請求項１の上位概念による装置および請求項１１の上位概念による方法に関する。
ＵＳ−ＰＳ４１００５６９から、２つの画像をいわゆる“ブルースクリーン”法に従って合成することのできるこの種の装置が公知である。
ここで一方の画像（以下、前景画像と称する）が対象物、または実質的に単色の、有利には青の背景の前にある空間的シーンを形成する。このことは、画像中の色差に基づき対象物ないし空間的シーンを青い背景から分離することを可能にする。
他方の画像（以下、背景画像と称する）はこれに対して任意の背景であり、この背景に前景画像の対象物または空間的シーンが挿入される。例えばテレビジョンモデレータをテレビジョンスタジオで青背景（ブルースクリーン）の前に記録し、続いて前もって別個の画像として記憶した任意のスタジオパネルに挿入することができる。
このために公知の装置は、任意の画点に対して前景画像の色値から２つの制御パラメータを計算する。ここで第１の制御パラメータ（背景制御電圧）は背景画像をどの程度強く生じた画像（以下、コンポジット画像と称する）に挿入すべきかを表し、第２の制御パラメータ（クランプ電圧）は青背景の色をどの程度、コンポジット画像で減少させ、青背景の障害的色作用を抑圧するかを定める。
コンポジット画像は次に画像ミキサにより、第１の制御パラメータにより重み付けされた背景画像の色値と、前景画像の色値とから合成される。ここで前景画像の青の色成分は第２の制御パラメータに相応して減少される。
この関係で重要なのは、前景画像の色成分をコンポジット画像の混合の際に各画素において考慮することである。従って前景画像では、コンポジット画像を前景画像の色値、または背景画像の色値から合成するという切換過程は行われない。一方ではこのことは、準透明対象物を前景画像に再生し、この対象物をコンポジット画像で青背景の代わりに新たな背景画像として透視させることを可能にする。他方ではこのようにして、前景画像の光学的解像度が完全に保持される。
最近のＵＳ−ＰＳ５４２４７８１，５３４３２５２，４６２５２３１，４５８９０１３および４３４４０８５には冒頭に述べた方法の改善が記載されている。ここでは２つの制御パラメータを計算するための式が複数の相関係数によって変形されており、前景画像の色組成が難しい場合でも光学的に満足できるコンポジット画像を形成することができる。
前記の刊行物から公知の方法は、なるほど２つの画像を“ブルースクリーン”法に従って１つのコンポジット画像に合成することが可能にするが、しかし前景画像の色組成が特定の場合には光学的に不自然なコンポジット画像が生じ、このため専門的に使用する場合、例えば映画産業で特殊効果を形成するためにはコンポジット画像を手作業で後から修整しなければならない。
さらに前記刊行物、例えばＵＳ−ＰＳ４５８９０１３から、いわゆる“クロマキー”法が公知である。この方法も同じように２つの画像を１つのコンポジット画像に合成することができる。しかし冒頭に述べた方法とは異なり、前景画像の色成分、または背景画像の色成分から合成される。ここで前景画像には切換過程が行われるが、このことはアナログ画像表示であるため光学的解像度が相応に減少し、また準透明対象物の再生を困難にする。
本発明の課題は、前景画像と背景画像を１つのコンポジット画像に自然な画像作用によって合成することのできる装置および方法を提供することであり、前景画像が対象物ないしシーンを実質的に単色の背景画像の前に表示するようする。
この課題は、請求項１の上位概念記載の装置から出発して、特徴部分に記載の構成により解決される。また方法に関しては請求項１１に記載の構成によって解決される。
本発明は、前景画像の画像内容、または背景画像の画像内容からのコンポジット画像の合成に通常は結び付いている光学的解像度の低下を次のようにすれば防止できるという知識に基づくものである。すなわち、画像処理をデジタルで行い、前景画像の分離を一方では対象物で、他方では単色の背景で個別に各ラスタ要素ごとに行えば光学的解像度が低下しないという知識に基づくものである。
従って本発明は、前景画像も背景画像もデジタル形式で作成し、コンポジット画像を各ラスタ要素で、前景画像の相応するラスタ要素の色値から、または背景画像の相応するラスタ要素の色値から合成し、コンポジット画像を引き続き画像処理ユニットを用いてさらに処理し、例えば透明効果をシミュレートできるようにする。
ここで色値の概念は、以下一般的な意味に理解すべきであり、それぞれのラスタ要素の画像印象の色値から計算されたものであることを意味するにすぎない。しかし本発明の有利な実施例では、色値は公知のＲＧＢカラーモデルに相応して、３つの基本色、赤、緑および青の強度を表し、０から２５５の間の数値によって表され、数値が大きければ大きいほど所属の色成分の強度が大きいことを意味する。
同じように、単色背景の概念は、前景画像において対象物ないしシーンの前に表示されると理解すべきである。ここで単色は、各ラスタ要素が背景領域において単に１つの色成分しか含まず、他の２つの色成分がゼロであることを意味するものではない。重要なことは、１つの色成分、有利には青が他の２つの色成分に対して優勢であり、背景を形成する画像領域内での色組成がほとんど変動しないということである。
前景画像を、対象物ないしシーンへ、および単色背景へ分離することは、第１の計算ユニットにより行われ、この計算ユニットは各ラスタ要素に対して前景画像の色値と、単色背景の色組成を表す所定の色値に依存してそれぞれ制御信号を計算し、この制御信号がそれぞれのラスタ要素の対象物ないしシーン、または単色背景に対する帰属性を表す。
次にコンポジット画像の合成は選択ユニットにより行われ、この選択ユニットは各ラスタ要素の色値を前景画像の相応するラスタ要素の色値、または背景画像の相応するラスタ要素の色値から計算する。
対象物ないしシーンと、前景画像における背景の分離の際には、単色背景の色組成を表す所定の色値をできるだけ正確に単色背景の実際の色組成と一致するようにすることが重要である。しかしこのことは困難である。なぜなら、前景画像はしばしばデジタル写真として存在し、従ってユーザーは記録時に使用した単色背景の色組成についての情報を有していないからである。
従って本発明の実施例では、単色背景の色組成を検出するために、前景画像全体における個々の色成分の平均値が計算される。このようにして求められた値は、とりわけ対象物ないしシーンが前景画像において小さな一部でしかなく、前景画像の大部分が単色背景によって満たされている場合、単色背景の実際の色値と良好に一致する。しかしこの平均値は常に、単色背景の実際の色値とは多少異なるから、実施例によれば入力ユニットが設けられており、この入力ユニットを介してユーザーは前に述べた平均値から出発して所定の色値を変更することができ、これにより対象物ないしシーンを単色背景から分離する際に良好な結果が得られる。
本発明の有利な実施例では、制御信号が第１の計算ユニットにより計算され、各ラスタ要素において対象物ないしシーンと単色背景との区別を可能にする。この制御信号はメモリマトリクスに記憶され、このことはコンポジット画像を対象物ないしシーンおよび新たな背景に対して別個に後から修整することを可能にする。メモリマトリクスの各記憶スペースはここではラスタ要素に一義的に割り当てられ、例えばラスタ要素が単色背景に所属する場合には“１”を、ラスタ要素が対象物ないしシーンの一部であるときは“０”を含む。
コンポジット画像の個々のラスタ要素における色値を計算した後、本発明ではコンポジット画像のさらなる処理が行われる。これはコンポジット画像のできるだけ自然な画像印象を得るためである。このために本発明の装置は第２ん計算ユニットを有し、この計算ユニットはコンポジット画像の各ラスタ要素ごとに、前景画像の相応するラスタ要素の色値および／または背景画像の相応するラスタ要素の色値に依存して補正値を計算する。次に本来の処理が、第２の計算ユニットと接続された画像処理ユニットにより行われる。この画像処理ユニットは、コンポジット画像の個々のラスタ要素の色値を第２の計算ユニットにより求められた補正値に相応して変更し、自然な画像印象を達成する。
本発明の別の実施例では、対象物ないしシーンへの背景画像の色作用が考慮される。対象物が例えば赤の強い背景画像に挿入される場合、対象物の色再生を新たな背景の前で変化させないと色コントラストが大きいため不自然になる。従って自然な画像印象を達成するために、対象物ないしシーンの色組成を背景画像の色組成に適合すると有利である。対象物を赤い背景に挿入するという前記の例ではこのことは、対象物によって満たされたコンポジット画像の画像領域において赤の色成分の強度を高めることを意味する。
本発明のこの実施例では、第２の計算ユニットがコンポジット画像の各ラスタ要素に対して、対象物ないしシーンにより満たされている画像領域において補正値を求め、この補正値が背景画像の対象物ないしシーンへの色作用を表すようにする。
この変形実施例の有利な形態では、補正値がメモリマトリクスに記憶され、メモリマトリクスの各要素に対してコンポジット画像のラスタ要素が割り当てられる。このメモリマトリクスの内容を別個に画像表示する際には、ユーザーは背景画像が挿入される対象物に及ぼす色作用についての概観が得ることができ、その際にコンポジット画像をすべての詳細について観察する必要はない。
ここで補正値の計算は有利には、前景画像の対象物ないしシーンが挿入される背景画像における色分布を考慮して行う。対象物が例えば背景画像の中央に挿入され、コンポジット画像の右側が赤であり、これに対して左側がかなり緑であれば、対象物の自然な画像印象を達成するためには対象物の色組成を相応して右側では赤よりに、これに対して左側では緑よりにシフトすると有利である。
このために第２の計算ユニットは背景画像により満たされたコンポジット画像の領域を多数の小さな画像領域に分割し、この画像領域の各々に対して代表的色値を計算する。このことは例えば、個々の色成分の平均値をそれぞれの画像領域のすべてのラスタ要素について求めることにより行われる。個々のラスタ要素に対して補正値を計算する場合には、個々の画像領域による色の影響を分離して観察し、色の影響をそれぞれ観察したラスタ要素とそれぞれの画像領域との間隔により重み付けする。このことは、所定のラスタ要素の対して補正値を計算する場合に、大きく離れたラスタ要素は小さな影響しか有しておらず、直接隣接するラスタ要素は観察するラスタ要素の色作用に対して比較的に強く作用することを意味し、これにより背景画像の前での対象物ないしシーンの自然な色印象が得られる。
本発明の別の実施例では、コンポジット画像に対する補正値を計算する際に透明効果が考慮される。例えば赤の背景画像に挿入された、緑のガラスでできた瓶を観察する場合、コンポジット画像中の瓶は軽い黄色の色調で表示しなければならない。なぜなら、赤の背景画像が瓶を通して見えるからである。
透明効果を考慮するためにはまた、透明画像領域のコンポジット画像に背景画像を混合することが必要である。
また障害となる色錯誤を抑圧しなければならない。この色錯誤は単色背景により生じるものであり、単色背景が前景画像の透明対象物を通して見れる。
従って本発明のこの実施例では、第２の計算ユニットが前景画像の各ラスタ要素に対してその色値から透明値を求める。透明値はそれぞれのラスタ要素の透視性を表す。ここでは、透明対象物の色成分は単色背景の色組成に相応して変化することが利用される。
透明値は引き続き画像ミキサに供給され、画像ミキサは、前景画像の透明対象物ないし透明シーンにより満たされた画像領域におけるコンポジット画像に背景画像の画像情報を混合し、単色背景により惹起された色錯誤を抑圧する。このためにコンポジット画像の色成分は透明対象物を表す画像領域で、単色背景の色組成に相応して低減される。
この実施例の有利な変形では、透明値が別個のメモリマトリクスに記憶される。このことはこのメモリマトリクスの内容を画像表示する際に透明作用の影響について迅速に概観することを可能にする。
本発明の別の実施例では、コンポジット画像において背景画像への対象物ないしシーンの影画像が考慮される。対象物は単色背景の前で記録する際に通常は影を背景に投げる。この影はコンポジット画像において対象物の分離のため、また単色背景のため相応に再生されない。
本発明のこの実施例では従って、背景の占める領域中でコンポジット画像の各ラスタ要素に対して、第２の計算ユニットにより前景画像の相応するラスタ要素の色値に依存して補正値を検出する。この補正値はコンポジット画像における影形成の影響を表す。
この補正値は引き続き画像処理ユニットに供給される。画像処理ユニットはコンポジット画像を影形成の表示のために補正値に依存して暗くする。この変形の有利な実施例では、画像処理ユニットと接続された入力ユニットが設けられており、コンポジット画像の影形成の硬度を制御する制御係数の入力が可能である。このようにしてユーザーはコンポジット画像で、対象物ないしシーンにより背景画像に投げられた影の硬度を無段階で調整することができる。
この変形の有利な実施例では、影形成の強度を表す補正値がメモリマトリクスに記憶され、メモリマトリクスの各メモリスペースがコンポジット画像のラスタ要素に割り当てられる。このメモリマトリクスの内容の画像表示によって、ユーザーは影分布についての概観を得ることができ、その際にコンポジット画像を詳細に表示する必要はない。
しかし対象物は、単色背景の前での記録の際に影を背景に形成するだけでなく、対象物表面での反射により明るい部分も形成する。このことはとりわけ反射性の対象物の場合に考慮しなければならない。
従って本発明の有利な実施例では、コンポジット画像で対象物ないしシーンでの反射も考慮される。このことはコンポジット画像を相応の箇所で明るくすることにより行われる。
このために第２の計算ユニットは、背景画像により占められた画像領域中のコンポジット画像の各ラスタ要素に対して、前景画像の相応するラスタ要素の色値から補正値を求める。この補正値は、反射により対象物の表面に生じる、単色背景中の明度を表す。
この補正値は続いて画像処理ユニットに供給され、画像処理ユニットはコンポジット画像を明部分の表示のために補正値に依存して相応に明るくする。この変形の有利な実施例では、画像処理ユニットと接続された入力ユニットが設けられており、コンポジット画像の明度を制御する制御係数を入力することができる。このようにしてユーザーはコンポジット画像で、前景画像の対象物における反射をコンポジット画像でどの程度再現すべきかを制御することができる。
この変形の有利な実施例では、対象物における反射により生じた明度を前景画像の単色背景で表す補正値がメモリマトリクスに記憶され、メモリマトリクスの各素子はそれぞれコンポジット画像の各ラスタ要素に割り当てられる。このメモリマトリクスの内容の画像表示によって、ユーザーは簡単に前景画像の対象物における反射によって生じた明度についての概観を得ることができ、その際にコンポジット画像を詳細に表示する必要はない。
前記の装置は有利には、パラレル計算器アーキテクチュアの枠内で実現するのに適する。なぜなら、コンポジット画像の個々のラスタ要素の色値は相互に依存せず、従って並列的に計算することができるからである。
しかし本発明は、前記の演算がプログラム制御により実行されるマイクロプロセッサシステムの枠内での実現に制限されるものではなく、純粋にハードウェア的に実現することもできる。
本発明の別の有利な実施形態は従属請求項に記載されており、以下図面に基づいて有利な実施例に関連して詳細に説明する。
図１は、本発明の有利な実施例としての、コンポジット画像を前景画像および背景画像から形成するための装置のブロック図、
図２は、図１に示された装置の動作についての概略を示す図、
図３ａから３ｄは、前景画像および背景画像からコンポジット画像を形成するための本発明の方法のフローチャートである。
図１にブロック回路図の形態で示された装置は前景画像（ＦＧ、英語でforeground）と背景画像（ＢＧ、英語でbackground）からコンポジット画像を形成する。ここで前景画像は対象物を表し、この対象物が背景画像に挿入される。
ここでの前提は、前景画像の対象物が実質手金異端色である背景（ＢＳ、英語でblue screen）の前に表示されることである。これは対象物を個々に前景画像の残余なしで背景画像に挿入するためである。
２つの画像を記録するために装置は２つのメモリマトリクス１，２を有する。ここで２つのメモリマトリクス１，２の各メモリスペースには、前景画像ないし背景画像のそれぞれ１つのラスタ要素が割り当てられており、ＲＧＢカラーモデルに相応して３つの基本色、赤、緑および青の強度が０から２５５の間隔で含まれている。これによりメモリマトリクス１，２は前景画像ないし背景画像のデジタル画像を表示する。
前景画像に表示された対象物を背景画像に挿入することができるようにするため、まず各ラスタ要素に対してこのラスタ要素が対象物の一部を表示するか、または単色背景に属するかを検出しなければならない。
このために制御ユニット３は順次、メモリマトリクス１のメモリスペース全体をアドレシングする。メモリマトリクスはこれに基づいて、前景画像の相応するラスタ要素の色値をデータバスを介して計算ユニットＲ４と選択ユニットＲ５にさらに導通する。
計算ユニットＲ４は前景画像の各ラスタ要素に対して制御信号ＳＥＰを形成する。この制御信号は、ラスタ要素の対象物（ＳＥＰ＝１）または単色背景（ＳＥＰ＝０）への帰属性を表す。このために計算ユニットＲ４はデータバスを介してメモリマトリクス１から読み出された各ラスタ要素の色値を所定の色値と比較する。この所定の色値は単色背景の色組成を表し、ユーザーによって入力ユニット６を介して調整することができる。このようにして有利には、単色背景の色組成が正確には既知でない前景画像も使用することができる。次にユーザーは入力ユニット６でまず単色背景の色組成に対する推定値を調整し、この推定値を対話的に最適化する。このとき画像合成のそれぞれの光学的品質が判断尺度として用いられる。
計算ユニットＲ４により形成された制御信号ＳＥＰは選択ユニットＲ５に供給される。選択ユニットＲ５の役目は、前景画像において対象物を単色背景から分離し、コンポジット画像ＫＢ１を合成することである。このコンポジット画像は各ラスタ要素において、前景画像の相応するラスタ要素の色値、または背景画像の相応するラスタ要素の色値からなる。コンポジット画像を中間記憶するために、選択ユニットＲ５は出力側で別のメモリマトリクス７と接続されており、ここでメモリマトリクス７の各メモリスペースはコンポジット画像のラスタ要素に配属されている。従ってメモリマトリクス７はコンポジット画像のデジタル画像を表す。
計算ユニットＲ４により形成された制御信号ＳＥＰ＝０であれば、選択ユニットＲ５はメモリマトリクス２から読み出された色値をメモリマトリクス７に記憶する。一方、制御信号ＳＥＰ＝１であれば、メモリマトリクス１から読み出された色値がメモリマトリクス７にさらに供給される。
メモリマトリクス７はまたデジタル形態で存在するコンポジット画像を含む。このコンポジット画像は各ラスタ要素において、前景画像の相応するラスタ要素、または背景画像の相応するラスタ要素から合成されている。
さらに選択ユニットＲ５には３つの別のメモリマトリクス８，９，１０が後置接続されている。これら別のメモリマトリクスによって、メモリマトリクスに中間記憶されているコンポジット画像の光学的修整を引き続いて行うことができる。これは例えば透明効果もシミュレートできるようにするためである。
従ってメモリマトリクス８は、前景画像に含まれる単色背景のデジタル画像も含む。このために、制御信号ＳＥＰがトリクス要素がその色組成に基づいて単色背景に所属することを指示する場合、選択ユニットは前景画像の相応するラスタ要素の色値をメモリマトリクス１から読み出し、この色値をメモリマトリクス８の相応するメモリスペースに書き込む。これに対して前景画像のラスタ要素が、単色背景の前に表示される対象物に所属する場合、選択ユニットは色値をメモリマトリクス８のラスタ要素においてゼロにセットし、これによりメモリマトリクス８に記憶されている画像がこの領域では黒となる。
このようにして形成された単色背景画像により、前景画像の記録の際に対象物が原因となって単色背景に生じる影および明部のシミュレートが可能になる。従って本体が単色背景の前での記録の際に通常は影を単色背景に投げる。この影はコンポジット画像に相応に表示されるべきである。同じようにして対象物表面での反射も単色背景での明部分の原因となり、この明部分もコンポジット画像に新たな背景画像中の明部として表示すべきである。
従ってメモリマトリクス８には計算ユニットＲ１１が後置接続されている。この計算ユニットＲ１１の役目は、前景画像から“切り出され”、メモリマトリクス８に記憶された単色背景の各ラスタ要素の色組成を、ユーザーにより入力ユニット６を介して調整され、単色背景の色組成に対する案内値を表す色組成と比較することである。このようにして計算ユニットＲ１１は色組成の局所的変化または暗部を識別することができる。この暗部は単色背景の前で記録された対象物の影形成に起因するものである。計算ユニットＲ１１は従って、単色背景が占める画像領域の各ラスタ要素に対して補正値を計算し、この補正値をメモリマトリクス２２に記憶する。この補正値は、影形成がこのラスタ要素においてどの程度強いかを表す。メモリマトリクス２２によりコンポジット画像における影形成を考慮することができる。
前の説明では計算ユニットＲ１１の役目は、探傷苦杯系における対象物の影形成を考慮することであったが、計算ユニットＲ１２は対象物における反射をシミュレートすることができる。この反射は単色背景の領域において局所的明部または色組成の変化の原因となる。このために計算ユニットＲ１２は、前景画像から“切り出された”単色背景の色値を、単色背景の色組成に対する所定の案内値と比較する。この案内値はユーザーが前もって入力ユニット６を介して調整しておく。計算ユニットＲ１２は次に各ラスタ要素に対して補正値を求め、この補正値をデジタル画像としてメモリマトリクス１３に記憶する。この補正値は、対象物での反射による当該ラスタ要素の色値の変化を表すものである。
さらに図示の装置によって、メモリマトリクスに中間記憶されたコンポジット画像を後から画像修整することにより透明効果をシミュレートすることもできる。このために選択ユニットＲ５は前景画像から対象物の占める画像領域を分離し、この領域をメモリマトリクス９に記憶する。
続いて計算ユニットＲ１４は、対象物が占める画像領域内の色組成を、ユーザーにより入力ユニット６を介して入力された、単色背景の色組成に対する案内値と比較する。これは前景画像に表示された対象物が透明であるラスタ要素を検出するためである。これにより単色背景が対象物を通して観察される。このことはこのラスタ要素における色組成の変化で識別できる。ここで計算ユニットＲ１４は、対象物が占める画像領域における前景画像の各ラスタ要素に対して透明値を検出する。この透明値は、当該ラスタ要素における対象物の透視性を表す。このようにして求められた透明値は続いて画像処理ユニットＲ１５に供給され、画像処理ユニットは各ラスタ要素に対して色値の変化を計算する。この変化は対象物が透明であることにより生じたものである。
画像処理ユニットＲ１５は一方では前景画像において色錯誤を補正する。この色錯誤は、対象物を透過する単色背景によって生じたものである。画像処理ユニットＲ１５は他方では、対象物を透過した新たな背景画像の画像作用を考慮する。
このために画像処理ユニットＲ１５はコンポジット画像の各ラスタ要素に対して補正値を計算する。この補正値は、透明効果による色値の変化を表す。
さらに本発明の装置は、新たな背景画像による主観的色感覚の影響を考慮することができる。新たな背景画像が例えば強い赤であれば、前景画像に含まれる対象物はコンポジット画像での色再生を変化させなければ不自然に作用する。従って自然な色感覚を達成するためには、コンポジット画像の色値を対象物が占める画像領域において新たな背景画像の色値に適合する必要がある。
このために計算ユニットＲ１７が設けられており、この計算ユニットの入力側はメモリマトリクス１０と接続されている。この計算ユニットＲ１７は新たな背景画像をまず多数の部分領域に分割し、各部分領域に対して個々の色成分の平均値を計算する。続いて、計算ユニットＲ１７は各ラスタ要素に対して、３つの基本色、赤、緑、青に対する補正値を検出する。この補正値が、自然な色印象を達成するために必要な対象物の色変化を定める。このために計算ユニットＲ１７はまず個々の部分領域の影響を個別に観察し、各部分領域に対して補正値を計算する。この補正値は、観察されるラスタ要素とそれぞれの部分領域との間隔に依存する。部分領域が例えば対象物のラスタ要素から比較的離れていれば、この部分領域はこのラスタ要素の色感覚に、直接隣接する部分領域よりも非常に僅かしか影響しない。計算ユニットＲ１７は次に各ラスタ要素ごとに、個々の部分領域に対して求められた補正値を１つの補正値に加算する。この１つの補正値は、新たな背景画像の前で自然な色印象を得るためには、当該ラスタ要素の色値をどの程度変化させるべきかを表す。この補正値は次にメモリマトリクス１８に記憶される。
本発明の装置はまた、前景画像および背景画像から、４つのメモリマトリクス１３，１６，１８，２２の内容を、透明効果、明部、影、並びに新たな背景画像による色影響を考慮するために計算する。この４つのメモリマトリクスはコンポジット画像の個々のラスタ要素に対して３つの基本色、赤、緑、青に対する補正値を含んでいる。
このために図示の装置は画像処理ユニットＲ１９を有しており、この画像処理ユニットの入力側は一方ではコンポジット画像を含むメモリマトリクス７と、他方では補正値を含むメモリマトリクス１３，１６，１８，２２と接続されている。次に画像処理ユニットＲ１９はコンポジット画像ＫＢ１の各ラスタ要素に対して、メモリマトリクス７に記憶されているこのラスタ要素の色値および種々の補正値から、後置接続されたメモリマトリクス２１に記憶される新たな画像ＫＢ２の色値を計算する。
画像処理ユニットＲ１９はここで、前に説明した種々の効果の強度を無段階で調整することができ、このために入力ユニット２０を有している。この入力ユニットを介してユーザーは複数の制御パラメータＣＬ、ＣＳ、ＣＴ、ＣＲを調整することができる。これら制御パラメータは、メモリマトリクス１３，１６，１８，２２に含まれる補正値の重み付けに使用され、このことにより例えば得られる画像の影形成を無段階で調整することができる。
ここに説明した装置の動作を、図２の線図に基づいてさらに説明する。
まず装置は、前景画像ＦＧおよび背景画像ＢＧからコンポジット画像ＫＢ１を計算する。このコンポジット画像は各ラスタ要素において、前記画像ＦＧの相応するラスタ要素の色値、または背景画像ＢＧの相応するラスタ要素の色値から合成される。
さらに装置は４つのメモリマトリクスＴ、Ｓ、Ｌ、Ｒを計算する。これらメモリマトリクスは、コンポジット画像ＫＢ１の各ラスタ要素に対して、３つの基本色、赤、緑、青に対する補正値を含んでおり、自然な画像印象によるコンポジット画像の計算を可能にする。
メモリマトリクスＴに記憶された補正値はここで、コンポジット画像の色値の変化を表す。この変化は、前景画像に含まれる対象物が透明であることにより生じたものであり、従って背景画像ＢＧはこの領域で部分的に可視となる
これに対してメモリマトリクスＳは、対象物が前景画像の単色背景に形成する影を、コンポジット画像でも新たな背景でシミュレートするのに必要な、コンポジット画像の色値の変化を定める。
相応してメモリマトリクスＬは、前景画像ＦＧの単色背景において可視である明部の再現を可能にする。この明部は対象物での反射によるものである。
これに対してメモリマトリクスＲはコンポジット画像における対象物の色印象を新たな背景に適合するために用いる。これにより、赤の強い背景の前の対象物が不自然にならない。
前記のメモリマトリクスの内容と暫定的なコンポジット画像ＫＢ１により、最終的なコンポジット画像ＫＢ２の計算が可能になり、この最終的なコンポジット画像は観察者に自然な画像印象を与える。
図３ａから３ｄは、別のマッチング法をフローチャートで示す。ここで中央にはそれぞれ個々の方法ステップが示されており、一方それぞれの方法ステップに対して必要な入力データが左側に、得られた出力データが右側に示されている。方法ステップの両側に示されたブロックは相応する装置のそれぞれのメモリ素子を示す。これらメモリ素子はその都度の方法ステップに対する入力および出力データを記録する。ここでメモリ素子のいくつかはメモリマトリクスとして構成されており、このことは所属のブロックの右上角のラスタによって示されている。従ってこのメモリ素子は多数のメモリスペースを含んでおり、これらメモリスペースは画像領域のそれぞれ１つのラスタ要素に配属されていて、例えば３つの基本色、赤、緑、青の強度を定める。
第１の方法ステップ２３で、ユーザーはまず入力ユニットを介して制御パラメータを入力する。この制御パラメータはマッチング法を制御し、例えばどの程度透明効果を得られたコンポジット画像で考慮すべきかを指示する。これら制御パラメータはメモリ素子２４に保持され、後で説明する別の方法ステップの枠内で必要に応じて呼び出される。
次の方法ステップ２５では、まず前景画像（ＦＧ、英語でforeground）における青の背景（ブルースクリーン）の色組成が計算される。これは後で対象物ないしシーンを前景画像で青の背景から分離することができるようにするためである。このために３つの基本色、赤、緑、青の色成分が前景画像のすべてのラスタ要素に対してメモリマトリクス２６から読み出される。このメモリマトリクスは前景画像をデジタル形態で有している。続いて、前景画像のすべてのラスタ要素に対して青の色成分の強度が他の２つの色成分の強度と比較される。これは、青の色成分が優勢であり、従っておそらくは青の背景に所属していて、前景画像に示された対象物には所属していない前景画像中のラスタ要素を検出するためである。このようにして求められたラスタ要素に対して次に、３つの色成分、赤、緑、青の平均値が計算され、メモリマトリクス２７に後での分離のための比較値として記憶される。このように青の背景の色組成を自動的に検出することにより有利には、青背景の未知の色組成を有する前景画像を使用することもできる。さらに、青背景の色組成は比較的広い境界内で変動することもあるが、機能を損なうことはない。従って例えば存在するブルースクリーンパネルの退色は得られるコンポジット画像に僅かの作用しか及ぼさない。
次の方法ステップ２８で、背景画像（ＢＧ、英語でbackground）の色補正が、前に入力されメモリ素子２４に保持されている制御パラメータに従って実行される。このためにまず、３つの色成分、赤、緑、青の強度が順次、背景画像のラスタ要素全部に対してメモリマトリクス２９から読み出される。このメモリマトリクスは背景画像をデジタル形態で有している。
背景画像の色補正は一方では、色印象を維持しながらの明度の調整である。この調整は、３つの色成分の強度を個々のラスタ要素において均一に高めるかまたは低減することによって行われ、このとき明化または暗化の程度は、制御パラメータ“明度”によって設定される。ここで重要なことは、明化または暗化は背景画像のすべてのラスタ要素に対して統一して行われることである。
背景画像の色補正は他方で、個々のラスタ要素の色組成を、背景画像の別の色印象を達成するために変化させることでもある。このためにメモリ素子２４に記憶された制御パラメータは、３つの色成分、赤、緑、青に対する３つの色補正値を含んでいる。背景画像の色組成は次に各ラスタ要素において色補正値に相応して変化される。色組成の変化は背景画像全体に対して統一して行われることに注意すべきである。
個々のラスタ要素に対する色補正から得られた、３つの色成分、赤、緑、青に対する強度値は次に別のメモリマトリクス３０に書き込まれる。従ってこのメモリマトリクスは変形された背景画像（ＣＣ＿ＢＧ、英語でcolour corrected background image）を含む。
次の方法ステップ３１で、青背景が前景画像にある対象物から、前景画像の個々のラスタ要素ごとに分離される。このために前景画像の各ラスタ要素に対して３つの色成分の強度値がメモリマトリクス２６から読み出され、前もって求められた青背景の色組成と比較される。この色組成はメモリ素子２７に記憶されている。青背景の色組成と、前景画像の個々のラスタ要素の色組成との比較は、前の第１の方法ステップ２３で入力された制御パラメータ“分離限界値”を考慮して行われる。この制御パラメータは、光学的印象を最適化するため、とりわけ難しい画像内容に適合するためユーザーにより変化することができる。この比較の枠内で次に、それぞれのラスタ要素の青背景への帰属性または前景画像の対象物への帰属性に依存して、キー値が計算され、メモリマトリクス３２に記憶される。ここでメモリスペース３２の各メモリスペースは前景画像のラスタ要素に配属される。前景画像のラスタ要素が青背景に所属する場合、“０”がキー値としてメモリマトリクス３２の所属のメモリスペースに記憶される。これに対してラスタ要素が前景画像の対象物に所属する場合は、“２”がキー値として記憶される。従ってメモリマトリクス３２は前に説明した分離の後、前景画像の個々のラスタ要素が青背景に帰属するか、または前景画像の対象物に帰属するかを指示す。
次の方法ステップ３３で、各ラスタ要素に対して個別に前景画像の対象物の透光性が検出される。この透光性は青背景の透過部分に現れる。このことにより、得られたコンポジット画像の画像印象を最適化することができる。この最適化は、前景画像の対象物の透光性を、新たな背景画像に挿入する際に次のようにシミュレートすることにより行われる。すなわち、得られたコンポジット画像中の新たな背景が前景画像から分離した対象物を透過して現れるようにしてシミュレートするのである。
計算時間を節約するため、この透明計算は前景画像の次のようなラスタ要素に対してだけ行う。すなわち、青背景には所属せず、前景画像の対象物に所属するラスタ要素に対してだけ行う。このことはメモリマトリクス３２に記憶されたキー値により行われる。
前景画像の個々の対象物の透光性を検出するため、各ラスタ要素に対する３つの色成分の強度値がメモリマトリクス２６から読み出され、制御パラメータとしてメモリマトリクス２４から読み出された閾値を考慮して、３つの色基準値と比較される。この３つの色基準値も同じように第１の方法ステップ２３でユーザーにより入力され、メモリ素子２４に保持されている。次のこの比較の枠内で、各ラスタ要素に対して個別に透明値が２と２５５の間で計算され、メモリマトリクス３２の所属のメモリスペースに記憶される。ここで透明値２は、このラスタ要素における対象物が完全に不透明であることを意味し、これに対して透明値２５５は対象物が完全に透明である場合に発生する。この方法ステップ３３の後、メモリマトリクス３２は個々のラスタ要素が青背景または対象物に所属するかを表すだけでなく付加的に、対象物に所属するそれぞれのラスタ要素の透光性を定める。
別の方法ステップ３４で画像内容のマスキングが行われれる。これは例えば前景画像の所定の対象物をコンポジット画像に挿入するためである。このためにメモリマトリクス３２に記憶された、個々のラスタ要素に対するキー値が所望の画像マスクに相応して変化される。ここで画像マスクは相応のキー値（Ｋｅｙ Ｉｎ）により別のメモリマトリクス３５に設定される。このメモリマトリクス３５の各メモリスペースは画像内容のそれぞれ１つのラスタ要素に割り当てられており、このラスタ要素中の前景画像の対象物がコンポジット画像にも現れるべきか否かを指示するキー値を含んでいる。さらにこの方法ステップ３４で、個々のラスタ要素の対するキー値セット（Ｋｅｙ Ｏｕｔ）が計算される。これはメモリマトリクス２３５に記憶されたキー値をメモリマトリクス３５により設定された外部キー値（Ｋｅｙ Ｉｎ）と結合することにより行われる。ここで結合の形式（例えば加算または減算）は、制御パラメータ“外部マスキング”により設定される。この制御パラメータは第１の方法ステップ２３で入力され、メモリマトリクス２４に記憶されている。このようにして計算されたキー値（Ｋｅｙ Ｏｕｔ）は次に別のメモリマトリクス３６に記憶される。
次の方法ステップ３７では、前景画像の対象物を取り囲むいわゆる反射領域が検出される。ここで反射領域の大きさは制御パラメータ“反射領域の大きさ”により定められる。この制御パラメータはメモリ素子２４に記憶されており、前もってユーザーにより入力される。この制御パラメータは反射領域の幅をラスタ要素の所定数の情報によって定める。反射領域を検出するためにまず、前景画像において対象物と青背景との間の移行部を検出する必要がある。このために、メモリマトリクス３２に記憶された、個々のラスタ要素に対するキー値が読み出される。次に反射領域内の個々のラスタ要素に対して、メモリマトリクス３２に記憶されているキー値が値“１”にセットされる。これは、それぞれのラスタ要素の反射領域への帰属性を表すためである。
次の方法ステップ３８で、反射領域にある背景画像のラスタ要素が前景画像のそれぞれの対象物に及ぼす影響が計算される。ここでは、対象物が色を変化させずに例えば赤の強い背景に挿入された場合、不自然になるという知識から出発する。従って背景画像に挿入される、前景画像の対象物の個々のラスタ要素の色組成を、それぞれの反射領域にあるラスタ要素の色組成に相応して変化させると有利である。これは、できる武自然な画像作用を達成するためである。このために画像領域が多数の矩形に分割され、各矩形ごとにラスタ要素に対する色組成の平均値がそれぞれ求められる。このラスタ要素は前景画像の対象物または反射領域に所属している。前景画像の対象物または反射領域に所属する各ラスタ要素に対して次に透明度を考慮して色値が計算される。このステップは何回も実行され、このとき矩形の大きさは所定の最小の大きさを下回るまでそれぞれ半分にされる。結果として変形された前景画像（ＡＳ２）が発生する。この画像は背景画像の色作用を考慮しており、さらなる処理のためメモリマトリクス３９に記憶される。
次の方法ステップ４０で、エッジ平滑化がこの変形された前景画像（ＡＳ２）で行われる。これは個々のラスタ要素に対してそれぞれ平均値を周囲のラスタ要素にわたって形成することにより行われる。得られた画像（ＡＳ３）は次に別のメモリマトリクス４１に保持される。
コンポジット画像の最終的な合成を準備するために、別の方法ステップ４２で複数のフェードアウトパラメータが計算され、メモリ素子４３に記憶される。ここで計算は第１の方法ステップ２３で入力され、メモリ素子２４に保持されている制御パラメータに依存して行われる。
コンポジット画像の合成は次の方法ステップ４４で、変形された前景画像（ＡＳ３）および背景画像（ＢＳ）から、メモリマトリクス３２に記憶されたキー値に相応して行われる。このようにしてまず暫定的なコンポジット画像（ＰＡＷ）が発生し、この画像をメモリマトリクス４５に中間記憶し、次にさらに例えば透明効果をシミュレートするために処理する。
このために別の方法ステップ４６が設けられている。この方法ステップは暫定的コンポジット画像の個々のラスタ要素における色組成を個別に各ラスタ要素ごとに、メモリ素子４３に記憶されたフェードアウトパラメータとメモリ素子２４に保持された制御パラメータに相応して変形する。得られたコンポジット画像（Ｏｕｔ）は次に別のメモリマトリクス４７に記憶され、続いて最後の方法ステップ４８で表示ユニットを介して出力される。
本発明は、前記の有利な実施例に制限されるものではない。むしろ多数の変形が考えられる。例えば前記の解決手段はソフトウエアでもハードウェアでも有利に適用することができる。ソフトウェア制御の解決手段ではコンピュータシステムに既存のプロセッサが使用され、これに該当するソフトウェアが制御プログラムとして設定される。ハードウェア的解決手段では、必要な機能は論理構成群の直接的配線によってもたらされる。さらにこれら２つの解決法の混合形式も有利であり得る。

Claims (13)

1. コンポジット画像を前景画像（ＦＧ）および背景画像（ＢＧ）から形成する装置であって、
   前記前景画像は対象物またはシーンを、実質的に単色の背景の前に表示するものであり、
   第１の計算ユニット（Ｒ４）を有し、
   該第１の計算ユニットは、前景画像のそれぞれのラスタ要素が対象物に所属するかまたは単色背景に所属するかを表す制御信号を、前景画像（ＦＧ）の各ラスタ要素に対してラスタ要素の色値に依存して、かつ単色背景の色組成を表す所定の色値に依存して形成し、
   入力側が第１の計算ユニット（Ｒ４）に接続された選択ユニット（Ｒ５）を有し、
   該選択ユニットは、コンポジット画像のそれぞれのラスタ要素の色値を制御信号（ＳＥＰ）に依存して、前景画像（ＦＧ）の相応するラスタ要素の色値、または背景画像（ＢＧ）の相応するラスタ要素の色値から計算する、装置において、
   第２の計算ユニット（Ｒ１１，Ｒ１２，Ｒ１４，Ｒ１７）が設けられており、
   該第２の計算ユニットは、コンポジット画像のそれぞれのラスタ要素の色値に対する補正値を、前景画像（ＦＧ）および／または背景画像（ＢＧ）の相応するラスタ要素の色値に依存して、自然な画像作用を達成するために計算し、
   入力側が第２の計算ユニット（Ｒ１１，Ｒ１２，Ｒ１４，Ｒ１７）に接続された画像処理ユニット（Ｒ１９）が設けられており、
   該画像処理ユニットは、コンポジット画像のそれぞれのラスタ要素の色値を、第２の計算ユニット（Ｒ１１，Ｒ１２，Ｒ１４，Ｒ１７）により当該ラスタ要素に対して計算された補正値に相応して変化させ、
   前記第２の計算ユニットは、背景画像（ＢＧ）を複数の部分領域に分割し、各部分領域に対して個々のラスタ要素の色値の平均値を計算し、
   補正値を、コンポジット画像に対象物を表示するラスタ要素に対して、前記部分領域全体の平均値に依存して計算する、
   ことを特徴とする装置。
2. 第１の計算ユニット（Ｒ４）は、単色背景の色組成を前景画像（ＦＧ）に再生する所定の色値を調整するため第１の入力ユニット（６）と接続されている、請求項１記載の装置。
3. 前景画像（ＦＧ）および背景画像（ＢＧ）のそれぞれのラスタ要素の色値を記録する入力側と、コンポジット画像の相応するラスタ要素の色値を出力する出力側が設けられている、請求項１または２記載の装置。
4. 前景画像（ＦＧ）を再生する第１のデータセットと、背景画像（ＢＧ）を再生する第２のデータセットを記録するための入力側が設けられており、
   前記第１のデータセットの要素は前景画像（ＦＧ）のそれぞれのラスタ要素を含んでおり、
   前記第２のデータセットの要素は背景画像（ＢＧ）のそれぞれのラスタ要素を含んでおり、
   コンポジット画像（ＫＢ２）を表す第３のデータセットを出力するための出力側が設けられており、
   前記第３のデータセットの要素はコンポジット画像（ＫＢ２）のそれぞれのラスタ要素を含んでいる、請求項１または２記載の装置。
5. 第１のデータセットを記憶するための第１のメモリマトリクス（１）および／または第２のデータセットを記憶するための第２のメモリマトリクス（２）および／または第３のデータセットを記憶するための第３のメモリマトリクス（２１）が設けられている、請求項４記載の装置。
6. 第２の計算ユニット（Ｒ１１，Ｒ１２，Ｒ１４，Ｒ１７）の出力側は第４のデータセットを記憶するために第４のメモリマトリクス（１８）と接続されており、
   第４のデータセットの各要素は、第２の計算ユニット（Ｒ１１，Ｒ１２，Ｒ１４，Ｒ１７）により計算された補正値をコンポジット画像のそれぞれのラスタ要素に対して含んでいる、請求項５記載の装置。
7. 出力側が画像処理ユニット（Ｒ１９）と接続された第２の入力ユニット（２０）が設けられており、
   該第２の入力ユニットは、第２の計算ユニット（Ｒ１１，Ｒ１２，Ｒ１４，Ｒ１７）により計算された補正値に対する重み付け係数を入力するためのものである、請求項１から６までのいずれか１項記載の装置。
8. 基本色は、赤、緑および青である、請求項１から７までのいずれか１項記載の装置。
9. 色値は０から２５５の領域にある、請求項１から８までのいずれか１項記載の装置。
10. コンポジット画像を前景画像（ＦＧ）および背景画像（ＢＧ）から形成するための方法であって、
    前記前景画像は、対象物を実質的に単色の背景の前に再生し、
    前景画像（ＦＧ）の各ラスタ要素に対して、ラスタ要素の色値と、単色背景の色組成を表す所定の色値とから制御信号（ＳＥＰ）を計算し、
    該制御信号は、ラスタ要素の対象物または単色背景への帰属性を表し、
    コンポジット画像（ＫＢ１）の色値を各ラスタ要素において前記制御信号に依存して、前景画像（ＦＧ）または背景画像（ＢＧ）の相応するラスタ要素の色値から計算する方法において、
    コンポジット画像（ＫＢ１）の各ラスタ要素に対して、前景画像（ＦＧ）および／または背景画像（ＢＧ）の相応するラスタ要素の色値から補正値を計算し、
    ここで背景画像（ＢＧ）を複数の部分領域に分割し、各部分領域に対して個々のラスタ要素の色値の平均値を計算し、
    補正値を、コンポジット画像に対象物を表示するラスタ要素に対して、前記部分領域全体の平均値に依存して計算し、
    コンポジット画像（ＫＢ１）の色値を、各ラスタ要素において自然な画像印象を達成するため前記補正値に相応して変化する、
    ことを特徴とする方法。
11. 前景画像（ＦＧ）に対象物を表示するラスタ要素に対して、単色背景の色組成を表す所定の色値およびラスタ要素の色値から透明値を計算し、
    該透明値は、当該ラスタ要素における対象物の透明度を表すものであり、
    対象物を表すコンポジット画像のラスタ要素に対して補正値を前記透明値に依存して、前景画像および背景画像（ＢＧ）の色値から計算する、請求項１０記載の方法。
12. 前景画像（ＦＧ）に単色背景を表示するラスタ要素に対して、単色背景の色組成を表す色値および当該ラスタ要素の色値から、第１の明度値を計算し、
    該第１の明度値は、対象物により単色背景に生じる影の強度を表し、
    背景画像（ＢＧ）を表示するコンポジット画像のラスタ要素に対して、対象物が背景画像（ＢＧ）に投げる影を再現するために補正値を前記第１の明度値に依存して計算する、請求項１０または１１記載の方法。
13. 前景画像（ＦＧ）中に単色背景を表示するラスタ要素に対して、単色背景の色組成を表す色値および当該ラスタ要素の色値から第２の明度値を計算し、
    該第２の明度値は、対象物での反射によって生じる、単色背景上の明部の強度を表すものであり、
    背景画像（ＢＧ）を表示するコンポジット画像のラスタ要素に対して補正値を、コンポジット画像に反射をシミュレートするため前記第２の明度値に依存して計算する、請求項１０から１２までのいずれか１項記載の方法。

Images