JPH04502095A

JPH04502095A - 自動適応式カラービデオ画像はめ込み方法及び装置

Info

Publication number: JPH04502095A
Application number: JP2513629A
Authority: JP
Inventors: グリマルディ，ジャン―リュック; ガリシェ，シルヴィ
Original assignee: トムソン　ブロードキャスト
Priority date: 1989-10-06
Filing date: 1990-09-28
Publication date: 1992-04-09
Anticipated expiration: 2016-08-27
Also published as: WO1991005443A1; DE69029403D1; US5194941A; FR2652972B1; EP0542744B1; DE69029403T2; JP3201764B2; EP0542744A1; FR2652972A1

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】自動適応式カラービデオ画像はめ込み方法及び装置本発明は、自動適応式カラービデオ画像はめ込み方法及び装置に関するものである。

カラービデオ画像のはめ込みは、ソース画像から人物または物体等の主体を抽出して、均質な色背景の前方に移して、新しい背景の前方に置くことからなる。

四辺形によって構成された閉領域によって、平面Ｃ＊　Ｃｓ（Ｃ，＝Ｒ−Ｙ、Ｃ烏＝Ｂ−Ｙ、但し、これらの式において、Ｂ、Ｒ，Ｙは、各々、青色信号、赤色信号及び輝度を示す）内に均一な色背景を画成することが知られている。ソース画像を一線ずつ及び一点ずつ分析している過程において、点の成分Ｃ工Ｃ６が四辺形の内側にあるならば、その点は背景に属しているとみなされる。そうでない場合には、その点は、はめ込まれる区画に属しているとみなされる。従って、ソース画像の各線には、「キー」すなわちスイッチング信号が対応している。この信号は、例えば、はめ込み部分では値１、背景部分では値Ｏを有するか、又は、はめ込み部分で値０１背、景部分で値１を有する。しかし、背景／物体の変わり目すなわち遷移部が極めて鋭（、そしてはめ込まれた主体の輪郭がぎざぎざなので、この「キー」信号によって、はめ込みされた画像を自然な形で描き出すことはできない。はめ込まれた画像の描出は、背景／主体の遷移部を滑らかにして、分割キー信号に利得関数を導入することによってぎざぎざの輪郭にマスクをかけるこきによって、改良される。しかし、この場合、微細部や透明部や陰影部を再現することは不可能であり、主体の輪郭上に背景と同じ色（通常、青色）の縁が現れる。

画像をはめ込む別の方法は、本出願人の名で出願されたフランス国特許第７９／２０．８２０号に記載されている。この方法は、色の曖昧さのない画像の部分を明確に分割することのできる高い固定利得のチャネルき、透明効果を復元し且つ主体の周囲の微細部に続く明暗を形成することのできる可変利得チャネルとを使用して、はめ込むべき主体を線形分割することからなる。陰影効果は、低レベル輝度を検出して、新しい背景の輝度を対応して低下させることによって得られる。しかしながら、たとえ陰影効果が良好に描出されても、微細部は薄くなり、透明部は、前の背景の色を示す。また、遷移部がゆるやかであるので、背景と同色、すなわち、青みがかった縁がなお存在する。

線形混合の方法とは原理が異なる、画像をはめ込むまた別の方法によって、極めて純度の高い青、緑（及び場合によっては赤）の背景の前方に主体を移すために、赤、緑、青（Ｒ。

Ｇ、Ｂ）ソース画像をはめ込むことができる。この方法は、まず、減算によってソース画像中の背景の色を除去し、それによって、残すべき主体を黒色背景の前方に置いたとようにする。次に、ソース画像、すなわち、以前は有色背景によって占められていた領域に、その背景の視感度と可視度に応じて新しい背景を導入する。従って、ガラス、煙または霧等の透明部または半透明部は、完全に保持される。また、ソース画像は決して置換されないので、微細部は、はめ込み画像において完全に再現されている。青（緑、または、赤）のクランプモジュールによって、はめ込まれた画像中の主体上の有色背景の反射を除去することができる。

この方法は、高品質なはめ込み画像を得るためには極めて多数の調節を必要とするということに加えて、均−及び純粋な背景が必要である。

そのため、背景の非均一性は、いかなるものでも、はめ込まれた画像中に現れ、従って、新しい背景を汚す。ソース画像の有色背景を連続的且つ瞬間的に零にすることによってこの新しい画像の汚れを回避することはできるが、この場合、透明部や陰影部を再現することが不可能になる。また、主体の背景の反射を除去すると、使用した背景の色に応じて、ある色の劣化が起こる（例えば、背景が青の場合は深紅色、背景が緑色の場合は黄色及び肌色）。

本発明の目的は、実施の際あまり多数の調節を必要とせずに、上記した欠点を解消または少なくとも減少させることのできるカラービデオ画像のはめ込み方法を提供することである。この目的は、１つには、はめ込まれた主体の輪郭に働きかけることによって、そのダイナミックな探知を実施して、それによって、問題の背景／主体の遷移部にだけ関係する分割利得を得ることによって達成される。この方法によって、背景／主体の遷移部が広いか狭いかによって異なり、主体のまわりの背景色の縁（青色背景の場合は青）の除去に寄与する利得の自動調節が可能になる。また、原理的には線形であるが、得られた分割キーに従って適用される主体と新しい背景との間の混合において、遷移部に属する点の値を考慮することはもはや必要なく、遷移部の始点と終点で決定された主体と新しい背景の一定の値を考慮する。従って、主体と新しい背景との間の線形混合は、有色背景から生じた青を含むソース画像の値を使用せず、それ故、はめ込まれた主体の周りの青色の縁を除去することができる。さらに、微細部や陰影部や透明部は、ソース輝度画像内で検出され、２つの閾値を有する線形方法によってそれらの輝度に応じてはめ込まれた画像に再導入される。その２つの閾値とは、有色背景へのノイズの再導入を防ぐことのできる低い閾値と、はめ込まれた画像に写されるべきソース画像の細部、陰影部及び透明部の割合を決定することのできる高い閾値である。背景より暗い部分及び背景より明るい部分に関しては、異なる調節を行うことができる。また、場合によっては再着色の可能性がある要素がはめ込まれる部分では、同じ原理によって、新しい背景の減色（ｄｅｓａｔｕｒａｔｉｏｎ）が実施される。

本発明によるならば、スイッチング信号すなわち分割キー信号を生成し、該信号に利得を適用し、ソース画像から均一な色の背景の前方に配置する主体を抽出し、ソース画像と新しい背景画像の混合を実施することからなる、カラービデオ画像のはめ込み方法において、背景／主体及び主体／背景の遷移Ｒ（Ｔ）は、ソース画像の点の色と背景の点の色の距離値（ＤＩＳＴ）の変化に応じてソース画像内で動的に探索され、遷移部の型によって幅の異なる主体の輪郭を画成し、主体の輪郭に属するものとして画成されたソース画像の点だけに、問題の点の色と背景の色との間の距離値（ＤＩＳＴ）に比例した利得を適用することからなることを特徴とする方法が提供される。

本発明によるならば、更に、上記した方法を実施するための装置が提供される。

本発明の他の特徴及び利点は、添付図面を参照して行う以下の実施例の説明によってより明らかになろう。

図１は、本発明による方法を実施するための装置のブロック図であり、図２は、本発明による分割キー信号を得るためのブロック図であり、図３は、二進分割キー信号の実施例を図示したものであり、図４は、遷移部Ｔの近傍での距離のグラフの一例であり、図５は、本発明による幅の異なる輪郭の一例であり、図６は、本発明による輪郭上での距離の間隔の減少を図示したものであり、図７は、本発明による利得を有する分割キーの計算を実行するフローチャートの一例であり、図８は、本発明による輝度微細部のはめ込みの一例であり、図９は、本発明による色微細部のはめ込みの一例を図示したものである。

均一な色の背景の前方に配置されるはめ込まれる主体を含むソースビデオ画像は、輝度信号Ｙ、赤色差信号ＣＩ、及び青色差信号Ｃ１によって構成されてあり、その結果、Ｃ２＝Ｒ−Ｙ及びＣＩ　＝Ｂ−Ｙである。これらの信号Ｙ、Ｃｌｌ５Ｃ１ｌのサンプリングしデジタル化した。信号のサンプリングは、例えば、国際規格に対応する周波数で実施できる。その国際規格は、輝度信号の場合は１３．５ＭＨｚであり、これは１ラインにつき７２０点に対応する。各色差信号の場合は６．７５ＭＨｚであり、これは１線につき３６０点に対応する。

同様に、信号をデジタル化するためのコード化は、例えば、国際規格、すなわち、輝度信号Ｙと色差信号Ｃア及びＣ３の各々についてサンプルごとに８ビツトを使用するコード化を選択することができる。８ビツトコード化は、３つのコード化された成分Ｙ、Ｃｌ１ｑ　Ｃｍの変化の最大振幅を２”＝２５６レベルに分けて識別する。

図１は、本発明による方法を実施するための装置のブロック図である。この方法の実施には、色差信号と輝度信号について同数のサンプルを得るためのソースビデオ画像１から来る色差信号Ｃｍ、Ｃｍの内挿手段３と、内挿された色差信号から輝度において主体をはめ込むことのできる分割キーを計算する手段４と、輝度分割キー信号Ｙを受けて、色差信号のはめ込みを許可する分割キー信号Ｃ，／Ｃ，を出力する低域フィルタを形成する手段５と、ソースビデオ画像１から来るソース色差信号Ｃ−，Ｃｍ、新しい背景ビデオ画像２から来る背景色差信号Ｃヮ、Ｃ１及び分割キー信号ＣＩｌ／　Ｃ−を受けて、色差信号のはめ込みを実施する手段６と、ソース輝度信号Ｙ及び背景輝度信号Ｙ及び分割キー信号Ｙを受けて、輝度信号のはめ込みを実施する手段７と、はめ込み後のソースビデオ信号及び新しい背景ビデオ画像の輝度信号Ｙ及び色差信号Ｃ６、Ｃ，及び分割キー信号Ｙを受け、細部、陰影部及び透明部のはめ込みを実施して、最終的なはめ込まれた画像９を得ることのできる手段８とを必要とする。

図２は、本発明による分割キー信号を得る装置のブロック図である。輝度Ｙを処理することのできる分割キー信号は、色差信号Ｃｍ及びＣ，から得られる。色差信号Ｃ＃、Ｃ８は輝度信号Ｙの周波数の半分の周波数でサンプリングされているので、各２つの情報から１つの情報だけが使用することができる。そこで、サンプルの数を２倍にするために、内挿手段３は、例えば、使用する内挿フィルタに応じたデジタルフィルタリング方程式を使用して、行方不明のサンプルＣ□、Ｃａｔ（添字は奇数）を計算する。そのように内挿された信号Ｃ１、Ｃ１は、分割キー計算装置４で使用される。まず第１に、問題の点の色と背景の特徴的な色との間の差ＤＩＳＴを、画像の各画素について、以下のように、距離計算装置４０で計算する：Ｄ　Ｉ　ＳＴ＝　Ｃ（Ｃ，−Ｃ，□。、。ｕｇａ）　”＋（Ｃｍ　Ｃｍ　ｍＡｃ＊ｃｍｏｕｘｏ）　”　］　哀／コ背景パラメータＣａ　ｍＡｃ＋ｕ；ｍｏ＋ｎ＋ｏ及びＣａ　ｍＡｃ＊ｃ＊ｏｕ＊ｏは、自動的に獲得されるかユーザによって供給される。この目的のため、ユーザは、有色背景に、背景を代表するものとしてみなされる長方形の窓すなわらウィンドーを開ける。次に、開口されたウィンドーに属する全部画素のＣＩｌ、Ｃｍの平均をとることによって、ＣＲ□。、。

ｔｌＮＤ及びＣＩ　ＩＡｃＩＩＧＩＩＯ工。の値が得られる。ウィンドーが大きければ大きいほど、その平均値が背景ノイズに影響されにく（なり、背景の特徴がより特徴づけられる。背景／主体識別は、例えば、中心（ＣＩ　ＩＡｃＸｃＩＩ。ＬＩＮＤｓＣＩ　ＩＡｃＸＧＩＯＵＮＤ）で、平面（Ｃｍ、Ｃ，）内の半径Ｒ閾値の円で背景を特徴づけることによって行うことができる。この円内の画素は背景に属し、他の画素は主体に属するとみなされる。

各画素ごとに、（Ｃｓ＋　Ｃｍ　ｍＡｃｘｃ＋＋ｏｕ＊ｃ＋）及び（Ｃ＊　Ｃｍ　ｍａｃ＊ｃ＋＋ａｕＮｎ）の値を自乗して、合計し、更に、平方根をめて、色事面（ｃｍ、ｃｍ）における、ソース画像内のいずれかの点の色と背景の色との間のユークリッド距離ＤＩＳＴを得る。次に、比較装置４１において、半径Ｒの閾値の点に対応する閾値距離値と距離信号ＤＩＳＴを比較して、主体の２進数分割キーを得る。その距離は、この閾値より小さい点は、背景（キー＝０）に属するとみなされ、他の点は主体と属するとみなされる。閾値の値の調節によって、背景／主体識別を最適化することができる。主体と背景との間のユークリッド距離と閾値との比較をするとき、得られる分割キーは２進数キーである。このキーをはめ込むべき主体のスイッチングに使用すると、前記のように、ぎざぎさの青みがかった輪郭が生じる。従って、分割キーに利得関数を導入する必要がある。

遷移部の型式は、輪郭の検出された幅によって決定される。狭い輪郭は、鋭い遷移部に、広い輪郭は緩慢な遷移部に対応する。背景／主体の遷移部に属する点は全部、輪郭点と心なされる。従来技術と異なり、利得は、ソース画像の背景／主体遷移部にだけ適用され、輪郭の幅によって変化させて、はめ込まれた画像に同型の遷移部を保持し、輪郭の青い縁部やぎざぎざの輪郭の印象を排除する。従って、背景／主体遷移部を検出し、それらの型式を特徴づける必要がある。

例えば、図３に図示したような２進数分割キー信号に基づいて、各画像線について、抽出装置４２によって可変幅輪郭の抽出を実施する。その２進数分割キー信号によって、背景／主体遷移部または主体／背景遷移部を検出することができる。

各画像線では、遷移部Ｔが検出されると、遷移部の両側に配置された点を検査して、遷移部の幅を決定する。このため、遷移部Ｔの近傍で、画素ごとに、距離のグラフの監視を実施する。

図４は、遷移部Ｔの近傍に位置する画素の距離のグラフの一例を図示したものである。背景／主体遷移部の場合、遷移部Ｔの後（及び前）に位置する画素の距離値が、先行する点（あるいは後続する点）の距離値に対して十分に大きくなる（及び小さくなる）ならば、その画素は、輪郭点とみなされる。主体／背景遷移部の場合、遷移部の幅は同様に決定されるが、距離値は遷移部後に小さくなり、遷移部前に太き（なる。輪郭点の画像は、画像の線をすべて調べられた後に得られる。

図５は、値１を輪郭に属する点に割り当て、値０を輪郭に属していない点に割り当てた可変幅輪郭の一例を図示したものである。ユーザはこの輪郭の最大幅を調節して、遷移部の幅を制限し、任意でそれら（例えば、２０点）を鋭くすることができる。

次に、遷移部に属する各画素について、その距離値を関数として、計算装置４３によって利得を計算し、他の点については２進数キーによって決定されたそれらの値を保持する。この目的のため、画像の各線について及び各遷移部について、遷移部の始点及び終点に対応する最小距離Ｄｍｉｎ及び最大距離Ｄｍａｘの距離を決定する。最小距離と最大距離の差Ｄｍａｘ−Ｏａｉｎを計算して、減少して、内挿フィルタリングの間に導入された遷移部の両側での振動による距離値を含まないようにする。

差Ｄｍａｘ−Ｄｍｉｎの減少は、例えば、以下のように実施される。

減少Ｄｍｉｎ＝口ａ＋ｉｎ＋２０％（Ｄｍａｘ−Ｄｍｉｎ）減少Ｄｍａｘ＝Ｄｍａｘ　−５％（Ｄｍａｘ　−０＋＋＋ｉｎ）振動を避けるためのＤｍｉｎに対する注意のすべてがはめ込まれた画像に間Ｈ（背景レベルへの変化が速すぎる）を引き起こすわけではなくとも、Ｏｍａｘに同様の注意を払った場合、主体の周りの部分を残し、その部分がしばしば大きくなるこきがあり、従って、はめ込まれた画像の周りに青い縁を発生させる危険性があるので、距離の制限は対称的ではない。この場合、主体の周りに青い縁をつくるよりむしろ振動をいくらか残した方が好ましい。従って、減少されたＤｍｉｎと減少されたＤｍａｘの新しい数値の間にその距離が含まれる輪郭点で利得を計算する。これは、問題の点の距離値に比例するように実施され、それによって、はめ込まれた画像に同一の遷移部を再現する。

図７は、問題の点の距離値に比例した利得を有する分割キーを計算することのできるフローチャートの一例を図示したものである。減少された差［減少Ｄｍａｘ −減少Ｄａ＋ｉｎ］がＯ以下であるような輪郭点では、分割キーは二進数キーである。減少された差が０より大きく、問題の点の距離値が減少Ｄａ＋ｉｎと減少Ｄｍａｘとの間に含まれている場合、分割キーは、以下の式によって得られる：キー＝（ＤＩＳＴ−減少Ｄａ＋ｉｎ）　／　（減少Ｄｍａｘ−減少口ｗｉｎ）差がＯより大きく、その問題の点の距離値が減少Ｄｍｉｎより小さい（または、減少Ｏｏ＋ａｘより大きい）時、分割キーの数値はＯに等しい（または、１に等しい）。

このようにして得られた分割キーによって、新しい背景にソース画像をはめ込むことができるが、満足のいく方法で使用することができるようにするには、特殊な処理が必要である。第１の特殊な処理とは、装置４４によるキーに残存している分離点、即ち、分割キーの数値が隣接する点の数値と完全に異なる点の排除に関するものである。各々キー値Ｏ（またはｌ）を有する２つの点によって垂直方向にまたは水平方向に挟まれた点は、そのキー値をＯ（まはた１）に設定（変更）される。通常、ソース画像の有色背景によるこれらの異常な点を除くことによって、これらの点が２つの連続した線上に再現されない限り、最適閾値の選択の際これらの点を無視することができる。

分離点の排除した後、分割キーを選択的水平フィルタリング４５にかける。事実、輪郭が実際に水平である時、輪郭の抽出がライン（水平線）ごとに行われるので、その輪郭に属する点は検出されず、垂直または斜めの遷移部だけが検出できやかにして、はめ込まれた画像に破線として現れるのを防止することができる。

また、分割キーがラインごとの処理によって得られるので、２つの連続した線の間のずれによって水平遷移部上のはめ込まれた画像に大きなぶれが生じることがある。従って、分割キー上で垂直フィルタリング４６を実施して、種々の線を互いに再補正することが必要であるように思われる。例えば、３つの点の垂直平均を与えるフィルタリングは良好な結果をもたらす。

この処理の終点で得られた利得を有する分割キー信号は、キーＹは、低域サブサンプリングフィルタを通過して、分割キーＣ，／Ｃ，を得る。

２つの分割キー信号Ｙ及びＣ，／Ｃ，を使用して、ソースビデオ画像及び背景ビデオとの間の混合を実施することができる。その周波数の差によって２つの別々のものを構成するとしても、輝度及び色差のはめ辻みは同様に実施できる。従って、以下の説明は、輝度信号を参照して行うが、色差信号にも直接当てはまるものである。

従来の線形混合は、いくつかの欠点がある。従来の位置混合では、はめ込まれた点の値は、対応するソース画像の画素の値及び以下の式による分割信号のレベルによって変化する：Ｙｉｎｌ（ｐ）　＝ｋｅｙ（ｐ）＊Ｙｓ（ｐ）　＋　（１ｋｅｙ（ｐ））　＊ＹｎｍＡｃｇｃｉｏｕ、１ｏ（１（但し、Ｙｉｎｌ（ｐ）　、Ｙｓ（ｐ）及びＹｎｍＡｃ＊ｃ＊ｏｕｓｏ　（Ｐ）は、各々、画像のある点ｐのはめ込み後のソース画像及び新しい背景の値を示す）。

この型の混合は、遷移部上のＹｓ　（ｐ）及びＹｒＬｓＡｃ＊ｃ＊ｏｕＮｏ　（Ｐ）の値に固有の輝度の低下または過剰を遷移部上に出現させることがある。

従って、大部分の遷移点で、数値Ｙｓ　（ｐ）は、背景の青（またはその他の色）の輝度部分を含み、従って、背景の青の部分が、はめ込まれた画像に再び導入されて、主体の輪郭に明るいまたは暗い縁部を出現させる。色差成分Ｃ１１１ＣＢについても、同様な欠点が、この縁部の着色を引き起こすことである。提供される改良は、Ｙｓ（ｐ）及びＹｎｉＡｃｘｃｉｏｕＮａ（Ｐ）の値を遷移部上において一定値に固定して、この主体と新しい背景の輝度値を効果的に示すことからなる。

それ故、この偽線形混合は、以下の式によって実施される：Ｙ＋ｎ１（ｐ）　＝ｋｅｙ（ｐ）＊　ＶＡＬｓｏｕｒｃ＊＋（１ｋｅｙ（ｐ））　＊　ｖＡＬｓＡｃ＊ｃｕｏｕｓｐ）ＶＡＬｓｏｕｒｃ＊及びＶＡＬｍＡｃｘｃ＋＋ａｕｗｏの値は、各遷移部で決定される。背景／主体遷移部の場合、νＡＬ□Ｃイ。ＲＤＬＩＮＤは、分割キー値が０の時の遷移の前の最後の点で０ＹＩＡＩＩＧＲ０，。の値である。一方、ＶＡＬ、。ｕｒＣ＠は、分割キー値が遷移部上に最大値である点のＹｓの値である。主体／背景遷移部の場合は、逆の論理を適用する。

一方では、主体の可変幅の輪郭上の遷移部を制御することによって、また他方では偽線形混合によってもたらされた改良によって、主体／新しい背景の遷移部が実際に完全なはめ（ｐ）　込まれた画像を得ることができる。しかし、透明効果や微細部や陰影部は、その画像には再現されない。最終的なはめ込み画像９を得るためには、そのはめ込み画像にそれらの部分を導入する必要がある。

微細部、透明部及び陰影は、同様な方法で処理される。唯一の注意すべき点は、前の背景より明るい部分の場合、または、前の背景より暗い部分の場合では、調節が異なるということである。以下の説明では、「細部」という語は、透明効果（霧、ガラス、煙）、陰影及び微細部を示す。

細部に関する第１の処理は、その細部を検出することにある。

図８は、本発明による輝度細部はめ込みの実施例を示したものである。

ソース画像の輝度成分の場合、分割キーが１ではない画像の各点（背景遷移部）でＹｓ（ｐ）−Ｙｏの値を計算する。パラメータＹ０は、背景上の輝度の平均値を示し、Ｃｌ１ｌＡＣ１ｌ１１．、。い。

及びＣｌｍＡＣＩＩＣｌｌｏい。の測定の際にユーザが利用するウィンドーの輝度レベルの平均を測定することによって計算される。

背景より明るい細部の場合は、Ｙ　ｓ　（ｐ）　−Ｙ　ｏの値は、より暗い細部の場合にその絶対値をとる必要があるように考えられ以下の説明では、簡単にするために、意図的に絶対値を無視して、従って、明るい細部の場合のみ考慮した。

しかし、使用した根拠は、より暗い細部の場合、Ｙｓ（ｐ）　−Ｙｏをｌ　Ｙｓ（ｐ）−Ｙ−ｌに置換しても、全く同じである。

Ｙ　ｓ　（ｐ）　Ｙ　ａがユーザによって固定された低閾値ＳＢより（ａ）　Ｙｓ（ｐ）　Ｙｏ＜　Ｓ　Ｂの場合は、Ｙｎｉｌ（ｐ）は不変化。

（ｂ）　Ｙ　ｓ　（Ｐ）　Ｙ　ｏ　＞　Ｓ　Ｈの場合は、Ｙｎ　ｉ　Ｉ　（ｐ）　＝　Ｙ　ｓ　（ｐ）　＋　ｐａｒａｍ（Ｃ）　Ｓ　Ｂ　＜　Ｙｓ（ｐ）　Ｙｏ＜　Ｓ　Ｈの場合、パラメータｐａｒａｎ＋によって、ソース画像の輝度レベルにだし値を与え、同様に、Ｙｓ（ｐ）−Ｙ、＝ＳＨの場合に式ら）及び（Ｃ）がＹｎ　ｉ　１　（ｐ）の同一の値を与えるように決定される。

従って、細部の輝度はめ込みは、３つのパラメータ、すなわち、ＳＢ、ＳＨ，ｐａｒａｍの調節を必要とする。

低閾値ＳＢによって、点が細部とするレベルを調節することができる。５Ｂ＝０の場合、前の有色背景の非均−な点を全部はめ込み画像に再移動させる。従って、低閾値の調節によって、前の背景のノイズによる新しい背景の汚れと殆ど目に見えない細部の正確な再現との間の妥協を可能にする。

５Ｈ−３Ｂが大きい）はど、再描出される細部の比例は小さによるだけではなく、また、新しい背景の輝度とソース画像正確な結果を得るためには、高閾値ＳＨと低閾値ＳＢとの間の差が大きくする必要がある。

また、パラメータｐａｒａｍによって、ソース画像に対して細非零値は主体の輝度と細部の輝度との間にオフセットを引き起こし、はめ込まれた画像に不連続性を引き起こす。

図９は、本発明による、色差のような細部のはめごみの実施例を示したものである。

色差信号のはめ込みは、上記と同じ原理によって実施されるが、但し、高閾値ＳＨより高い場合、再描出される再部は元のものではなく、グレーレベル（Ｃ，＝１２８、Ｃ、＝　１２８）であり、新しい背景の比例の区域は減色される。

従って、・Ｙｓ（ｐ）　Ｙｅ＜　Ｓ　Ｂの場合、Ｃ＊１ｎｌ（ｐ）は不変化・Ｙｓ（Ｐ） −Ｙ＠＞ＳＨの場合、Ｃ１ｊｎｌ（ｐ）　＝１２８＋ｐａｒａａ＋　Ｃｍ・Ｓ　Ｂ　＜　Ｙｓ（ｐ）　Ｙｏ＜　Ｓ　Ｈの場合、Ｃ１１ｎｌ（ｐ）　＝［（Ｃｉ＋ｎ　ｓＡｅｍｃａｏｕｗｏ（Ｐ）−１２８−ｐａｒａｍ　Ｃｍ）＊　（Ｙｓ（ｐ）−Ｙｏ）十５Ｂ（１２８＋ｐａｒａｍＣｍ）　Ｃ＊ｎ１Ａｃ＊ｃｉｏｕａｏ（Ｐ）＊ＳＨ）／（ＳＢ−３Ｈ）ＳＢ及びＳＨは同一なので、同じ関係式は、Ｃ３をＣ３に置き換えたＣ、１ｎｌ（ｐ）にも適用される。同様に、ｐａｒａｔｒｒ　Ｃｍ及びｐａｒａｍ　Ｃｍはｐａｒａｍの数値（一般に０）の欠陥によって一定することができるが、また、互いに無関係に変化できるようにして、はめ込み画像の細部に着色することができる。

本発明による方法によって、大多数の場合、はとんど調節を必要とせずに十分なはめ込み画像が得られる。細部のない画像の場合は、１つの閾値だけを調節すればよく、細部が背景より明るいか暗い画像の場合には３つの調節（閾値、ＳＨ。

ＳＢ）を必要として、明るい細部と暗い細部を有する画像の場合は５つの調節（閾値、明るい細部のＳＨとＳＢ、暗い細部のＳＨとＳＢ）を必要とするだけであり、Ｃア１ＡｃＫｌｉｌｌ。Ｕｏ、Ｃｍ　ｉＡｃ＊ｃｍｏ工。、Ｙｏ、背景を示すウィンドーの幅、閾値距離等の上記の他のパラメータは、通常、はめ込みの品質を劣化させない欠陥によって固定された値であると仮定される。

本発明は、上記の実施例に限定されるものではない。

本発明の範囲内で様々な変更を行うことができる。特に、円による背景の特徴付けは、楕円形特徴付けに変えることができる。背景にすべきソース画像の点からの距離値ＤＩＳＴは、以下のように示される：Ｄ　Ｉ　ＳＴ＝　［：ｋ　（Ｃｍ　Ｃｍ　ＩＡｃＩＩＣＩＯＩＩＮＤ）　”　十ｋｏ　（Ｃｍ　Ｃｍ　ｌＡｃＫＣｌ。い。）　２　］　１／２（但し、ｋは、ｋｏとは異なる）また、楕円の軸を変えて、再度、色平面（ＣＩ、ＣＪにおいて背景を特徴付ける閉区域を画成することができる。

同様に、輪郭をラインごとに検出することによって、垂直または少なくともそのまま処理される背景／主体遷移部の検出だけを可能にし、遷移部の方向を画成することのできる輪郭検出を実施して、その決定された方向に垂直に遷移部に作用することができる。

ＦＩＧ、６国際調査報告 −１−ｍ−−１１．１．ＰＣＴ’／ｒＲ９０１００６９７国際調査報告ＦＲ９０００６９７Ｓ＾　４０６７６

Claims

【特許請求の範囲】

１．スイッチング信号すなわち分割キー信号を生成し、それに対して利得を適用して、ソース画像から均一な色背景の前方に配置する主体を抽出し、上記ソース画像と新しい背景画像の混合を実施することからなるカラービデオ画像はめ込み方法であって、背景／主体及び主体／背景の遷移部（Ｔ）は、ソース画像の点の色と背景の点の色の距離値（ＤＩＳＴ）の変化に応じてソース画像内で動的に探索され、遷移部の型によって幅の異なる主体の輪郭を画成し、主体の輪郭に属するものとして画成されたソース画像の点だけに、問題の点の色と背景の色との間の距離値（ＤＩＳＴ）に比例した利得を適用することからなることを特徴とする方法。
２．上記画像の各点での混合は、その問題の点での上記分割キー信号の値の関数しておこない、そのソース信号及び新しい背景信号の値は、輪郭の幅にわたっで一定値に固定することを特徴とする請求項１に記載の方法。
３．上記主体の輪郭の幅は、上記主体／背景または背景／主体の遷移部（Ｔ）を求め、上記ソース画像の各点ごとにその距離値（ＤＩＳＴ）と閾値を比較して、更に、各遷移部（Ｔ）ごとに、該遷移部の始点または終点に対応し且つ遷移部（Ｔ）の輪郭の幅を画成する最小距離（Ｄｍｉｎ）又は最大距離（Ｄｍａｘ）が得られるまで、該遷移部（Ｔ）の両側に位置している点を探索することによって、決定されることを特徴とする請求項１に記載の方法。
４．上記遷移部（Ｔ）に対応する輪郭の幅は、上記最大距離値（Ｄｍａｘ）と上記最小距離値（Ｄｍｉｎ）によって決定された幅より小さいことを特徴とする請求項３に記載の方法。
５．上記輪郭の幅は、ユーザによって、最大値に制限されることを特徴とする請求項１〜４のいずれか１項に記載の方法。
６．そのキーの値が隣接する点と全く異なるような分離した点が検出して排除することを特徴とする請求項１〜５のいずれか１項に記載の方法。
７．上記水平遷移部を検出して滑らかにすることを特徴とする請求項１〜６のいずれか１項に記載の方法。
８．垂直フィルタリングを、上記分割キー信号に対して実施することを特徴とする請求項１〜７のいずれか１項に記載の方法。
９．細部、陰影部及び透明部に対応する上記ソース画像の点は、該ソース画像と前の背景との間の輝度差（Ｙｓ−Ｙｏ）を２つの閾値、すなわち、高閾値（ＳＨ）及び低閾値（ＳＢ）と比較することによって検出し、新しい背景と上記ソースとの間の線形混合は、上記輝度差がその２つの閾値（ＳＢ、ＳＨ）の間に含まれている時、この輝度差（Ｙｓ−Ｙｏ）の値に従って実施することを特徴とする請求項１〜８のいずれか１項に記載の方法。
１０．色差信号（ＣＲ、ＣＢ）の内挿手段（３）と、分割キー（ｋｅｙＹ）を計算する手段（４）と、上記輝度分割キー信号（ｋｅｙＹ）を受け、上記色差信号のはめ込みを許可する分割キー信号（ｋｅｙＣＲ／ＣＢ）を出力する低域フィルタを形成する手段（５）と、ソース色差信号（ＣＲ、ＣＢ）、背景色差信号（ＣＲ、ＣＢ）及び分割キー信号（ｋｅｙＣＲ／ＣＢ）を受けて、上記色差信号のはめ込みを実施する手段（６）と、ソース輝度信号（Ｙ）及び背景輝度信号及び分割キー信号（ｋｅｙＹ）を受けて、上記輝度信号のはめ込みを実施する手段（７）と、ソースビデオ信号及びはめ込み後のソースビデオ信号の輝度信号（Ｙ）、色差信号（ＣＲ、ＣＢ）及び分割キー信号（ｋｅｙＣＲ／ＣＢ）を受け、細部、陰影部及び透明部のはめ込みを実施して、最終的にはめこまれた画像（９）を得ることのできる手段（８）とを備えることを特徴とする請求項１〜９のいずれか１項に記載の方法を実施する装置。
１１．上記分割キーを計算する手段（４）は、距離計算手段（４０）、その距離と閾値との比較手段（４１）、可変幅輪郭の抽出手段（４２）、上記輪郭に属する点の利得を計算する手段（４２）、分離点を排除する手段（４４）、選択的水平フィルタリング（４５）手段、及び垂直フィルタリング手段（４６）を備えることを特徴とする請求項１０に記載の装置。