JP2882754B2 - ソフトクロマキー処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ＲＧＢ数値データ化し
た色々な方式のカラー画像を処理して、別のカラー画像
の上に合成するためのソフトクロマキー処理方法に関す
る。

【０００２】

【従来の技術】ビデオ映像製作におけるクロマキー処理
方法では、一般に、単一色に塗った（青色の場合が多
い）背景パネルの手前に合成したい前景物体を配置し
て、カメラでブルーバック素材として撮影し、この画像
から様々な方法を用いて、青色部分が０％で、前景部分
が１００％と成るキー信号の画像を生成する。このキー
信号の画像は、ブルーバック素材の画像と共に、背景画
像を切替える切替装置のスイッチ部へ供給されて、合成
画像を得るために利用される。

【０００３】ここで、キー信号の値（キー値）が０％か
１００％かの２値的な値しか取らないとすると、合成後
の前景物体の輪郭部分等が不自然になってしまうので、
ソフトクロマキーと呼ばれる装置等では、キー値として
０％と１００％の中間の値を取ることができるようにし
ている。

【０００４】従来のクロマキー処理方法では、色の属性
である色相、飽和度、明度のうち、明度を除いた他の二
つの要素を量的に表すことができる、色度図上の距離を
利用して、キー値を発生させていた。

【０００５】例えば、特開昭６２−６６７９１号では、
先ず、前景画像のＲＧＢの３原色データは、次の変換式
を用いて、２次元直交座標系上のデータ（Ｘ，Ｚ）に変
換される。

【０００６】

【数１】Ｘ＝√３／２（Ｒ−Ｇ）ｓｉｎφ＋［Ｂ−１／
２（Ｒ＋Ｇ）］ｃｏｓφ Ｚ＝√３／２（Ｒ−Ｇ）ｃｏｓφ−［Ｂ−１／２（Ｒ＋
Ｇ）］ｓｉｎφ

【０００７】ここでＲ，Ｇ，Ｂは前景色の赤色成分，緑
色成分，青色成分である。又、φは色度図上における背
景色の色相のＢ−Ｙ軸に対する角度である。上式で得ら
れるＸとＺを用いてキー値ｋは、

【数２】ｋ＝Ｘ−ａＺ₂ なる計算式を用いて求められている。ａは調整可能なパ
ラメータである。

【０００８】実際には、更に、可変利得ｋ_gとオフセッ
トｋ₀を用いて、

【数３】ｋ’＝（ｋ＋ｋ₀）×ｋ_g で表されるｋ’をキー値としている。

【０００９】この手法によると、キー値ｋ’が一定の値
となると、ＸとＺのデータの組は、色度図上では、焦点
がＸ軸にあり、準線がＺ軸上にある放物線となる。

【００１０】しかし、上記の方法では、明度の情報を扱
っていないので、明るい青色と暗い青色とを区別するこ
とができず、又、ブルーバック素材の画像の成り立ちを
理論的に取扱っていないので、抽出結果が不自然になっ
たりしていた。

【００１１】これらの問題を解決するため、本願出願人
による特願平５−２７４４２号では、入力されたＲＧＢ
３原色データを情報量の損失なしに利用することを目的
として、色度図等の２次元空間に写像することを止め、
ＲＧＢ３次元空間１上で３次元のまま取扱うものとし、
その手段として、キー値を決定するための識別関数を３
変数関数とし、３変数関数によって図２０に示すような
二重の４８面体２，３を定義させた。

【００１２】この方法によれば、ＲＧＢ３次元空間１上
の任意の位置を包むように二重の４８面体２，３を定義
できるので、背景色に対して従来あった制限が大幅に削
減され、前景画像に背景色が存在しなければ、キーイン
グ（キー値を決定すること）が可能になった。しかも、
上記による境界部分の色の除去、及び、背景との合成
は、画像合成の理論に従ったものであるため、自然な前
景の抽出ができた。

【００１３】

【発明が解決しようとする課題】しかしながら、上記特
願平５−２７４４２号（特開平６−２２５３２９号）の
方法では、前景であるにも拘らず照り返しやフレア等に
より背景色の影響が出てしまった部分があると、合成結
果の色バランスが不自然になったり、色バランスを合わ
せようとすると前景部が透き通った状態になったりし
た。

【００１４】又、前景部の背景色成分を除去して別の色
を加える場合、合成する背景の色に比較的大きなムラが
あると、どのような色を加えても全体の合成結果を自然
なものにすることができなかった。

【００１５】更に、合成の状態を制御するために多数の
パラメータがあるが、結果画像を確認しながらの調整に
なるので、パラメータの設定作業が困難であった。

【００１６】本発明は、上述の実情に鑑み、前景物体上
にある背景色の照り返し色成分や洩れ等を除去し、境界
部分の滑らかさを損わないように合成することができる
ようにしたソフトクロマキー処理方法を提供することを
目的とするものである。

【００１７】

【課題を解決するための手段】本発明の第一の手段は、
ＲＧＢ３原色データで表わされた素材画像から色の違い
を利用して前景となる物体を抽出すると共に、その抽出
した前景画像と別の背景画像とを画像合成用キー値によ
り重み付けして合成するようにしたソフトクロマキー処
理方法において、ＲＧＢ３原色を直交３軸とするＲＧＢ
３次元空間内を、背景代表色を頂点として共有する複数
の三角錐空間に区切り、各三角錐空間ごとに内側と中間
と外側の３つの平面を設定し、対応する平面を組合せ
て、ＲＧＢ３次元空間内に大中小の３重の多面体を作る
ことにより、小多面体の内側の領域が前景の関与のない
完全背景領域となり、大多面体の外側の領域が背景の関
与のない完全前景領域となり、小多面体と中多面体に挟
まれる領域が前景とも背景とも特定し得ないソフトキー
領域となり、中多面体と大多面体に挟まれる領域が背景
の関与はないが背景色の影響がある色変換前景領域とな
るようにＲＧＢ３次元空間を４つの領域に分類し、ＲＧ
Ｂ３次元空間上に表した素材画像の各絵素が、完全背景
領域に属する場合は画像合成用キー値を０％と決め、完
全前景領域に属する場合は画像合成用キー値を１００％
と決め、ソフトキー領域に属する場合は所属する三角錐
空間ごとに小多面体と大多面体とからの距離の比率に応
じ小多面体に近いほど低くなるように画像合成用キー値
を０〜１００％の中間的な値に決め、色変換前景領域に
属する場合は画像合成用キー値を１００％と決め、これ
らの素材画像の各絵素単位で決定した画像合成用キー値
を同じ絵素位置に採用して前景画像を背景画像に合成
し、しかも、背景の関与しない色変換前景領域に属する
素材画像の各絵素に対しては、所属する三角錐空間ごと
に小多面体と大多面体とからの距離の比率に応じ小多面
体に近いほど低くなるように０〜１００％の色変換用キ
ー値を決定し、その色変換用キー値に従い各絵素の色成
分から背景代表色の成分を減算すると共に、別途指定し
た入替色を前記色変換用キー値に従い各絵素の色成分に
加算して色変換を行うことを特徴とするソフトクロマキ
ー処理方法にかかるものである。

【００１８】

【００１９】本発明の第二の手段では、背景の関与しな
い色変換前景領域の色変換処理に用いる入替色として、
画面内の各絵素に対して別々の色のデータを使用し得る
よう外部画像データを取込ませるようにしている。

【００２０】本発明の第三の手段では、ＲＧＢ３次元空
間内の大中小の３重の三原色を直交３軸とする３次元空
間において、識別関数を定義する二つないし三つの多面
体と、モニタ上で指定した指定範囲内の色データとを透
視投影変換してモニタ上に立体的に表示させるようにし
ている。

【００２１】

【作用】本発明では、入力されたＲＧＢ３原色データを
情報量の損失なしに利用するため、色度図等の２次元空
間に写像することをせず、ＲＧＢ３次元空間でそのまま
取扱う。従ってキー信号の値（キー値ｋ）を決定するの
は３変数の関数であり、ＲＧＢ３次元空間内のスカラー
場によって表わされるものである。この関数のことを識
別関数と呼ぶ。

【００２２】ブルーバック撮影された前景画像のＲＧＢ
原色データをＲＧＢ３次元空間上にプロットしてみる
と、図１に示すように、背景部分の絵素４は、Ｂ軸の近
くに比較的小さく分布している。これに対し、前景部分
の絵素５は、バナナの形のように細長く分布したものを
いくつか組み合わせた格好で背景部分の絵素４から離れ
た所に分布している。又、両者の境界部分の絵素はそれ
ぞれバナナ状に分布した絵素５を底辺に持ち、背景部分
の絵素４を頂点に持つ三角形の範囲内に分布している。
キー値ｋを表すスカラー場は、バナナ状の部分の絵素５
が１００％、背景部分の絵素４が０％で三角形の範囲内
の部分が頂点から底辺に向かって徐々に増えていくよう
設定するのが理想的である。

【００２３】そこで、識別関数を表すスカラー場とし
て、図２に示すような、３重の多面体６〜８（例えば１
２８面体）で定義されるものを用いている。これによ
り、ＲＧＢ３次元空間９における素材画像のＲＧＢデー
タの分布に適した形状のスカラー場が形成され、輪郭部
分や半透明部分を滑らかに表現できるキー値ｋが算出さ
れる。キー値ｋが決まると、画像合成の理論から導かれ
たモデルに従って、半透明部分等の背景色が関与してい
る前景部分の絵素５の色を本来の前景色に色変換する。
又、前景部分で背景色が影響している部分も、スカラー
場から算出される重みに従って色変換の計算が施され
る。

【００２４】ＲＧＢ３次元空間９上に任意の位置を包む
ようにスカラー場（３重の多面体６〜８）を定義できる
ので、背景色の制限が大幅に削減され、前景に背景色が
存在しなければ、キーイングができる。前景に背景色の
成分が乗っている場合には、中間の多面体７の形状を変
化させることによって、色変換処理を行なうことができ
る。

【００２５】ハードエッジのクロマキーパラメータを設
定してから、前景部分まで透き通ってしまうようなソフ
トエッジのパラメータを指定し、その後で透き通っては
いけない部分をマウスやタブレット等の位置指示機器を
用いて繰返しモニタ上で指示し、更に、モードを変えて
前景でオリジナル画像の色を保存しなくてはいけないと
ころを繰返し指示することによって、ソフトキーパラメ
ータ及び色変換のパラメータを設定する。

【００２６】キーパラメータの微調整を要する場合に
は、色データの３次元的な分布の様子と多面体６〜８の
位置関係とをモニタ上で確認しながら、スライドバー等
を用いて対話的に作業を進める。

【００２７】前景部分に背景色成分が乗っている場合に
は、その背景色成分を前景の色から減算し、別の色成分
を加算する。一つの色を加算しても全体のバランスが取
れない場合には、別に用意した外部画像ファイル（入替
画像）を入力し、合成画面の各絵素において、対応する
絵素から色データを取込んで加算する。

【００２８】

【実施例】以下、本発明の実施例を図面を参照しつつ説
明する。

【００２９】図１から図１９は本発明の一実施例であ
る。

【００３０】本発明の入力となるデータはＲＧＢで表わ
されるブルーバック素材のデジタルデータであり、出力
となるデータはブルーバックの青い部分が黒く表された
前景抽出後の画像で、やはりＲＧＢのデジタルデータで
ある。

【００３１】実際の映像製作の流れを図３に示す。先
ず、映画のカメラ又はビデオカメラ等の撮影機器１０で
ブルーバック素材が撮影される。どちらの場合もフィル
ムスキャナ又はビデオデジタイザ等の画像デジタル化装
置１１を用いてＲＧＢの３原色の数値データの集りであ
る画像データ配列１２に変換され、図示しない磁気テー
プや固定ディスク装置等に記録される。本発明は画像の
空間解像度や色成分の量子化ビット数等を自由に選ぶこ
とができる。

【００３２】このＲＧＢデジタルデータである画像デー
タ配列１２が本発明のためのクロマキー処理装置１３に
読み込まれ、処理後の前景抽出画像１４がＲＧＢデジタ
ルデータとして出力される。

【００３３】一方、合成すべき別の画像も上記と同様の
方法でＲＧＢデジタルデータの画像データ１５に変換さ
れ、前景抽出画像１４と共に画像合成装置１６に送られ
合成される。

【００３４】合成結果は、ＲＧＢデジタルデータである
画像データ配列１７の形で、フィルムレコーダ装置又は
フレームメモリ等の録画機器１８を用いてフィルム又は
ビデオテープ上に録画される。

【００３５】尚、１９は入替画像の画像データ配列であ
る。

【００３６】上記クロマキー処理装置１３では、図４に
示すように、最初に、入力部２０に前景画像の画像デー
タ配列１２が読み込まれる。この映像はユーザーインタ
ーフェース２１としてのコンピュータのモニタ２２上に
表示され、コンピュータの支援の下にマウスやタブレッ
ト等の位置指示機器２３を用いてキー信号生成のための
パラメータが作成される。この操作は一つのカット（カ
メラが回り始めてから止るまでの連続したフレームの集
まり）に対し通常１回行なう。次に連続フレーム処理の
モードに切替えると、入力部２０から前景画像の画像デ
ータ配列１２が次々読み込まれ、全ての絵素が設定済み
のパラメータを用いて処理される。処理した結果は、前
景抽出画像１４として出力され、次のプロセスへ送られ
る。前景抽出画像１４には、キー信号と、色変換された
前景画像との２種類のデータが含まれる。

【００３７】 ○キー値ｋを決定する多面体（例えば、１２８面体）の
定義前景画像と別の背景画像とを重み付けして合成するため
の画像合成用キー値 であるキー値ｋは、後述する線形の
式によって表現されるが、前景画像の各絵素のデータが
持つＲＧＢの各色成分がＲＧＢ３次元空間９上でどこに
位置するかによってその式の係数がそれぞれ異なる。Ｒ
ＧＢ３次元空間９は、図５に示すように、頂点Ｃ₀を共
有する複数個（例えば、１２８面体の場合は１２８個）
の三角錐２４によって区切られており、それぞれの三角
錐２４の区間内で別々の係数パラメータを持つ。このパ
ラメータによって定義されるキー値ｋにより、ＲＧＢ３
次元空間９内で頂点位置Ｃ₀が決まった直線上に有る多
面体（１２８面体）形状を等位面として持つスカラー場
が形成される（図２）。

【００３８】１２８個の三角錐２４区間は次のように定
義される。先ず、最も典型的な背景色として一つの色を
決め、そのＲＧＢデータを与える。この色を背景代表色
の点Ｃ₀と呼ぶ。通常この色はマウスやタブレットなど
の位置指示機器２３を用いてモニタ２２上の背景色部分
をＲＧＢデータとして何点かサンプリングし、その平均
値を用いる。次にこの背景代表色Ｃ₀を表わすＲＧＢ３
次元空間９上の点から６６本の直線２５を伸ばす。この
直線２５の方向ベクトルは図６に示されている。６６本
の直線２５は次式で表わされる。

【００３９】

【数４】Ｐ_n＝ｔｖ_n＋ｃ₀（n＝０，１，２，…，６５） ここでｖ_nはnでインデクシングされた直線２５の単位方
向ベクトルである（図６）。このベクトルは不変であ
る。

【００４０】三角錐２４はこの６６本の直線２５の中の
隣合う３本の直線２５によって作られる。１２８個の三
角錐２４のインデックスと各三角錐２４を構成する３本
の直線２５のインデックスを図７に示す。

【００４１】一つの三角錐２４中においてキー信号の値
ｋは、交わらない三つの平面２６〜２８、即ち、三つの
三角形により定義される（図５）。スカラー場をＣ₀級
連続としたため、隣り合う三角錐２４の対応する三角形
どうしが頂点を共有するので、三重の１２８面体６〜８
ができ、結局、これがＲＧＢ３次元空間９内の任意の色
のキー値ｋを決定する。つまり６６本の直線２５上に一
つずつ点を取り、各三角錐空間２４を構成する３本の直
線２５上の点をそれぞれ結んでできる１２８個の三角形
によって１２８面体６〜８が一つできる。このような１
２８面体６〜８を交わらないように大中小３つ配置する
ことで図２に示すようなスカラー場が決まる。

【００４２】ひとつの１２８面体６〜８は、ＲＧＢ３次
元空間９における直線２５上の点と背景代表色Ｃ₀との
間の６６個のユークリッド距離と、背景代表色Ｃ₀の３
つの成分の合計６９個のパラメータとで定義される。大
中小の１２８面体６〜８の背景代表色Ｃ₀は同一なので
三重の１２８面体６〜８は２０１個の調整可能パラメー
タによって定義されることになる。

【００４３】これらのスカラー場のデータはコンピュー
タのユーザインタフェースプログラムを用いて設定さ
れ、メインメモリ上にストアされる。

【００４４】定性的には、３つの多面体６〜８のうち一
番小さい多面体６の内側の領域２９にあたるＲＧＢデー
タで表わされる色の絵素は完全に背景であるとして０％
のキー値ｋにする。又、２番目に大きい中間の多面体７
の外側の領域３０にあたるＲＧＢデータで表わされる色
の絵素は前景であるとして１００％のキー値ｋを出力す
る。一番小さい多面体６と２番目に大きい多面体７に挟
まれた領域は背景でも前景でもないソフトキー領域３１
として処理する。

【００４５】更に、一番大きい多面体８の外側は完全前
景領域３２と呼ばれ、キー値が１００％で色も変換しな
い素材の画像そのままを出力する領域である。２番目に
大きい多面体７と一番大きい多面体８に挟まれる領域は
色変換前景領域３３と呼ばれ、キー値は１００％である
が素材の画像に色変換を施したデータを出力する。

【００４６】キー値の計算処理は次のようなものであ
る。三角錐空間２４にある３枚の平面２６〜２８のうち
背景代表色Ｃ₀に最も近いのが小多面体６であり、前景
絵素の色データがこの面よりも背景代表色Ｃ₀側にある
時、その絵素の位置のキー値ｋは０％であり、中多面体
７の平面２７の外側にある時キー値ｋは１００％であ
る。二つの平面２６，２７にはさまれる空間にある場合
は小多面体平面２６に近いほどキー値ｋの値が低く、中
多面体平面２７に近いほどキー値ｋの値が高くなる。こ
のようなキー値ｋは、背景代表色Ｃ₀からの距離の関数
として計算される。

【００４７】処理する前景絵素データをＣ_rとする。前
景絵素データＣ_rと背景代表色Ｃ₀とを結ぶ直線３４が小
多面体平面２６と交わる点をＣ₁、中多面体平面２７と
交わる点をＣ₂、大多面体平面２８と交わる点をＣ₃とす
る。Ｃ₀からＣ_r，Ｃ₁，Ｃ₂，Ｃ₃までの距離をそれぞれ
ｌ_r，ｌ₁，ｌ₂，ｌ₃とすると、キー値ｋは

【数５】 と計算される。又、前景画像の色変換用キー値である内
部的なキー値Ｋは、

【数６】 と表される。これらの関数をグラフにしたものが図８で
ある。

【００４８】色空間上の距離は次のように計算される。
該当する三角錐２４を形成している３本の直線２５のイ
ンデックス（図７）を後述するパラメータレジスタ３６
から読み込み、それぞれの直線２５上にある三重の１２
８面体６〜８の頂点の位置をメインメモリから背景代表
色Ｃ₀との距離として取出す。添字iを直線２５のインデ
ックスとすると、各直線２５上の内側三角形２６の頂点
Ａ_iと、中間三角形２７の頂点Ｘ_iと、外側三角形２８の
頂点Ｂ_iは、

【数７】Ａ_i＝ａ_iｖ_i＋Ｃ₀ Ｘ_i＝ｘ_iｖ_i＋Ｃ₀ Ｂ_i＝ｂ_iｖ_i＋Ｃ₀ として計算される。

【００４９】ここで、ａ_i，ｘ_i，ｂ_iは、Ｃ₀と各頂点と
の距離である。又、ｖ_iはiでインデクシングされた直線
２５の単位方向ベクトルである。このベクトルは不変で
ある。

【００５０】そして、内側及び中間並に外側の平面２６
〜２８の方程式

【数８】内側：ｌ_inｒ＋ｍ_inｇ＋ｎ_inｂ＋ｏ_in＝０ 中間：ｌ_midｒ＋ｍ_midｇ＋ｎ_midｂ＋ｏ_mid＝０ 外側：ｌ_outｒ＋ｍ_outｇ＋ｎ_outｂ＋ｏ_out＝０ の係数は、この平面２６〜２８がＡ_iおよびＢ_iで表され
るそれぞれ三つの頂点を通ることから、各座標値を用い
て計算できる。

【００５１】処理する前景絵素データＣ_rの成分を
（ｒ_r，ｇ_r，ｂ_r）と、背景代表色Ｃ₀の成分を（ｒ₀，
ｇ₀，ｂ₀）とするとこれらを結ぶ直線２５の方程式は、

【数９】 と表わされる。平面２６〜２８の方程式と直線２５の方
程式の連立方程式を解くと、次式が得られる。

【００５２】

【数１０】

【００５３】ここで得られるのが長さのパラメータで、
このｔ_inは点Ｃ_rＣ₀間の長さＣ_rＣ₀を１とした時の点Ｃ
₃Ｃ₀間の長さである。又、このｔ_midは点Ｃ_rＣ₀間の長
さＣ_rＣ₀を１とした時の点Ｃ₂Ｃ₀間の長さである。更
に、ｔ_outは点Ｃ_rＣ₀間の長さＣ_rＣ₀を１とした時の点
Ｃ₁Ｃ₀間の長さである。

【００５４】このｔ_inとｔ_midとｔ_outを用いるとｌ_r，
ｌ₁，ｌ₂，ｌ₃で表されたｋの式は、

【数１１】 と計算できる。

【００５５】ｔ_inとｔ_midとｔ_outを求める式が前景の全
ての絵素に対して計算される。この式の分母を展開する
と、

【数１２】 となり、分母の三つの項と分子はＣ_rに依存せず三角錐
２４の中で一定で予め計算しておくことができるので、
実際にＲＧＢ信号を処理する段階に入る前に１２８面体
６〜８の各平面２６〜２８の方程式の係数を求めてこれ
らの項を計算し、識別関数パラメータＤＩＮ_n，ＤＭＩ
Ｄ_n，ＤＯＵＴ_n（分子）及びＥＩＮ_n，ＥＭＩＤ_n，ＥＯ
ＵＴ_n（分母の３項の和）は、

【数１３】 ＤＩＮ＝−ｌ_inｒ₀−ｍ_inｇ₀−ｎ_inｂ₀−ｏ_in ＥＩＮ＝ｌ_inｒ₀＋ｍ_inｇ₀＋ｎ_inｂ₀ ＤＭＩＤ＝−ｌ_midｒ₀−ｍ_midｇ₀−ｎ_midｂ₀−ｏ_mid ＥＭＩＤ＝ｌ_midｒ₀＋ｍ_midｇ₀＋ｎ_midｂ₀ ＤＯＵＴ＝−ｌ_outｒ₀−ｍ_outｇ₀−ｎ_outｂ₀−ｏ_out ＥＯＵＴ＝ｌ_outｒ₀＋ｍ_outｇ₀＋ｎ_outｂ₀ としてＣ_r及びｌ_out，ｍ_out，ｎ_out，ｌ_mid，ｍ_mid，ｎ
_mid，ｌ_in，ｍ_in，ｎ_inと共に識別関数パラメータレジ
スタ（図４の符号３６）に保存しておく。

【００５６】○前景画像のＲＧＢ信号の処理 処理する映像はＲＧＢデジタルデータで前景を構成する
全ての絵素データ１２が連続してクロマキー処理装置１
３の入力部２０へ入力される。クロマキー処理装置１３
は各絵素毎に独立して処理を行なう。

【００５７】クロマキー処理装置１３の内部は図４のよ
うな構造になっている。入力部２０から得られた一つの
絵素分のＲＧＢデジタルデータは所属三角錐判断装置３
７とキー値計算装置３８と色変換装置３９へ送られる。

【００５８】先ず、所属三角錐判断装置３７での処理が
最初に行なわれる。所属三角錐判断装置３７は図１０に
示すようなものである。背景代表色Ｃ₀は識別関数パラ
メータレジスタ３６の中に存在する。

【００５９】入力部２０から送られた前景絵素５のＲＧ
Ｂデジタルデータ１２は成分毎に識別関数パラメータレ
ジスタ３６の背景代表色Ｃ₀と共に引算器４０〜４２に
入れられる。引算器４０〜４２で得られる三つのデータ
は前景絵素５の背景代表色Ｃ₀に対する３次元の相対座
標値である。

【００６０】前景絵素５が１２８あるうちのどの三角錐
２４に入るかは、７個の符号の組合せによってわかるの
で、７ビットのアドレスに三角錐２４のインデックスを
対応されたＬＵＴ（ルックアップテーブル３５）が予め
用意されている（図９）。

【００６１】そして、７ビットのアドレスは、符号検査
器４３〜４５、足算器４６〜４８、引算器４９〜５１、
符号検査器５２〜５４、定数倍乗算器５５〜６０、引算
器６１〜６６、符号検査器６７〜７２、ビット調整器７
３，７４によって求められる。

【００６２】尚、定数倍乗算器５５〜６０は、信号をλ
＝ａｒｃｔａｎ（７φ／８）倍するものである。又、ビ
ット調整器７３，７４は図１１に示すように、、オア回
路７５と、反転回路７６〜７８と、アンド回路７９，８
０を備えており、図１２に示すように、３ビットの入力
を２ビットに変換するようになっている。

【００６３】こうして得られた７ビットのアドレスは、
ＬＵＴ３５へ送られ、ＬＵＴ３５が保持するビットパタ
ーン（図１３）と対比される。この結果、所属三角錐判
断装置３７の出力として所属三角錐２４のインデックス
が得られ、識別関数パラメータレジスタ３６の後段に位
置するパラメータセレクタ８１に与えられる。

【００６４】パラメータセレクタ８１は図１４のように
所属三角錐判断装置３７から三角錐２４のインデックス
（０〜１２７）を与えられると、その三角錐２４で定義
されている３平面２６〜２８の識別関数パラメータＤＩ
Ｎ_n，ＤＭＩＤ_n，ＤＯＵＴ_n，ＥＩＮ_n，ＥＭＩＤ_n，Ｅ
ＯＵＴ_n，ｌ_out，ｍ_out，ｎ_out，ｌ_mid，ｍ_mid，
ｎ_{mi d}，ｌ_in，ｍ_in，ｎ_inを識別関数パラメータレジス
タ３６からキー値計算装置３８へ送る。

【００６５】キー値計算装置３８では前述のキー値ｋ，
Ｋの式を計算する（図１５参照）。入力部２０から与え
られる前景絵素５のＲＧＢ信号１２がパラメータセレク
タ８１から供給される識別関数パラメータと共に乗算器
８２〜８４，８５〜８７，８８〜９０に入れられ、その
結果とＥＩＮ_n，ＥＭＩＤ_n，ＥＯＵＴ_nとの合計が足算
器９１〜９３で求められて、ＤＩＮ_nと，ＤＭＩＤ_nと，
ＤＯＵＴ_nと共に除算器９６に入れられる。

【００６６】内側平面２６と中間平面２７の二組の識別
関数パラメータによって得られる除算器９４，９５の出
力結果ｔ_inとｔ_midがそれぞれ１より大きいか小さいか
を場合分比較器９７で比較され、その結果で場合分けさ
れてクリッピング処理のなされたキー値ｋとして出力さ
れる。場合分け部分のフローチャートを図１６に示す。

【００６７】クロマキー処理装置１３の次の段階に位置
する画像合成用の色変換装置３９では内部的なキー値Ｋ
を用いる。内部的なキー値Ｋは、ｔ_midを用いずにｔ_out
を用いて

【数１４】 という計算で求められる。

【００６８】ここでは次のような合成式によって前景と
別の背景の合成処理を行なう。

【００６９】

【数１５】

【００７０】ここでＣ_dstは合成後の画像の色データ、
Ｃ_frontは手前にある対象物（前景）の色データ、Ｃ
_backは前景とは別に用意してある背景の色データ、Ｃ
_transは色変換前景部からバック色成分を除去した後に
乗せる外部の色データである。Ｋはキー値計算装置３８
で得られた内部的なキー値である。

【００７１】本発明では、特に、従来のソフトキー領域
３１における中多面体７の平面２７より外側の領域３０
において、背景画像と前景画像とを重み付けして合成す
るのではなく、別途用意された色データである入替色と
前景画像とを重み付けして合成することができる点に特
徴がある。

【００７２】色変換装置３９の内部処理を図１７に示
す。キー値計算装置３８で得られた内部的なキー値Ｋを
反転器９９で１から引くことにより反転されたものが、
識別関数パラメータレジスタ３６からの背景代表色Ｃ₀
の各成分と共に乗算器１００〜１０２に入れられる。そ
の結果得られたＲＧＢデータが減算器１０３〜１０５に
よって前景素材のデータ１２から減算される。キー値ｋ
が１００％ではない場合はこの前処理信号が合成器１０
６に供給される。又、キー値計算装置３８で得られた内
部的なキー値Ｋが入替素材のデータ１９の各色成分と共
に乗算器１０９に入れられ、前述の前処理信号と共に各
成分ごとに加算器１１０〜１１２に入れられる。キー値
ｋが１００％の場合はこの出力が合成器１０６に供給さ
れる。

【００７３】入替色は、画面全体で一つの色を用いるモ
ードと、画面の各絵素において別々の値が取れるような
外部画像データ１９を入力できるモードがある。外部画
像データ１９としては任意のものを入力できるが、通常
は、合成すべき背景画像をデフォーカスした画像ファイ
ルを予め作成しておき、必要に応じて利用できるように
する。

【００７４】合成結果画像のデータであるＣ_dstを求め
るためにはαＣ_frontを与える必要があるので、色変換
装置３９を用いてこの値を計算する。ブルーバックの前
景素材画像も上記の合成式で計算されるとすると、式中
のＣ_dstは前景素材として得られている処理中の入力色
データＣ_r、又、Ｃ_frontは入力画像の中の前景部分の
色、Ｃ_backは入力画像の中の背景代表色Ｃ₀である。こ
の場合、

【数１６】 ｋＣ_front＝Ｃ_dst−（１−ｋ）Ｃ_back ＝Ｃ_r−（１−ｋ）Ｃ₀ という式を用いてαＣ_frontが計算できる。

【００７５】○キー値パラメータ入力 キー値ｋの算出に必要なパラメータの設定には次のよう
な手順を用いる。先ず、図４に示すように、ユーザーイ
ンターフェース２１となるコンピュータのモニタ２２上
に前景素材映像１２を表示する。次にこの画面上で、マ
ウスやタブレット等の位置指示機器２３を用いて完全に
背景であることが確実な部分をサンプリングする。これ
には矩形領域を指定してその内部にＲＧＢデータを取出
す方法や、カーソルが通過した位置を連続的にサンプリ
ングする方法等がある。サンプリングしたＲＧＢデータ
の平均値を取って背景代表色Ｃ₀とする。そして、サン
プリングした全てのデータを内側に含むような小さい１
２８面体６を作る。

【００７６】この１２８面体６の決定方法は次の通りで
ある。サンプリングした全ＲＧＢデータについて以下の
作業を繰り返す。所属三角錐判断装置３７を用いてその
データが１２８面体６を構成する三角錐２４のうちどの
三角錐内にあるか調べる。現在その三角錐２４の中で小
さい１２８面体６の内側にデータがある場合は何もせず
次のデータの処理に進む。外側にある場合にはそのデー
タ点Ｃ₁を通る平面が三角錐２４の各軸と交わる点と背
景代表色Ｃ₀との距離（切片）の合計が最小になるよう
な平面を数値計算（勾配法）で求め、内側多面体６の平
面２６とする。但し、それぞれの切片がそれまで存在し
ていた平面２６の切片の長さよりも短い場合は以前の切
片を用いる。これにより既に小１２８面体６の内側に分
類されていたデータが新たに外側に分類されることを防
いでいる。

【００７７】以上の方法により一つの４８面体６のパラ
メータを設定し実際に前景抽出とテストの合成を行って
みる。この結果完全に前景の部分が画面上に残っている
場合は前述の位置指示機器２３などのサンプリング手段
を用いて同様の形状決定法を完全背景部分が認められな
くなるまで繰り返す。

【００７８】次に中間の１２８面体７と大１２８面体８
を定義する。まず、６６本の全ての大１２８面体８の切
片として十分大きい値を仮に入力する。これには予め決
まった値を代入する方法と、ユーザがマニュアルで適当
な値を設定する方法とがある。大１２８面体８が十分大
きい場合には本来完全に前景であるはずの部分までディ
ゾルブ領域に入るので、テストの合成を行ってみると前
景部が変色し半透明になった映像が得られる。ここで前
述の位置指示機器２３などのサンプリング手段を用いて
完全に前景であることが確実な部分をサンプリングす
る。この結果サンプリングした全データが外側に出るよ
うな中間の１２８面体７が作られる。

【００７９】この形状決定法は小１２８面体６の場合と
は異なり次のようなものである。サンプリングした全Ｒ
ＧＢデータについて以下の作業を繰り返す。所属三角錐
判断装置３７を用いてそのデータが中１２８面体７を構
成する三角錐２４のうちどの三角錐２４内にあるかを調
べる。現在その三角錐２４の中で中間の１２８面体７の
平面２７の外側にデータがある場合は何もせず次のデー
タの処理に進む。内側にある場合にはそのデータ点Ｃ₂
を通る平面が三角錐２４の各軸と交わる点と背景代表色
Ｃ₀との距離（切片）が、そのデータ点と背景代表色Ｃ₀
を結ぶ直線と各軸のなす角との正弦に比例しているとし
て平面２７を決定する。但しそれぞれの切片がそれまで
存在していた平面２７の切片の長さより長い場合は以前
の切片を用いた平面２７で同様の計算を行う。これによ
り既に中間の１２８面体７の外側に分類されていたデー
タが新たに内側に分類されることを防いでいる。

【００８０】更に、本発明では、パラメータ設定の際の
データモニタのために、ＲＧＢ３次元空間９内の３つの
多面体６〜８を、ユーザーインターフェース２１として
の３次元グラフィックスコンピュータを用いて、モニタ
２２画面（図１９参照）上に３次元的に表示し、状態を
確認しながら調整作業を進めることができるようになっ
ている。このモニタ２２には、画面１１３内の任意の指
定範囲１１４の色データを表示することもできる。一つ
の絵素の色データは３次元スクリーン上では一つの点で
表示されるので、指定範囲１１４内の色データと多面体
６〜８の位置関係を３次元的に見ることが可能である。

【００８１】即ち、ＲＧＢの三原色を直交する３軸とす
るＲＧＢ３次元空間９における識別関数を定義する２つ
ないし３つの多面体６〜８と、指定範囲１１４の色デー
タとを２次元のモニタ上に３次元的に表示するために
は、次の様にデータの変換を行う（図１８参照）。

【００８２】先ず、フレームメモリ１１５に格納された
ＲＧＢ３原色データ（８ビットデータであれば、０≦Ｒ
≦２５５，０≦Ｇ≦２５５，０≦Ｂ≦２５５の範囲の値
を取る）のうち範囲指定された部分（指定範囲１１４）
の色データＲＧＢを、正規化装置１１６を用いて正規化
色データｒｇｂ（０≦ｒ≦１，０≦ｇ≦１，０≦ｂ≦
１）に変換することにより、ＲＧＢ３次元空間９内の座
標データ（ｘ，ｙ，ｚ）を求める。

【００８３】次に、キーボードなどの入力装置１１７か
ら透視投影変換装置１１８へ、視点データ（ｘ₀，ｙ₀，
ｚ₀）を入力し、前記座標データ（ｘ，ｙ，ｚ）を透視
投影変換装置１１８を用いてこの視点から見たＲＧＢ３
次元空間９，多面体６〜８及び色データに透視投影変換
し、モニタ２２上に（ｘｙ座標として）表示させる。

【００８４】識別関数を定義する多面体６〜９は、ＲＧ
Ｂ３種類の色データによって作られる三角形の集合であ
るため、同様の手順で透視投影変換を行うことにより、
モニタ２２上にワイヤーフレームモデル又はサーフェイ
スモデルとして表示することができる。

【００８５】これにより識別関数を定義する２つないし
３つの多面体６〜８及び指定範囲１１４内の色データを
モニタ２２上で３次元的に見ることができる。視点を変
更し、多面体６〜８及び色データを見る方向を変えなが
ら作業を進めることで、識別関数定義のより高度な最適
化が可能となる。

【００８６】従って、極めて最適なキー値ｋ，Ｋが得ら
れ、極めて良好なクロマキー処理が可能となる。

【００８７】

【発明の効果】本発明によれば、以下のような優れた効
果を奏し得る。

【００８８】従来のソフトクロマキーでは高品質に処理
できなかった、前景物体上にある背景色の照り返し色成
分や洩れ等を除去し、境界部分の滑らかさを損わないよ
うに合成することができる。

【００８９】タブレットやマウス等の位置指示機器を用
いたキーパラメータの設定の際に、合成結果の善し悪し
を確認しながら調整を進めるだけでなく、データのＲＧ
Ｂ空間での分布状況を視覚的に確認しながら調整を進め
ることができ、高速で高品質なソフトクロマキー調整を
行なうことができる。

【図面の簡単な説明】

【図１】ＲＧＢ空間の色分布とキー値の場の模式図であ
る。

【図２】ＲＧＢ空間に定義された三重の多面体（１２８
面体）を表わす図である。

【図３】本発明の装置を含めた全画像処理システム全体
の模式図である。

【図４】本発明の装置の全体ブロック図である。

【図５】三角錐内のキー値の配置を示す模式図である。

【図６】１２８面体頂点の存在する６６本の直線の方向
ベクトルと三角錐番号の対応表である。

【図７】三角錐番号とそれを構成するインデックスの対
応表である。

【図８】キー値と背景代表色からの距離の関数を示すグ
ラフである。

【図９】識別関数パラメータレジスタの内容表である。

【図１０】所属三角錐判断装置のブロック図である。

【図１１】ビット調整器のブロック図である。

【図１２】ビット調整器の入出力データを示す図であ
る。

【図１３】所属三角錐判断装置で使われるビットパター
ンと三角錐の対応表である。

【図１４】識別関数パラメータレジスタとパラメータセ
レクタのモデル図である。

【図１５】キー値計算装置のブロック図である。

【図１６】キー値計算装置の場合分けによるキー値ｋ，
Ｋの計算のフローチャートである。

【図１７】色変換装置のブロック図である。

【図１８】ユーザーインターフェースにおける多面体の
３次元表示させる装置部分のブロック図である

【図１９】モニタの表示の例を示す図である。

【図２０】ＲＧＢ空間に定義された二重の４８面体を表
わす従来例の図である。

【符号の説明】

５ 絵素 ６〜８ 多面体 ９ ＲＧＢ３次元空間 １９ 画像データ配列（外部画像データ） ２２ モニタ ２４ 三角錐（空間） ２６〜２８ 平面 ２９ 背景領域 ３１ ソフトキー領域 ３２ 完全前景領域 ３３ 色変換前景領域 １１４ 指定範囲 Ｃ₀ 背景代表色 ｋ，Ｋ キー値

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 ＲＧＢ３原色データで表わされた素材画
   像から色の違いを利用して前景となる物体を抽出すると
   共に、その抽出した前景画像と別の背景画像とを画像合
   成用キー値により重み付けして合成するようにしたソフ
   トクロマキー処理方法において、 ＲＧＢ３原色を直交３軸とするＲＧＢ３次元空間内を、
   背景代表色を頂点として共有する複数の三角錐空間に区
   切り、各三角錐空間ごとに内側と中間と外側の３つの平
   面を設定し、対応する平面を組合せて、ＲＧＢ３次元空
   間内に大中小の３重の多面体を作ることにより、 小多面体の内側の領域が前景の関与のない完全背景領域
   となり、大多面体の外側の領域が背景の関与のない完全
   前景領域となり、小多面体と中多面体に挟まれる領域が
   前景とも背景とも特定し得ないソフトキー領域となり、
   中多面体と大多面体に挟まれる領域が背景の関与はない
   が背景色の影響がある色変換前景領域となるようにＲＧ
   Ｂ３次元空間を４つの領域に分類し、 ＲＧＢ３次元空間上に表した素材画像の各絵素が、完全
   背景領域に属する場合は画像合成用キー値を０％と決
   め、完全前景領域に属する場合は画像合成用キー値を１
   ００％と決め、ソフトキー領域に属する場合は所属する
   三角錐空間ごとに小多面体と大多面体とからの距離の比
   率に応じ小多面体に近いほど低くなるように画像合成用
   キー値を０〜１００％の中間的な値に決め、色変換前景
   領域に属する場合は画像合成用キー値を１００％と決
   め、これらの素材画像の各絵素単位で決定した画像合成
   用キー値を同じ絵素位置に採用して前景画像を背景画像
   に合成し、 しかも、背景の関与しない色変換前景領域に属する素材
   画像の各絵素に対しては、所属する三角錐空間ごとに小
   多面体と大多面体とからの距離の比率に応じ小多面体に
   近いほど低くなるように０〜１００％の色変換用キー値
   を決定し、その色変換用キー値に従い各絵素の色成分か
   ら背景代表色の成分を減算すると共に、別途指定した入
   替色を前記色変換用キー値に従い各絵素の色成分に加算
   して色変換を行う ことを特徴とするソフトクロマキー処
   理方法。
2. 【請求項２】 背景の関与しない色変換前景領域の色変
   換処理に用いる入替 色として、画面内の各絵素に対して
   別々の色データを使用し得るよう外部画像データを取込
   ませる請求項１記載のソフトクロマキー処理方法。
3. 【請求項３】 ＲＧＢ３次元空間内の大中小の３重の多
   面体と、モニタ上で指定した指定範囲内の色データとを
   透視投影変換してモニタ上に立体的に表示させる請求項
   １又は２記載のソフトクロマキー処理方法。