JP2882754B2 - ソフトクロマキー処理方法 - Google Patents

ソフトクロマキー処理方法

Info

Publication number
JP2882754B2
JP2882754B2 JP6200905A JP20090594A JP2882754B2 JP 2882754 B2 JP2882754 B2 JP 2882754B2 JP 6200905 A JP6200905 A JP 6200905A JP 20090594 A JP20090594 A JP 20090594A JP 2882754 B2 JP2882754 B2 JP 2882754B2
Authority
JP
Japan
Prior art keywords
color
image
foreground
background
polyhedron
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP6200905A
Other languages
English (en)
Other versions
JPH0865705A (ja
Inventor
也守志 三島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IMAJIKA KK
Original Assignee
IMAJIKA KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IMAJIKA KK filed Critical IMAJIKA KK
Priority to JP6200905A priority Critical patent/JP2882754B2/ja
Publication of JPH0865705A publication Critical patent/JPH0865705A/ja
Application granted granted Critical
Publication of JP2882754B2 publication Critical patent/JP2882754B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Studio Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Color Image Communication Systems (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、RGB数値データ化し
た色々な方式のカラー画像を処理して、別のカラー画像
の上に合成するためのソフトクロマキー処理方法に関す
る。
【0002】
【従来の技術】ビデオ映像製作におけるクロマキー処理
方法では、一般に、単一色に塗った(青色の場合が多
い)背景パネルの手前に合成したい前景物体を配置し
て、カメラでブルーバック素材として撮影し、この画像
から様々な方法を用いて、青色部分が0%で、前景部分
が100%と成るキー信号の画像を生成する。このキー
信号の画像は、ブルーバック素材の画像と共に、背景画
像を切替える切替装置のスイッチ部へ供給されて、合成
画像を得るために利用される。
【0003】ここで、キー信号の値(キー値)が0%か
100%かの2値的な値しか取らないとすると、合成後
の前景物体の輪郭部分等が不自然になってしまうので、
ソフトクロマキーと呼ばれる装置等では、キー値として
0%と100%の中間の値を取ることができるようにし
ている。
【0004】従来のクロマキー処理方法では、色の属性
である色相、飽和度、明度のうち、明度を除いた他の二
つの要素を量的に表すことができる、色度図上の距離を
利用して、キー値を発生させていた。
【0005】例えば、特開昭62−66791号では、
先ず、前景画像のRGBの3原色データは、次の変換式
を用いて、2次元直交座標系上のデータ(X,Z)に変
換される。
【0006】
【数1】X=√3/2(R−G)sinφ+[B−1/
2(R+G)]cosφ Z=√3/2(R−G)cosφ−[B−1/2(R+
G)]sinφ
【0007】ここでR,G,Bは前景色の赤色成分,緑
色成分,青色成分である。又、φは色度図上における背
景色の色相のB−Y軸に対する角度である。上式で得ら
れるXとZを用いてキー値kは、
【数2】k=X−aZ2 なる計算式を用いて求められている。aは調整可能なパ
ラメータである。
【0008】実際には、更に、可変利得kgとオフセッ
トk0を用いて、
【数3】k’=(k+k0)×kg で表されるk’をキー値としている。
【0009】この手法によると、キー値k’が一定の値
となると、XとZのデータの組は、色度図上では、焦点
がX軸にあり、準線がZ軸上にある放物線となる。
【0010】しかし、上記の方法では、明度の情報を扱
っていないので、明るい青色と暗い青色とを区別するこ
とができず、又、ブルーバック素材の画像の成り立ちを
理論的に取扱っていないので、抽出結果が不自然になっ
たりしていた。
【0011】これらの問題を解決するため、本願出願人
による特願平5−27442号では、入力されたRGB
3原色データを情報量の損失なしに利用することを目的
として、色度図等の2次元空間に写像することを止め、
RGB3次元空間1上で3次元のまま取扱うものとし、
その手段として、キー値を決定するための識別関数を3
変数関数とし、3変数関数によって図20に示すような
二重の48面体2,3を定義させた。
【0012】この方法によれば、RGB3次元空間1上
の任意の位置を包むように二重の48面体2,3を定義
できるので、背景色に対して従来あった制限が大幅に削
減され、前景画像に背景色が存在しなければ、キーイン
グ(キー値を決定すること)が可能になった。しかも、
上記による境界部分の色の除去、及び、背景との合成
は、画像合成の理論に従ったものであるため、自然な前
景の抽出ができた。
【0013】
【発明が解決しようとする課題】しかしながら、上記特
願平5−27442号(特開平6−225329号)の
方法では、前景であるにも拘らず照り返しやフレア等に
より背景色の影響が出てしまった部分があると、合成結
果の色バランスが不自然になったり、色バランスを合わ
せようとすると前景部が透き通った状態になったりし
た。
【0014】又、前景部の背景色成分を除去して別の色
を加える場合、合成する背景の色に比較的大きなムラが
あると、どのような色を加えても全体の合成結果を自然
なものにすることができなかった。
【0015】更に、合成の状態を制御するために多数の
パラメータがあるが、結果画像を確認しながらの調整に
なるので、パラメータの設定作業が困難であった。
【0016】本発明は、上述の実情に鑑み、前景物体上
にある背景色の照り返し色成分や洩れ等を除去し、境界
部分の滑らかさを損わないように合成することができる
ようにしたソフトクロマキー処理方法を提供することを
目的とするものである。
【0017】
【課題を解決するための手段】本発明の第一の手段は、
RGB3原色データで表わされた素材画像から色の違い
を利用して前景となる物体を抽出すると共に、その抽出
した前景画像と別の背景画像とを画像合成用キー値によ
り重み付けして合成するようにしたソフトクロマキー処
理方法において、RGB3原色を直交3軸とするRGB
3次元空間内を、背景代表色を頂点として共有する複数
の三角錐空間に区切り、各三角錐空間ごとに内側と中間
と外側の3つの平面を設定し、対応する平面を組合せ
て、RGB3次元空間内に大中小の3重の多面体を作る
ことにより、小多面体の内側の領域が前景の関与のない
完全背景領域となり、大多面体の外側の領域が背景の関
与のない完全前景領域となり、小多面体と中多面体に挟
まれる領域が前景とも背景とも特定し得ないソフトキー
領域となり、中多面体と大多面体に挟まれる領域が背景
の関与はないが背景色の影響がある色変換前景領域とな
るようにRGB3次元空間を4つの領域に分類し、RG
B3次元空間上に表した素材画像の各絵素が、完全背景
領域に属する場合は画像合成用キー値を0%と決め、完
全前景領域に属する場合は画像合成用キー値を100%
と決め、ソフトキー領域に属する場合は所属する三角錐
空間ごとに小多面体と大多面体とからの距離の比率に応
じ小多面体に近いほど低くなるように画像合成用キー値
を0〜100%の中間的な値に決め、色変換前景領域に
属する場合は画像合成用キー値を100%と決め、これ
らの素材画像の各絵素単位で決定した画像合成用キー値
を同じ絵素位置に採用して前景画像を背景画像に合成
し、しかも、背景の関与しない色変換前景領域に属する
素材画像の各絵素に対しては、所属する三角錐空間ごと
に小多面体と大多面体とからの距離の比率に応じ小多面
体に近いほど低くなるように0〜100%の色変換用キ
ー値を決定し、その色変換用キー値に従い各絵素の色成
分から背景代表色の成分を減算すると共に、別途指定し
た入替色を前記色変換用キー値に従い各絵素の色成分に
加算して色変換を行うことを特徴とするソフトクロマキ
ー処理方法にかかるものである。
【0018】
【0019】本発明の第の手段では、背景の関与しな
い色変換前景領域の色変換処理に用いる入替色として、
画面内の各絵素に対して別々の色のデータを使用し得る
よう外部画像データを取込ませるようにしている。
【0020】本発明の第の手段では、RGB3次元空
間内の大中小の3重の三原色を直交3軸とする3次元空
間において、識別関数を定義する二つないし三つの多面
体と、モニタ上で指定した指定範囲内の色データとを
視投影変換してモニタ上に立体的に表示させるようにし
ている。
【0021】
【作用】本発明では、入力されたRGB3原色データを
情報量の損失なしに利用するため、色度図等の2次元空
間に写像することをせず、RGB3次元空間でそのまま
取扱う。従ってキー信号の値(キー値k)を決定するの
は3変数の関数であり、RGB3次元空間内のスカラー
場によって表わされるものである。この関数のことを識
別関数と呼ぶ。
【0022】ブルーバック撮影された前景画像のRGB
原色データをRGB3次元空間上にプロットしてみる
と、図1に示すように、背景部分の絵素4は、B軸の近
くに比較的小さく分布している。これに対し、前景部分
の絵素5は、バナナの形のように細長く分布したものを
いくつか組み合わせた格好で背景部分の絵素4から離れ
た所に分布している。又、両者の境界部分の絵素はそれ
ぞれバナナ状に分布した絵素5を底辺に持ち、背景部分
の絵素4を頂点に持つ三角形の範囲内に分布している。
キー値kを表すスカラー場は、バナナ状の部分の絵素5
が100%、背景部分の絵素4が0%で三角形の範囲内
の部分が頂点から底辺に向かって徐々に増えていくよう
設定するのが理想的である。
【0023】そこで、識別関数を表すスカラー場とし
て、図2に示すような、3重の多面体6〜8(例えば1
28面体)で定義されるものを用いている。これによ
り、RGB3次元空間9における素材画像のRGBデー
タの分布に適した形状のスカラー場が形成され、輪郭部
分や半透明部分を滑らかに表現できるキー値kが算出さ
れる。キー値kが決まると、画像合成の理論から導かれ
たモデルに従って、半透明部分等の背景色が関与してい
る前景部分の絵素5の色を本来の前景色に色変換する。
又、前景部分で背景色が影響している部分も、スカラー
場から算出される重みに従って色変換の計算が施され
る。
【0024】RGB3次元空間9上に任意の位置を包む
ようにスカラー場(3重の多面体6〜8)を定義できる
ので、背景色の制限が大幅に削減され、前景に背景色が
存在しなければ、キーイングができる。前景に背景色の
成分が乗っている場合には、中間の多面体7の形状を変
化させることによって、色変換処理を行なうことができ
る。
【0025】ハードエッジのクロマキーパラメータを設
定してから、前景部分まで透き通ってしまうようなソフ
トエッジのパラメータを指定し、その後で透き通っては
いけない部分をマウスやタブレット等の位置指示機器を
用いて繰返しモニタ上で指示し、更に、モードを変えて
前景でオリジナル画像の色を保存しなくてはいけないと
ころを繰返し指示することによって、ソフトキーパラメ
ータ及び色変換のパラメータを設定する。
【0026】キーパラメータの微調整を要する場合に
は、色データの3次元的な分布の様子と多面体6〜8の
位置関係とをモニタ上で確認しながら、スライドバー等
を用いて対話的に作業を進める。
【0027】前景部分に背景色成分が乗っている場合に
は、その背景色成分を前景の色から減算し、別の色成分
を加算する。一つの色を加算しても全体のバランスが取
れない場合には、別に用意した外部画像ファイル(入替
画像)を入力し、合成画面の各絵素において、対応する
絵素から色データを取込んで加算する。
【0028】
【実施例】以下、本発明の実施例を図面を参照しつつ説
明する。
【0029】図1から図19は本発明の一実施例であ
る。
【0030】本発明の入力となるデータはRGBで表わ
されるブルーバック素材のデジタルデータであり、出力
となるデータはブルーバックの青い部分が黒く表された
前景抽出後の画像で、やはりRGBのデジタルデータで
ある。
【0031】実際の映像製作の流れを図3に示す。先
ず、映画のカメラ又はビデオカメラ等の撮影機器10で
ブルーバック素材が撮影される。どちらの場合もフィル
ムスキャナ又はビデオデジタイザ等の画像デジタル化装
置11を用いてRGBの3原色の数値データの集りであ
る画像データ配列12に変換され、図示しない磁気テー
プや固定ディスク装置等に記録される。本発明は画像の
空間解像度や色成分の量子化ビット数等を自由に選ぶこ
とができる。
【0032】このRGBデジタルデータである画像デー
タ配列12が本発明のためのクロマキー処理装置13に
読み込まれ、処理後の前景抽出画像14がRGBデジタ
ルデータとして出力される。
【0033】一方、合成すべき別の画像も上記と同様の
方法でRGBデジタルデータの画像データ15に変換さ
れ、前景抽出画像14と共に画像合成装置16に送られ
合成される。
【0034】合成結果は、RGBデジタルデータである
画像データ配列17の形で、フィルムレコーダ装置又は
フレームメモリ等の録画機器18を用いてフィルム又は
ビデオテープ上に録画される。
【0035】尚、19は入替画像の画像データ配列であ
る。
【0036】上記クロマキー処理装置13では、図4に
示すように、最初に、入力部20に前景画像の画像デー
タ配列12が読み込まれる。この映像はユーザーインタ
ーフェース21としてのコンピュータのモニタ22上に
表示され、コンピュータの支援の下にマウスやタブレッ
ト等の位置指示機器23を用いてキー信号生成のための
パラメータが作成される。この操作は一つのカット(カ
メラが回り始めてから止るまでの連続したフレームの集
まり)に対し通常1回行なう。次に連続フレーム処理の
モードに切替えると、入力部20から前景画像の画像デ
ータ配列12が次々読み込まれ、全ての絵素が設定済み
のパラメータを用いて処理される。処理した結果は、前
景抽出画像14として出力され、次のプロセスへ送られ
る。前景抽出画像14には、キー信号と、色変換された
前景画像との2種類のデータが含まれる。
【0037】 ○キー値kを決定する多面体(例えば、128面体)の
定義前景画像と別の背景画像とを重み付けして合成するため
の画像合成用キー値 であるキー値kは、後述する線形の
式によって表現されるが、前景画像の各絵素のデータが
持つRGBの各色成分がRGB3次元空間9上でどこに
位置するかによってその式の係数がそれぞれ異なる。R
GB3次元空間9は、図5に示すように、頂点C0を共
有する複数個(例えば、128面体の場合は128個)
の三角錐24によって区切られており、それぞれの三角
錐24の区間内で別々の係数パラメータを持つ。このパ
ラメータによって定義されるキー値kにより、RGB3
次元空間9内で頂点位置C0が決まった直線上に有る多
面体(128面体)形状を等位面として持つスカラー場
が形成される(図2)。
【0038】128個の三角錐24区間は次のように定
義される。先ず、最も典型的な背景色として一つの色を
決め、そのRGBデータを与える。この色を背景代表色
の点C0と呼ぶ。通常この色はマウスやタブレットなど
の位置指示機器23を用いてモニタ22上の背景色部分
をRGBデータとして何点かサンプリングし、その平均
値を用いる。次にこの背景代表色C0を表わすRGB3
次元空間9上の点から66本の直線25を伸ばす。この
直線25の方向ベクトルは図6に示されている。66本
の直線25は次式で表わされる。
【0039】
【数4】Pn=tvn+c0(n=0,1,2,…,65) ここでvnはnでインデクシングされた直線25の単位方
向ベクトルである(図6)。このベクトルは不変であ
る。
【0040】三角錐24はこの66本の直線25の中の
隣合う3本の直線25によって作られる。128個の三
角錐24のインデックスと各三角錐24を構成する3本
の直線25のインデックスを図7に示す。
【0041】一つの三角錐24中においてキー信号の値
kは、交わらない三つの平面26〜28、即ち、三つの
三角形により定義される(図5)。スカラー場をC0
連続としたため、隣り合う三角錐24の対応する三角形
どうしが頂点を共有するので、三重の128面体6〜8
ができ、結局、これがRGB3次元空間9内の任意の色
のキー値kを決定する。つまり66本の直線25上に一
つずつ点を取り、各三角錐空間24を構成する3本の直
線25上の点をそれぞれ結んでできる128個の三角形
によって128面体6〜8が一つできる。このような1
28面体6〜8を交わらないように大中小3つ配置する
ことで図2に示すようなスカラー場が決まる。
【0042】ひとつの128面体6〜8は、RGB3次
元空間9における直線25上の点と背景代表色C0との
間の66個のユークリッド距離と、背景代表色C0の3
つの成分の合計69個のパラメータとで定義される。大
中小の128面体6〜8の背景代表色C0は同一なので
三重の128面体6〜8は201個の調整可能パラメー
タによって定義されることになる。
【0043】これらのスカラー場のデータはコンピュー
タのユーザインタフェースプログラムを用いて設定さ
れ、メインメモリ上にストアされる。
【0044】定性的には、3つの多面体6〜8のうち一
番小さい多面体6の内側の領域29にあたるRGBデー
タで表わされる色の絵素は完全に背景であるとして0%
のキー値kにする。又、2番目に大きい中間の多面体7
の外側の領域30にあたるRGBデータで表わされる色
の絵素は前景であるとして100%のキー値kを出力す
る。一番小さい多面体6と2番目に大きい多面体7に挟
まれた領域は背景でも前景でもないソフトキー領域31
として処理する。
【0045】更に、一番大きい多面体8の外側は完全前
景領域32と呼ばれ、キー値が100%で色も変換しな
い素材の画像そのままを出力する領域である。2番目に
大きい多面体7と一番大きい多面体8に挟まれる領域は
色変換前景領域33と呼ばれ、キー値は100%である
が素材の画像に色変換を施したデータを出力する。
【0046】キー値の計算処理は次のようなものであ
る。三角錐空間24にある3枚の平面26〜28のうち
背景代表色C0に最も近いのが小多面体6であり、前景
絵素の色データがこの面よりも背景代表色C0側にある
時、その絵素の位置のキー値kは0%であり、中多面体
7の平面27の外側にある時キー値kは100%であ
る。二つの平面26,27にはさまれる空間にある場合
は小多面体平面26に近いほどキー値kの値が低く、中
多面体平面27に近いほどキー値kの値が高くなる。こ
のようなキー値kは、背景代表色C0からの距離の関数
として計算される。
【0047】処理する前景絵素データをCrとする。前
景絵素データCrと背景代表色C0とを結ぶ直線34が小
多面体平面26と交わる点をC1、中多面体平面27と
交わる点をC2、大多面体平面28と交わる点をC3とす
る。C0からCr,C1,C2,C3までの距離をそれぞれ
r,l1,l2,l3とすると、キー値kは
【数5】 と計算される。又、前景画像の色変換用キー値である
部的なキー値Kは、
【数6】 と表される。これらの関数をグラフにしたものが図8で
ある。
【0048】色空間上の距離は次のように計算される。
該当する三角錐24を形成している3本の直線25のイ
ンデックス(図7)を後述するパラメータレジスタ36
から読み込み、それぞれの直線25上にある三重の12
8面体6〜8の頂点の位置をメインメモリから背景代表
色C0との距離として取出す。添字iを直線25のインデ
ックスとすると、各直線25上の内側三角形26の頂点
iと、中間三角形27の頂点Xiと、外側三角形28の
頂点Biは、
【数7】Ai=aii+C0i=xii+C0i=bii+C0 として計算される。
【0049】ここで、ai,xi,biは、C0と各頂点と
の距離である。又、viはiでインデクシングされた直線
25の単位方向ベクトルである。このベクトルは不変で
ある。
【0050】そして、内側及び中間並に外側の平面26
〜28の方程式
【数8】内側:linr+ming+ninb+oin=0 中間:lmidr+mmidg+nmidb+omid=0 外側:loutr+moutg+noutb+oout=0 の係数は、この平面26〜28がAiおよびBiで表され
るそれぞれ三つの頂点を通ることから、各座標値を用い
て計算できる。
【0051】処理する前景絵素データCrの成分を
(rr,gr,br)と、背景代表色C0の成分を(r0
0,b0)とするとこれらを結ぶ直線25の方程式は、
【数9】 と表わされる。平面26〜28の方程式と直線25の方
程式の連立方程式を解くと、次式が得られる。
【0052】
【数10】
【0053】ここで得られるのが長さのパラメータで、
このtinは点Cr0間の長さCr0を1とした時の点C
30間の長さである。又、このtmidは点Cr0間の長
さCr0を1とした時の点C20間の長さである。更
に、toutは点Cr0間の長さCr0を1とした時の点
10間の長さである。
【0054】このtinとtmidとtoutを用いるとlr
1,l2,l3で表されたkの式は、
【数11】 と計算できる。
【0055】tinとtmidとtoutを求める式が前景の全
ての絵素に対して計算される。この式の分母を展開する
と、
【数12】 となり、分母の三つの項と分子はCrに依存せず三角錐
24の中で一定で予め計算しておくことができるので、
実際にRGB信号を処理する段階に入る前に128面体
6〜8の各平面26〜28の方程式の係数を求めてこれ
らの項を計算し、識別関数パラメータDINn,DMI
n,DOUTn(分子)及びEINn,EMIDn,EO
UTn(分母の3項の和)は、
【数13】 DIN=−lin0−min0−nin0−oin EIN=lin0+min0+nin0 DMID=−lmid0−mmid0−nmid0−omid EMID=lmid0+mmid0+nmid0 DOUT=−lout0−mout0−nout0−oout EOUT=lout0+mout0+nout0 としてCr及びlout,mout,nout,lmid,mmid,n
mid,lin,min,ninと共に識別関数パラメータレジ
スタ(図4の符号36)に保存しておく。
【0056】○前景画像のRGB信号の処理 処理する映像はRGBデジタルデータで前景を構成する
全ての絵素データ12が連続してクロマキー処理装置1
3の入力部20へ入力される。クロマキー処理装置13
は各絵素毎に独立して処理を行なう。
【0057】クロマキー処理装置13の内部は図4のよ
うな構造になっている。入力部20から得られた一つの
絵素分のRGBデジタルデータは所属三角錐判断装置3
7とキー値計算装置38と色変換装置39へ送られる。
【0058】先ず、所属三角錐判断装置37での処理が
最初に行なわれる。所属三角錐判断装置37は図10に
示すようなものである。背景代表色C0は識別関数パラ
メータレジスタ36の中に存在する。
【0059】入力部20から送られた前景絵素5のRG
Bデジタルデータ12は成分毎に識別関数パラメータレ
ジスタ36の背景代表色C0と共に引算器40〜42に
入れられる。引算器40〜42で得られる三つのデータ
は前景絵素5の背景代表色C0に対する3次元の相対座
標値である。
【0060】前景絵素5が128あるうちのどの三角錐
24に入るかは、7個の符号の組合せによってわかるの
で、7ビットのアドレスに三角錐24のインデックスを
対応されたLUT(ルックアップテーブル35)が予め
用意されている(図9)。
【0061】そして、7ビットのアドレスは、符号検査
器43〜45、足算器46〜48、引算器49〜51、
符号検査器52〜54、定数倍乗算器55〜60、引算
器61〜66、符号検査器67〜72、ビット調整器7
3,74によって求められる。
【0062】尚、定数倍乗算器55〜60は、信号をλ
=arctan(7φ/8)倍するものである。又、ビ
ット調整器73,74は図11に示すように、、オア回
路75と、反転回路76〜78と、アンド回路79,8
0を備えており、図12に示すように、3ビットの入力
を2ビットに変換するようになっている。
【0063】こうして得られた7ビットのアドレスは、
LUT35へ送られ、LUT35が保持するビットパタ
ーン(図13)と対比される。この結果、所属三角錐判
断装置37の出力として所属三角錐24のインデックス
が得られ、識別関数パラメータレジスタ36の後段に位
置するパラメータセレクタ81に与えられる。
【0064】パラメータセレクタ81は図14のように
所属三角錐判断装置37から三角錐24のインデックス
(0〜127)を与えられると、その三角錐24で定義
されている3平面26〜28の識別関数パラメータDI
n,DMIDn,DOUTn,EINn,EMIDn,E
OUTn,lout,mout,nout,lmid,mmid
mi d,lin,min,ninを識別関数パラメータレジス
タ36からキー値計算装置38へ送る。
【0065】キー値計算装置38では前述のキー値k,
Kの式を計算する(図15参照)。入力部20から与え
られる前景絵素5のRGB信号12がパラメータセレク
タ81から供給される識別関数パラメータと共に乗算器
82〜84,85〜87,88〜90に入れられ、その
結果とEINn,EMIDn,EOUTnとの合計が足算
器91〜93で求められて、DINnと,DMIDnと,
DOUTnと共に除算器96に入れられる。
【0066】内側平面26と中間平面27の二組の識別
関数パラメータによって得られる除算器94,95の出
力結果tinとtmidがそれぞれ1より大きいか小さいか
を場合分比較器97で比較され、その結果で場合分けさ
れてクリッピング処理のなされたキー値kとして出力さ
れる。場合分け部分のフローチャートを図16に示す。
【0067】クロマキー処理装置13の次の段階に位置
する画像合成用の色変換装置39では内部的なキー値K
を用いる。内部的なキー値Kは、tmidを用いずにtout
を用いて
【数14】 という計算で求められる。
【0068】ここでは次のような合成式によって前景と
別の背景の合成処理を行なう。
【0069】
【数15】
【0070】ここでCdstは合成後の画像の色データ、
frontは手前にある対象物(前景)の色データ、C
backは前景とは別に用意してある背景の色データ、C
transは色変換前景部からバック色成分を除去した後に
乗せる外部の色データである。Kはキー値計算装置38
で得られた内部的なキー値である。
【0071】本発明では、特に、従来のソフトキー領域
31における中多面体7の平面27より外側の領域30
において、背景画像と前景画像とを重み付けして合成す
るのではなく、別途用意された色データである入替色と
前景画像とを重み付けして合成することができる点に特
徴がある。
【0072】色変換装置39の内部処理を図17に示
す。キー値計算装置38で得られた内部的なキー値Kを
反転器99で1から引くことにより反転されたものが、
識別関数パラメータレジスタ36からの背景代表色C0
の各成分と共に乗算器100〜102に入れられる。そ
の結果得られたRGBデータが減算器103〜105に
よって前景素材のデータ12から減算される。キー値k
が100%ではない場合はこの前処理信号が合成器10
6に供給される。又、キー値計算装置38で得られた内
部的なキー値Kが入替素材のデータ19の各色成分と共
に乗算器109に入れられ、前述の前処理信号と共に各
成分ごとに加算器110〜112に入れられる。キー値
kが100%の場合はこの出力が合成器106に供給さ
れる。
【0073】入替色は、画面全体で一つの色を用いるモ
ードと、画面の各絵素において別々の値が取れるような
外部画像データ19を入力できるモードがある。外部画
像データ19としては任意のものを入力できるが、通常
は、合成すべき背景画像をデフォーカスした画像ファイ
ルを予め作成しておき、必要に応じて利用できるように
する。
【0074】合成結果画像のデータであるCdstを求め
るためにはαCfrontを与える必要があるので、色変換
装置39を用いてこの値を計算する。ブルーバックの前
景素材画像も上記の合成式で計算されるとすると、式中
のCdstは前景素材として得られている処理中の入力色
データCr、又、Cfrontは入力画像の中の前景部分の
色、Cbackは入力画像の中の背景代表色C0である。こ
の場合、
【数16】 kCfront=Cdst−(1−k)Cback =Cr−(1−k)C0 という式を用いてαCfrontが計算できる。
【0075】○キー値パラメータ入力 キー値kの算出に必要なパラメータの設定には次のよう
な手順を用いる。先ず、図4に示すように、ユーザーイ
ンターフェース21となるコンピュータのモニタ22上
に前景素材映像12を表示する。次にこの画面上で、マ
ウスやタブレット等の位置指示機器23を用いて完全に
背景であることが確実な部分をサンプリングする。これ
には矩形領域を指定してその内部にRGBデータを取出
す方法や、カーソルが通過した位置を連続的にサンプリ
ングする方法等がある。サンプリングしたRGBデータ
の平均値を取って背景代表色C0とする。そして、サン
プリングした全てのデータを内側に含むような小さい1
28面体6を作る。
【0076】この128面体6の決定方法は次の通りで
ある。サンプリングした全RGBデータについて以下の
作業を繰り返す。所属三角錐判断装置37を用いてその
データが128面体6を構成する三角錐24のうちどの
三角錐内にあるか調べる。現在その三角錐24の中で小
さい128面体6の内側にデータがある場合は何もせず
次のデータの処理に進む。外側にある場合にはそのデー
タ点C1を通る平面が三角錐24の各軸と交わる点と背
景代表色C0との距離(切片)の合計が最小になるよう
な平面を数値計算(勾配法)で求め、内側多面体6の平
面26とする。但し、それぞれの切片がそれまで存在し
ていた平面26の切片の長さよりも短い場合は以前の切
片を用いる。これにより既に小128面体6の内側に分
類されていたデータが新たに外側に分類されることを防
いでいる。
【0077】以上の方法により一つの48面体6のパラ
メータを設定し実際に前景抽出とテストの合成を行って
みる。この結果完全に前景の部分が画面上に残っている
場合は前述の位置指示機器23などのサンプリング手段
を用いて同様の形状決定法を完全背景部分が認められな
くなるまで繰り返す。
【0078】次に中間の128面体7と大128面体8
を定義する。まず、66本の全ての大128面体8の切
片として十分大きい値を仮に入力する。これには予め決
まった値を代入する方法と、ユーザがマニュアルで適当
な値を設定する方法とがある。大128面体8が十分大
きい場合には本来完全に前景であるはずの部分までディ
ゾルブ領域に入るので、テストの合成を行ってみると前
景部が変色し半透明になった映像が得られる。ここで前
述の位置指示機器23などのサンプリング手段を用いて
完全に前景であることが確実な部分をサンプリングす
る。この結果サンプリングした全データが外側に出るよ
うな中間の128面体7が作られる。
【0079】この形状決定法は小128面体6の場合と
は異なり次のようなものである。サンプリングした全R
GBデータについて以下の作業を繰り返す。所属三角錐
判断装置37を用いてそのデータが中128面体7を構
成する三角錐24のうちどの三角錐24内にあるかを調
べる。現在その三角錐24の中で中間の128面体7の
平面27の外側にデータがある場合は何もせず次のデー
タの処理に進む。内側にある場合にはそのデータ点C2
を通る平面が三角錐24の各軸と交わる点と背景代表色
0との距離(切片)が、そのデータ点と背景代表色C0
を結ぶ直線と各軸のなす角との正弦に比例しているとし
て平面27を決定する。但しそれぞれの切片がそれまで
存在していた平面27の切片の長さより長い場合は以前
の切片を用いた平面27で同様の計算を行う。これによ
り既に中間の128面体7の外側に分類されていたデー
タが新たに内側に分類されることを防いでいる。
【0080】更に、本発明では、パラメータ設定の際の
データモニタのために、RGB3次元空間9内の3つの
多面体6〜8を、ユーザーインターフェース21として
の3次元グラフィックスコンピュータを用いて、モニタ
22画面(図19参照)上に3次元的に表示し、状態を
確認しながら調整作業を進めることができるようになっ
ている。このモニタ22には、画面113内の任意の指
定範囲114の色データを表示することもできる。一つ
の絵素の色データは3次元スクリーン上では一つの点で
表示されるので、指定範囲114内の色データと多面体
6〜8の位置関係を3次元的に見ることが可能である。
【0081】即ち、RGBの三原色を直交する3軸とす
るRGB3次元空間9における識別関数を定義する2つ
ないし3つの多面体6〜8と、指定範囲114の色デー
タとを2次元のモニタ上に3次元的に表示するために
は、次の様にデータの変換を行う(図18参照)。
【0082】先ず、フレームメモリ115に格納された
RGB3原色データ(8ビットデータであれば、0≦R
≦255,0≦G≦255,0≦B≦255の範囲の値
を取る)のうち範囲指定された部分(指定範囲114)
の色データRGBを、正規化装置116を用いて正規化
色データrgb(0≦r≦1,0≦g≦1,0≦b≦
1)に変換することにより、RGB3次元空間9内の座
標データ(x,y,z)を求める。
【0083】次に、キーボードなどの入力装置117か
ら透視投影変換装置118へ、視点データ(x0,y0
0)を入力し、前記座標データ(x,y,z)を透視
投影変換装置118を用いてこの視点から見たRGB3
次元空間9,多面体6〜8及び色データに透視投影変換
し、モニタ22上に(xy座標として)表示させる。
【0084】識別関数を定義する多面体6〜9は、RG
B3種類の色データによって作られる三角形の集合であ
るため、同様の手順で透視投影変換を行うことにより、
モニタ22上にワイヤーフレームモデル又はサーフェイ
スモデルとして表示することができる。
【0085】これにより識別関数を定義する2つないし
3つの多面体6〜8及び指定範囲114内の色データを
モニタ22上で3次元的に見ることができる。視点を変
更し、多面体6〜8及び色データを見る方向を変えなが
ら作業を進めることで、識別関数定義のより高度な最適
化が可能となる。
【0086】従って、極めて最適なキー値k,Kが得ら
れ、極めて良好なクロマキー処理が可能となる。
【0087】
【発明の効果】本発明によれば、以下のような優れた効
果を奏し得る。
【0088】従来のソフトクロマキーでは高品質に処理
できなかった、前景物体上にある背景色の照り返し色成
分や洩れ等を除去し、境界部分の滑らかさを損わないよ
うに合成することができる。
【0089】タブレットやマウス等の位置指示機器を用
いたキーパラメータの設定の際に、合成結果の善し悪し
を確認しながら調整を進めるだけでなく、データのRG
B空間での分布状況を視覚的に確認しながら調整を進め
ることができ、高速で高品質なソフトクロマキー調整を
行なうことができる。
【図面の簡単な説明】
【図1】RGB空間の色分布とキー値の場の模式図であ
る。
【図2】RGB空間に定義された三重の多面体(128
面体)を表わす図である。
【図3】本発明の装置を含めた全画像処理システム全体
の模式図である。
【図4】本発明の装置の全体ブロック図である。
【図5】三角錐内のキー値の配置を示す模式図である。
【図6】128面体頂点の存在する66本の直線の方向
ベクトルと三角錐番号の対応表である。
【図7】三角錐番号とそれを構成するインデックスの対
応表である。
【図8】キー値と背景代表色からの距離の関数を示すグ
ラフである。
【図9】識別関数パラメータレジスタの内容表である。
【図10】所属三角錐判断装置のブロック図である。
【図11】ビット調整器のブロック図である。
【図12】ビット調整器の入出力データを示す図であ
る。
【図13】所属三角錐判断装置で使われるビットパター
ンと三角錐の対応表である。
【図14】識別関数パラメータレジスタとパラメータセ
レクタのモデル図である。
【図15】キー値計算装置のブロック図である。
【図16】キー値計算装置の場合分けによるキー値k,
Kの計算のフローチャートである。
【図17】色変換装置のブロック図である。
【図18】ユーザーインターフェースにおける多面体の
3次元表示させる装置部分のブロック図である
【図19】モニタの表示の例を示す図である。
【図20】RGB空間に定義された二重の48面体を表
わす従来例の図である。
【符号の説明】
5 絵素 6〜8 多面体 9 RGB3次元空間 19 画像データ配列(外部画像データ) 22 モニタ 24 三角錐(空間) 26〜28 平面 29 背景領域 31 ソフトキー領域 32 完全前景領域 33 色変換前景領域 114 指定範囲 C0 背景代表色 k,K キー値

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 RGB3原色データで表わされた素材画
    像から色の違いを利用して前景となる物体を抽出すると
    共に、その抽出した前景画像と別の背景画像とを画像合
    成用キー値により重み付けして合成するようにしたソフ
    トクロマキー処理方法において、 RGB3原色を直交3軸とするRGB3次元空間内を、
    背景代表色を頂点として共有する複数の三角錐空間に区
    切り、各三角錐空間ごとに内側と中間と外側の3つの平
    面を設定し、対応する平面を組合せて、RGB3次元空
    間内に大中小の3重の多面体を作ることにより、 小多面体の内側の領域が前景の関与のない完全背景領域
    となり、大多面体の外側の領域が背景の関与のない完全
    前景領域となり、小多面体と中多面体に挟まれる領域が
    前景とも背景とも特定し得ないソフトキー領域となり、
    中多面体と大多面体に挟まれる領域が背景の関与はない
    が背景色の影響がある色変換前景領域となるようにRG
    B3次元空間を4つの領域に分類し、 RGB3次元空間上に表した素材画像の各絵素が、完全
    背景領域に属する場合は画像合成用キー値を0%と決
    め、完全前景領域に属する場合は画像合成用キー値を1
    00%と決め、ソフトキー領域に属する場合は所属する
    三角錐空間ごとに小多面体と大多面体とからの距離の比
    率に応じ小多面体に近いほど低くなるように画像合成用
    キー値を0〜100%の中間的な値に決め、色変換前景
    領域に属する場合は画像合成用キー値を100%と決
    め、これらの素材画像の各絵素単位で決定した画像合成
    用キー値を同じ絵素位置に採用して前景画像を背景画像
    に合成し、 しかも、背景の関与しない色変換前景領域に属する素材
    画像の各絵素に対しては、所属する三角錐空間ごとに小
    多面体と大多面体とからの距離の比率に応じ小多面体に
    近いほど低くなるように0〜100%の色変換用キー値
    を決定し、その色変換用キー値に従い各絵素の色成分か
    ら背景代表色の成分を減算すると共に、別途指定した入
    替色を前記色変換用キー値に従い各絵素の色成分に加算
    して色変換を行う ことを特徴とするソフトクロマキー処
    理方法。
  2. 【請求項2】 背景の関与しない色変換前景領域の色変
    換処理に用いる入替 色として、画面内の各絵素に対して
    別々の色データを使用し得るよう外部画像データを取込
    ませる請求項1記載のソフトクロマキー処理方法。
  3. 【請求項3】 RGB3次元空間内の大中小の3重の多
    面体と、モニタ上で指定した指定範囲内の色データとを
    透視投影変換してモニタ上に立体的に表示させる請求項
    1又は2記載のソフトクロマキー処理方法。
JP6200905A 1994-08-25 1994-08-25 ソフトクロマキー処理方法 Expired - Lifetime JP2882754B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6200905A JP2882754B2 (ja) 1994-08-25 1994-08-25 ソフトクロマキー処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6200905A JP2882754B2 (ja) 1994-08-25 1994-08-25 ソフトクロマキー処理方法

Publications (2)

Publication Number Publication Date
JPH0865705A JPH0865705A (ja) 1996-03-08
JP2882754B2 true JP2882754B2 (ja) 1999-04-12

Family

ID=16432222

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6200905A Expired - Lifetime JP2882754B2 (ja) 1994-08-25 1994-08-25 ソフトクロマキー処理方法

Country Status (1)

Country Link
JP (1) JP2882754B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000064957A (ko) 1997-02-20 2000-11-06 이데이 노부유끼 영상 신호 처리 장치 및 방법, 화상 합성 장치 및 편집 장치
WO2006095779A1 (ja) * 2005-03-10 2006-09-14 Fuji Photo Film Co., Ltd. 撮影システム
EP1858255B1 (en) * 2005-03-10 2013-12-25 FUJIFILM Corporation Background replacement device, background replacement program, and background replacement method
US7835571B2 (en) 2005-03-10 2010-11-16 Fujifilm Corporation Background replacing apparatus, background replacing program, and background replacing method
JP6119164B2 (ja) * 2012-09-28 2017-04-26 大日本印刷株式会社 自動クロマキー合成装置、自動クロマキー合成方法、およびプログラム
JP7309132B1 (ja) * 2023-02-07 2023-07-18 株式会社ヘミボーラ クロマキー処理における画像合成方法

Also Published As

Publication number Publication date
JPH0865705A (ja) 1996-03-08

Similar Documents

Publication Publication Date Title
US5355174A (en) Soft edge chroma-key generation based upon hexoctahedral color space
US6496599B1 (en) Facilitating the compositing of video images
US5751845A (en) Method for generating smooth color corrections in a color space, particularly a CIELAB color space
JPH04227585A (ja) 改良した制御データ列の発生方法及びその装置
US6429875B1 (en) Processing image data
US6571012B1 (en) Adjusting a softness region
EP0302454B1 (en) System and method for color image enhancement
US5877769A (en) Image processing apparatus and method
US20070253640A1 (en) Image manipulation method and apparatus
WO1998011510A1 (en) Processing image data
US7612784B2 (en) Image processor and method, computer program, and recording medium
CN110248242B (zh) 一种图像处理和直播方法、装置、设备和存储介质
US5793501A (en) Contrast correcting apparatus
US5442717A (en) Sharpness processing apparatus
JPH05119752A (ja) カラー画像の色調整方法及び色調整装置
JP2882754B2 (ja) ソフトクロマキー処理方法
JP2001014454A (ja) 画像処理装置
JP2601265B2 (ja) 色彩補正方式
US5502642A (en) HSL neighborhoods in CMY color space
JPH0822556A (ja) テクスチャマッピング装置
JPH0814843B2 (ja) 色変換方法および色変換装置
WO1996029829A1 (en) Improvements in image compositing
JP3777672B2 (ja) 画像処理方法および画像処理装置
JPH05225299A (ja) 色変換システム
JPH05204348A (ja) カラー画像色変更処理方式とカラー画像合成処理方式

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080205

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090205

Year of fee payment: 10

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090205

Year of fee payment: 10

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100205

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100205

Year of fee payment: 11

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100205

Year of fee payment: 11

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110205

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120205

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130205

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130205

Year of fee payment: 14

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130205

Year of fee payment: 14

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130205

Year of fee payment: 14

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term