JP7309132B1 - クロマキー処理における画像合成方法 - Google Patents

Abstract

【課題】クロマキー処理を行う際、グリーンまたはブルーのバックスクリーン色の手前に前景被写体を配置して撮影した処理対象画像中で、前景被写体の頭髪や皮膚や衣服など多様な色の部分とバックスクリーンとの境界部分の違和感がない合成画像を自動的に生成する画像変換方法を提供する。【解決手段】処理対象画像中で前景被写体の色とバックスクリーンの色が混じり合う被写体エッジの境界部分において、該当箇所の近傍の画素成分を用いてバックスクリーン色と前景被写体色を仮定し、その仮定した色と、該当箇所の処理対象画像の画素色とを用いて境界部分の画素の成分混合度合いを計算し、その成分混合度合いを用いて、境界部分の画素色のバックスクリーン色の成分を、合成すべき背景画像の色の成分に置き換える演算を行うことで、違和感がない境界部分を作成する。【選択図】図１

Description

本発明は、クロマキー処理における、被写体境界部分が自然な画像合成方法に関するものである。

インターネット動画番組制作やテレビ番組制作などで用いられている、グリーンスクリーンやブルースクリーンを利用した画像合成装置＝クロマキー装置においては、以下に述べるような方式で対象画像を処理することが多い。先ず、単一色のスクリーンを背景にして、合成したい前景被写体を手前に配置し撮影を行なった画像素材を「処理対象画像」とする。これとは別に合成後の背景となる画像素材を「背景画像」として用意しておく。これらの画像素材を装置に入力したうえで、次の処理を逐次実行する。

（１）背景としたい色又はそれを代表する色を一色決定する（バックスクリーン色）。
（２）ＲＧＢ色空間にあらかじめ２つの識別境界を設定する。この識別境界は色空間を「完全背景領域」、「完全前景領域」及びこれら２領域に挟まれる「境界領域」の３種類の領域に分ける。「完全背景領域」にはバックスクリーン色が含まれなければならない。尚、ＹＩＱなど、別の色空間の処理対象画像が装置に入力される場合は、事前にＲＧＢ色空間に変換した上で識別境界設定を行う。
（３）処理対象画像を構成する各画素の、色空間における位置を調べる。
（４）画素が、「完全背景領域」に含まれる場合は透明度１００％とし、「完全前景領域」に含まれる場合は透明度０％とする。又、「境界領域」に含まれる場合は、２つの識別境界と画素位置との距離を調べて、完全領域への近さの度合から透明度を決定する。この透明度は０％より大きく１００％より小さい。
（５）処理対象色の各色成分からバックスクリーン色の各色成分を減算し、その結果に（４）で求めた透明度の補数の逆数（１００／（１００ー［透明度］））を乗算する。これにバックスクリーン色を加算して前景被写体の本来の色を求める。
（６）本来の色に透明度の補数（１００ー［透明度］）を乗算したものと、合成背景に透明度を乗算したものとを加算する。
以上の手順によって合成結果を得ることができる。

従来の方法ではバックスクリーン色と識別境界をユーザの操作によって設定し、その設定に応じて画像内の画素全てについて同一の色変換演算を適用している。しかしながら、前景の前景被写体がたとえば人物モデルの場合には頭髪や皮膚や衣服などが含まれ、これらは多様な色となっている可能性が高い。
処理対象画像内で前景被写体とバックスクリーンの境界部分の画素色成分を見ると、前景被写体の色とバックスクリーンの色が混じり合っており、位置によって多様な色とバックスクリーンの色の混合が見られる。これを同一の色変換演算で処理すると、境界部分の本来の色変換が行われず、結果として合成出力に不自然さを引き起こすことがある。

たとえば前景被写体が赤い帽子と黄色い衣服を着用しており、グリーンスクリーンの手前に立って撮影する場合を考える。この時、赤い帽子とグリーンスクリーンの境界部分を拡大して見ると、シャープな画像であればグリーンと赤の混じった境界部分は狭隘だが、それでも場所によって必ず様々なグリーンと赤の混合度合いとなる境界が存在する。そこでは外側から内側に行くに従ってグリーンから少しずつ赤みが増していき、黄色い色を経由して最終的に赤い帽子の色になる境界部分が観察される。一方黄色の衣服とグリーンスクリーンの境界部分を拡大して見ると、そこでは外側から内側に行くに従ってグリーンから徐々に黄色みが増していき、最終的に黄色になる境界部分が観察される。

ここで従来の方法で赤い帽子に注目して赤い帽子とグリーンスクリーンの境界が適切に処理されるように識別境界を配置すると、境界で経由する色となる黄色はグリーンと赤の混じり合った半透明の色として処理される。しかしながら、これと同一の色処理を画像全体に適用すると、黄色い服の色が半透明になってしまい、正しい合成結果とはならない。また同じく従来の方法で黄色い衣服に注目して黄色い衣服とグリーンスクリーンの境界が適切に処理されるように識別境界を配置すると、黄色は不透明の色として処理される。しかしながら、これと同一の色処理を画像全体に適用すると、今度は赤い帽子とグリーンスクリーンの境界に見られる黄色い成分が不透明になってしまい、赤い帽子の縁に黄色い輪郭を発生させることになり不自然な結果となる。

このように、画像内の全ての画素について同一の色変換演算を適用する従来の方法で処理した場合、前景被写体の色の組み合わせによっては適切な合成結果が得られないことがあるという課題があった。それに加えて、仮にバックスクリーンの色が均一で特定できる条件であっても、バックスクリーンの色と前景被写体の色が混じり合って構成される境界部分の画素色からは前景被写体の色が完全には特定できないため、最適な境界部分処理をするにはマニュアル操作によって識別境界を設定する必要があり、オートマチックに適切な合成結果を得ることは困難であった。

特開２００２ー２７１８１２号公報 特開平０８ー０６５７０５号公報 特開２００７ー１４２７２６号公報

本発明が解決しようとする問題点は、前景被写体の多様な色の部分とバックスクリーンとの境界部分を単一の色変換演算で処理することにより違和感を生じてしまうということである。

本発明は、グリーンまたはブルーのスクリーンの手前に前景被写体をおいて撮影した処理対象画像と、最終的に背景にしたい背景画像とを合成するようにしたクロマキー処理における画像合成方法であって、処理対象画像の各画素の色をベクトルスコープ座標系に変換し、色相の角度範囲を階級とする色相ヒストグラムを作成し、色相ヒストグラムの度数最大階級に該当する色相の画素の平均画素色をコアバックカラーとし、ベクトルスコープ座標系でコアバックカラーに近い画素を白色それ以外を黒色とする初期マスク画像を作成し、初期マスク画像を縮退させてバックスクリーンマスク画像を作成し、バックスクリーンマスク画像と処理対象画像を乗算して、処理対象画像の中でバックスクリーンのみが見えていてバックスクリーンではない部分が黒となる画像をバックスクリーンシード画像とし、初期マスク画像を膨張させた画像を白黒反転させて被写体マスク画像を作成し、被写体マスク画像と処理対象画像を乗算して、処理対象画像の中で前景被写体のみが見えていて前景被写体ではない部分が黒の画像を前景被写体シード画像とし、バックスクリーンシード画像の黒画素部分をインペイント処理によって埋めたバック滲み出し画像を作成してバックスクリーン色仮定画像とし、前景被写体シード画像の黒画素部分をインペイント処理によって埋めた前景滲み出し画像を作成して前景被写体色仮定画像とした上で、バックスクリーンマスク画像と被写体マスク画像とバックスクリーン色仮定画像と前景被写体色仮定画像とを用いて合成画像を作成することを特徴とするクロマキー処理における画像合成方法にかかるものである。

前記クロマキー処理における画像合成方法においては、処理対象画像と同じ解像度の境界色補正用のパラメータを格納するための単チャンネル画像のメモリを用意し、境界色補正用単チャンネル画像の全ての画素について、バックスクリーン色仮定画像の該当画素の画素色と前景被写体色仮定画像の該当画素の画素色をベクトルスコープ座標系に変換し、ベクトルスコープ座標系の原点からバックスクリーン色仮定画像のベクトルスコープ座標系変換後の点に引いた直線と、ベクトルスコープ座標系の原点から前景被写体色仮定画像のベクトルスコープ座標系変換後の点に引いた直線との角度の余接＝コタンジェントを求め、余接＝コタンジェントを-1.0から2.0の範囲でクリッピングした値を計算して境界色補正用単チャンネル画像のメモリに格納し、これを前景被写体とバックスクリーンの色計算に用いて合成画像を作成する。

前記クロマキー処理における画像合成方法においては、バックスクリーン色仮定画像の該当画素の画素色と処理対象画像の画素色をベクトルスコープ座標系に変換し、ベクトルスコープ座標系の原点からバックスクリーン色仮定画像のベクトルスコープ座標系変換後の点に引いた直線に、処理対象画像のベクトルスコープ座標系変換後の点から降ろした垂線の足と、ベクトルスコープ座標系の原点の距離を求めて前景色距離とし、ベクトルスコープ座標系の原点からバックスクリーン色仮定画像のベクトルスコープ座標系変換後の点に引いた直線に、処理対象画像のベクトルスコープ座標系変換後の点から降ろした垂線の距離を求め、この垂線の距離と境界色補正用単チャンネル画像の該当画素との積を求めて境界色補正距離とし、前景色距離から境界色補正距離を減算して補正済み前景色距離とし、ベクトルスコープ座標系の原点とバックスクリーン色仮定画像のベクトルスコープ座標系変換後の点との距離を求めてバックスクリーン色距離とし、補正済み前景色距離をバックスクリーン色距離で除算した結果を求めて0.0から1.0の範囲でクリッピングした値を前景透明度として、この前景透明度を前景被写体とバックスクリーンの色計算に用いて合成画像を作成する。

前記クロマキー処理における画像合成方法においては、前景透明度画像の該当画素値が１００％の箇所の出力画像の画素は背景画像の画素を出力し、前景透明度画像の該当画素値が０％の箇所の出力画素は処理対象画像の画素を出力し、前景透明度画像の該当画素値が１００％より小さく０％より大きい箇所の出力画素は、背景画像の該当画素色のRGB各成分からバックスクリーン色仮定画像の該当画素色のRGB各成分を減算して三次元の置き換えベクトルとし、この置き換えベクトルの各成分に前景透明度を乗算したものをスケーリング済み置き換えベクトルとし、処理対象画像の該当画素の画素色の各成分にスケーリング済み置き換えベクトルの各成分を加算した画素色を出力画素として出力する。

上記手段によれば、以下のような効果が得られる。クロマキー処理の対象となる処理対象画像内における前景被写体とバックスクリーンの境界部分の画素を、クロマキー合成のために色処理する目的において、画像内全ての画素について同一の色変換演算を適用するのではなく、近傍の対象被写体画素を用いたインペイント処理による滲み出し画像により算出された対象被写体の色と仮定される画素色と、近傍のバックスクリーン画素を用いたインペイント処理による滲み出し画像により算出されたバックスクリーンの色と仮定される画素色とを用いて、画面内の場所によって異なる色変換演算を適用することにより、単一の色情報からだけでは得られない境界部分画素の色の成り立ちの仮定、すなわちどんなバックスクリーン色とどんな前景被写体の色を混合したものかという仮定を用いて、それぞれの場所の前景透明度を計算することができ、この前景透明度を用いた半透明色処理を適用することで自然なクロマキー合成結果を得るという効果を得ることができる。

本発明の全体のブロック図である。 初期マスク発生ブロックの内部ブロック図である。 ＲＧＢからベクトルスコープ座標系へ変換を行う回転行列を示す図である。 ベクトルスコープ座標系のデータ分布と色相ヒストグラムの例を示す図である。 ベクトルスコープ回転行列の算出を示す図である。 ベクトルスコープ回転行列による画像データの回転を示す図である。 バックスクリーン色識別の方法を示す図である。 各処理段階の結果画像の例を示す図である。 インペイント処理器の処理の例を示す図である。 境界色補正画像の画素単位の計算の内容を示す図である。 前景透明度の計算の内容を示す図である。 前景透明度の意味を示す図である。 合成画像発生器の処理内容を示す図である。

以下、本発明の実施の形態を図示例と共に説明する。本発明を実施する装置に入力される画像信号は、
（ａ）グリーンまたはブルーのバックスクリーンの手前に前景被写体を配置して撮影した画像素材である「処理対象画像」と、
（ｂ）最終的に合成後の背景にしたい「背景画像」とである。
直接処理対象とするのは各画素ごとにＲＧＢのデジタルデータを持つ画像信号である。ＲＧＢ以外の色空間でエンコードされている画像については事前にＲＧＢ色空間のデジタルデータに変換してから本発明の装置に入力する。入力された「処理対象画像」と「背景画像」は図１に示すブロック図の流れに沿って順次処理される。

まず、処理対象画像のデータが初期マスク発生ブロック１に送られ、白黒の初期マスク画像を発生する。初期マスク発生ブロック１の内部動作は後述する。図８（ａ）は処理対象画像の例である。図８（ｂ）は初期マスク画像の例である。

次に白黒の初期マスクが一つはマスク縮退処理器３に送られ、白い部分が縮退し面積が小さくなって確実にバックスクリーン領域だけを含むマスクを発生する。このマスクの画像をバックスクリーンマスク画像と呼ぶ。白い部分が１００％で黒い部分が０％の二値画像である。マスク縮退処理器３の内部動作は後述する。図８（ｃ）はバックスクリーンマスク画像の例である。

白黒の初期マスクはもう一つはマスク膨張処理器２に送られ、白い部分が膨張し面積が大きくなって黒い部分が確実に前景被写体だけを含むマスクを発生する。これを白黒反転器４で白黒反転させて、白い部分が確実に前景被写体だけを含むマスクにする。このマスクの画像を被写体マスク画像と呼ぶ。白い部分が１００％で黒い部分が０％の二値画像である。図８（ｄ）は被写体マスク画像の例である。

バックスクリーンマスク画像と処理対象画像が画像乗算器５に入力され、各画素の積が計算され、マスク画像の白い部分に該当する画素が処理対象画像の画素となり、マスク画像の黒い部分に該当する画素が黒色の画素となる。バックスクリーンマスク画像は確実にバックスクリーン領域だけを含むマスクなので、この乗算の結果の画像は処理対象画像の中でバックスクリーンのみが見えていてバックスクリーンではない部分が黒となる画像となる。この画像をバックスクリーンシード画像と呼ぶ。画像乗算器５の内部動作は後述する。図８（ｅ）はバックスクリーンシード画像の例である。

一方、被写体マスク画像と処理対象画像も画像乗算器５に入力され、各画素の積が計算され、マスク画像の白い部分に該当する画素が処理対象画像の画素となり、マスク画像の黒い部分に該当する画素が黒色の画素となる。被写体マスク画像は確実に前景被写体だけを含むマスクなので、この乗算の結果の画像は処理対象画像の中で前景被写体のみが見えていて前景被写体ではない部分が黒の画像となる。この画像を前景被写体シード画像と呼ぶ。図８（ｆ）は前景被写体シード画像の例である。

次にバックスクリーンシード画像がインペイント処理器６に入力され、バックスクリーンの色が黒部分に滲み出した画像を作成する。この画像をバックスクリーン色仮定画像と呼ぶ。インペイント処理器６の内部動作は後述する。図８（ｇ）はバックスクリーン色仮定画像の例である。

同様に前景被写体シード画像もインペイント処理器６に入力され、前景被写体の色が黒部分に滲み出した画像を作成する。この画像を前景被写体色仮定画像と呼ぶ。インペイント処理器６の内部動作は後述する。図８（ｈ）は前景被写体色仮定画像の例である。

ここまでの処理で生成された四種類の画像がさらに後段に送られる。
（１）バックスクリーンマスク画像
（２）被写体マスク画像
（３）バックスクリーン色仮定画像
（４）前景被写体色仮定画像
以上の四種類の画像である。

バックスクリーン色仮定画像と前景被写体色仮定画像が境界色補正画像発生器７に入力される。境界色補正画像は、処理対象画像内で完全なバックスクリーン部分でもなく完全な前景被写体部分でもない前景被写体とバックスクリーンの境界部分に対し、適切な色補正処理と合成処理を行うためのパラメータを保存する画像である。境界色補正画像は処理対象画像と同じ解像度を持つ単チャンネル画像で、一つの画素について一つのスカラー値を格納する。この境界色補正画像の各画素の値は、バックスクリーン色仮定画像と前景被写体色仮定画像の該当する画素の画素色から計算される。対象の画素が不透明だと仮定した場合の前景被写体の色が、ベクトルスコープ座標系で、バックスクリーンに対して色相角度としてどの程度離れているかを傾きの形で表している。境界色補正画像発生器７はこの境界色補正画像を作成する処理ブロックである。境界色補正画像発生器７の内部動作は後述する。図８（ｉ）は境界色補正画像の例である。

次に前記の境界色補正画像と、処理対象画像とバックスクリーン色仮定画像とバックスクリーンマスクと被写体マスクが前景透明度計算器に入力される。前景透明度画像は前景画像の各画素がどの程度バックスクリーン色に似ているかの割合を表す画像で、完全なバックスクリーンの部分では１００％に、完全な前景被写体の部分では０％になる。また完全なバックスクリーン部分でもなく完全な前景被写体部分でもない前景被写体とバックスクリーンの境界部分では１００％より小さく０％よりも大きい中間の割合となる。前景透明度計算器は入力画像からこの前景透明度画像を計算して作成する処理ブロックである。前景透明度計算器の内部動作は後述する。図８（ｊ）は前景透明度画像の例である。

前景透明度画像が得られたら、最後にこの前景透明度画像と処理対象画像とバックスクリーン色仮定画像と最終的に背景にしたい背景画像を合成画像発生器９に入力する。前景透明度が１００％である完全なバックスクリーンの部分の画素は背景画像の該当画素を出力し、前景透明度が０％である完全な前景被写体の部分の画素は処理対象画像の該当画素を出力し、前景透明度が１００％より小さく０％よりも大きい中間の割合の画素は、処理対象画像の該当画素の画素色とバックスクリーン色仮定画像の該当画素の画素色と背景画像の該当画素の画素色とを用いた三次元ベクトル演算により算出し、合成画像として出力する。合成画像発生器９はこの合成画像を得るための演算を行う処理ブロックである。合成画像発生器９の内部動作は後述する。図８（ｋ）は背景画像の例である。図８（ｌ）は合成画像の例である。

初期マスク発生ブロック１の内部動作は以下の通りである。図２は初期マスク発生ブロック１の内部のブロック図である。入力される処理対象画像はベクトルスコープ座標系変換１０のブロックに入力され、各画素のＲＧＢ画素色をベクトルスコープ座標系のＸＹに変換する。この変換は、８ビット画像を例にとると、（０、０、０）から（２５５、２５５、２５５）に伸びる直線が、Ｚ軸の正方向に重なるように、原点（０、０、０）を固定して回転し、続いて（２５５、０、０）がＸＺ平面上にくるようにＺ軸を中心に回転し、Ｚ成分を無視してＸＹ成分だけを取り出すことで実行できる。ただし、通常のベクトルスコープとは位相のオフセットが異なる。回転行列は図３で表される。グリーンスクリーンの処理対象画像をベクトルスコープ座標系に変換した結果をプロットした例を図４（左）に示す。

次に変換されたベクトルスコープ座標系のＸＹデータは色相ヒストグラム作成１１のブロックに入力される。このブロックでは、色相ヒストグラムを作成するため、各階級の度数を格納するヒストグラム表を用意する。色相角度３度ずつの１２０階級の配列を用意し、全要素をゼロリセットする。ベクトルスコープ座標系ＸＹに変換された全画素について、逆正接を計算することで色相を表す角度を計算し、これを３６０度で表して１２０の階級を求め、画素ごとにヒストグラムの配列をカウントアップしていく。ヒストグラムをグラフ化した例を図４（右）に示す。

色相ヒストグラムの全階級の度数データは最大度数階級検出１２のブロックに入力される。各階級の度数を０から１１９まで順次調べ、そのうち最大の階級を取り出し、階級の番号を「色相ヒストグラム最大度数階級」として出力する。

色相ヒストグラム最大度数階級のデータはコアバックカラー算出１３のブロックに入力される。このブロックにはベクトルスコープ座標系変換後の処理対象画像のデータも入力される。処理対象画像の全画素の階級を一つずつ調べ、その階級が最大階級番号と等しい画素全てについてＸＹ各要素の平均値を求める。この平均値をバックカラーと呼ぶ。これはベクトルスコープ座標系のデータである。

バックカラーデータ（ＸＹ）はベクトルスコープ回転行列算出１４のブロックに入力される。このブロックではベクトルスコープ座標系で求められたバックカラーが、マイナスＸ軸に乗るような二次元の回転行列を求める。バックカラーのベクトルスコープ座標系での座標が（Ｃｘ、Ｃｙ）だとすると、ＣｘとＣｙから角度Ａ（ーπからπ）を算出し、角度Ａをπから減算することで必要な回転角度Ｂが得られる。なお角度ＡはＣｙ／ＣｘのアークタンジェントとＣｘの正負情報から計算することができる。図５（左図）のＸ印で示された箇所にバックカラー（Ｃｘ、Ｃｙ）が存在している様子を示している。回転角度Ｂによる二次元の回転行列Ｍを図５の右に示す。ベクトルスコープ回転行列算出１４のブロックはこの回転行列Ｍを出力して、後段のベクトルスコープ回転変換１５のブロックに入力される。さらにバックカラーデータ（ＸＹ）にこの回転行列を乗算して得られる回転後のバックカラーデータ（Ｘ’VＹ’V）も出力され、後段のマスク作成１６ブロックに入力される。なお、回転後のバックカラーデータのＹ座標は０になる。

回転行列を入力されたベクトルスコープ回転変換１５のブロックには、ベクトルスコープ座標系の処理対象画像も入力される。処理対象画像（ＸＹ）の各画素がベクトルスコープ回転行列Ｍの乗算を通して（Ｘ’VＹ’V）に回転変換される。画像データが回転された様子を図６に示す。この回転変換の結果がベクトルスコープ座標系の処理対象画像（ベクトルスコープＸ’VＹ’V）として出力される。

前記のバックカラーデータ（Ｘ’VＹ’V）と処理対象画像（ベクトルスコープＸ’VＹ’V）がマスク作成１６ブロックに入力される。マスク作成の予備段階として、回転後のベクトルスコープ座標系（Ｘ’VＹ’V）において、バックスクリーン色であるかどうかを区別する境界直線を設定する。この境界直線はＹ座標の正と負で異なる傾きが４５度およびー４５度の直線である。ベクトルスコープ座標系原点と回転後のバックカラーデータを結ぶ線分の中点をノード点とする。二つの境界直線はいずれもノード点を通る。Ｙ座標がゼロまたは正の領域では境界直線よりも下に存在する画素色がバックスクリーン色であるとみなされ、Ｙ座標が負の領域では境界直線よりも上に存在する画素色がバックスクリーン色であるとみなされる。回転後のバックカラーデータの座標を（Ｃｘ’V、０）とすると、ノード点の座標は（Ｃｘ’V／２、０）である。二つの境界直線は、Ｙ＝ーＸ＋Ｃｘ’V／２およびＹ＝ＸーＣｘ’V／２となる。ここでＣｘ’Vは負の値である。上記のバックスクリーン色の識別の様子を図７に示す。

処理対象画像と同じ解像度の初期マスク画像を格納するための単チャンネル画像のメモリを用意し、回転変換済みのベクトルスコープ座標系の処理対象画像（Ｘ’VＹ’V）の各画素について、Ｙ座標が０以上なおかつＹ＜ーＸ＋Ｃｘ’V／２を満足する画素と、Ｙ座標が負なおかつＹ＞ＸーＣｘ’V／２を満足する画素については、初期マスク画像該当画素を１００％白色にセットし、それ以外の画素については、初期マスク画像該当画素を０％黒にセットすることで初期マスク画像が得られる。図８（ｂ）が初期マスク画像の例である。

マスク縮退処理器３の内部動作は以下の通りである。マスク縮退処理器３には白黒二値画像の初期マスク画像が入力される。初期マスク画像と同じ解像度の縮退済みマスク画像を格納するための単チャンネル画像のメモリを用意し、初期マスク画像の各画素について、注目画素を中心とする近傍９ｘ９画素の初期マスク画像を調べ、全てが１００％白色の画素の場合には縮退済みマスク画像の該当画素を１００％白色に、それ以外の場合すなわち一つでも０％黒色の画像があったら縮退済みマスク画像の該当画素を０％黒色にセットする。上記の動作により得られた縮退済みマスク画像をバックスクリーンマスクと呼び、後段の画像乗算器５に出力する。図８（ｃ）がバックスクリーンマスク画像の例である。

マスク膨張処理器２の内部動作は以下の通りである。マスク膨張処理器２には白黒二値画像の初期マスク画像が入力される。初期マスク画像と同じ解像度の膨張済みマスク画像を格納するための単チャンネル画像のメモリを用意し、初期マスク画像の各画素について、注目画素を中心とする近傍９ｘ９画素の初期マスク画像を調べ、全てが０％黒色の画素の場合には膨張済みマスク画像の該当画素を０％黒色に、それ以外の場合すなわち一つでも１００％白色の画像があったら膨張済みマスク画像の該当画素を１００％白色にセットする。上記の動作により得られた膨張済みマスク画像を白黒反転器４で白黒反転させる。すなわち０％黒色の画素を１００％白色に、１００％白色の画素を０％黒色にする。この膨張済みマスク画像を白黒反転させた結果の画像を被写体マスクと呼び、後段の画像乗算器５に出力する。図８（ｄ）が被写体マスク画像の例である。

画像乗算器５の内部動作は以下の通りである。画像乗算器５には処理対象画像と白黒二値画像のマスクが入力される。処理対象画像と同じ解像度の、バックスクリーンシード画像および前景被写体シード画像を格納するための３チャンネルカラー画像の出力画像メモリを用意し、処理対象画像の各画素について、マスク画像の該当画素が１００％白色の場合は、出力画像の該当画素に処理対象画像の画素をセットし、マスク画像の該当画素が０％黒色の場合は、出力画像の該当画素に３チャンネルとも０％の黒色をセットする。バックスクリーンシード画像を出力する画像乗算器５の場合はバックスクリーンマスクがぞうと処理対象画像で前記の処理を行い、前景被写体シード画像を出力する画像乗算器５の場合は被写体マスク画像と処理対象画像で前記の処理を行なう。これらの出力画像が後段のインペイント処理器６に出力される。図８（ｅ）はバックスクリーンシード画像の例である。図８（ｆ）は前景被写体シード画像の例である。

インペイント処理器６の内部動作は以下の通りである。インペイント処理器６は二系統独立で処理を行う。一系統はバックスクリーンシード画像を入力し、バックスクリーン色仮定画像を出力する。もう一系統は前景被写体シード画像を入力し、前景被写体仮定画像を出力する。いずれの入力画像も、一部は処理対象画像の画素で残りは０％黒色になっている。インペイント処理器６では０％黒色の部分を後述のような規則で埋めていく処理を行う。処理対象画像の画素と０％黒色の境界の部分から一画素ずつ埋めていく操作を繰り返して実施する。図９（ａ）は境界処理の繰り返しの様子を示している。

まず入力画像と同じ解像度の、処理状態フラグを格納するための単一チャンネル画像のメモリを用意し、入力画像の各画素について、その画素が処理対象画像の画素であれば処理状態フラグを既知画素を示す０をセットし、その画素が０％黒色の画素であれば処理状態フラグを未処理画素を示す２をセットする。

次に以下のような手順で１画素幅境界をマークする。処理状態フラグ画像の各画素について、処理状態フラグ画像の該当箇所の画素が既知画素の０の場合何もしない。処理状態フラグ画像の該当箇所の画素が未処理画素の２の場合は、処理状態フラグ画像の該当画素の３ｘ３近傍の画素を調べて既知画像がない場合何もせず、一つでも既知画素の０がある時は、処理状態フラグの該当画素に境界画素を示す１をセットする。

次に、処理状態フラグが境界画素（１）にセットされている画素について以下の処理を行う。注目画素の３ｘ３近傍の画素を調べて、処理状態フラグが既知（０）にセットされている画素についてのシード画像の該当画素の加重平均を計算する。加重平均の係数は、上下左右の画素については０．６、斜め４画素については０．４である。図９（ｂ）は加重平均の係数の配置を示している。３ｘ３近傍画素のうち注目画素を除く８画素について、処理状態フラグが既知（０）の画素に関して、シード画像の該当画素の画素色のＲＧＢ各成分の輝度と、該当箇所の加重平均係数を乗算し、加算する。これを乗算合計として保存する。一方、平均結果を正規化するため、３ｘ３近傍画素のうち注目画素を除く８画素について、処理状態フラグが既知（０）の画素に関して、該当箇所の加重平均係数を加算する。これを係数合計として保存する。ＲＧＢ各成分の乗算合計それぞれを係数合計で除算したものをシード画像の該当画素部分に代入する。図９（ｃ）は加重平均計算の例を示している。

上記のようなインペイント処理により、バックスクリーンシード画像からはバックスクリーンの色が黒部分に滲み出したバックスクリーン色仮定画像が作成され、前景被写体シード画像からは前景被写体の色が黒部分に滲み出した前景被写体色仮定画像が作成される。図８（ｇ）はバックスクリーン色仮定画像の例である。図８（ｈ）は前景被写体色仮定画像の例である。

境界色補正画像発生器７の内部動作は以下の通りである。境界色補正画像発生器７には前景被写体色仮定画像とバックスクリーン色仮定画像とが入力される。入力画像と同じ解像度の、境界色補正画像を格納するための単一チャンネル画像のメモリを用意する。前景被写体色仮定画像の各画素のデータと、その位置に該当するバックスクリーン色仮定画像の画素のデータを、それぞれベクトルスコープ座標系に変換する。この二つの画素色データに、ベクトルスコープ座標系の原点から引いた二つの直線の角度のコタンジェントを求める。コタンジェントの求め方は以下の通りである。図１０は計算の内容を図示したものである。

ある１画素を処理している時、ベクトルスコープ座標系に変換後の前景被写体色仮定画像のデータを（Ｓｘ、Ｓｙ）とし、ベクトルスコープ座標系に変換後のバックスクリーン色仮定画像のデータを（Ｔｘ、Ｔｙ）とすると、原点を始点とし各データを終点とするベクトルも（Ｓｘ、Ｓｙ）と（Ｔｘ、Ｔｙ）である。この二つのベクトルの内積をとってそれぞれのベクトルの長さの積で除算すると、二つのベクトルの角度φのコサインが求められる。ベクトル（Ｓｘ、Ｓｙ）の長さを計算し、これに二つのベクトルの角度のコサインを乗算し結果をｑとする。また、ベクトル（Ｓｘ、Ｓｙ）の長さの２乗からｑの２乗を引いた結果の平方根をｒとする。ｑ／ｒを計算することでコタンジェントが得られる。コタンジェントの値は－１から２の範囲でクリッピングされる。この計算結果を境界色補正画像のメモリの該当画素に格納する。図１０はこの計算の内容を図示したものである。コタンジェントを求める数式も示す。境界色補正画像の値は－１から２の範囲である。メモリに保存する際にこの値に２を加算し、４で除算して０－１の範囲に写像し、これを８ビット処理の場合０－２５５に、１６ビット処理の場合０－６５５３５にスケーリングして保持する。全ての画素を処理して境界色補正画像のメモリにセットした結果が境界色補正画像で、後段の前景透明度計算機に出力される。図８（ｉ）は境界色補正画像の例である。

前景透明度計算器の内部動作は以下の通りである。前景透明度計算器にはバックスクリーン色仮定画像と処理対象画像と境界色補正画像とが入力される。入力画像と同じ解像度の、前景透明度画像を格納するための単一チャンネル画像のメモリを用意する。

まずバックスクリーン色仮定画像の該当画素の画素色と処理対象画像の画素色をベクトルスコープ座標系に変換し、ベクトルスコープ座標系の原点からバックスクリーン色仮定画像のベクトルスコープ座標系変換後の点に引いた直線に、処理対象画像のベクトルスコープ座標系変換後の点から降ろした垂線の足と、ベクトルスコープ座標系の原点の距離を求めて前景色距離を求め、さらに、ベクトルスコープ座標系の原点からバックスクリーン色仮定画像のベクトルスコープ座標系変換後の点に引いた直線に、処理対象画像のベクトルスコープ座標系変換後の点から降ろした垂線の距離を求める。垂線の距離に、境界色補正画像の該当画素の値を乗算して境界色補正距離を求め、前景色距離からこの境界色補正距離を減算して補正済み前景色距離を求める。一方、ベクトルスコープ座標系の原点とバックスクリーン色仮定画像のベクトルスコープ座標系変換後の点との距離を求めてバックスクリーン色距離とし、補正済み前景色距離をバックスクリーン色距離で除算することで前景透明度を求める。上記の各距離の求め方と透明度の計算方法は以下の通りである。図１１はこの計算の内容を図示したものである。

ある１画素を処理している時、ベクトルスコープ座標系に変換後の処理対象画像のデータを（Ｕｘ、Ｕｙ）とし、ベクトルスコープ座標系に変換後のバックスクリーン色仮定画像のデータを（Ｔｘ、Ｔｙ）とすると、原点を始点とし各データを終点とするベクトルも（Ｕｘ、Ｕｙ）と（Ｔｘ、Ｔｙ）である。この二つのベクトルの内積をとってそれぞれのベクトルの長さの積で除算すると、二つのベクトルの角度γのコサインが求められる。ベクトル（Ｕｘ、Ｕｙ）の長さを計算し、これに二つのベクトルの角度γのコサインを乗算し結果をｕとする。これが求めようとしている前景色距離である。また、ベクトル（Ｕｘ、Ｕｙ）の長さの２乗からｕの２乗を引いた結果の平方根ｖが、求めようとしている垂線の距離である。

次に求められた垂線の距離ｖに境界色補正画像の該当画素の値ｐを乗算する。この結果は境界色補正距離と呼ばれる。距離をｖとし、境界色補正画像の該当画素の値をｐとし、境界色補正距離をｗとすると、ｗ＝ｖｐである。この式は、前記の境界色補正発生器で用いた角度φを用いて表すとｗ＝ｖ ｃｏｔ（φ）と等価の式である。

次に、前景色距離ｕから境界色補正距離ｗを減算することで補正済み前景色距離ｋを求める。また、バックスクリーン色仮定画像のベクトル（Ｔｘ、Ｔｙ）の長さを求めバックスクリーン色距離ｍとする。前景色距離ｋをバックスクリーン距離ｍで除算したものが前景透明度ａとなる。前景色距離がｍより大きくなる場合はａが１００％より大きくなる。このような場合はａを１００％にクリッピングする。また前景色距離ｋが負の場合はａが０％より小さくなる。このような場合はａを０％にクリッピングする。

前景透明度ａ＝ｋ／ｍは、前景被写体仮定色とバックスクリーン仮定色とベクトルスコープ座標系原点の三点からなる三角形に当てはめると、前景被写体仮定色とバックスクリーン仮定色を結ぶ線分を、処理対象前景の画素色がどのような割合で内分しているかを表している。すなわち処理対象前景が、バックスクリーン仮定色にどの程度近いか（１００％の時バックスクリーン色に一致）、あるいは前景被写体仮定色からどの程度遠いか（０％の時前景被写体仮定色に一致）を表している。図１２はｋ／ｍがどのように前景透明度として計算されているかを示している。前景透明度画像は合成画像発生器９に出力される。図８（ｊ）は前景透明度画像の例である。像が入力される。入力画像と同じ解像度の、出力の合成結果画像を格納するための３チャンネルカラー画像の出力画像メモリを用意する。

合成画像発生器９の内部動作は以下の通りである。合成画像発生器９にはバックスクリーン色仮定画像と処理対象画像と背景画像と前景透明度画像が入力される。入力画像と同じ解像度の、出力の合成結果画像を格納するための３チャンネルカラー画像の出力画像メモリを用意する。

前景透明度画像の各画素について、前景透明度画像の画素値が０％の場合は処理対象画像の該当画素の画素色をそのまま合成結果画像の該当画素に出力する。前景透明度画像の画素値が１００％の場合は背景画像の該当画素の画素色をそのまま合成結果画像の該当画素に出力する。前景透明度画像の画素値が０％より大きく１００％より小さい場合は、以下のような処理を行う。

合成結果画像の計算はＲＧＢ空間で行う。まず背景画像の該当画素の画素色をＴ＝（Ｂｒ、Ｂｇ、Ｂｂ）とし、バックスクリーン色仮定画像の該当画素の画素色をＴ＝（Ｔｒ、Ｔｇ、Ｔｂ）とすると、始点をＴ、終点をＢとするベクトルＲ＝（Ｒｒ、Ｒｇ、Ｒｂ）＝（Ｂｒ－Ｔｒ、Ｂｇ－Ｔｇ、Ｂｂ－Ｔｂ）を求める。この三次元ベクトルＲは、処理しようとしている処理対象画像の画素がバックスクリーンと同一の色の場合に、それを背景画像に変換するための置き換えベクトルであり、処理対象画像の画素色のＲＧＢ各成分にこのベクトルを加算することで、背景画像への置き換えの操作が行えるものである。

置き換えベクトルＲが求められたら、このベクトルのＲＧＢ各成分に前景透明度画像の該当画素の画素値を乗算する。透明度を表す前景透明度画像の該当画素の画素値をａとすると、乗算の結果得られるベクトルはａＲ＝（ａＲｒ、ａＲｇ、ａＲｂ）であり、スケーリング済み置き換えベクトルと呼ぶ。

次に、処理対象画像の該当画素の画素色Ｕの各成分（Ｕｒ、Ｕｇ、Ｕｂ）に、スケーリング済み置き換えベクトルａＲ（ａＲｒ、ａＲｇ、ａＲｂ）の各成分を加算した画素色が出力画素の画素色Ｆとなる。Ｆ＝（Ｆｒ、Ｆｇ、Ｆｂ）＝（Ｕｒ＋ａＲｒ、Ｕｇ＋ａＲｇ、Ｕｂ＋ａＲｂ）である。

図１３は合成結果画像の計算の様子を図示したものである。図１３（１）には前景透明度が５０％の時の出力画素の計算方法を図示している。図１３（２）には前景透明度が３０％の時の出力画素の計算方法を図示している。図１３（３）には、前景透明度が１００％から徐々に０％近づいていく時の計算結果の変化を図示している。ただし、図１３（３）は被写体の色と背景の色がそれぞれ一定である場合の図である。実際の映像では、画面上の位置が違えば被写体の色はたとえば肌と衣服の部分では異なり、また背景に写っている物体の違いにより背景の色も異なるので、ＵやＢは変動する。図１３（３）は、たとえば画面内の局所領域で背景も前景もほぼ均一色と見なされる場合の例である。

１ 初期マスク発生ブロック
２ マスク膨張処理器
３ マスク縮退処理器
４ 白黒反転器
５ 画像乗算器
６ インペイント処理器
７ 境界色補正画像発生器
８ 前景透明度計算器
９ 合成画像発生器
１０ ベクトルスコープ座標系変換
１１ 色相ヒストグラム作成
１２ 最大度数階級検出
１３ コアバックカラー算出
１４ ベクトルスコープ回転行列算出
１５ ベクトルスコープ回転変換
１６ マスク作成

Claims (2)

1. グリーンまたはブルーのスクリーンの手前に前景被写体をおいて撮影した処理対象画像と、最終的に背景にしたい背景画像とを合成するようにしたクロマキー処理における画像合成方法であって、
   処理対象画像の各画素の色をベクトルスコープ座標系に変換し、色相の角度範囲を階級とする色相ヒストグラムを作成し、
   色相ヒストグラムの度数最大階級に該当する色相の画素の平均画素色をコアバックカラーとし、
   ベクトルスコープ座標系でコアバックカラーに近い画素を白色とし、それ以外を黒色とする初期マスク画像を作成し、
   前記初期マスク画像を縮退させてバックスクリーンマスク画像を作成し、
   バックスクリーンマスク画像と処理対象画像を乗算して、処理対象画像の中でバックスクリーンのみが見えていてバックスクリーンではない部分が黒となる画像をバックスクリーンシード画像とし、
   前記初期マスク画像を膨張させた画像を白黒反転させて被写体マスク画像を作成し、
   被写体マスク画像と処理対象画像を乗算し、処理対象画像の中で前景被写体のみが見えていて前景被写体ではない部分が黒の画像を前景被写体シード画像とし、
   前記バックスクリーンシード画像の黒画素部分をインペイント処理によって埋めたバック滲み出し画像を作成してバックスクリーン色仮定画像とし、
   前記前景被写体シード画像の黒画素部分をインペイント処理によって埋めた前景滲み出し画像を作成して前景被写体色仮定画像とした上で、
   元の処理対象画像と、バックスクリーンマスク画像と被写体マスク画像とバックスクリーン色仮定画像と前景被写体色仮定画像とを用いて合成画像を作成することを特徴とするクロマキー処理における画像合成方法。
2. 請求項１に記載のクロマキー処理における画像合成方法において、
   前記バックスクリーン色仮定画像の各画素と前記前景被写体色仮定画像の各画素について、
   バックスクリーン色仮定画像の該当画素の画素色と前景被写体色仮定画像の該当画素の画素色をベクトルスコープ座標系に変換し、ベクトルスコープ座標系の原点から前記バックスクリーン色仮定画像の該当画素のベクトルスコープ座標系変換後の点に引いた直線と、ベクトルスコープ座標系の原点から前記前景被写体色仮定画像の該当画素のベクトルスコープ座標系変換後の点に引いた直線との角度の余接＝コタンジェントを求め、余接＝コタンジェントを-1.0から2.0の範囲でクリッピングした値を計算して、これを該当画素の境界色補正用パラメータとし、
   処理対象画像と同じ解像度の単チャンネル画像用のメモリを用意し、各画素について計算した前記境界色補正用パラメータを格納して境界色補正用単チャンネル画像とし、
   処理対象画像の各画素について、
   ベクトルスコープ座標系の原点から前記バックスクリーン色仮定画像の該当画素のベクトルスコープ座標系変換後の点に引いた直線に、処理対象画像の該当画素のベクトルスコープ座標系変換後の点から降ろした垂線の足と、ベクトルスコープ座標系の原点の距離を求めてこれを該当画素の前景色距離とし、
   ベクトルスコープ座標系の原点から前記バックスクリーン色仮定画像の該当画素のベクトルスコープ座標系変換後の点に引いた直線に、処理対象画像の該当画素のベクトルスコープ座標系変換後の点から降ろした垂線の距離を求め、この垂線の距離と前記境界色補正用単チャンネル画像の該当画素との積を求めてこれを該当画素の境界色補正距離とし、
   該当画素の前記前景色距離から該当画素の前記境界色補正距離を減算してこれを該当画素の補正済み前景色距離とし、
   ベクトルスコープ座標系の原点と前記バックスクリーン色仮定画像の該当画素のベクトルスコープ座標系変換後の点との距離を求めて該当画素のバックスクリーン色距離とし、
   該当画素の前記補正済み前景色距離を該当画素の前記バックスクリーン色距離で除算した結果を求めて0.0から1.0の範囲でクリッピングした値を該当画素の前景透明度とし、
   該当画素の前景透明度が１００％の箇所の出力画像の画素は背景画像の該当画素を出力し、
   該当画素の前景透明度が０％の箇所の出力画素は処理対象画像の該当画素を出力し、
   該当画素の前景透明度が１００％より小さく０％より大きい箇所の該当画素の出力画素は、背景画像の該当画素色のＲＧＢ各成分から前記バックスクリーン色仮定画像の該当画素色のＲＧＢ各成分を減算して該当画素の三次元の置き換えベクトルとし、
   この該当画素の三次元の置き換えベクトルの各成分に該当画素の前記前景透明度を乗算したものを該当画素のスケーリング済み置き換えベクトルとし、
   処理対象画像の該当画素の画素色の各成分に該当画素のスケーリング済み置き換えベクトルの各成分を加算した画素色を該当画素の出力画素として出力することを特徴とするクロマキー処理における画像合成方法。

Images