JPH10108213A

JPH10108213A - クロマキー信号生成装置

Info

Publication number: JPH10108213A
Application number: JP9120529A
Authority: JP
Inventors: Masaru Uya; 優宇屋
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1996-05-17
Filing date: 1997-05-12
Publication date: 1998-04-24
Anticipated expiration: 2017-05-12
Also published as: JP3013336B2

Abstract

(57)【要約】【課題】背景色が変化しても安定した有効なクロマキ
ー信号を生成する。【解決手段】キーカラーの候補となる画素の指定をユ
ーザーが所望に設定できるプレーンメモリ３の記憶値に
対応して、フレームメモリ（映像の１画面分の画素デー
タを記憶するためのメモリ）２から候補となる全ての画
素データをデータプロセッサ５が読み出し、代表色デー
タを算出して、コンパレータ６でこの代表色データと画
素クロック信号に同期して供給されてくる画素データと
を比較判定することでクロマキー信号を得る。データプ
ロセッサ５は、所定の周期で新たな画素データを取り込
んで代表色データを算出し直して、代表色データを定期
的に更新してコンパレータ６に供給する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオ映像のクロ
マキー合成に必要となるクロマキー信号をリアルタイム
に生成するための装置に関するものである。

【０００２】

【従来の技術】ビデオ映像のクロマキー合成技術が知ら
れている。例えば、青色の背景（ブルーバック）の前に
いる青色成分の殆ど無い被写体（例えば「人物」）がビ
デオカメラで撮影される。該ビデオカメラの映像信号
は、クロマキー信号生成装置に供給される。該装置の中
では、３原色Ｒ（赤）、Ｇ（緑）、Ｂ（青）各８ビット
からなる合計２４ビットの画素データが、４８ビットの
キーカラー（Key Color ）データと比較される。キーカ
ラーデータは３原色の各々の最小値及び最大値を表し、
Ｒmin 、Ｒmax 、Ｇmin 、Ｇmax 、Ｂmin 及びＢmax の
各８ビットの合計４８ビットのデータである。すなわ
ち、キーカラーは、Ｒ，Ｇ，Ｂを３軸とするＲＧＢ色空
間の中に設定された直方体の内側の色空間領域を表して
いる。指定された色空間領域（ブルーバックの場合には
青色系の領域）の中に画素データが入っていれば、クロ
マキー信号がアサートされる。そして、クロマキー信号
がアサートされた画素位置については、他のソースから
供給された映像の画素が選択される。その結果、被写体
の背景（ブルーバック）が所望の背景に置き換えられ
る。

【０００３】

【発明が解決しようとする課題】従来は、クロマキー信
号生成装置にユーザーがキーカラーデータを与える必要
があった。ユーザーは、被写体をより良好に「抜き取
る」ために、キーカラーを微妙に調整する。詳細には、
キーカラーデータを、クロマキー信号が被写体にかぶさ
らない範囲で、ブルーバックの色を中心に最大限色範囲
を広げて（例えば、緑がかった暗い青から明るい青ま
で）設定する。ユーザーは、合成された映像と元の映像
とを見比べつつ、試行錯誤しながらキーカラーを指定す
る。

【０００４】また従来は、映像制作用のスタジオで「ブ
ルーバック」などを使ってみても、クロマキー信号が不
安定になりやすい問題があった。スタジオでは、背景の
明るさや色あいの変動が生じないように、高価な背景装
置と高精度の照明装置とが撮影に用いられる。ところ
が、被写体が動くものであれば、被写体の影や反射のた
めに、安定したクロマキー信号が得られないことが多
い。

【０００５】スタジオでは、スクリーンの後方に可変色
の光源を配してなる光源バックが用いられることもあ
る。ある人物の服に合わせて「ブルーバック」を採用し
ている場合に、青色の服を着た他の人物が入ってくる
と、後者は透明人間になってしまう。そういう場合に
は、ブルーバックが、突然に例えば「オレンジバック」
に変更される。ところが、従来のクロマキー信号生成装
置によれば、この背景色の変化に即座には対応できなか
った。ユーザーによるキーカラーの指定変更が必要であ
ったからである。

【０００６】また屋外では、背景の明るさや色あいの変
動が頻繁に生じるので、従来の技術では安定した有効な
クロマキー信号は得られない。

【０００７】本発明の目的は、背景色が変化しても安定
した有効なクロマキー信号を生成できるようにすること
にある。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、本発明は、映像信号を入力し、該映像信号に同期し
た画素クロック信号と、映像の各画素の色をディジタル
値で表した画素データとを供給するための入力ユニット
と、該入力ユニットから供給された各画素データに１対
１に対応したそれぞれ１ビットのディジタル値を１画面
分記憶するためのプレーンメモリと、ユーザーが前記プ
レーンメモリの記憶内容を所望の値に設定することを可
能にするためのユーザーインターフェースと、前記プレ
ーンメモリの記憶値を読み出し、該読み出した記憶値が
所定の値である画素に対応した画素データを取り込み、
得られた１個又は複数個の前記画素データから有限の範
囲を有するキーカラーの代表色データを算出するための
データプロセッサと、前記入力ユニットから供給された
画素データと前記データプロセッサで算出された代表色
データとを比較し、前記画素データが前記代表色データ
に含まれる場合にのみアサートするクロマキー信号を前
記画素クロック信号に同期して出力するためのコンパレ
ータとを備えたクロマキー信号生成装置の構成を採用
し、前記データプロセッサは、所定の周期で新たな画素
データを取り込んで代表色データを算出し直して、代表
色データを定期的に更新して前記コンパレータに供給す
る機能を有することとしたものである。

【０００９】この構成によれば、画像の中で抜き取ろう
とする「色」（キーカラー）を直接指定するのではな
く、抜き取ろうとする色の存在する画像の「領域」を指
定することでキー信号を生成する。具体的には、キーカ
ラーの候補にしたい画素位置（映像の表示画面での画素
位置）の指定をユーザーがプレーンメモリに所望に設定
できる。この指定に従って、対応する映像の画素データ
をデータプロセッサが定期的に取り込み、取り込んだ画
素データをもとにしてキーカラーに最適な色範囲を推定
して常に新しい代表色データを算出して、この定期的に
更新される代表色データと順次供給されてくる画素デー
タとをコンパレータで比較することでクロマキー信号を
得る。したがって、キーカラーである背景色が周囲光の
変化などによってダイナミックに変動するのに即時対応
して、クロマキー信号が常に適正に生成される。

【００１０】

【発明の実施の形態】図１は本発明の第１の実施の形態
によるクロマキー信号生成装置の機能ブロック図を示
す。入力ユニット１は、撮影中のビデオカメラや再生中
のビデオ記録装置からの映像信号と水平/ 垂直同期信号
等を取り込み、映像の各画素（例えば、横６４０画素×
縦４８０画素など）をＲ（赤）、Ｇ（緑）、Ｂ（青）の
各８ビットの合計２４ビットのディジタル値で表した画
素データを画素クロック信号ＰＣＫに同期して供給す
る。画素データの時間的順序はテレビ信号のインターレ
ース・スキャンの順番であっても、コンピュータ画面に
使われるノンインターレース・スキャンの順番であって
も、どちらでも実現できる。また、入力ユニット１は本
装置内のタイミング制御信号も供給する。

【００１１】フレームメモリ２は入力ユニット１から供
給される画素データを１画面分記憶するためのデータメ
モリであり、公知のメモリで構成できる。理解を容易に
するため、映像は、青色の背景（ブルーバック）の前面
に立った青色成分の殆ど無い「人」を撮影中のビデオカ
メラからのものであり、画素の数を横８画素×縦６画素
とする。このとき、メモリ容量は８×６×２４ビットで
ある。図１のフレームメモリ２には、視覚的に理解しや
すくするために、「人」と「ブルーバック」（斜め縞の
領域）をその画面イメージで明示した。

【００１２】プレーンメモリ３は、フレームメモリ２に
記憶された各画素データに１対１に対応したそれぞれ１
ビットのディジタル値を記憶するためのメモリであり、
この例では横８画素×縦６画素に対応して８×６×１ビ
ットのメモリであり、公知のメモリで構成できる。この
プレーンメモリ３の内容はユーザーインターフェース４
を介してユーザーが所望の値に設定することができる。
ユーザーインターフェース４は、ＰＣ（パーソナル・コ
ンピュータ）などのコンピュータ・システムを利用し
て、公知の技術で構成できる。

【００１３】さて、プレーンメモリ３に設定すべきディ
ジタル値は、画素データの内でキーカラーの候補として
指定したい画素に対して“１”を、そうでない画素には
“０”を設定する。「キーカラー（Key Color ）」は
「マットカラー（Matte Color）」とも言い、ブルーバ
ックの青色のように画像の中で抜き取りたい（抽出した
い）色を言う。本実施の形態の場合は、キーカラーの画
素に対応してクロマキー信号がアサートするように構成
している。図１ではフレームメモリ２の右から２番目、
上から４番目の画素の色Ｘに対応してプレーンメモリ３
の同じ画素位置に“１”を設定していて、この色Ｘをキ
ーカラーの候補として指定していることを示す。図１の
例では、プレーンメモリ３に２４個のビット“１”が設
定されている。このキーカラーの候補として指定された
２４個の画素の色は一様に青色系であるが、ディジタル
的に全く同じではない。つまり、広がりを持った「青色
系群」である。

【００１４】データプロセッサ５は、プレーンメモリ３
の記憶値を読み出し、その記憶値が“１”である画素に
対応した画素の画素データをフレームメモリ２から全て
読み出し、得られた１個又は複数個の画素データから有
限の範囲を持つキーカラーの代表色データを算出する。
データプロセッサ５の具体例を図３に示す。５１は３２
ビットマイクロプロセッサである。このプロセッサ５１
はＲＯＭ５２に格納されている命令を読み出し、ワーク
用のＲＡＭ５３を使って代表色データの算出を実行し、
得られた４８ビットで表現される代表色データをレジス
タ５０にセットする。処理の手順は、まず、プレーンメ
モリ３の左上隅のビットを読み出し、“１”か“０”か
をチェックする。“０”であれば何もせずに、次の右隣
のビットを読み出して同様にチェックするが、“１”で
あれば、フレームメモリ２から対応する左上隅の画素デ
ータを読み出して、ヒストグラム処理を実行し、終われ
ば、プレーンメモリ３の次の右隣のビットを読み出して
同様にチェックする。以下同様に、“１”ならヒストグ
ラム処理を実行し、“０”ならスキップして、プレーン
メモリ３を全て読み出し、チェックするまで続ける。ヒ
ストグラム処理例を図４（ａ）、（ｂ）及び（ｃ）に示
す。キーカラー候補の画素としてフレームメモリ２から
読み込んだ画素データを３原色別に分類する。すなわ
ち、図４（ａ）に示すように、赤色（Ｒ）成分の８ビッ
ト値（０〜２５５）を等分割して、例えば、１６分割し
て、０〜１５、１６〜３１、３２〜４７、４８〜６３、
…、２４０〜２５５のグループにし、読み込んだ画素デ
ータの赤色（Ｒ）成分の値によって、これらのうち該当
するグループに分類し、そのカウントを＋１する。同様
の処理を緑色（Ｇ）成分、青色（Ｂ）成分でも実行する
と、図４（ｂ）及び（ｃ）のようなヒストグラムが得ら
れる。このヒストグラムの頻度分布からキーカラーに設
定すべき最適な色範囲（各色成分毎の最小値と最大値）
を算出して、Ｒmin、Ｒmax 、Ｇmin 、Ｇmax 、Ｂmin
、Ｂmax の各８ビット、合計４８ビットの代表色デー
タを決定する。

【００１５】この色範囲の算出方法は、例えば、図４
（ａ）のヒストグラムの赤色（Ｒ）成分の分布図の場合
には、赤色データ値が比較的小さい部分に集中している
ため、全サンプル数（２４個）のうち度数がより大きな
サンプルから順に採用していって、全体の８５％（カバ
レージ）を超えない数のサンプルが含まれる赤色データ
値範囲をもって、この場合一番適した赤色範囲であると
推定してその最小値と最大値とを赤色の代表色データＲ
min 、Ｒmaxと決める。このケースでは、一番大きな度
数は「９」、次は「７」、その次は「４」でありそのサ
ンプル数の小計は９＋７＋４＝２０である。ここまで
で、２０／２４＝８３％である。次に大きいのは度数
「３」であるが、これを含めると９＋７＋４＋３＝２３
であり、２３／２４＝９６％になってしまうので、度数
「３」のサンプルは採用できない。したがって、赤色の
代表色データＲmin 、Ｒmaxとしては、Ｒmin ＝度数
「９」のデータ値、Ｒmax＝度数「４」のデータ値を与
える。この最適な色範囲の推定は、経験的にヒストグラ
ムの分散の形で決めている。上記赤色（Ｒ）成分の場合
は、正規分布に似た分散形をとる。例えば、スタジオ内
で照明をしっかりしてかなり純粋なブルーバックの背景
スクリーンを用意した場合など、相当均一な青色を実現
できるため、その均一な青色を中心とした正規分布が観
測される。この正規分布のように分布の裾がシャープに
切れないときには、経験的に、カバレージの％数を８５
％とか９０％などに決めておく。自然の中にある壁など
の背景画像の色は、正規分布でないことが多く、その場
合はカバレージの％数でなく別の方法で最適な色範囲を
決定する。例えば、図４（ｂ）の緑色（Ｇ）成分の分布
図の場合には、サンプルが度数「７」と「８」に明らか
に集中しているが、その周辺には小さい度数のサンプル
が群がっている。このような場合には経験的に周辺の小
物はノイズとして見てこれを無視する。結果的に、集中
・突出している度数のサンプルのみを有効として採用す
る。また、図４（ｃ）の青色（Ｂ）成分の分布図の場合
には、比較的幅広く分散していて絞り込み難い。この場
合には、経験的に隣接するデータ間での度数の差ができ
るだけ大きいところに着目する。すなわち、度数「４」
と「１」のところでＢmin が、度数「５」と「１」のと
ころでＢmaxがそれぞれ決まってくる。

【００１６】決定された代表色データと画素データとを
コンパレータ６が比較判定し、画素データが代表色デー
タに含まれる（一致も含む）場合にのみアサート
（“１”）し、そうでない場合は“０”のディジタル信
号をクロマキー信号として画素クロック信号ＰＣＫに同
期して出力する。コンパレータ６の具体例を図２に示
す。６００〜６０５は公知のマグニチュードコンパレー
タであり、入力データＰとＱの値を大小比較し、ＰがＱ
と等しいか大きければ“Ｐ＞Ｑ”＝“１”かつ“Ｐ＜
Ｑ”＝“０”となり、ＰがＱより小さければ“Ｐ＞Ｑ”
＝“０”かつ“Ｐ＜Ｑ”＝“１”となる。６０６〜６０
９は公知のＡＮＤゲートである。６１０は画素クロック
信号ＰＣＫでクロックされるＤフリップフロップであ
る。

【００１７】画素データが２４ビット、すなわちＲＧＢ
各８ビットで入力し、代表色データが４８ビット、すな
わちＲＧＢ各８ビットに対応したそれぞれの上限値Ｒma
x 、Ｇmax 、Ｂmax （各８ビット）と下限値Ｒmin 、Ｇ
min 、Ｂmin （各８ビット）を入力すると、画素データ
値がＲmin ≦Ｒed≦Ｒmax かつＧmin ≦Ｇreen≦Ｇmax
かつＢmin ≦Ｂlue ≦Ｂmax の条件に適合したときの
み、ＡＮＤゲート６０９が“１”となり、それ以外のと
きには“０”となって、Ｄフリップフロップ６１０の出
力に、画素クロック信号ＰＣＫに同期されたクロマキー
信号が得られる。

【００１８】本クロマキー信号生成装置を含むシステム
（例えば、クロマキー合成機能のあるビデオ編集システ
ム）としては、ユーザーはフレームメモリ２の内容とプ
レーンメモリ３の内容とを各々単独に、あるいは適宜重
ね合わせて、コンピュータディスプレイの画面でモニタ
でき、例えばマウスを使って画像を見ながらグラフィカ
ルに所望の画素をポインティングできるように構成す
る。システムとしての動作モードは、設定モードとＲＵ
Ｎモードとがある。設定モードでは、ユーザーの（キー
ボードやマウス）操作によって、フレームメモリ２に１
画面分の画像を取り込み、これをコンピュータディスプ
レイで表示しつつ、画面の上でキーカラーにしたい画素
又は画素群をポインティングしてこれに対応するプレー
ンメモリ３のビットをユーザーインターフェース４を介
して設定する。次にＲＵＮモードに切り替えると、設定
されたプレーンメモリ３のビット値に基づいて、データ
プロセッサ５がフレームメモリ２からキーカラー候補画
素のみ画素データを読み取ってヒストグラム処理など代
表色データの算出処理を実行する。代表色データは１回
だけセットしてそれで終わり、つまり「固定」の場合
と、定期的に例えば、０．５秒に１回のサイクルで、フ
レームメモリ２への画素データの取り込みからヒストグ
ラム処理、代表色データの算出・決定までを繰り返す
「ダイナミック動作」の２通りが選択できる。特に「ダ
イナミック動作」では、キーカラーである背景色（ブル
ーバック）が周囲光の変化によって、ダイナミックに変
動するのに対応してクロマキー信号が適正に生成される
という従来に無い極めて大きな効果が得られる。

【００１９】なお、図１のプレーンメモリ３は、入出力
とも１ビットのデータ幅でアクセスするように説明した
が、もちろんこれに限定されることはなく、例えば、図
３のデータプロセッサ５内のプロセッサ５１が３２ビッ
トのデータバスでアクセス可能であれば、プレーンメモ
リ３も一度のアクセスで３２ビットのデータをリード／
ライトできるように構成できる。この方が、代表色デー
タの算出処理のときに、プレーンメモリ３のアクセスが
３２分の１に激減するので処理時間が短縮される。

【００２０】また、図１のフレームメモリ２とプレーン
メモリ３は書き込みポートと読み出しポートが別のデュ
アルポート・メモリのように図示してあるが、もちろん
これに限定されることはなく、書き込みと読み出しのポ
ートが共通の公知の１ポート・メモリでも同様に構成で
きる。

【００２１】更に、図１の例では、理解を容易にするた
めに、入力映像の画素数を横８×縦６画素にして説明し
たが、画素数はこれに限定されることはなく、６４０×
４８０でも１２８０×１０２４でも、また、どんなアス
ペクト（画面の縦横比）比でも実現できる。

【００２２】図５は、本発明の第２の実施の形態による
クロマキー信号生成装置の機能ブロック図を示してい
る。これは、プレーンメモリに暫定的なクロマキー信号
を１画面分書き込んだ後、ユーザーがプレーンメモリに
書き込まれたビットパターンに手を加え、最適に修正で
きるようにして、所望のクロマキー信号を安定に得るよ
うにしたものである。図５において、入力ユニット１、
フレームメモリ２、プレーンメモリ３、ユーザーインタ
ーフェース４、データプロセッサ５、コンパレータ６は
それぞれ図１の第１の実施の形態における同一符番号の
構成物と同じ作用をするものである。データパスセレク
タ７は、ユーザーインターフェース４とプレーンメモリ
３との間に介在し、ユーザーインターフェース４からの
制御に応じて、データパスセレクタ７をＢ側にスイッチ
して、ユーザーインターフェース４からプレーンメモリ
３へユーザーの所望のデータの書き込み／読み出し制御
するか、又は、データパスセレクタ７をＡ側にスイッチ
して、コンパレータ６から出力される１画面分の画素に
対応するクロマキー信号を画素クロック信号ＰＣＫに同
期してプレーンメモリ３に書き込み制御するかを切り替
えて、プレーンメモリ３へのリード／ライト制御をする
ための回路であり、データセレクタとメモリコントロー
ラの組み合わせ回路など公知のディジタル回路で構成で
きる。

【００２３】本クロマキー信号生成装置を含むシステム
としての動作モードは、仮設定モード、仮ＲＵＮモー
ド、クロマキー信号取り込みモード、修正設定モード、
ＲＵＮモードがある。仮設定モードでは、データパスセ
レクタ７をＢ側にスイッチしておいて、ユーザーの（キ
ーボードやマウス）操作によって、フレームメモリ２に
１画面分の画像を取り込み、これをコンピュータディス
プレイで表示しつつ、画面の上でキーカラーにしたい画
素又は画素群をポインティングしてこれに対応するプレ
ーンメモリ３のビットをユーザーインターフェース４を
介して仮設定する。仮ＲＵＮモードに切り替えると、デ
ータプロセッサ５がフレームメモリ２からキーカラー候
補画素のみ画素データを読み取ってヒストグラム処理な
ど代表色データの算出処理を実行する。この結果、代表
色データが決定し、これを受けてコンパレータ６から、
画素クロック信号ＰＣＫに同期してクロマキー信号が出
力される。次に、クロマキー信号取り込みモードに移
り、データパスセレクタ７をＡ側にスイッチして、
“０”と“１”の２値信号であるクロマキー信号を画素
クロック信号ＰＣＫに同期してプレーンメモリ３の画素
に対応するアドレスに１画面（１フレーム）分書き込
む。続いて、この書き込まれたプレーンメモリ３のビッ
ト値に基づいて、データプロセッサ５がフレームメモリ
２からキーカラー候補画素のみ画素データを読み取って
ヒストグラム処理など代表色データの算出処理を実行す
る。算出された代表色データを受けてコンパレータ６か
らクロマキー信号が出力される。このクロマキー信号を
使ったクロマキー合成映像をモニターして、良好な結果
が得られていれば、この状態でＲＵＮモード（通常作動
状態）に入り、初期設定終了である。もし、ここで合成
映像が不十分であれば、修正設定モードに入る。データ
パスセレクタ７をＢ側にスイッチしておいて、クロマキ
ー信号がビットパターンとして書き込まれたプレーンメ
モリ３に対して、ユーザーがユーザーインターフェース
４を介して、合成映像をモニターしながら、各画素に対
応するビット値に手を加えて修正設定する。修正設定が
終わると、ＲＵＮモードに移し、データプロセッサ５を
作動させて、修正版の代表色データを算出させる。この
修正版代表色データに従ってコンパレータ６からクロマ
キー信号が出力する。この状態でもまだ不十分な場合
は、上記の仮ＲＵＮモード、クロマキー信号取り込みモ
ード、修正設定モードを繰り返せば、より良好な結果が
得られる。

【００２４】ＲＵＮモード（通常作動状態）に入ると、
代表色データは１回だけセットしてそれで終わり、つま
り「固定」の場合と、定期的に例えば、０．５秒に１回
のサイクルで、フレームメモリ２への画素データの取り
込みからヒストグラム処理、代表色データの算出・決定
までを繰り返す「ダイナミック動作」の２通りが選択で
きる。特に「ダイナミック動作」では、キーカラーであ
る背景色（ブルーバック）が周囲光の変化によって、ダ
イナミックに変動するのに対応してクロマキー信号が適
正に生成されるという従来に無い大きな効果が得られ
る。

【００２５】ここで、プレーンメモリ３にクロマキー信
号を「焼き付ける」ことの効果は極めて大きい。つま
り、映像の中でキーカラーとして指定すべき画素群がど
の領域なのかを、ユーザーの目ではなかなか判断しにく
い映像の場合（実際、このケースが殆どであるが）に、
まず、仮設定モードのときに大ざっぱにキーカラー候補
画素を設定しておく。図５のフレームメモリ２にイメー
ジ的に図示した例で言えば、中央に立っている「人物」
から少し間を置いたちょうど「色Ｘ」で示したあたりの
典型的キーカラーと思われる小エリアの画素群を、設定
しておく。その後、仮ＲＵＮモード、クロマキー信号取
り込みモードを実行し、修正設定モードに入ったときに
は、プレーンメモリ３には、図５のフレームメモリ２に
図示した「人物」の周りの「クロスハッチ（ブルーバッ
クの青色）」の部分にほぼ対応する画素に“１”が、
「人物」の部分にほぼ対応する画素には“０”が書き込
まれている。映像が静止画であるとか、ＲＵＮモード
（通常作動状態）で代表色データが「固定」の場合に
は、これでほぼ完璧に設定終了である。この効果は絶大
である。

【００２６】ＲＵＮモード時に、定期的に代表色データ
が算出され更新される「ダイナミック動作」において
は、プレーンメモリ３の修正設定をすればよい。例え
ば、図５の「人物」が両手を上げ下げしたとき、キーカ
ラー候補画素の領域に動いた手が侵入して、キーカラー
（青色）とは全く縁遠い色（例えば、赤色）が代表色デ
ータの算出に侵入してきて、代表色データを変化させ
る。このため、プレーンメモリ３に「焼き付けられた」
クロマキー信号のビットパターンに対して、被写体が動
く範囲を想定してその部分に、ユーザーが“０”を書き
込み設定すれば万全である。これも、プレーンメモリ３
にクロマキー信号をそのまま「焼き付ける」作用がある
ため、非常に簡単に設定でき、効果は大きい。

【００２７】図６は、本発明の第３の実施の形態による
クロマキー信号生成装置の機能ブロック図を示してお
り、プレーンメモリの修正を半自動化したものである。
図６において、入力ユニット１、フレームメモリ２、プ
レーンメモリ３、ユーザーインターフェース４、データ
プロセッサ５、コンパレータ６はそれぞれ図１の第１の
実施の形態における同一符番号の構成物と同じ作用をす
るものである。メモリ制御回路８は、ユーザーインター
フェース４とプレーンメモリ３との間に介在し、ユーザ
ーインターフェース４からの制御に応じて、メモリ制御
回路８のデータパスセレクタ８０をＢ側にスイッチし
て、ユーザーインターフェース４からプレーンメモリ３
へユーザーの所望のデータの書き込み／読み出し制御す
るか、又は、メモリ制御回路８のデータパスセレクタを
Ａ側にスイッチして、コンパレータ６から画素クロック
信号ＰＣＫに同期して出力されるクロマキー信号を入力
し、このクロマキー信号に対応する画素のビットをプレ
ーンメモリ３から読み出し、このビット値とクロマキー
信号値との所定の論理演算をした結果値をプレーンメモ
リ３に書き戻す作用をする回路であり、データパスセレ
クタ８０と論理演算手段としてのＡＮＤゲート８１とリ
ード・モディファイ・ライト動作回路（Ｄフリップフロ
ップ８２、トライステート・バッファ８３他）の組み合
わせ回路など公知のディジタル回路で構成できる。

【００２８】概略動作を説明する。図６の構成によれ
ば、コンパレータ６で代表色データと順次供給されてく
る画素データとを比較することで、クロマキー信号を暫
定的に生成する。プレーンメモリ３には初めにキーカラ
ー候補となる画素位置に例えば“１”を書き込んでお
く。次に、暫定的なクロマキー信号をプレーンメモリ３
に１画面分書き込むのであるが、ただオーバーライトす
るのではなく、暫定的なクロマキー信号値と書き込もう
とするアドレスのビット値とのＡＮＤ演算をした結果値
を書き込む（リード・モディファイ・ライト動作）。こ
の繰り返しを何回か実行することで、被写体の動く範囲
が実経験的にプレーンメモリ３に刻印されてくる。例え
ば、ブルーバックの壁の前面中央に人を立たせてこれを
ビデオカメラで取り込んでいる状況では、まず、人が小
さくじっとしているときには、プレーンメモリ３のビッ
トパターンは画面の中央の少しだけが“０”で残り全て
は“１”に書き込まれる。次に、両手を左右に大きく広
げた状況では、暫定的なクロマキー信号値は人の左右の
領域で“１”から“０”に変化する。プレーンメモリ３
のその領域に対応するビット値が“１”であっても
（“０”であっても）、ＡＮＤ演算処理のため、“０”
となり、人の動く範囲の「痕跡」が“０”の領域となっ
て（範囲が広がって）記録されていく。一通り予定した
人の動く範囲をプレーンメモリに「刻印」し終えた後、
ユーザーがプレーンメモリ３に書き込まれたビットパタ
ーンに手を加え、最適に微修正できるようにした。

【００２９】本クロマキー信号生成装置を含むシステム
としての動作モードは、仮設定モード、仮ＲＵＮモー
ド、クロマキー信号取り込みモード、修正設定モード、
クロマキー信号フィードバックモード、ＲＵＮモードが
ある。仮設定モードでは、メモリ制御回路８のデータパ
スセレクタをＢ側にスイッチしておいて、ユーザーの
（キーボードやマウス）操作によって、フレームメモリ
２に１画面分の画像を取り込み、これをコンピュータデ
ィスプレイで表示しつつ、画面の上でキーカラーにした
い画素又は画素群をポインティングしてこれに対応する
プレーンメモリ３のビットをユーザーインターフェース
４を介して仮設定する。仮ＲＵＮモードに切り替える
と、データプロセッサ５がフレームメモリ２からキーカ
ラー候補画素のみ画素データを読み取ってヒストグラム
処理など代表色データの算出処理を実行する。この結
果、代表色データが決定し、これを受けてコンパレータ
６から、画素クロック信号ＰＣＫに同期してクロマキー
信号が出力される。次に、クロマキー信号取り込みモー
ドに移り、メモリ制御回路８のデータパスセレクタをＡ
側にスイッチして、“０”と“１”の２値信号であるク
ロマキー信号を画素クロック信号ＰＣＫに同期してプレ
ーンメモリ３の画素に対応するアドレスに１画面（１フ
レーム）分書き込む（このときはリード・モディファイ
・ライト動作はしない）。続いて、この書き込まれたプ
レーンメモリ３のビット値に基づいて、データプロセッ
サ５がフレームメモリ２からキーカラー候補画素のみ画
素データを読み取ってヒストグラム処理など代表色デー
タの算出処理を実行する。算出された代表色データを受
けてコンパレータ６からクロマキー信号が出力される。
このクロマキー信号を使ったクロマキー合成映像をモニ
ターして、良好な結果が得られていれば、この状態でＲ
ＵＮモード（通常作動状態）に入り、初期設定終了であ
る。もし、ここで合成映像が不十分であれば、修正設定
モードに入る。メモリ制御回路８のデータパスセレクタ
をＢ側にスイッチしておいて、クロマキー信号がビット
パターンとして書き込まれたプレーンメモリ３に対し
て、ユーザーがユーザーインターフェース４を介して、
合成映像をモニターしながら、各画素に対応するビット
値に手を加えて修正設定する。ここまでは、ブルーバッ
クの前の被写体はできる限りじっと静止の状態でいる。
修正設定が終わると、クロマキー信号フィードバックモ
ードに移る。再び、メモリ制御回路８のデータパスセレ
クタをＡ側にスイッチして、新たに生成されたクロマキ
ー信号をメモリ制御回路８に取り込むと同時に、プレー
ンメモリ３から対応する画素のビットを読み出し（リー
ド）、このビット値とクロマキー信号とのＡＮＤ値（モ
ディファイ）をＡＮＤゲート８１の出力に得て、タイミ
ングを合わせて、プレーンメモリ３の元のアドレスに書
き戻す（ライト）。フレームメモリ２、プレーンメモリ
３、データプロセッサ５を定期的に例えば０．５秒毎に
繰り返して作動させておく。この状態で、いままで、静
止していた被写体の「人物」が、予定の行動範囲一杯に
動いてみる。例えば、直立不動でいたものが両手を上げ
下げしたり、立ったりしゃがんだりする。これでこのモ
ードは完了であり、すぐにＲＵＮモード（通常作動状
態）に入れる。すなわち、最初にクロマキー信号をプレ
ーンメモリ３にリード・モディファイ・ライトせずにそ
のまま書き込んだときには、図６のフレームメモリ２、
プレーンメモリ３のイメージ図で表現すると、「人物」
の現在の輪郭の内側の画素が全て“０”、外側（ブルー
バック）の画素が全て“１”の値であり、“０”は中央
に数少なくあって、画面の殆ど大部分を“１”が占めて
いる状態である。上述のプレーンメモリ３へのリード・
モディファイ・ライトが作動し始め、「人物」が両手を
下ろした姿から、図６の如く左手を上げたときには、上
げた左手の場所の画素がキーカラーではないためクロマ
キー信号は“０”、逆に元々左手のあった場所の画素は
背景が見えてキーカラーとなり、クロマキー信号は
“１”に変化する。プレーンメモリ３にリード・モディ
ファイ・ライトされると、プレーンメモリ３の上げた左
手の場所のビット値は、元は“１”であり、やって来た
クロマキー信号は“０”であるから、ＡＮＤ結果は
“０”となる。また、プレーンメモリ３の元々左手のあ
った場所のビット値は“０”であり、やって来たクロマ
キー信号は“１”であるから、ＡＮＤ結果はこれも
“０”となる。元の値とやって来たクロマキー信号値が
同じであれば、ＡＮＤ結果は変化無しであるから、「人
物」が動いた場所がどんどん“０”に置換されていくこ
とになる。最初にプレーンメモリ３のビットパターンは
“０”は中央に数少なくあって、画面の殆ど大部分を
“１”が占めている状態であったものが、クロマキー信
号フィードバックモードの終了時には、「人物」の動く
べき範囲が全て“０”に置き変わり、“０”が広がり
“１”の領域を侵食した形になる。すなわち、「人物」
が動くべき場所の画素はキーカラーの候補から除外する
という処理をユーザーが感に頼って人手で入力するので
はなく、自動的にキーカラー候補画素の指定が可能とな
り、しかも実写映像に則して緻密に設定できるという極
めて大きな利点が得られる。

【００３０】さて、プレーンメモリ３への書き込みをロ
ックして、ＲＵＮモードに移る。データプロセッサ５を
作動させて、修正版の代表色データを算出させる。この
修正版代表色データに従ってコンパレータ６からクロマ
キー信号が出力する。ＲＵＮモード（通常作動状態）に
入ると、代表色データは１回だけセットしてそれで終わ
り、つまり「固定」の場合と、定期的に例えば、０．５
秒に１回のサイクルで、フレームメモリ２への画素デー
タの取り込みからヒストグラム処理、代表色データの算
出・決定までを繰り返す「ダイナミック動作」の２通り
が選択できる。「ダイナミック動作」のときはプレーン
メモリ３への書き込みをロックしたままでもいいし、上
記のサイクルでクロマキー信号でリード・モディファイ
・ライトしてプレーンメモリ３を更新し続けてもよい。

【００３１】「ダイナミック動作」では、キーカラーで
ある背景色（ブルーバック）が周囲光の変化によって、
ダイナミックに変動するのに対応してクロマキー信号が
適正に生成されるという従来に無い大きな効果が得られ
る。

【００３２】図７は本発明の第４の実施の形態によるク
ロマキー信号生成装置の機能ブロック図を示し、入力ユ
ニット１、プレーンメモリ３、ユーザーインターフェー
ス４、コンパレータ６はそれぞれ図１の第１の実施の形
態における同一符番号の構成物と同じ作用をするもので
ある。

【００３３】ＦＩＦＯ（First-In First-Out）メモリ９
は、プレーンメモリ３のビット値を画素クロック信号Ｐ
ＣＫに同期して読み出し、そのビット値が“０”のとき
は何もせずに次の読み出しに移り、ビット値が“１”の
ときには対応する画素データを選択的に取り込んで記憶
するためのデータメモリであり、選択的に書き込み制御
するためのメモリ制御回路とメモリとで公知の回路で容
易に構成できる。すなわち、ＦＩＦＯメモリ９にはキー
カラー候補の画素データのみが記憶される。メモリの容
量は、入力映像の全画素数と同数のアドレス数（図７の
例では８×６）×画素データ（２４ビット）を最大とす
る。

【００３４】データプロセッサ１０は、ＦＩＦＯメモリ
９から１画面分のキーカラー候補の画素データを全て読
み出し、得られた１個又は複数個の画素データから有限
の範囲を持つキーカラーの代表色データを算出するため
の回路であり、その具体例を図８に示す。５１は３２ビ
ットマイクロプロセッサである。このプロセッサ５１は
ＲＯＭ１０２に格納されている命令を読み出し、ワーク
用のＲＡＭ５３を使って代表色データの算出を実行し、
得られた４８ビットで表現される代表色データをレジス
タ５０にセットする。図１の第１の実施の形態のデータ
プロセッサ５と同様の作用を持つが、異なる点は、図１
のデータプロセッサ５がプレーンメモリ３の記憶値を読
み出して「チェック」し、その記憶値が“１”である画
素に対応した画素の画素データのみをフレームメモリ２
から全て読み出してキーカラーの代表色データを算出す
るのに対して、図７のデータプロセッサ１０では、「チ
ェック」は全く不要であり、単にＦＩＦＯメモリ９から
キーカラー候補の画素データを全て読み出して代表色デ
ータを算出すればよく、第１の実施の形態に比べて処理
時間を大幅に短縮をさせることができる。

【００３５】図７のクロマキー信号生成装置の動作は、
図１の第１の実施の形態と同様である。第１の実施の形
態のデータプロセッサ５に対して、データプロセッサ１
０は前述した動作により、代表色データの算出処理時間
を大幅に短縮できる。したがって、図８のプロセッサ５
１は図３のプロセッサ５１よりも遅いクロックのプロセ
ッサを使うことができ、低電力化、低コスト化に優れた
効果を発揮する。

【００３６】なお、ＦＩＦＯメモリ９をデータメモリの
実施の形態として示したが、これは、先入れ先出しの書
き込み順序・読み出し順序は全く必要ではなく、ＦＩＦ
Ｏ動作しない公知のＳＲＡＭ（スタティックメモリ）や
ＤＲＡＭ（ダイナミックメモリ）などの通常のメモリで
ももちろん実現できる。

【００３７】本発明の上記各クロマキー信号生成装置を
応用すれば、映像制作用のスタジオにおいて、高価な背
景装置と高精度の照明装置とを含むスタジオ設備を完備
する必要がないため、より安価にクロマキー合成を実現
できる。

【００３８】また、背景の明るさや色あいの変動に強い
ことを利用して、ビデオカメラとディスプレイとが搭載
されたモバイル情報通信端末において、ＭＰＥＧ４など
の超低ビットレートの動画伝送の前処理に本発明を応用
できる。具体的には、屋外の身の回りにある壁や看板な
どを背景にして自分の顔をビデオカメラで撮影し、リア
ルタイムに他の端末へ伝送する。このとき、画像の中の
必要な部分（自分の顔画像）だけを送り、不必要な部分
（壁などの背景画像）を送らないようにする。これによ
り、伝送情報量の低減と画質の向上とが達成される。つ
まり、不必要な背景画像を本発明によって簡単に判別・
除去できるので、上記モバイル情報通信端末への応用は
多大の効果を発揮する。

【００３９】

【発明の効果】以上のように本発明によれば、画像の中
で抜き取ろうとする「色」（キーカラー）を指定するの
ではなく、抜き取ろうとする色の存在する画像の「領
域」を指定することでキー信号を生成するため、キーカ
ラーに設定していた背景色の明るさや色あいの変動など
にリアルタイムに追従して安定したクロマキー信号を得
ることができるという大きな効果が得られる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態によるクロマキー信
号生成装置の機能ブロック図である。

【図２】図１中のコンパレータの具体的構成例を示す回
路図である。

【図３】図１中のデータプロセッサの具体的構成例を示
す機能ブロック図である。

【図４】（ａ）、（ｂ）及び（ｃ）は、図１中のデータ
プロセッサにおける代表色データを算出するためのヒス
トグラム処理の説明図である。

【図５】本発明の第２の実施の形態によるクロマキー信
号生成装置の機能ブロック図である。

【図６】本発明の第３の実施の形態によるクロマキー信
号生成装置の機能ブロック図である。

【図７】本発明の第４の実施の形態によるクロマキー信
号生成装置の機能ブロック図である。

【図８】図７中のデータプロセッサの具体的構成例を示
す機能ブロック図である。

【符号の説明】

１入力ユニット２フレームメモリ（データメモリ）３プレーンメモリ４ユーザーインターフェース５データプロセッサ６コンパレータ７データパスセレクタ８メモリ制御回路９ＦＩＦＯメモリ（データメモリ）１０データプロセッサ５０レジスタ５１３２ビットマイクロプロセッサ５２ＲＯＭ５３ＲＡＭ８０データパスセレクタ８１ＡＮＤゲート８２Ｄフリップフロップ８３トライステートバッファ６００〜６０５マグニチュードコンパレータ６０６〜６０９ＡＮＤゲート６１０Ｄフリップフロップ

Claims

【特許請求の範囲】

【請求項１】映像信号を入力し、該映像信号に同期し
た画素クロック信号と、映像の各画素の色をディジタル
値で表した画素データとを供給するための入力ユニット
と、前記入力ユニットから供給された各画素データに１対１
に対応したそれぞれ１ビットのディジタル値を１画面分
記憶するためのプレーンメモリと、ユーザーが前記プレーンメモリの記憶内容を所望の値に
設定することを可能にするためのユーザーインターフェ
ースと、前記プレーンメモリの記憶値を読み出し、該読み出した
記憶値が所定の値である画素に対応した画素データを取
り込み、得られた１個又は複数個の前記画素データから
有限の範囲を有するキーカラーの代表色データを算出す
るためのデータプロセッサと、前記入力ユニットから供給された画素データと前記デー
タプロセッサで算出された代表色データとを比較し、前
記画素データが前記代表色データに含まれる場合にのみ
アサートするクロマキー信号を前記画素クロック信号に
同期して出力するためのコンパレータとを備え、前記データプロセッサは、所定の周期で新たな画素デー
タを取り込んで代表色データを算出し直して、代表色デ
ータを定期的に更新して前記コンパレータに供給する機
能を有することを特徴とするクロマキー信号生成装置。
【請求項２】請求項１記載のクロマキー信号生成装置
において、前記入力ユニットから供給された画素データを１画面分
記憶するためのデータメモリを更に備え、前記データプロセッサは、前記プレーンメモリの記憶値
を読み出し、該読み出した記憶値が所定の値である画素
に対応した画素データを前記データメモリから全て読み
出し、該読み出した画素データから前記代表色データを
算出する機能を有することを特徴とするクロマキー信号
生成装置。
【請求項３】請求項１記載のクロマキー信号生成装置
において、前記ユーザーインターフェースと前記プレーンメモリと
の間に介在し、前記ユーザーインターフェースからの第
１の要求に応じて、前記ユーザーインターフェースから
前記プレーンメモリへのデータの書き込みを制御し、か
つ前記ユーザーインターフェースからの第２の要求に応
じて、前記コンパレータから出力される１画面分の画素
に対応するクロマキー信号を前記画素クロック信号に同
期して前記プレーンメモリに書き込み制御するためのデ
ータパスセレクタを更に備えたことを特徴とするクロマ
キー信号生成装置。
【請求項４】請求項１記載のクロマキー信号生成装置
において、前記ユーザーインターフェースと前記プレーンメモリと
の間に介在し、前記ユーザーインターフェースからの第
１の要求に応じて、前記ユーザーインターフェースから
前記プレーンメモリへのデータの書き込みを制御し、か
つ前記ユーザーインターフェースからの第２の要求に応
じて、前記コンパレータから出力されるクロマキー信号
を入力し、前記画素クロック信号に同期して、前記プレ
ーンメモリから対応する画素の記憶値を読み出し、該読
み出し値と前記コンパレータからのクロマキー信号の値
との論理演算をした結果の値をその画素に対応するアド
レスに順次書き戻し制御するためのメモリ制御回路を更
に備えたことを特徴とするクロマキー信号生成装置。
【請求項５】請求項１記載のクロマキー信号生成装置
において、前記プレーンメモリを前記画素クロック信号に同期して
読み出した記憶値が所定の値の場合にのみ、対応した画
素データを選択的に取り込み記憶するためのデータメモ
リを更に備え、前記データプロセッサは、前記データメモリの記憶値を
全て読み出し、該読み出した画素データから前記代表色
データを算出する機能を有することを特徴とするクロマ
キー信号生成装置。