JP3870422B2 - 映像信号処理装置及び方法、画像合成装置、並びに編集装置 - Google Patents

映像信号処理装置及び方法、画像合成装置、並びに編集装置 Download PDF

Info

Publication number
JP3870422B2
JP3870422B2 JP53649598A JP53649598A JP3870422B2 JP 3870422 B2 JP3870422 B2 JP 3870422B2 JP 53649598 A JP53649598 A JP 53649598A JP 53649598 A JP53649598 A JP 53649598A JP 3870422 B2 JP3870422 B2 JP 3870422B2
Authority
JP
Japan
Prior art keywords
color
key signal
key
foreground image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP53649598A
Other languages
English (en)
Inventor
且明 守分
辰伸 安藤
克郎 松崎
淳 塚原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Application granted granted Critical
Publication of JP3870422B2 publication Critical patent/JP3870422B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects
    • H04N9/75Chroma key

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Circuits (AREA)

Description

技術分野
本発明は、いわゆるクロマキーによる画像合成に用いられる映像信号処理装置及び方法、画像合成装置、並びに編集装置に関するものである。
背景技術
従来、放送局等での編集装置を用いたクロマキー処理等においては、前景画像に背景画像を嵌め込んで画像合成するようなことがなされている。
すなわち放送局等では、事前に、例えば青色のスクリーンを背景(いわゆるブルーバック)としてアナウンサー等を撮像し、これにより前景画像の映像信号を生成する。またこの前景画像の背景に割り当てる所望の被写体を撮像し、これにより背景画像の映像信号を生成する。
編集装置等においては、オペレータの操作に応動して、事前に、色差信号について基準の信号レベルを設定することにより前景画像から抜きたい色が設定される。このときソフトクロマキーによる画像合成する場合、編集装置は、抜きたい色の中心色を基準にして、上限及び下限の信号レベル(すなわちしきい値)が設定される。
編集装置は、このしきい値と前景画像の映像信号とを順次比較することにより、キー信号を生成する。すなわち編集装置は、青色のスクリーンを背景にして生成された前景画像については、この背景の部分で値0になるように、またこの青色の背景以外の色彩については値1になるように、上限及び下限のしきい値が設定されてキー信号が生成される。さらに青みがかった他の色彩については、青みがかった程度に応じた値になるように、上限及び下限のしきい値に対応した値1から値0の範囲で、キー信号が生成される。
これにより従来の編集装置は、色差信号で表される2次元の色空間(すなわちUV信号を座標軸にしてなる色空間)により順次前景画像の色彩を判定してキー信号を生成するようになされ、このようにして生成したキー信号を基準にして前景画像及び背景画像を合成し、前景画像の背景に背景画像を嵌め込んでなる合成画像を生成するようになされている。
ところで、従来の編集装置においては、同一の色彩であっても、輝度レベルの高い部分と輝度レベルの低い部分とを判別することが困難な欠点がある。これにより従来の編集装置による合成画像は、嵌め込んだ背景画像の輪郭が不自然に表示され、何らクロマキー処理しない場合に比して品位が低下する問題があった。
この問題を解決する方法の一つとして、前景画像の各画素を3次元色空間上で表現して処理する方法が考えられるが、このようにすると、従来の2次元の色空間に代えて3次元色空間上でキー信号設定の範囲等を調整することが必要になることにより、クロマキー処理の調整作業が煩雑になる恐れがある。
発明の開示
本発明は、上述した問題点に鑑みてなされたものであり、簡易な構成で高品位の合成画像を得ることができ、さらに、簡単な操作で所望の処理を実行することができるような映像信号処理装置及び方法、画像合成装置、並びに編集装置を提供することを目的とするものである。
すなわち、本発明は、前景画像と背景画像とを合成するキー信号を生成するキー信号生成装置において、上記前景画像より抜き出す色の中心色を原点とした3次元の色空間において、上記前景画像の各画素の極座標を検出する極座標生成手段と、上記極座標における上記原点からの距離に応じて上記キー信号を生成するキー信号生成手段と、上記前景画像の信号レベルを抑圧するカラーキャンセル処理用のキー信号を生成するカラーキャンセルキー信号生成手段とを有し、上記カラーキャンセルキー信号生成手段は、上記カラーキャンセル処理する中心色を原点として差色信号レベルを基準にした2次元の色平面において上記前景画像の各画素の極座標を検出し、上記極座標における上記原点からの距離に応じて上記カラーキャンセル用のキー信号を生成するようにしたものである。
また、本発明は、前景画像と背景画像とを合成するキー信号を生成するキー信号生成方法において、上記前景画像より抜き出す色の中心色を原点とした3次元の色空間において、上記前景画像の各画素の極座標を検出する工程と、上記極座標における上記原点からの距離に応じて上記キー信号を生成する工程と、上記前景画像の信号レベルを抑圧するカラーキャンセル処理用のキー信号を生成するカラーキャンセルキー信号を生成する工程とを有し、記カラーキャンセルキー信号の生成工程において、上記カラーキャンセル処理する中心色を原点として、差色信号レベルを基準にした2次元の色平面における上記前景画像の各画素の極座標を検出し、上記極座標における上記原点からの距離に応じて上記カラーキャンセル用のキー信号を生成するようにしたものである。
このような特徴を有するキー信号生成装置及び方法は、フレームを単位とする画像合成装置や、複数フレームの編集を行う編集装置に適用することができる。
【図面の簡単な説明】
図1は、本発明の実施の形態が適用される編集装置の概略構成を示すブロック図である。
図2は、本発明の実施の形態となるキー信号生成装置の一例を示すブロック図である。
図3A,図3Bは、前景画像と中心色の関係を示す図である。
図4は、クロマキー処理の条件設定の説明に供する図である。
図5A,図5Bは、クロマキー処理の3次元色空間上での境界及びクロマキー信号を示す図である。
図6は、クロマキー処理の3次元色空間上での境界を特定する点群を示す図である。
図7A,図7Bは、カラーキャンセル処理の2次元色空間上での境界及びカラーキャンセルキー信号を示す図である。
図8は、カラーキャンセル処理の2次元色空間上での境界を特定する点群を示す図である。
図9は、図6の点群より大径の境界までの距離計算の説明に供する図である。
図10は、図6の点群より小径の境界までの距離計算の説明に供する図である。
図11A,図11Bは、図5の境界とクロマキー処理の特性との関係を示す図である。
図12は、図1の編集装置のクロマキー処理部を示すブロック図である。
図13は、前景画像の処理の説明に供する図である。
図14は、クロマキー処理の3次元色空間上での境界の説明に供する図である。
図15A,図15Bは、カラーキャンセル処理の2次元色空間上での境界とカラーキャンセル用のキー信号との関係を示す図である。
図16A〜Fは、アッドミックス合成を伴う画像合成を説明するための図である。
図17は、クロマキー処理条件の設定処理手順を示すフローチャートである。
図18は、本発明の第1の実施の形態に係る編集装置におけるプレビュー画面を示す図である。
図19は、プレビュー画面の具体例を示す図である。
図20は、キーパラメータ設定画面を説明するための図である。
図21は、キーパラメータ設定画面の具体例を示す図である。
図22は、キーパラメータ設定画面の中心色設定部を示す図である。
図23は、前景画像における画素の処理の説明に供するフローチャートである。
図24は、図23の処理手順における輝度、色差と角度、距離の関係を示す図である。
図25は、ベクトルスコープ表示部を示す図である。
図26は、ベクトルスコープ表示部における第1の表示部の説明に供する図である。
図27は、ベクトルスコープ表示部における第2の表示部の説明に供する図である。
図28は、ベクトルスコープ表示部における第3の表示部の説明に供する図である。
図29は、ベクトルスコープ表示部における第4の表示部の説明に供する図である。
図30は、第1〜第3の表示部における表示の処理を示すフローチャートである。
図31は、図30の処理手順の説明に供する図である。
図32は、色空間表示部の一例を示す図である。
図33は、色空間表示部における視点の切り換えの説明に供する図である。
図34は、色空間表示部における色空間の回転の説明に供する図である。
図35は、第2の実施の形態に係る中央処理ユニットの処理手順を示すフローチャートである。
図36は、他の実施の形態に係る代表点の変更処理の説明に供する図である。
発明を実施するための最良の形態
以下本発明の好ましい実施の形態について、図面を参照しながら説明する。
先ず、本発明に係るキー信号生成装置の実施の形態が適用される編集装置の一例について、図1を参照しながら説明する。
図1は、クロマキー処理やカラーキャンセル処理により画像合成を行うための編集装置1の概略構成を示すブロック図である。
この図1に示す編集装置1は、コンピュータに画像処理用のボードを配置して構成され、オペレータの操作に応動してハードディスク装置(HDD)2に種々の映像信号を記録し、またこの記録した映像信号を編集して外部機器に出力する。このとき編集装置1は、ハードディスク装置2に記録した前景画像及び背景画像の映像信号SV1及びSV2を合成して合成画像による映像信号SV3を生成し、この映像信号SV3をハードディスク装置2に記録する。
すなわちハードディスク装置2は、バスBUSを介して入力される制御コマンドに応動して動作を切り換え、この編集装置1の編集に必要な映像信号を記録し、また記録した映像信号を出力する。フレームバッファ3及び4は、同様にバスBUSを介して入力される制御データにより動作を切り換え、それぞれ順次入力される映像信号SV1及びSV2を蓄積して所定のタイミングで出力する。
クロマキー処理部5は、クロマキーの手法により、フレームバッファ3及び4より入力される映像信号SV1及びSV2を合成し、合成画像を構成する映像信号SV3を出力する。このためクロマキー処理部5において、キー信号生成部6は、前景画像の映像信号SV1よりキー信号を生成し、画像合成部7は、このキー信号により映像信号SV3を合成する。
ここで、クロマキー処理部5内のキー信号生成部6は、本発明の実施の形態となる例えば図2に示すような構成のものが使用できる。この図2のキー信号生成部6については、後に詳細に説明する。
図1に戻って、フレームバッファ8は、このクロマキー処理部5より出力される映像信号SV3を蓄積すると共に、所定のタイミングでハードディスク装置2、モニタ9に出力する。これにより編集装置1では、クロマキー処理部5によりクロマキー処理した映像信号SV3をモニタ9により確認し、またハードディスク装置2に記録するようになされている。また編集装置1は、これらフレームバッファ3、4、8、クロマキー処理部5がボート上に構成され、このボードがコンピュータのバスBUSに接続される。
中央処理ユニット(CPU)10は、ランダムアクセスメモリ(RAM)11にワークエリアを確保して、キーボード12、マウス13の操作に応動してリードオンリメモリ(ROM)14、ハードディスク装置に格納された一連の処理手順を実行することにより、この編集装置の処理に必要な編集リストを作成し、また作成した編集リストに従って全体の動作を制御し、これによりオペレータの操作に従って一連の編集処理を実行する。
この一連の処理において、中央処理ユニット10は、オペレータがクロマキーによる編集を選択すると、クロマキー処理部5、フレームバッファ3、4、8の動作を立ち上げ、クロマキーの処理を実行する。この処理において、中央処理ユニット10は、クロマキー処理の条件設定を受け付けた後、この受け付けた条件に従ってクロマキー処理部5のパラメータ設定処理を実行し、この設定したパラメータによりクロマキーの処理を開始する。
すなわち中央処理ユニット10は、条件設定の処理において、前景画像の静止画をモニタ9に表示し、このモニタ上でオペレータがカーソルを動かしてマウス13をクリックすると、対応する画素を中心色の画素に設定する。ここで中心色は、前景画像より抜き出す部分の基準色であり、この編集装置1では、この中心色を中心にして形成される3次元色空間上における所定領域を基準にして、前景画像の色相、輝度を判定し、この判定結果に基づいてキー信号を生成する。
すなわち中央処理ユニット10は、図3Aに示すように、前景画像MF上でオペレータが画素G0を指定すると、この画素の輝度Y0、色相U0、V0を検出し、図3Bに示すように、この輝度Y0、色相U0、V0により特定される色を中心色COに設定する。さらに中央処理ユニット10は、輝度Y、色差U、Vを基準軸にしてなる3次元色空間上で、この中心色COを中心にしてなる二重の球形形状K1及びK2を設定する。このとき中央処理ユニット10は、予め設定された基準値を半径に設定してこれら2つの球形形状K1及びK2を形成する。
さらに中央処理ユニット10は、後述するクロマキー処理と一部が共通する処理を実行することにより、モニタ9に表示した静止画について、これら球形K1、K2の内側に含まれる色彩の領域を表示する。中央処理ユニット10は、この状態で、モニタ9の表示を介して入力されるオペレータの操作により、例えば図4において矢印Aにより示すように、外側の球形形状K2を部分的に変形する。なおこの変形は、オペレータの操作に応動して内側の球形形状K1についても同様に実施される。
ここで図5Aに示すように、中央処理ユニット10は、このようにして色空間上に設定された2つの球形形状K1、K2について、小径の球形形状K1の内側の領域ARIに含まれる色については、背景画像を割り当てるように値0のキー信号KEYを生成する。また大径の球形K2の外側領域AR3に位置する色については、前景画像を割り当てるように値1のキー信号KEYを生成する。さらに球形K1及びK1間の領域AR2に含まれる色については、値1から値0の間で、その色の位置に応じた値によりキー信号KEYを生成する。このキー信号KEYの一例を図5Bに示す。これにより中央処理ユニット10は、このようにしてオペレータの設定した略球形形状K1及びK2によりキー信号KEYの特性を切り換える境界K1及びK2を設定する。
図6に示すように、中央処理ユニット10は、このようにして設定する境界K1及びK2を、それぞれ26個の点(以下代表点と呼ぶ)P0〜P25により表現する。さらにこのとき中央処理ユニット10は、中心色COを原点にしてなるY、U、V空間座標上において、極座標で表される座標値によりこれら代表点P0〜P25を表現する。すなわち中央処理ユニット10は、この極座標空間において、緯度方向(角度φにより規程される中心色COからの方向でなる)及び経度方向(角度θにより規程される中心色COからの方向でなる)に45度の等角度で複数のベクトルを生成し、このベクトルの長さrにより各代表点P0〜P25を表現する。従って上述したマンマシンインターフェースにより境界K1及びK2を設定する場合、中央処理ユニット10は、オペレータの操作に従って、対応するベクトルの長さrを可変することになる。なお、上記代表点を表現するときの角度は、上記45度に限定されず、例えば22.5度でもよく、この他、任意の角度とすることができる。
さらに中央処理ユニット10は、例えば中心色COを横切るY軸に垂直な平面により、これら球形形状K1及びK2を切断して、図7Aに示すような二重の円形形状K1C,K2Cを形成し、オペレータの操作に応動してこの円形形状K1C,K2Cを変形し、またこの円形形状K1C,K2Cの中心C0C(U0C,V0C)を変位させる。これにより中央処理ユニット10は、この二重の円形形状K1C,K2Cによりカラーキャンセル(色消し)用の範囲を設定し、カラーキャンセル用のキー信号CCKについても、特性を切り換える2つの境界を設定する。すなわち、図7Bに示すように、小径の円形形状K1Cの内側の領域AR1Cについてはカラーキャンセル(色消し)を施すようにCCK=1とし、大径の円形形状K2Cの外側の領域AR3Cについてはカラーキャンセルを施さないようにCCK=0とする。また、これらの円形形状K1CとK2Cとの間の領域AR2Cについては、その位置に応じたカラーキャンセルを施すように、値が1から0の間のカラーキャンセル用のキー信号CCKを生成する。
このようなカラーキャンセル用の範囲について、中央処理ユニット10は、オペレータの操作により変更された上記中心C0Cの座標(U0C,V0C)を原点にして、図8に示すように、45度の等角間隔によりベクトルを設定し、これらベクトルの長さにより規程される計8個の代表点群P0C〜P7Cにより各円形形状を表現する。この角度も、例えば22.5度のように任意に設定することができる。従って中央処理ユニット10は、上述したマンマシンインターフェースによりカラーキャンセル(色消し)の範囲の境界K1C及びK2Cを設定する場合、オペレータの操作に従って、対応するベクトルの長さrCを可変することになる。
ここで、カラーキャンセルについて説明する。基本的には、クロマキー合成した際に、前景画像の被写体の縁や煙、コップ等の半透明部分が、背景色(例えばブルーバック使用時には青)の色味がかかるが、これを防ぐ機能がカラーキャンセル(色消し)である。これは、先に前景(foreground)画像における背景色(back-color)と同じ色を無色に変えた後、合成する手法である。
原理としては、背景色と同じ色を前景画像から引く、すなわち補色を加えることで、色消しを行うことができる。ただ、前景画像全面にこの処理を施すと被写体の色まで変わってしまうので、カラーキャンセルを行う領域の指定が必要になる。これがカラーキャンセルキー信号CCKである。このカラーキャンセルキー信号CCKは、上記クロマキー用のキー信号KEYを反転したものに近いものになるが、元になるキー信号の生成の仕方が違うので、反転しても全く同じものにはならない。
このようにしてオペレータの操作によりクロマキー用の境界K1及びK2、カラーキャンセルの境界K1C及びK2Cが設定されると、中央処理ユニット10は、パラメータ設定処理に移り、クロマキー処理部5に設定するパラメータを計算した後、このパラメータをクロマキー処理部5に設定する。
このパラメータの計算において、中央処理ユニット10は、境界K1及びK2によりクロマキー処理のパラメータを計算する。すなわち中央処理ユニット10は、図9及び図10に示すように、図6について上述した中心色COを基準にしたY、U、V色空間上において、緯度φ及び経度θを順次変化させ、各緯度φ及び経度θにおいて原点より延長するベクトルVがそれぞれ境界K1及びK2と交わる点RI及びROまでの長さri及びroを計算する。
このとき中央処理ユニット10は、各境界K1及びK2について、隣接する4つの代表点の座標値を用いた(1)式及び(2)式の補間演算処理により、順次長さri及びroを計算する。
Figure 0003870422
さらに中央処理ユニット10は、図11A,図11Bに示すように、このようにして各緯度φ及び経度θについて検出した点RI及びROまでの長さri及びroより、クリップポイントCLIP及び利得GAINを計算する。ここで中央処理ユニット10は、小径の境界K1より計算された長さriをクリップポイントCLIPに設定する。さらに中央処理ユニット10は、このクリップポイントCLIPを値0に、大径の境界K2より計算された長さroの位置を値1に設定し、これらクリップポイントCLIP及び値1の点を直線で結んでなるこの直線の傾きを利得GAINに設定する。
すなわち中央処理ユニット10は、次式の演算処理を実行し、各緯度φ及び経度θ毎にクリップポイントCLIP及び利得GAINを計算する。
Figure 0003870422
これにより中央処理ユニット10は、各緯度φ及び経度θ毎にクリップポイントCLIP及び利得GAINによるキー信号生成の特性曲線を設定する。この特性曲線は、各緯度φ及び経度θについて、中心色COからの距離rに応じて、小径の境界K1までは値0に保持され、大径の境界K2の外側では値1に保持され、これら小径の境界K1より大径の境界K2まで間は値0から値1を直線で結んでなるように表現されることになる。
このようにしてクリップポイントCLIP及び利得GAINを計算すると、中央処理ユニット10は、これらのクリップポイントCLIP及び利得GAINをキー信号生成部6に設定し、このキー信号生成部6に各緯度φ及び経度θをアドレスにしてなるクリップポイントCLIP及び利得GAINのルックアップテーブルを形成する。
同様にして中央処理ユニット10は、カラーキャンセル(色消し)の範囲について、各緯度毎にクリップポイント及び利得を計算する。さらに中央処理ユニット10は、この計算したクリップポイント及び利得をキー信号生成部6に設定し、このキー信号生成部6に各経度θをアドレスにしてなるクリップポイント及び利得のルックアップテーブルを形成する。
中央処理ユニット10は、このようにしてキー信号生成部6にルックアップテーブルを形成すると、パラメータの設定処理を完了する。
図12は、画像合成部7を示すブロック図である。画像合成部7は、それぞれディジタル信号により映像信号SV1を構成する輝度信号Y1、色差信号U1、V1、映像信号SV2を構成する輝度信号Y2、色差信号U2、V2を入力する。カラーキャンセル(色消し)回路20Y、20U、20Vは、それぞれ前景画像でなる映像信号の輝度信号Y1、色差信号U1、V1を受け、これら輝度信号Y1、色差信号U1、V1をカラーキャンセル用キー信号CCKにより上述したようなカラーキャンセル処理を施して出力する。
ここでこのカラーキャンセル用キー信号CCKは、上述のカラーキャンセル範囲を基準にしてキー信号生成部6により生成される。これによりカラーキャンセル回路20Y、20U、20Vは、前景画像への背景の写り込みを有効に回避するように、クロマキー処理して残る輪郭部分をカラーキャンセル処理する。
キーヤー21Y、21U、21Vは、カラーキャンセル回路20Y、20U、20Vより出力される輝度信号Y1、色差信号U1、V1を、キー信号KEYにより重み付けして出力する。キーヤー21Y、21U、21Vは、背景画像でなる映像信号の輝度信号Y2、色差信号U2、V2を受け、これら輝度信号Y2、色差信号U2、V2をキー信号1−KEYにより重み付けして出力する。ここでこれらキーヤー21Y、21U、21Vに入力されるキー信号1−KEYは、キーヤー21Y、21U、21Vに入力されるキー信号KEYと加算して、値1の重み付け値になるように、キー信号KEYを基準にしてキー信号生成部6により生成される。
ミクサー23Y、23U、23Vは、それぞれキーヤー21Y、21U、21Vより出力される輝度信号Y1、色差信号U1、V1と、キーヤー21Y、21U、21Vより出力される輝度信号Y2、色差信号U2、V2とを加算して、輝度信号Y3、色差信号U3、V3により映像信号SV3を出力する。
これにより画像合成部7は、キー信号KEY、1−KEYにより前景画像と背景画像を画像合成し、またこのときキー信号CCKにより前景画像への背景の写り込みを低減するようになされている。
ここで、図2を参照しながら、本発明の第1の実施の形態となるキー信号生成装置について説明する。
図2は、上記図1のキー信号生成部6の一例としての本発明の第1の実施の形態となるキー信号生成装置を示すブロック図である。キー信号生成部6において、クロマキー信号生成部25は、オーバーサンプリング回路26U、26Vに色差信号U1、V1を入力し、ここで輝度信号Yと同一のサンプリング周波数により色差信号U1、V1をオーバーサンプリングする。これによりクロマキー信号生成部25は、続く色差信号U1、V1の処理においてノイズの発生を有効に回避する。
座標変換回路27は、色差信号U1、V1を受け、中心色COを原点にしてなるUV平面上において、この色差信号U1、V1による映像信号SV1の各画素を極座標により特定する。すなわち座標変換回路27は、各色差信号の信号レベルU1、V1より、それぞれ中心色COの色差信号レベルU0、V0を減算する。さらに座標変換回路27は、各減算結果より、UV平面上における角度θ、原点COからの距離rmを計算する。
この座標変換回路27は、次式の演算処理を実行することにより、図13に示すように、中心色COを原点としたときのYUV空間上における映像信号SV1の各画素の位置と原点C0とを結ぶ線分Lを、UV平面上に投影してなる線分の長さrmと、YUV空間上における線分Lの経度θを検出することになる。
Figure 0003870422
続く座標変換回路28は、座標変換回路27により計算された距離rmと輝度信号レベルY1より、次式の演算処理を実行し、これにより中心色COを原点にしてなるYUV空間上における映像信号SV1の各画素の位置について、緯度φ及び原点C0までの距離rMを計算する。
Figure 0003870422
ルックアップテーブル29は、事前に、中央処理ユニット10により計算された各緯度x、経度yにおけるクリップポイントCLIP(x,y)、利得GAIN(x,y)を蓄積して形成され、座標変換回路27、28により計算された経度θ、緯度φをアドレスにして対応するクリップポイントCLIP(φ、θ)、利得GAIN(φ、θ)を出力する。これによりルックアップテーブル29は、中央処理ユニット10により事前に計算された各緯度φ及び経度θの特性より、映像信号SV1の各画素に対応する特性、すなわち図11Bに示す特性を選択的に出力することになる。
キープロセス回路30は、このルックアップテーブル29より出力されるクリップポイントCLIP、利得GAINに基づいて、座標変換回路28で計算された距離rMに対応するキー信号MXKを生成する。すなわちキープロセス回路30は、次式により示すように、クリップポイントCLIPより距離rMが短い場合、すなわち図14において符号Aにより示すように、小径の境界K1の内側に、映像信号SV1の画素が位置する場合、値0のキー信号MXKを出力する。
MXK=0 (rM<CLIP)……(9)
これに対してクリップポイントCLIPより距離rMが長い場合、キープロセス回路30は、次の(10)式の演算処理を実行し、この演算処理結果を値1にクリップして出力する。
これによりキープロセス回路30は、映像信号SV1の画素が小径の境界K1と大径の境界K2の間に位置する場合(図14において符号Bにより示す)と、大径の境界K2の外側に位置する場合(図14において符号Cにより示す)とで、それぞれ次式により表される演算処理を実行してキー信号MXKを生成する。
MXK=(rM−CLIP)×GAIN (CLIP<rM<ro)……(10)
MXK=1 (ro<rM)……(11)
これによりキープロセス回路30は、クロマキー信号生成部25においては、事前に設定したルックアップテーブル29により、映像信号SV1の輝度信号Y1、色差信号U1、V1を基準にしてクロマキーのキー信号MXKを生成するようになされている。
次に、上述したカラーキャンセル(色消し)のためのキー信号生成について説明する。
キー信号生成部6においては、上述したカラーキャンセル(色消し)のためのキー信号AMKを生成し、これを反転(1より減算)してカラーキャンセル用キー信号CCKを得ると共に、映像に応じて上記クロマキー用のキー信号MXKの信号レベルを上記キー信号AMKにより補正してクロマキー信号KEYを得ている。上記画像合成部7においては、上記キー信号AMKを反転(1より減算)して得られるカラーキャンセル信号CCKを用いてカラーキャンセル処理を施すと共に、上記補正されたクロマキー信号KEYを用いたクロマキーの処理を実行することにより、上述した被写体の輪郭部分等での背景色の写り込みを低減した画像合成を行っている。
すなわちキー信号生成部6において、カラーキャンセル(色消し)キー信号生成部32は、オーバーサンプリング回路26U、26Vより出力される色差信号U1、V1を座標変換回路33に入力する。座標変換回路33は、上述したようなカラーキャンセル(色消し)用のパラメータ生成に使用された中心座標U0C、V0Cを原点にしたUV平面上にて、映像信号SV1の各画素の位置を検出する。なおこの検出処理は、上記(5)式及び(6)式について上述した演算処理と同一の演算処理を実行して距離rC及び角度θCを計算する。
続くルックアップテーブル34は、事前に、中央処理ユニット10により計算された各角度xにおけるクリップポイントCLIPC(x)、利得GAINC(x)を蓄積して形成され、座標変換回路33で計算された角度θCをアドレスにして対応するクリップポイントCLIPC(θC)、利得GAINC(θC)を出力する。これによりルックアップテーブル34は、中央処理ユニット10により事前に計算された各角度θCの特性より、映像信号SV1の各画素に対応するカラーキャンセルの特性を選択的に出力する。
図15A及び図15Bは、上述した図7A及び図7Bに示す二重の円形形状の境界K1C,K2Cまでの長さriC,roCと上記キー信号AMKとの関係を示す図である。ここで、カラーキャンセルの基準色となる中心のCOCから小径の円形形状の境界K1Cまでの長さriCを上記クリップポイントCLIPCとするとき、UV空間上における映像信号の各画素の位置についての上記中心COCまでの距離rMCに対応する上記キー信号AMKは、次の(12)式〜(14)式のようになる。
AMK=0 (rMC<CLIPC)……(12)
AMK=(rMC−CLIPC)×GAINC (CLIPC<rMC<roC)……(13)
AMK=1 (roC<rMC)……(14)
キープロセス回路35は、キープロセス回路30と同様にして、このルックアップテーブル34より出力されるクリップポイントCLIPC(θC)、利得GAINC(θC)に基づいて、座標変換回路33で計算された距離rCに対応するキー信号AMKを生成する。反転回路36は、この信号キー信号AMKを値1より減算して、カラーキャンセル用キー信号CCKを出力する。これによりカラーキャンセルキー信号生成部32は、オペータによりカラーキャンセル用に設定した2次元の領域に対応するキー信号AMKを生成する。
クロマキー信号生成部25において、減算回路37は、選択回路38より出力されるクロマキー用のキー信号KEYを値1より減算して背景用のキー信号1−KEYを出力し、選択回路38は、キープロセス回路30、35より出力されるキー信号MXK、AMKよりこのクロマキー用のキー信号KEYを生成する。このとき選択回路38は、オペレータの操作に応動してカラーキャンセルキー信号生成部32と連動して動作を切り換え、これによりユーザーの所望のクロマキー処理を実行する。
次に、図12のミクサー23Y、23U、23Vより出力される映像信号SV3について、これを輝度信号Y、色差信号U、Vにより表して、オペレータがカラーキャンセルの処理を選択しない場合、選択回路38は、キープロセス回路30より出力されるキー信号MXKをクロマキー用のキー信号KEYとして出力し、またカラーキャンセルキー信号生成部32は、値1のキー信号CCKを出力する。これによりクロマキー処理部5は、次式の関係式により表されるクロマキー処理を実行する。
Figure 0003870422
またオペレータが第1の動作モードによるカラーキャンセル処理を選択した場合、選択回路38は、キープロセス回路30より出力されるキー信号MXKをクロマキー用のキー信号KEYとして出力し、またカラーキャンセルキー信号生成部32は、上述の演算処理により生成したキー信号1−AMK(=CCK)を色差信号についてのみ出力する。これによりクロマキー処理部5は、次式の関係式により表されるクロマキー処理を実行する。
Figure 0003870422
なおここで、U0C、V0Cは、オペレータが事前に設定したカラーキャンセル用の基準色である。
この第1の動作モードによる処理は、被写体の縁や、煙、コップ等の半透明部分が青くなる(ブルーバックの場合)のを防ぐために、色差信号成分U1,V1から、カラーキャンセルの中心C0Cの色差信号成分U0C,V0Cを減算する。すなわち補色を加えている、これによって、前景画像の内の背景色(ブルーバックの場合は青)と同じ色を無色に変えている。ただし、前景画像全体にこのカラーキャンセル処理を施すと被写体の色まで変わってしまうので、カラーキャンセルを行う領域の指定が必要であり、この指定を行うための信号がカラーキャンセルキー信号CCKである。
さらにオペレータが第2の動作モードによるカラーキャンセル処理を選択した場合、選択回路38は、カラーキャンセル用のキー信号AMKをキー信号KEYとして出力し、カラーキャンセルキー信号生成部32は、上述の演算処理により生成したキー信号1−AMK(=CCK)を出力する。これによりクロマキー処理部5は、次式の関係式により表されるクロマキー処理を実行する。
Figure 0003870422
なおここでY0Cは、オペレータが事前に設定したカラーキャンセル用の基準色の輝度レベルである。またこのようなカラーキャンセルキー信号生成部32の動作の切り換えは、反転回路36の動作を切り換えて実行される。
この第2の動作モードは、アッドミックス(Add-mix)合成モードとも称され、この合成においては、前景画像に対してキーを掛ける処理(キーイング処理)を行わない。すなわち、前景画像に対しては、色を消したい部分のカラーキャンセルだけを行い、キーイング処理された背景画像を加算することで合成を行っている。これは、前景画像のブルーバック等の上に生じている被写体の影やその他のノイズ等の情報も全て残しながらカラーキャンセルも行いたい場合等に効果がある。
図16A〜図16Fは、このような第2の動作モード(アッドミックス合成モード)の処理を説明するための図である。
図16Aは、前景画像において、背景となるブルーバックBBの前に人物等の被写体SBが配され、この被写体SBの近傍に明るい部分BRや、影の部分SHが生じている例を示している。この前景画像の映像信号の所定の水平ラインgにおける輝度信号Y1を図16Bに示し、上記キー信号MXKを図16Cに示す。このキー信号MXKでキーイングされた映像信号、例えば輝度信号は、図16Cに示すように、ブルーバックBB上の影の部分SHや明るい部分BRも含めた全ての情報が消されて、被写体SBの情報のみが残っている。上記カラーキャンセルキー信号CCKは、例えば図16Eに示すように、上記キー信号MXKを反転(1より減算)したものよりも被写体領域側が狭い信号となっている。図16Fは、上記アッドミックス合成のためのY1−CCK・Y0Cの計算を行って得られる信号(映像信号の輝度信号成分)を示しており、色差信号成分についても同様である。この図16Fに示すように、ブルーバックBB上のノイズや、明るい部分BRが残ったままで合成されることが分かる。
次に、クロマキー処理の条件設定について説明する。
図17は、このようにして実行されるクロマキー処理の条件設定時における中央処理ユニット10の処理手順を示すフローチャートである。中央処理ユニット10は、モニタ9にキーパラメータ設定画面及びプレビュー画面をウインドウにより表示し、これら画面を介して実行されるオペレータの操作に応動してクロマキー処理の条件を受け付ける。なおキーパラメータ設定画面は、クロマキー処理の条件設定用の画面であり、プレビュー画面は、静止画を使用したクロマキー処理の確認用画面である。中央処理ユニット10は、これらキーパラメータ設定画面及びプレビュー画面自体に登録されたイベントをオペレータの操作に応動して実行することにより、又はこれらの画面のボタン等に登録されたイベントをオペレータの操作に応動して実行することにより、以下に説明する各処理を実行する。
すなわち所定のメニュー画面において、オペレータが編集対象の素材を指定してクロマキーの処理を選択すると、中央処理ユニット10は、ステップSP1からステップSP2に移り、全体の動作を制御してキーパラメータ設定画面及びプレビュー画面をモニタ9に表示する。
続いて中央処理ユニット10は、ステップSP3に移り、中心色C0(図6)の入力を受け付け、続くステップSP4において、この中心色C0を基準にしてディフォルト値による代表点P0〜P25(図6)を設定する。続いて中央処理ユニット10は、ステップSP5に移り、これら中心色C0、代表点P0〜P25によりプレビュー画面を更新した後、続くステップSP6においてオペレータがパラメータ設定完了の操作子を操作すると、ステップSP7に移ってこの処理手順を終了する。これにより中央処理ユニット10は、必要に応じて続いてルックアップテーブル29、34を設定する。
これに対してプレビュー画面を確認したオペレータがキーパラメータ設定画面を操作した場合、この場合オペレータの所望するクロマキー処理結果が得られていないことにより、中央処理ユニット10は、ステップSP6からステップSP8に移り、このキーパラメータ設定画面を介してオペレータの操作を受け付ける。これにより中央処理ユニット10は、中心色C0、代表点P0〜P25の更新を受け付けてクロマキー処理のパラメータを調整した後、ステップSP5に戻り、プレビュー画面を更新する。
図18は、このプレビュー画面102を示す略線図である。
このプレビュー画面102は、前景画像(Foreground)、背景画像(background)、キー信号画像(key)、第1〜第3の合成画像(Mix1〜Mix3)等により構成される。ここで、前景画像(Foreground)には、イン点及びアウト点により指定される編集対象の素材より、オペレータの選択した1フレームの静止画が割り当てられる。また背景画像(background)は、同様に、背景に割り当てる編集素材より、オペレータの選択した1フレームの静止画が割り当てられる。これに対してキー信号画像(key)は、設定された中心色C0、代表点P0〜P25により生成したキー信号を表示して形成される。また第1〜第3の合成画像(Mix1〜Mix3)は、この生成したキー信号によりそれぞれ上記(15)式、(16)式、(17)式の演算処理により形成される静止画が割り当てられる。
上記図1の中央処理ユニット10は、ハードディスク装置2より対応する前景画像及び背景画像をフレームバッファ3、4にロードし、上述したキー信号生成部6、画像合成部7における処理を演算処理により実行することにより、これらキー信号画像等を生成して表示する。これにより中央処理ユニット10は、中心色C0、代表点P0〜P25を設定変更する際に、適宣処理結果を確認できるようにプレビュー画面を形成し、使い勝手を向上するように成されている。また中央処理ユニット10は、この編集装置1に割り当てられた3種類のクロマキー処理について、処理結果を比較確認できるようにプレビュー画面102を形成し、オペレータの使い勝手を向上するようになされている。
さらにプレビュー画面102は、各画像の左側上部に、各画像の名称を示す表示が配置される。さらに各画像の右側上部に、各画像を表示画面全体に拡大表示するボタン(full)B1、専用モニタ装置に画像を表示するボタン(FB)B2が配置される。中央処理ユニット10は、これらのボタンB1、B2がマウス13によりクリックされると、各ボタンB1、B2に登録されたイベントを実行することにより、各画面を拡大表示し、また静止画を専用モニタに表示する。
図19は、上述したようなプレビュー画面の具体例を示す図である。
次に、図20は、キーパラメータ設定画面101を示す略線図である。このキーパラメータ設定画面101は、中心色設定部111、色空間表示部112、ベクトルスコープ表示部120により構成され、各表示部の操作により中心色C0、代表点P0〜P25を設定変更できるようになされている。
図21は、上記キーパラメータ設定画面の具体例を示す図である。
次に、図22は、上記図20のキーパラメータ設定画面101における中心色設定部111とクロマキー処理との関係を示す略線図である。この中心色設定部111においては、上記プレビュー画面102における前景画像と同一の静止画が前景画像(foreground)として表示される。この前景画像に隣接して中心色C0の表示領域ARCと、中心色C0の輝度レベルY、色相U、Vの表示領域が形成される。
上記図1の中央処理ユニット10は、前景画像(foreground)上においてマウス13の操作により短形領域ARC1が指定されると、この前景画像の表示領域に登録されたイベントの実行により、この短形領域ARC1の画像データをフレームバッファ3より読み出して輝度レベル、色素レベルノ平均値を算出し、これにより中心色C0の輝度レベルY0、色相U0、V0を算出する。更に算出した輝度レベルY0、色相U0、V0により中心色C0の表示領域ARCに中心色を表示し、また輝度レベルY、色相U、Vの表示領域に算出したレベルを表示する。
中央処理ユニット10は、さらにこの中心色C0を基準にしてディフォルト値により代表点P0〜P25を設定し、キー信号生成の基準となる2つの球形形状K1及びK2を3次元色空間上に設定する。なおこの場合中央処理ユニット10は、中心色よりそれぞれ一定の距離により代表点を設定する。
このようにして中心色C0を設定した後、記号×で示すように、マウス13により前景画像(foreground)上の所定位置がクリックされると、中央処理ユニット10は、同様に前景画像(foreground)に登録されたイベントの実行により、図23に示す処理手順を実行する。すなわち中央処理ユニット10は、ステップSP11からステップSP12に移り、前景画像(foreground)上でクリックされた座標を取得し、続くステップSP13において、このクリックされた位置の画像データをフレームバッファ3より読み出す。
続いて中央処理ユニット10は、この画像データの輝度レベルy、色差レベルu、vを計算し、続くステップSP14において、次式の演算処理を実行する。これにより中央処理ユニット10は、クリックされた位置の画素について、中心色C0(Y0、U0、V0)からの距離dを算出する。
d=((y−Y0)2+(u−U0)2+(v−V0)21/2…(18)
続いて中央処理ユニット10は、ステップSP15に移り、次式の演算処理を実行することにより、図24に示すように、中心色C0を原点にしてなるθ方向及びφ方向の角度p及びtを算出する。なおこのθ方向及びφ方向の角度p及びtは、U軸を基準にして半時計回りを正方向に設定して表現する。
Figure 0003870422
この一連の演算処理により、中央処理ユニット10は、中心色C0からクリックされた画素までのベクトルBを極座標により算出し、ステップSP16に移る。ここで中央処理ユニット10は、中心色の表示に隣接して、このようにしてクリックした画素の、輝度レベルy、色相u、v、中心色C0を基準にしたベクトルp、t、dを表示した後、ステップSP17に移ってこの処理手順を終了する。
これにより中央処理ユニット10は、中心色C0を設定した後、背景と置き換えたい部分等を適宣クリックして中心色C0との関係を簡易に把握できるようにキーパラメータ画面を形成し、使い勝手を向上するようになされている。なお、この第1の実施の形態において、中央処理ユニット10は、このようにして前景画像上でマウスがクリックされると、後述するベクトルスコープ表示部、色空間表示部において、対応する箇所にマーカーを表示し、これによっても使い勝手を向上できるようになされている。
ここで角度θ及びφからは、後述するベクトルスコープ表示部における操作において、何れの箇所を操作すれば、他の色合いの部分には影響を与えずに、対応する箇所だけ背景と置き換えることが可能か否か等を判断することができる。また距離情報dからは、キー信号の変化が切り換わるキーエッジの位置に対する相対的な関係を判断することができ、外球K1及び又は内球K2の大きさを可変してクロマキー処理の調整に役立てることができる。
さらに中心色設定部111においては(図22)、中心色C0の表示領域ARCの上側に、上述のステップSP6(図17)の判断処理に対応する了承のボタン(OK)B3が配置され、中央処理ユニット10は、このボタン(OK)がマウス13によりクリックされると、クロマキー処理の条件設定処理を終了する。
これに対して右下側には、外球K1及び内球K2についての変更モードの切り換えボタン(outer)B4、(inner)B5が配置される。ここでこの変更モードの切り換えボタンB4、B5は、オンオフ動作を切り換えるトルグスイッチにより構成され、このボタンB4、B5がマウス13によりクリックされてオン操作されると、赤色の表示が各ボタンB4、B5に形成されるようになされている。
中央処理ユニット10は、外球K1についての変更モードの切り換えボタンB4がオン操作されている場合、色空間表示部において、外球K1又は内球K2がマウス13で掴まれてドローイングされると、この操作に対応して外球K1の大きさが一様に拡大縮小するように、中心点C0を基準にして代表点P0〜P25の座標を変更する。また同様に、内球K2についての変更モードの切り換えボタンB5がオン操作されている場合、色空間表示部112において、外球K1又は内球K2がマウス13で掴まれてドローイングされると、この操作に対応して内球K1の大きさが一様に拡大縮小するように、中心点C0を基準にして代表点P0〜P25の座標を変更する。
これにより中央処理ユニット10は、マウス13によりクリックされた位置の情報表示y、u、v、p、t、dと併せて、簡易な操作により所望の処理結果を得ることができるように中心色設定部111を形成するようになされている。
さらに中心色設定部111においては、変更モードの切り換えボタン(inner)B5の下に、クロマキー処理の選択ボタンB6が配置される。ここで、このボタンB6は、トルグスイッチにより構成され、この編集装置1によるクロマキー処理を、上述の(15)〜(17)式に対応する処理より選択できるようになされている。
これらのボタンに隣接して、中心色設定部111は、リセットのボタン(rst)B7が配置される。ここでこのリセットのボタンB7がマウス13によりクリックされると、中央処理ユニット10は、代表点P0〜P25の座標を当初のディフォルト値にリセットする。これにより中央処理ユニット10は、条件を種々に変更しても簡易に初期状態に復帰できるように全体の動作を制御する。
図25は、ベクトルスコープ表示部120を示す略線図である。このベクトルスコープ表示部120は、第1〜第4の表示部121〜124と、各表示部に割り当てられた調整用ボタン等とから構成される。ここで第1〜第3の表示部121〜123は、U軸に対してそれぞれ−45度、0度、45度の角度で配置されたUY平面上の代表点を横切るように、Y軸に垂直な基準平面が設定され、この基準平面が内球K1、外球K2を横切る線分と、近接する前景画像の画素の投影画像とをそれぞれ表示して形成され、Y軸に沿った方向について、これら第1〜第3の表示部121〜123により前景画像の画素の分布を感覚的に把握できるようになされている。
すなわち図26に示すように、第1の表示部121においては、U軸に対して−45度の角度で配置されたUY平面上の代表点を横切るように、基準平面H1L及びH2Lを設定し、この基準平面H1L及びH2Lが内球K1、外球K2を横切る線分が表示される。さらにこの平面H1L及びH2Lを基準にして設定された所定の輝度レベル以下の画素を基準平面に投影した画像が表示される。このとき各画素は、基準平面H1L及びH2Lに対応した所定の輝度レベルに設定されて、各画素の色相により表示される。
これに対して図27に示すように、第2の表示部122においては、U軸上に配置された代表点を横切る基準平面HCを設定し、この基準平面HCが内球K1、外球K2を横切る線分が表示される。さらにこの基準平面Hを基準にして設定された所定輝度レベルの画素を基準平面に投影した画像が表示される。このとき各画素は、基準平面HCに対応した所定の輝度レベルに設定されて、各画素の色相により表示される。
また図28に示すように、第3の表示部123においては、U軸に対して45度の角度で配置されたUY平面上の代表点を横切る基準平面H1H及びH2Hを設定し、この基準平面H1H及びH2Hが内球K1、外球K2を横切る線分が表示される。さらにこの基準平面H1H及びH2Hを基準にして設定された所定の輝度レベル以上の画素を基準平面に投影した画像が表示される。このとき各画素は、基準平面H1H及びH2Hに対応した所定の輝度レベルに設定されて、各画素の色相により表示される。
なおこれら内球K1、外球K2を横切る線分は、それぞれ代表点との対応関係を容易に把握できるように、また代表点に対応する箇所をマウス13により掴んで代表点の位置を容易に変更可能なように、8角形形状に表示される。
さらに第1から第3の表示部121〜123の下側には、中心色C0から代表点までの距離を調整する1対のボタンB7A及びB7Bと、この距離を調整表示するスクロールバーB8が配置される。さらにスクロールバーB8の上部には、中心色C0から代表点までの距離が数字により表示される。これにより中央処理ユニット10は、中心色設定部に表示される中心色C0からの距離d等との対比により、これらのボタン等を操作して簡易にクロマキーの特性を調整できるようになされている。
さらに第1から第3の表示部121〜123の下側には、内球K1及び外球K2を選択する選択ボタンB9A及びB9Bが配置され、その下側に、各表示部における内球K1又は外球K2の代表点に対応して8個のボタンB10A〜B10Hが配置される。中央処理ユニット10は、この選択ボタンB9A及びB9Bの選択操作に応動して各選択ボタンB9A及びB9Bに赤色の表示を形成すると共に、内球K1又は外球K2について、この選択ボタンB9A及びB9Bの下側に配置されたボタンの操作により、またボタンB7A、B7B、スクロールバーB8の操作により、代表点の変更を受け付け可能な状態に切り換える。
すなわち中央処理ユニット10は、例えば外球K2側のボタンB9Bがマウス13によりクリックされた後、ボタンB10A〜B10Hの何れかがオン操作されると、このオン操作されたボタンB10A〜B10Hに対応する外球K2の代表点について、ボタンB7A、B7Bの操作に応動して、又はスクロールバーB8内のボタンの操作に応動して中心色C0から代表点までの距離を変化させる。これにより例えば図28において破線により示すように、外球K2を構成する代表点の位置が変化し、外球K2が調整されることになる。
さらに中央処理ユニット10は、各表示部において、各代表点に対応する表示箇所がマウス13により掴まれて操作されると、この操作に応動して、同様に代表点の位置を変化させ、各表示部の表示を切り換える。また同様に、色空間表示部における操作により内球K1または外球K2の代表点が変更されると、各表示部における内球K1及び外球K2の表示を変更する。
これに対して図29に示すように、第4の表示部124は、中心色C0を通るUY平面に平行な基準平面H3を設定し、この基準平面H3が内球K1、外球K2を横切る線分が表示される。さらにこの基準平面H3に次元色空間の画素が投影表示される。この時各画素は、所定の輝度レベルに設定されて、白色により表示される。
さらに第4の表示部124の下側には、中心色C0から代表点までの距離を調整する1対のボタンB7A及びB7Bと、この距離を調整表示するスクロールバーB8が配置される。さらにスクロールバーB8の上部には、中心色C0から代表点までの距離が数字により表示される。これにより中央処理ユニット10は、中心色設定部に表示される中心色C0からの距離d等との対比により、これらのボタン等を操作して簡易にクロマキーの特性を調整できるようになされている。
さらに第4の表示部124の下側には、内球K1及び外球K2を選択する選択ボタンB9A及びB9Bが配置され、その下側に、内球K1又は外球K2のY軸上の代表点に対応する2個のボタンB10A、B10Bが配置されるようになされている。中央処理ユニット10は、この選択ボタンB9A及びB9Bの選択操作に応動して各選択ボタンB9A及びB9Bに赤色の表示を形成すると共に、内球K1又は外球K2について、この選択ボタンB9A及びB9Bの下側に配置されたボタンB10A、10Bの操作により、またボタンB7A、B7B、スクロールバーB8の操作により、代表点の変更を受け付けるようになされている。
なお中央処理ユニット10は、第4の表示部124においても、各代表点に対応する表示箇所がマウス13により掴まれて操作されると、この操作に応動して、同様に代表点の位置を変化させ、表示部の表示を切り換える。また同様に、色空間表示部112における操作により内球K1又は外球K2の代表点が変更されると、表示部における内球K1及び外球K2の表示を変更する。
図30は、このようにして内球K1及び外球K2を表示する際に、中央処理ユニット10における前景画素の投影処理の処理手順を示すフローチャートである。中央処理ユニット10は、内球K1、外球K2がディフォルト値により設定されると、また色空間表示部112、ベクトルスコープ表示部120における操作により代表点の位置が変更されると、さらには改めて中心色設定部において中心色が選択された場合、このベクトルスコープ表示部120に登録されたイベントを遂次実行することにより、この処理手順を実行する。
すなわち中央処理ユニット10は、ステップSP21からステップSP22に移り、明度(輝度レベル)の区分を設定する。ここで図31に示すように、中央処理ユニット10は、第1〜第3の表示部121〜123に設定した基準平面H1L、H2L、HC、H1H、H2Hの各輝度レベルY1L、Y2L、YC、Y1H、Y2Hを基準にして、輝度レベルのしきい値L1L、LYHを設定し、これにより第1〜第3の表示部121〜123に対応する3つの輝度レベルの区分lo、mid、highを設定する。
続いて中央処理ユニット10は、ステップSP23に移り、各区分high、mid、loについて明度(輝度レベル)の基準値YH、YC、YLを設定する。なおこの実施の形態では、第1の表示部121に対応する基準値YLは、この第1の表示部121について設定した基準平面H1L、H2Lの輝度レベルY1L、Y2Lの平均値になるように、また第3の表示部123に対応する基準値YHは、この第3の表示部123について設定した基準平面H1H、H2Hの輝度レベルY1H、Y2Hの平均値になるように設定される。さらにしきい値LYL、LYHは、それぞれ基準値YL、YC及び基準値YC、YHの平均値になるように設定される。
続いて中央処理ユニット10は、ステップSP24に移り、第1〜第3の表示部の表示を黒色により塗り潰すことにより、これら第1〜第3の表示部121〜123を初期化した後、ステップSP25に移る。ここで中央処理ユニット10は、前景画像の1画素について、フレームバッファ3より画像データをロードする。
さらに中央処理ユニット10は、続くステップSP26において、このロードした画像のデータの輝度レベルを基準にして、この画像データが何れの区分high、mid、loに属するか判断する。さらに中央処理ユニット10は、この判断結果より、この画像データを何れかの区分high、mid、loに振り分け、この画像データの輝度レベルを振り分けた区分の基準値に設定する。
続いて中央処理ユニット10は、ステップSP27に移り、振り分けた区分に対応する表示部に、この画像データを表示する。このとき中央処理ユニット10は、各表示部の水平方向及び垂直方向をU軸及びV軸に設定して、この画像データの色相に対応する位置を選択し、この位置に画像データを点表示する。さらにこのときステップSP23で設定した基準値による輝度レベルにより、またこの画像データの色相により点表示する。
このようにして1の画素について、点表示を完了すると、中央処理ユニット10は、ステップSP28に移り、前景画像の全画素について、点表示を完了したか否か判断し、ここで否定結果が得られると、ステップSP25に戻る。これにより中央処理ユニット10は、ステップSP25−SP26−SP27−SP28−SP25の処理手順を繰り返し、前景画像を形成する各画素についてその輝度レベルに応じて対応する表示部に各画素を表示し、全ての画素について表示を完了すると、ステップSP29に移る。
ここで中央処理ユニット10は、キー範囲に関する情報を取得する。ここでこのキー範囲に関する情報は、上述の各基準平面H1L、H2L、HC、H1H、H2Hが内球K1及び外球K2を横切る線分の座標データであり、中央処理ユニット10は、この情報を取得すると、ステップSP30に移って、この線分を各表示部に表示する。
続いて中央処理ユニット10は、ステップSP31に移り、ここでキー範囲(すなわち代表点の位置)が変更されたか否か判断し、ここで肯定結果が得られると、ステップSP22に戻る。これにより中央処理ユニット10は、代表点が変更されると、改めて表示部の表示を切り換え、これにより代表点により形成される内球K1及び外球K2に対する各画素の分布を容易に判断できるようにする。
これに対してステップSP31において否定結果が得られると、中央処理ユニット10は、ステップSP31からステップSP32に移り、中心色C0が変更されたか否か判断する。ここで肯定結果が得られると、中央処理ユニット10は、ステップSP22に戻り、改めて各表示部の表示を切り換える。これにより中央処理ユニット10は、中心色C0を変更した場合でも、この変更に伴って変化する内球K1及び外球K2に対する各画素の分布を容易に判断できるようにする。
これに対してステップSP32において否定結果が得られると、中央処理ユニット10は、ステップSP32からステップSP33に移ってこの処理手順を終了する。
なお中央処理ユニット10は、中心色設定部111において、前景画像がマウス13によりクリックされると、中心色設定部111における角度p、t等の表示に伴い、これら第1〜第4の表示部121〜124においても、対応する位置にマーカーを表示する。これによっても編集装置1では、前景画像の各画素と、内球K1及び外球K2の関係を容易に把握できるようになされ、その分使い勝手を向上できるようになされている。
図32は、色空間表示部112を示す略線図である。この色空間表示部112は、3次元色空間に配置した内球、外球、前景画像の画素等を所定の方向から見た画像を表示する画像表示部115と、この画像の内容、視点等を変更するボタン等により構成される。
すなわちこの色空間表示部112の左上部には、UV平面を指定するボタン(uv)、YU平面を指定するボタン(yu)、YV平面を指定するボタン(yv)が配置される。中央処理ユニット10は、図33に示すように、所定の方向に設定された視点より色空間を見てなる画像を画像表示部115に表示し(図33の(A))、各ボタン(uv)、(yu)、(yv)が操作されると、各ボタンに登録されたイベントの実行によりそれぞれUV平面、YU平面、YV平面を垂直方向より見た画像を表示する(図33の(B)〜(D))。
また色空間表示部112には、UV平面を指定するボタン(uv)に隣接して回転操作のボタン(rot)が配置される。中央処理ユニット10は、図34に示すように、所定の方向より色空間を見てなる画像を画像表示部115に表示した状態で(図34の(A))、このボタン(rot)がオン操作されると、この表示の状態で続くマウス13の操作により指定されるY軸、U軸、V軸を回転中心軸に設定する。さらに中央処理ユニット10は、この回転中心軸を中心にして、矢印により示すように、マウス13の操作に応動して色空間を回転させて表示する(図34の(B)〜(D))。これにより中央処理ユニット10は、必要に応じて種々の方向より色空間を眺めて、内球K1、外球K2と前景画像の各画素との関係を容易に把握できるように、色空間表示部112を形成する。
また色空間表示部112には、続いて内球K1を指定するボタン(in)、外球K2を指定するボタン(out)が配置される。中央処理ユニット10は、このボタン(in)又は(out)がマウス13によりオン操作されると、画像表示部115にそれぞれ内球K1、外球K2を表示する。続いて色空間表示部112には、内球K1及び外球K2の表示態様を切り換えるボタン(mix)が配置される。中央処理ユニット10は、このボタン(mix)がマウス13により操作されると、不透明の面による表示と半透明の面による表示との間で、内球K1及び外球K2の表示を切り換える。これにより中央処理ユニット10は、必要に応じて内球K1、外球K2の表示を切り換えて、またこの表示態様を切り換えて、前景画像の各画素と内球、外球との関係を容易に確認できるように色空間表示部112を形成する。
続いて色空間表示部112には、内球K1及び外球K2の表示形態を切り換えるボタン(Wire)が配置される。中央処理ユニット10は、このボタン(Wire)がオフ操作されると、内球K1及び外球K2を面により表示する。またボタン(Wire)がオン操作されると、隣接する代表点を線分により結んだワイヤーフレームモデルにより内球K1及び外球K2を表示する。これにより中央処理ユニット10は、必要に応じて内球K1及び外球K2の表示形態を切り換えて、前景画像の各画素と内球、外球との関係を容易に確認できるように色空間表示部112を形成する。
さらに色空間表示部112には、続いて色空間の表示を微少角度ずつ順次変化させるボタン(mov)が配置される。中央処理ユニット10は、このボタン(mov)が操作されると、画像表示部115の垂直方法に対応する仮想の回転軸を色空間に設定して、この回転軸を中心にして色空間を順次所定角度づつ変位させて色空間を表示する。これにより中央処理ユニット10は、順次視点を変えて、前景画像の各画素と内球、外球との関係を容易に確認できるように色空間表示部112を形成する。
続いて色空間表示部112には、前景画像の各画素の表示形態を切り換えるボタン(line)が配置される。中央処理ユニット10は、このボタン(line)がオフ操作されると、前景画像の各画素を点像により色空間にマッピングして表示する。これに対してこのボタン(line)がオン操作されると、前景画面上にて各画素の点像を、ラスタ操作順に明るい線により結んで表示する。これにより中央処理ユニット10は、必要に応じて各画素の表示形態を切り換えて、前景画像の各画素と内球、外球との関係を容易に確認できるように色空間表示部112を形成する。
色空間表示部112には、YU平面を指定するボタン(yu)に隣接して、前景が像の画素について、表示非表示を切り換えるボタン(prv)が配置される。中央処理ユニット10は、このボタン(prv)がオフ操作されると、前景が像の画素の表示を中止する。なおこの画素の表示は、各画素の対応する色相、輝度レベルにより表示され、これにより視点を変えて色空間を眺めても、内球等と各画素の関係を容易に把握できるようになされている。
さらに色空間表示部112には、続いてUV軸の表示、非表示を切り換えるボタン(cur)が配置される。中央処理ユニット10は、このボタン(cur)のオンオフ操作に応動してU軸及びV軸の表示を切り換える。また色空間表示部112には、続いて色相のリングRについて、表示、非表示を切り換えるボタン(ring)が配置される。ここで中央処理ユニット10は、UV平面上に、各位置の色相を色彩により示す色相のリングRを配置するようになされ、このボタン(cur)のオンオフ操作に応動してこのリングRの表示を切り換える。これにより中央処理ユニット10は、また視点を変化されて色空間を眺めても、視覚的に、3次元色空間上における内球、外球と前景画像との関係を把握できるように、色空間表示部を形成112する。
さらに色空間表示部112には、続いてマーカーの表示、非表示を切り換えるボタン(col)が配置される。中央処理ユニット10は、このボタン(col)がオン操作されると、カラーバーで表される各色の箇所に箱型のマーカーMを表示する。これにより中央処理ユニット10は、通常の映像機器の使用に馴染んだオペレータについても、3次元色空間上における内球、外球と前景画像との関係を容易に把握できるように、色空間表示部112を形成する。
さらに色空間表示部112には、続いてY軸の表示、非表示を切り換えるボタン(Y)が配置される。中央処理ユニット10は、このボタン(Y)のオンオフ操作に応動してY軸の表示を切り換える。また色空間表示部には、続いて画像表示部115の表示を拡大縮小するボタン(scope)が配置される。中央処理にユニット10は、このボタン(scope)が操作されると、続くマウス13の操作に応動して、色空間の表示を拡大縮小する。
また色空間表示部112には、続いて前景画像の画素の表示について、画素数を配慮した表示モードに切り換えるボタン(rud)が配置される。中央処理ユニット10は、このボタン(rud)がオフ操作されている場合、各画素の輝度レベル及び色相に応じて色空間に各画素の点像を形成する。これにより中央処理ユニット10は、この場合、同一の色相及び輝度レベルによる複数画素については、同一の箇所に重ねて点像を形成する。これに対してボタン(rud)がオン操作されると、所定の乱数により、各画素の輝度レベル、色相を補正して表示する。これにより中央処理ユニット10は、同一の色相及び輝度レベルによる複数画素については、点像の表示位置を微妙にずらして、画素数に応じた面積を有するように点像を表示し、視覚的に、このような画素数の集中を容易に知覚できるように色空間表示部112を形成する。
このようにして表示するにつき、色空間表示部112は、左側に、表示の程度を過偏するスクロールバーが配置される。このうち最下段のスクロールバー(a)が操作されると、中央処理ユニット10は、画像表示部115における全体の明るさを可変し、続くスクロールバー(rud)が操作されると、ボタン(rud)が操作された際における乱数の最大値を可変する。また中央処理ユニット10は、続くスクロールバー(hnd1)が操作されると、内球K1及び外球K2に配置した代表点の表示、中心色の表示を拡大縮小する。
中央処理ユニット10は、画像表示部115において、このようにスクロールバー(hnd1)の操作により大きさを可変する代表点の表示、中心色の表示がマウス13により掴まれて移動されると(図4)、この移動に伴い、代表点、中心色を変更する。このとき中心色設定部において、変更モードの切り換えボタン(outer)B4,(inner)B5がオン操作されている場合、何れか1箇所の代表点の変更による半径の変化に対応するように、内球K1又は外球K2の各代表点の半径を可変し、これにより内球K1又は外球K2全体の大きさを可変する。なお中心色が変更された場合は、この中心色に対する各代表点の関係が維持されるように、各代表点についても変更する。
またベクトルスコープ表示部において代表点が変更されると、中央処理ユニット10は、この変更に対応して色空間表示部112における内球K1及び外球K2の表示を変更する。また中心色設定部111により中心色が変更されると、画像表示部115において中心色が変更された場合と同様に、内球K1及び外球K2の表示を切り換える。さらに中心色設定部111において、何れかの画素がマウス13のクリックにより選択されると半径d等の表示に対応して、この画像表示部115にマーカーを表示する。
次に、再び上記図1を参照しながら、本発明に係る第1の実施の形態の動作について説明する。
図1の編集装置1は、編集処理対象の映像信号SV1、SV2がハードディスク装置2に記録された後、これらの映像信号SV1、SV2がハードディスク装置2に記録された後、これらの映像信号SV1、SV2により編集リストが作成され、さらにこの編集リストに従って映像信号SV1、SV2が編集処理されてハードディスク装置2に記録される。
このような編集リストの作成時等において、編集装置1は、オペレータがクロマキーの処理を選択すると、モニタ9にキーパラメータ設定画面及びプレビュー画面が表示され(図25及び図18)、ハードディスク装置2より対応する画像データがフレームバッファ3及び4に入力されてこのキーパラメータ設定画面及びプレビュー画面にオペレータの選択した前景画像、背景画像が静止画により表示される。
さらに編集装置1は、このキーパラメータ設定画面の前景画像において(図25)、マウス13の操作によりオペレータが背景画像に割り当てる領域の一部を短形形状に指定すると、この領域に対応する画像データがフレームバッファ3より読み出されて平均値化され、クロマキー処理の中心色C0,(Y0、U0、V0)が決定される。この平均値化の処理により、編集装置1は、ノイズ等の影響を有効に回避して、また簡易な操作により、オペレータの所望する色を中心色に設定する。
さらにYUV空間上において、この中心色C0を中心にした45度の等角間隔で、この中心色C0から所定の距離だけ離間してなる2種類の代表点が設定され、この2種類の代表点により、中心色C0を中心にした二重の球形形状K1、K2がディフォルト値により設定される。これにより編集装置1は、キー信号KEYの特性を切り換える境界K1及びK2を標準の条件により設定する。
編集装置1は、このようにして中心色C0及び代表点を設定すると、この標準の条件によるクロマキー信号の画像、このクロマキー信号によりクロマキー処理した3種類の処理結果をプレビュー画面に表示する。これにより標準条件による処理結果を確認することができる。また色空間上におけるこの標準条件による内球K1、外球K2の位置、前景画像の各画素等が色空間表示部に表示される(図32)。さらに各代表点を基準にして設定された色空間上の平面に対して、内球K1及び外球K2を横切る線分、前景画像の各画素を投影表示してなる画像が、ベクトルスコープ表示部に表示される。
これによりこれらベクトルスコープ表示部、色空間表示部、中心色設定部により形成されるキー信号の特性設定用画面を介してキー信号の特性を種々に変更して、その処理結果をプレビュー画面により確認することができ、3次元色空間により前景画像の各画素を表現してキー信号を生成する場合でも、対話形式により、また感覚的に処理結果を把握して所望の処理結果を得ることができる。
すなわちこのベクトルスコープ表示部における表示において、編集装置1では、Y軸に垂直な3種類の基準平面に対して、内球K1及び外球K2を横切る線分、前景画像の対応する画素を投影表示することにより、この編集装置1を操作するオペレータにおいては、視覚的に、前景画像の色の分布を把握することができ、前景画像の各画素を3次元色空間上で表現してクロマキー処理するようにしても、簡易な操作により所望のクロマキー処理を実施することができる。
また、キー信号KEYの特性を切り換える境界K1及びK2が併せて表示されることにより、クロマキー処理により背景と置き換えられる範囲(内球K1の内側に概ね分布する画素でなる)、クロマキー処理により背景と置き換えられない範囲(外球K2の外側に概ね分布する画素でなる)を目視確認することができる。従ってオペレータにおいては、前景画素の各画素を3次元色空間上で表現してクロマキー処理するようにしても、処理結果をイメージしながら条件を設定することができ、使い勝手が向上される。
すなわちこのように設定した状態で、プレビュー画面を確認して所望の色がイメージ通りに背景画像と置き換えられていない場合、オペレータにおいては、このベクトルスコープ表示部における内球K1及び外球K2の線分の表示をマウス13を掴んで移動させることにより、代表点が変更されてクロマキー処理の条件が変更される(図28)。
また第1〜第4の表示部の下に配置されたボタンB7A、B7B、B10A〜B10H、スクロールバーB8の操作によっても、代表点が変更されてクロマキー処理の条件が変更される(図26〜図29)。
このとき、このオペレータの所望する色については、ベクトルスコープ表示部における第1〜第3の表示部において、各画素が、各画素の色相、基準の明度により表示されていることにより、また輝度レベルに関する第4の表示部については、白黒表示により形成されていることにより、オペレータにおいては、何れの部分について、内球K1及び外球K2の線分の表示をマウス13で掴んで移動させれば良いかを簡易かつ確実に判断してクロマキー処理の条件を変更することができる。
このとき中心色設定部において前景画像をマウス13によりクリックすると、このクリックした画素について、中心色より見た角度及び方向が表示され、中心色近傍の背景画像と置き換えられる領域との関係が数値により表示される。この関係は、ベクトルスコープ表示部の表示に対応するように、また代表点の設定に対応する極座標形式の位置情報p、t、dにより表示され(図22)、これによりベクトルスコープ表示部において、内球K1及び外球K2の何れの箇所をマウス13で掴んで移動させれば良いかを簡易かつ確実に判断してクロマキー処理の条件を変更することができる。
このとき単に内球K1及び外球K2の線分の表示をマウス13で掴んで移動させればクロマキー処理の条件を変更できることにより、使い勝手が向上される。
また第1〜第3の表示部の下に、この位置情報の表示に対応する形式によりボタンB7A、B7B、B10A〜B10H、スクロールバーB8が配置され、これらのボタンB7A、B7B、B10A〜B10H、スクロールバーB8によりキー信号設定用の情報でなる代表点設定を受け付けることにより、これらのボタンB7A、B7B、B10A〜B10H、スクロールバーB8の何れかを操作して簡易かつ確実にクロマキー処理の条件を変更することができる。
これらの場合に、色空間表示部において、前景画像の各画素、内球K1、外球K2を配置してなる3次元色空間を、所望の方向より眺めてなる画像が表示され、マウス13の操作により視点を種々に変更してこの表示が変更されることにより、必要に応じてこの色空間表示部を介して内球K1、外球K2、前景画像の各画素の関係を把握することもでき、この色空間表示部により確認してベクトルスコープ表示部の操作によりクロマキー処理の条件を変更することもできる。
このとき色空間表示部において、ボタンの操作に応動して、各画素、内球K1、外球K2の表示が切り換えられ、また色相を示すリングR、YUV軸等が表示され、さらには中心色設定部の前景画像における画素の指定に対応してマーカーが表示され、これらにより視覚的に、内球K1、外球K2、前景画像の各画素の関係を容易かつ正確に把握することができ、クロマキー処理の調整作業が簡略化される。
また色空間表示部においても、内球K1、外球K2の表面に配置された代表点、中心色の表示がマウス13により掴まれて移動されると、この移動に伴い代表点、中心色が変更され、これによりクロマキー処理の条件が変更される。
かくしてこのようにして代表点等を設定してプレビュー画面より所望のクロマキー処理結果が確認されると、編集装置1では、中心色設定部におけるクロマキー処理の選択、条件設定完了の操作により、続く処理が実行される。
すなわち編集装置1では、中央処理ユニット10の演算処理により、緯度φ及び経度θを順次変位させて、YUV空間上における原点C0から境界K1及びK2までの距離ri及びroが計算される(図9)。このとき編集装置では、緯度φ及び経度θをパラメータにした内挿補間演算処理により(上記(1)式及び(2)式)、距離ri及びroが計算される。さらにこれら計算結果より、クロマキー信号KEYの特性を規定するクリップポイントCLIP、利得GAINが計算される(図11A,図11B)。さらに編集装置1では、この計算したクリップポイントCLIP、利得GAINがキー信号生成部6に出力され、これにより簡易な演算処理により緯度φ及び経度θをアドレスにしてなるルックアップテーブル29(図2)が形成される。
編集装置1は、オペレータがカラーキャンセルの処理を選択した場合、カラーキャンセル用に設定した2重の境界より、同様にして、各経度θ毎に、カラーキャンセル用キー信号の特性を規程するクリップポイントCLIPC、利得GAINCが計算され、この計算したクリップポイントCLIPC、利得GAINCによりキー信号生成部6にカラーキャンセル処理用のルックアップテーブル34が形成される。
このようにしてルックアップテーブル29、34が形成された後、オペレータがプレビュー、編集開始を指示すると、編集装置1では、ハードディスク装置2より、前景画像の映像信号SV1と背景画像の映像信号SV2とがクロマキー処理部5に入力される(図1)。このうち前景画像の映像信号SV1は、キー信号生成部6のオーバーサンプリング回路26U、26Vにおいて(図2)、色差信号U1、V1がオーバーサンプリングされ、これにより輝度信号と同一のサンプリング周波数によるディジタル信号に変換される。
このように処理された映像信号SV1は、クロマキー信号生成部25の座標変換回路27において、中心色COを原点にしたUV座標平面上において、原点C0からの距離rmと、基準軸からの角度θが検出される。これにより映像信号SV1は、中心色COを原点にしてなるYUV空間上における各画素の位置と原点C0とを結ぶ線分Lを、UV平面上に投影してなる線分の長さrmと、YUV空間上における線分Lの経度θが検出される。
さらに映像信号SV1は、続く座標変換回路28において、座標変換回路27において検出された距離rmと、輝度信号レベルYとを基準にして、中心色COを原点にしてなるYUV空間上における各画素の位置について、緯度φ及び原点C0までの距離rMが計算される。
これにより映像信号SV1は、これら緯度φ及び経度θをアドレスにしてルックアップテーブル29がアクセスされ、これら緯度φ及び経度θに対応するクリップポイントCLIP、利得GAINがキープロセス回路30に設定される。これにより映像信号SV1は、このクリップポイントCLIP、利得GAINに基づいて、中心色COから距離rMに応じて値0から値1の範囲のキー信号MXKが生成される。
また映像信号SV1は、オーバーサンプリング回路26U及び26Vより出力される色差信号U1及びV1がカラーキャンセルキー信号生成部32の座標変換回路33に入力され、ここで各画素の色が、カラーキャンセル用の基準色C0C(U0C、VOC)を原点にしたUV平面上における角度θC及び距離rCにより検出される。さらに映像信号SV1は、この角度θCをアドレスにしてルックアップテーブル34がアクセスされ、この角度θCに対応するクリップポイントCLIPC、利得GAINCがキープロセス回路35に設定される。これにより映像信号SV1は、このクリップポイントCLIPC、利得GAINCに基づいて、カラーキャンセルの基準色C0Cから距離rCに応じて値0から値1の範囲のキー信号AMKが生成される。
これにより映像信号SV1は、中心色COを原点に設定したUV空間の距離rm及び緯度θを基準にしてキー信号MXKが計算され、簡易な演算処理でキー信号MXKが生成される。また角度θCをアドレスにして事前に設定したルックアップテーブル34をアクセスしてクリップポイントCLIPC、利得GAINCを設定することにより、短い処理時間によりキー信号AMKが生成される。さらにクリップポイントCLIPC、利得GAINCによりキー信号AMKの特性を規程することにより、割り算処理することなくキー信号AMKを生成することができ、その分処理時間が短縮される。
オペレータがカラーキャンセルの処理を選択しない場合、編集装置1では、カラーキャンセルキー信号生成部32より値1のキー信号CCKが出力され、これにより映像信号SV1は、カラーキャンセル回路20Y、20U、20V(図12)において何ら処理を受けることなく、続くキーヤー21Y、21U、21Vに入力される。ここで映像信号SV1は、クロマキー信号生成部25より出力されるキー信号KEY(MXK)により重み付けされた後、続くミクサー23Y、23U、23Vにおいて、キーヤー22Y、22U、22Vより出力される映像信号SV2と加算される。このとき映像信号SV2においては、キーヤー22Y、22U、22Vは、キー信号1−KEY(1−MXK)により重み付けされ、これにより上記(15)式により表されるクロマキー処理した映像信号SV3がミクサー23Y、23U、23Vより出力される。
これに対してオペレータが第1のカラーキャンセル処理を選択した場合、編集装置1では、カラーキャンセルキー信号生成部32より色差信号についてキー信号CCK(1−AMK)が出力され、これにより映像信号SV1は、カラーキャンセル回路20Y、20U、20Vにおいて、色差信号U1、V1がこのキー信号CCKにより重み付けされた後、続くキーヤー21Y、21U、21Vに入力される。ここで映像信号SV1は、クロマキー信号生成部25より出力されるキー信号KEY(MXK)により重み付けされ、続くミクサー23Y、23U、23Vにおいて、キー信号1−KEY(1−MXK)により重み付けされた映像信号SV2と加算され、これにより上記(16)式により表されるクロマキー処理した映像信号SV3がミクサー23Y、23U、23Vより出力される。
またオペレータが第2のカラーキャンセル処理を選択した場合、映像信号SV1は、カラーキャンセル回路20Y、20U、20Vにおいてキー信号CCK(1−AMK)により重み付けされた後、続くキーヤー21Y、21U、21Vにおいてキー信号KEY(AMK)により重み付けされる。さらに映像信号SV1は、続くミクサー23Y、23U、23Vにおいて、キー信号1−KEY(1−AMK)により重み付けされた映像信号SV2と加算され、これにより上記(17)式により表されるクロマキー処理した映像信号SV3がミクサー23Y、23U、23Vより出力される。
このようにして前景画像と背景画像とを合成してなる映像信号SV3においては、映像信号SV1の輝度信号レベル、色差信号レベルを基準にしてキー信号MXKを生成したことにより、例えば明るい青色と暗い青色とを判別してキー信号MXKが生成されることになり、これにより違和感の無い、高品位の合成画像を得ることができる。
以上説明したような本発明に係る第1の実施の形態の効果を説明する。
以上の構成を有するキー信号生成装置によれば、前景画像より抜き出す色の中心色を原点とした三次元のYUV色空間において、前景画像の各画素の位置を極座標により表現し、この極座標における原点からの距離RMに応じてキー信号KEY(MXK)を生成することにより、簡易な構成で、前景画像の輝度をも基準にしてキー信号KEY(MXK)を生成することができる。これにより例えば明るい青色と暗い青色とを判別してキー信号MXKを生成するとができ、違和感の無い、高品位の合成画像を得ることができる。
さらにこのとき原点C0を囲むように境界K1及びK2を設定し、この境界K1及びK2に対する各画素の位置に応じてキー信号KEYを生成することにより、この境界K1及びK2を種々に変更して、クロマキーの特性を自由に設定変更することができ、その分使い勝手を向上することができる。
またルックアップテーブルにより各緯度及び経度におけるクロマキーの特性を検出した後、この検出した特性に基づいてキー信号KEYを生成したことにより、簡易かつ短時間でキー信号KEYを生成することができる。
さらにこの特性をクリップポイント及び利得により設定したことにより、その分キー信号KEY生成に要する演算処理を簡略化することができる。
またUV平面に、中心色COと各画素とを結ぶ線分を投影してなる距離rm及び角度θを検出した後、緯度φ、経度θ、距離rMを検出したことにより、簡易な演算処理により、YUV色空間上における各画素の位置を極座標により表現することができ、その分キー信号生成に要する時間を短縮することができる。
さらにこのとき境界K1及びK2を各26個の点により表現し、これらの点群の座標値を補間演算処理してルックアップテーブルを形成したことにより、簡易な演算処理により境界K1及びK2を種々に変形してクロマキー処理の条件を種々に変更することができ、さらには簡易な演算処理によりルックアップテーブルを形成することができる。
また輝度信号レベル、色差信号レベルを基準にして三次元の色空間を形成したことにより、この種の編集装置で処理するディジタル信号形式の映像信号(例えばいわゆるD1フォーマット)を簡易に処理してキー信号を生成することができる。
さらにこれらの構成に加えて、同様の処理により色消し用のキー信号を生成したことにより、簡易かつ短時間で、高品位の合成画像を生成することができる。
また、上述の構成を有する編集装置によれば、キー信号による処理結果と、キー信号の特性設定用画面とを表示することにより、処理結果をリアルタイムで確認して対話形式によりキー信号の特性を変更することができる。また感覚的に処理結果を把握して必要に応じて細かくな調整作業を実行でき、これらにより前景画像の各画素を3次元色空間上で表現してクロマキー処理するようにしても、簡易な操作で所望の処理を実行することができる。
このとき処理結果を、前景画像、背景画像、キー信号画像と共に表示したことにより、これらの画像間の比較により処理の内容を視覚的に把握することができ、その分調整制度を向上することができる。
また3次元色空間を所望の視点より眺めた色空間表示部と、3次元空間を所定の基準平面に投影してなるベクトルスコープ表示部とにより特性設定用の画面を構成したことにより、必要に応じて何れかの画面を介してキー信号の特性を変更することができ、これにより3次元色空間上で表現してクロマキー処理するようにしても、使い勝手を向上することができる。
またこれらに加えて、スクロールバーによる操作子等によっても代表点を変更してキー信号の特性を変更できることにより、数値により処理対象の画素を把握してキー信号の特性を変更することもできる。
次に、本発明に係る第2の実施の形態について説明する。
この第2の実施の形態に係る編集装置は、中央処理ユニットにおける処理手順が異なる以外、第1の実施の形態と同一に構成される。ここでこの実施の形態においては、第1の実施の形態に係るキーパラメータ設定画面の中心色設定部に、クロマキー処理条件の自動設定ボタンが配置される。ここでこの自動設定ボタンは、内球K1の代表点と、外球K2の代表点とについて配置される。
中央処理ユニットは、この自動設定ボタンに関する処理が異なる以外、第1の実施の形態に係る編集装置1の中央処理ユニット10と同一の処理手順を実行する。ここで中央処理ユニットは、この内球K1又は外球K2の代表点についての自動設定ボタンがマウス13により操作された後、前景画像がマウス13によりクリックされると、図35に示す処理手順を実行することにより、各クリックされた画素を背景画像と置き換えるように、又は背景画像と置き換えないように、代表点の位置を変更する。
すなわち中央処理ユニットは、ステップSP40からステップSP41に移り、クリックされた座標を取得し、このクリックされた位置の画像データをフレームバッファ3より読み出す。続いて中央処理ユニット10は、この画像データの輝度レベルy、色差レベルu、vを検出し、この検出結果より上記(18)式〜(20)式の演算処理の実行して中心色C0(Y0、U0、V0)からの距離d、中心色C0を原点にしてなるθ方向及びφ方向の角度p及びtを算出する。
続いて中央処理ユニットは、ステップSP42に移り、この検出した角度p及びtより、所定の角度範囲内に代表点が存在するか否か判断する。ここで角度p及びtに近い角度θ及びφでなる代表点が存在する場合、中央処理ユニットは、ステップSP43に移り、この近傍の代表点が存在する場合、中央処理ユニットは、ステップSP43に移り、この近傍の代表点の座標値を変更する。すなわち中央処理ユニットは、オペレータが内球K1の代表点についての自動設定ボタンを操作した場合、ステップSP41で計算した中心色C0(Y0、U0、V0)からの距離dに対して、所定値だけ中心色C0(Y0、U0、V0)からの距離が大きくなるように、対応する代表点の距離を変更する。またオペレータが外球K2の代表点についての自動設定ボタンを操作した場合、ステップSP41で計算した中心色C0(Y0、U0、V0)からの距離dに対して、所定値だけ中心色C0(Y0、U0、V0)からの距離が小さくなるように、対応する代表点の距離を変更する。
このようにして代表点を変更すると、中央処理ユニットは、ステップSP44に移り、再度前景画像がクリックされたか否か判断し、ここで肯定結果が得られるとステップSP41に戻る。これに対してステップSP42において否定結果が得られると、中央処理ユニットは、ステップSP46に移り、角度p及びtに近い角度θ及びφを有してなる近傍4点の代表点について、次式の演算処理により表される中心色C0(Y0、U0、V0)からの距離r(φ,θ)が、ステップSP43において設定した条件に対応するように、これら近傍4点の代表点の座標を変更する。
Figure 0003870422
すなわちこの場合中央処理ユニットは、オペレータが内球K1の代表点についての自動設定ボタンを操作した場合、ステップSP41で計算した中心色C0(Y0、U0、V0)からの距離dに対して、中心色C0(Y0、U0、V0)からの距離が大きくなるように値xを設定して、これら近傍4点の代表点の距離を変更する。またオペレータが外球K2の代表点についての自動設定ボタンを操作した場合、ステップSP41で計算した中心色C0(Y0、U0、V0)からの距離dに対して、所定値だけ中心色C0(Y0、U0、V0)からの距離が小さくなるように、値xを設定してこれら近傍4点の代表点の距離を変更する。
これにより中央処理ユニットは、近傍する4点の代表点を等しい距離xだけ変更した後、ステップSP44に移る。これにより中央処理ユニットは、オペレータの操作に応動して順次代表点の座標を変更し、オペレータの操作が完了すると、ステップSP44からステップSP47に移ってこの処理手順を終了する。
以上説明した第2の実施の形態の効果を説明する。
図35に示すように、ユーザーの操作に応動して代表点を変更することによりキー信号の特性を自動的に設定する場合でも、処理結果を表示し、また特性設定用画面を表示することにより、処理結果をリアルタイムで確認して必要に応じて細かな調整作業を実行できることにより、前景画像の各画像の各画素を3次元色空間上で表現してクロマキー処理するようにしても、簡易な操作で所望の処理を実行することができる。
次に、他の実施の形態について説明する。
上述の実施の形態においては、クロマキー処理用の境界を26個の点により表現する場合について述べたが、本発明はこれに限らず、例えば30度の等角間隔により点を設定する場合、さらには不等角間隔により点を設定する場合等、必要に応じて種々の個数の点により境界を表現することができる。
さらに上述の実施の形態においては、二重の略球形形状によりクロマキー用の境界を設定する場合について述べたが、本発明はこれに限らず、例えば3重に境界を設定して、中間の境界を基準にしてクロマキー処理の特性を一段と細かく設定する場合等にも適用することができる。
また上述の実施の形態においては、事前に、緯度及び経度を変化させて境界までの距離を計算し、この計算結果よりルックアップテーブルを形成してキー信号を生成する場合について述べたが、本発明はこれに限らず、前景画像の各画素に対応して境界までの距離を順次計算し、これによりキー信号を作成してもよい。また映像信号においては、隣接する画素間で同一の輝度信号レベル、色差信号レベルが連続する場合が多いことにより、このように逐次境界までの距離を計算する場合に、一度計算した緯度及び経度については、この計算結果を利用するようにしてもよい。
さらに上述の実施の形態においては、緯度及び経度を基準にしてルックアップテーブルをアクセスすることにより、前景画像の全画素について、中心色からの距離に応じて逐次キー信号レベルを設定する場合について述べたが、本発明はこれに限らず、前景画像よりサンプリングした一部画素についてのみ、ルックアップテーブルのアクセスにより、又は演算処理によりキー信号レベルを検出し、例えば補間演算処理等により、これらのキー信号レベルより他の画素についてのキー信号レベルを設定する場合にも広く適用することができる。
また上述の実施の形態においては、抜き出す色の中心色を原点にしたYUV色空間により前景画像の各画素を表現してキー信号を生成する場合について述べたが、本発明はこれに限らず、YUV色空間に代えて、例えば赤色、青色、緑色の色信号レベルを基準にした色空間により前景画像の各画素を表現してもよい。このようにすれば、これらの色信号により映像信号を処理する種々の機器に接続して、簡易な構成によりキー信号を生成することができる。
さらに上述の実施の形態においては、クロマキー用のキー信号に加えて色消し処理用のキー信号を生成する場合について述べたが、本発明はこれに限らず、クロマキー用のキー信号だけを生成する場合、さらには他の編集用のキー信号を併せて生成する場合にも広く適用することができる。
また上述の実施の形態においては、キー信号を生成すると共に、生成したキー信号により画像合成する場合について述べたが、本発明はこれに限らず、生成したキー信号をスイッチャー等に出力する場合にも広く適用することができる。
さらに上述の実施の形態においては、映像信号により構成される連続する画像をクロマキー処理する場合について述べたが、本発明はこれに限らず、静止画像をクロマキー処理する場合にも広く適用することができる。
また、上述の第2の実施の形態においては、近傍4点の代表点については、等しい距離により補正してクロマキー処理の条件を自動設定する場合について述べたが、本発明はこれに限らず、ユーザーのクリックした画素からの角度に応じて重み付けして距離を補正してもよい。すなわち図36に示すように、ユーザーのクリックした画素が、隣接する4点の代表点を角度θ1、θ2、φ1、φ2により内分する場合、上述のステップSP41において検出した距離dに、次式の演算処理により距離r(φ,θ)が対応するように、それぞれ値xa、xb、xc、xdを計算して各代表点の距離をそれぞれ補正することにより、重み付け処理して代表点を変更することができる。このようにすればさらに詳細にクロマキー処理の条件を自動設定することができる。
Figure 0003870422
xa:xb=θ2:θ1
xa:xc=φ1:φ2
xc:xd=θ2:θ1
また上述の第2の実施の形態においては、背景画像に置き換える部分と、置き換えない部分についてユーザーの指定を受け付ける場合について述べたが、本発明はこれに限らず、何れか1つについてだけ受け付けるようにしてもよく、またキー信号を値0から値1の間の値に設定する範囲について受け付けるようにしてもよい。
また上述の実施の形態においては、ベクトルスコープ表示部において、中心色を基準にしてY軸に垂直な基準平面を設定して第1〜第3の表示部を形成する場合について述べたが、本発明はこれに限らず、UVY軸の原点を基準にした基準平面により第1〜第3の表示部を形成する場合等、種々の形態により表示する場合に広く適用することができる。
さらに上述の実施の形態においては、ベクトルスコープ表示部において、線分により内球及び外球を表示する場合について述べたが、本発明はこれに限らず、キー信号の値に対応する領域の表示等により内球内の領域、外球外の領域、内球及び外球間の領域を表示してもよい。
さらに上述の実施の形態においては、ベクトルスコープ表示部において、代表点、中心色が変更される毎に表示を更新する場合について述べたが、本発明はこれに限らず、このベクトルスコープ表示部においては、おおまかに内球、外球、前景画像の関係を把握できるようにすることにより、更新の処理を省略してもよい。
また上述の実施の形態においては、色空間表示部及びベクトルスコープ表示部によりキー信号の特性設定用画面を形成する場合について述べたが、本発明はこれに限らず、キー信号の特性用画面については、必要に応じて種々の形態により形成する場合に広く適用することができる。
また上述の実施の形態においては、クロマキー処理用の境界を26個の点により表現する場合について述べたが、本発明はこれに限らず、例えば30度の等角間隔により点を設定する場合、さらには不等角間隔により点を設定する場合等、必要に応じて種々の個数の点により境界を表現することができる。
さらに上述の実施の形態においては、二重の略球形形状によりクロマキー用の境界を設定する場合について述べたが、本発明はこれに限らず、例えば3重に境界を設定して、中間の境界を基準にしてクロマキー処理の特性を一段と細かく設定する場合等にも適用することができる。
また上述の実施の形態においては、抜き出す色の中心色を原点にしたYUV色空間により前景画像の各画素を表現してキー信号を生成する場合に、前景画像の画素の分布をベクトルスコープ表示部で表示する場合について述べたが、本発明はこれに限らず、YUV色空間に代えて、例えば赤色、青色、緑色の色信号レベルを基準にした色空間により前景画像の各画素を表現する場合、さらには従来と同様のUV2次元平面により前景画像を表現して処理する場合にも広く適用することができる。

Claims (11)

  1. 前景画像と背景画像とを合成するキー信号を生成するキー信号生成装置において、
    上記前景画像より抜き出す色の中心色を原点とした3次元の色空間において、上記前景画像の各画素の極座標を検出する極座標生成手段と、
    上記極座標における上記原点からの距離に応じて上記キー信号を生成するキー信号生成手段と、
    上記前景画像の信号レベルを抑圧するカラーキャンセル処理用のキー信号を生成するカラーキャンセルキー信号生成手段とを有し、
    上記カラーキャンセルキー信号生成手段は、上記カラーキャンセル処理する中心色を原点として差色信号レベルを基準にした2次元の色平面において上記前景画像の各画素の極座標を検出し、上記極座標における上記原点からの距離に応じて上記カラーキャンセル用のキー信号を生成することを特徴とするキー信号生成装置。
  2. 上記キー信号生成手段は、上記色空間に上記原点を囲むように境界を設定し、上記距離より上記境界に対する上記各画素の位置に応じて上記キー信号を生成することを特徴とする請求項1記載のキー信号生成装置。
  3. 上記キー信号生成手段は、上記色空間に所定間隔で設定した点群により上記境界を規定し、隣接する上記点群の極座標値を補間演算処理して、上記画素の極座標値に対応する上記原点から上記境界の距離を検出し、上記境界の距離を基準にして上記キー信号を生成することを特徴とする請求項2記載のキー信号生成装置。
  4. 上記キー信号生成手段は、上記境界を二重に形成し、上記画素が内側の境界より内側に位置する場合、上記背景画像を割り当てるように上記キー信号を設定し、上記画素が外側の境界より外側に位置する場合、上記前景画像を割り当てるように上記キー信号を設定し、上記画素が上記内側の境界と上記外側の境界との間に位置する場合、該位置に応じて上記前景画像及び上記背景画像を重み付け加算して割り当てるように上記キー信号を設定することを特徴とする請求項2記載のキー信号生成装置。
  5. 上記キー信号生成手段は、上記色空間における所定角度毎に、上記境界までの距離を記録したルックアップテーブルが形成され、上記各画素の上記色空間における角度をアドレスにして上記ルックアップテーブルをアクセスすることにより上記キー信号を生成することを特徴とする請求項2記載のキー信号生成装置。
  6. 上記キー信号生成手段は、上記色空間における所定角度毎に上記境界までの距離を記録したルックアップテーブルを有し、上記各画素の上記色空間における角度をアドレスにして上記ルックアップテーブルをアクセスすることにより上記キー信号を生成し、
    上記ルックアップテーブルは、上記内側又は上記外側の境界までの距離情報と、上記内側の境界と上記外側の境界との間において単位距離当たりの上記キー信号の値の変化を示す利得情報とにより形成されることを特徴とする請求項4記載のキー信号生成装置。
  7. 上記キー信号生成手段は、上記色空間上の所定平面に、上記原点と各画素とを結ぶ線分を投影してなる2次元空間における距離及び角度を検出した後、上記2次元空間における距離及び角度に基づいて、上記色空間における距離に応じたキー信号を生成することを特徴とする請求項1記載のキー信号生成装置。
  8. 上記色空間は、輝度信号レベル、色差信号レベルを基準軸にしてなる色空間でなることを特徴とする請求項1記載のキー信号生成装置。
  9. 前景画像と背景画像とを合成するキー信号を生成するキー信号生成方法において、
    上記前景画像より抜き出す色の中心色を原点とした3次元の色空間において、上記前景画像の各画素の極座標を検出する工程と、
    上記極座標における上記原点からの距離に応じて上記キー信号を生成する工程と、
    上記前景画像の信号レベルを抑圧するカラーキャンセル処理用のキー信号を生成するカラーキャンセルキー信号を生成する工程とを有し、
    上記カラーキャンセルキー信号の生成工程において、上記カラーキャンセル処理する中心色を原点として、差色信号レベルを基準にした2次元の色平面における上記前景画像の各画素の極座標を検出し、上記極座標における上記原点からの距離に応じて上記カラーキャンセル用のキー信号を生成することを特徴とするキー信号生成方法。
  10. 前景画像と背景画像とをキー信号に応じて合成する画像合成装置において、
    上記キー信号の生成は、
    上記前景画像より抜き出す色の中心色を原点とした3次元の色空間において上記前景画像の各画素の極座標を検出する極座標生成手段と、
    上記極座標における上記原点からの距離に応じて上記キー信号を生成するキー信号生成手段と、
    上記前景画像の信号レベルを抑圧するカラーキャンセル処理用のキー信号を生成するカラーキャンセルキー信号生成手段とを用いて行い、
    上記カラーキャンセルキー信号生成手段は、上記カラーキャンセル処理する中心色を原点として差色信号レベルを基準にした2次元の色平面において上記前景画像の各画素の極座標を検出し、上記極座標における上記原点からの距離に応じて上記カラーキャンセル用のキー信号を生成することを特徴とする画像合成装置。
  11. 前景画像と背景画像とをキー信号生成部からのキー信号に応じて画像合成し、画像合成されたフレームを含む複数のフレームを編集して出力する編集装置において、
    上記キー信号生成部は、
    上記前景画像より抜き出す色の中心色を原点とした3次元の色空間において、上記前景画像の各画素の極座標を検出する極座標生成手段と、
    上記極座標における上記原点からの距離に応じて上記キー信号を生成するキー信号生成手段と、
    上記前景画像の信号レベルを抑圧するカラーキャンセル処理用のキー信号を生成するカラーキャンセルキー信号生成手段とを有し、
    上記カラーキャンセルキー信号生成手段が、上記カラーキャンセル処理する中心色を原点として差色信号レベルを基準にした2次元の色平面において上記前景画像の各画素の極座標を検出し、上記極座標における上記原点からの距離に応じて上記カラーキャンセル用のキー信号を生成することを特徴とする編集装置。
JP53649598A 1997-02-20 1998-02-20 映像信号処理装置及び方法、画像合成装置、並びに編集装置 Expired - Fee Related JP3870422B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP3540697 1997-02-20
JP19320197 1997-07-03
PCT/JP1998/000712 WO1998037702A1 (fr) 1997-02-20 1998-02-20 Dispositif et procede de traitement de signaux video, dispositif synthetiseur d'images, et dispositif d'edition

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2006208529A Division JP4165585B2 (ja) 1997-02-20 2006-07-31 キー信号生成装置

Publications (1)

Publication Number Publication Date
JP3870422B2 true JP3870422B2 (ja) 2007-01-17

Family

ID=26374394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP53649598A Expired - Fee Related JP3870422B2 (ja) 1997-02-20 1998-02-20 映像信号処理装置及び方法、画像合成装置、並びに編集装置

Country Status (7)

Country Link
US (1) US6201581B1 (ja)
EP (1) EP0907293A4 (ja)
JP (1) JP3870422B2 (ja)
KR (1) KR20000064957A (ja)
CN (1) CN100373955C (ja)
CA (1) CA2252871C (ja)
WO (1) WO1998037702A1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184278A (ja) * 1998-12-16 2000-06-30 Sony Corp 画像混合装置及び画像処理装置
JP2003507827A (ja) * 1999-08-19 2003-02-25 ディープ ヴィデオ イメイジング リミテッド 多層スクリーンの表示方法
JP3642258B2 (ja) * 2000-05-08 2005-04-27 松下電器産業株式会社 映像合成装置
US6795068B1 (en) * 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
US6646688B1 (en) * 2000-11-10 2003-11-11 Koninklijke Philips Electronics N.V. High quality video and graphics pipeline
DE10140713B4 (de) * 2001-08-24 2004-03-04 Ps Miro Holdings Inc. & Co. Kg Verfahren und Vorrichtung zur Darstellung von Pixeln eines Bildes
US7215813B2 (en) * 2001-12-03 2007-05-08 Apple Computer, Inc. Method and apparatus for color correction
US6970595B1 (en) 2002-03-12 2005-11-29 Sonic Solutions, Inc. Method and system for chroma key masking
AU2002952382A0 (en) * 2002-10-30 2002-11-14 Canon Kabushiki Kaisha Method of Background Colour Removal for Porter and Duff Compositing
GB2402567B (en) * 2003-04-05 2006-07-19 Autodesk Canada Inc Image processing
US8133115B2 (en) * 2003-10-22 2012-03-13 Sony Computer Entertainment America Llc System and method for recording and displaying a graphical path in a video game
US20060071933A1 (en) 2004-10-06 2006-04-06 Sony Computer Entertainment Inc. Application binary interface for multi-pass shaders
JP2006107329A (ja) * 2004-10-08 2006-04-20 Noritsu Koki Co Ltd 撮影画像処理装置
US7636126B2 (en) * 2005-06-22 2009-12-22 Sony Computer Entertainment Inc. Delay matching in audio/video systems
CN100534202C (zh) * 2005-09-07 2009-08-26 逐点半导体(上海)有限公司 图像色彩的增强处理装置和处理方法
KR100661528B1 (ko) * 2006-02-27 2006-12-27 주식회사 업앤온 적응형 크로마키 합성 장치 및 그 방법
US7880746B2 (en) * 2006-05-04 2011-02-01 Sony Computer Entertainment Inc. Bandwidth management through lighting control of a user environment via a display device
US7965859B2 (en) 2006-05-04 2011-06-21 Sony Computer Entertainment Inc. Lighting control of a user environment via a display device
JP4747970B2 (ja) * 2006-07-04 2011-08-17 オムロン株式会社 画像処理装置
TWI376930B (en) * 2006-09-04 2012-11-11 Via Tech Inc Scenario simulation system and method for a multimedia device
US20090148127A1 (en) * 2007-12-07 2009-06-11 Digital All-Star, Llc System and method for generating a media product
JP5243612B2 (ja) 2008-10-02 2013-07-24 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 中間画像合成およびマルチビューデータ信号抽出
CN102118576B (zh) * 2009-12-30 2015-02-18 新奥特(北京)视频技术有限公司 一种虚拟体育系统中的色键合成方法及装置
US10786736B2 (en) 2010-05-11 2020-09-29 Sony Interactive Entertainment LLC Placement of user information in a game space
CN101890409A (zh) * 2010-07-16 2010-11-24 合肥安晶龙电子有限公司 一种基于彩色空间转换对实物颗粒进行分选的方法
US8743139B2 (en) 2010-07-20 2014-06-03 Apple Inc. Automatically keying an image
US8675009B2 (en) 2010-07-20 2014-03-18 Apple Inc. Keying an image in three dimensions
US8619093B2 (en) 2010-07-20 2013-12-31 Apple Inc. Keying an image
JP5484310B2 (ja) * 2010-12-24 2014-05-07 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法
US8760464B2 (en) 2011-02-16 2014-06-24 Apple Inc. Shape masks
US9342817B2 (en) 2011-07-07 2016-05-17 Sony Interactive Entertainment LLC Auto-creating groups for sharing photos
CN102739984A (zh) * 2011-08-29 2012-10-17 新奥特(北京)视频技术有限公司 一种高清虚拟布景的实现方法及系统
CN102752612B (zh) * 2011-11-21 2016-06-15 新奥特(北京)视频技术有限公司 一种基于色键选区进行图像校色的方法
CN102761757B (zh) * 2011-12-19 2016-06-15 新奥特(北京)视频技术有限公司 一种hsl控制的色键校色方法
CN102750123B (zh) * 2012-06-29 2016-01-20 广东威创视讯科技股份有限公司 基于超高分辨率数字显示拼接墙的拼接缝消除方法和装置
JP6260809B2 (ja) * 2013-07-10 2018-01-17 ソニー株式会社 ディスプレイ装置、情報処理方法、及び、プログラム
KR101733125B1 (ko) * 2015-11-18 2017-05-08 (주)케이아이에스 배경스크린이 필요 없는 크로마키 영상 합성 방법
CN112235520B (zh) * 2020-12-07 2021-05-04 腾讯科技(深圳)有限公司 一种图像处理方法、装置、电子设备及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5972285A (ja) * 1982-10-18 1984-04-24 Nec Corp クロマキ−信号発生装置
JPH0340671A (ja) * 1989-07-07 1991-02-21 Matsushita Electric Ind Co Ltd ディジタル映像効果装置
FR2652972B1 (fr) * 1989-10-06 1996-11-29 Thomson Video Equip Procede et dispositif d'incrustation d'images video couleur auto-adaptatif.
JPH0470292A (ja) 1990-07-11 1992-03-05 Sony Corp クロマキー装置
JPH04150396A (ja) 1990-10-11 1992-05-22 Toshiba Corp 映像合成回路
EP0536892B1 (en) * 1991-10-07 1997-02-05 Xerox Corporation Image editing system and method have improved color key editing
JPH06225329A (ja) * 1993-01-22 1994-08-12 Imagica:Kk クロマキー処理方法及び装置
US5436671A (en) 1993-02-05 1995-07-25 U.S. Philips Corporation Method of separating a foreground picture signal from a mixed picture signal, using gamma correction, and arrangement for performing said method
IL109487A (en) * 1994-04-29 1996-09-12 Orad Hi Tec Systems Ltd Chromakeying system
JP2882754B2 (ja) * 1994-08-25 1999-04-12 株式会社イマジカ ソフトクロマキー処理方法
DE4432337A1 (de) 1994-09-10 1996-03-14 Philips Patentverwaltung Verfahren und Schaltungsanordnung zum Farbstanzen
JPH08153201A (ja) 1994-11-29 1996-06-11 Sony Corp 画像領域抽出方法
JPH08275196A (ja) 1995-03-30 1996-10-18 Toshiba Corp 画像データ処理装置
FR2741770B1 (fr) * 1995-11-23 1998-01-02 Thomson Broadcast Systems Procede de calcul d'une cle de decoupe d'un sujet evoluant devant un fond colore et dispositif mettant en oeuvre ce procede
FR2741769B1 (fr) * 1995-11-23 1997-12-19 Thomson Broadcast Systems Procede de traitement du signal constitue par un sujet evoluant devant un fond colore et dispositif mettant en oeuvre ce procede

Also Published As

Publication number Publication date
CA2252871A1 (en) 1998-08-27
KR20000064957A (ko) 2000-11-06
CN100373955C (zh) 2008-03-05
EP0907293A4 (en) 2008-06-18
CN1223058A (zh) 1999-07-14
WO1998037702A1 (fr) 1998-08-27
US6201581B1 (en) 2001-03-13
EP0907293A1 (en) 1999-04-07
CA2252871C (en) 2008-04-29

Similar Documents

Publication Publication Date Title
JP3870422B2 (ja) 映像信号処理装置及び方法、画像合成装置、並びに編集装置
JP3154155B2 (ja) 電子グラフィックシステム
US6097853A (en) User definable windows for selecting image processing regions
US20080165190A1 (en) Apparatus and method of displaying overlaid image
US20050223335A1 (en) Button processing method and data processing apparatus
JP5434965B2 (ja) 動画生成方法、動画生成装置及びプログラム
JP2004519795A (ja) ディジタル映像の合成方法
JPH07262410A (ja) 画像合成方法及び装置
US20070146392A1 (en) System and method for magnifying and editing objects
US20110012912A1 (en) Image processing device and image processing method
JP2007296218A (ja) ゲーム画像処理プログラムおよびゲーム画像処理装置
US20030193496A1 (en) Image processing system, image processing method, semiconductor device, computer program, and recording medium
JP2004054953A (ja) ビデオ処理方法及びビデオ処理装置
JPH1127693A (ja) クロマキー装置
JP3527672B2 (ja) 3次元コンピュータ画像処理のプログラムを記録したコンピュータ読み取り可能な記録媒体および影描画処理方法およびビデオゲーム装置
JP4165585B2 (ja) キー信号生成装置
JPH1127691A (ja) クロマキー装置
JPH1127692A (ja) クロマキー装置
JPH04127279A (ja) 物体の運動経路生成装置および方法
JP2008234681A (ja) ビデオゲーム装置、画像表示装置及び方法、動画表示装置及び方法並びに記録媒体
KR100881582B1 (ko) 이미지의 합성
JP7083319B2 (ja) 画像生成装置および画像生成方法
JP4707867B2 (ja) 映像合成装置
JP5919926B2 (ja) 画像生成方法、画像生成装置及びプログラム
JP4086002B2 (ja) プログラム、画像処理装置及び方法、並びに記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061009

LAPS Cancellation because of no payment of annual fees