JPS63122371A - 映像信号処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、映像信号を処理する装置に関する。

［従来の技術］ テレビジョン画像は、テレビジョン番組の製作者が構成
した場面（シーン）の平面的な表現である。この場面は
、現実の物を撮影したものでもよいしく人工的手段、例
えばテレビジョン・グラフィック・システム）により合
成してもよいので、場面を表わす映像信号の信号源は、
カメラ又はフィルム・スキャナだけでなく、フレーム・
バッファ及びこのフレーム・バッファの内容を調整する
コンピュータでもよい０通常、場面は、２つの場面成分
、即ち前景場面及び背景場面により構成されており、ト
ラベリング・マット技法を用いて場面成分を組合せる０
例えば、第２ａ及び第２ｂ図に示すように、前景場面を
無地のカラー・マットをバックにした環形とし、背景場
面を対照的な色をバックにした矩形とすると、前景場面
と背景場　　。

面を組合せれば、合成画像は第２ｃ図に示すよう　。

になる。

映像変換システムは場面を表わす映像信号を操作するシ
ステムであるが、この場面の特殊な変換に用いてもよい
０例えば、場面を右側に移動することもできる。第２ａ
図の場面を表わす前景映像信号を変換システムに供給し
、第２ａ図の場面の環形が右にシフトするようにこの映
像信号を変換し、変換された映像信号が第２ｄ図の場面
針表示するならば、変換された前景信号を背景信号と組
合せて得た映像信号は、第２ｅ図に示す画像を表わすこ
とになる。

殆どの変換システムには、主に２種類、即ち、フォワー
ド変換システム、及びフレームを基本にした（フレーム
・ベースド）リバース変換システムがある。第３図は、
既知の原理に基づいたフレーム・ベースド・リバース変
換システムを示す。

第３図のシステムは従来存在しなかったと思われるが、
本発明を理解する上で有効なので、このシステムを次に
説明する。

第３図に示したシステムは、書込みクロック発生器１０
の制御により入力映像信号をデジタル化し、デジタル化
された１０ビツトのデジタル・ワード・シーケンスを、
フォワード・アドレス発生器１４が発生するアドレスに
より、映像フレーム・バッファ１２に書込む、入力映像
信号は、従来の飛越走査フォーマットのアナログ複合映
像信号をその成分（通常はルミナンス（０度）成分及び
クロミナンス（色度）成分）に分離−シ、これ−らの各
成分をデジタル化することにより得る。フレーム・バッ
ファ１２は、ルミナンス成分を蓄積するメモリと、クロ
ミナンス成分を蓄積するメモリとから構成される。しか
し、これらの成分は変換システム内で同じように処理さ
れるので、これらの成分番別々に考察する必要はない。

映像信号のデジタル化により、画像の各走査線を、小さ
いが領域内にて有限の複数ピクセル、例えば７２０ビク
セルに効果的に分割できる。場面のピクセル位置は、入
力場面（例えば第２ａ図）の２座標表示アドレス（ｔｒ
、　ｖ）で決定できる。

表示アドレスとフォワード・アドレス発生器（書、込み
手段）１４が発生するメモリ・アドレスとが１対１で対
応するように、映像フレーム・バッファのアドレス空間
を体系化する。よって、（Ｕ。

■）と表現できるフレーム・バッファ１２のメモリ・ア
ドレス位置に、表示アドレス（Ｕ、Ｖ）のピクセルを表
わすデジタル・ワードを書込む。

フレーム・バッファ１２から出力映像信号を読出すため
に、読出しアドレス・カウンタ１６−は読出しクロック
発生器１７の制御により動作し、順次、アドレス指定さ
れるピクセルの出力場面（第３２図）内の位置を決める
一連のアドレス（Ｘ。

Ｙ）を発生する。座標値Ｘ及びＹの桁数は、座標値Ｕ及
びＶと夫々同じである。よって、表示アドレス（Ｕ、Ｖ
）が入力表示空間内において位置を定めるように、表示
アドレス（Ｘ、Ｙ）が出力表示空間内で同じピクセル位
置を定義する。しかし、フレーム・バッファから出力映
像信号を読出すには、表示アドレス（Ｘ、Ｙ）を直接用
いない、リバース・アドレス発生器（アドレス発生手段
）１８は、出力場面表示アドレス（Ｘ、Ｙ）を受け、こ
れらアドレスと変換マトリクスＴ′とを乗算して、対応
するメモリ・アドレス（ｘ’　、ｙ’　）を発生する。

このメモリ・アドレスを用いて、フレーム・バッファ１
２から映像信号を読出す、ユーザ・インターフェース（
Ｉ／Ｆ）１９が、変換マトリクスＴ′をリバース・アド
レス発生器１８に供給して、リバース変換システムによ
る変換特性を定める６例えば、入力場面を斜め上方の対
角線方向でビクセル間ピッチに等しい量だけ左に移動す
る変換を行なう際、変換マトリクスは、表示アドレス（
Ｘ、Ｙ）に応答して発生したメモリ・アドレス（Ｘ’　
、Ｙ’　）が（Ｘ−１１，Ｙ−１１）となるようなマト
リクスである。なお、ここでは、座標系の原点が入力及
び出力場面の左上隅であり、Ｘ及びＹの値は夫々右及び
下に向って増えると仮定している。

一般的な場合、Ｘ′及びＹ′の値を整数の加算又は減算
だけでＸ及びＹに関連させるのでは十分でないので、メ
モリ・アドレス座標Ｘ′及びＹ′は表示アドレス座標Ｘ
及びＹよりも有効桁数が多　。

い、リバース・アドレスは、フレーム・バッファ１２の
みでなく、映像補間器２０にも供給する。

各リバース・アドレス（Ｘ’　、Ｙ’　）に対して、フ
レーム・バッファ１２は各デジタル・ワードを出力する
が、このデジタル・ワードはリバース・アドレス（ｘ’
　、ｙ’　）が定義した位置を囲むピクセル配列を表わ
す０例えば、アドレス（Ｘ′。

Ｙ’　）が定義した点に最も近い４つのビクセールをこ
のデジタル・ワード（データ）は表わす、これら４つの
デジタル・ワードを補間器２０に供給すると、この補間
器２０は、これら４つのデジタル・ワードをアドレス（
ｘ’　、ｙ’　）の分数部分に応じて単一のデジタル出
力ワードに組合わせる。

例えば、１０進法を用いた場合、各座標Ｘ及びＹの最下
位桁が１であるが、座標Ｘ′、及びＹ′の最下位桁が１
０分の１であり、カウンタ１６が読出しアドレス（２３
，６）を発生し、変換マトリクスＴ′との乗算によりこ
の読出しアドレスがリバース・アドレス（５６，３，１
９，８＞に変化した場合、フレーム・バッファ１２はこ
のリバース・アドレス（５６，３，１９，８）に応答し
て、アドレス＜５６．１９）、＜５６．２０）、（５７
，１９）及び＜５７．２０＞に蓄積されたデジタル・ワ
ードを与え、補間器２０は水平方向に３゜対７、垂直方
向に８対２の重み付けで、これらデジタル・ワードを単
一のデジタル出力ワードに組合わせる。このデジタル・
ワードは、表示アドレス（２３，６）が定義した出カス
クリーンσ位！に発生すべき値を定義する。

リバース・アドレスの可能範囲は、フレーム・バッファ
１２内の位置を定義するメモリ・アドレスの範囲よりも
広いので、有効に発生されたりバース・アドレスは、フ
レーム・バッファのアドレス空間内に存在しない位置を
定義するかもしれない、よって、リバース・アドレスを
アドレス境界検出器２２に供給する。この検出器２２は
、無効リバース・アドレス（フレーム・バッファ１２の
アドレス空間外の位置を定義するアドレス）に応答して
信号を発生し、この信号により、映像ブランキング回路
２４がフレーム・バッファ１２の出力信号を出力するの
も禁止する。

映像フレーム・バッファ１２、映像補間器２０及び映像
ブランキング回路２４で構成された映像チャンネルと並
列に、キー・フレーム・バッファ２６、キー補間器２８
及びキー・ブランキング回路３０で構成されたキー・チ
ャンネルを設ける。

このキー・チャンネルに供給されるキー信号は、映像チ
ャンネルに供給された前景映像信号６ご関する不透明情
報を与える。この不透明情報は、キー信号の制御により
前景映像信号及び背景映像信号を混合して生成した複合
面＠（第２Ｃ図）において、背景映像信号が表わす背景
場面の見える範囲を定義する。前景対象物の境界の外側
では、前景場面は透明であり（キー＝０）、前景場面に
よる変更なしに、背景場面が見える。前景対象物が完全
に不透明（キー＝１）の場合、背景場面は前景対象物に
より完全に見えなくなる。しかし、前景対象物がやや透
明（０くキーく１）の場合、キー信号の値に比例して、
背景映像信号を前景映像信号と混合する。映像チャンネ
ルが前景場面を変換するので、前景場面及びキーの一致
を維持するために、キーも変換する必要がある。よって
、映像チャンネルで前景信号を処理するのと同じ方法に
より１、キー信号をキー・チャンネルで処理する。

よって、このキー信号も、前景信号と同じ空間的変換及
び補間を受けると共に、同じアドレス境界ブランキング
を受ける。

変換マトリクスＴ′は、所望の空間変換Ｔ−の数学的逆
数であり、このためリバース変換システムは上述のよう
なものとして知られている。

［発明が解決しようとする問題点］ テレビジョン画像が厳密に２次元（Ｘ及びＹ）であった
としても、視点から又は視点への移動をシミュレーショ
ンする特殊効果を与える場合、第３の次元（Ｚ）を適用
しなければならない。よって、リバース変換発生器は、
通常、第３の次元に適用出来なければならず、また、３
次元のビクセル位置を表わす信号を用いた計算を実行出
来なければならない。

したがって、本発明の目的は、３次元のビクセルを表わ
す映像信号を処理出来る特殊効果用の映像信号処理装置
の提供にある。

［問題点を解決するための手段］ 本１発明の映像信号処理装置は、その値が、映像信号の
表わす場面の位置関数としての奥行尺度である奥行制御
信号を発生する手段と、映像信号をこの興行制御信号に
応じて制御する手段とを具えている。

［作用］ よって、本発明によれば、場面を表わす映像信号を、こ
の場面の位置関数としての奥行尺度の値である奥行制御
信号と組合わせて、映像信号を処埋している。

［実施例］ 第１図は、本発明の映像信号処理装置の好適な実施例の
ブロック図であり、従来のリバース変換システムを基本
にしている。よって、説明を明瞭にするため、リバース
変換システムのいくつかの従来要素を第１図には示して
いない、特に、映像チャンネル及びキー・チャンネルは
、ブロック３４及び３６として夫々表わし、アドレス境
界検出器は、第１図に示さない。

２次元場面の空間的変換において、出力場面の表示アド
レス（ｘ’　、ｙ’　）位置のビクセルを、入力場面の
表示アドレス（Ｘ、Ｙ）位置のビクセルから次にように
求める。

ＡＸ＋ＢＹ＋Ｃ ＤＸ十ＥＹ＋Ｆ なお、係数Ａ〜工は、空間的変換を定義するフィールド
定数値である。

リバース・アドレス発生器を第３図よりも詳細に第１図
に示す、このリバース・アドレス発生器は、リバース変
換マトリクスＴ′を構成する係数Ａ〜■を発生する変換
マトリクス発生器５４を具えている。これら係数は、ユ
ーザ・インタフェース（Ｉ／Ｆ）から受けた実行すべき
変換特性を表わす信号に応答して発生される。係数の３
つのグループ入、Ｂ、ＣＯＤ、Ｅ、Ｆ及びｃ、Ｈ，Ｉを
処理回路５６Ｘ、５６Ｙ及び５６Ｚに夫々供給する。・
処理回路５６の各々は、夫々の出力信号として値ＡＸ＋
ＢＹ＋Ｃ，ＤＸ＋ＥＹ十Ｆ及びＧＸ十ＨＹ十Ｉを発生す
る。処理回路５６Ｘ及び５６Ｙの出力信号を分子入力と
して除算回路５８Ｘ及び５８Ｙに夫々供給する。これら
除算回路の条々は、それらの分母入力として、処理回路
５６Ｚの出力信号を受ける。よって、除算回路５８Ｘ及
び５８Ｙの出力信号は、Ｘ′及びＹ′を夫々表わし、映
像チャンネル及びキー・チャンネルに供給される。

一般に、係数Ａ〜Ｆは、平面変換（Ｘ／Ｙ縮尺、Ｘ／Ｙ
変換、又はＺ軸回転）に用い、係数Ｇ〜Ｉは、透視視点
と表示アドレス（Ｘ’　、Ｙ”　）のビクセルのＺ位置
との関数である。透視でないか（視点が場面から無限距
離にあるか）、Ｘ又はＹ軸回転、又は２軸変換が呼び出
されないとき、Ｇ及びＨは各々ゼロであり、■は１であ
るので、各式の分母は１になる。よって、１でない分母
により、値Ｘ′及びＹ′は、ビクセルごとに（Ｇがゼロ
でない場合）、ラインごとに（Ｈがゼロでない場合）、
及び／又はフィールド定数ごとに（工が１でない場合）
変化する０分母が１より小さい場。

合、位置が（Ｘ、Ｙ）の（かつ、位置（Ｘ′。

Ｙ′）に変換された）ビクセルが視界から去る。

しかし、分母が１より大きい場合、ビクセルは視界方向
に移動する。よって、空間的変換式の一分母は、視界か
らのビクセルの見掛けの距離の尺度となる。したがって
、処理回路５６Ｚが発生した値ＧＸ＋ＨＹ＋Ｉである信
号は、変換された映像信号が表わす場面の各ビクセルの
見掛けの奥行を表わす奥行信号となる。この奥行信号を
透視プロセッサ６０に供給する。このプロセッサ６０は
、映像チャンネル及びキー・チャンネルから変換された
映像信号及びキー信号を受ける。また、この透視プロセ
ッサ６０は、奥行信号用の透視デイム（薄暗い）・チャ
ンネル、透視フエニド・チャンネル、透視クリップ・チ
ャンネル及び交差面チャンネル用の４つの独立した処理
チャンネルを具えている。

透視ナイム・チャンネルにおいて、奥行信号をまず減算
回路６２に供給する。ここでは、見掛けの奥行き用のデ
ータ値を定義する信号から奥行信号を減算する。このデ
ータ値は、基準面又は開始面の見掛けの奥行を表わす、
この奥行信号が表わす見掛けの奥行がデータ値より、も
小さいと、これはビクセルが開始面よりも視点に近いこ
と針意味し、減算回路６２の出力信号はゼロとなり、奥
行信号は透視デイム・チャンネルの出力に影響を与えな
い、奥行信号が表わす見掛けの奥行がデータ値よりも大
きいと、減算回路６２の出力信号は、開始面に関連した
ピクセルの奥行を示す。

減算回路６２の出力信号を乗算器（マルチプライア）６
４に供給し、相対奥行を表わす信号を利得係数と乗算す
る。利得係数の値は、ゼロから非常に大きな値（典型的
には１ｏ２４）までの範囲である。利得係数が１より小
さいと、相対奥行値に対する次段の感度が減少する。し
かし、利得係数が１より大きいと、この感度は増加する
。マルチプライアロ４の出力をクリップ整形回路６６に
供給する。ここで、マルチプライアの出力を１゜０の最
大値に制限し、整形するので、クリップ整形回路６６の
出力信号には傾斜の断続がない、これによって、デイム
のない状態（相対奥行がゼロより小さい）からデイムの
ある状態（相対奥行がゼロより大きい）への遷移がマツ
ハ・バンドを確実に発生しない、加算回路６８にて、静
的デイムを制御するオフセット値をクリップ整形回路の
出力信号に加算し、その和を再び１゜０にクリップする
。その結果の制御信号を用いて、映像混合器７０の制御
ボートを駆動する。この映像混合器７０は、その信号ボ
ートに映像チャンネルの出力信号及びブランキング映像
を受ける。ゼロの制御値用に映像チャンネルからの出力
信号を変化させずに通過させ、１の制御値用にブランキ
ング映像を通過させ、ゼロと１の間の制御値用に映像チ
ャンネルの出力信号とブランキング映、＠の比例混合を
実行するように、混合器７０を設定する。透視デイム・
チャンネルが発生した制御信号は、キー・チャンネルの
出力信号に影響しない、透視デイムの影響により、制御
値が増加するに従って、ブランキングの増加した量と映
像チャンネルの出力信号とを混合する。よって、映像チ
ャンネルの出力信号が表わす場面の見掛けの奥行が、−
時的に（フレームごとに）及び／又は空間的に（ライン
ごと、又はピクセルごとに）深まるにつれて、場面は暗
くなる。よって、回路５６Ｚ及び６２−〜６８が奥行信
号発生手段として作用し、混合器７０が映像信号の制御
手段として作用する。

データ値を決める信号から奥行信号を′／４算すること
により、透視デイム効果は、開始面の奥行よりも深い奥
行のピクセルに限定される。静的デイム・オフセットが
、透視デイム、チャンネルの発生した奥行制御信号用の
最大値を確立する。即ち、開始面の奥行よりも浅い奥行
のピクセルでさえ、静的デイムの影響を受ける。マルチ
プライアロ４に供給された利得係数により、観察者から
遠ざかるにつれて、いかに素早く場面を薄暗くするかを
決定する。

透視フェード回路は、制御信号を映像混合器７０に供給
する代わりにキー混合器８０に供給することを除いて透
視デイム回路に類似している。ゼロの制御値に対して、
キー・ブランキング回路の。

出力信号は、変化することなく背景混合器に通過する。

１の制御値に対してはゼロ・キー信号が混合器に通過し
、ゼロと１の間の制御値に対してはキー・ブランキング
回路の出力信号及びゼロ・キーとの間で比例した混合が
実行される。よって、キー奥行信号に応じて、キー混合
器８０の出力端に発生したキー信号は、ゼロの最小値か
ら、キー・チャンネルの出力信号の値に等しい最大値ま
で変化する。映像混合器７０及びキー混合器８０の出力
信号を背景混合器８２及び映像組合わせ回路８４に供給
する。この組合わせ回路は、１９８台年３月６日に出願
した米国特許出願第８３６９４５号に開示された回路と
同じ一般形式のものであり、その動作を以下に説明する
。しかし、ここでは、この組合わせ回路は混合器７０及
び８０の出力信号に影響しないものと仮定する。映像混
合器及びキー混合器の出力信号を前景信号及び映像キー
信号として背景混合器に供給し、キー混合器の出力信号
がキー臭行制御信号の変化に応じて変化すると、混合器
８２のフル（全）・フィールド出力信号が表わす映像の
前景場面の不透明度が変化する。即ち、キー値が１から
ゼロ方向に変化するので、前景場面の透明度が減少し、
その結果、背景混合器は背景映像を更に混合して、前景
場面が観測者から遠ざかるにしたがって、この前景場面
を背景内に容明する。データ値、即ち、回路７２．７８
及び７４にて奥行信号に夫々供給された静的フェード・
オフセット及び利得係数は、透視デイム・チャンネルに
て奥行信号に供給された対応値にアナログ的に影響する
。

透視デイム効果及び透視フェード効果を同時に要求して
も良い、単一の透視ディ入／透視フェード・チャンネル
を用いて、混合器７０の制御ボート及び／又は混合器８
０の制御ボートに選択的に供給する奥行制御信号を発生
する。

２次元において、投影面上の場面の投影として、テレビ
ジョン画像を見る。この投影は、視点に関連して生じる
。Ｚ軸変換、又はＸ又はＹ軸回転により、ピクセルが２
方向に移動するように場面を空間的に変換すると、視点
の後ろになった位置にピクセルが変換される可能性があ
る。これが生じると、変換された場面の部分の反転され
た複製が投影面上に生じる０通常、観察者は、投影面に
対して観察者の反対側に配置された場面の投紗面部分内
を見ることが出来ないので、これら場面の回りこんだ部
分をブランキングすることが望ましい。

変換式の分母が負のときに、この回りごみが生じること
が理解できよう、よって、処理回路５６Ｚが発生した奥
行信号の符号ビットをアンド・ゲート８６の一方の入力
端に供給する。このアンド・ゲート８６の他方の入力端
は、ユーザ・インタフェースからのオン／オフ信号を受
ける。アンド・ゲート８６の出力信号を映像チャンネル
及びキー・チャンネルのブランキング回路に供給する。

オン／オフ信号がオン状態のとき、奥行信号の符号ビッ
トをブランキング回路に供給し、奥行信号が負の値であ
ることを符号ビットが表わす場合に、映像信号及びキー
信号を禁止する。オン／オフ信号がオフ状態のとき、符
号ビットの値に応じて場面の回りこみ部分は、禁止され
ない。

上述の米国特許出願において、優先信号の値に応じて、
一方の画像を他方の画像に重ね合゛わせるために、２つ
の映像信号の優先度をとの°ように調整できるかを説明
している。２つのキー信号に相補的に優先信号を効果的
に重み付けするので、この優先信号の値を調整して、キ
ー信号の有効な相対値を変更できる。

第１図に示すごとく、処理回路５６Ｚの出力信号（奥行
１）を減算回路９０に供給する。この処理回路５６Ｚは
、キー信号（キー２）に関連した第２映像信号（映像２
）の奥行を表わす信号（奥行２）を他の入力端に受ける
。奥行２信号は、第３図に１８で示すリバース・アドレ
ス発生器のごとき発生器で発生してもよいし、実際の奥
行情報を用いて発生してもよい、その結果の相対奥行信
号マルチプライア９２に供給し、この相対奥行値を利得
係数と乗算する。この利得係数は、ゼロから非常に大き
な値（例えば１０２４）の範囲である。また、マルチプ
ライアの出力信号を減算回路９４に供給し、この出力信
号を０．５だけオフセットし、０．０から１．０の範囲
でクリップする。

次に、このオフセットされクリップされた信号を整形回
路９６に供給し、整形するので、その結果の相対奥行制
御信号には、ゼロ又は１において、傾斜の非連続がない
、相対奥行制御信号を、第１図に簡略化して示した組合
わせ回路の映像混合器８４及びキー混合器８５の両方に
供給する。ゼロの相対奥行制御値に対して、映像１を通
過させ、１の相対奥行制御値に対して、映＠２を通過さ
せ、ゼロと１の間の相対奥行制御値に対して、２つの映
像信号値の間で比例的混合を行うように、映像混合器８
４を設定する。減算回路９４による０、５のオフセット
により、等しい見掛けの奥行（ゼロの相対奥行値の結果
による）が、映像１及び映像２の等しい混合となるのを
確実にする。

映像チャンネル３４に供給された映像信号は、整形され
ていない映像信号である。即ち、この映ｉ信号は、関連
したキー信号と乗算されていない。

むしろ、背景混合器８２に供給された前景映像信号が１
、整形された映像信号である。整形は、１９８６年１０
月２４日に出願された米国特許出願第９２２９０６号に
開示されたごときシャドウ・プロセッサにて行う、この
プロセッサは、映像チャンネル３４及び背景混合器８２
の間に配置す−る。

本発明は、上述し、図示した特定の実施例に限定される
ものではなく、本発明の要旨を逸脱することなく種々の
変形及び変更が可能である０例えば、リバース変換シス
テムのリバース・アドレス発生器が奥行制御信号を発生
するのは本質的なことではない、減算回路９０の入力で
の説明に関連して示したごとく、奥行を表わす信号は、
リバース変換発生器とは独立に、例えば、別個のアドレ
ス発生器から得てもよい、リバース変換発生器の出力の
場合のごとく絶対的ではなく、明瞭に奥行を表わすデー
タを用いると、実際の奥行のより信頼のある指示が得ら
れるという特徴がある。勿論、本発明は、リバース変換
システムと関連して用いることに限定されない。

［発明の効果］ 上述のごとく本発明によれば、奥行制御信号により映像
信号を制御してデイムを調整しているので、映像信号の
３次元処理が可能となる。

【図面の簡単な説明】

第１図は本発明の好適な実施例のブロック−図、第２図
は前景場面の変換を説明する図、第３図はリバース変換
システムのブロック図である。 ５６２．６２〜６８：奥行信号発生手段７０　：　＃Ｊ
御平手 段ＩＧ、　２ｅ

Claims (1)

【特許請求の範囲】
1. 映像信号が表す場面の奥行を示す奥行制御信号を位置関
   数として発生する奥行信号発生手段と、上記奥行制御信
   号に応じて上記映像信号を制御する制御手段とを具えた
   映像信号処理装置。