JPH05183810A

JPH05183810A - デジタルビデオ効果装置

Info

Publication number: JPH05183810A
Application number: JP4089145A
Authority: JP
Inventors: David J Hedley; ジョンヘドリーデビッド; Stephen M Keating; マークキーティングスティーブン; Howard J Teece; ジョンティースハワード; Andrew Ian Trow; イアントラウアンドリュー
Original assignee: Sony Broadcast and Communications Ltd
Current assignee: Sony Broadcast and Communications Ltd
Priority date: 1991-04-09
Filing date: 1992-04-09
Publication date: 1993-07-23

Abstract

(57)【要約】【目的】ソース画像データの正しいキーイングが可能
な、非線形処理ができるデジタルビデオ効果装置を得る
ことを第１の目的とする。【構成】ソース画像画素を記憶し、マスクすべきソー
ス画像画素を識別するソースキー情報を記憶するメモリ
手段１３と、３次元物体面を規定する表面関数に従って
ソース画像画素を３次元物体面上にマッピングするため
のメモリ読取りアドレスを発生し、上記メモリ手段内の
ソースキー情報によってマスクされないソース画像画素
のみをマッピングするアドレス発生器２１とを設ける。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、デジタルビデオ効果装
置に関するものである。

【０００２】

【従来の技術】デジタルビデオ信号で表される画像の処
理技術は、十分確立されている。その処理は、大体次の
ようにして行われている。すなわち、まずアナログビデ
オ信号をサンプリングしてデジタル化し、各サンプルを
例えば８又は１０ビットの２進ワードに変換する。次
に、デジタル化した信号のフィールド又はフレームをメ
モリに記憶させる。そして、該メモリに対する読出し書
込みを制御し、各フィールド又はフレームから画像を作
成するが、該画像は、少なくとも１つの幾何学的パラメ
ータが変更されている点で、入力ビデオ信号により表さ
れるものとは異なるものである。この幾何学的パラメー
タは、例えば１以上３までの軸に沿う画像の位置及び
（又は）１以上の軸を中心とする画像の角位置より成
る。その他のかかるパラメータとしては、画像の（水平
及び（又は）垂直方向における）サイズ、画像の剪断変
形の程度及び画像の遠近度などがある。

【０００３】図１は、このような画像処理を行うため
の、代表的デジタルビデオ効果装置の概略を示す簡略ブ
ロック図である。図１に示す装置は、デジタルビデオ効
果設備の公知の種々の適当な特徴を具えており、その動
作及び構成は当業者には周知である。該デジタルビデオ
効果装置は、図１に１０で示すデジタルビデオ効果ユニ
ット及び制御ユニット２４を有する。

【０００４】処理しようとする画像Ｐ₁を表すビデオ信
号Ｖ₁は、１１からデジタルビデオ効果ユニット１０に
入力される。この従来技術のデジタルビデオ効果ユニッ
トでは、入力画像Ｐ₁の処理をメモリ１３に対する読取
りアドレスを制御して行う。なお、書込み側のアドレス
マッピングも公知である。この読取り側のアドレス制御
は、アドレス発生器２０により行う。

【０００５】マッピング処理は画像の圧縮を伴うので、
補正策を講じないと、画像圧縮によるエイリアシングを
生じ出力画質を損なう。そこで、フィルタ１２が設けら
れ、圧縮の影響を補償している。フィルタ制御器１８
は、画像の局部区域に対する圧縮度を表す局部圧縮率を
決定する。これらの局部圧縮率は、フィルタ１２を制御
して画像の各区域に適当な濾波量を適用するのに使用す
る。

【０００６】アドレス発生器２０がメモリ１３の記憶位
置と出力画素とが１：１で対応するマッピングをしない
場合に出力画素値を計算しうる画素補間器１４を設ける
ことができる。

【０００７】同期遅延子１５は、メモリ１３からの出力
データをフレーム同期情報に一致させるためのものであ
る。デジタル出力キーヤー１６により、メモリ１３から
の出力デジタル（前景情報を表す）を背景（キーヤー１
６への信号Ｂ入力で表される）の中にキーイング（挿
入）して出力画像Ｐ₂の出力ビデオ信号Ｖ₂を作成す
る。キープロセッサ２２は、デジタル線形キーヤー１６
の動作を制御する。デジタル効果ユニット１０の制御ユ
ニット２４は、適切な制御ソフトウエアをもつ通常のパ
ーソナルコンピュータ又はコンピュータ・ワークステー
ションとして構成してもよい。

【０００８】ソース（源）画像データをキーイング（又
はマスク）できるように、線ＩＫを介して別のユーザ入
力をキーデータとしてメモリ１３に、ソース画像データ
の受信に同期して供給してもよい。キービット（すなわ
ち、論理１又は０）は、濾波された各ソース画像サンプ
ル（すなわち、濾波された各ソース画像画素）と共にメ
モリ１３に記憶される。

【０００９】上述した図１のデジタルビデオ効果装置
は、ソース画像信号を３次元の非線形物体の表面にマッ
ピングするのに適しないので、ビデオ信号の線形処理に
制限される欠点がある。

【００１０】ソース画像信号の非線形３次元物体面への
マッピングに付随する問題の１つは、ソース画像キーイ
ング処理に関する問題である。

【００１１】図２２は、上述の公知の線形デジタルビデ
オ効果装置におけるソース画像キーイング処理の説明図
である。同図Ａは複数の水平線の形のソース画像を表
し、同図Ｂは同図Ａに示すソース画像データをマスク
（隠蔽）するためのソースキーを表す。上述のように、
ソースキーは、ソース画像データに対する各画素に対応
する論理１及び０のマップとして記憶される。実際には
メモリ１３の各記憶位置に対し、該ソース画像データの
各サンプルを記憶するのに必要なビットの外に１ビット
を設ける。このビットは、ソース画素をマスクすべきか
否かに応じて０又は１のいずれかにする。

【００１２】図２２のＣは、処理されたソース画像を表
す。ここでは、単にソース画像を９０°回転させただけ
の処理を示す。同図Ｄは、上記マスクビットに対し同じ
操作を加えたものを示す。同図Ｃに示す出力画像及び同
図Ｄに示す出力キーを作成するための、ソース画像の処
理及びソースキーの処理はどちらも、アドレス発生器２
０によるメモリ１３のアドレッシングによって行うこと
ができる。図２２のＥは、同図Ｄの出力キーを用いる出
力画像のキーイングの効果を表す。

【００１３】デジタルビデオ効果装置において非線形効
果を使用することが提案された場合、ソース画像が表面
にマッピングされる物体によって該画像を殆どどんな形
にでも曲げることができる。例えば、物体が後方に折曲
がれば、最初平坦であったソース画像の部分も後方に折
畳まれる。出力キーを用いて出力画像をキーイングする
とき従来技術と類似の方法を使用すると、例えば、マス
クされるべき画像部分が現れるべき画像部分と重なり、
その結果現れるべき画像部分が誤ってマスクされること
がある。

【００１４】図２３は、出力画像を発生する際ソース画
像が折畳まれる簡単な例を示す。同図Ａ及びＢは、上述
した図２２のＡ及びＢに対応する。図２３は、同図のＣ
に示すようにソース画像の右下隅を後方に折畳むような
処理を行った結果、同図Ｄに示すように、キー信号の一
部（すなわち、マスクの透明部分）も上記隅で隠れてし
まった例を示す。この出力キーを出力画像データのキー
イングに使うと、同図Ｅに示すように、キー信号を隠し
た画像部分が出力画像に現れて出力画像が不正確とな
る。

【００１５】また、図１のデジタルビデオ効果装置は、
互いに飛び交（か）う多くのデジタルビデオ効果画像を
直接作成することができない。この効果は、所望によ
り、１つ又は複数の画像を３次元空間内を動く複数の平
面上にマッピングし、それらが互いに飛び交って見える
ようにすることである。

【００１６】物体の表面が互いに飛び交う場合、その物
体表面の交差点を知る必要がある。現在この効果を達成
できる唯一の方法は、複数の公知のデジタルビデオ効果
装置でそれぞれ各物体表面を制御し、各デジタルビデオ
効果装置が外部ユニットにおいて比較されるＺすなわち
深さ出力を生じるように構成することである。この外部
ユニットを「結合器」と呼ぶ。この方法は、特に高品位
（高精細度）テレビジョンにおいて極めて費用がかかる
と共に、２つの平面の切替えが上記深さ情報によって制
御され、この深さ情報はサンプリング周波数（画素解像
度）で発生されるので、平面間の交差線にぎざぎざが付
く（又はエイリアスされる）という問題が起こる。

【００１７】英国公開特許出願ＧＢ−Ａ−２２４５７９
４号には、キーエッジ（端縁）を特別処理することによ
り、互いに通り抜ける多くの像をエッジの質を維持しな
がら作成できるデジタルビデオ効果装置が記載されてい
る。この先行装置の制御ユニットは、空間を飛ぶすべて
の平面を考慮しているが、現在の画像に対するキーデー
タ（及びアドレス処理データ）を作成するのみである。
こうして多段技法により、互いに飛び交い通り抜ける多
くの画像を（ビデオテープレコーダに）記録できるよう
にしている。この先行デジタルビデオ効果装置は、英国
公開特許出願ＧＢ−Ａ−２２３０３９９号に開示された
線及び平面交差技法を利用している。

【００１８】この先行デジタルビデオ効果装置並びに先
行線及び平面交差技法は、ソース画像を線形物体（すな
わち、平面群）にマッピングするのに適用することがで
きる。しかし、ソース画像の非線形物体の表面へのマッ
ピングには適用できない。

【００１９】また図１について述べた公知の装置は、ビ
デオ触感マッピングに不適当である。すなわち、非線形
表面への立体感表現法がないため、画像の線形処理に制
限されている。

【００２０】「ビデオ触感（texture)マッピング」は、
画像の３次元面へのマッピングを描くのに用いる場合の
コンピュータ図形処理から来た用語である。最初、この
技法は、適当な画像をマッピングして所望の効果を与え
る表面の構造をシミュレートするために開発された。し
かし、これはまた、他の画像をマッピングして他の効果
を作り出すのにも使用されてきた。例えば、１９９０年
アジソン・ウェズリー社発行フォリー、ファンダム、フ
ァイナー及びヒューズ諸氏による図書「コンピュータグ
ラフィックス、理論と実際」第２版におけるカラー図版
を参照されたい。しかし、コンピュータ図形処理に適用
する場合、かようなビデオ触感マッピングが実時間で行
われることは極めて希（まれ）である。

【００２１】また、ビデオ信号がサンプリングされたも
のであることから生じる問題に、エイリアシング（重複
歪み）がある。或る型のエイリアリングは、入力画像の
マッピング時における圧縮及び（又は）回転により生じ
る。この型のエイリアシングは、入力デジタル信号を濾
波する（例えば図１のフィルタ１２において）ことによ
り大体対応されてきた。他の型のエイリアシングは、物
体の端縁又は境界に階段状もしくはぎざぎざのエッジと
して現れる。コンピュータ図形処理の分野においてはこ
れに対し、区域サンプリング及び（又は）光線追跡（ra
y tracing)技法に基く種々の解決法が提案されてきた。
しかし、コンピュータ図形処理に適用する場合、これら
の技法が実時間で行われることは極めて希である。ま
た、デジタルビデオ効果装置の分野においても種々の解
決法が提案されたが、これらの解決法は線形マッピング
にしか適用できないものである。英国公開特許出願ＧＢ
−Ａ−２２３０３９９号に、その解決法の１つが記載さ
れている。

【００２２】

【発明が解決しようとする課題】したがって、本発明の
第１の課題は、ソース画像データの正しいキーイングが
可能な、非線形処理ができるデジタルビデオ効果装置を
提供することである。

【００２３】本発明の第２の課題は、多くの画像が互い
に通り抜けるように飛ぶ効果を作成する場合の従来技術
の問題点を軽減することである。

【００２４】本発明の第３の課題は、非常に高い出力画
質を維持しながら、ソース画像を非線形物体上に実時間
でマッピングするビデオ触感マッピングを可能とするこ
とである。

【００２５】本発明の第４の課題は、出力画像における
エイリアシングの影響を少なくしながらソース画像を３
次元物体面上に実時間でマッピングすることにより、高
い出力画質を得るのに適するデジタルビデオ効果装置を
提供することである。

【００２６】

【課題を解決するための手段及び作用】第１の課題に対
し、本発明は、ソース画素より成るソース画像を３次元
物体面上にマッピングして出力画像画素より成る出力画
像を発生するデジタルビデオ効果装置において、次のよ
うな構成素子を設けた。

【００２７】（ｉ）ソース画像画素を記憶し、マスクす
べきソース画像画素を識別するソースキー情報を記憶す
るメモリ手段、（ii）３次元物体面を規定する表面関数
に従ってソース画像画素を３次元物体面上にマッピング
するためのメモリ読取りアドレスを発生し、上記メモリ
手段内のソースキー情報によってマスクされないソース
画像画素のみをマッピングするアドレス発生器。

【００２８】マッピングされたキーイング情報でなく、
ソースキー情報を直接使用することにより、本発明によ
る上記デジタルビデオ効果装置は、ソース情報を全部正
確にマッピングすることができる。

【００２９】アドレス発生器は、それぞれの出力画素に
対する光線を追跡してメモリ読取りアドレスを計算す
る。すなわち、表面に複数の小区域を作るように、各光
線に対し表面関数を反復して再分割し、所望の解像度で
光線と該小区域間の交差点を検出して、該光線に対応す
る出力画素に対するメモリ読取りアドレスを決定するの
がよい。

【００３０】光線追跡及び反復再分割を行うことによ
り、自動的に隠蔽面が除去される効率的なマッピングが
可能となる。

【００３１】アドレス発生器は、出力画像画素を作成す
るためソース画像画素に対するメモリ読取りアドレスを
計算すると、それから該画素に対するキー情報が該画素
をマスクすることを指示しているかどうかをテストす
る。

【００３２】ソース画像を記憶するメモリ手段は、各ソ
ース画像画素が各アドレス可能なメモリ位置に複数ビッ
トの形で記憶されるメモリを有するのがよい。こうする
と、ソース画像画素へのアクセスが容易になる。

【００３３】ソース画像画素は、メモリに記憶する前に
濾波して、ソース画像を物体面にマッピングする際の圧
縮、回転などから生じるエイリアシングの影響を軽減す
るのがよい。

【００３４】マスクすべきソース画像画素を特定するソ
ースキー情報は、各ソース画像画素に対しアドレス可能
なメモリ位置にキービットの形で記憶するのがよい。

【００３５】メモリに記憶するキー情報及び（又は）３
次元物体面を規定する関数を決めるため、制御手段を設
けるのがよい。

【００３６】本発明は、非線形の３次元物体の表面にマ
ッピングすることを可能にするものである。好適な実施
例では、表面関数はベジエ（Bezier）の表面関数であ
り、デジタルビデオ効果装置は、３次元面に対するベジ
エの表面関数を規定する一組の制御点を決める制御手段
を有するのがよい。

【００３７】第２の課題に対し、本発明は、物体画像画
素より成る各物体画像がそれぞれ３次元物体面上にマッ
ピングされたソース画像画素より成る各ソース画像を表
し、互いに通り抜ける複数の物体画像を表す、出力画像
画素より成る出力画像を発生するデジタルビデオ効果装
置において、次のような構成素子を設けた。

【００３８】（ｉ）それぞれの物体表面上にマッピング
するため各々がソース画像を一時的に記憶する複数のメ
モリ、（ii）各メモリからソース画像画素をそれぞれの
３次元物体面上にマッピングするため、各３次元物体面
を規定する複数の表面関数に従って、上記複数のメモリ
に対するメモリ読取りアドレスを発生することにより、
出力画像画素を作成するための、複合物体画像画素より
成る複合物体画像を決定する共通のアドレス発生器。

【００３９】各表面関数に対応する複数のメモリを共通
アドレス発生器と共に設けると、複数の完全なデジタル
ビデオ効果ユニットを設ける必要がなくなる。本発明
は、共通のアドレス発生器がそれぞれの表面関数に従っ
て複数のメモリにアドレッシングすることにより、直接
複合物体画像を発生することができる。アドレス発生器
に関する限り、これは、別々のメモリ位置グループに記
憶された成分部分をもつ複合物体上へのマッピングを行
うだけである。しかし、この構成によれば、種々の異な
るソース画像を各成分物体面に対応させることができる
（すなわち、種々の異なるソース画像をそれぞれのメモ
リに記憶することで）。

【００４０】ソース画像画素は、ソース画像を物体面上
にマッピングする際ソース画像の圧縮、回転などから来
るエイリアシング発生を軽減するため、複数のメモリに
記憶する前に濾波するのがよい。

【００４１】デジタルビデオ効果装置は、ぎざぎざや階
段状の端縁（エッジ）になるサンプリング・エラー現象
を軽減するため、交差する物体面間の物体間端縁のエイ
リアシング防止手段を含むのがよい。

【００４２】物体間端縁のエイリアシング防止手段は、
物体間端縁に対応すると考えられる複合物体画像画素を
検出する端縁検出手段と、該端縁検出手段により一応物
体間端縁に対応するものとして検出された各複合物体画
像画素をスーパー（super)サンプリングして各端縁画像
画素を決定する端縁処理手段と、複合物体画像の端縁画
素より成る端縁画像を重畳して出力画像を発生するキー
イング手段とを具えるのがよい。端縁検出手段を設ける
ことにより、複合物体画素の全部をスーパーサンプリン
グする必要がなくなる。

【００４３】端縁検出手段は、４つの複合物体画像画素
のグループ内の各画素を比較し、それが上記４画素グル
ープ内で２以上の物体面に関係する画素があることを検
出したとき、４画素グループのその画素を一応物体間端
縁に対応する複合物体画像画素として選択するのがよ
い。こうすると、追跡する必要がある付加光線の数が最
少となる。

【００４４】端縁検出手段は、物体間端縁を示すものと
して、共通のアドレス発生器によりアドレスされたメモ
リ内の不連続性に応動するのがよい。これは、既に計算
したデータを端縁画素の識別に使用でき、必要な計算論
理操作を減少できることを意味する。

【００４５】端縁処理手段は、物体間端縁に対応すると
考えられる各複合物体画像画素に対し、該画素区域に分
布する複数の光線を追跡し、各光線及びそれぞれの物体
面間の交差点に対するテストを行い、物体画素に対応す
る端縁画素を複数の光線に対するテスト結果の関数とし
て計算することにより、該物体をスーパーサンプリング
するのがよい。

【００４６】好適な実施例では、端縁処理手段は、端縁
画素を複数の光線に対するテスト結果の単なる平均とし
て計算する。しかし、他の実施例で加重平均を用いるの
が望ましいこともある。

【００４７】端縁処理手段は、複数メモリの内容を複写
するための記憶器と、複数の非同期アドレス処理器（そ
れぞれのスーパーサンプリングする光線を追跡し、各光
線及び物体面間の交差点に対するテストをして上記記憶
器のアドレスを決定する。）と、該端縁画素に対しそれ
ぞれの光線によりアドレスされた各記憶位置に記憶され
た値から端縁画素値を組合せるための同期バッファ段と
を有するのがよい。こうすると、高品位テレビジョンに
対しても、従来のメモリ技術の帯域幅に対する要件を満
たすことができる。

【００４８】物体間端縁のエイリアシング防止手段はま
た、出力画像を作成するとき、複合物体画像と背景情報
との間の物体背景間端縁のエイリアシングをも防止する
のが望ましい。背景情報は、例えばビデオテープレコー
ダから供給できる。端縁検出手段の動作は、物体間端縁
を検出する動作とほぼ同じであり、４つの複合物体画素
の少なくとも１つがメモリの１つに対応するアドレスを
もたない場合、４つの複合物体画素のグループから複合
物体画素を検出する。端縁処理手段は、物体表面及び背
景情報をスーパーサンプリングすることにより物体背景
端縁画素を発生する。

【００４９】共通アドレス発生器は、それぞれの複合物
体画素に対する光線追跡によりアドレスを発生するのが
よい。すなわち、各再分割が表面に複数の小区域を生ず
るように各光線に対し表面関数を反復して再分割し、所
望の解像度で該光線及び小区域間の交差点を検出して１
つの光線に対応する物体画素に対するメモリ読取りアド
レスを決定するのである。

【００５０】所望の解像度は副画素（sub-pixel)解像度
とし、各メモリをソース画素間を補間するそれぞれの画
素補間手段に対応させて、ソース画像画素が該複合物体
画像画素上に直接マッピングされないとき複合物体画像
画素を決定するのがよい。そして、該アドレス発生器
が、各光線に対し、メモリにアドレスするための主な水
平及び垂直アドレス成分を決め、それぞれのメモリから
アクセスされた画素値間を補間する補間手段を制御する
ための残りの水平及び垂直アドレス成分を決め、該光線
に対応する物体画素を決定するのがよい。こうすれば、
１つの複合物体画素と１つのメモリ内の１サンプルとの
間に直接対応関係がない場合に、複合物体画素値を推定
することができる。

【００５１】本発明によれば、非線形表面である物体面
の処理が可能となる。本発明デジタルビデオ効果装置
は、それぞれの３次元物体面を規定する表面関数を定め
るための制御手段を具えるのがよい。各表面関数は、上
記メモリのそれぞれ１つと対応するものである。本発明
の好適実施例では、表面関数はベジエ（Bezier）表面関
数であり、デジタルビデオ効果装置は、それぞれの表面
に対するベジエ表面関数を規定する１組の制御点を決定
する制御手段を具えるのがよい。各表面関数は、上記メ
モリのそれぞれ１つと対応するものである。

【００５２】第３の課題に対し、本発明は、ソース画素
値のアレイを含むソース画像を非線形物体面上にマッピ
ングして出力画像を作成するデジタルビデオ効果装置に
おいて、次のような構成素子を設けた。

【００５３】（ｉ）画像画素アレイを一時的に記憶する
メモリ、（ii）３次元非線形面を規定する関数を決める
制御手段、(iii）該制御手段により決められた表面関数
に応答して、各出力画素に対する光線追跡によりメモリ
読取りアドレスを計算し、所望の解像度で光線及び表面
間の交差点を検出して該光線に対応する出力画素に対す
るメモリ読取りアドレスを決定するアドレス発生器。

【００５４】本発明によれば、３次元物体面を規定する
関数に対する光線追跡に基くアドレス発生器を使用する
ことにより、ソース画像データを非線形物体上に実時間
で且つ極めて高い画質でマッピングすることができる。
実時間処理により、一連のソース画像を例えばビデオテ
ープレコーダより通常の再生速度で再生でき、このソー
ス画像データを非線形の静止又は可変物体面上にマッピ
ングすることができる。

【００５５】メモリ読取りアドレスを決定するアドレス
発生器は、各再分割毎に複数の小区域面を発生するよう
に各光線に対する表面関数を反復して再分割するものが
よい。反復再分割と共に光線追跡を使用することによ
り、自動的に隠蔽面を除去する効率的なマッピングが可
能となる。

【００５６】アドレス発生器は、各再分割時に、水平ア
ドレス成分の一部及び垂直アドレス成分の一部を累積
し、各小区域に対する深さ値を記憶するのがよい。アド
レス発生器はまた、所望の解像度で１光線及び１以上の
小区域間の交差点が検出されたとき、最も浅い深さ値を
もつ小区域の水平及び垂直アドレス成分によって示され
るアドレスを選択するのがよい。アドレス発生器がこれ
らの特徴をもてば、隠蔽された線及び面を自動的に排除
することが可能となる。

【００５７】本発明デジタルビデオ効果装置は画素補間
手段を有するのがよく、所望の解像度を副画素解像度と
して、これによりアドレス発生器が各光線に対し、メモ
リのアドレス用の主な水平及び垂直アドレス成分と、メ
モリからアクセスされた画素値間を補間する補間器を制
御するための残りの水平及び垂直アドレス成分とを決定
し、該光線に対応する出力画像を決定するのがよい。こ
れらの特徴を加えると、メモリ内のサンプルと出力画素
の間に１：１の対応関係がない場合に、正確な出力画素
値を計算することができる。

【００５８】好適な実施例では、アドレス発生器は、複
数の並列アドレス処理器を含む非同期段を具える。各ア
ドレス処理器は、表面関数及び各光線間の交差点を決め
るため表面関数の反復再分割を行う。アドレス発生器は
また、非同期段の結果を受け、出力画像の画素に対し出
力アドレスを正確な走査順に発生する同期部を具える。
こうすると、高品位テレビジョンに対しても実時間処理
のできる柔軟性が得られる。

【００５９】アドレス発生器は、交差点を決定するのに
平行光線を追跡し、制御手段は、遠近感のある透視空間
に置換えられる所望の３次元非線形物体面を表す表面関
数を決定するのがよい。平行光線を使用すると、普通の
発散光線の場合よりも効率のよい光線交差点テストがで
きる。

【００６０】本発明デジタルビデオ効果装置は、ソース
画像区域を複数の副区域（sub-area）に論理的に分割
し、表面関数に従って副区域コーナーのマッピングを計
算する区域マッパー（mapper）を具えると共に、該区域
マッパーの出力に応動し、表面関数上へのマッピング時
それら副区域の各水平及び垂直圧縮度に応じて各副区域
に対する水平及び垂直局部圧縮率を発生する圧縮率発生
器と、ソース画像の画素をメモリに記憶する前に該画素
が属する区域に対する局部圧縮率に従って濾波する、可
変水平及び垂直帯域幅をもつデジタルフィルタとを具え
るのがよい。これらの特徴は、ソース画像サンプルの局
部的濾波作用を可能とし、ソース画像を３次元非線形面
にマッピングするとき生じる圧縮、回転、傾斜などによ
り経験するエイリアシング歪みを軽減する。

【００６１】制御手段は、制御論理処理をするワークス
テーションの形のものがよい。そうすると、ソース画像
をマッピングすべき物体の表面に対する表面関数の発生
及び処理に柔軟性を与えることができる。

【００６２】好適な実施例では、表面関数はベジエ表面
関数であり、制御手段は、所望面に対するベジエ表面関
数を規定する１組の制御点を決定し、区域マッパー及び
アドレス発生器はその制御点の組に応動する。

【００６３】第４の課題に対し、本発明は、３次元物体
面上にマッピングされたソース画像を表す出力画像画素
より成る出力画像を発生するデジタルビデオ効果装置に
おいて、次のような構成素子を設けた。

【００６４】（ｉ）ソース画像画素を一時的に記憶する
メモリ、（ii）ソース画像画素を３次元物体面上にマッ
ピングするため、３次元物体面を規定する表面関数に従
ってメモリ読取りアドレスを発生するアドレス発生器、
(iii）ソース画像画素が直接物体画像画素にマッピング
されないとき、ソース画像画素間を補間して物体画像画
素を決定する画素補間手段、（iv）物体の端縁に対応す
る物体画像画素を検出する端縁検出手段、（ｖ）物体の
端縁に対応する各物体画素をスーパーサンプリングして
各端縁画像画素を決定する端縁処理手段、（vi）物体画
像の端縁画素より成る端縁画像を重畳して、ソース画像
が３次元物体上にマッピングされた出力画像を発生する
キーイング手段。

【００６５】物体画像画素を作るためソース画像画素値
間を補正する画素補間手段と、物体端縁を処理する付加
的な端縁検出及び処理手段とを設けることにより、ソー
ス画像を目標物体面上に正確にマッピングさせることが
可能となる。補間手段を物体端縁の効率的処理に使用す
ることはできない。これは、メモリ内にない情報（すな
わち、背景画素データ又は隣接物体面に関するデータ）
を必要とする。

【００６６】ソース画像画素は、３次元物体面上にマッ
ピングするときのデータ圧縮により生じるエイリアシン
グ現象を軽減するため、メモリに記憶する前に濾波する
のがよい。

【００６７】端縁処理手段は、物体の端縁に対応する各
物体画像画素に対し、画素区域にわたって分布する複数
の光線を追跡し、各光線及び物体面間の交差点のテスト
をすることにより、該物体をスーパーサンプリングする
のがよい。物体画素に対応する端縁画素は、複数の光線
に対するテスト結果の関数として計算する。

【００６８】端縁処理手段は、メモリの内容を複写する
ための記憶器と、複数の非同期アドレス処理器（各スー
パーサンプリング光線を追跡し、各光線及び物体面間の
交差点のテストをして上記記憶器のアドレスを決定す
る。）と、該端縁画素に対し各スーパーサンプリング光
線によりアドレスされた各記憶位置に記憶された値から
端縁画素値を組合せるための同期バッファ段とを具える
のがよい。メモリを複写する記憶器を設けると、メモリ
及び記憶器をアドレスするための高品位画像に関連する
帯域幅の要求を現在の技術で満たすことが可能となる。
非同期段は、迅速な端縁並列処理を可能とし、同期段
は、その結果、組合せて１組の端縁画素を発生すること
を可能とする。

【００６９】端縁画素は、複数の光線に対するテスト結
果の平均として計算するのがよい。ただし、場合によっ
ては、加重平均を用いる方がよいこともある。

【００７０】端縁検出器は、４つの物体画素のグループ
内で個々の画素を比較し、４画素のグループの画素を、
該４画素グループ内に物体内にある画素と物体外の画素
の両方が存在することを検出した場合、物体端縁に対応
する物体画素として選択する動作をするのがよい。他の
方法としては、各画素セルのコーナーに対する画素値を
計算し、コーナー間の差に応じて端縁にあるただ１つの
画素を識別する方法もある。しかし、各画素セルに対す
るコーナー値の計算を追加することなく、各画素セルに
対しアドレス発生器が既に計算した値に頼る方法が好ま
しい。

【００７１】端縁検出器は、アドレス発生器が作成した
メモリ読取りアドレス間の不連続を物体の端縁を示すも
のとして応動するのがよい。この方法により、物体の内
部端縁（例えば、物体面が自分の後方に折曲がる場合）
及び外部物体（例えば、物体面が他の物体面又は背景と
隣合う場合）を自動的に検出することができる。

【００７２】端縁処理器は、物体画像をキーイングする
ため、複数の物体画像に対する端縁画像画素を処理して
複数のマッピングされた入力画像に対する複合出力画像
を発生できるものがよい。そうすると、端縁処理器は、
他の物体面と隣接する端縁の検出に自動的に応動するこ
とができる。アドレス発生器は、各物体画素に対する光
線追跡によりアドレスを発生する、すなわち、各再分割
毎に複数の小区域面を発生するよう各光線に対する表面
関数を反復再分割し、所望の解像度で光線及び小区域間
の交差点を検出したとき該光線に対応する物体画素に対
するメモリ読取りアドレスを決定するのがよい。光線追
跡は、隠蔽面を自動的に除去できる効率のよいマッピン
グ方法を提供する。

【００７３】所望の解像度は副画素解像度がよく、アド
レス発生器は、各光線に対し、メモリをアドレスするた
めの主な水平及び垂直アドレス成分と、光線に対応する
物体画素を決めるためメモリからアクセスした画素値間
を補間する補間手段を制御するための残りの水平及び垂
直アドレス成分とを決定するのがよい。そうすると、ア
ドレス発生器は、補間手段を制御する制御データを自動
的に発生することができる。

【００７４】好適な実施例では、３次元物体面は非線形
面である。制御手段は、３次元物体面を規定する表面関
数を決めるために設けられる。好適実施例では、表面関
数はベジエ表面関数であり、デジタルビデオ効果装置
は、所望面に対するベジエ表面関数を規定する１組の制
御点を決める制御手段と、該制御点の組に応動するマッ
ピング手段及び端縁処理器とを具える。該制御手段は、
適当な制御論理操作ができるコンピュータ・ワークステ
ーションがよい。

【００７５】１９８７年３月雑誌ＩＥＥＥコンピュータ
グラフィックス・アンド・アプリケーションズ３３〜４
４頁に発表された「２立方体小区域光線追跡に対するＶ
ＬＳＩチップの実現可能性（The feasibility of a VLS
I Chip for Ray Tracing Bicubic Patches）」と題する
アール・プーリブランク及びジェイ・カペンガ両氏によ
る論文に、ベジエ曲線及び表面の再分割に基く光線追跡
アルゴリズムを実行するためのＶＬＳＩチップ作製の可
能性が論じられている。しかし、本論文は、速度が主要
な考慮事項でない場合のコンピュータ図形処理応用のた
めのチップ製作に向けたものであり、上述した問題に向
けたものではない。

【００７６】

【実施例】以下、図面により本発明を具体的に説明す
る。本発明によるデジタルビデオ効果装置の１つの例
は、ソース画像を実時間で３次元面にマッピングするこ
とができる一方、入力又はソースのキーイングを可能と
するものである。このマッピングを行うに先立ち、画像
をマッピングしようとする物体の表面を規定しなければ
ならない。本発明の好適な実施例では、物体の表面をい
わゆるベジエ（Bezier）表面なる表現で定義する。

【００７７】本発明によるデジタルビデオ効果装置の１
つの例を説明する前に、ベジエ曲線及び表面の概念につ
いて簡単に述べる。この曲線及び表面を作る方法は、フ
ランスの技術者ベジエ（Bezier）が自動車の車体のデザ
インに使うために開発したものである。ベジエ曲線は、
１組の制御点から多項式の関数を作って形成される２次
元曲線である。

【００７８】図２は、４つの制御点Ｐ₀，Ｐ₁，Ｐ₂，
Ｐ₃により規定されるベジエ曲線Ｃ ₀を示す。これらの
座標点から、ベジエ座標関数Ｐ（ｕ）を計算できる。こ
の関数は、入力制御点Ｐ_kに適合する曲線に対する３つ
のパラメータ方程式を表すものである。ただし、ｋ＝
０，１，２，３に対しＰ_k＝（ｘ_K，ｙ_k，ｚ_k）であ
る。このベジエ座標関数は、

【数１】として計算できる。ただし、ｕは点Ｐ₀（ｕ＝０）から
Ｐ₃（ｕ＝１）までの曲線に沿う距離であり、各Ｂ_k.n
（ｕ）は「混合関数（blending function)」と呼ばれる
多項式関数で、次式により表される。Ｂ_k.n（ｕ）＝Ｃ（ｎ，ｋ）ｕ^k（１−ｕ）^n-k ただし、Ｃ（ｎ，ｋ）は次式で表される２項式の係数で
ある。

【数２】

【００７９】ベジエ曲線の１つの重要な特性は、制御点
により規定される凹面殻内にあることである。ベジエ曲
線のもう１つの重要な特性は、曲線の終端点における正
接（タンジェント）が終端制御点と隣りの制御点とを結
ぶ線に沿うことである。したがって、第１のベジエ曲線
と第２のベジエ曲線の終端点における連続性を確保する
ためには、２つの曲線の共通終端点及びそれぞれの隣り
の制御点が全部一直線上にあるようにするだけでよい。
これを図２に曲線Ｃ₀，Ｃ₁及び制御点Ｐ₂，Ｐ₃，Ｐ
₄で示した。

【００８０】ベジエ曲線の他の特徴は、ベジエ曲線を２
つのベジエ曲線に再分割できることである。図３は、ベ
ジエ曲線Ｃ₀を２つに再分割して作ったベジエ曲線
Ｃ₁，Ｃ _rに対する制御点の発生を示す。左側の曲線Ｃ
₁の制御点はＬ₀，Ｌ₁，Ｌ₂，Ｌ₃であり、右側の曲
線Ｃ_rの制御点はＲ₀，Ｒ₁，Ｒ₂，Ｒ₃である。図３
を調べると、これらの制御点は次式により決定できるこ
とが分かるであろう。Ｌ₀＝Ｐ₀ Ｒ₃＝Ｐ₃ Ｌ₁＝（Ｐ₁＋Ｌ₀)/2 Ｒ₂＝（Ｒ₃＋Ｐ₂)/2 Ｌ₂＝((Ｐ₂＋Ｐ₁)/2）＋Ｌ₁)/2 Ｒ₁＝((Ｐ₂＋Ｐ₁)/2）＋Ｒ₂)/2 Ｌ₃＝（Ｌ₂＋Ｒ₁)/2 Ｒ₀＝Ｌ₃

【００８１】２つの新しいベジエ曲線は、元のベジエ曲
線から簡単な足し算と２で割る割算により作成しうるこ
とに注意されたい。したがって、２進システムでは、新
しいベジエ曲線は、簡単な加算とシフト操作の組合せに
より作成できる。

【００８２】ベジエ表面は、適当な入力制御点により指
定された２組のベジエ曲線によって規定される。図４
は、小さな＋符号で表した制御点に関し、この方法を用
いて作成した面を示す。図４におけるほぼ水平及びほぼ
垂直な線部分ｇｈ及びｇｖは、それぞれ次の多項式に対
する面における一定の緯度及び経度（ｕ及びｖ）の線を
描いている。

【数３】

【００８３】ベジエ曲線及びベジエ表面に関するその他
の情報については、１９９０年アジソン・ウェズリー社
発行フォリー、ファンダム、ファイナー及びヒューズ諸
氏による「コンピュータ・グラフィックス、理論と実
際」と題する図書第２版の第１１章を参照されたい。

【００８４】図５は、本発明によるデジタルビデオ効果
装置の実施例を示す簡略ブロック図である。同図におけ
るデジタルビデオ効果ユニット３０と従来例のデジタル
ビデオ効果ユニット１０との重要な相違点は、前者３０
がそれぞれがメモリ１３をもつ複数の書込みユニット３
１Ａ，３１Ｂ，３１Ｃと、ただ１つの読出しユニット３
３とを有する点である。メモリ１３をもつ複数の書込み
ユニット３１を設けると、ソース画像データを互いに飛
び交う複数の物体面上にマッピングすることができる。
自己のメモリ１３をもつ１つの書込みユニット３１を各
物体面毎に設ける。図示の例では、互いに飛び交い通り
抜ける３つの物体面を想定している。互いに飛び交う物
体の数が違えば、書込みユニットの数も異なる。

【００８５】各書込みユニット３１Ａ，３１Ｂ，３１Ｃ
はそれぞれ、ソース画像データＶ（ａ),Ｖ（ｂ),Ｖ
（ｃ）を受ける各ビデオ入力端１１Ａ，１１Ｂ，１１Ｃ
を有する。画像データは１つの画像を表すものでもよい
が、ソース画像データＶ（ａ),Ｖ（ｂ),Ｖ（ｃ）はそれ
ぞれ画像Ｐ（ａ),Ｐ（ｂ),Ｐ（ｃ）を表すものとする。
各書込みユニット３１Ａ，３１Ｂ，３１Ｃはそれぞれ、
フィルタ１２、画素補間器１４の付いたメモリ１３及び
フィルタ制御器１９を有する。読出しユニット３３は、
共通アドレス発生器２１、キープロセッサ２３、同期遅
延回路１５及びデータ・キーヤー１７を有する。デジタ
ルビデオ効果ユニット３０は、ワークステーションの形
の制御ユニット２５により制御される。制御ユニット２
５は従来と同じハードウエア構造でもよいが、制御ユニ
ット（ワークステーション）２５にソース画像をベジエ
表面関数の形でマッピングしようとする各物体を規定す
るソフトウエアを設ける。ワークステーション２５の出
力は、それらの面に対するベジエ制御点（例えば図２の
点Ｐ₀，Ｐ₁，Ｐ₂，Ｐ₃）の各座標を含む。各書込み
ユニット３１Ａ，３１Ｂ，３１Ｃのフィルタ制御器１９
並びに読出しユニット３３のアドレス発生器２１及びキ
ープロセッサ２３は、ワークステーション２５からのベ
ジエ制御点に応動して具体的に適応するようになってい
る。これについては、あとで詳細に述べる。大まかにい
えば、フィルタ制御器１９、アドレス発生器２０及びキ
ープロセッサ２３は、上記制御点を用いてそれぞれフィ
ルタ１２の動作、メモリ１３の読出しアドレッシング及
びキーヤー１７の動作を制御する。

【００８６】従来技術と同様、画像の圧縮から来るエイ
リアシング歪みを回避するためソース画像を濾波する
が、ソースキーは濾波しない。ソースキーは、線ＩＫを
介してフィルタ１２に続くメモリ１３に供給する。

【００８７】本発明の理解にとって重要ではないが、念
のため入力ソース画像データの濾波について次に述べ
る。

【００８８】当業者には周知のように、画像の特徴は、
空間周波数として知られる２次元パラメータによって決
まる。空間周波数の概念は、同じ間隔で配置された一連
の直線の形の画像を考えると、容易に理解されるであろ
う。この画像は、これらの線の見掛けの間隔に逆比例す
るただ１つの空間周波数を有する。（空間周波数は、垂
直な線を水平に並べた場合に水平、水平な線を垂直に並
べた場合に垂直、その他の場合は斜めの空間周波数であ
る。）画像を圧縮すると、これらの線は目視者にとって
互いに一層接近して見えるので、それらが目視者の眼と
なす角度は減少し、空間周波数は増加する。

【００８９】フーリエ解析における圧縮理論では、画像
信号を空間領域で圧縮すると画像の空間周波数が増加す
るという。

【００９０】処理しようとする画像信号は、サンプリン
グされた信号である。信号のサンプリングに関するナイ
キストの法則によれば、信号に含まれる情報を損じない
ためには、信号を少なくとも信号の帯域幅（ＦＢ）の２
倍に等しい周波数（ＦＳ）でサンプリングしなければな
らない。勿論、この基準は、デジタル入力信号が最初濾
波されたアナログ信号をサンプリングして作成された場
合にも当てはまる。図６は、エイリアシング発生説明図
である。図６のＡに、サンプル信号の周波数領域におけ
る周波数スペクトル（フーリエ変換）を示す。同図の縦
軸は振幅（ｖ）、横軸は周波数（Ｈｚ）である。このス
ペクトルのＦＢまでの部分は基本帯域成分ＢＢである。
この基本帯域はサンプリング周波数ＦＳ及びその高調波
２ＦＳ，３ＦＳ，‥‥を中心として対称的に現われ、高
周波成分ＨＦＣを生じる。ナイキストの法則に従い（す
なわち、ＦＳ／２＞ＦＢ）、且つ信号の帯域幅が約ＦＳ
／２の遮断周波数をもつように（低域通過濾波されて）
制限されれば、高周波成分ＨＦＣは出力に現れない。上
述のとおり、サンプリングされた信号が空間領域で圧縮
されると、そのフーリエ変換は周波数領域における拡大
を示す。すなわち、両成分ＢＢ，ＨＦＣとも、図６のＢ
に示すように増大する。そうすると、信号の帯域幅ＦＢ
がナイキスト限界（ＦＳ／２）を越え、高周波成分ＨＦ
Ｃの少なくとも最も低い部分が基本帯域内にまで低下し
これと混合され、信号したがってそれが表す画像を劣化
させるという信号のエイリアシング（重複歪み）を生じ
ることがある。

【００９１】ソース画像に対する濾波の要件は、フィル
タ制御器１９によって決める。ソース画像に対する濾波
要件は、非線形面上にマッピングする場合、マッピング
から来る圧縮度が変わるため、画像上において著しく変
化する。濾波が過ぎると画像がぼやけ、濾波が足りない
とエイリアシングが残るので、その中間にすべきであ
る。また、濾波を行うことによる解像度についても中間
を取るべきである。各ソース画像のサンプル（すなわ
ち、ソース画像の画素）に対し別々に必要な濾波量を決
めることは、計算の面からみて非常に高くつく。

【００９２】したがって、フィルタ制御器１９において
は、英国公開特許出願ＧＢ−Ａ−２２４４６２２号に記
載されたものと似た方法を取る。すなわち、フィルタ制
御器１９は、ソース画像空間をタイルｔより成る４角形
と考える（１つのタイルは、画素の１グループＰから構
成されたソース画像空間区域である。）。

【００９３】図７は、簡略化したソース画像区域を示す
図である。この区域は、各々が画素の４×４アレイＰよ
り成る正方形タイルｔの８×８アレイの形の空間であ
る。実際上は、タイルは正方形でなくてもよく、もっと
大きくてもよい。実際の例では、タイルの数はもっと多
い。例えば、高品位テレビジョン画像では、各タイルが
４×４画素の場合５５０×２８１タイルであり、その中
で活動画像に関係するのは４８０×２５８である。これ
らのタイルの所望形状へのマッピング位置は、目標物体
のベジエ表面から、具体的にいえば、後述のようにワー
クステーション２５によるベジエ制御点出力から計算さ
れる。図４に示したベジエ表面の一定緯度及び経度のほ
ぼ水平及びほぼ垂直の線は、ソース画像空間のタイルの
端縁の上記表面上へのマッピング位置を表している。図
７のソース画像空間の各タイルと図４のベジエ表面上に
マッピングされたタイルとの間には、１対１の対応関係
がある点に注目されたい。

【００９４】フィルタ制御ユニット１９は、入力画像空
間に対するタイルのコーナーの目標物体面へのマッピン
グを計算するためのタイル・マッパー３２と、フィルタ
１２を制御する信号を発生するため計算されたマッピン
グから局部的な圧縮率を計算する局部圧縮率発生器３４
とを有する。

【００９５】図８は、タイル・マッパー３２の例を示す
ブロック図で、４０は制御点メモリ、４２はマッピング
論理回路、４４はマッピングメモリである。タイル・マ
ッパー３２への入力は、制御ユニット２５より出力され
る、目標物体を規定すべきベジエ制御点のアレイの形を
している。これらの制御点は、制御点メモリ４０に記憶
する。

【００９６】一般に、目標物体は、複数の表面小区域で
規定され、各小区域は、ベジエ曲線関係群の構成要素と
しての、制御点群で表せる１つのベジエ表面関数で規定
される。ただし、説明を簡単にするため、下記の例では
目標物体を１６の制御点ただ１組で表されるただ１つの
小区域より成るものと仮定する。

【００９７】一度制御点を制御点メモリに記憶すると、
マッピング論理回路４２は、タイル分割したソース画像
空間における各タイルのコーナー点に対し、その点のマ
ッピングされる空間へのマッピング位置を決定する。こ
の処理をする際、マッピング論理回路４２は、制御点メ
モリ４０内の制御点にアクセスし、計算した該コーナー
点のマッピング位置をマッピングメモリ４４へ記憶す
る。マッピング論理回路４２は、次々に各タイル・コー
ナー点を処理し、該コーナー点に対しマッピングされる
座標値を計算する。マッピング論理回路４２の処理は、
図９に要約される。

【００９８】マッピング論理回路は、タイルを１列ずつ
処理し、各列内では１行ずつ処理する。タイルの各コー
ナーに対するマッピング（される）座標値を発生するた
め、マッピング論理回路は、ステップ４８で第１の、す
なわち一番上の列の水平タイル端縁の処理からスタート
し、ステップ５０で第１の垂直タイル端縁（すなわち、
左手のタイル端縁）を選択する。これは、ステップ５２
までに、マッピング論理回路が画像の最上左手コーナー
を選択したことを意味する。ステップ５２で、マッピン
グ論理回路４２は、いま問題の点（すなわち、画像の最
初の最上左側コーナー）に対するマッピングを累積する
ため、変数ｘ，ｙ，ｚを初期化する。

【００９９】マッピン論理回路４２は、各制御点を順次
考えることにより当該点に対するマッピング位置を計算
する。制御点は、制御点の２次元アレイとしてメモリに
記憶する。上記論理回路４２は、変換ｊ及びｋを用いて
この制御点アレイにアクセスする。よって、該回路４２
は、ステップ５２で変数ｊを初期化し、ステップ５４で
変数ｋを初期化する。ステップ５８で、与えられたｊ及
びｋの値に対し、上記回路４２は、ｕ及びｊに対する水
平混合（blending）関数を求めて水平混合値ｂｕを発生
し、ｖ及びｋに対する垂直混合関数を求めて垂直混合値
ｂｖを発生する。

【０１００】それから、マッピング論理回路４２は、当
該タイル・コーナー点に対するｘ，ｙ，ｚの累積現在値
を更新する。新しい変数ｘの値は変数ｘの前の値に加算
することにより計算され、制御点のｘ座標値は、変数ｊ
及びｋに水平混合値ｂｕ及び垂直混合値ｂｖを乗じたも
のにより特定される。同様に、新しい変数ｙの値は変数
ｙの前の値に加算して計算され、制御点のｙ座標値は、
変数ｊ及びｋに水平混合値ｂｕ及び垂直混合値ｂｖを乗
じたものにより特定される。同様にして、新しい変数ｚ
の値は変数ｚの前の値に加算して計算され、制御点のｚ
座標値は、変数ｊ及びｋに水平混合値ｂｕ及び垂直混合
値ｂｖを乗じたものにより特定される。ｋのすべての値
を考慮し終わるまでｋの値を１つずつ増加し（ステップ
６０）、ｊのすべての値を考慮し終わるまでｊの値を１
つずつ増加する（ステップ６２）ことにより、各制御点
の座標値の寄与を累積することができる。ステップ６４
で、各制御点に対するそれぞれの座標値をいま問題のタ
イル・コーナー点に対して考慮し終わると、該タイル・
コーナー点に対するｘ，ｙ，ｚの値をマッピングメモリ
４４に記憶する。

【０１０１】ステップ６６で、マッピング論理回路４２
は、考慮すべきもう１つタイル端縁があるかどうかを決
定し、もしあれば、そのｖの値をこの次のタイル端縁と
して定め、ステップ５２に戻し、そこで、この新しい点
に対するマッピングを発生するためｘ，ｙ，ｚの値を初
期化し直す。上記論理回路４２は、タイルの線に沿って
最後のタイルの右手の端縁を考慮し終わるまで歩進を続
ける。現在のタイル・コーナー点の線の右側端縁を考慮
し終わると、上記論理回路４２は、ステップ６８に進
み、処理すべきもう１つの水平タイル端縁があるかどう
かを調べる。もしあれば、それに従ってｕの値を更新
し、次のタイル端縁を考える。最上位及び最下位の端縁
を含め垂直端縁の全部は、マッピングがソース画像空間
のタイルの各コーナー点に対して発生するように進めら
れる。

【０１０２】元のソース画像におけるタイルのコーナー
点と、マッピング論理回路４２で計算されたそれらの座
標点のマッピング位置とを比較することにより、それら
各タイルの局部圧縮率を決定することができる。

【０１０３】こうして、ワークステーション２５により
出力されるベジエ表面関数に対する制御点から、タイル
のコーナー点のマッピング位置が決定される。原コーナ
ー点とマッピングされたコーナー点の差は、圧縮率発生
器３４により各タイルに対する局部圧縮率を決定するの
に使用される。個別に決定された局部圧縮率は、ソース
画像の各タイルに該タイルについて行われる圧縮に対し
て適切な濾波量を加えるよう、フィルタ１２を制御する
のに使用する。

【０１０４】図１０は、マッピング処理前のデジタル信
号Ｖ₁によって表される入力画像の局部区域（具体的に
いうと、図４及び７にｔｓを付し示したタイル）を示
す。図示のように、マッピング処理前はタイルは正方形
である。ａ，ｂ，ｃ，ｄはタイル・コーナーを示す。そ
の端縁ｃ−ｄ及びｂ−ａは水平であり、その端縁ｃ−ｂ
及びｄ−ａは垂直である。図１１は、該処理後の図１０
のタイルｔｓをＩｔｓとして示すものである。処理後の
コーナーａ，ｂ，ｃ，ｄの位置、すなわち処理された画
像内の位置は、図１１においてそれぞれＩａ，Ｉｂ，Ｉ
ｃ，Ｉｄで表す。

【０１０５】処理後のタイルの形状は、図１０に１点鎖
線で表した平行４辺形に大体近似していると考えられる
ので、英国公開特許出願ＧＢ−Ａ−２２４４６２２号に
記載されたような局部圧縮率計算手段を使用できる。

【０１０６】図１２は、おおよそ平行４辺形であればよ
い４辺形になるようにタイルをマッピングする場合、ソ
ース画像の各タイルに対し局部水平圧縮率ｌｈ及び局部
垂直圧縮率ｌｖを計算しうる局部圧縮率発生器３４を示
す。第１計算部７２は、マッピングされた各タイルに対
する座標点Ｉａ，Ｉｂ，Ｉｃ，Ｉｄから、マッピングメ
モリ４４に記憶されたそれらの点の座標を用いてｘｖ，
ｘｈ，ｘｈの値を計算する。これらの値７４は、第２計
算部７６に入力される。第２計算部７６は、３角法関係
から対応するｌｈ及びｌｖの値を計算する。対応するｌ
ｈ，ｌｖの値７８は、それから濾波されるべき画像と同
期してフィルタ１２に出力される。この局部圧縮発生器
による値ｌｈ，ｌｖの発生に関する論理については、上
記の英国特許出願ＧＢ９０１２０２５．４号に十分論じ
てあるので、ここではこれ以上詳しくは述べないことに
する。

【０１０７】フィルタ１２は、有限インパルス応答（Ｆ
ＩＲ）フィルタがよい。２次元ＦＩＲフィルタ自体は公
知であるから、好適なフィルタの構成についてここでは
詳述しない。当業者には周知のとおり、２次元ＦＩＲフ
ィルタは、各クロック周期Ｔ（＝１／ＦＳ）毎に、すな
わち各サンプル画素に対し、入力信号の垂直及び水平に
並んだサンプルの予め定めた組にそれぞれの加重係数を
乗じ、乗算の積を加算することにより、濾波される出力
ワードすなわちサンプルを計算する動作を行う。この目
的のため、２次元ＦＩＲフィルタは一般に、それぞれ加
重係数が供給される複数の乗算器と、該乗算器の上流又
は下流に配置され、入力信号サンプルを異なる量だけ遅
延させて垂直及び水平に並ぶサンプルの予め定めた組を
作成する、複数の１サンプル遅延素子及び１ライン遅延
素子（ラインメモリ）と、遅延され加重された積を加算
する加算手段とを具えている。図１３は適当なフィルタ
を簡略化して示したもので、フィルタ１２は、複数の乗
算器１２Ｍ、複数の遅延素子１２Ｄ及び加算手段１２Ｓ
を有する。それぞれ異なる加重係数が、帯域幅制御手段
１２Ｂより伸びる線上にある乗算器１２Ｍに供給され
る。

【０１０８】帯域幅制御手段１２Ｂは、水平及び垂直局
部圧縮率ｌｈ及びｌｖの値を加重係数として適切な値を
計算するのに直接使用してフィルタ１２の水平及び垂直
帯域幅を減少させるために、フィルタ１２内に設けるも
のである。考えられるｌｈ及びｌｖのすべての値に適切
な一連の加重係数値の組を設計段階で計算し、帯域幅制
御手段１２Ｂを、予め計算した加重係数値の組の参照表
（ルックアップテーブル）を記憶するＰＲＯＭの形に構
成するのがよい。こうして、帯域幅制御手段１２Ｂは、
局部圧縮率発生器３４から受けるｌｈ，ｌｖの値に従
い、各クロック周期に適切な加重係数の値を乗算器１２
Ｍに出力することができる。

【０１０９】上述のように、１タイル内の水平おけよび
垂直帯域幅に必要な減少は、未処理タイルに対する処理
されるタイルの水平及び垂直寸法並びに回転及び剪断変
形量の比に関係する。これらのファクターを帯域幅制御
手段３４内の参照表の設計において考えに入れることに
より、ｌｈ及びｌｖの値（これから計算した比率でな
く）を水平及び垂直圧縮率として直接帯域幅制御手段１
２Ｂに供給できる。

【０１１０】各ソース画像信号Ｖ（ａ),Ｖ（ｂ),Ｖ
（ｃ）の濾波は、それぞれ書込みユニット３１Ａ，３１
Ｂ，３１Ｃにおいて実時間でソース画像サンプルの受信
に同期して行われるように構成する。各ソース画像信号
Ｖ（ａ),Ｖ（ｂ),Ｖ（ｃ）に対する濾波されたソース画
像サンプルは、それぞれの書込みユニット３１Ａ，３１
Ｂ，３１Ｃのメモリ１３に記憶する。

【０１１１】これでソース画像データの濾波についての
説明が終わったので、次に濾波されたソースデータのキ
ーイングについて述べる。図２４は、本発明によりソー
ス画像をソースキーでキーイングする例を示す。図２４
のＡ及びＢは、それぞれ図２３のＡ及びＢに対応する。
図２４において、図２３のＣに示す処理と似た処理を入
力画像に行うものと仮定する。この場合、本発明では
（例えば図１５のステップ９７参照）入力画像のマスキ
ングを線ＩＫにより原ソースキーデータを用いて行うの
で、図２４のＣに示すように正しくキーイングされた出
力画像を発生することができる。

【０１１２】従来技術と同様に、キー情報は濾波された
ソース画像と一緒にメモリ１３に記憶される。しかし、
入力又はソースキー情報は濾波されない点に注意された
い。一般に各ソース画像に対して１１ビットがメモリ１
３に与えられ、そのうち１０ビットがソース画像サンプ
ル自身に、１ビットがその画素に対するキー情報に使用
される。キー情報は、フィルタ１２からの濾波された画
像サンプルの受信と同期して線ＩＫにより供給される。

【０１１３】濾波された各画像は、受信順にそれぞれの
メモリ１３に記憶するとき、適切なメモリ読取りアドレ
スを発生することにより目標物体上にマッピングするこ
とができる。この操作は、濾波された各画像に対し、共
通アドレス発生器２１により、ベジエ再分割として知ら
れる光線追跡再分割技法を用いて行われる。この使用技
法は、前述したように、ベジエ曲線が単に加算と２によ
る除算だけの、制御点に関する簡単な操作で２つの曲線
に容易に再分割できるという事実に基いている。

【０１１４】共通アドレス発生器２１の目的は、メモリ
１３内の濾波されたソース画像データの位置を決めるア
ドレスデータを発生することであり、該データは、物体
画像の各画素を発生して順次出力画像を作成するのに使
用できるものである。この処理は、物体画像の各画素に
対する光線を発生し、該光線が該物体と交差するかどう
かを検出し、交差する場合該光線に対する出力画素を作
成するのに用いられるソース画像データを含むメモリ１
３内の１以上の記憶位置を決定するという概念に基くも
のである。光線と物体面との交差を決めるのに、この技
法は、各光線に対しベジエ表面を反復再分割、すなわち
小区域の４分割を伴う。

【０１１５】前述のように、曲線の場合、曲線を完全に
含む凹面殻（convex hull)を規定するのに制御点を用い
ることができる。同じことがベジエ表面にもあてはま
り、表面を完全に含む多角辺をもつ凹面容積を規定する
のに制御点を用いることができる。計算を容易にするた
め、上記アドレス発生器２１は、凹面殻を考えないで、
制御点のそれぞれｘ及びｙ成分の最大及び最小に基く一
層簡単な「境界ボックス（bounding box）」を使用す
る。いわゆる「境界ボックス」は、表面の小区域を含み
座標軸と合うように配置する。再分割処理の各段階で、
上記アドレス発生器は、光線がこの境界ボックスと交差
するかどうかを計算する。この再分割処理は、所望の解
像度が得られるまで続く。これより、図１４及び１５に
より該再分割処理技法を説明する。

【０１１６】図１４は、再分割処理の説明図である。概
念的にいうと、各光線は原点「０」からスタートし物体
内部を通り抜ける。図１４は、左上の境界ボックスに対
し第１の再分割Ｓ１から交差があり、破線で示すように
この境界ボックス内に第２の再分割Ｓ２が作られた状態
を示す。この処理は、所望の解像度又は精度に達するま
で（ここでは微小分割部Ｓｎまで）続き、微小区域Ｒｓ
が決まる。図１４に示すように、各画素に対する光線は
原点「０」から発散する。しかし、このような発散光線
方式では、１光線と１境界ボックス間に交差が発生した
かどうかをテストする際、処理上非常な不利益を受け
る。本発明の好適実施例では、後述のように平行光線を
使用する発散光線方法に近似する方法を用いる。

【０１１７】図１５は、再分割処理における基本ステッ
プを示す流れ図である。再分割処理は、ステップ８０に
おいて原小区域に対する制御点からスタートする。本例
では、原小区域は物体の全表面である。この段階で、考
えられる最大の深さを表す深さ値を深さレジスタに設定
する。第１ステップ８２では、原制御点について適当な
計算をして原小区域を４つの副小区域（sub-patch)に再
分割し、該副小区域に対する制御点をスタック（後入れ
先出しメモリ）に記憶する。該副小区域に対する制御点
を発生するための計算は、図３について先に述べた方程
式に基いて行う。先に述べたとおり、２進方式でみ、加
算とシフト操作を組合せた簡単な計算だけになる。各副
小区域に対する制御点（ｘ，ｙ，ｚ値）は、該副小区域
に対するｕ，ｖ，ｚ値をアセンブルするための変数と関
連している。

【０１１８】再分割毎に、各変数ｕ，ｖに対し１ビット
が付加される。第１再分割Ｓ０において、それぞれ
（０，０），（０，１），（１，０），（１，１）の
（ｕ，ｖ）値をもつ４つの副小区域を生じる。左上副小
区域の再分割Ｓ１において、（００，００），（００，
０１），（０１，００），（０１，０１）の（ｕ，ｖ）
値をもつ４つの副小区域を生じる。最初の２つの再分割
Ｓ０及びＳ１に対するこれらの（ｕ，ｖ）値を図１４に
示した。再分割が更にどのように続けられるかは容易に
理解できるであろう。

【０１１９】スタック内の第１副小区域に対する制御点
をステップ８４で取出し、この副小区域に対する限界ボ
ックスを計算する。ステップ８６で、現在の光線が現在
の境界ボックスと交差するかどうかを調べるテストを行
う。ステップ８６で境界ボックスとの交差が検出されな
い場合、この副小区域はステップ８８で除かれる。ステ
ップ９０でスタックに未だ副小区域があると決定される
と、論理処理は前に戻って次の副小区域の制御点をステ
ップ８４でスタックからは取出す。

【０１２０】スタックに副小区域が残っていない場合、
ステップ９１で処理すべき物体が未だあるかどうかをテ
ストする。処理すべき物体がもっとあれば、ステップ９
３で該物体に対応するメモリに関するデータを含め、こ
の次の物体に対する制御点データを選択し、ステップ８
２に戻る。ステップ９１で処理すべき物体がもうないと
決定されると、ステップ９２で処理が終わる。処理出力
は、ｕ及びｖ値から導かれるメモリ読取りアドレスで制
御データが読取られるべきメモリの識別標識である。上
記ｕ，ｖ値は、最も近接した交差が検出された副小区域
に対して累積され、出力レジスタに記憶されている。水
平アドレスは、ｕは最大水平アドレス（高品位テレビジ
ョンでは１９２０）を乗じて作成する。垂直アドレス
は、ｖに最大垂直アドレス（高品位テレビジョンでは１
０３５）を乗じて作成する。メモリ識別標識は、メモリ
識別標識レジスタに記憶する。どの物体とも交差がない
場合、処理出力はアドレスデータが作成されないことを
示す。

【０１２１】ステップ８６で光線と境界ボックスとの交
差が検出されると、ステップ９４で、該副小区域に対す
る深さ値が深さレジスタ内の深さより小さいかどうかを
テストする。該副小区域に対する深さ値が深さレジスタ
の内容より大きい場合、現在考えている副小区域が、上
述の出力レジスタに既に記憶されているデータに対応す
る副小区域の後方にあることを示す。よって、ステップ
９４のテストがノーであれば、その副小区域はステップ
８８で除かれ、ステップ９０で更に処理すべき副小区域
があるかどうかがテストされる。これに対し、ステップ
９４でのテストがイエスであれば、現在考えている副小
区域が、この光線に対し前に記憶されたどの副小区域よ
り画像の前方により近いか、又は、この光線に対し出力
レジスタに副小区域に対するｕ，ｖ値が記憶されていな
かったとしても、記憶された最大深さ値をより画像前方
に近いことを示す。

【０１２２】ステップ９４でのテストがイエスの場合、
ステップ９６で所望の解像度が得られたかどうかをテス
トする。ステップ９６で所望の解像度が未だ得られてい
ないと決定されると、ステップ８２に戻り、現在の副小
区域を更に４つの副小区域に再分割し、これら４つの副
小区域に関する制御点及びｕ，ｖ，ｚデータを上述のス
タックの一番上に加える。

【０１２３】しかし、ステップ９４及び９６が共にイエ
スの場合、これがこの光線に対する出力画素を決定する
ための候補副小区域であることを示す。ステップ９６で
のテストがイエスの場合、本発明では、ステップ９７
で、更にソース画素候補に対し該画素候補が実際に表示
されることを示すキービットが設けられているかどうか
をテストする。ソース画素に対するキービットが設けら
れていない場合、この画素はソース画像のマスクされる
部分に属することを示す。これは、同じ光線とであるが
表示されないソース画素の後方で交差する小区域にく対
し、表示される画素（すなわち、キーの透明部分のも
の）を見えなくするので、表示すべきではない。具体的
にいうと、ステップ９７で、現在の小区域に対するｕ，
ｖ値によりアドレスされるメモリ位置のキービットが設
けられているかどうか調べるためテストされる。設けら
れていれば、その画素は表示されるものと考えられ、ア
ドレス論理処理はステップ９８に進み、結果の副小区域
に対する深さを深さレジスタに記憶し、後続のステップ
９２における出力のため上述の出力レジスタに該副小区
域に対するｕ，ｖ値を記憶する。副小区域に対するキー
ビットが設けられていない場合、結果の副小区域はステ
ップ８８で除かれ、ステップ９０で、なお処理すべき副
小区域があるかどうかを決定するテストが行われる。

【０１２４】結果データを出力レジスタ及びメモリ識別
標識メモリに重ね書きする処理の結果、各物体面が順次
処理される度（たび）により近い（nearer）交差点が検
出され、その結果、自動的に隠蔽面が排除され、「結合
器（combiner）」を必要とすることなく自動的にキーイ
ングが行われる。

【０１２５】上記アドレス発生器は、各物体画像画素に
対するキー信号Ｋ₀を作成する。該キー信号Ｋ₀は、交
差点が発見された物体画像画素（すなわち、物体内）に
対する第１の値と、交差点が発見されない物体画像画素
（すなわち、物体外）に対する第２の値とを有する。

【０１２６】図１６は、図１５と関連させて機能的に説
明した再分割論理回路のハードウエアの具体例の概略を
示したものである。この再分割論理回路１００は、再分
割されるべき小区域のためのベジエ制御点を含有するメ
モリ（図示せず）とのインターフェースを行う小区域メ
モリインターフェース１０２を構成している。この小区
域メモリインターフェースには１５個の再分割選択回路
（ＳＳ）１０４が接続されている。小区域メモリ（図示
せず）は、もとの小区域の制御点を含むように構成さ
れ、処理中は再分割処理に起因する小区域のための制御
点を含むように構成されたシフトレジスタを積み重ねる
ようにして構成されている。

【０１２７】再分割選択回路の各々は、一連の制御点を
再分割すべくビットを直列的に操作し２分割体のうちの
一つを選択しこの２分割体のコラムを再分割し、図３に
よって説明した再分割フォーミュラを用いて２分割体の
うちの１つを選択する。小区域制御データのｘ，ｙ，ｚ
の各々のために、１５個の再分割選択回路がある。回路
は２値制御されるので、この再分割の処理は、加算とシ
フトの割算の組合せによって行われる。回路１０６は最
後（例えば１６番目）の再分割を行い、その出力にもと
の小区域から作られた４個の４分割体（すなわち４個の
副小区域）のための制御点を出力する。１５個の再分割
選択回路１０４及び１０６は、メモリ１３からのソース
画素データをアドレッシングするために、１６ビットの
解像度を提供する。いいかえれば、上述のように各再分
割は１ビットのｕ及びｖの値を作り出しメモリ１３をア
ドレッシングし、１６個の再分割体が１６個のビットア
ドレスを作るようになる。

【０１２８】回路１０８は４個の４分割体の各々に対す
る境界ボックスを計算する。いいかえれば、境界ボック
ス回路１０８は各４分割体のためにこの４分割体の各制
御点における最大のｘ，ｙ，ｚの値及び最小のｘ，ｙ，
ｚの値を選択する。したがって、概念上この境界ボック
ス回路１０８は、４分割体（すなわち副小区域）全体を
含むボックスを規定することになる。

【０１２９】テスト回路１１２は、光線の位置を規定す
るｘ及びｙの値が、それぞれｘの最大値と最小値の間、
ｙの最大値と最小値の間にあるかどうかを４個の４分割
体に対して調べる。

【０１３０】上述したように本発明の好適な実施例は平
行光線方式を採用している。いいかえれば、もとの物体
の表面を形成する制御点を発生させるときに、この物体
の表面のための制御点は、もとの物体の真の空間から遠
近感のある透視空間へと置換される。いいかえると、制
御点の透視投影マッピングがなされ、各制御点に対する
ｘ及びｙの値にその制御点におけるｚの値に依存するフ
ァクタを乗じる。この置換の結果、真の物体空間におけ
る立体を透視空間における頭部を切除したピラミッドに
変換し、ピラミッドの底部を観察者の側に位置させ、側
面が観察者から見えなくなる消失点に向けて傾斜するよ
うにする。これによって、発散する光線を適用すること
なく、その長さに沿ったあらゆる点のｚの値に無関係な
特定のｘ及びｙの値を有する平行な光線を適用すること
が可能となる。制御点の透視置換をした平行光線を用い
ると、制御点を透視置換せずに発散光線を用いるのと等
価になる。この手法によって光線及び境界ボックスの間
の交差を調べる作業が、単に光線がこのボックスのｘ及
びｙの境界内にあるかどうかを調べるだけで行える。

【０１３１】もし問題としている光線が４個の４分割副
小区域のうちの１つを通って境界ボックスを通過するこ
とがテスト回路１１２において判定されると、ブロック
１１４は、この４分割副小区域のｚの値の最小値を深さ
レジスタ内に該光線に対し現在記憶されているｚの値と
比較する。もし、この境界ボックスが深さレジスタに現
在記憶されているｚの値によって表される点よりも観察
者に近いところに位置していると判断されると、これ
は、該光線に関して検出された以前の交差点よりも観察
者に近い交差点が発見されたことを意味する。この論理
回路１１４は、問題の副小区域と対応するソース画像画
素のためのキービットが設けられているかどうかを検出
するために、メモリ１３に対してアドレッシングをす
る。もし、設けられていれば、これは、問題の副小区域
のソース画像画素が図１５で説明したように表示される
状態にあることを意味する。

【０１３２】分類回路１１６は、記憶されている種々の
深さ値を分類し、交差が起こっていない４分割副小区域
に関する制御データを除く。回路１１０は、境界ボック
ス回路１０８の出力が所望の解像度を有しているかどう
かを検査する。この解像度検査回路１１０は、制御回路
１２０に信号を送り、アドレス発生回路１００の制御動
作を行う。この制御回路１２０は、必要に応じて物体表
面それぞれの制御点データの自動的な選択を行うと共
に、交差が検出された結果の副小区域に関するｕ、ｖ及
びｚのデータと共にメモリ識別標識レジスタ（図示せ
ず）中にメモリ識別標識を記憶させる。アドレス発生回
路１００の出力は、メモリの識別標識、ｕの値、ｖの
値、問題としている光線の交差が検出された場合におけ
る複合物体キービットｋｃｏ＝１、及び１つも交差がな
かった場合の複合物体キービットＫｃｏ＝０である。こ
のｕとｖの値は、その光線に対する出力画素を形成する
データがあると識別されたメモリ１３の位置を決定す
る。複合物体キービットＫｃｏは、複合物体画像を背景
画像にキーイングし、最終的な出力画像を形成すること
に用いるものであり、線ＩＫに供給されるソースキーと
混同されてはならない。

【０１３３】図１６に概略を示す回路は、単一のＶＬＳ
Ｉ回路によって具体化できる。ただし、図１６に概略を
示す回路は、１つの光線（すなわち一時に１つの物体画
素）に対してメモリ１３の中にアドレスを形成するのみ
である。しかし、典型的な高品位画像は１９２０ｘ１１
２５の画素アレイによって構成されている。現在の技術
を用いても、実時間処理に適する速度でこれだけ多数の
光線を処理できる図１６に示すような回路を実現するこ
とは不可能である。現在の技術を用いても、高精細度あ
るいは通常の精細度のテレビジョン装置におけるすべて
の画素を、図１６に示すような回路で処理しようとする
ことは現実的ではない。さらにこの処理が反復的な性質
を持つものであるため、行うべき処理量に応じて異なる
時間に種々の回路が異なる出力を生じることに留意され
たい。

【０１３４】図１７は、このような様々な観点を考慮に
入れたアドレス発生器２１の具体例を示す概略図であ
る。複数の回路１００は、複数（好適実施例では１６）
のカード１２３にて非同期アドレス発生器を形成するよ
うに構成される。カード１２３の各々は複数の回路１０
０を具えている。最初の制御点データが制御ユニット２
５からバス１２２を経て制御点メモリ１２１に記憶さ
れ、これに対して回路１００がアクセスする。しかしな
がら、各回路１００はそれ自身の小区域メモリ（図示せ
ず）を有する。この回路１００は同期バス１２４に接続
され、これはさらにインテリジェントバッファ段１２６
に接続されている。バッファ１２６は、カード１２３上
の個々の回路１００を呼び出してメモリ１３をアクセス
するためのアドレスを決定する。バッファ１２６は、ア
ドレスをアセンブルし、出力画像の発生順に必要な順序
でメモリ１３からデータが読み出されるようにする。こ
のアドレスはアドレスバス１２８に出力される。

【０１３５】上述の説明では、物体画像画素と入力画像
画素との間に１対１でのマッピングができるものと仮定
した。しかしながら、圧縮及び回転によって、マッピン
グされたサンプルの位置が、出力画像信号又は出力アレ
イにおける正確な画素位置（１／ＦＳだけ離れた個別の
ラスタ又はアレイ位置）と対応しないことがある。

【０１３６】従って、上述のように、所望の解像度は副
画素精度と対応することである。このように、アドレス
発生論理回路によって発生したアドレスは、メモリ１３
のアドレッシングに用いる主なアドレス部分（例えば高
精細度の場合１２ビット）を具えており、残りのアドレ
ス部分（例えば４ビット）は、メモリ１３の後に位置す
る画素補間器１４の制御に用いられる。この画素補間器
は、主なアドレス部分によって特定される濾波された画
像内の位置と、残りのアドレス部分によって表される現
在の物体画素上にマッピングされる濾波された画像内の
正確な位置との間でインクリメントされた位置の値に応
じて、メモリ１３内の濾波された入力サンプル又はワー
ドの値の間を補間する。この画素補間器は、各物体画素
に対して、マッピング関数を用いて物体画素上に正確に
マッピングされるであろう入力画像中の点と対応する補
間されたサンプル又はワードを作成する。特定入力のサ
ンプル又はワードではなく、この補間されたサンプル又
はワードが、この画素補間手段から出力される。こうし
て、（マッピング関数のところで述べたような）所望の
正確な関係が、物体画像の画素とメモリ１３の種々の異
なる位置との間に維持される。この種の補間技術は、英
国公開特許出願ＧＢ−Ａ−２１７２１６７号に記述して
ある。

【０１３７】もし、再分割処理によって副画素の解像度
が得られれば、物体の内部で良好なマッピングができる
ことになる。しかしながら、物体の端縁ではエイリアシ
ングが起こりうる。これは、各画素が単一の点ではな
く、画素セルと呼ばれれる領域と関係するからである。
図１８のＡ及びＢは、この問題及びこの問題に対する解
決法をそれぞれ示す。図１８のＡは、それぞれ画素位置
に対応した隣接する２個のセルの中心に単一の光線が位
置している様子を示す。物体の端縁１３０が画素のセル
を通過し、物体の外側を左上部とし物体の内部を右下部
とする。左側の画素位置内の光線は物体の外側に位置
し、右側の画素位置内の光線は物体の内側に位置してい
ることが観察される。図１８のＡに示すようなサンプリ
ングの結果、左側の画素位置が背景に当てられ、右側の
画素がマッピングされる物体画像に当てられることにな
る。これによって端縁がギザギザになる。

【０１３８】図１８のＢは、本装置に適用した方法を示
す。所望の画素解像度で端縁が検出されると、複数の光
線が画素位置で発光し、物体の内部内のその画素の中心
にある小区域の百分率を決定する。図１８のＢでは、左
側の画素位置で例えば３６本の光線が発光し、このうち
２３本が物体の外側に位置し、１３本が物体内に位置し
ている。この情報によって、画素に適切な値を与える。
ただし、この画素の強度を正確な値にするためには、隣
接する物体又は背景の強度を確認する必要がある。この
ため、キープロセッサ２３の端縁検出器３６及び端縁処
理器３８が端縁の検出と処理を行う。キープロセッサの
出力は端縁エイリアシングのないマップの形態をとり、
これを、図５に概略示すようなメモリ１３及び画素補間
器１４からの出力に重畳して出力画像信号を発生する。

【０１３９】図１９は、端縁検出論理処理を説明するた
めのものである。図１９は、出力画像の１つの隅を端縁
１３０が横切っている様子を示す。小さな正方形は画素
セルを表し、これら正方形内の黒点は、物体の交差を決
定するために追跡される光線を示す。図１９に示す例に
おいては、端縁１３０の左上の領域は物体の外側とし、
端縁１３０の右下は物体の内部であるとする。端縁は実
際には次のセルＰＣ（垂直座標値、水平座標値）を通過
している。（４，０）（３，０）（３，１）（２，１）
（２，２）（２，３）（１，３）（１，４）（０，４）
（０，５）（０，６）。

【０１４０】図１９から明らかなように、或る光線は物
体の外側に位置し、或る光線は物体の内部に位置するこ
とになる。これらの画素値を直接表示すると、端縁に階
段状のエイリアスされたものが出てしまう。端縁検出器
３６及び端縁処理器３８の目的は端縁が階段状になるこ
とを回避することにある。

【０１４１】端縁検出器は４個の画素セルの組を比較す
る動作を行う。端縁検出器３６は、４個の画素セルの組
に対して（ａ）４本の光線がすべて同一の物体と当た
る、（ｂ）４本の光線がすべてどの物体とも当たらな
い、（ｃ）４本の光線が１個以上の物体と当たるか、及
び（又は）当たる状態と当たらない状態の混合となって
いる、のいずれであるかをテストする。（ａ）と（ｂ）
の場合、端縁検出器は４個の画素セルの組を横切る端縁
は存在しないと決定する。（ｃ）の場合、４個の画素セ
ルの組の中を端縁が通過していると考えられる。端縁の
横切りがあることは、隣接する画素に対する光線の追跡
によって異なるメモリのアドレスが作成されるか、又は
発生するアドレスに大きな飛躍があることで分かる。前
者の場合、光線が全く異なった物体と交差し、後者の場
合、光線は物体の不連続に出会う（例えば、物体の表面
が自身の上を後方に折畳まれる場合である。）。背景と
各物体表面の組合せからなる複合物体との間の端縁は、
４個の画素セルの組のうち少なくとも１本の光線が物体
表面のうちの１つと交差し、少なくとも１本がどの物体
表面とも交差しないことによって検出される。いいかえ
れば、少なくとも１本の光線に対してメモリのアドレス
が発生し（すなわち、当たりがあり）、少なくとも１本
の光線に対してアドレスは発生しない（すなわち、当た
らない）。

【０１４２】（ｃ）の場合に相当し、４個のセルの領域
を端縁が通過することが分かると、これらの各画素は一
応端縁に対応する画素であると見なされる。光線追跡の
結果により、端縁検出器は、端縁が物体に交差する端縁
であるか又は背景物体の端縁であるか、或いはこの両方
であるかを識別することが可能である。端縁処理器はそ
れから、４個のセルの組の中でもっと多くの光線を発光
させることによって４個の画素セルの組の各々をスーパ
ーサンプリングし、端縁の正確な経路を決定する。図１
４及び１５を参照して説明した再分割アドレス発生過程
を各光線に対して実行し、該光線に対する画像値を決定
する適切なソース画素（又は正確なマッピングが存在し
ないときはソース画素の組）のメモリアドレスを決定す
る。各画素セルに対する端縁の値を決定するために、各
画素セルに対する光線追跡操作をさらに行ってその結果
を平均する。これらの平均化された画素セルの値が出力
され、キーヤー１７で出力画像データに重畳される端縁
マップを形成する。

【０１４３】図２０は、端縁検出器３６と端縁処理器３
８の好適な例の概略を示す斜視図である。端縁検出器３
６は、図１９を参照して説明した４個の画素セルの組の
比較を行う。アドレス発生器２１によって発生したアド
レスの比較を行うため、図１７に示すアドレス発生器か
らアドレスバス１３３を通じて得られる出力を受信す
る。この端縁検出器は、端縁に対応する画素に対する第
１の値及びその他の画素に対する第２の値を有するエッ
ジキー信号Ｋｅをを発生する。

【０１４４】端縁処理器３８は、非同期演算段１３４及
びインテリジェントバッファ１３６を具えている。各カ
ード１３８は、図１６を参照して説明した複数の光線追
跡回路及び再分割回路を具えている。言いかえれば、こ
れらの回路の各々は、図１６を参照して説明したアドレ
ス発生器のためのカード上の回路１００と実質的に同一
の回路である。各回路１００は、端縁検出器３６によっ
て端縁の上にあると識別された画素セル内部の複数の光
線に対して上述の光線追跡と再分割の処理を行う。回路
１００によって発生したアドレスは、マッピングされた
ソース画像データをアドレッシングするために用いられ
る。現在の技術を用いても、メモリ１３を充分な帯域に
わたってアドレッシングして、図１７に示すアドレス発
生器のアドレス発生と端縁の検出及び処理のためのアド
レス発生とを支援することはできない。この端縁処理論
理回路は、一般的にメモリ１３に対応する１個以上の記
憶ユニット１４０を具えるが、画素補間段１４は具えて
いない。このように、メモリ１３の情報内容はメモリ１
４０に複製され、このデータはバス１４１を通じて供給
される。図２０に示す端縁処理器３８の回路１００によ
って発生されるアドレスによって、各メモリ１４０がア
ドレッシングされる。好適な実施例においては、帯域幅
の理由から及び画素データを効率よく発生させる必要か
ら、複数のプロセッサカード１３８の各々はメモリ１４
０のうちの１つを具えている。さらに端縁処理器は、バ
ス１４５を通じて背景情報を受け、背景と物体との間で
スーパーサンプリングが行われるようにする。非同期ユ
ニット１３４の出力は、端縁画素のセルの各々に対する
各光線に対する画素値を含んでいる。

【０１４５】インテリジェントバッファ１３６は、バス
１４２を通じて個別の処理回路１００から情報摂取する
ための論理回路を具えている。バッファ１３６は、これ
らの個別の強度値を補正処理し、各画素のセルに対して
複合強度値を発生する。バッファ１３６は、これらの画
素値を調整してデータバス１４４を通じて出力させ、画
素補間器１４からの出力画素でキーイングされるように
する。また、背景情報と合体して複合出力画像を発生す
る。

【０１４６】図２１は、キーヤー１７の概略を示す図で
ある。キーヤー１７は、入力画像ＯＩの背景を形成する
背景情報Ｂ、複合画像ＣＯの複合物体画像画素、端縁の
画像ＥＤＧＥにおける端縁画素、複合物体画像のための
キー信号Ｋｃｏ及び端縁画像のためのキー信号Ｋｅを入
力信号として受信する。複合画像のためのキー信号Ｋｃ
ｏは、１及び０の形態をとり、複合物体画像の画素と背
景の画素のうちどの画素がスクリーンに表示されるべき
かを特定するマスクを定める。このように、キー信号Ｋ
ｃｏは複合物体画像Ｃｏをゲートするためのゲート１５
０を制御することに用いられる。インバータ１５１によ
って形成される信号Ｋｃｏの反転値は、背景画像情報を
ゲートするゲート１５２を制御するのに用いられる。乗
算器１５０及び１５２は、加算器１５４と結合し線１５
６上に基本出力信号を発生させる。端縁のエイリアシン
グを回避するために端縁画像ＥＤＧＥを加算器１５４の
出力に重ね合わせる。キー信号Ｋｅは、端縁信号ＥＤＧ
Ｅをゲートするゲート１５８を制御することに用いられ
る。インバータ１５７は信号Ｋｅを反転させ、反転され
た信号は、ライン１５６に出力される加算器１５４の出
力をゲートするゲート１６０を制御するのに用いられ
る。ゲート１５８及び１６０の出力は加算器１６２にお
いて加算され、線１６４上に出力画像を形成する。図２
１に示すキーヤーの作用は、複合物体画像ＣＯを信号Ｋ
ｃｏによって規定されるマスクに従って背景上に重ね、
この重畳の結果の画像上に、キー信号Ｋｅに従って信号
ＥＤＧＥによって規定される端縁画素を重畳することで
ある。キー信号Ｋｃｏ及びＫｅは、アドレス発生器及び
端縁検出器によって形成される信号である。これらは、
図５の線ＩＫに供給されるソース画像キーと混同される
べきでない。

【０１４７】

【発明の効果】少なくとも本発明の好適実施例において
は、非線形の物体表面に実時間でビデオ触感マッピング
をすることができるデジタルビデオ効果装置が提供され
る。

【０１４８】さらに少なくとも本発明の好適実施例にお
いては、複数の物体が互いに飛び交ったり通り抜けたり
するように見えるビデオ効果を実時間で効果的に発生さ
せるデジタルビデオ効果装置が提供される。このデジタ
ルビデオ効果装置は、それぞれが各物体表面をマッピン
グするためのソース画像を一時的に記憶しておくための
複数のメモリ、及び各３次元物体表面上に各メモリから
のソース画像画素をマッピングするための各３次元物体
表面を規定する複数の表面関数に従って、複数のメモリ
に対するメモリ読取りアドレスを発生させることによ
り、複合物体画像を形成するための共通アドレス発生器
とを具えている。エイリアシング防止作用は、ソース画
像上の物体空間の中、及び物体表面間と背景及び複合物
体間における端縁上の物体表面の構成要素からなる画像
空間において行われる。

【０１４９】少なくとも本発明の好適実施例において
は、物体の端縁における画素のエイリアシング防止作用
を個別に行うことによって高度のエイリアシング防止作
用を実行できるデジタルビデオ効果装置が提供できる。
この装置は、出力画像の端縁を構成することに寄与する
画素を検出するための端縁検出器と、画素セルと交差す
る複数の光線を調べることによってこれらの端縁の画素
をスーパーサンプリングすると共に、複数の光線追跡の
各々によって測定された強度値を平均し、出力画像の端
縁の画素を決定する端縁処理器とを具えている。この端
縁画素はマッピングされた画像上に重ねられる。その他
の本発明の効果については、先に「課題を解決するため
の手段及び作用」の項において述べた作用を参照された
い。

【図面の簡単な説明】

【図１】デジタルビデオ効果装置の従来例を示すブロッ
ク図である。

【図２】ベジエ曲線を示す説明図である。

【図３】ベジエ曲線の分割を示す説明図である。

【図４】ベジエ表面の作成例を示す説明図である。

【図５】本発明によるデジタルビデオ効果装置の実施例
を示すブロック図である。

【図６】エイリアシング発生の状況を示す説明図であ
る。

【図７】ソース画像区域のタイル分割を示す説明図であ
る。

【図８】図５のタイル・マッパーの例を示すブロック図
である。

【図９】図８のタイル・マッパーのマッピング論理回路
の動作を示す流れ図である。

【図１０】図７から選択した１つのタイル（マッピング
前）を示す図である。

【図１１】図４のベジエ表面上の図１０に対応するタイ
ル（マッピング後）を示す図である。

【図１２】図５の圧縮率発生器の例を示すブロック図で
ある。

【図１３】図５のフィルタの例を示すブロック図であ
る。

【図１４】図５のアドレス発生器の光線追跡及び再分割
作用を示す説明図である。

【図１５】上記アドレス発生器の光源追跡及び再分割論
理処理を示す流れ図である。

【図１６】図１５の論理処理のためのハードウエアの例
を示すブロック図である。

【図１７】図１６のハードウエアを組込んだアドレス発
生器の外観図である。

【図１８】画像端縁の処理の説明図である。

【図１９】図５の端縁検出器の動作を示す説明図であ
る。

【図２０】図５の端縁検出及び処理の論理処理のための
ハードウエアの例を示す外観図である。

【図２１】図５のキーヤーの例を示す簡略図である。

【図２２】ソース画像のキーイングの例を示す説明図で
ある。

【図２３】ソース画像を折曲げる場合のキーイングの例
を示す説明図である。

【図２４】本発明による図２３と同じキーイングの例を
示す説明図である。

【符号の説明】

１３メモリ（手段）２１（共通）アドレス発生器２５制御手段１４画素補間手段３０デジタルビデオ効果ユニット３６端縁検出手段３８端縁処理手段１７キーイング手段

フロントページの続き (31)優先権主張番号９１０７４９５５ (32)優先日 1991年４月９日 (33)優先権主張国イギリス（ＧＢ） (72)発明者デビッドジョンヘドリーイギリス国ハンプシャーウインチェスターアボッツバートンショーンドラーロード 67 (72)発明者スティーブンマークキーティングイギリス国ＲＧ６３ＡＢバークシャーレディングローワーアーリーハンティングトンクロース 28 (72)発明者ハワードジョンティースイギリス国ＲＧ21 ２ＮＰハンプシャーベーシングストークバージェスロード６ (72)発明者アンドリューイアントラウイギリス国ＲＧ６１ＤＪバークシャーレディングアーリーグランジアベニュ１Ｂ

Claims

【特許請求の範囲】

【請求項１】ソース画素より成るソース画像を３次元
物体の表面上にマッピングして出力画像画素より成る出
力画像を発生するデジタルビデオ効果装置であって、（ｉ）ソース画像画素を記憶し、マスクすべきソース画
像画素を識別するソースキー情報を記憶するメモリ手段
と、（ii）３次元物体表面を規定する表面関数に従ってソー
ス画像画素を３次元物体表面上にマッピングするための
メモリ読取りアドレスを発生し、上記メモリ手段内のソ
ースキー情報によりマスクされないソース画像画素のみ
をマッピングするアドレス発生器とを具えたデジタルビ
デオ効果装置。
【請求項２】互いに通り抜ける複数の物体画像を表
し、各物体画像は物体画像画素より成り且つそれぞれの
３次元物体表面上にマッピングされるソース画像を表
し、各ソース画像はソース画像画素より成る如き、出力
画像画素より成る出力画像を発生するデジタルビデオ効
果装置であって、（ｉ）ソース画像をそれぞれの物体表面上にマッピング
するため、各々が一時的にソース画像を記憶する複数の
メモリと、（ii）該各メモリからのソース画像画素をそれぞれの３
次元物体表面上にマッピングするため、それぞれの３次
元物体表面を規定する複数の表面関数に従って上記複数
のメモリに対するメモリ読取りアドレスを発生すること
により、出力画像を作成するための複合物体画像画素よ
り成る複合物体画像を決定する共通アドレス発生器とを
具えたデジタルビデオ効果装置。
【請求項３】ソース画素値のアレイより成るソース画
像を非線形３次元物体表面上にマッピングして出力画像
を作成するデジタルビデオ効果装置であって、（ｉ）画像画素のアレイを一時的に記憶するメモリと、（ii）非線形３次元表面を規定する関数を定めるための
制御手段と、 (iii）該制御手段により定められた表面関数に応動し
て、それぞれの出力画素に対する光線を追跡することに
より複数のメモリ読取りアドレスを計算し、所望の解像
度で上記光線及び上記表面間の交差を検出すると、１つ
の光線に対応する出力画素に対する１つのメモリ読取り
アドレスを決定するアドレス発生器とを具えたデジタル
ビデオ効果装置。
【請求項４】３次元物体表面上にマッピングされるソ
ース画像を表す出力画像画素より成る出力画像を発生す
るデジタルビデオ効果装置であって、（ｉ）ソース画像画素を一時的に記憶するメモリと、（ii）ソース画像画素を３次元物体表面上にマッピング
するため、該３次元物体表面を規定する表面関数に従っ
てメモリ読取りアドレスを発生するアドレス発生器と、 (iii）ソース画像画素が物体画像画素上に直接対応しな
いとき、ソース画像画素間を補間してその物体画像画素
を決定する画素補間手段と、（iv）上記物体の端縁に対応する物体画像画素を検出す
る端縁検出手段と、（ｖ）上記物体の端縁に対応する各物体画素をスーパー
サンプリングしてそれぞれの端縁画素を決定する端縁処
理手段と、（vi）上記物体画像の端縁画素より成る端縁画像を重畳
してソース画像が３次元物体上にマッピングされた出力
画像を発生するキーイング手段とを具えたデジタルビデ
オ効果装置。