JPH0750810A - デジタルビデオ特殊効果装置 - Google Patents

デジタルビデオ特殊効果装置

Info

Publication number
JPH0750810A
JPH0750810A JP5099667A JP9966793A JPH0750810A JP H0750810 A JPH0750810 A JP H0750810A JP 5099667 A JP5099667 A JP 5099667A JP 9966793 A JP9966793 A JP 9966793A JP H0750810 A JPH0750810 A JP H0750810A
Authority
JP
Japan
Prior art keywords
pixel
tile
mapping
image
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5099667A
Other languages
English (en)
Other versions
JP3190762B2 (ja
Inventor
Ian Trow Andrew
イアン トロウ アンドリュー
Howard J Teece
ジョン ティース ハワード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Europe BV United Kingdom Branch
Original Assignee
Sony United Kingdom Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GB9208929A external-priority patent/GB2267007B/en
Application filed by Sony United Kingdom Ltd filed Critical Sony United Kingdom Ltd
Publication of JPH0750810A publication Critical patent/JPH0750810A/ja
Application granted granted Critical
Publication of JP3190762B2 publication Critical patent/JP3190762B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/80Shading
    • G06T15/83Phong shading

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【目的】 費用効率がよくエイリアス歪みの少ない照明
効果を発生できるデジタルビデオ特殊効果装置を得る。 【構成】 入力映像ピクセルをメモリ13に記憶し、物
体面を定める関数に従ってメモリに選択的にアドレス
し、物体面上にマッピングされた原映像を表す出力ピク
セルを作るに際し、メモリに書込む前に、原ピクセルの
強度を書込み側照明効果処理器19で修正する。原映像
を多くのタイルに分割しそのコーナーの物体面へのマッ
ピングを計算し(32)、各ピクセルへの垂線を計算す
る(33)。垂線のスカラー積を計算し他の係数と共に
照明強度修正係数を発生し、これで照明効果処理器を制
御する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、ビデオ信号で表される
画像を処理するデジタルビデオ特殊効果装置、詳しくは
該装置に照明効果を与えることに関するものである。
【0002】
【従来の技術】デジタルビデオ信号で表される画像を処
理する技術は、十分に確立されている。その処理は大
体、次のようにして行われる。まず、アナログビデオ信
号をサンプリングしてデジタル化し、各サンプルを8又
は10ビットの2進ワードに変換する。次いで、デジタ
ル化した信号のフィールド又はフレームをメモリに記憶
させ、該メモリに対する読出し又は書込みを制御して、
各フィールド又はフレームから、入力ビデオ信号によっ
て表される画像とは異なる、少なくとも1つの幾何学的
パラメータが変更された画像を作成する。幾何学的パラ
メータとは、例えば、画像の1以上3までの軸に沿う位
置及び(又は)画像の1以上の軸の回りの角位置などで
ある。他のパラメータとしては、画像の(水平及び(又
は)垂直方向における)サイズ、画像の剪断変形の程
度、画像の遠近感がある。
【0003】図1は、画像処理を行う一般的なデジタル
ビデオ特殊効果装置の全体を示す簡略化したブロック図
である。これより図1について説明する一般的な装置
は、デジタルビデオ特殊効果設備の種々の公知の適当な
項目が具体化されているものであって、その構成及び動
作は当業者に周知である。デジタルビデオ特殊効果装置
は、図1に10で示すデジタルビデオ(特殊)効果ユニ
ット及び制御ユニット24より成っている。
【0004】処理しようとする画像P1 を表すビデオ信
号V1 が、デジタルビデオ効果ユニット10に点11よ
り入力される。この従来のデジタルビデオ効果ユニット
では、入力画像P1 の処理は、メモリ13に対する読出
しアドレスを制御して行っている。ただし、書込みアド
レスをマッピングすることも公知である。この読出しア
ドレスの制御は、アドレス発生器20によって行う。上
記のマッピング(配置)過程は画像の圧縮を含み、画像
を圧縮すると、補正手段を講じない限りエイリアシング
(重複歪み)を生じ出力映像の質が低下するので、圧縮
の影響を補償するためフィルタ12が設けられている。
フィルタ制御器18は、画像の局部区域に対する圧縮度
を表す局部圧縮率を決定し、これらの局部圧縮率は、画
像のそれぞれの区域に適切な濾波量を適用するようにフ
ィルタ12を制御するのに使用される。
【0005】ピクセル(画素)補間器(PI)14は、
アドレス発生器20が、メモリ13における記憶位置と
出力ピクセルとの間に1対1のマッピングを生じない場
合に、出力ピクセル値を計算できるように設けられてい
る。
【0006】同期遅延器15は、メモリ13からのデー
タ出力をフレーム同期情報に揃えるものである。デジタ
ル線形キーヤー16は、メモリ13からのデータ出力
(これは前景情報を表す。)を背景(キーヤー16に入
力される信号Bで表す。)内に挿入して出力画像P2
表す出力ビデオV2 を作成する。キー処理器22は、デ
ジタル線形キーヤー16の動作を制御する。デジタルビ
デオ効果ユニット10は、制御ユニット24によって制
御される。制御ユニット24は、適切な制御ソフトウェ
アをもつ従来のパーソナル・コンピュータ又はコンピュ
ータ・ワークステーションでよいが、そうでなくてもよ
い。
【0007】上述した構成の公知のデジタルビデオ特殊
効果装置は、極めて質が高いビデオ出力をもつ高精細度
ビデオの3次元線形処理を行うことができる。しかし、
この公知の装置は、ビデオの線形処理に動作が限られて
おり、ビデオ面感マッピング又は非線形面に合わせた自
由な形作りに適しない。
【0008】「ビデオ面感(texture)マッピン
グ」は、映像の3次元面上へのマッピングを図形で説明
するのに用いるコンピュータ・グラフィックスから出て
きた用語である。最初、この技法は、所望の効果を得る
のに適切な映像がマッピングされた面の状態(感じ)を
シミュレートするために開発された。しかし、それは、
他の映像をマッピングして他の効果を作成するためにも
使用されてきた。例えば、1990年Addison
Wesley社発行Foley,Van Dam,Fe
iner及びHughes諸氏による第2版「コンピュ
ータ・グラフィックス、原理と実際」という図書の図版
を参照されたい。しかし、コンピュータ・グラフィック
ス機器では、かようなビデオ面感マッピングは、めった
に実時間では行われない。
【0009】
【発明が解決しようとする課題】ビデオ面感マッピング
の外に、照明効果を与えて(照明強度を修正して)現実
性を強調したいことがよくある。照明効果を与えるため
の若干の異なる技法が知られている。照明効果を与える
技法の例が、Phong技法として知られるものを含め
て、上述のFoley,Van Dam,Feiner
及びHughs諸氏による図書の第16章に記載されて
いる。照明効果は従来、図形やビデオ映像を処理する最
後の段階で与えられていた。かような技術は、光線トレ
ース技法を用いる機器において実施することができる。
光線トレース技法に基く照明モデルは、顕著な結果を生
じるものの、極端に計算集約的である。光線トレース技
法に基く実時間照明モデルを実現するには、多量のハー
ドウェアを必要とする。
【0010】したがって、本発明の課題は、費用効率の
よい照明効果を発生できるデジタルビデオ特殊効果装置
を提供することである。
【0011】
【課題を解決するための手段及び作用】本発明によれ
ば、ピクセル・アレイより成る原ビデオ映像を対象物体
面上にマッピングして出力映像を作成するためのデジタ
ルビデオ特殊効果装置が提供され、この装置は、原ビデ
オ映像から取出したピクセル・アレイを一時的に記憶す
るメモリと、物体面を定める表面関数を規定する制御手
段と、メモリからピクセルをマッピングして物体面上に
マッピングされた原ビデオ映像を表す出力ピクセルを作
成するための読出しアドレスを計算するアドレス手段と
を具え、メモリに書込む前に原ビデオ映像からのピクセ
ルを修正する書込み側照明効果手段があることが特徴で
ある。
【0012】したがって、本発明による装置では、照明
処理は書込み側処理として行われる(すなわち、原ビデ
オ映像からのピクセル値をメモリに入れる前に、ピクセ
ル値に対して照明処理を行う。)。このように書込み側
処理として配置すると、光線トレース技法の一部として
読出し側処理をするより少ない量のハードウェアで照明
効果を与えることができる。本発明による書込み側照明
処理は、原ビデオ映像を非線形物体面上にマッピングす
るデジタル特殊効果装置に適用できる。しかし、本発明
は、そのような非線形物体面に対するマッピングに限ら
ず、線形物体面上にマッピングするデジタルビデオ特殊
効果装置にも適用できる。
【0013】マッピング手段は、原映像を複数のタイル
に論理的に分割し、表面関数に応答して物体面上へタイ
ルコーナーをマッピングする座標を計算するのがよい。
照明効果手段は、照明係数(L.F.)発生器からの照
明係数に応答する照明効果処理器を有するのがよい。照
明係数発生器は、マッピングされたタイルコーナーの座
標から各タイルの各ピクセルに対する照明係数を発生す
る手段を有するのがよい。
【0014】照明係数発生器は、マッピング手段が作成
したタイルコーナー座標に応答して各タイルに対する垂
線を発生するのがよい。照明係数発生器はまた、タイル
の各ピクセルに対し周囲のタイル垂線から補間された垂
線を発生するのがよい。
【0015】照明係数発生器は更に、物体面上にマッピ
ングされたタイルの各ピクセルに対するピクセル座標
を、マッピングされたタイルコーナー点の座標を補間す
ることにより、計算して発生するのがよい。照明係数発
生器は、補間された垂線及び各ピクセルの座標から、各
ピクセルに対する強度乗数(照明強度修正係数)を計算
するのがよい。
【0016】強度乗数(IF)は、次の関係式より定め
るのがよい(後述参照)。
【数2】 ただし、N.Lはタイルへの垂線及び照明ベクトルのス
カラー積、Id は発散光源の強さ、Ia は周囲光源の強
さ、Kd は反射係数、dはピクセル及び光源間の距離、
dφは定数をそれぞれ表すものとする。
【0017】書込み側処理として照明効果処理を行うこ
とにより、メモリに入れる前に照明効果によって修正さ
れたピクセルを濾波することが可能となる。したがっ
て、照明効果手段は、メモリに蓄積する前にピクセルを
濾波するため、フィルタにピクセルを出力する。フィル
タは、ピクセルが属するタイルに対する局部圧縮率に従
って変わるフィルタ特性を適用する。メモリ蓄積前にピ
クセルを濾波することにより、タイルに基く照明効果処
理のために感知されるかも知れないエイリアシング現象
を軽減することができる。
【0018】マッピング手段により発生されるマッピン
グされたタイルコーナー座標値に応答する圧縮率(S.
F.)発生手段は、フィルタを制御してそれぞれのタイ
ルに対し適正な濾波を行うために設けるのがよい。
【0019】
【実施例】以下、図面により本発明を具体的に説明す
る。本発明による映像処理装置は、光線トレース技法
(後述参照)を用いることにより、原ビデオ映像を3次
元非線形面上に実時間でマッピングすることができる。
このマッピングを行う前に、ビデオ映像をマッピングし
ようとする対象物体面を定めなければならない。本発明
の好適な具体構成では、この物体面をいわゆる「ベジエ
面」で定義する。
【0020】本発明によるデジタルビデオ特殊効果装置
の例を説明するに先立ち、ベジエ曲線及びベジエ面の概
念を簡単に述べる。この曲線及び面の構成方法は、車体
の設計に使用するためフランスの技術者ベジエ(Bez
ier)によって開発されたものである。ベジエ曲線
は、1組の制御点から多項式関数を作成することによっ
て構成される2次元曲線である。
【0021】図2は、4つの制御点P0 ,P1 ,P2
3 により定められるベジエ曲線C 0 を示す。これらの
座標点から、入力制御点Pk (ただし、Pk =(xk
k,zk ),k=0,1,2,3)に適合する曲線に
対する3変数方程式を表すベジエ座標関数P(u)を計
算することができる。このベジエ座標関数は、次式によ
り計算できる。
【数3】 ただし、uはP0 (u=0)からP3 (u=1)までの
曲線に沿う距離であり、各Bk.n (u)は「混合関数
(blending function)」と呼ばれ次
式で定義される多項式関数である。 Bk.n (u)=C(n,k)uk (1−u)n-k ‥‥(2) ここに、C(n,k)は2項係数を表す。
【数4】
【0022】ベジエ曲線の重要な特性は、それが制御点
によって定められる凸(多角)外郭内に位置することで
ある。ベジエ曲線のもう1つの重要な特性は、終端点に
おける曲線の接線が、その終端制御点と隣りの制御点と
を結ぶ線に沿うことである。したがって、第1のベジエ
曲線と第2のベジエ曲線を終端点で連続させるには、2
つの曲線の共通終端点とそれぞれの隣接制御点がすべて
一直線上にあるようにするだけでよい。これを図2にお
いて曲線C0 及びC1 並びに制御点P2 ,P3,P4
示す。
【0023】ベジエ曲線の他の特徴は、1つのベジエ曲
線を分割して2つのベジエ曲線を発生できることであ
る。図3は、ベジエ曲線C0 を2分割して作られるベジ
エ曲線Cleft及びCright に対する制御点の発生を示
す。左側曲線Cleft に対する制御点はL0 ,L1 ,L
2 ,L3 であり、右側曲線Cright に対する制御点はR
0,R1 ,R2 ,R3 である。図3を調べると、これら
の制御点は次の方程式によって定められることが分かる
であろう。 L0 =P0 3 =P3 1 =(P1 +L0 )/2 R2 =(R3 +P2 )/2 L2 =((P2 +P1)/2+L1)/2 R1 =((P2 +P1)/2+R2)/2 L3 =(L2 +R1 )/2 R0 =L3
【0024】単に足して2で割ることにより、最初のベ
ジエ曲線から2つの新しいベジエ曲線を発生できる点に
留意されたい。したがって、2進方式では、新しいベジ
エ曲線を簡単な加算及びシフト動作の組合せにより発生
することができる。
【0025】ベジエ面は、適切な入力制御点によって指
定される2のベジエ曲線により定められる。図4は、小
さい+記号で表された制御点に関しこの方法を用いて発
生された面を示す。同図におけるほぼ水平な線分gh及
びほぼ垂直な線分gvは、それぞれ次の多項式で定めら
れる面の上における一定緯度及び経度の線(u及びv)
を描いている。
【数5】
【0026】ベジエ曲線及びベジエ面に関するこれ以上
の情報を求める読者は、1990年Addison W
esley社発行Foley,Van Dam,Fei
ner及びHughes諸氏による第2版「コンピュー
タ・グラフィックス、原理と実際」という図書の第11
章を参照されたい。
【0027】図6は、本発明によるデジタルビデオ特殊
効果装置の例を示すブロック図である。デジタルビデオ
効果ユニット30は、原映像入力点11、フィルタ1
2、ピクセル補間器14の付いたメモリ13、同期遅延
回路15及びデジタルキーヤー17を含む従来技術と類
似のビデオ(信号)路を有する。デジタルビデオ効果ユ
ニット30は更に、映像処理路におけるフィルタ12及
びメモリ13の前に配置された照明効果処理器19を有
する。すなわち、照明処理は、メモリ13に関して書込
み側で行われる。デジタルビデオ効果ユニット30は、
ワークステーション(制御ユニット)25によって制御
される。ワークステーション25には、原ビデオ映像を
マッピングすべき、物体面を表面関数、ここではベジエ
面関数に基いて定めるためのソフトウェアが組込まれ
る。ワークステーションの出力には、それらの面に対す
るベジエ制御点(例えば図2に示す点P0 ,P1
2 ,P3)の座標が含まれる。照明効果処理器19の
動作を制御するため、照明係数(L.F.)発生器33
が設けられる。圧縮率(S.F.)発生器34は、フィ
ルタ12の動作を制御する。L.F.及びS.F.発生
器は共に、タイルマッパー32に応動する。タイルマッ
パー32並に、メモリ13及びキーヤー17をそれぞれ
制御するアドレス発生器21及びキー処理器23は、ワ
ークステーション25からのベジエ制御点データに応動
するように構成されており、これを次に詳細に説明す
る。おおまかにいえば、タイルマッパー32、アドレス
発生器21及びキー処理器23はそれぞれ、制御点を用
いて入力映像の書込み側処理、メモリの読出し側アドレ
ス指定、キーヤー17の動作を制御する。
【0028】入力ビデオ映像の書込み側処理は、原映像
空間を複数のタイルtより成る方形として処理すること
によって制御される(1つのタイルは、ピクセルPのグ
ループより成る原映像空間の1分割区域である。)。
【0029】図5は、この原映像空間(領域)のタイル
を示すものである。原映像領域は、8×8個の正方形タ
イルのアレイより成り、各タイルは4×4個のピクセル
Pのアレイより成る。ただし、タイルは正方形でなくて
もよく、もっと大きくてもよい。実際の例では、タイル
の数はもっと多く、例えば、高精細度テレビジョン映像
の場合に各タイルを4×4ピクセルとすると、550×
281タイルにもなる。このサイズでは、480×25
8タイルが能動画像に関係する。これらのタイルの所望
形状へのマッピングは、目標物体のベジエ面から、具体
的には、後述するようにワークステーションにより出力
されるベジエ制御点から計算される。図4に示したベジ
エ面の一定緯度及び経度のおおむね水平及びおおむね垂
直の線は、原映像空間のタイルのエッジが上記面上へマ
ッピングされたものを表しているともいえる。図5に示
した原映像空間の各タイルと、図4に示したベジエ面上
のマッピングされた対応タイルとは、1対1のマッピン
グ関係にあることに留意されたい。
【0030】図6のタイルマッパー32の目的は、入力
映像空間に対するタイルのコーナーが目標物体面へマッ
ピングされる座標を計算することである。
【0031】図7は、タイルマッパー32を図解的に示
すブロック図である。同図において、35は制御点メモ
リ、36はマッピング・ロジック(論理回路)、37は
マッピングメモリである。タイルマッパー32への入力
は、制御ユニット(ワークステーション)25から出力
される、目標物体を定めるベジエ制御点のアレイの形の
ものである。これらの制御点は、制御点メモリ35に記
憶される。
【0032】一般に、目標物体は複数の面パッチ(分割
面)により定義され、各パッチ自体は、ベジエ面関数の
中で、ベジエ曲線関数の構成要素としての制御点の組に
よって定義される。ただし、説明を簡単にするため、以
下の例では、目標物体を16個のただ1組の制御点で定
義されるただ1つのパッチより成るものと仮定する。
【0033】制御点が制御点メモリに記憶され終わる
と、マッピング・ロジック36は、タイル分割された原
映像空間における各タイルのコーナー(かど)点に対
し、該点がマッピングされる空間内へのマッピング座標
を決定する。この処理を行う際、マッピング・ロジック
36は、制御点メモリ35内の制御点にアクセスし、計
算したコーナー点のマッピング座標をマッピングメモリ
37に記憶させる。マッピング・ロジック36は、各タ
イルのコーナー点を順次処理し、該コーナー点がマッピ
ングされる座標値を計算してゆく。マッピング・ロジッ
ク36の処理を図8に要約してある。
【0034】図8は、図6のタイルマッパー内のマッピ
ング・ロジックの動作を示す流れ図である。マッピング
・ロジック36は、タイルを1横列ずつ、各横列内では
1縦列ずつ処理する。各タイルコーナーに対するマッピ
ング座標値を発生するために、マッピング・ロジック
は、最初のステップ38でタイルの一番上の横列の第1
の、すなわち一番上の、水平エッジを選択してスタート
し、ステップ39で第1の垂直タイルエッジ(すなわ
ち、一番左側のタイルエッジ)を選択する。これは、ス
テップ40でマッピング・ロジックが映像の一番上の左
側コーナーを選択したことを意味する。ステップ40に
おいて、マッピング・ロジックは、現在問題にしている
点(すなわち、最初は映像の最上左側コーナー)に対す
るマッピング座標を蓄積するために変換x,y,zを初
期化する。
【0035】マッピング・ロジック36は、各制御点を
順次考察することにより当該点に対するマッピング座標
を計算する。制御点は、これらの点の2次元アレイとし
てメモリに記憶される。マッピング・ロジックは、変数
j及びkを用いてこの制御点アレイにアクセスする。し
たがって、マッピング・ロジックはステップ40で変数
jを、ステップ41で変数kを初期化する。ステップ4
2で、マッピング・ロジックは、与えられたj及びkの
値に対し、u及びjに対する水平混合関数の数値を求め
て水平混合値buを発生し、v及びkに対する垂直混合
関数の数値を求めて垂直混合値bvを発生する。
【0036】マッピング・ロジックはそれから、問題に
しているタイルコーナー点に対し現在蓄積しているx,
y,z値を更新する。変数xの新しい値は、変数xの前
の値に、変数j,kにより特定された制御点のx座標に
水平混合値bu及び垂直混合値bvを乗じたものを加算
することにより、計算される。同様に、変数yの新しい
値は、変数yの前の値に、変数j及びkにより特定され
た制御点のy座標に水平混合値bu及び垂直混合値bv
を乗じたものを加算することにより、計算される。同じ
く、変数zの新しい値は、変数zの前の値に、変数j及
びkにより特定された制御点のz座標に水平混合値bu
及び垂直混合値bvを乗じたものを加算することによ
り、計算される。すべてのkの値が終わるまでkの値を
1つずつ増加し(ステップ43)、すべてのjの値が終
わるまでjの値を1つずつ増加する(ステップ44)こ
とにより、各制御点の座標値の寄与分を蓄積することが
できる。ステップ45において、現在考えているタイル
コーナー点に対して各制御点に対するそれぞれの座標値
の考察が終わると、そのタイルコーナー点に対するx,
y,z値がマッピングメモリ37に記憶される。
【0037】ステップ46において、マッピング・ロジ
ックは、考察すべきタイルエッジが未だ在るかどうかを
決定し、未だある場合はその次のタイルエッジに対する
v値を決定し、制御をステップ40に戻す。ステップ4
0で、この新しい点に対するマッピング座標を発生する
ためにx,y,z値を再び初期化する。マッピング・ロ
ジックは、最後のタイルの右側エッジを考察し終える
と、ステップ47で、未だ処理すべき水平タイルエッジ
があるかどうかをテストする。未だあれば、それに従っ
てu値を更新し、次のタイルエッジを考察する。一番上
及び一番下のエッジを含めてすべての垂直エッジが処理
されると、原映像空間のタイルの各コーナー点に対する
マッピング座標が発生される。
【0038】このようにして、ワークステーション25
により出力されるベジエ面関数に対する制御点から、タ
イルのコーナー点のマッピング座標が決定される。タイ
ルのコーナー点のマッピング座標は、照明係数発生器3
3により、照明効果処理器19を制御するための照明係
数を発生するのに使用される。また、タイルの元のコー
ナー点とマッピングされたコーナー点との差は、圧縮率
発生器34により、各タイルに対する局部圧縮率を決定
するのに使用され、局部圧縮率はまた、原映像の各タイ
ルに、マッピングの結果該タイルに与える圧縮に適切な
濾波度を適用するよう、フィルタを制御するのに使用さ
れる。
【0039】これより、照明係数発生器33及び照明効
果処理器19による照明効果の発生について説明する。
照明係数発生器33は、タイルマッパー32により発生
されるタイルコーナー点を利用する。
【0040】図9は、マッピング処理前のデジタル信号
1 で表される入力映像又は画像の局部区域(具体的に
は、図4及び5に「ts 」で示したタイル)を示す。図
示のように、処理前のタイルは正方形である。タイル
は、コーナー(かど)a,b,c,dを有する。そのエ
ッジ(辺)c−d及びb−aは水平であり、そのエッジ
c−b及びd−aは垂直である。図10は、処理後の図
9のタイルts を「It s 」として示すものである。処
理後のコーナーa,b,c,dの位置、すなわち処理さ
れた映像内のそれらの位置は、図10においてそれぞれ
a ,Ib ,IC,Id で表される。図10はまた、マ
ッピングされたタイルのコーナー点の対(Ib −Id
a −Ic )により定められる2つのベクトルV1及び
V2と、マッピングされたタイルに垂直なベクトルN
Its とを示している。
【0041】本実施例における書込み側照明処理は、タ
イルコーナー点を用いて各タイルに対する垂線を計算す
る。各タイルに対する垂線を補間することにより、各ピ
クセルのマッピングに対する垂線ベクトルを決定し、ピ
クセルに対して計算された垂線と照明ベクトル(後述)
とのスカラー積を用いて照明係数を計算することが可能
である。照明係数発生器33及び照明効果処理器19を
もっと詳細に説明する前に、Phong照明技法につい
て簡単に述べる。
【0042】基本的なPhong照明技法を図11に示
す。Np は、問題にしている物体面上のピクセルPi
対する垂線を表す。Lは、照明ベクトルを表す。dは、
ピクセルから光源までの距離を表す。これらの特性が既
知の場合、光の強さLI(ピクセル強度修正係数に相当
する。)を次の公式より計算できる。
【数6】 上式において、N.Lは、問題にしている点における面
垂線(すなわち、マッピングされたピクセルへの垂線)
及び照明ベクトルLとのスカラー積、Id は発散光源の
強さ、Ia は周囲光源の強さ、Kd は面の反射係数、d
はピクセル及び光源間の距離、dφは方程式の分母がゼ
ロに近づくのを防ぐための定数をそれぞれ表す。
【0043】どんな映像の場合でも、値Id ,Ia ,K
d ,dφ及び照明ベクトルは一定である。しかし、ピク
セルに対する垂線N及び光源からピクセルまでの距離d
に対する新しい値は、映像の各ピクセル毎に計算をする
必要がある。
【0044】照明係数発生器33は、光の強さを上述の
方程式に従って計算する。まず、各タイルに対する垂線
をそれらのタイルのコーナー点から計算し、それらの垂
線間を補間して個々のピクセルに対する垂線を発生す
る。図12は、この処理の2次元の例を図解的に示す。
図中、Sは問題にしている物体面を、NA ,NB ,NC
はそれぞれ各タイルA,B,Cへの垂線を表す。N
p は、近くのタイル垂線の補間によって計算された、タ
イルの特定のピクセルへの垂線を示す。図12では、そ
れぞれのタイルの中心における垂線NA ,NB ,NC
示した。しかし、このような状態においてタイルAの左
側エッジが映像のエッジである場合、垂線NAの左側に
は、該ベクトルの左側のピクセル垂線を補間するための
垂線がないことが分かるであろう。この問題に対する1
つの解決法は、タイルAを外挿して仮想垂線NA ′を発
生することである。そうすると、これをタイル垂線NA
の左側のピクセル垂線の補間に使用できるであろう。し
かし、本発明の好適な実施例では、図13に示す方法を
採用する。図13は、入力映像のタイルの3次元表示で
ある。タイルT00,T01,T10,T11,‥‥に対する垂
線N00,N01,N10,N11,‥‥を、対応するタイルの
左上コーナーにおけるものと定義する。こうすると、各
タイルの各ピクセルPに対する垂線Np を、該タイルの
4つのコーナーにおける垂線によって計算できる。例え
ば、左上タイルにおける各ピクセルに対する垂線N
p は、周りの4垂線N00,N01,N10,N11の値を補間
することにより計算できる。この補間は、問題にしてい
るタイルの上方及び左方のエッジからの変位y及びxを
用いて、線形的に行う。入力映像の能動画像領域に対す
る一番下及び一番右側の横列のタイルのピクセルを計算
できるように、入力ビデオ領域の最下部及び右側(すな
わち、図5に示すタイルのアレイの最下部及び右側)に
延長したタイルに対して垂線を計算する。図5には、最
下部及び右側に付け加えたタイルは示していない。しか
し、こうすることにより、図5に示すタイルアレイの各
タイルの各コーナーに対しタイル垂線が発生される。よ
って、コーナーにおけるものと定義されたこれらの垂線
は、図5に示す各タイルt内の各ピクセルに対する垂線
の計算に使用できる。
【0045】特定の点における垂線の決定は、近くのタ
イル垂線の線形補間によって行うことができる。一般
に、図12に示した2次元例の場合、補間された垂線N
int は、次式によって決定できる。 Nint =αNl +(1−α)Nr ‥‥(6) ただし、Nl は必要な場所の左側の垂線、Nr は必要な
場所の右側の垂線、αは補間係数をそれぞれ表す。
【0046】図13に示し、本発明に実施した3次元例
の場合、2次元補間が行われる。すなわち、補間された
垂線、例えばタイルT00における垂線Np は次式により
定められる。 Np =y(xN00+(1−x)N01)+(1−y)(xN10+(1−x)N11) ‥‥(7)
【0047】このようにして計算された垂線Np はそれ
から、上述の光の強さを決める方程式における垂線Nと
して使用し、照明ベクトルLとのスカラー積を作ること
ができる。
【0048】光源からピクセルまでの距離dも、各ピク
セルに対して計算する必要がある。これはまた、マッピ
ング・ロジック36により出力されるマッピング・タイ
ルコーナー点の座標から補間することにより、計算する
ことができる。
【0049】任意の与えられたピクセルに対する距離d
は、次式により計算できる。 d=√( (px −lx )2+(py −ly )2+(pz −lz 2 )‥‥(8) 又は、dが大きいと予想される場合は次式による。 d=|px −lx |+|py −ly |+|pz −lz ‥‥(9) ここに、px ,py ,pz は当該ピクセルの補間された
マッピング座標、lx,ly ,lz は光源の座標であ
る。
【0050】図14は、照明係数発生器33及び照明効
果処理器19を詳細に示すブロック図である。照明係数
発生器33は、垂線・ピクセル(座標)補間器48及び
照明係数(L.F.)乗数発生器49を有する。照明効
果処理器19は、ピクセル乗算器50及び遅延段51を
有する。
【0051】図15は、図14の垂線・ピクセル補間器
48の具体例を示すブロック図である。垂線・ピクセル
補間器48は、タイルマッパー32からのタイルコーナ
ー座標と、入力映像のピクセルに合せて調整されたタイ
ミング信号Tとを受信する。実際には、行われる計算に
より、マッピングされたピクセルの補間された垂線及び
補間されたピクセル座標の計算の仕方によっては、補間
された値に対応するピクセルの前に、垂線・ピクセル補
間器にタイル座標を与える必要はない。詳しくいうと、
マッピングされるタイルコーナー座標が垂線計算回路5
5に入力され、そこで、図10に示した各タイルの対向
するコーナー点を結ぶベクトルのスカラー積を求めるこ
とにより垂線が作られる。タイルコーナー座標は、1横
列ずつ、各横列内では1コーナーずつ供給される。タイ
ルコーナー座標を供給するレートは、タイル当たりのピ
クセル数によって決まる。したがって、図5に示す例の
ようにタイル当たり16ピクセルの場合、1組のタイル
コーナー座標はピクセルレートの1/4で与えられるこ
とになる。各タイルに対するタイルコーナー座標は、同
時に垂線計算回路55に供給できる。この場合、現在の
タイル座標(例えばN11)を直接垂線計算回路に、第2
のタイル座標(例えばN10)を1タイル遅延手段52に
より1タイル分遅延させて、第3のタイル(ピクセル)
座標(例えばN01)を1ライン遅延手段53によって1
ライン分遅延させて、第4のピクセルを1ライン遅延手
段53及び1タイル遅延手段54により1ライン及び1
タイル分遅延させて供給するようにする。垂線計算回路
55は、対角線上に向き合うマッピングされたタイルコ
ーナー点を結ぶベクトルのスカラー積を計算することに
より、垂線を発生する。
【0052】この垂線Nc はそれから、線形補間器59
に供給される。特定のタイル(例えばタイルT00)内の
ピクセルの位置を計算するためには、当該タイルの4つ
のタイルコーナー点に対する垂線を既に持っていること
が必要である。垂線計算回路55から出力されるタイル
コーナー点Nc は、いま計算したタイルの左上コーナー
に対応するものと仮定する。したがって、垂線計算回路
55によって垂線が計算されるタイルのコーナー点が全
部使用可能となる前に、1ライン及び1タイル分の遅延
が必要である。よって、特定タイルに対する4つのタイ
ルコーナー点の垂線を線形補間器59に同時に入力でき
るように、遅延素子52,53,54と同様に、1組の
1タイル遅延手段56、1ライン遅延手段57、1タイ
ル遅延手段58を設ける。
【0053】タイル内のピクセルに対するピクセル垂線
の補間は、補間された垂線Np の計算のための上式
(7)に従って計算される。線形補間器59は、これに
供給されるx及びyの値に応じてこの計算を行う。x及
びyの値は、ピクセル計数器60を用い各横列に沿って
ピクセルを計数し、ライン計数器61によってピクセル
のラインを計数することにより、計算する。ピクセル計
数器60は、ピクセル計数信号PIXELによってクロ
ック(C)され、ライン計数信号LINEによってリセ
ット(R)される。ライン計数器61は、ライン計数信
号LINEによってクロックされ、フレーム計数信号F
RAMEによってリセットされる。
【0054】回路62P及び62Lはそれぞれ、ピクセ
ル計数器60及びライン計数器61によって出力される
計数値の下位ビットをサンプルする。タイル当たり4ピ
クセルがある場合、回路62P及び62Lは、ピクセル
及びライン計数器の下位2ビットをサンプルし、これに
より0,1,2,3の各サイクル毎にx及びyの値を出
力し、当該タイルのコーナー点に対して入力される垂線
の線形補間を行わせる。各タイルに他の数(例えば3
6)のピクセルがある場合、サンプル回路62P及び6
2Lはピクセル計数値の下位ビットを適切に(例えば、
法6とする。この場合、x及びyの値は0から5までを
繰返す。)サンプルするよう構成する。線形補間器59
は、これに入力されるタイルコーナー垂線及びx,y値
に応じ、上述の補間された垂線Np のための方程式に従
ってそれぞれのピクセルに対する垂線Np を出力する。
【0055】タイルコーナー座標はまた、タイルのピク
セルのマッピング座標を補間するための回路にも供給さ
れる。このタイル座標は、垂線計算回路における回路5
2,53,54,55から生じる遅延に等しい遅延を与
える遅延段63に供給される。遅延段63の出力はそれ
から、線形補間器67に供給される。1タイル分の遅延
を与える手段64、1ライン分の遅延を与える手段6
5、更に1タイル分の遅延を与える手段66を組合せる
ことにより、タイルの4つのマッピングされたコーナー
に対する座標を線形補間器67に同時に供給する。線形
補間器67は、それぞれ回路62P及び62Lにより出
力されるx及びyの値に応答し、タイルのマッピングさ
れたコーナー点を線形的に補間し、該タイルの各ピクセ
ルに対しマッピングされたピクセル座標を発生する。出
力ピクセル座標Pi (x,y,z)は、垂線・ピクセル
補間器48より、当該ピクセルに対する対応垂線Np
同期して出力される。
【0056】図16は、図14のL.F.乗数発生器4
9の例を示すブロック図である。1ピクセルに対する垂
線ベクトルNp が回路68に入力される。回路68は、
ピクセル垂線Np と制御ユニット25からの照明ベクト
ルLとのスカラー(ドット)積を作成する。
【0057】補間されたピクセルの座標Pi (x,y,
z)が、(Kd ×Id )/(di +dφ)の関係を計算
する回路69に入力される。よって、回路69はまた、
光源の座標LC (x,y,x)、(Kd ×Id )及びd
φの値を受取る。これらの値は、制御ユニット25から
与えられる。計算回路69は、前述のdを計算する式
(8)又は(9)に従って、補間されたピクセルPi
び光源の座標から、問題にしているピクセルに対する距
離di を計算することにより上記の関係を計算する。d
の値が計算されると、関係(Kd ×Id )/(di +d
φ)が計算される。1ピクセルに対する回路68及び6
9の出力が、同時に乗算器70に供給され、次いで加算
器71に供給される。そこで、制御ユニット25から供
給される値Kd a が加算され、現ピクセルに対する照
明計数を形成する光の強さの乗数(ピクセル強度修正係
数)を発生する。照明係数は、照明効果処理器19のピ
クセル乗算器50に入力されたピクセルの強度に乗じる
ための乗数として使用する。入力されるピクセルライン
内の遅延段51は、入力されるピクセルを適切な量だけ
遅延させ、1ピクセルに対する照明係数が照明係数
(L.F.)発生器33からピクセル乗算器50へ、当
該ピクセルが遅延段51からピクセル乗算器50に供給
されるのと同時に出力されるようにする。強度を修正さ
れたピクセルが照明効果処理器19からフィルタ12に
出力される。
【0058】次に、圧縮率発生器34及びフィルタ12
の動作を説明する。フィルタ12を制御するための圧縮
率を発生する圧縮率発生器34は、タイルマッパー32
の出力を用いてこれらの率を発生する。
【0059】図10に示す処理の結果生じたタイルの形
状は、同図において実線で示すような平行4辺形にほぼ
近似するとみなされる。したがって、英国特許出願GB
−A−2244622号(ソニー株式会社)に記載され
たような局部圧縮率発生器を使用することができる。
【0060】図17は、マッピングされたタイルがほぼ
平行4辺形の形でありさえすればよい4辺形を形成する
場合に、原映像の各タイルに対する局部水平圧縮率lh
及び局部垂直圧縮率lvを計算できる局部圧縮率計算手
段34を示している。第1計算部72は、マッピングさ
れた各タイルに対する点Ia ,Ib ,Ic ,Id の座標
から、マッピングメモリ37(図7)に記憶されたそれ
らの点の座標を用いて値xv,xh,yv,yhを計算
する。これらの値(74)は、第2の計算部76に出力
される。この第2計算部は、3角法関係を用いて対応す
る値lh及びlvを計算する。これらの対応値lh及び
lv(78)はそれから、濾波しようとする映像値の受
信と同期してフィルタ12へ出力される。局部圧縮率計
算手段によるlh及びlvの値を発生する理論について
は、上述の英国特許出願GB−A−2244622号に
十分論じてあるので、更に詳しくは述べない。
【0061】フィルタ12は、有限インパルス応答(F
IR)フィルタであるのがよい。2次元FIRフィルタ
の設計自体は公知であるので、ここでフィルタの好適な
態様について詳細な説明はしない。当業者には周知のよ
うに、2次元FIRフィルタは、各クロック周期T(=
1/FS)の間、すなわち各サンプル・ピクセルに対し
て動作し、入力信号の垂直及び水平に配列されたサンプ
ルの所定の組にそれぞれの加重(重み付け)係数を乗
じ、乗算結果の積を合算することにより、濾波された出
力ワード又はサンプルを計算する。この目的のため、2
次元FIRフィルタは一般に、それぞれの加重係数が供
給される複数の乗算器と、乗算器の上流又は下流に配置
され、入力信号のサンプルを異なる量だけ遅らせて垂直
及び水平に配列されたサンプルの所定の組みを作る、複
数の1サンプル遅延素子及び1ライン遅延素子(ライン
メモリ)と、遅延され加重された積を合算する合算手段
とを有する。図18は、図6のフィルタ12として適当
なものを図解的に示したものである。このフィルタ12
は、複数の乗算器12M、複数の遅延素子12D及び合
算手段12Sを有する。それぞれの異なる加重係数は、
帯域幅制御手段12Bから伸びる線を介して乗算器12
Mに供給される。
【0062】帯域幅制御手段12Bは、水平及び垂直局
部圧縮率の値lh及びlvを直接加重係数の適正値の計
算に用いて、フィルタ12の水平及び垂直帯域幅の減少
を行うためのものである。lh及びlvの考えられるす
べての値に適切な一連の加重係数の組は設計段階で計算
され、帯域幅制御手段12Bは、予め計算した加重係数
値の参照表を記憶するPROMの形に構成されている。
こうすると、帯域幅制御手段は、局部圧縮率計算手段3
4から受信するlh,lvの値に従って、各クロック周
期毎に加重係数の適正値を乗算器12Mに出力すること
ができる。
【0063】上述のように、タイル内の水平及び垂直帯
域幅に必要な減少は、処理されたタイルの水平及び垂直
の大きさ及び回転と剪断変形の量の、未処理の映像タイ
ルに対する比率に関係している。これらの要因は、帯域
幅制御手段12B内の参照表の設計に考慮され、それに
より、lh,lvの値(これから計算される比率でな
く)を水平及び垂直局部圧縮率として帯域幅制御手段1
2Bに直接供給することができる。
【0064】原映像信号の濾波は、照明効果処理器19
からの原映像サンプルの受信に同期して実時間で行える
ように配慮してある。濾波された原映像サンプルは、メ
モリ13に記憶される。
【0065】圧縮率(S.F.)発生手段34から圧縮
率が正確なタイミングで出力されるように、遅延手段
(図示せず)が設けられる。この遅延手段は、タイルマ
ッパー32とS.F.発生手段34の間、又はS.F.
発生手段34とフィルタ12の間に挿入することができ
る。所要の遅延は、特定の機器における具体的な回路遅
延に応じて当業者が決定できる。具体的な機器において
は、タイルマッパー32及びフィルタ12間に遅延が必
要でないが、タイルマッパー32及び照明効果処理器1
9間に更に遅延手段が必要な場合もある。照明効果処理
器19及びフィルタ12を制御する信号に適切なタイミ
ングを与えることは、当業者の仕事である。
【0066】濾波された映像は、受入れ順にメモリ13
に記憶されると、適切なメモリ読出しアドレスを発生す
ることにより目標物体上にマッピングすることができ
る。アドレス発生器21は、ベジエ再分割(subdi
vision)として知られる光線トレース再分割技法
を用いてこれを行う。この技法は、前述したように、ベ
ジエ曲線が、単に加算と2による割算を要するだけの、
制御点に関する簡単な演算により、2つの曲線に容易に
再分割できるという事実に依存している。
【0067】アドレス発生器21の目的は、あとで出力
映像を作成するための物体映像の各ピクセルを発生する
のに使用できる、メモリ13内の濾波された原映像デー
タの位置を決定するアドレスデータを発生することであ
る。この処理は、各物体映像ピクセルに対して光線を発
生し、該光線がその物体と交差するかどうかを検出し、
交差する場合、該光線に対する物体ピクセルを作成する
のに使用すべき原映像データが含まれるメモリ13内の
1以上の記憶位置を決定する、という概念に基いてい
る。光線と物体面との交差を決定するため、この技法
は、各光線に対し、ベジエ面又はパッチ(分割面)を繰
返し4等分する過程を含む。
【0068】前述のように、曲線の場合、曲線を完全に
中に含む凸外郭を定めるのにその制御点を使用すること
ができる。ベジエ面についても、該面を完全に中に含む
多角形の面をもつ凸面体を定めるのにその制御点を使用
できる場合、同じことがいえる。計算を容易にするた
め、凸外郭を考える代わりに、アドレス発生器21は、
制御点のそれぞれx及びy成分の最大及び最小に基く、
もっと簡単な「限定ボックス」(bounding b
ox)を用いる。いわゆる「限定ボックス」は、パッチ
を中に含み、その座標軸と揃うように形成される。再分
割処理の各段階において、アドレス発生器は、光線がこ
の限定ボックスと交差するかどうかを計算する。再分割
処理は、所望の解が得られるまで続けられる。この再分
割技法、この技法を実行する装置、更に読出し側処理及
び装置は、同時係属中の英国特許出願GB910749
5.5号(1991年4月9日出願)に記載されてい
る。この先行英国出願の内容を本明細書においても参照
されたい。よって、ここでは、メモリ13の読出し側に
ついて簡単に説明するにとどめる。
【0069】上記再分割処理を図19に図解的に示す。
概念的にいえば、各光線は原点「0」からスタートし物
体面を通過する。図19は、左上の限定ボックスに対し
交差が確認され、この限定ボックス内において破線で示
すように、第1の再分割S1から第2の再分割S2が行
われる様子を示す。この処理は、所望の解像度又は精度
(この場合、再分割Sn)を得るまで続けられる。図1
9に示すように、それぞれのピクセルに対する光線は、
原点「0」から発散している。しかし、このような発散
光方式では、光線と限定ボックスの交差をテストする場
合、厳格な処理が要求される。本発明の好適な具体構成
では、後述するように、発散光方式に近似する平行光線
方式を使用する。
【0070】図20は、再分割処理における基本ステッ
プを示す流れ図である。ステップ80で、レジスタに深
さ値が設定される。ステップ82で、最初のパッチが、
最初の制御点に対する適切な計算により、4つの小パッ
チに再分割され、これらの小パッチに対する制御点がス
タック(後入れ先出しメモリ)に記憶される。各小パッ
チに対する制御点(x,y,z値)には、それらの小パ
ッチに対するu,v,z値を導出するための変数が結び
付いている。
【0071】スタック内の第1の再分割パッチに対する
制御点がステップ84で取出され、この再分割パッチに
対する限定ボックスが計算される。ステップ86で、現
光線が現限定ボックスと交差しているかどうかをテスト
する。該ステップで限定ボックスと交差していないと検
出されると、この再分割パッチはステップ88で破棄さ
れる。ステップ90でスタックになお再分割パッチがあ
ると決定されると、論理が分かれて戻り、次の再分割パ
ッチに対する制御点をステップ84でスタックから取出
す。スタックに再分割パッチが残っていない場合、処理
はステップ92で終了し、処理の結果、最も交差に近い
と検出された再分割パッチに対して蓄積され、出力レジ
スタに記憶されたu及びv値から導出される読出しアド
レスが出力される。水平アドレスは、uに最大水平アド
レス(高精細度テレビジョンの場合一般に1920)を
乗じて発生する。垂直アドレスは、vに最大垂直アドレ
ス(高精細度テレビジョンの場合一般に1035)を乗
じて発生する。
【0072】ステップ86において、光線と限定ボック
スの交差が検出されると、ステップ94で、該再分割パ
ッチに対する深さ値が深さレジスタ内の深さより小さい
かどうかのテストが行われる。もし小さければ、ステッ
プ96で、所望の解像度が得られたどうかを決めるテス
トが行われる。ステップ94及び96におけるテスト結
果が共に肯定的であれば、ステップ98で、当該再分割
パッチに対する深さが深さレジスタに記憶され、当該再
分割パッチに対するu,v値が、ステップ92における
あとの出力のための上記出力レジスタに記憶される。深
さレジスタ及び出力レジスタに記憶されるデータは、前
にそこに記憶されたデータに重ね書きされる。ステップ
94で、再分割パッチに対する深さ値が深さレジスタの
内容より大きいか又は等しいと決定されると、その再分
割パッチはステップ88で破棄され、処理は、未だ処理
すべき再分割パッチがあるかどうかを決定するステップ
90のテストへと続く。ステップ96で、与えられた光
線交差に対し所望の解像度が未だ得られていないと決定
されると、処理は分かれてステップ82に戻り、そこ
で、現再分割パッチが4つの更に小さいパッチに再分割
され、これら4つの更に小さいパッチに関する制御点及
びu,v,zデータが上記スタックの一番上に加えられ
る。
【0073】アドレス発生器21(図6)は、各物体映
像ピクセルに対するキー信号K0 を発生する。キー信号
0 は交差が発見された(すなわち、物体内の)物体映
像ピクセルに対する第1の値と、交差が発見されない
(すなわち、物体外の)物体映像ピクセルに対する第2
の値とを有する。
【0074】圧縮及び(又は)回転のため、マッピング
されたサンプルの位置が、出力映像信号又は出力アレイ
の正確なピクセル位置と対応しないことがある。したが
って、空間再分割処理は、サブピクセル(ピクセルより
小さい)精度で行うのがよい。このようにして、アドレ
ス発生ロジックにより発生されるアドレスは、メモリ1
3のアドレス指定に用いる主アドレス部(例えば、高精
細度では12ビット)と、メモリ13のあとに位置する
ピクセル補間器14の制御に用いる付加アドレス部(例
えば4ビット)とを含む。ピクセル補間器14は、主ア
ドレス部によって指定される濾波された映像における位
置と、付加アドレス部によって表される、現物体ピクセ
ル上にマッピングされる、濾波された映像における正確
な位置との間の位置インクリメント(増分)に応答し
て、メモリ13における使用可能な濾波された入力サン
プル又はワードの値の間を補間する。ピクセル補間ロジ
ックによってこれを行い、各物体ピクセルに対し、マッ
ピング関数を用いて選択した物体ピクセル位置の上に正
確にマッピングされる、入力映像における当該点に対応
する補間されたサンプル又はワードを作成する。この補
間されたサンプル又はワードは、特定の入力サンプル又
はワードでなく、ピクセル補間手段からの出力である。
こうして、物体映像のピクセルとメモリ13の異なる位
置との間に、正確な所望の関係(マッピング関数によっ
て指示されるような)が維持される。いま述べたタイプ
の補間技法は、英国特許出願公開GB−A−B2172
167号(ソニー株式会社)に記載されている。
【0075】再分割処理をサブピクセル解像度で行う
と、個々の物体内に正しいマッピングが与えられる。た
だし、それらの物体のエッジになおエイリアス歪みが残
る。図21及び22はそれぞれ、この問題とその解決法
とを示す。図21は、各々がそれぞれピクセル位置に対
応し、単一の光線が各ピクセルの中心に位置する2つの
隣接する素子を示す。物体のエッジ130は、該物体エ
ッジの下部及び右において物体の境界が定められたピク
セル素子を通過している。左側のピクセル位置における
光線は、物体のエッジの外側にあることが分かるであろ
う。しかし、右側のピクセル位置に対する光線は、物体
内に位置している。図21に示すようなサンプリングの
結果、左側のピクセル位置が背景に合せられ、右側のピ
クセル位置が映像に合せられた出力映像を生じることに
なる。このため、明らかにエイリアス歪みの、又はぎざ
ぎざのついたエッジが生じる。
【0076】図22は、前述の同時係属中の英国特許出
願GB−9107495.5号に記載された装置に採用
されている方法を示す。所望のピクセル解像度でエッジ
が検出されると、そのピクセル位置に多数の光線を発射
し、物体内に含まれるピクセルが中心に位置するパッチ
の百分率を決める。図22において、左側のピクセル位
置に発射された36の光線から、15の光線が物体と交
差していることが分かる。この情報を、当該ピクセルに
適正な値を与えるのに使用できる。しかし、該ピクセル
の強度を正しい値に調整するためには、近くの物体又は
背景の強度を確かめる必要がある。このため、図6のキ
ー(制御)処理器23において、エッジ検出器39及び
エッジ処理器38がエッジの検出及び処理を行ってい
る。キー処理器23の出力は、エイリアス歪みのないエ
ッジのマップの形をしており、メモリ13及びピクセル
補間器14の出力に重畳されて図6に示す出力ビデオ信
号を発生する。
【0077】エッジ検出ロジックは、4ピクセル素子の
グループを比較することによって動作をする。エッジ検
出ロジックは、任意の4ピクセル素子のグループ内で、
(a)4つのヒット(当たり)、(b)4つのミス(外
れ)、又は(c)ヒットとミスの混合及び(又は)アド
レスの不連続があるかどうかをテストする(図23参
照)。(a)及び(b)がある場合、エッジ検出ロジッ
クは、4ピクセル素子グループ内にエッジがないとす
る。ヒットとミスが混合する場合、物体の背景エッジが
該4ピクセル素子グループ内を通過している、とみな
す。アドレスの不連続が検出された場合、物体面に折り
目のようなものがある、とみなす。あとの2者の場合、
4ピクセル素子グループ内にもっと多くの光線を発射
し、4ピクセル素子区域をスーパーサンプルし(サンプ
ルレートを上げ)てエッジの正確な通路を決定する。図
19及び20について上述した再分割アドレス発生処理
を各光線に対して行い、当該光線に対する映像値を決定
する適切な原ピクセル(又は正確なマッピングがない場
合は原ピクセルのグループ)のメモリアドレスを決定す
る。各ピクセル素子に対するエッジ値を決めるため、各
ピクセル素子に対する追加光線トレース操作の各結果を
平均する。これらの平均したピクセル素子値が出力さ
れ、キーヤー17の出力映像データに重畳すべきエッジ
・マップが作成される。
【0078】前述の同時係属英国出願GB−91074
95.5号には、本発明の具体構成に使用しうるエッジ
検出器39及びエッジ処理器38が記載されている。よ
って、図6に示すエッジ検出器39及びエッジ処理器3
8の動作は、ここでは概要を述べるにとどめる。
【0079】エッジ検出器39は、上述したような4ピ
クセル素子グループの比較を行う制御ロジック(論理回
路)を有する。アドレス発生器21が発生したアドレス
を比較するため、該ロジックは、アドレス発生器による
アドレス出力をアドレスバス133(図6)を介して受
信する。エッジ検出器39は、エッジに対応するピクセ
ルに対する第1の値と他のピクセルに対する第2の値と
をもつエッジキー信号Ke を作成する。
【0080】エッジ処理器38は、図20について上述
した光線トレース及び再分割処理を行う回路を有する。
ただし、エッジ検出器39によりエッジ上にあると識別
されたピクセル素子内の複数の光線に対するものは除
く。同時係属英国出願GB−9107495.5号に記
載されたエッジ処理器の特定例では、エッジ処理器38
は、データ路141を介してフィルタ12の出力を受け
る。エッジ処理器は更に、バス145(図6)から背景
情報を受け、背景物体エッジのスーパーサンプリングを
行うことができる。エッジ処理器はまた、構成光線に対
する個々の強度値を決定する。これらは、組合せて処理
され、各ピクセル素子に対する複合強度値を発生する。
これらのピクセル素子の値は、並べてデータバス144
によりキーヤー17に出力され、ピクセル補間器14か
らの出力ピクセルをキーイングにより背景情報と合体さ
せて複合出力画像を発生する。
【0081】図24は、図6のキーヤー17の例を示す
構成図である。キーヤーは、入力として背景情報を表す
信号Bを受取り、出力画像OIの背景を作るもので、物
体映像の物体映像ピクセルO、エッジ映像のエッジ・ピ
クセルEDGE、物体映像用キー信号Ko 、エッジ映像
用キー信号Ke を同時に入力する。物体映像用キー信号
o は、物体映像のどのピクセルO及び背景のどのピク
セルをスクリーンに表示するかを特定するマスクを決め
る複数の「1」と「0」より成る。したがって、キー信
号Ko は、物体映像(O)を通過させるゲート150の
制御に用いられる。インバータ151により発生される
信号Ko の逆信号は、背景映像情報を通過させるゲート
152の制御に用いる。ゲート150及び152の出力
は、加算器154で組合され、線156に基本的な出力
信号を発生する。エッジのエイリアシング現象を避ける
ため、エッジ映像EDGEを加算器154の出力に重畳
する。キー信号Ke は、エッジ信号EDGEを通過させ
るゲート158の制御に用いられる。インバータ157
は信号Ke を反転させ、この反転された信号は、線15
6の加算器154の出力を通過させるゲート160の制
御に用いる。ゲート158及び160の出力は、加算器
162で加算されて線164に出力画像OIを形成す
る。図24に示すキーヤーの作用は、キー信号Ko で決
まるマスクに従って背景に物体映像(O)を重畳し、そ
の重畳したものの上に更に、キー信号K e に従って信号
EDGEによって決まるエッジ・ピクセルを重畳するこ
とである。
【0082】以上、非線形物体面上にビデオ面感マッピ
ングすることができるデジタルビデオ特殊効果装置を説
明した。ただし、この特定の装置に対し、本発明の範囲
内において多くの補足及び(又は)修正が可能であるこ
とが認められるであろう。
【0083】例えば、照明効果を与える本発明の実施例
を、非線形物体面上にビデオ面感マッピングできる例に
関連して説明したが、本発明はまた、線形物体面上にマ
ッピングするデジタルビデオ特殊効果装置にも適用でき
るものである。この場合は、代わりのアドレス発生及び
キー処理回路を用いることになる。
【0084】また、本発明の好適な具体構成では、タイ
ルの1コーナーにおけるタイル垂線を想定したが、他の
具体構成においてタイル垂線をタイルの中心におけるも
のとしてもよい。しかし、この場合、能動画像領域のエ
ッジ近くのピクセルの補間は、外挿により能動映像領域
の外側のタイルに対し更に垂線を発生することでもよ
い。
【0085】
【発明の効果】本発明によれば、メモリに書込む前に照
明効果処理をすることにより、読出し側で処理する場合
に比し少ない量のハードウェアで照明強度の修正を行う
ことができる。また、タイルに対する局部圧縮率に従っ
て変化するフィルタ特性をフィルタに適用することによ
り、タイルに基く照明効果処理によって感知されるエイ
リアシングを軽減することができる。
【図面の簡単な説明】
【図1】デジタルビデオ特殊効果装置の従来例を示すブ
ロック図である。
【図2】ベジエ曲線の例を示す図である。
【図3】ベジエ曲線の分割を示す図である。
【図4】ベジエ面の例を示す図である。
【図5】原映像領域の複数タイルへの分割を示す図であ
る。
【図6】本発明の実施例を示すブロック図である。
【図7】図6のタイルマッパーを示すブロック図であ
る。
【図8】図7のタイルマッパーのマッピング・ロジック
の動作を示す流れ図である。
【図9】図5から選択したts タイルを示す図である。
【図10】図4のベジエ面上のts タイルを示す図であ
る。
【図11】Phong照明技法を示す説明図である。
【図12】垂線発生の2次元の例を示す説明図である。
【図13】垂線発生の3次元の例を示す説明図である。
【図14】図6のL.F.発生器と照明効果処理器を示
すブロック図である。
【図15】図14の垂線・ピクセル(座標)補間器の例
を示すブロック図である。
【図16】図14の照明係数(L.F.)乗数発生器を
示すブロック図である。
【図17】図6の圧縮率(S.F.)発生器を示す図解
的ブロック図である。
【図18】図6のフィルタの例を示すブロック図であ
る。
【図19】図6のアドレス発生器の光線トレース再分割
動作を示す説明図である。
【図20】アドレス発生器のロジック動作を示す流れ図
である。
【図21】画像のエッジに関する問題を示す説明図であ
る。
【図22】画像のエッジに対する処理の例を示す説明図
である。
【図23】図6のエッジ検出器の動作を示す説明図であ
る。
【図24】図6のキーヤーを示す簡略ブロック図であ
る。
【符号の説明】
13 メモリ 25 制御手段 21 アドレス手段(マッピング手段) 19 書込み側照明効果手段(照明効果処理器) 33 照明係数(L.F.)発生器 12 フィルタ 34 圧縮率(S.F.)発生手段
フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 5/262 7/24 H04N 7/13 Z (72)発明者 ハワード ジョン ティース イギリス国 RG11 2XF,バークシャ ー,ウォッキンガム,スコッツ ドライブ 15

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 ピクセルのアレイより成る原ビデオ映像
    を物体面上にマッピングして出力映像を作成するデジタ
    ルビデオ特殊効果装置であって、上記原ビデオ映像より
    導出したピクセルのアレイを一時的に記憶するメモリ
    と、上記物体面を定める表面関数を規定するための制御
    手段と、上記メモリからピクセルをマッピングして、上
    記物体面上にマッピングされた原ビデオ映像を表す出力
    ピクセルを作成するための読出しアドレスを計算するア
    ドレス手段とを具え、 メモリに書込む前に原ビデオ映像からピクセルを修正す
    る書込み側照明効果手段を有することを特徴とするデジ
    タルビデオ特殊効果装置。
  2. 【請求項2】 上記原映像を複数のタイルに論理的に区
    分して各タイルを上記原映像のピクセル・アレイに対応
    させるマッピング手段を有し、該マッピング手段は、上
    記表面関数に応答して上記タイルのコーナーを上記物体
    面にマッピングする座標を計算するものである請求項1
    の装置。
  3. 【請求項3】 上記照明効果手段は、照明係数発生器に
    より作成された照明係数に応答して、上記原映像からの
    ピクセルの強度を選択的に修正する照明効果処理器を具
    え、上記照明係数発生器は、上記マッピング手段が発生
    したマッピングされたタイルの座標から、上記原映像の
    各ピクセルに対しピクセル強度修正係数を発生する手段
    を有する請求項2の装置。
  4. 【請求項4】 上記照明係数発生器は、2つのベクトル
    のベクトル積を計算することにより各タイルに対する垂
    線を決定する手段を有し、上記ベクトルの各々は、該タ
    イルの対角線上に向き合うコーナーのマッピングされた
    座標に関して定められる請求項3の装置。
  5. 【請求項5】 上記照明係数発生器は、複数のタイル垂
    線を補間することによりマッピングされた各ピクセルに
    対する垂線を決定する手段を有する請求項3又は4の装
    置。
  6. 【請求項6】 上記照明係数発生器は、上記物体面上に
    マッピングされたピクセルの座標と光源の座標とからピ
    クセル及び光源間の距離を決定する手段を有する請求項
    3〜5のいずれか1項の装置。
  7. 【請求項7】 上記照明係数発生器は、ピクセルが属す
    るタイルに対しマッピングされたタイルコーナーの座標
    値を補間することにより各ピクセルに対しマッピングさ
    れた座標を決定する手段を有する請求項6の装置。
  8. 【請求項8】 ピクセル強度修正係数(IF)が次式に
    よって定められる請求項3〜7のいずれか1項の装置 【数1】 ただし、 N.Lは補間されたピクセル垂線Nと照明ベクトルLと
    のスカラー積、 Id は発散光源の強さ、 Ia は周囲光源の強さ、 Kd は反射係数、 dはピクセル及び光源間の距離、 dφは定数をそれぞれ表すものとする。
  9. 【請求項9】 上記照明効果手段は、上記メモリに書込
    む前にピクセルを濾波するためにピクセルをフィルタに
    出力し、該フィルタは、上記ピクセルが属するタイルに
    対する局部圧縮率に従って変化するフィルタ特性を適用
    するものである請求項2〜8のいずれか1項の装置。
  10. 【請求項10】 タイルコーナー座標値に応答してそれ
    ぞれのタイルに対するフィルタ圧縮率を発生する圧縮率
    発生手段を有する請求項9の装置。
JP09966793A 1992-04-24 1993-04-26 デジタルビデオ特殊効果装置 Expired - Fee Related JP3190762B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
GB9208929A GB2267007B (en) 1992-04-24 1992-04-24 Video special effect apparatus and method
GB9208929:1 1992-04-24
GB9215817:9 1992-07-24
GB9215817A GB2266425B (en) 1992-04-24 1992-07-24 Digital video effects system

Publications (2)

Publication Number Publication Date
JPH0750810A true JPH0750810A (ja) 1995-02-21
JP3190762B2 JP3190762B2 (ja) 2001-07-23

Family

ID=26300773

Family Applications (1)

Application Number Title Priority Date Filing Date
JP09966793A Expired - Fee Related JP3190762B2 (ja) 1992-04-24 1993-04-26 デジタルビデオ特殊効果装置

Country Status (4)

Country Link
US (1) US5461706A (ja)
EP (1) EP0574111B1 (ja)
JP (1) JP3190762B2 (ja)
DE (1) DE69314231T2 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0707420A1 (en) * 1994-09-15 1996-04-17 Avesco Plc 3D special effects system
US5765561A (en) * 1994-10-07 1998-06-16 Medical Media Systems Video-based surgical targeting system
US5737506A (en) * 1995-06-01 1998-04-07 Medical Media Systems Anatomical visualization system
US6151404A (en) * 1995-06-01 2000-11-21 Medical Media Systems Anatomical visualization system
US5776050A (en) * 1995-07-24 1998-07-07 Medical Media Systems Anatomical visualization system
US6702736B2 (en) * 1995-07-24 2004-03-09 David T. Chen Anatomical visualization system
WO1997008660A1 (de) * 1995-08-25 1997-03-06 Gmd-Forschungszentrum Informationstechnik Gmbh Bildverarbeitungsverfahren zur simulation einer tiefenstruktur und zugehörige vorrichtung
US5825908A (en) * 1995-12-29 1998-10-20 Medical Media Systems Anatomical visualization and measurement system
US6064408A (en) * 1998-04-28 2000-05-16 Sun Microsystems, Inc. Method, apparatus and computer program product for eliminating edge conditions from an area image processing operations on tiled image data
US6621509B1 (en) 1999-01-08 2003-09-16 Ati International Srl Method and apparatus for providing a three dimensional graphical user interface
US6583793B1 (en) * 1999-01-08 2003-06-24 Ati International Srl Method and apparatus for mapping live video on to three dimensional objects
US6331852B1 (en) * 1999-01-08 2001-12-18 Ati International Srl Method and apparatus for providing a three dimensional object on live video
US6377270B1 (en) * 1999-07-30 2002-04-23 Microsoft Corporation Method and system for transforming color coordinates by direct calculation
US6766281B1 (en) * 2000-05-12 2004-07-20 S3 Graphics Co., Ltd. Matched texture filter design for rendering multi-rate data samples
US6828983B1 (en) * 2000-05-12 2004-12-07 S3 Graphics Co., Ltd. Selective super-sampling/adaptive anti-aliasing of complex 3D data
US6690960B2 (en) * 2000-12-21 2004-02-10 David T. Chen Video-based surgical targeting system
US7456851B2 (en) * 2003-05-20 2008-11-25 Honeywell International Inc. Method and apparatus for spatial compensation for pixel pattern on LCD displays
US7502024B2 (en) * 2003-09-25 2009-03-10 Honeywell International Inc. Texture based circular arc generation
US7197170B2 (en) 2003-11-10 2007-03-27 M2S, Inc. Anatomical visualization and measurement system
US20060098010A1 (en) * 2004-03-09 2006-05-11 Jeff Dwyer Anatomical visualization and measurement system
US7702137B2 (en) 2004-11-10 2010-04-20 M2S, Inc. Anatomical visualization and measurement system
US7619639B1 (en) * 2005-09-12 2009-11-17 Nvidia Corporation Adaptive scaling using a programmable video engine
US8294731B2 (en) * 2005-11-15 2012-10-23 Advanced Micro Devices, Inc. Buffer management in vector graphics hardware
JP5180288B2 (ja) * 2007-04-11 2013-04-10 ジーブイビービー ホールディングス エス.エイ.アール.エル. デジタルビデオエフェクト(dve)を高める方法及び装置
US11790593B2 (en) * 2020-03-13 2023-10-17 Advanced Micro Devices, Inc. Ray-tracing multi-sample anti-aliasing

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4796201A (en) * 1985-04-30 1989-01-03 Wake Warren K Stored program controlled system for creating and printing graphics bearing packaging
US4791581A (en) * 1985-07-27 1988-12-13 Sony Corporation Method and apparatus of forming curved surfaces
US5239628A (en) * 1985-11-13 1993-08-24 Sony Corporation System for asynchronously generating data block processing start signal upon the occurrence of processing end signal block start signal
GB8613447D0 (en) * 1986-06-03 1986-07-09 Quantel Ltd Video image processing systems
US4935879A (en) * 1987-08-05 1990-06-19 Daikin Industries, Ltd. Texture mapping apparatus and method
US5255352A (en) * 1989-08-03 1993-10-19 Computer Design, Inc. Mapping of two-dimensional surface detail on three-dimensional surfaces
US5175808A (en) * 1989-09-12 1992-12-29 Pixar Method and apparatus for non-affine image warping
US5271093A (en) * 1989-10-17 1993-12-14 Mitsubishi Denki Kabushiki Kaisha Video display apparatus for filling the interior shapes of contour
GB2254751B (en) * 1991-04-09 1994-11-09 Sony Broadcast & Communication Digital video effects system
JP2973573B2 (ja) * 1991-04-12 1999-11-08 ソニー株式会社 画像変換装置

Also Published As

Publication number Publication date
EP0574111A1 (en) 1993-12-15
DE69314231D1 (de) 1997-11-06
DE69314231T2 (de) 1998-03-05
EP0574111B1 (en) 1997-10-01
US5461706A (en) 1995-10-24
JP3190762B2 (ja) 2001-07-23

Similar Documents

Publication Publication Date Title
JP3190762B2 (ja) デジタルビデオ特殊効果装置
US6204857B1 (en) Method and apparatus for effective level of detail selection
US6243488B1 (en) Method and apparatus for rendering a two dimensional image from three dimensional image data
US5224208A (en) Gradient calculation for texture mapping
JP2550530B2 (ja) ビデオ信号処理方法
KR100567204B1 (ko) 픽셀 당 mip 매핑 및 3선형 필터링 방법 및 장치
US7492376B2 (en) Graphics resampling system and method for use thereof
US7324107B2 (en) Single level MIP filtering algorithm for anisotropic texturing
EP0449478A2 (en) 3D video special effects system
US5528738A (en) Method and apparatus for antialiasing raster scanned, polygonal shaped images
US4899295A (en) Video signal processing
US5930407A (en) System and method for efficiently generating cubic coefficients in a computer graphics system
CN109003227B (zh) 一种增强对比度的装置及显示器
US5920495A (en) Programmable four-tap texture filter
GB2266425A (en) Lighting effects for digital video effects system
JP4707782B2 (ja) 画像処理装置およびその方法
US20050017969A1 (en) Computer graphics rendering using boundary information
EP0656609B1 (en) Image processing
KR100429092B1 (ko) 그래픽영상처리방법및장치
US7047265B2 (en) System and method for a single-pass multiple tap filter
JPH11185052A (ja) 3次元コンピュータグラフィックスのテクスチャマッピング座標計算装置および方法
GB2254751A (en) Digital video effects; ray tracing for mapping a 2-d image onto a 3-d surface
GB2254749A (en) Image mapping onto 3d surface with keying of source image data.
GB2254750A (en) Digital video effects system; avoiding aliasing at object edges by supersampling.
JPH11339069A (ja) 画像合成装置および画像合成方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090518

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100518

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100518

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110518

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees