JP3840663B2 - 画像処理装置及び方法 - Google Patents
画像処理装置及び方法 Download PDFInfo
- Publication number
- JP3840663B2 JP3840663B2 JP51874397A JP51874397A JP3840663B2 JP 3840663 B2 JP3840663 B2 JP 3840663B2 JP 51874397 A JP51874397 A JP 51874397A JP 51874397 A JP51874397 A JP 51874397A JP 3840663 B2 JP3840663 B2 JP 3840663B2
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- shadow
- memory
- transformation matrix
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/60—Shadow generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
Description
技術分野
本発明は、画像処理装置に関し、特に３次元的に画像変換されたオブジェクトビデオ信号に対してシャドウをつけることによって立体感を得る特殊効果装置に関するものである。
背景技術
先ず、図１を参照して従来の特殊効果装置について説明する。
従来、画像処理装置の分野において、外部から供給されたソースビデオ信号に３次元的な画像変換を施すための特殊効果装置が実現されている。この種の特殊効果装置は、３次元的な位置に画像変換されたオブジェクトビデオ信号にシャドウを付けて、立体的な効果を出すことが考えられている。尚、オブジェクトビデオ信号とは、３次元変換処理の対象となるビデオ信号のことである。従来の特殊効果装置では、オブジェクトビデオ信号に対してシャドウを付けるためには、まず、オペレータは、３次元ジョイスティック等のポインティングデバイスを操作し、オブジェクトビデオ信号の基となる第１のソースビデオ信号に対して、所望の第１の３次元変換処理を施す。図１Ａに示すように、この３次元変換されたビデオ信号をオブジェクトビデオ信号Ｖobjとして表し、尚、このオブジェクトビデオ信号Ｖobjはモニタに表示されている。次に、オペレータは、ポインティングデバイスを操作して、シャドウビデオ信号の基となる例えば黒色を有した第２のソースビデオ信号に対して、第２の３次元変換処理を施す。具体的には、オペレータは、３次元変換されたシャドウビデオ信号Ｖshadowが、モニタに表示されたオブジェクトビデオ信号Ｖobjの影らしく見えるように、この影の色を有したビデオ信号に対して３次元変換処理を施す。
しかし、このような従来の特殊効果装置では、オブジェクトビデオ信号Ｖobjとシャドウビデオ信号Ｖshadowとを、夫々別に３次元変換処理しているので、オブジェクトビデオ信号Ｖobjに対する影として、自然な影に見えるシャドウビデオ信号Ｖshadowを生成することが非常に困難であった。また自然な影に見えるシャドウビデオ信号Ｖshadowを生成するためには、熟練したオペレータでも試行錯誤を繰り返すため、シャドウビデオ信号を生成するための操作には非常に時間がかかるという問題点があった。
また、このような従来の特殊効果装置では、上述したように、オブジェクトビデオ信号Ｖobjとシャドウビデオ信号Ｖshadowとを夫々別に３次元変換処理しているので、図１Ａに示されるオブジェクトビデオ信号Ｖobjを、図１Ｂに示されるオブジェクトビデオ信号Ｖobj’の位置に３次元変換したとしても、シャドウビデオ信号Ｖshadowは移動することはない。よって、オブジェクトビデオ信号Ｖobj’に対して自然なシャドウを新たに生成しなければいけない。このように、オブジェクトビデオ信号に対してこのような３次元変換を施す毎に、シャドウビデオ信号を生成する必要があり、操作が非常に繁雑になるという問題があった。
発明の開示
本発明は、以上の点を考慮してなされたもので、オブジェクトビデオ信号に対して適切なシャドウをオペレータの経験に頼ること無く容易に付けることができる特殊効果装置を提供するものである。また、オブジェクトビデオ信号の空間系的な動きに連動して、自動的にシャドウビデオ信号を生成することがきる特殊効果装置を提供するものである。
さらに詳細には、本発明の特殊効果装置は、ソースビデオ信号に対して３次元画像変換を施すことによって仮想的な３次元オブジェクトビデオ信号を生成し、この仮想的な３次元オブジェクトビデオ信号を２次元平面に投影することによって、３次元画像変換処理を表す２次元オブジェクトビデオ信号を生成するオブジェクト信号生成部と、この３次元ビデオ信号を予め設定されたシャドウ面に投影することによって仮想的な３次元シャドウ信号を生成し、上記仮想的な３次元シャドウ信号を上記スクリーン面に投影することによって、２次元のシャドウ信号を生成するシャドウ信号生成部とを備えている。これによって、３次元変換されたオブジェクトビデオ信号に対応したシャドウビデオ信号を演算によって自動的に得ることができる。
さらに、本発明の特殊効果装置は、ソースビデオ信号に対して仮想空間上に３次元画像変換するための３次元画像変換行列と、３次元空間上に仮想的に存在するビデオ信号をスクリーン面に透視変換するための透視変換演算とに基づいて、ソースビデオ信号から２次元のオブジェクトビデオ信号を生成するオブジェクト信号生成部と、ソースビデオ信号に対して仮想空間上に３次元画像変換するための３次元画像変換行列と、３次元空間上に仮想的に存在するビデオ信号をシャドウ面に透視変換するための透視変換行列と、シャドウ面上に仮想的に存在するビデオ信号をスクリーン面に透視変換するための透視変換行列とに基づいて、２次元シャドウ信号を生成するシャドウ信号生成部と、この２次元オブジェクトビデオ信号が３次元画像変換を視覚的に表すビデオ信号となるように、ビデオ信号生成手段を制御すると共に、シャドウ信号生成手段によって生成された２次元シャドウ信号が２次元オブジェクトビデオ信号のシャドウを表すビデオ信号になるようにシャドウ信号生成手段を制御する制御手段（ＣＰＵ）とを備えている。よって、これによって、３次元変換されたオブジェクトビデオ信号に対して、自動的に自然なシャドウをつけることができる。
さらに、本発明の特殊効果装置は、ソースビデオ信号に対して３次元画像変換を施すことによって仮想的な３次元ビデオ信号を生成するビデオ信号生成部と、３次元ビデオ信号に透視変換を施すことによって、シャドウ面上に存在する仮想的な３次元のシャドウ信号を生成するシャドウ信号生成部と、３次元ビデオ信号を３次元空間において仮想的に移動するようにビデオ信号処理部を制御すると共に、３次元ビデオ信号の仮想的な移動に連動して上記シャドウ信号が上記シャドウ面上を移動するように上記シャドウ信号生成部を制御する制御手段（ＣＰＵ）とを備ている。これによって、オブジェクトビデオ信号の３次元空間上での移動に伴って、シャドウ信号がシャドウ面上で移動する効果を得ることができる。
【図面の簡単な説明】
図１は、背景技術を説明するための図である。
図２は、本発明の特殊効果装置の全体構成を示すためのブロック図である。
図３は、本発明の特殊効果装置において定義されるワールド座標系を説明するための図である。
図４は、オブジェクトビデオ信号を得るための変換処理を説明するための図である。
図５は、フレームメモリ上のアドレスと、モニタスクリーン上とのアドレスの関係を表す図である。
図６は、シャドウ座標系を説明するための図である。
図７は、点光源モード時において、シャドウビデオ信号を得るための変換処理を説明するための図である。
図８は、点光源モード時において、３次元オブジェクトビデオ信号から３次元シャドウビデオ信号を得るための透視変換処理を説明するための図である。
図９は、点光源及び３次元オブジェクトビデオ信号に対する変換処理の手順を示すフローである。
図１０は、平行光源モード時において、シャドウビデオ信号を得るための変換処理を説明するための図である。
図１１は、平行光源及び３次元オブジェクトビデオ信号に対する変換処理の手順を示すフローである。
図１２は、ワールド座標系及びシャドウ座標系における、球面座標と直交座標との関係を夫々示すたの図である。
図１３は、平行光源モード時において、３次元オブジェクトビデオ信号から３次元シャドウビデオ信号を得るための透視変換処理を説明するための図である。
図１４は、仮想３次元オブジェクトビデオ信号から仮想３次元シャドウビデオ信号を得るための透視変換処理を説明するための図である。
図１５は、シャドウ座標系の原点を自動的に設定する原点設定モードを説明するための図である。
図１６は、本発明の特殊効果装置による効果を説明するための図である。
発明を実施するための最良の形態
（１）全体構成
まず、図２を参照して、本発明の特殊効果装置１の構成を説明する。
ＣＰＵ８は、この特殊効果装置１の全ての回路を制御するためのプロセッサである。ＣＰＵ８は、オペレータがコントロールパネル５を操作することによつて得られた各パラメータを、インターフエイス回路（Ｉ／Ｆ）５ａ及びデータバスを介して受け取り、このパラメータに基づいて各回路を制御する。このコントロールパネル５からは、パースペクティブ値Ｐz、シャドウ座標系のＸS軸、ＹS軸及びＺS軸の夫々の回転角（θX、θY、θZ）、シャドウ座標系の原点（ｘS0，ｙS0，ｚS0）、平行光源であるか点光源であるかを示す光源の種類、点光源の位置（ｘL，ｙL，ｚL）、平行光源の位置（ｒ，α，β）、３次元変換に関するパラメータｒ11〜ｒ33、ｌX、ｌY、ｌZ及びｓが入力される。尚、各パラメータについては後述する。また、ＣＰＵ８は、コントロールパネル５から入力されるこれらのパラメータを受け取り、これらのパラメータをリアルタイムに読み出しアドレスの演算に反映させる。具体的には、ＣＰＵ８は、コントロールパネル５から供給されるパラメータの変化をフレーム周期で監視し、且つ、供給されたパラメータに基づいて読み出しアドレスを演算するためのパラメータ（ｂ11〜ｂ33、ｂ11’〜ｂ33’、ｂ11”〜ｂ33”）をフレーム周期で演算している。よって、オペレータの操作に応じてフレーム周期でこれらのパラメータをリアルタイムに可変することができ、そして、その可変されたパラメータに応じて、リアルタイムにソースビデオ信号に対して特殊効果を施すことができる。
尚、本発明の特殊効果装置は、コントロールパネル５から光源の種類を入力することによって、点光源と平行光源の中から所望の光源を選択することができるようになっている。以下の説明において、点光源によってオブジェクトのシャドウを生成するモードを点光源モードと呼び、平行光源によってオブジェクトのシャドウを生成するモードを平行光源モードと呼ぶことにする。
また、ＣＰＵ８は、プログラムメモリとして設けられたＲＯＭ(Read Only Memory)６に記憶されたプログラムに基づいて、各回路の制御を行うと共に、読み出しアドレスの演算を行う。また、同様に、ワークメモリとして設けられたＲＡＭ(Random Access Memory)７に記憶されたデータに基づいて、各回路の制御を行うと共に、読み出しアドレスの演算を行う。
オブジェクト信号生成部１０は、外部からソースビデオ信号Ｖ0を受け取り、このソースビデオ信号Ｖ0を３次元変換処理して、２次元のオブジェクトビデオ信号Ｖ2を生成する。また、オブジェクト信号生成部１０は、ソースビデオ信号Ｖ0をキーイングするためのソースキー信号Ｋ0を受け取り、ソースビデオ信号と同じようにソースキー信号Ｋ0を３次元変換処理して、オブジェクトキー信号Ｋ2を生成する。具体的には、このオブジェクト信号生成部１０は、ソースビデオ信号Ｖ0を一時的に記憶するためのフレームメモリ１２と、このソースビデオ信号をキーイングするためのソースキー信号Ｋ0を一時的に記憶するためのフレームメモリ１３と、フレームメモリ１２及びフレームメモリ１３に対して、３次元変換操作に対応して演算された読み出しアドレス（ＸM，ＹM）を供給するための読み出しアドレス発生回路１４とを有している。
フレームメモリ１２は、供給されたソースビデオ信号Ｖ0を一時的に記憶するためにメモリである。このフレームメモリ１２には、図示しない書き込みアドレス発生回路からのシーケンシャルな書き込みアドレスが供給されるので、このフレームメモリ１２には、供給されたソースビデオ信号Ｖ0が変形せずにそのまま記憶される。また、このフレームメモリ１２には、読み出しアドレス発生回路１４から３次元変換操作に対応して演算された読み出しアドレス（ＸM，ＹM）が供給されるので、フレームメモリ１２からは、フレーム毎に２次元変換処理されたオブジェクトビデオ信号Ｖ2が出力される。出力されたオブジェクトビデオ信号Ｖ2は、ミキサ３０に送出される。
フレームメモリ１３は、ソースビデオ信号Ｖ0をキーイングするためのソースキー信号Ｋ0を一時的に記憶するためのメモリである。このフレームメモリ１３は、フレームメモリ１２に供給されたシーケンシャルな書き込みアドレスと同じ書き込みアドレスが供給されるので、ソースビデオ信号Ｖ0と同様に、このフレームメモリ１３には、供給されたソースキー信号Ｋ0が変形さずにそのまま記憶される。また、フレームメモリ１３には、フレームメモリ１２に供給された読み出しアドレスを同じアドレス（ＸM，ＹM）が供給されるので、フレームメモリ１３からは、３次元変換されたオブジェクトビデオ信号Ｖ2と同じように３次元変換されたオブジェクトキー信号Ｋ2が出力される。出力されたオブジェクトキー信号Ｋ2は、ミキサ３０に送出される。
読出しアドレス発生回路１４は、スクリーンアドレス発生回路９からシーケンシャルに供給されるモニタスクリーン３上でのアドレス（ＸS、ＹS）と、ＣＰＵ８によって演算された画像変換行列のパラメータｂ11〜ｂ33とに基づいて、フレームメモリ１２及びフレームメモリ１３に対して供給する読出しアドレス(ＸM，ＹM)を生成する。この読み出しアドレス発生回路１４内での具体的な演算は後述する。
シャドウ信号生成部２０は、シャドウビデオ信号とシャドウキー信号を生成するための回路である。まず、点光源モードが選択されている場合は、このシャドウ信号生成部２０は、外部から供給されたソースビデオ信号Ｖ0を受け取り、影に色にマット処理されたソースビデオ信号を３次元変換処理して、シャドウビデオ信号Ｖ4を生成する。また、シャドウ信号生成部２０は、ソースビデオ信号をキーイングするためのソースキー信号Ｋ0を受け取り、シャドウビデオ信号Ｖ4と同じように３次元変換処理して、シャドウキー信号Ｋ4を生成する。平行光源モードが選択されている場合は、このシャドウ信号生成部２０は、外部から供給されたソースビデオ信号Ｖ0を受け取り、影の色にマット処理されたソースビデオ信号を３次元変換処理して、シャドウビデオ信号Ｖ6を生成する。また、シャドウ信号生成部２０は、ソースビデオ信号をキーイングするためのソースキー信号Ｋ0を受け取り、シャドウビデオ信号Ｖ6と同じように３次元変換処理して、シャドウキー信号Ｋ6を生成する。具体的には、このシャドウ信号生成部２０は、オブジェクト信号生成部１０と同じような回路構成からなり、ソースビデオ信号Ｖ0をマット処理するカラーマット発生回路２１と、マット処理されたソースビデオ信号を一時的に記憶するためのフレームメモリ２２と、ソースキー信号Ｋ0を一時的に記憶するためのフレームメモリ２３と、フレームメモリ２２及びフレームメモリ２３に対して、演算された読み出しアドレスを供給するための読み出しアドレス発生回路２４とを有している。
カラーマット発生回路２１は、ソースビデオ信号Ｖ0をマット処理することによって、ソースビデオ信号Ｖ0の色を影の色らしくするための回路である。最も簡単な例では、ソースビデオ信号Ｖ0の彩度及び輝度のレベルを下げることによって、ソースビデオ信号の色が影の色（黒色）に近くなる。
フレームメモリ２２は、マット処理されたソースビデオ信号を一時的に記憶するためにメモリである。このフレームメモリ２２には、図示しない書き込みアドレス発生回路からのシーケンシャルな書き込みアドレスが供給されるので、このフレームメモリ２２には、マット処理されたソースビデオ信号が画像変形されずにそのまま記憶される。点光源モード時には、このフレームメモリ２２には、読み出しアドレス発生回路２４から３次元変換操作及び点光源に基づいて演算された読み出しアドレス（ＸM’，ＹM’）が供給されるので、このフレームメモリ２２からは、３次元変換されたシャドウビデオ信号Ｖ4が出力される。平行光源モード時には、このフレームメモリ２２には、読み出しアドレス発生回路２４から３次元変換操作及び平行光源に基づいて演算された読み出しアドレス（ＸM”，ＹM”）が供給されるので、このフレームメモリ２２からは、３次元変換されたシャドウビデオ信号Ｖ6が出力される。
フレームメモリ２３は、ソースビデオ信号Ｖ0をキーイングするためのソースキー信号Ｋ0を一時的に記憶するためのメモリである。このフレームメモリ２３には、フレームメモリ２２に供給されたシーケンシャルな書き込みアドレスと同じアドレスが供給されるので、このフレームメモリ２３には、供給されたソースキー信号Ｋ0が画像変換されずにそのまま記憶される。点光源モード時には、フレームメモリ２３には、フレームメモリ２２に供給された読み出しアドレスと同じアドレス（ＸM’，ＹM’）が供給されるので、このフレームメモリ２３からは、３次元変換されたシャドウビデオ信号Ｖ4と同じように３次元変換されたシャドウキー信号Ｋ4が出力される。平行光源モード時には、フレームメモリ２３には、フレームメモリ２２に供給された読み出しアドレスと同じアドレス（ＸM”，ＹM”）が供給されるので、このフレームメモリ２３からは、３次元変換されたシャドウビデオ信号Ｖ6と同じように３次元変換されたシャドウキー信号Ｋ6が出力される。
読み出しアドレス発生回路２４は、フレームメモリ２２及びフレームメモリ２３に対して供給する読み出しアドレスを生成するための回路である。点光源モード時には、スクリーンアドレス発生回路９からシーケンシャルに供給されるモニタスクリーン３上でのアドレス（ＸS、ＹS）と、ＣＰＵ８によって演算された画像変換行列のパラメータｂ11’〜ｂ33’とに基づいて、読み出しアドレス（ＸM’，ＹM’）を生成する。平行光源モード時には、スクリーンアドレス発生回路９からシーケンシャルに供給されるモニタスクリーン３上でのアドレス（ＸS、ＹS）と、ＣＰＵ８によって演算された画像変換行列のパラメータｂ11”〜ｂ33”とに基づいて、読み出しアドレス（ＸM”，ＹM”）を生成する。尚、この読み出しアドレス発生回路２４における具体的な演算は後述する。
スクリーンアドレス発生回路９は、モニタスクリーン３のスクリーン面全体を、ラスタスキャンの順に対応する順にアドレッシングするための回路である。具体的には、内部において発生された水平同期信号及び垂直同期信号に基づいて、スクリーンアドレス（ＸS、ＹS）が生成される。
第１のミキサ３０は、オブジェクト信号生成部１０とシャドウ信号生成部２０から供給された信号を混合するための回路である。点光源モード時には、第１のミキサ３０は、オブジェクト信号生成部１０から出力されたオブジェクトビデオ信号Ｖ2及びオブジェクトキー信号Ｋ2を受け取るとともに、シャドウ信号生成部２０から出力されたシャドウビデオ信号Ｖ4及びシャドウキー信号Ｋ4を受け取って、オブジェクトビデオ信号Ｖ2とシャドウビデオ信号Ｖ4とを混合した混合ビデオ信号ＶMIX’と、オブジェクトキー信号Ｋ2とシャドウキー信号Ｋ4とを混合した混合キー信号ＫMIX’とを生成する。具体的には、混合ビデオ信号ＶMIX’及び混合キー信号ＫMIX’は、次式
ＶMIX’＝Ｋ2Ｖ2＋（１−Ｋ2）Ｋ4Ｖ4
ＫMIX’＝１−（１−Ｋ2）（１−Ｋ4） …… （ａ）
と表すことができる。また、平行光源モード時には、オブジェクト信号生成部１０から出力されたオブジェクトビデオ信号Ｖ2及びオブジェクトキー信号Ｋ2を受け取るとともに、シャドウ信号生成部２０から出力されたシャドウビデオ信号Ｖ6及びシャドウキー信号Ｋ6を受け取って、オブジェクトビデオ信号Ｖ2とシャドウビデオ信号Ｖ6とを混合した混合ビデオ信号ＶMIX”と、オブジェクトキー信号Ｋ2とシャドウキー信号Ｋ6とを混合した混合キー信号ＫMIX”とを生成する。具体的には、混合ビデオ信号ＶMIX”及び混合キー信号ＫMIX”は、次式
ＶMIX”＝Ｋ2Ｖ2＋（１−Ｋ2）Ｋ6Ｖ6
ＫMIX”＝１−（１−Ｋ2）（１−Ｋ6） …… （ｂ）
と表すことができる。
第２のミキサ４０は、第１のミキサ３０から出力された混合ビデオ信号と外部から供給されたバックグラウンドビデオ信号ＶBKを混合するための回路である。点光源モード時には、第１のミキサ３０から出力された混合ビデオ信号ＶMIX’及び混合キー信号ＫMIX’を受け取ると共に、外部から供給されたバックグラウンドビデオ信号ＶBKを受け取り、混合キー信号ＫMIX’に基づいて、混合ビデオ信号ＶMIX’とバックグラウンドビデオ信号ＶBKとを混合し、アウトプットビデオ信号ＶOUT’を生成する。具体的には、このアウトプットビデオ信号ＶOUT’は、次式、
ＶOUT’＝ＫMIX’ＶMIX’＋（１−ＫMIX’）ＶBK …… （ｃ）
と表すことができる。点光源モード時には、第１のミキサ３０から出力された混合ビデオ信号ＶMIX”及び混合キー信号ＫMIX”を受け取ると共に、外部から供給されたバックグラウンドビデオ信号ＶBKを受け取り、混合キー信号ＫMIX”に基づいて、混合ビデオ信号ＶMIX”とバックグラウンドビデオ信号ＶBKとを混合し、アウトプットビデオ信号ＶOUT”を生成する。具体的には、このアウトプットビデオ信号ＶOUT”は、次式、
ＶOUT”＝ＫMIX”ＶMIX”＋（１−ＫMIX”）ＶBK …… （ｄ）
と表すことができる。生成されたアウトプットビデオ信号ＶOUT’又はＶOUT”は、外部に出力されると共に、モニタスクリーン３に表示される。
（２）ワールド座標系の定義
まず、図３を参照しながら、本発明の説明で使用されるワールド座標系について説明する。このワールド座標系とは、Ｘ、Ｙ及びＺ軸からなる３次元の直交座標系のことである。すなわち図３に示すように、Ｘ軸及びこれに直交するＹ軸で定義されるＸＹ平面上にスクリーン面３が存在するものとして、Ｘ軸をスクリーン面３の水平（左右）方向と定義し、Ｙ軸をスクリーン面３の垂直（上下）方向と定義する。
また、スクリーン面３の奥行方向を、ＸＹ平面に直交するＺ軸の正方向と定義し、スクリーン面３の手前側、すなわち、スクリーン面を見る視点ＰＺが存在する側をＺ軸の負方向と定義する。
さらに、スクリーン面３の中心が当該Ｘ軸、Ｙ軸、Ｚ軸でなるワールド座標系の原点と一致するものと定義する。
Ｘ軸にはスクリーン領域の内部（原点）から左右外部方向に向かつて連続した仮想的な座標値が設定されており、スクリーン領域内のＸ軸には、視点ＰＺからスクリーン面３を見て左側から右側に亘つて「−４」から「＋４」の間の仮想的な座標値が設定されている。
またＹ軸にはスクリーン領域の内部（原点）から上下外部方向に向かつて連続した仮想的な座標値が設定されており、スクリーン領域内のＹ軸には、視点ＰＺからスクリーン面３を見て下側から上側に亘つて「−３」から「＋３」の間の仮想的な座標値が設定されている。
さらに、オペレータの視点位置ＰＺは、Ｚ軸上において、その座標値が「−１６」となる位置に仮想的に設定されている。
（３）オブジェクトビデオ信号を生成するための変換処理の説明
まず、図４Ａ及び図４Ｂを参照しながら、ソースビデオ信号Ｖ0からオブジェクトビデオ信号Ｖ2を生成する変換処理を説明する。
まず、２次元のデータであるソースビデオ信号Ｖ0は、画像変換されずにそのままの状態でフレームメモリ１２に記憶される。従つて、図４Ａ及び図４Ｂに示すように、ソースビデオ信号Ｖ0は、ワールド座標系のＸＹ平面上に存在することにより、当該ＸＹ平面に存在するスクリーン面３上にソースビデオ信号Ｖ0の画像が表示される。
因みに図４Ａは、ワールド座標系の３次元座標で表される空間において、Ｚ軸上の視点ＰＺから、ＸＹ平面を見た状態を示ており、言い換えると、スクリーン面３に表示される映像を表している。また、図４Ｂは、ワールド座標系の３次元座標で表される空間において、Ｙ軸の正側の視点位置からＸＺ平面を見た状態を示している。よって、ＸＹ平面に存在するソースビデオ信号Ｖ0は、スクリーン面３と重なつている。
かかるソースビデオ信号Ｖ0に対して、オペレータがコントロールパネルの操作子を操作することによつてワールド座標空間での３次元画像変換処理が施される。すなわち、各フレームごとに設定されるパラメータからなる３次元変換行列Ｔ0を、オペレータの操作によつてソースビデオ信号Ｖ0の各画素に施すことにより、ソースビデオ信号Ｖ0を３次元的な空間位置に変換する。図４Ｂにおいては、この３次元画像変換処理されたビデオ信号を、３次元オブジェクトビデオ信号Ｖ1として表すことにする。図４Ａ及び図４Ｂの場合の３次元変換は、ソースビデオ信号Ｖ0をＸ軸を回転中心として約４５°回転し、さらにＺ軸の正方向に平行移動した場合の一例である。
３次元変換に用いられる３次元変換行列Ｔ0は、次式、
というように表される。この３次元変換行列Ｔ0に使用される変換パラメータｒ11〜ｒ33は、ソースビデオ信号Ｖ0を、Ｘ軸回り、Ｙ軸回り及びＺ軸回りに回転させるための要素、ソースビデオ信号をＸ軸方向、Ｙ軸方向及びＺ軸方向にスケールを夫々拡大／縮小させるための要素、及び、ソースビデオ信号を、Ｘ軸方向、Ｙ軸方向及びＺ軸方向に夫々スキューさせるための要素等を含むパラメータであって、パラメータｌX、ｌY、ｌzは、Ｘ軸、Ｙ軸及びＺ軸方向にソースビデオ信号を夫々平行移動させるための要素を含んだパラメータであって、パラメータｓは、ソースビデオ信号全体を、３次元の夫々の軸方向に、一様に拡大／縮小させるための要素を含んだパラメータである。
尚、この変換行列Ｔ0は、回転変換等の座標系と平行移動変換及び拡大縮小変換の座標系とを同じ１つの座標系内で表現しているので、４行４列の行列となり、一般的には、これを同次座標系（Ｈｏｍｏｇｅｎｅｏｕｓ Ｃｏｏｒｄｉｎａｔｅ）と称している。
かくして、ＸＹ平面に存在するソースビデオ信号Ｖ0が、３次元変換行列Ｔ0によって３次元オブジェクトビデオ信号Ｖ1で示される３次元的な位置に変換されると、次の透視変換処理に移る。
この透視変換処理とは、図４Ａ及び図４Ｂに示すように、３次元オブジェクトビデオ信号Ｖ1を、透視変換行列Ｐ0によって、ＸＹ平面に透視させる変換処理のことである。言い換えると、Ｚ軸上の仮想視点ＰＺから３次元オブジェクトビデオ信号Ｖ1を見たとき、ＸＹ平面に透視されるビデオ信号のイメージを求める変換である。図４Ｂでは、このようにＸＹ平面に透視されたビデオ信号を、２次元のオブジェクトビデオ信号Ｖ2と表している。図４Ｂの場合、ＸＹ平面上のスクリーン面３に透視されたオブジェクトビデオ信号Ｖ2は、仮想視点ＰＺから見てスクリーン面３の奥行き側にあたかも３次元オブジェクトビデオ信号Ｖ1が存在するかのようなビデオイメージである。
この透視変換行列Ｐ0は、次式、
によつて表される。この透視変換行列Ｐ0のパラメータＰzは、３次元変換ビデオ信号Ｖ2をＸＹ平面上に透視する際に、遠近法を適用するためのパースペクテイブ値である。すなわち図４Ｂの場合、３次元空間における３次元オブジェクトビデオ信号Ｖ1は、ＸＹ平面に対して約４５°傾いた状態であり、これを仮想視点ＰＺから見ると、当該仮想視点ＰＺからの距離が遠い部分は小さく見え、近い部分は大きく見える。従つてパースペクティブを示すパラメータＰzを用いることにより、ＸＹ平面に透視される２次元のオブジェクトビデオ信号Ｖ2は、３次元空間にある３次元オブジェクトビデオ信号Ｖ1を仮想視点ＰＺからの距離に応じて変換したものとなる。
３次元オブジェクトビデオ信号Ｖ1の透視変換によるスクリーン面３上への変換位置は、仮想視点ＰＺとスクリーン面３との距離、及び、仮想視点ＰＺと３次元オブジェクトビデオ信号Ｖ1との距離に応じて変化するものであり、仮想視点ＰＺの位置に応じてパースペクテイブ値Ｐzをオペレータが設定することにより、仮想視点ＰＺの位置に応じた透視変換を行うことができる。通常、視点ＰＺの位置がｚ軸の座標値「−16」であることから、パースペクテイブ値Ｐzは「１／16」が基準値となるように設定されている。
以上のように、ソースビデオ信号Ｖ0から２次元のオブジェクトビデオ信号Ｖ2を生成するための変換処理は、３次元変換行列Ｔ0によってソースビデオ信号Ｖ0から３次元オブジェクトビデオ信号Ｖ1を得るための空間的画像変換ステツプと、当該空間的画像変換ステツプによつて得られた３次元オブジェクトビデオ信号Ｖ1を透視変換行列Ｐ0によつて２次元のオブジェクトビデオ信号Ｖ2に変換する透視変換ステツプとから構成される。従つて、ソースビデオ信号Ｖ0から２次元のオブジェクトビデオ信号Ｖ2を得るための変換行列Ｔobjは、３次元変換行列Ｔ0と透視変換行列Ｐ0との乗算式として、次式、
によつて表される。
ここで、本発明の特殊効果装置を用いた画像処理装置は、外部から供給された２次元のソースビデオ信号Ｖ0を、一旦、フレームメモリ１２に書込み、このフレームメモリ１２に対して演算された２次元の読出しアドレス（ＸS，ＹS）を供給することにより、当該フレームメモリ１２から読み出されるビデオ信号に対してオペレータが所望とする空間画像変換（３次元画像変換）を施すことができる。従つてフレームメモリ１２に記憶されるソースビデオ信号Ｖ0、及び、フレームメモリ１２から読み出されるオブジェクトビデオ信号Ｖ2は、共に、２次元のデータである。つまり、この２次元の読出しアドレス（ＸS，ＹS）の演算においては、３次元空間上のＺ軸方向のデータは、実質的に使用されない。
従つて、（３）式のＺ軸方向の成分をを演算するための３行目及び３列目のパラメータは、フレームメモリ１２に対する読出しアドレスを演算する際には必要とされない。
従つて、実際の２次元の読出しアドレスの演算に必要なパラメータを有した３次元変換行列をＴ33とすると、当該行列Ｔ33は、（３）式から３行目及び３列目のパラメータを除いた次式、
によって表すことができる。
ここで、フレームメモリ１２上の位置ベクトルと、モニタスクリーン３上の位置ベクトルとの関係について説明する。
図５Ａにおいて、フレームメモリ１２上の２次元のアドレスを（ＸM、ＹM）及び位置ベクトルを〔ＸM ＹM〕とし、モニタスクリーン３上のアドレスを（ＸS、ＹS）及び位置ベクトルを〔ＸS ＹS〕とする。このフレームメモリ１２上の２次元の位置ベクトル〔ＸM ＹM〕を、同次座標系で表現すると、ベクトル〔ｘm ｙm Ｈ0〕と表すことができる。またモニタスクリーン５５上の位置ベクトル〔ＸS ＹS〕を同次座標系で表現すると、ベクトル〔ｘs ｙs １〕と表すことができる。
なお、この同次座標系のパラメータ「Ｈ0」は、ベクトルの大きさの拡大及び縮小率を表すパラメータである。
かくしてフレームメモリ１２上の位置ベクトル〔ｘm ｙm Ｈ0〕に対して、３次元変換行列Ｔ33を作用させることによつて、フレームメモリ１２上の位置ベクトル〔ｘm ｙm Ｈ0〕がモニタスクリーン３上の位置ベクトル〔ｘs ｙs １〕に変換される。従つて、フレームメモリ１２上の位置ベクトル〔ｘm ｙm Ｈ0〕とモニタスクリーン３上の位置ベクトル〔ｘs ｙs １〕との関係式は、次式、
によつて表すことができる。
なお、フレームメモリ１２上の位置ベクトル〔ｘm ｙm Ｈ0〕において使用されている同次座標系のパラメータ「Ｈ0」及び、モニタスクリーン３上の位置ベクトル〔ｘs ｙs １〕において使用されている同次座標系のパラメータ「１」との関係は、３次元変換行列Ｔ33によつて、フレームメモリ１２上の２次元の位置ベクトル〔ｘm ｙm〕が、モニタスクリーン３上の２次元の位置ベクトル〔ｘs ｙs〕に変換され、フレームメモリ１２上の２次元の位置ベクトル〔ｘm ｙm〕の拡大縮小率が「Ｈ0」が、モニタスクリーン３上の同次座標系の位置ベクトル〔ｘs ｙs〕の拡大縮小率「１」となるように変換されることを表している。
このように、（５）式は、フレームメモリ１２上の点に対応するモニタスクリーン２上の点を行列Ｔ33によつて求める関係式である。ここで、特殊効果装置を用いた画像処理装置では、ソースビデオ信号を変換前の状態でフレームメモリ１２に記憶し、変換行列Ｔ33によつて得られたモニタスクリーン３上の点に対応するフレームメモリ１２の点を読出しアドレスによつて指定することにより、ソースビデオ信号に対して空間的な画像変換を施すようになされている。つまり、フレームメモリ１２に書き込む際に、画像変換が行われるのではなくて、フレームメモリ１２から読み出される際に、画像変換が行われる。
このような画像処理装置においては、フレームメモリ１２上の点に対応するモニタスクリーン３上の点を求めるような（５）式による演算を行うのではなく、モニタスクリーン３上の点に対応するフレームメモリ１２上の点を求める必要がある。従つて（５）式を変換して、次式、
によつて表される関係式を用いることにより、モニタスクリーン３上の点に対応するフレームメモリ１２上の点を求めることができる。よって、この式（６）に従って、モニタスクリーン３上の位置ベクトル〔ｘs ｙs １〕が指定されると、変換行列Ｔ33 -1によつてフレームメモリＦＭ上の位置ベクトル〔ｘm ｙm Ｈ0〕が演算される。因みに、この変換行列Ｔ33 -1は、変換行列Ｔ33の逆行列である。
次に、フレームメモリＦＭ上の２次元の位置ベクトル〔ＸM ＹM〕を求めるために、変換行列Ｔ33及び逆行列Ｔ33 -1を以下のようにする。すなわち、変換行列Ｔ33の各要素を、
とおき、逆行列Ｔ33 -1のパラメータを、次式、
のようにおくことにする。
（８）式を（６）式に代入して、次式、
となる。よつて、次式、
の関係式が得られる。
ここで、フレームメモリ１２上の同次座標系の位置ベクトル〔ｘm ｙm Ｈ0〕を、フレームメモリ１２上の２次元の位置ベクトル〔ＸM ＹM〕に変換する場合について説明する。
２次元の位置ベクトル〔ＸM ＹM〕を同次座標系で表すときに使用するパラメータ「Ｈ0」は、同次座標系の位置ベクトル〔ｘm ｙm〕の拡大縮小率を表すパラメータであることから、同次座標系の位置ベクトルを２次元の位置ベクトルに変換するためには、同次座標系の位置ベクトルの方向を示すパラメータ「ｘm」及び「ｙm」を、同次座標系の位置ベクトルの拡大縮小率を表すパラメータ「Ｈ0」で正規化すれば良い。従つて、モニタスクリーン３上の２次元の位置ベクトルの各パラメータ「ＸS」及び「ＹS〕は、次式、
と表すことができる。モニタスクリーン３上の同次座標系のベクトル〔ｘs ｙs １〕を、２次元の位置ベクトル〔ＸS ＹS〕に変換する場合についても同様にして、同次座標系の位置ベクトルの方向を示すパラメータ「ｘs」及び「ｙs」を、同次座標系の位置ベクトルの拡大縮小率を表すパラメータ「１」で正規化すれば良い。従って、モニタスクリーン３上の２次元の位置ベクトルの各パラメータ「ＸS」及び「ＹS」は、次式、
と表すことができる。
よつて、フレームメモリ１２に対して供給される２次元の読み出しアドレス（ＸM、ＹM）は（１０）式から、次式、
として求めることができる。
次にＴ33 -1の各パラメータｂ11〜ｂ33を求める。
になる。ただし、
である。ここで、ａ11〜ａ33の値は（７）式の関係から、
であるから、これを（１５）式〜（２４）式に代入することにより、
と表わすことができる。
かくして、（２８）式〜（３７）式の値を（１３）式及び（１４）式に代入することにより、フレームメモリ１２に供給される読出しアドレス（ＸM、ＹM）は、
として与えられる。ただし、Ｈ0は次式、
である。よつてフレームメモリ１２に供給される読み出しアドレス（ＸM、ＹM）を、オペレータの所望の空間的画像変換装置によつて決定される３次元変換行列Ｔ0の各パラメータ（ｒ11〜ｒ33、ｌx、ｌy、ｌz及びｓ）、及び、予め設定されるパラメータであるパースペクテイブ値Ｐzを用いて表すことができる。
従つて（６）式〜（４０）式に対して、モニタスクリーン３のラスタスキヤン順に対応するようにアドレッシングするスクリーンアドレス（ＸS、ｙS）を供給すると、その供給されたスクリーンアドレスに対応したフレームメモリ１２上における読み出しアドレス（ＸM、ＹM）を、順に演算することができる。
（４）シャドウ座標系の説明
次に、図６を参照しながらシャドウ座標系について説明する。シャドウ座標系とは、ワールド座標系と同様に、ＸS、ＹS及びＺS軸からなる３次元の直交座標系によって定義される座標系である。図６に示すように、オブジェクトビデオ信号Ｖobjに対して付与されるシャドウをシャドウビデオ信号Ｖshadowとすると、シャドウビデオ信号Ｖshadowが投影される面をシャドウ座標系のＸＹ面とし、これをシャドウ面と称する。オブジェクトビデオ信号Ｖobjのシャドウを付与するための光源の存在する方向をシャドウ座標系のＺ軸の負方向とする。以下に説明するように、本発明の特殊効果装置は、この光源として、点光源を使用してシャドウを生成する点光源モードと、平行光源を使用してシャドウを生成する平行光源モードとを有し、オペレータが自由に設定することがでる。また、このワールド座標系のＸ、Ｙ及びＺ軸に対する、シャドウ座標系のＸS、ＹS及びＺS軸の夫々の角度は、オペレータが任意に角度を設定することができる。
（５）点光源モード時のシャドウビデオ信号を生成するための変換処理の説明
まず、図７Ａ及び図７Ｂを参照しながら、点光源モードのときにおいて、ソースビデオ信号を変換してシャドウビデオ信号Ｖ4を得るための変換処理について説明する。尚、図７Ａ及び図７Ｂは、図４Ａ及び図４Ｂと同じように、図７Ａは、ワールド座標系のＺ軸上に設定された視点ＰＺからワールド座標系のＸＹ平面を見たときの図であって、図７Ｂは、ワールド座標系のＸ軸の正方向の位置からワールド座標系のＹＺ平面を見たときの図である。
まず、先に図４Ａ及び図４Ｂを用いて説明したように、３次元変換行列Ｔ0によって、３次元の空間的位置に変換された３次元オブジェクトビデオ信号Ｖ1は、点光源による透視変換行列ＰSPOTによってシャドウ座標のＸSＹS平面へ透視変換される。これは、点光源６０を視点としたときに、点光源６０から、３次元オブジェクトビデオ信号Ｖ1を見た時に、シャドウ座標系のＸSＹS平面に透視されるビデオ信号を求めることを意味する。図７Ｂにおいては、シャドウ座標系のＸSＹS平面に透視されたビデオ信号を、３次元シャドウビデオ信号Ｖ3として表すことにする。この点光源による透視変換行列ＰSPOTの詳しい説明については、後述する。
次に、３次元シャドウビデオ信号Ｖ3を、先に説明した透視変換行列Ｐ0によって、ワールド座標系のＸＹ平面に透視されるように透視変換する。これは、Ｚ軸上の仮想視点ＰＺから、３次元シャドウビデオ信号Ｖ3を見た時に、ワールド座標系のＸＹ平面に透視されるビデオ信号を求めることを意味する。図７Ｂにおいては、ワールド座標系のＸＹ平面に透視されたビデオ信号を、２次元のシャドウビデオ信号Ｖ4として表すことにする。
図７Ｂに示される以上の処理をまとめる。点光源モードのときにおいて、２次元のソースビデオ信号Ｖ0から２次元のシャドウビデオ信号Ｖ4を求めるための変換処理は、オブジェクトビデオ信号Ｖ0を３次元変換行列Ｔ0によって３次元変換して３次元オブジェクトビデオ信号Ｖ1を得るための３次元変換ステップと、この３次元オブジェクトビデオ信号Ｖ1を、点光源による透視変換行列ＰSPOTによってシャドウ座標系のＸSＹS平面に透視して３次元シャドウビデオ信号Ｖ3を得るための透視変換ステップと、この３次元シャドウビデオ信号Ｖ3を、透視変換行列Ｐ0によってワールド座標系のＸＹ平面に透視して、２次元のシャドウビデオ信号Ｖ4を得るためのステップとから構成される。よって、２次元のソースビデオ信号Ｖ0から２次元のシャドウビデオ信号Ｖ4を求めるための変換行列Ｔshadow’は、次式、
と表すことができる。
次に、図８及び図９を参照して、点光源を使用したときの点光源による透視変換行列ＰSOPTについて説明する。図８は、シャドウ座標系のＸS軸方向からＹSＺS平面を見た時の図であって、点光源６０と３次元オブジェクトビデオＶ1と３次元シャドウビデオＶ3との位置関係を示している。尚、この点光源による透視変換行列ＰSOPTは、点光源を使用した点光源モードの時に、３次元オブジェクトビデオＶ1から３次元シャドウビデオＶ3を求めるための変換行列である。
図９Ａは、点光源６０に対する変換処理のフローを示し、図９Ｂはオブジェクトビデオ信号に対する変換処理のフローを示している。
まず、図９Ａを参照して点光源６０に対する変換処理のフローを説明する。
ステップＳＰ１では、変換行列Ｆ-1によって、ワールド座標系で示される点光源６０の位置をシャドウ座標系に変換する。この理由は、後のステップＳＰ５で説明する透視変換行列ＰS0’は、ワールド座標系での透視変換行列ではなくて、シャドウ座標系での透視変換行列であるからである。よって、透視変換行列ＰS0’によって、３次元オブジェクトビデオ信号Ｖ1をシャドウ座標系のＸSＹS平面に透視させる場合には、ワールド座標系で表される点光源６０の位置をシャドウ座標系に変換する必要がある。
ここで、この変換行列Ｆ-1に関して具体的に説明する。まず、ワールド座標系のＸ軸に対するシャドウ座標系のＸS軸の回転角をθX、ワールド座標系のＹ軸に対するシャドウ座標系のＹS軸の回転角度をθY、ワールド座標系のＺ軸に対するシャドウ座標系のＺS軸の回転角度をθZ、シャドウ座標系の原点を（ｘS0，ｙS0，ｚS0）とする。ここで、ワールド座標系からシャドウ座標系への変換行列Ｆ-1に対して、逆行列の関係にあるシャドウ座標系からワールド座標系への変換行列Ｆは、回転行列と移動行列の積で簡単に表現できるので、まず、シャドウ座標系からワールド座標系への変換行列Ｆを求めることにする。このシャドウ座標系からワールド座標系への変換行列Ｆは、次式、
と表すことができる。但し、行列ＲX（θX）、行列ＲY（θY）及び行列ＲZ（θZ）は、回転のための行列であって、
と表すことができる。また行列Ｌ（ｘS0，ｙS0，ｚS0）は、平行移動のための行列であって、次式
と表すことができる。
よって、シャドウ座標系からワールド座標系への変換行列Ｆと、ワールド座標系からシャドウ座標系への変換行列Ｆ-1とは逆行列の関係にあるので、変換行列Ｆ-1は、
と表すことができる。但し、行列ＲX（−θX）、行列ＲY（−θY）及び行列ＲZ（−θZ）は、回転のための行列であって、
と表すことができる。また、行列Ｌ（−ＸS0，−ＹS0，−ＺS0）は、平行移動のための行列であって、
と表すことができる。
ステップＳＰ２では、図８に示すように、平行移動行列ＴXsYs -1によって、点光源６０の位置を、ＺS軸上の仮想点光源６１の位置に移動する。この理由は、３次元オブジェクトビデオＶ1に対する３次元シャドウビデオＶ3を求めるためには、点光源６０の位置から、３次元オブジェクトビデオＶ1を見たときに、３次元オブジェクトビデオＶ1をシャドウ座標系のＸSＹS平面に透視させることによって３次元シャドウビデオＶ3を得ることができる。但しこの透視変換処理を行うためには、視点とされる点光源がＺS軸上に位置する必要がある。よって、平行移動行列ＴXsYS -1によって、点光源６０の位置を、ＺS軸上の仮想点光源６１の位置に平行移動する。
ここで、予めオペレータによって設定された点光源６０の座標を（ｘL，ｙL，ＺL）とすると、この平行移動行列ＴXsYS -1は、
と表すことができる。
ステップＳＰ１及びステップＳＰ２によって、点光源に対する変換処理は終了する。
次に、図９Ｂを参照して３次元オブジェクトビデオ信号Ｖ1から３次元シャドウビデオ信号を生成するための透視変換行列ＰSPOTについて説明する。
ステップＳＰ３では、ステップＳＰ１と同様に、変換行列Ｆ-1によって、ワールド座標系で示される３次元オブジェクトビデオ信号Ｖ1をシャドウ座標系に変換する。この理由は、後述するステップＳＰ５において使用される透視変換行列ＰS0’は、ワールド座標系での透視変換行列ではなくて、シャドウ座標系での透視変換行列であるためである。よって、透視変換行列ＰS0’によって、３次元オブジェクトビデオＶ1をシャドウ座標系のＸSＹS平面に透視させる場合には、ワールド座標系で表される３次元オブジェクトビデオＶ1をシャドウ座標系に変換する必要がある。
ステップＳＰ４では、ステップＳＰ２と同様に、図８に示すように、平行移動行列ＴXsYs -1によって、３次元オブジェクトビデオ信号Ｖ1を、シャドウ座標系のＸSＹS平面に平行に移動する。図８では、平行移動されたビデオ信号を仮想３次元オブジェクトビデオ信号Ｖ1’と表すことにする。このように平行移動する理由は、ステップＳＰ２で、平行移動行列ＴXsYS -1によって、点光源６０の位置を、ＺS軸上の仮想光源６１に位置するように平行移動したので、この点光源６０に対する３次元オブジェクトビデオ信号Ｖ1の相対的な位置関係と、仮想点光源６１に対する仮想オブジェクトビデオ信号Ｖ1’の相対的な位置関係とが変化しないように、平行移動行列ＴXsYS -1によって、３次元オブジェクトビデオ信号Ｖ1も平行移動する必要があるからある。
次に、ステップＳＰ５では、透視変換行列ＰSO’によって、仮想３次元オブジェクトビデオ信号Ｖ1’を、シャドウ座標系のＸSＹS平面に透視させる。図８では、シャドウ座標系のＸSＹS平面に透視されたビデオ信号を、仮想３次元シャドウビデオ信号Ｖ3’と表すことにする。この仮想３次元シャドウビデオ信号Ｖ3’は、仮想点光源６１を視点として、仮想点光源６１から仮想３次元オブジェクトビデオ信号Ｖ1’を見たときに、シャドウ座標系のＸSＹS平面に透視されるビデオ信号である。
具体的には、この透視変換行列ＰSO’は、式（２）で示される透視変換行列Ｐ0と視点ＰＺとの関係から、透視する際の視点が仮想点光源６１の位置、即ち、（０，０，ｚL）の位置あると考えれば良いので、式（２）において、「ＰZ」を「−１／ｚL」に置き換えることによって透視変換行列ＰSO’が得られる。よって、透視変換行列ＰSO’は、
と表すことができる。
次に、ステップＳＰ６では、平行移動行列ＴXsYsによって、仮想３次元シャドウビデオ信号Ｖ3’を、シャドウ座標系のＸSＹS平面に平行に移動する。図８では、平行移動されたビデオ信号を３次元シャドウビデオ信号Ｖ3と表すことにする。図８からもわかるように、３次元シャドウビデオ信号Ｖ3は、点光源６０を視点とし、点光源６０の位置から３次元オブジェクトビデオ信号Ｖ1を見たときに、シャドウ座標系のＸSＹS平面に透視されるビデオ信号である。このように移動する理由は、ステップＳＰ４で、平行移動行列ＴXsYs -1によって、３次元オブジェクトビデオ信号Ｖ1を平行移動したので、その平行移動行列ＴXsYs -1による平行移動処理を元に戻すためである。
ここで、平行移動行列ＴXsYS -1と平行移動行列ＴXsYSは、逆行列の関係にあるので、平行移動行列ＴXsYSは、
と表すことができる。
次に、ステップＳＰ７において、式（４２）によって示される変換行列Ｆによって、シャドウ座標系で表される３次元シャドウビデオ信号Ｖ3を、ワールド座標系に変換する。これによって、ワールド座標系の座標値で示される３次元シャドウビデオ信号Ｖ3を得ることができる。
図９Ｂのフローに示される処理をまとめる。ワールド座標系の３次元オブジェクトビデオ信号Ｖ1からワールド座標系の３次元シャドウビデオ信号を求めるための処理は、３次元オブジェクトビデオ信号Ｖ1をワールド座標系からシャドウ座標系に変換するステップ（ＳＰ３）と、シャドウ座標系において、３次元オブジェクトビデオ信号をシャドウ座標系のＸSＹS面に投影してシャドウ座標系の３次元シャドウビデオ信号を生成するステップ（ＳＰ４，ＳＰ５及びＳＰ６）と、シャドウ座標系の３次元シャドウビデオ信号を、シャドウ座標系からワールド座標系に変換するステップ（ＳＰ７）とから構成される。
従って、ワールド座標系の３次元オブジェクトビデオ信号Ｖ1からワールド座標系の３次元シャドウビデオ信号を求めるための点光源による透視変換行列ＰSOPTは、変換行列Ｆ-1と、平行移動行列ＴXsYs -1と、透視変換行列ＰS0’と、平行移動行列ＴXsYs -1と、変換行列Ｆ-1の乗算式で表すことができるので、次式
と表すことができる。
よって、この変換行列ＰSOPTを式（４１）に代入すると、点光源モードのときに、２次元のソースビデオ信号から２次元のシャドウビデオ信号Ｖ4を求めるための変換行列Ｔshadow’は、
と表すことができる。
ここで、この変換行列Ｔshadow’に基づいて、シャドウビデオ信号Ｖ4をフレームメモリ２２から読み出すための読み出しアドレスを演算する方法は、式（３）に示される行列Ｔobjに基づいて、オブジェクトビデオ信号Ｖ2をフレームメモリ１２から読み出すための読み出しアドレス（ＸM，ＹM）を求める演算方法と全く同様である。つまり、式（３）から式（１４）に示される演算と全く同様の演算方法である。
具体的には、この変換行列Ｔshadow’は、４行４列の行列であるので、式（４）と同様に、Ｚ軸方向の成分（３行目及び３列目）を除いた行列をＴ33shadow’とし、この行列Ｔ33shadow’の逆行列の（Ｔ33shadow’）-1の各パラメータを、次式、
とおく。また、シャドウ信号発生部２０の読み出しアドレス発生回路２４から供給される読み出しアドレスを（ＸM’，ＹM’）とする。式（３）から式（１４）に至るまでの演算方法を参照すると、この読み出しアドレス（ＸM’，ＹM’）は、次式、
と表すことができる。
よつて、フレームメモリ２２に供給される読み出しアドレス（ＸM’、ＹM’）を、オペレータの所望の空間的画像変換処理によって決定される３次元変換行列Ｔ0の各パラメータ（ｒ11〜ｒ33、ｌx、ｌy、ｌz及びｓ）、及び、予め設定されるパラメータであるパースペクテイブ値Ｐz、点光源の位置（ｘL，ｙL，ｚL）、シャドウ座標系の各軸の回転角（θX，θY，θZ）、シャドウ座標系の原点の位置（ｘS0，ｙS0，ｚS0）を用いて表すことができる。
従つて（６）式〜（４０）式に対して、モニタスクリーン３のラスタスキヤン順に対応するようにアドレッシングするためのスクリーンアドレス（ＸS、ＹS）を供給すると、その供給されたスクリーンアドレスに対応したフレームメモリ２２上における読み出しアドレス（ＸM’，ＹM’）を、順に演算することができる。これによって、２次元のオブジェクトビデオ信号Ｖ2に対応した２次元のシャドウビデオ信号Ｖ4を生成することができる。
（６）平行光源モード時において、シャドウビデオ信号を生成するための変換処理の説明。
まず、図１０Ａ及び図１０Ｂを参照しながら、平行光源を使用した平行光源モードの時に、３次元オブジェクトビデオ信号Ｖ1から３次元シャドウビデオ信号Ｖ5を求めるための変換処理について説明する。尚、図１０Ａ及び図１０Ｂは、図７Ａ及び図７Ｂと同じように、図１０Ａは、ワールド座標系のＺ軸上に設定された視点ＰＺからワールド座標系のＸＹ平面を見たときの図であって、図１０Ｂは、ワールド座標系のＸ軸の正方向の位置からワールド座標系のＹＺ平面を見たときの図である。
まず、３次元変換行列Ｔ0によって、３次元の空間的位置に変換された３次元オブジェクトビデオ信号Ｖ1は、平行光源による透視変換行列ＰPARAによって、シャドウ座標のＸSＹS平面へ投影される。図１０Ｂにおいては、シャドウ座標系のＸSＹS平面に透視されたビデオ信号を、３次元シャドウビデオ信号Ｖ5として表すことにする。この平行光源による透視変換行列ＰPARAは、３次元オブジェクトビデオ信号Ｖ1を透視変換して、３次元シャドウビデオ信号Ｖ5を求めるための変換行列である。
次に、３次元シャドウビデオ信号Ｖ5は、先に説明した透視変換行列Ｐ0によって、ワールド座標系のＸＹ平面に投影される。これは、Ｚ軸上の仮想視点ＰＺから、３次元シャドウビデオ信号Ｖ5を見た時に、ワールド座標系のＸＹ平面に透視されるビデオ信号を求めることを意味する。図１０Ｂにおいては、ワールド座標系のＸＹ平面に透視されたビデオ信号を、２次元のシャドウビデオ信号Ｖ6として表すことにする。
図１１Ｂのフローに示される以上の処理をまとめる。平行光源モードにおいて、２次元のソースビデオ信号Ｖ0から２次元のシャドウビデオ信号Ｖ6を求めるための変換処理は、ソースビデオ信号Ｖ0を３次元変換行列Ｔ0によって３次元変換して３次元オブジェクトビデオ信号Ｖ1を得るための３次元変換ステップと、この３次元オブジェクトビデオ信号Ｖ1を、平行光源による透視変換行列ＰPARAによってシャドウ座標系のＸSＹS平面に透視して３次元シャドウビデオ信号Ｖ5を得るための透視変換ステップと、この３次元シャドウビデオ信号Ｖ5を、透視変換行列Ｐ0によってワールド座標系のＸＹ平面に透視して、２次元のシャドウビデオ信号Ｖ6を得るためのステップとから構成される。よって、２次元のソースビデオ信号Ｖ0から２次元のシャドウビデオ信号Ｖ6を求めるための変換行列Ｔshadow”は、次式、
と表すことができる。
次に、図１１から図１４を参照して、平行光源を使用した時の平行光源による透視変換行列ＰPARAについて説明する。
図１１Ａは、平行光源７０に対する変換処理のフローを示し、図１１Ｂは、３次元オブジェクトビデオ信号Ｖ1に対する変換処理のフローを示している。
まず、図１１Ａを参照しながら、平行光源７０に対する変換処理のフローを説明する。
ステップＳＰ１１では、ワールド座標系における球面座標によって定義されている平行光源７０の座標を、ワールド座標系の直交座標に変換する。平行光源の位置は、直交座標系で表すよりも、球面座標系で表すほうが一般的である。球面座標系とは、平行光源の位置を「半径（ｒ）」、「緯度（α）」及び「経度（β）」で表す座標系である。図１２Ａは、ワールド座標系において、直交座標と球面座標の関係を示した図である。図１２Ａに示すように、直交座標系と球面座標系の関係は、緯度（α）の基準をＹ軸の負方向とし、経度の基準をＸＹ平面としている。つまり、球面座標の赤道面が直交座標のＸＹ平面に一致し、緯度０（rad）、経度（rad）の方向がＹ軸のマイナス方向に一致する。よって、球面座標で定義された平行光源７０の位置を（ｒ，α，β）、直交座標に変換された平行光源の位置を（ｘL，ｙL，ｚL）とすると、この光源位置（ｘL，ｙL，ｚL）は、
と表すことができる。よって、球面座標で定義された光源の位置を直交座標に変換するためには、この式（６１）に、オペレータによって設定された球面座標系の光源位置（ｒ，α，β）を代入することによって、直交座標に変換された光源位置（ｘL，ｙL，ｚL）を求めることができる。
ステップＳＰ１２では、変換行列Ｆ-1によって、平行光源の座標をワールド座標系からシャドウ座標系に変換する。変換行列Ｆ-1については、ステップＳＰ１で説明したので、説明は省略する。シャドウ座標系に変換された光源の位置を（ｘL’，ｙL’，ｚL’）とすると、同次座標系であらわしたワールド座標系での光源のベクトル〔ｘL ｙL ｚL １〕と、同次座標系であらわしたシャドウ座標系での光源のベクトル〔ｘL’ ｙL’ ｚL’ １〕と、変換行列Ｆ-1との関係は、次式、
と表すことができる。
ステップＳＰ１３では、ステップＳＰ１２で求めされたシャドウ座標系における直交座標での光源の位置（ｘL’，ｙL’，ｚL’）を、シャドウ座標系における球面座標で表すように変換する。図１２Ｂは、シャドウ座標系での直交座標と球面座標との関係を示すための図である。図１２Ｂに示すように、シャドウ座標系における直交座標系と球面座標系の関係は、緯度（αS）の基準をＹS軸の負方向とし、経度（βS）の基準をＸSＹS平面としている。つまり、球面座標の赤道面が直交座標のＸSＹS平面に一致し、緯度０（rad）、経度０（rad）の方向がＹS軸のマイナス方向に一致する。
よって、シャドウ座標系における直交座標で表された光源の位置（ｘL’，ｙL’，ｚL’）と、球面座標で表された光源の位置（ｒ’，α’，β’）との関係は、
によって表される。よって、ステップＳＰ１２で求めされた光源の位置（ｘL’，ｙL’，ｚL’）を、この式（６３）に代入することによって、平行光源７０の位置を、シャドウ座標系における球面座標で表すことができる。
次に、ステップＳＰ１４では、図１３に示すように、回転行列ＲZ（−α’）によって、ステップＳＰ１３で求めされた平行光源の位置（ｒ’，α’，β’）を、シャドウ座標系のＺS軸の回りに−α’（rad）回転する。つまり、回転処理後の平行光源の位置は（ｒ’，０，β’）と表すことができる。図１３では、回転行列ＲZ（−α’）によって回転された光源を仮想平行光源７１として表す。このように平行光源７０の位置を回転することによって、図１１に示すように、平行光源７１の光束は、ＹSＺS平面に平行になる。このように、平行光源７１の光束をＹSＺS平面に平行になるように回転変換する理由は、後述するステップＳＰ１７において、オブジェクトビデオ信号Ｖ1を、透視変換行列ＰS0”によってシャドウ座標系のＸSＹS平面に透視させる際に、入射する平行光源の光束がＹSＺS平面に平行であると、３次元オブジェクトビデオ信号をＸSＹS平面に透視させたとしても、ＸS軸方向の座標値が変化しないので、オブジェクトビデオ信号をＸSＹS平面に透視させるための透視変換行列ＰS0”が非常に簡単に表せるからである。
具体的には、回転行列ＲZ（−α’）はＺS軸回りの回転行列であるので、回転行列ＲZ（−α’）は、
と表すことができる。
ステップＳＰ１１、ステップＳＰ１２、ステップＳＰ１３及びステップＳＰ１４によって、平行光源７０に対する変換処理は終了する。
次に、図１１Ｂを参照して、平行光源を使用した平行光源モードのときに、３次元オブジェクトビデオ信号Ｖ1から３次元シャドウビデオ信号Ｖ5を生成するための透視変換行列ＰPARAについて説明する。
ステップＳＰ１５では、ステップＳＰ１１と同様に、変換行列Ｆ-1によって、ワールド座標系で示される３次元オブジェクトビデオ信号Ｖ1をシャドウ座標系に変換する。この理由は、ステップＳＰ１１で説明した平行光源に対する処理と同様に、後述する透視変換行列ＰS0”は、ワールド座標系における透視変換行列ではなくて、シャドウ座標系における透視変換行列であるためである。よって、３次元オブジェクトビデオＶ1をシャドウ座標系のＸSＹS平面に透視させる場合には、ワールド座標系で表される３次元オブジェクトビデオＶ1の各画素位置をシャドウ座標系に変換する必要がある。
ステップＳＰ１６では、ステップＳＰ１５でシャドウ座標系に変換されたオブジェクトビデオ信号Ｖ1を、回転行列ＲZ（−α’）によって、Ｚ軸の回りに−α’（rad）回転する。この理由は、図１３に示すように、ステップＳＰ１４において、回転行列ＲZ（−α’）によって平行光源７０の位置（ｒ’，α’，β’）を、Ｚ軸の回りに−α’（rad）回転したので、その平行光源７０の回転処理と対応するように、オブジェクトビデオ信号Ｖ1を、回転する必要があるからである。尚、図１３に示すように、回転行列ＲZ（−α’）によってＺS軸の回りに−α’（rad）回転された３次元オブジェクトビデオ信号を、仮想３次元オブジェクトビデオ信号Ｖ1”と表すことにする。よって、シャドウ座標系の原点に対する、３次元オブジェクトビデオ信号Ｖ1と平行光源７０の相対的な位置関係と、シャドウ座標系の原点に対する、仮想３次元オブジェクトビデオ信号Ｖ1”と仮想平行光源７１の相対的な位置関係は、全く同じである。
次に、ステップＳＰ１７において、透視変換行列ＰS0”によって、仮想３次元オブジェクトビデオ信号Ｖ1”を、シャドウ座標系のＸSＹS平面に透視する。図１４Ａ及び図１４Ｂを参照しながら、この透視変換行列を説明する。まず、図１３、図１４Ａ及び図１４Ｂに示すように、仮想オブジェクトビデオ信号Ｖ1”を、透視変換行列ＰS0”によってＸSＹS平面に透視したビデオ信号を、仮想３次元シャドウビデオ信号Ｖ5”と表すことにする。図１２Ａは、この仮想３次元オブジェクトビデオ信号Ｖ1”と、仮想３次元シャドウビデオ信号Ｖ5”との位置関係を３次元的に表している図面であって、図１２Ｂは、ＸS軸の正方向からＹSＺS平面を見たときの仮想３次元オブジェクトビデオ信号Ｖ1”と、仮想３次元シャドウビデオ信号Ｖ5”との位置関係を表している図面である。ここで、仮想オブジェクトビデオ信号Ｖ1”上のある画素点を（ｘ0，ｙ0，ｚ0）とし、この画素（ｘ0，ｙ0，ｚ0）を透視変換行列ＰS0”によってＸSＹS平面に透視した仮想シャドウビデオ信号Ｖ5上の画素点を（ｘS，ｙS，ｚS）とすると、図１４Ｂに示される幾何学的な関係から、
という関係が成り立つことが分かる。また、仮想オブジェクトビデオ信号Ｖ1”上の点（ｘ0，ｙ0，ｚ0）と、仮想シャドウビデオ信号Ｖ5上の点（ｘS，ｙS，ｚS）及び透視変換行列ＰS0”との関係式は、次式
によって表すことができる。よって、式（６５）と式（６６）とから、
と表すことができる。
次に、ステップＳＰ１８において、回転行列ＲZ（α’）よって、仮想シャドウビデオ信号Ｖ5”をＺS軸の回りに回転移動する。図１３においては、回転移動されたビデオ信号を３次元シャドウビデオ信号Ｖ5として表している。図１３からもわかるように、３次元シャドウビデオ信号Ｖ5は、３次元オブジェクトビデオ信号Ｖ1を、平行光源７０によってシャドウ座標系のＸSＹS平面に透視したビデオ信号である。このように移動する理由は、ステップＳＰ１６で、回転行列ＲZ（−α’）によって、３次元オブジェクトビデオ信号Ｖ1を回転移動したので、その回転行列ＲZ（−α’）による回転移動処理を元に戻すためである。
つまり、回転行列ＲZ（−α’）と回転行列ＲZ（α’）とは、逆行列の関係にあるので、回転行列ＲZ（α’）は、
と表すことができる。
つぎに、ステップＳＰ１９では、式（４２）によって示される変換行列Ｆによって、シャドウ座標系で表される３次元シャドウビデオ信号Ｖ5を、ワールド座標系に変換する。これによって、ワールド座標系の座標値で示される３次元シャドウビデオ信号Ｖ5を得ることができる。
図１１Ｂのフローに示される処理をまとめると、ワールド座標系の３次元オブジェクトビデオ信号Ｖ1からワールド座標系の３次元シャドウビデオ信号Ｖ5を求めるための処理は、３次元オブジェクトビデオ信号Ｖ1をワールド座標系からシャドウ座標系に変換するステップ（ＳＰ１５）と、シャドウ座標系において、３次元オブジェクトビデオ信号をシャドウ座標系のＸSＹS面に投影してシャドウ座標系の３次元シャドウビデオ信号を生成するステップ（ＳＰ１６，ＳＰ１７及びＳＰ１８）と、シャドウ座標系の３次元シャドウビデオ信号を、シャドウ座標系からワールド座標系に変換して、ワールド座標系の３次元シャドウビデオ信号Ｖ5を得るためのステップ（ＳＰ１９）とから構成される。
従って、ワールド座標系の３次元オブジェクトビデオ信号Ｖ1からワールド座標系の３次元シャドウビデオ信号Ｖ5を求めるための透視変換行列ＰPARAは、変換行列Ｆ-1と、回転行列ＲZ（−α’）と、透視変換行列ＰS0”と、回転行列ＲZ（α’）と、変換行列Ｆ-1の乗算式で表すことができるので、次式
と表すことができる。
よって、この変換行列ＰPARAを式（６０）に代入すると、平行光源モードのときに、２次元のソースビデオ信号から２次元のシャドウビデオ信号Ｖ4を求めるための変換行列Ｔshadow”は、
と表すことができる。
ここで、この変換行列Ｔshadow”に基づいて、２次元のシャドウビデオ信号Ｖ6をフレームメモリ２２から読み出すための読み出しアドレスを演算する演算方法は、式（３）に示される行列Ｔobjに基づいて、２次元のオブジェクトビデオ信号Ｖ2をフレームメモリ１２から読み出すための読み出しアドレス（ＸM，ＹM）を求める演算方法と全く同様である。つまり、式（３）から式（１４）に示される演算と全く同様の演算方法である。
具体的には、この行列Ｔshadow”は、４行４列の行列であるので、式（４）と同様に、Ｚ軸方向の成分（３行目及び３列目）を除いた行列をＴ33shadow”とし、この変換行列Ｔ33shadow”の逆行列（Ｔ33shadow”）-1の各パラメータを、次式
とおく。また、シャドウ信号発生部２０の読み出しアドレス発生回路２４から供給される読み出しアドレスを（ＸM”，ＹM”）とする。式（３）から式（１４）に至るまでの演算方法を参照すると、この読み出しアドレス（ＸM”，ＹM”）は、次式、
と表すことができる。
よつて、フレームメモリ２２に供給される読み出しアドレス（ＸM”、ＹM”）を、オペレータの所望の空間的画像変換処理によつて決定される３次元変換行列Ｔ0の各パラメータ（ｒ11〜ｒ33、ｌx、ｌy、ｌz及びｓ）、及び、予め設定されるパラメータであるパースペクテイブ値Ｐz、点光源の位置（ｘL，ｙL，ｚL）、シャドウ座標系の各軸の回転角（θX，θY，θZ）、シャドウ座標系の原点の位置（ｘS0，ｙS0，ｚS0）を用いて表すことができる。
従つて（６）式〜（４０）式に対して、モニタスクリーン３のラスタスキヤン順に対応するようにアドレッシングするためのスクリーンアドレス（ＸS、ＹS）を供給すると、その供給されたスクリーンアドレスに対応したフレームメモリ２２上における読み出しアドレス（ＸM”，ＹM”）を、順に演算することができる。これによって、２次元のオブジェクトビデオ信号Ｖ2に対応した２次元のシャドウビデオ信号Ｖ6を生成することができる。
（７）シャドウ座標系の設定に関する説明
先に説明したように、オブジェクトビデオ信号に対するシャドウが投影されるシャドウ面を規定するためのシャドウ座標系を設定するためには、ワールド座標系のＸ軸、Ｙ軸及びＺ軸に対するシャドウ座標系のＸS軸、ＹS軸及びＺS軸の夫々の回転角（θX、θY、θZ）、ワールド座標系の原点に対するシャドウ座標系の原点位置（ｘS0，ｙS0，ｚS0）の設定が必要である。本発明の特殊効果装置においては、前述したように、オペレータが任意にシャドウ座標系のＸS軸、ＹS軸及びＺS軸の各回転角及びシャドウ座標系の原点を設定することで、ようになっている。式（４２）及び式（４７）に対して、各軸の回転角（θX、θY、θZ）及び原点の座標（ｘS0，ｙS0，ｚS0）が代入される。しかし、このようにシャドウ座標系の原点としてオペレータが適当な位置を設定すると、図１５Ａに示すように、３次元変換されたオブジェクトビデオ信号Ｖ1と３次元シャドウビデオ信号Ｖ5とが、空間的に離れてしまうことがある。このようなことが起こる理由は、３次元オブジェクトビデオ信号Ｖ1が、シャドウ面上に存在していない、つまり、言い換えると、シャドウ面上に３次元オブジェクトビデオ信号Ｖ1が存在するように、シャドウ面を設定することができていないということである。もちろん、オペレータが、図１５Ａに示されるようなシャドウ面を望んでいるのであれば問題は無い。しかし、光源からの光によって、地面上に存在するある物体に対してシャドウが付けられるような効果を得るためには、この地面をシャドウが投影されるシャドウ面として設定する必要がある。つまり、空間的に、３次元オブジェクトビデオ信号Ｖ1がシャドウ面上に存在するように、シャドウ座標系の原点を設定する必要がある。そのために、本発明の特殊効果装置は、シャドウ座標系の原点を自動的に設定するための原点設定モードを有している。
この原点設定モードとは、まず、オペレータがソースビデオ信号Ｖ0上のある点を指定する。この指定された点を、３次元変換行列Ｔ0によって３次元空間上に変換し、その３次元空間上に変換されたオブジェクトビデオ信号Ｖobj上の対応する点を、シャドウ座標系の原点とする。これによって、３次元オブジェクトビデオ信号Ｖobj上の点にシャドウ座標系の原点が設定されるので、結果的に、３次元オブジェクトビデオ信号Ｖobjがシャドウ面上に存在することになる。
具体的には、図１５Ｂに示されるように、ソースビデオ信号Ｖ0の右上の点をａ、左上に点をｂ、左下の点をｃ、及び、右下の点をｄとし、これに対応する３次元オブジェクトビデオ信号Ｖobj上の点を、ａ’、ｂ’、ｃ’及びｄ’とする。また、そのソースビデオ信号Ｖ0の４点をａ、ｂ、ｃ及びｄの夫々の座標を、（ｘa，ｙa，０）、（ｘb，ｙb，０）、（ｘc，ｙc，０）及び（ｘd，ｙd，０）とし、３次元オブジェクトビデオ信号Ｖobj上の点ａ’、ｂ’、ｃ’及びｄ’の夫々の座標を、（ｘa’，ｙa’，ｚa’）、（ｘb’，ｙb’，ｚb’）、（ｘc’，ｙc’，ｚc’）及び（ｘd’，ｙd’，Ｚd’）とする。
次に、オレペレータによって、ソースビデオ信号Ｖ0上の点ｄが指定された場合を例にあげ説明する。オペレータによって指定されたソースビデオ信号Ｖ0上の点ｄ（ｘd，ｙd，０）を、３次元変換行列Ｔ0によって変換したオブジェクトビデオ信号Ｖobj上の対応するは、ｄ’（ｘd’，ｙd’，ｚd’）である。ここで、点ｄ（ｘd，ｙd，０）と点ｄ’（ｘd’，ｙd’，ｚd’）とを、夫々、同次座標系のベクトルであらわすと、ベクトル〔ｘd ｙd ０ １〕、ベクトル〔ｘd’ｙd’ｚd’１〕となるので、これらのベクトルと、３次元変換行列Ｔ0との関係は、次式、
と表すことができる。
よって、この式（７３）により、
という関係式が成り立つ。
よって、式（４２）及び式（４７）に示される移動行列Ｌのパラメータであるシャドウ座標系の原点（ｘS0，ｙS0，ｚS0）に、式（７４）によって得られた（ｘd’，ｙd’，ｚd’）を代入することによって、３次元オブジェクトビデオ信号Ｖ1上の点にシャドウ座標系の原点が設定される。つまり、３次元空間上で、３次元オブジェクトビデオ信号Ｖ1がシャドウ面上に存在するように、シャドウ座標系が設定されたことになる。これによって、本発明の特殊効果装置は、太陽からの光によって、地上に存在する物体の影が地面上に投影されるような自然な効果を得ることができる。
（８）特殊効果装置の動作及び効果の説明
次に、この特殊効果装置の動作及び本発明の効果を説明する。
まず、オペレータは、コントロールパネル５に設けられた３次元ポインティングデバイスやキー等を操作して、本発明の特殊効果装置で使用される読み出しアドレスの演算に必要とされる各パラメータを入力する。ここで、この読み出しアドレスの演算に必要なパラメータとは、パースペクティブ値Ｐz、シャドウ座標系のＸS軸、ＹS軸及びＺS軸の夫々の回転角（θX、θY、θZ）、シャドウ座標系の原点（ｘS0，ｙS0，ｚS0）、平行光源であるか点光源であるかを示す光源の種類、その光源の位置（ｘL，ｙL，ｚL）又は（ｒ，α，β）等である。また、シャドウ座標系の原点を自動設定するモードが指定されている場合には、ソースビデオ信号の４隅の点（ａ〜ｄ）のうちのどれが指定されているかを示すデータが、コントロールパネル５から入力される。
まず、光源の種類として、点光源が指定された場合を例にあげ説明する。
ＣＰＵ８は、コントロールパネル５から入力されるこれらのパラメータを受け取り、リアルタイムに読み出しアドレスの演算に反映させる。具体的には、ＣＰＵ８は、コントロールパネル５から供給されるパラメータの変化をフレーム周期で監視し、且つ、供給されたパラメータに基づいて読み出しアドレスを演算するためのパラメータ（ｂ11〜ｂ33，ｂ11’〜ｂ33’）をフレーム周期で演算している。よって、オペレータの操作に応じてフレーム周期でこれらのパラメータをリアルタイムに可変することができ、そして、その可変されたパラメータに応じて、リアルタイムに読み出しアドレスが演算される。また、ＣＰＵ８は、これらのパラメータを、設定値としてフレーム毎にＲＡＭ７に記憶することもできる。尚、この段階では、オペレータは、ソースビデオ信号Ｖ0に対して３次元画像変換の指示を行っていないので、モニタスクリーン３には、ソースビデオ信号Ｖ0が表示されている。
次に、オペレータは、コントロールパネル５に設けられた３次元ポインティングデバイス等を操作することによって、ソースビデオ信号Ｖ0に対して３次元の画像変換操作を指令する。オペレータによって３次元の画像変換が指令されると、ＣＰＵ８は、オペレータが指定した３次元変換行列Ｔ0の各パラメータである、ｒ11〜ｒ33、ｌX、ｌY、ｌZ及びｓをコントロールパネル５から受け取り、これらのパラメータをリアルタイムに読み出しアドレスの演算に反映させる。具体的には、ＣＰＵ８は、コントロールパネル５から供給されるこれらのパラメータの変化をフレーム周期で監視し、且つ、供給されたパラメータに基づいて読み出しアドレスを演算するためのパラメータ（ｂ11〜ｂ33，ｂ11’〜ｂ33’）をフレーム周期で演算している。次に、ＣＰＵ８は、受け取ったパラメータｒ11〜ｒ33、ｌX、ｌY、ｌZ及びｓに基づいて、式（８）で表される３次元変換行列Ｔ33 -1の各パラメータｂ11〜ｂ33を演算する。具体的には、式（２８）〜式（３７）に、パラメータｒ11〜ｒ33、ｌX、ｌY、ｌZ及びｓを代入することによって、パラメータｂ11〜ｂ33を求めることができる。また、ＣＰＵ８は、受け取った３次元変換行列Ｔ0のパラメータｒ11〜ｒ33、ｌX、ｌY、ｌZ、ｓ、及び、シャドウ座標に関するパラメータθX、θY、θZ、ｘS0、ｙS0、ｚS0、及び、光源に関するパラメータｘL、ｙL、ｚLを受け取り、これらのパラメータに基づいて、式（５７）に表される３次元変換行列（Ｔ33shadow’）-1の各パラメータｂ11’〜ｂ33’を演算する。ＣＰＵ８は、演算したパラメータｂ11〜ｂ33を、オブジェクト信号生成部１０の読み出しアドレス発生回路１４に供給し、演算したパラメータｂ11’〜ｂ33’を、シャドウ信号生成部２０の読み出しアドレス発生回路２４に供給する。
オブジェクト信号生成部１０の読み出しアドレス発生回路１４は、ＣＰＵ８からパラメータｂ11〜ｂ33を受け取るとともに、スクリーンアドレス発生回路９からスクリーンアドレス（ＸS、ＹS）とを受け取り、式（１３）及び（１４）に基づいて、オブジェクト信号用の読み出しアドレス（ＸM，ＹM）をフレーム周期で生成する。生成された読み出しアドレス（ＸM，ＹM）は、ビデオ信号用のフレームメモリ１２及びキー信号用のフレームメモリ１３に夫々供給され、その結果として、フレームメモリ１２からはオブジェクトビデオ信号Ｖ2が出力され、フレームメモリ１３からはオブジェクトキー信号Ｋ2が出力される。
一方、シャドウ信号生成部２０の読み出しアドレス発生回路２４は、ＣＰＵ８からパラメータｂ11’〜ｂ33’を受け取るとともに、スクリーンアドレス発生回路９からスクリーンアドレス（ＸS、ＹS）とを受け取り、式（５８）及び（５９）に基づいて、シャドウ信号用の読み出しアドレス（ＸM’、ＹM’）をフレーム周期で生成する。生成された読み出しアドレス（ＸM’、ＹM’）は、ビデオ信号用のフレームメモリ２２及びキー信号用のフレームメモリ２３に夫々供給され、その結果として、図７Ｂに示すように、フレームメモリ２２からはシャドウビデオ信号Ｖ4が出力され、フレームメモリ２３からはシャドウキー信号Ｋ4が出力される。
第１のミキサ３０は、オブジェクト信号生成部１０からオブジェクトビデオ信号Ｖ2及びオブジェクトキー信号Ｋ2を受け取るとともに、シャドウ信号生成部２０からシャドウビデオ信号Ｖ4及びシャドウキー信号Ｋ4を受け取り、式（ａ）に基づいて、混合ビデオ信号ＶMIX’と混合キー信号ＫMIX’とを生成する。
第２のミキサ４０は、外部から供給されたバックグランドビデオ信号ＶBKと、第１のミキサ３０から出力された混合ビデオ信号ＶMIX’及び混合キー信号ＫMIX’を受け取り、式（ｃ）に基づいて、アウトプットビデオ信号ＶOUT’を生成する。
次に、光源として、平行光源が指定された場合について説明する。
ＣＰＵ８は、まず、コントロールパネル５から、シャドウ座標の各軸に関するパラメータ（θX、θY、θZ）、シャドウ座標の原点に関するパラメータ（ｘS0、ｙS0、ｚS0）及び、平行光源に関するパラメータ（ｒ、α、β）を受け取る。また。コントロールパネル５に設けられた３次元ポインティングデバイスの操作状態に基づいて、ＣＰＵ８は、コントロールパネル５から、３次元変換行列Ｔ0のパラメータｒ11〜ｒ33、ｌX、ｌY、ｌZ、ｓを受け取る。ＣＰＵ８は、コントロールパネル５から供給されるこれらのパラメータの変化をフレーム周期でリアルタイムで監視し、且つ、供給されたパラメータに基づいて読み出しアドレスを演算するためのパラメータ（ｂ11〜ｂ33，ｂ11”〜ｂ33”）をフレーム周期で演算している。よって、オペレータの操作に応じてフレーム周期でこれらのパラメータをリアルタイムに可変することができ、そして、その可変されたパラメータに応じて、リアルタイムに読み出しアドレスが演算される。
次に、ＣＰＵ８は、受け取ったパラメータｒ11〜ｒ33、ｌX、ｌY、ｌZ、及びｓに基づいて、式（８）で表される３次元変換行列Ｔ33 -1の各パラメータｂ11〜ｂ33を演算する。具体的には、式（２８）〜式（３７）に、パラメータｒ11〜ｒ33、ｌX、ｌY、ｌZ、及びｓを代入することによって、パラメータｂ11〜ｂ33を求めることができる。また、ＣＰＵ８は、受け取った３次元変換行列Ｔ0のパラメータｒ11〜ｒ33、ｌX、ｌY、ｌZ、ｓ、及び、シャドウ座標に関するパラメータθX、θY、θZ、ｘS0、ｙS0、ｚS0及び、光源に関するパラメータｒ、α、βを受け取り、これらのパラータに基づいて、式（７１）に表される３次元変換行列（Ｔ33shadow”）-1の各パラメータｂ11”〜ｂ33”を演算する。ＣＰＵ８は、演算したパラメータｂ11〜ｂ33を、オブジェクト信号生成部１０の読み出しアドレス発生回路１４に供給し、演算したパラメータｂ11”〜ｂ33”を、シャドウ信号生成部２０の読み出しアドレス発生回路２４に供給する。
オブジェクト信号生成部１０の読み出しアドレス発生回路１４は、ＣＰＵ８からパラメータｂ11〜ｂ33を受け取るとともに、スクリーンアドレス発生回路９からスクリーンアドレス（ＸS、ＹS）とを受け取り、式（１３）及び（１４）に基づいて、オブジェクト信号用の読み出しアドレス（ＸM，ＹM）をフレーム周期で生成する。生成された読み出しアドレス（ＸM，ＹM）は、ビデオ信号用のフレームメモリ１２及びキー信号用のフレームメモリ１３に夫々供給され、その結果として、フレームメモリ１２からはオブジェクトビデオ信号Ｖ2が出力され、フレームメモリ１３からはオブジェクトキー信号Ｋ2が出力される。
一方、シャドウ信号生成部２０の読み出しアドレス発生回路２４は、ＣＰＵ８からパラメータｂ11”〜ｂ33”を受け取るとともに、スクリーンアドレス発生回路９からスクリーンアドレス（ＸS、ＹS）とを受け取り、式（７２）及び（７２）に基づいて、シャドウ信号用の読み出しアドレス（ＸM”、ＹM”）をフレーム周期で生成する。生成された読み出しアドレス（ＸM”、ＹM”）は、ビデオ信号用のフレームメモリ２２及びキー信号用のフレームメモリ２３に夫々供給され、その結果として、図１０Ｂに示すように、フレームメモリ２２からはシャドウビデオ信号Ｖ6が出力され、フレームメモリ２３からはシャドウキー信号Ｋ6が出力される。
第１のミキサ３０は、オブジェクト信号生成部１０からオブジェクトビデオ信号Ｖ2及びオブジェクトキー信号Ｋ2を受け取るとともに、シャドウ信号生成部２０からシャドウビデオ信号Ｖ6及びシャドウキー信号Ｋ6を受け取り、式（ｂ）に基づいて、混合ビデオ信号ＶMIX”と混合キー信号ＫMIX”とを生成する。
第２のミキサ４０は、外部から供給されたバックグランドビデオ信号ＶBKと、第１のミキサ３０から出力された混合ビデオ信号ＶMIX”及び混合キー信号ＫMIX”を受け取り、式（ｄ）に基づいて、アウトプットビデオ信号ＶOUT”を生成する。
以上の特殊効果装置によれば、オペレータの経験に頼ること無く、オブジェクトビデオ信号に対して適切なシャドウを容易に付けることができる。また、オブジェクトビデオ信号の空間系的な移動に連動して、自動的にシャドウビデオ信号を生成することがきる。
具体的には、本発明の特殊効果装置は、ソースビデオ信号に対して３次元画像変換を施すことによって仮想的な３次元オブジェクトビデオ信号を生成し、この仮想的な３次元オブジェクトビデオ信号をスクリーン面に投影することによって、２次元オブジェクトビデオ信号を生成している。また、この３次元ビデオ信号を予め設定されたシャドウ面に投影することによって仮想的な３次元シャドウ信号を生成し、上記仮想的な３次元シャドウ信号を上記スクリーン面に投影することによって、２次元のシャドウ信号を生成している。よって、生成された２次元のオブジェクト信号に対応した２次元のシャドウ信号を自動的に生成することができ、オペレータの操作性を向上させることができる。さらに、３次元画像変換行列とシャドウ面への投影変換行列とスクリーン面への投影変換行列との演算によって、２次元シャドウ信号を生成しているので、オペレータの操作経験に頼ることなく、図１６Ａに示されるように、オブジェクトビデオ信号Ｖobjに対して自然なシャドウビデオ信号Ｖshadowを生成することができるので、違和感のない立体的な映像を生成することができる。
さらに、図１６Ｂに示されるように、オペレータがコントロールパネルの３次元ポインティングデバイスを操作することによって、オブジェクトビデオ信号Ｖobjを３次元空間上でオブジェクトビデオ信号Ｖobj’の位置に移動させた場合には、ＣＰＵがコントロールパネルからのパラメータをフレーム周期で監視して、そのフレーム毎に供給されるパラメータに応じてシャドウビデオ信号Ｖshadowを生成するための読み出しアドレスを演算しているので、そのオブジェクトビデオ信号Ｖobjの３次元空間での移動に伴って、シャドウビデオ信号Ｖshadowがシャドウ面上に存在するシャドウビデオ信号Ｖshadow’の位置に移動される。つまり、オブジェクトビデオ信号Ｖobjの動きに連動したシャドウビデオ信号Ｖshadowを容易に且つリアルタイムに生成することができる。
よって、図１６Ａ図に示されるような状態から、図１６Ｂに示される状態になるようにオブジェクトビデオ信号Ｖobjが移動すると、シャドウビデオ信号Ｖshadowもその移動に伴ってシャドウ面上を移動するので、シャドウ面を地上とした時に、あたかも、オブジェクトが地上から空に向かって上昇しているような効果を得ることができる。
さらに本発明の特殊効果装置は、シャドウビデオ信号Ｖshadowを生成するための光源の種類として点光源又は平行光源を設定すうことができ、設定された光源に応じてシャドウビデオ信号Ｖshadowを演算する夫々のモードを有しているので、光源に応じた自然なシャドウを生成することができる。図１６Ａ及び図１６Ｂに示される例では、オブジェクトビデオ信号Ｖobjを空間的に移動させる例を示したが、オブジェクトビデオ信号Ｖobjを３次元空間上で固定し、光源の位置を空間的に移動させるようにしてもよい。
また、本発明の特殊効果装置は、シャドウ面を設定する原点設定モードを有しているので、３次元変換された３次元オブジェクトが空間的にシャドウ面上に存在するようにシャドウ面を設定することができる。よって、シャドウ面を地上と考えると、これによって、地上面に存在するオブジェクトを表現することができる。
本発明は、画像処理装置に関し、特に３次元的に画像変換されたオブジェクトビデオ信号に対してシャドウをつけることによって立体感を得る特殊効果装置に関するものである。
背景技術
先ず、図１を参照して従来の特殊効果装置について説明する。
従来、画像処理装置の分野において、外部から供給されたソースビデオ信号に３次元的な画像変換を施すための特殊効果装置が実現されている。この種の特殊効果装置は、３次元的な位置に画像変換されたオブジェクトビデオ信号にシャドウを付けて、立体的な効果を出すことが考えられている。尚、オブジェクトビデオ信号とは、３次元変換処理の対象となるビデオ信号のことである。従来の特殊効果装置では、オブジェクトビデオ信号に対してシャドウを付けるためには、まず、オペレータは、３次元ジョイスティック等のポインティングデバイスを操作し、オブジェクトビデオ信号の基となる第１のソースビデオ信号に対して、所望の第１の３次元変換処理を施す。図１Ａに示すように、この３次元変換されたビデオ信号をオブジェクトビデオ信号Ｖobjとして表し、尚、このオブジェクトビデオ信号Ｖobjはモニタに表示されている。次に、オペレータは、ポインティングデバイスを操作して、シャドウビデオ信号の基となる例えば黒色を有した第２のソースビデオ信号に対して、第２の３次元変換処理を施す。具体的には、オペレータは、３次元変換されたシャドウビデオ信号Ｖshadowが、モニタに表示されたオブジェクトビデオ信号Ｖobjの影らしく見えるように、この影の色を有したビデオ信号に対して３次元変換処理を施す。
しかし、このような従来の特殊効果装置では、オブジェクトビデオ信号Ｖobjとシャドウビデオ信号Ｖshadowとを、夫々別に３次元変換処理しているので、オブジェクトビデオ信号Ｖobjに対する影として、自然な影に見えるシャドウビデオ信号Ｖshadowを生成することが非常に困難であった。また自然な影に見えるシャドウビデオ信号Ｖshadowを生成するためには、熟練したオペレータでも試行錯誤を繰り返すため、シャドウビデオ信号を生成するための操作には非常に時間がかかるという問題点があった。
また、このような従来の特殊効果装置では、上述したように、オブジェクトビデオ信号Ｖobjとシャドウビデオ信号Ｖshadowとを夫々別に３次元変換処理しているので、図１Ａに示されるオブジェクトビデオ信号Ｖobjを、図１Ｂに示されるオブジェクトビデオ信号Ｖobj’の位置に３次元変換したとしても、シャドウビデオ信号Ｖshadowは移動することはない。よって、オブジェクトビデオ信号Ｖobj’に対して自然なシャドウを新たに生成しなければいけない。このように、オブジェクトビデオ信号に対してこのような３次元変換を施す毎に、シャドウビデオ信号を生成する必要があり、操作が非常に繁雑になるという問題があった。
発明の開示
本発明は、以上の点を考慮してなされたもので、オブジェクトビデオ信号に対して適切なシャドウをオペレータの経験に頼ること無く容易に付けることができる特殊効果装置を提供するものである。また、オブジェクトビデオ信号の空間系的な動きに連動して、自動的にシャドウビデオ信号を生成することがきる特殊効果装置を提供するものである。
さらに詳細には、本発明の特殊効果装置は、ソースビデオ信号に対して３次元画像変換を施すことによって仮想的な３次元オブジェクトビデオ信号を生成し、この仮想的な３次元オブジェクトビデオ信号を２次元平面に投影することによって、３次元画像変換処理を表す２次元オブジェクトビデオ信号を生成するオブジェクト信号生成部と、この３次元ビデオ信号を予め設定されたシャドウ面に投影することによって仮想的な３次元シャドウ信号を生成し、上記仮想的な３次元シャドウ信号を上記スクリーン面に投影することによって、２次元のシャドウ信号を生成するシャドウ信号生成部とを備えている。これによって、３次元変換されたオブジェクトビデオ信号に対応したシャドウビデオ信号を演算によって自動的に得ることができる。
さらに、本発明の特殊効果装置は、ソースビデオ信号に対して仮想空間上に３次元画像変換するための３次元画像変換行列と、３次元空間上に仮想的に存在するビデオ信号をスクリーン面に透視変換するための透視変換演算とに基づいて、ソースビデオ信号から２次元のオブジェクトビデオ信号を生成するオブジェクト信号生成部と、ソースビデオ信号に対して仮想空間上に３次元画像変換するための３次元画像変換行列と、３次元空間上に仮想的に存在するビデオ信号をシャドウ面に透視変換するための透視変換行列と、シャドウ面上に仮想的に存在するビデオ信号をスクリーン面に透視変換するための透視変換行列とに基づいて、２次元シャドウ信号を生成するシャドウ信号生成部と、この２次元オブジェクトビデオ信号が３次元画像変換を視覚的に表すビデオ信号となるように、ビデオ信号生成手段を制御すると共に、シャドウ信号生成手段によって生成された２次元シャドウ信号が２次元オブジェクトビデオ信号のシャドウを表すビデオ信号になるようにシャドウ信号生成手段を制御する制御手段（ＣＰＵ）とを備えている。よって、これによって、３次元変換されたオブジェクトビデオ信号に対して、自動的に自然なシャドウをつけることができる。
さらに、本発明の特殊効果装置は、ソースビデオ信号に対して３次元画像変換を施すことによって仮想的な３次元ビデオ信号を生成するビデオ信号生成部と、３次元ビデオ信号に透視変換を施すことによって、シャドウ面上に存在する仮想的な３次元のシャドウ信号を生成するシャドウ信号生成部と、３次元ビデオ信号を３次元空間において仮想的に移動するようにビデオ信号処理部を制御すると共に、３次元ビデオ信号の仮想的な移動に連動して上記シャドウ信号が上記シャドウ面上を移動するように上記シャドウ信号生成部を制御する制御手段（ＣＰＵ）とを備ている。これによって、オブジェクトビデオ信号の３次元空間上での移動に伴って、シャドウ信号がシャドウ面上で移動する効果を得ることができる。
【図面の簡単な説明】
図１は、背景技術を説明するための図である。
図２は、本発明の特殊効果装置の全体構成を示すためのブロック図である。
図３は、本発明の特殊効果装置において定義されるワールド座標系を説明するための図である。
図４は、オブジェクトビデオ信号を得るための変換処理を説明するための図である。
図５は、フレームメモリ上のアドレスと、モニタスクリーン上とのアドレスの関係を表す図である。
図６は、シャドウ座標系を説明するための図である。
図７は、点光源モード時において、シャドウビデオ信号を得るための変換処理を説明するための図である。
図８は、点光源モード時において、３次元オブジェクトビデオ信号から３次元シャドウビデオ信号を得るための透視変換処理を説明するための図である。
図９は、点光源及び３次元オブジェクトビデオ信号に対する変換処理の手順を示すフローである。
図１０は、平行光源モード時において、シャドウビデオ信号を得るための変換処理を説明するための図である。
図１１は、平行光源及び３次元オブジェクトビデオ信号に対する変換処理の手順を示すフローである。
図１２は、ワールド座標系及びシャドウ座標系における、球面座標と直交座標との関係を夫々示すたの図である。
図１３は、平行光源モード時において、３次元オブジェクトビデオ信号から３次元シャドウビデオ信号を得るための透視変換処理を説明するための図である。
図１４は、仮想３次元オブジェクトビデオ信号から仮想３次元シャドウビデオ信号を得るための透視変換処理を説明するための図である。
図１５は、シャドウ座標系の原点を自動的に設定する原点設定モードを説明するための図である。
図１６は、本発明の特殊効果装置による効果を説明するための図である。
発明を実施するための最良の形態
（１）全体構成
まず、図２を参照して、本発明の特殊効果装置１の構成を説明する。
ＣＰＵ８は、この特殊効果装置１の全ての回路を制御するためのプロセッサである。ＣＰＵ８は、オペレータがコントロールパネル５を操作することによつて得られた各パラメータを、インターフエイス回路（Ｉ／Ｆ）５ａ及びデータバスを介して受け取り、このパラメータに基づいて各回路を制御する。このコントロールパネル５からは、パースペクティブ値Ｐz、シャドウ座標系のＸS軸、ＹS軸及びＺS軸の夫々の回転角（θX、θY、θZ）、シャドウ座標系の原点（ｘS0，ｙS0，ｚS0）、平行光源であるか点光源であるかを示す光源の種類、点光源の位置（ｘL，ｙL，ｚL）、平行光源の位置（ｒ，α，β）、３次元変換に関するパラメータｒ11〜ｒ33、ｌX、ｌY、ｌZ及びｓが入力される。尚、各パラメータについては後述する。また、ＣＰＵ８は、コントロールパネル５から入力されるこれらのパラメータを受け取り、これらのパラメータをリアルタイムに読み出しアドレスの演算に反映させる。具体的には、ＣＰＵ８は、コントロールパネル５から供給されるパラメータの変化をフレーム周期で監視し、且つ、供給されたパラメータに基づいて読み出しアドレスを演算するためのパラメータ（ｂ11〜ｂ33、ｂ11’〜ｂ33’、ｂ11”〜ｂ33”）をフレーム周期で演算している。よって、オペレータの操作に応じてフレーム周期でこれらのパラメータをリアルタイムに可変することができ、そして、その可変されたパラメータに応じて、リアルタイムにソースビデオ信号に対して特殊効果を施すことができる。
尚、本発明の特殊効果装置は、コントロールパネル５から光源の種類を入力することによって、点光源と平行光源の中から所望の光源を選択することができるようになっている。以下の説明において、点光源によってオブジェクトのシャドウを生成するモードを点光源モードと呼び、平行光源によってオブジェクトのシャドウを生成するモードを平行光源モードと呼ぶことにする。
また、ＣＰＵ８は、プログラムメモリとして設けられたＲＯＭ(Read Only Memory)６に記憶されたプログラムに基づいて、各回路の制御を行うと共に、読み出しアドレスの演算を行う。また、同様に、ワークメモリとして設けられたＲＡＭ(Random Access Memory)７に記憶されたデータに基づいて、各回路の制御を行うと共に、読み出しアドレスの演算を行う。
オブジェクト信号生成部１０は、外部からソースビデオ信号Ｖ0を受け取り、このソースビデオ信号Ｖ0を３次元変換処理して、２次元のオブジェクトビデオ信号Ｖ2を生成する。また、オブジェクト信号生成部１０は、ソースビデオ信号Ｖ0をキーイングするためのソースキー信号Ｋ0を受け取り、ソースビデオ信号と同じようにソースキー信号Ｋ0を３次元変換処理して、オブジェクトキー信号Ｋ2を生成する。具体的には、このオブジェクト信号生成部１０は、ソースビデオ信号Ｖ0を一時的に記憶するためのフレームメモリ１２と、このソースビデオ信号をキーイングするためのソースキー信号Ｋ0を一時的に記憶するためのフレームメモリ１３と、フレームメモリ１２及びフレームメモリ１３に対して、３次元変換操作に対応して演算された読み出しアドレス（ＸM，ＹM）を供給するための読み出しアドレス発生回路１４とを有している。
フレームメモリ１２は、供給されたソースビデオ信号Ｖ0を一時的に記憶するためにメモリである。このフレームメモリ１２には、図示しない書き込みアドレス発生回路からのシーケンシャルな書き込みアドレスが供給されるので、このフレームメモリ１２には、供給されたソースビデオ信号Ｖ0が変形せずにそのまま記憶される。また、このフレームメモリ１２には、読み出しアドレス発生回路１４から３次元変換操作に対応して演算された読み出しアドレス（ＸM，ＹM）が供給されるので、フレームメモリ１２からは、フレーム毎に２次元変換処理されたオブジェクトビデオ信号Ｖ2が出力される。出力されたオブジェクトビデオ信号Ｖ2は、ミキサ３０に送出される。
フレームメモリ１３は、ソースビデオ信号Ｖ0をキーイングするためのソースキー信号Ｋ0を一時的に記憶するためのメモリである。このフレームメモリ１３は、フレームメモリ１２に供給されたシーケンシャルな書き込みアドレスと同じ書き込みアドレスが供給されるので、ソースビデオ信号Ｖ0と同様に、このフレームメモリ１３には、供給されたソースキー信号Ｋ0が変形さずにそのまま記憶される。また、フレームメモリ１３には、フレームメモリ１２に供給された読み出しアドレスを同じアドレス（ＸM，ＹM）が供給されるので、フレームメモリ１３からは、３次元変換されたオブジェクトビデオ信号Ｖ2と同じように３次元変換されたオブジェクトキー信号Ｋ2が出力される。出力されたオブジェクトキー信号Ｋ2は、ミキサ３０に送出される。
読出しアドレス発生回路１４は、スクリーンアドレス発生回路９からシーケンシャルに供給されるモニタスクリーン３上でのアドレス（ＸS、ＹS）と、ＣＰＵ８によって演算された画像変換行列のパラメータｂ11〜ｂ33とに基づいて、フレームメモリ１２及びフレームメモリ１３に対して供給する読出しアドレス(ＸM，ＹM)を生成する。この読み出しアドレス発生回路１４内での具体的な演算は後述する。
シャドウ信号生成部２０は、シャドウビデオ信号とシャドウキー信号を生成するための回路である。まず、点光源モードが選択されている場合は、このシャドウ信号生成部２０は、外部から供給されたソースビデオ信号Ｖ0を受け取り、影に色にマット処理されたソースビデオ信号を３次元変換処理して、シャドウビデオ信号Ｖ4を生成する。また、シャドウ信号生成部２０は、ソースビデオ信号をキーイングするためのソースキー信号Ｋ0を受け取り、シャドウビデオ信号Ｖ4と同じように３次元変換処理して、シャドウキー信号Ｋ4を生成する。平行光源モードが選択されている場合は、このシャドウ信号生成部２０は、外部から供給されたソースビデオ信号Ｖ0を受け取り、影の色にマット処理されたソースビデオ信号を３次元変換処理して、シャドウビデオ信号Ｖ6を生成する。また、シャドウ信号生成部２０は、ソースビデオ信号をキーイングするためのソースキー信号Ｋ0を受け取り、シャドウビデオ信号Ｖ6と同じように３次元変換処理して、シャドウキー信号Ｋ6を生成する。具体的には、このシャドウ信号生成部２０は、オブジェクト信号生成部１０と同じような回路構成からなり、ソースビデオ信号Ｖ0をマット処理するカラーマット発生回路２１と、マット処理されたソースビデオ信号を一時的に記憶するためのフレームメモリ２２と、ソースキー信号Ｋ0を一時的に記憶するためのフレームメモリ２３と、フレームメモリ２２及びフレームメモリ２３に対して、演算された読み出しアドレスを供給するための読み出しアドレス発生回路２４とを有している。
カラーマット発生回路２１は、ソースビデオ信号Ｖ0をマット処理することによって、ソースビデオ信号Ｖ0の色を影の色らしくするための回路である。最も簡単な例では、ソースビデオ信号Ｖ0の彩度及び輝度のレベルを下げることによって、ソースビデオ信号の色が影の色（黒色）に近くなる。
フレームメモリ２２は、マット処理されたソースビデオ信号を一時的に記憶するためにメモリである。このフレームメモリ２２には、図示しない書き込みアドレス発生回路からのシーケンシャルな書き込みアドレスが供給されるので、このフレームメモリ２２には、マット処理されたソースビデオ信号が画像変形されずにそのまま記憶される。点光源モード時には、このフレームメモリ２２には、読み出しアドレス発生回路２４から３次元変換操作及び点光源に基づいて演算された読み出しアドレス（ＸM’，ＹM’）が供給されるので、このフレームメモリ２２からは、３次元変換されたシャドウビデオ信号Ｖ4が出力される。平行光源モード時には、このフレームメモリ２２には、読み出しアドレス発生回路２４から３次元変換操作及び平行光源に基づいて演算された読み出しアドレス（ＸM”，ＹM”）が供給されるので、このフレームメモリ２２からは、３次元変換されたシャドウビデオ信号Ｖ6が出力される。
フレームメモリ２３は、ソースビデオ信号Ｖ0をキーイングするためのソースキー信号Ｋ0を一時的に記憶するためのメモリである。このフレームメモリ２３には、フレームメモリ２２に供給されたシーケンシャルな書き込みアドレスと同じアドレスが供給されるので、このフレームメモリ２３には、供給されたソースキー信号Ｋ0が画像変換されずにそのまま記憶される。点光源モード時には、フレームメモリ２３には、フレームメモリ２２に供給された読み出しアドレスと同じアドレス（ＸM’，ＹM’）が供給されるので、このフレームメモリ２３からは、３次元変換されたシャドウビデオ信号Ｖ4と同じように３次元変換されたシャドウキー信号Ｋ4が出力される。平行光源モード時には、フレームメモリ２３には、フレームメモリ２２に供給された読み出しアドレスと同じアドレス（ＸM”，ＹM”）が供給されるので、このフレームメモリ２３からは、３次元変換されたシャドウビデオ信号Ｖ6と同じように３次元変換されたシャドウキー信号Ｋ6が出力される。
読み出しアドレス発生回路２４は、フレームメモリ２２及びフレームメモリ２３に対して供給する読み出しアドレスを生成するための回路である。点光源モード時には、スクリーンアドレス発生回路９からシーケンシャルに供給されるモニタスクリーン３上でのアドレス（ＸS、ＹS）と、ＣＰＵ８によって演算された画像変換行列のパラメータｂ11’〜ｂ33’とに基づいて、読み出しアドレス（ＸM’，ＹM’）を生成する。平行光源モード時には、スクリーンアドレス発生回路９からシーケンシャルに供給されるモニタスクリーン３上でのアドレス（ＸS、ＹS）と、ＣＰＵ８によって演算された画像変換行列のパラメータｂ11”〜ｂ33”とに基づいて、読み出しアドレス（ＸM”，ＹM”）を生成する。尚、この読み出しアドレス発生回路２４における具体的な演算は後述する。
スクリーンアドレス発生回路９は、モニタスクリーン３のスクリーン面全体を、ラスタスキャンの順に対応する順にアドレッシングするための回路である。具体的には、内部において発生された水平同期信号及び垂直同期信号に基づいて、スクリーンアドレス（ＸS、ＹS）が生成される。
第１のミキサ３０は、オブジェクト信号生成部１０とシャドウ信号生成部２０から供給された信号を混合するための回路である。点光源モード時には、第１のミキサ３０は、オブジェクト信号生成部１０から出力されたオブジェクトビデオ信号Ｖ2及びオブジェクトキー信号Ｋ2を受け取るとともに、シャドウ信号生成部２０から出力されたシャドウビデオ信号Ｖ4及びシャドウキー信号Ｋ4を受け取って、オブジェクトビデオ信号Ｖ2とシャドウビデオ信号Ｖ4とを混合した混合ビデオ信号ＶMIX’と、オブジェクトキー信号Ｋ2とシャドウキー信号Ｋ4とを混合した混合キー信号ＫMIX’とを生成する。具体的には、混合ビデオ信号ＶMIX’及び混合キー信号ＫMIX’は、次式
ＶMIX’＝Ｋ2Ｖ2＋（１−Ｋ2）Ｋ4Ｖ4
ＫMIX’＝１−（１−Ｋ2）（１−Ｋ4） …… （ａ）
と表すことができる。また、平行光源モード時には、オブジェクト信号生成部１０から出力されたオブジェクトビデオ信号Ｖ2及びオブジェクトキー信号Ｋ2を受け取るとともに、シャドウ信号生成部２０から出力されたシャドウビデオ信号Ｖ6及びシャドウキー信号Ｋ6を受け取って、オブジェクトビデオ信号Ｖ2とシャドウビデオ信号Ｖ6とを混合した混合ビデオ信号ＶMIX”と、オブジェクトキー信号Ｋ2とシャドウキー信号Ｋ6とを混合した混合キー信号ＫMIX”とを生成する。具体的には、混合ビデオ信号ＶMIX”及び混合キー信号ＫMIX”は、次式
ＶMIX”＝Ｋ2Ｖ2＋（１−Ｋ2）Ｋ6Ｖ6
ＫMIX”＝１−（１−Ｋ2）（１−Ｋ6） …… （ｂ）
と表すことができる。
第２のミキサ４０は、第１のミキサ３０から出力された混合ビデオ信号と外部から供給されたバックグラウンドビデオ信号ＶBKを混合するための回路である。点光源モード時には、第１のミキサ３０から出力された混合ビデオ信号ＶMIX’及び混合キー信号ＫMIX’を受け取ると共に、外部から供給されたバックグラウンドビデオ信号ＶBKを受け取り、混合キー信号ＫMIX’に基づいて、混合ビデオ信号ＶMIX’とバックグラウンドビデオ信号ＶBKとを混合し、アウトプットビデオ信号ＶOUT’を生成する。具体的には、このアウトプットビデオ信号ＶOUT’は、次式、
ＶOUT’＝ＫMIX’ＶMIX’＋（１−ＫMIX’）ＶBK …… （ｃ）
と表すことができる。点光源モード時には、第１のミキサ３０から出力された混合ビデオ信号ＶMIX”及び混合キー信号ＫMIX”を受け取ると共に、外部から供給されたバックグラウンドビデオ信号ＶBKを受け取り、混合キー信号ＫMIX”に基づいて、混合ビデオ信号ＶMIX”とバックグラウンドビデオ信号ＶBKとを混合し、アウトプットビデオ信号ＶOUT”を生成する。具体的には、このアウトプットビデオ信号ＶOUT”は、次式、
ＶOUT”＝ＫMIX”ＶMIX”＋（１−ＫMIX”）ＶBK …… （ｄ）
と表すことができる。生成されたアウトプットビデオ信号ＶOUT’又はＶOUT”は、外部に出力されると共に、モニタスクリーン３に表示される。
（２）ワールド座標系の定義
まず、図３を参照しながら、本発明の説明で使用されるワールド座標系について説明する。このワールド座標系とは、Ｘ、Ｙ及びＺ軸からなる３次元の直交座標系のことである。すなわち図３に示すように、Ｘ軸及びこれに直交するＹ軸で定義されるＸＹ平面上にスクリーン面３が存在するものとして、Ｘ軸をスクリーン面３の水平（左右）方向と定義し、Ｙ軸をスクリーン面３の垂直（上下）方向と定義する。
また、スクリーン面３の奥行方向を、ＸＹ平面に直交するＺ軸の正方向と定義し、スクリーン面３の手前側、すなわち、スクリーン面を見る視点ＰＺが存在する側をＺ軸の負方向と定義する。
さらに、スクリーン面３の中心が当該Ｘ軸、Ｙ軸、Ｚ軸でなるワールド座標系の原点と一致するものと定義する。
Ｘ軸にはスクリーン領域の内部（原点）から左右外部方向に向かつて連続した仮想的な座標値が設定されており、スクリーン領域内のＸ軸には、視点ＰＺからスクリーン面３を見て左側から右側に亘つて「−４」から「＋４」の間の仮想的な座標値が設定されている。
またＹ軸にはスクリーン領域の内部（原点）から上下外部方向に向かつて連続した仮想的な座標値が設定されており、スクリーン領域内のＹ軸には、視点ＰＺからスクリーン面３を見て下側から上側に亘つて「−３」から「＋３」の間の仮想的な座標値が設定されている。
さらに、オペレータの視点位置ＰＺは、Ｚ軸上において、その座標値が「−１６」となる位置に仮想的に設定されている。
（３）オブジェクトビデオ信号を生成するための変換処理の説明
まず、図４Ａ及び図４Ｂを参照しながら、ソースビデオ信号Ｖ0からオブジェクトビデオ信号Ｖ2を生成する変換処理を説明する。
まず、２次元のデータであるソースビデオ信号Ｖ0は、画像変換されずにそのままの状態でフレームメモリ１２に記憶される。従つて、図４Ａ及び図４Ｂに示すように、ソースビデオ信号Ｖ0は、ワールド座標系のＸＹ平面上に存在することにより、当該ＸＹ平面に存在するスクリーン面３上にソースビデオ信号Ｖ0の画像が表示される。
因みに図４Ａは、ワールド座標系の３次元座標で表される空間において、Ｚ軸上の視点ＰＺから、ＸＹ平面を見た状態を示ており、言い換えると、スクリーン面３に表示される映像を表している。また、図４Ｂは、ワールド座標系の３次元座標で表される空間において、Ｙ軸の正側の視点位置からＸＺ平面を見た状態を示している。よって、ＸＹ平面に存在するソースビデオ信号Ｖ0は、スクリーン面３と重なつている。
かかるソースビデオ信号Ｖ0に対して、オペレータがコントロールパネルの操作子を操作することによつてワールド座標空間での３次元画像変換処理が施される。すなわち、各フレームごとに設定されるパラメータからなる３次元変換行列Ｔ0を、オペレータの操作によつてソースビデオ信号Ｖ0の各画素に施すことにより、ソースビデオ信号Ｖ0を３次元的な空間位置に変換する。図４Ｂにおいては、この３次元画像変換処理されたビデオ信号を、３次元オブジェクトビデオ信号Ｖ1として表すことにする。図４Ａ及び図４Ｂの場合の３次元変換は、ソースビデオ信号Ｖ0をＸ軸を回転中心として約４５°回転し、さらにＺ軸の正方向に平行移動した場合の一例である。
３次元変換に用いられる３次元変換行列Ｔ0は、次式、
尚、この変換行列Ｔ0は、回転変換等の座標系と平行移動変換及び拡大縮小変換の座標系とを同じ１つの座標系内で表現しているので、４行４列の行列となり、一般的には、これを同次座標系（Ｈｏｍｏｇｅｎｅｏｕｓ Ｃｏｏｒｄｉｎａｔｅ）と称している。
かくして、ＸＹ平面に存在するソースビデオ信号Ｖ0が、３次元変換行列Ｔ0によって３次元オブジェクトビデオ信号Ｖ1で示される３次元的な位置に変換されると、次の透視変換処理に移る。
この透視変換処理とは、図４Ａ及び図４Ｂに示すように、３次元オブジェクトビデオ信号Ｖ1を、透視変換行列Ｐ0によって、ＸＹ平面に透視させる変換処理のことである。言い換えると、Ｚ軸上の仮想視点ＰＺから３次元オブジェクトビデオ信号Ｖ1を見たとき、ＸＹ平面に透視されるビデオ信号のイメージを求める変換である。図４Ｂでは、このようにＸＹ平面に透視されたビデオ信号を、２次元のオブジェクトビデオ信号Ｖ2と表している。図４Ｂの場合、ＸＹ平面上のスクリーン面３に透視されたオブジェクトビデオ信号Ｖ2は、仮想視点ＰＺから見てスクリーン面３の奥行き側にあたかも３次元オブジェクトビデオ信号Ｖ1が存在するかのようなビデオイメージである。
この透視変換行列Ｐ0は、次式、
３次元オブジェクトビデオ信号Ｖ1の透視変換によるスクリーン面３上への変換位置は、仮想視点ＰＺとスクリーン面３との距離、及び、仮想視点ＰＺと３次元オブジェクトビデオ信号Ｖ1との距離に応じて変化するものであり、仮想視点ＰＺの位置に応じてパースペクテイブ値Ｐzをオペレータが設定することにより、仮想視点ＰＺの位置に応じた透視変換を行うことができる。通常、視点ＰＺの位置がｚ軸の座標値「−16」であることから、パースペクテイブ値Ｐzは「１／16」が基準値となるように設定されている。
以上のように、ソースビデオ信号Ｖ0から２次元のオブジェクトビデオ信号Ｖ2を生成するための変換処理は、３次元変換行列Ｔ0によってソースビデオ信号Ｖ0から３次元オブジェクトビデオ信号Ｖ1を得るための空間的画像変換ステツプと、当該空間的画像変換ステツプによつて得られた３次元オブジェクトビデオ信号Ｖ1を透視変換行列Ｐ0によつて２次元のオブジェクトビデオ信号Ｖ2に変換する透視変換ステツプとから構成される。従つて、ソースビデオ信号Ｖ0から２次元のオブジェクトビデオ信号Ｖ2を得るための変換行列Ｔobjは、３次元変換行列Ｔ0と透視変換行列Ｐ0との乗算式として、次式、
ここで、本発明の特殊効果装置を用いた画像処理装置は、外部から供給された２次元のソースビデオ信号Ｖ0を、一旦、フレームメモリ１２に書込み、このフレームメモリ１２に対して演算された２次元の読出しアドレス（ＸS，ＹS）を供給することにより、当該フレームメモリ１２から読み出されるビデオ信号に対してオペレータが所望とする空間画像変換（３次元画像変換）を施すことができる。従つてフレームメモリ１２に記憶されるソースビデオ信号Ｖ0、及び、フレームメモリ１２から読み出されるオブジェクトビデオ信号Ｖ2は、共に、２次元のデータである。つまり、この２次元の読出しアドレス（ＸS，ＹS）の演算においては、３次元空間上のＺ軸方向のデータは、実質的に使用されない。
従つて、（３）式のＺ軸方向の成分をを演算するための３行目及び３列目のパラメータは、フレームメモリ１２に対する読出しアドレスを演算する際には必要とされない。
従つて、実際の２次元の読出しアドレスの演算に必要なパラメータを有した３次元変換行列をＴ33とすると、当該行列Ｔ33は、（３）式から３行目及び３列目のパラメータを除いた次式、
ここで、フレームメモリ１２上の位置ベクトルと、モニタスクリーン３上の位置ベクトルとの関係について説明する。
図５Ａにおいて、フレームメモリ１２上の２次元のアドレスを（ＸM、ＹM）及び位置ベクトルを〔ＸM ＹM〕とし、モニタスクリーン３上のアドレスを（ＸS、ＹS）及び位置ベクトルを〔ＸS ＹS〕とする。このフレームメモリ１２上の２次元の位置ベクトル〔ＸM ＹM〕を、同次座標系で表現すると、ベクトル〔ｘm ｙm Ｈ0〕と表すことができる。またモニタスクリーン５５上の位置ベクトル〔ＸS ＹS〕を同次座標系で表現すると、ベクトル〔ｘs ｙs １〕と表すことができる。
なお、この同次座標系のパラメータ「Ｈ0」は、ベクトルの大きさの拡大及び縮小率を表すパラメータである。
かくしてフレームメモリ１２上の位置ベクトル〔ｘm ｙm Ｈ0〕に対して、３次元変換行列Ｔ33を作用させることによつて、フレームメモリ１２上の位置ベクトル〔ｘm ｙm Ｈ0〕がモニタスクリーン３上の位置ベクトル〔ｘs ｙs １〕に変換される。従つて、フレームメモリ１２上の位置ベクトル〔ｘm ｙm Ｈ0〕とモニタスクリーン３上の位置ベクトル〔ｘs ｙs １〕との関係式は、次式、
なお、フレームメモリ１２上の位置ベクトル〔ｘm ｙm Ｈ0〕において使用されている同次座標系のパラメータ「Ｈ0」及び、モニタスクリーン３上の位置ベクトル〔ｘs ｙs １〕において使用されている同次座標系のパラメータ「１」との関係は、３次元変換行列Ｔ33によつて、フレームメモリ１２上の２次元の位置ベクトル〔ｘm ｙm〕が、モニタスクリーン３上の２次元の位置ベクトル〔ｘs ｙs〕に変換され、フレームメモリ１２上の２次元の位置ベクトル〔ｘm ｙm〕の拡大縮小率が「Ｈ0」が、モニタスクリーン３上の同次座標系の位置ベクトル〔ｘs ｙs〕の拡大縮小率「１」となるように変換されることを表している。
このように、（５）式は、フレームメモリ１２上の点に対応するモニタスクリーン２上の点を行列Ｔ33によつて求める関係式である。ここで、特殊効果装置を用いた画像処理装置では、ソースビデオ信号を変換前の状態でフレームメモリ１２に記憶し、変換行列Ｔ33によつて得られたモニタスクリーン３上の点に対応するフレームメモリ１２の点を読出しアドレスによつて指定することにより、ソースビデオ信号に対して空間的な画像変換を施すようになされている。つまり、フレームメモリ１２に書き込む際に、画像変換が行われるのではなくて、フレームメモリ１２から読み出される際に、画像変換が行われる。
このような画像処理装置においては、フレームメモリ１２上の点に対応するモニタスクリーン３上の点を求めるような（５）式による演算を行うのではなく、モニタスクリーン３上の点に対応するフレームメモリ１２上の点を求める必要がある。従つて（５）式を変換して、次式、
次に、フレームメモリＦＭ上の２次元の位置ベクトル〔ＸM ＹM〕を求めるために、変換行列Ｔ33及び逆行列Ｔ33 -1を以下のようにする。すなわち、変換行列Ｔ33の各要素を、
（８）式を（６）式に代入して、次式、
ここで、フレームメモリ１２上の同次座標系の位置ベクトル〔ｘm ｙm Ｈ0〕を、フレームメモリ１２上の２次元の位置ベクトル〔ＸM ＹM〕に変換する場合について説明する。
２次元の位置ベクトル〔ＸM ＹM〕を同次座標系で表すときに使用するパラメータ「Ｈ0」は、同次座標系の位置ベクトル〔ｘm ｙm〕の拡大縮小率を表すパラメータであることから、同次座標系の位置ベクトルを２次元の位置ベクトルに変換するためには、同次座標系の位置ベクトルの方向を示すパラメータ「ｘm」及び「ｙm」を、同次座標系の位置ベクトルの拡大縮小率を表すパラメータ「Ｈ0」で正規化すれば良い。従つて、モニタスクリーン３上の２次元の位置ベクトルの各パラメータ「ＸS」及び「ＹS〕は、次式、
よつて、フレームメモリ１２に対して供給される２次元の読み出しアドレス（ＸM、ＹM）は（１０）式から、次式、
次にＴ33 -1の各パラメータｂ11〜ｂ33を求める。
かくして、（２８）式〜（３７）式の値を（１３）式及び（１４）式に代入することにより、フレームメモリ１２に供給される読出しアドレス（ＸM、ＹM）は、
従つて（６）式〜（４０）式に対して、モニタスクリーン３のラスタスキヤン順に対応するようにアドレッシングするスクリーンアドレス（ＸS、ｙS）を供給すると、その供給されたスクリーンアドレスに対応したフレームメモリ１２上における読み出しアドレス（ＸM、ＹM）を、順に演算することができる。
（４）シャドウ座標系の説明
次に、図６を参照しながらシャドウ座標系について説明する。シャドウ座標系とは、ワールド座標系と同様に、ＸS、ＹS及びＺS軸からなる３次元の直交座標系によって定義される座標系である。図６に示すように、オブジェクトビデオ信号Ｖobjに対して付与されるシャドウをシャドウビデオ信号Ｖshadowとすると、シャドウビデオ信号Ｖshadowが投影される面をシャドウ座標系のＸＹ面とし、これをシャドウ面と称する。オブジェクトビデオ信号Ｖobjのシャドウを付与するための光源の存在する方向をシャドウ座標系のＺ軸の負方向とする。以下に説明するように、本発明の特殊効果装置は、この光源として、点光源を使用してシャドウを生成する点光源モードと、平行光源を使用してシャドウを生成する平行光源モードとを有し、オペレータが自由に設定することがでる。また、このワールド座標系のＸ、Ｙ及びＺ軸に対する、シャドウ座標系のＸS、ＹS及びＺS軸の夫々の角度は、オペレータが任意に角度を設定することができる。
（５）点光源モード時のシャドウビデオ信号を生成するための変換処理の説明
まず、図７Ａ及び図７Ｂを参照しながら、点光源モードのときにおいて、ソースビデオ信号を変換してシャドウビデオ信号Ｖ4を得るための変換処理について説明する。尚、図７Ａ及び図７Ｂは、図４Ａ及び図４Ｂと同じように、図７Ａは、ワールド座標系のＺ軸上に設定された視点ＰＺからワールド座標系のＸＹ平面を見たときの図であって、図７Ｂは、ワールド座標系のＸ軸の正方向の位置からワールド座標系のＹＺ平面を見たときの図である。
まず、先に図４Ａ及び図４Ｂを用いて説明したように、３次元変換行列Ｔ0によって、３次元の空間的位置に変換された３次元オブジェクトビデオ信号Ｖ1は、点光源による透視変換行列ＰSPOTによってシャドウ座標のＸSＹS平面へ透視変換される。これは、点光源６０を視点としたときに、点光源６０から、３次元オブジェクトビデオ信号Ｖ1を見た時に、シャドウ座標系のＸSＹS平面に透視されるビデオ信号を求めることを意味する。図７Ｂにおいては、シャドウ座標系のＸSＹS平面に透視されたビデオ信号を、３次元シャドウビデオ信号Ｖ3として表すことにする。この点光源による透視変換行列ＰSPOTの詳しい説明については、後述する。
次に、３次元シャドウビデオ信号Ｖ3を、先に説明した透視変換行列Ｐ0によって、ワールド座標系のＸＹ平面に透視されるように透視変換する。これは、Ｚ軸上の仮想視点ＰＺから、３次元シャドウビデオ信号Ｖ3を見た時に、ワールド座標系のＸＹ平面に透視されるビデオ信号を求めることを意味する。図７Ｂにおいては、ワールド座標系のＸＹ平面に透視されたビデオ信号を、２次元のシャドウビデオ信号Ｖ4として表すことにする。
図７Ｂに示される以上の処理をまとめる。点光源モードのときにおいて、２次元のソースビデオ信号Ｖ0から２次元のシャドウビデオ信号Ｖ4を求めるための変換処理は、オブジェクトビデオ信号Ｖ0を３次元変換行列Ｔ0によって３次元変換して３次元オブジェクトビデオ信号Ｖ1を得るための３次元変換ステップと、この３次元オブジェクトビデオ信号Ｖ1を、点光源による透視変換行列ＰSPOTによってシャドウ座標系のＸSＹS平面に透視して３次元シャドウビデオ信号Ｖ3を得るための透視変換ステップと、この３次元シャドウビデオ信号Ｖ3を、透視変換行列Ｐ0によってワールド座標系のＸＹ平面に透視して、２次元のシャドウビデオ信号Ｖ4を得るためのステップとから構成される。よって、２次元のソースビデオ信号Ｖ0から２次元のシャドウビデオ信号Ｖ4を求めるための変換行列Ｔshadow’は、次式、
次に、図８及び図９を参照して、点光源を使用したときの点光源による透視変換行列ＰSOPTについて説明する。図８は、シャドウ座標系のＸS軸方向からＹSＺS平面を見た時の図であって、点光源６０と３次元オブジェクトビデオＶ1と３次元シャドウビデオＶ3との位置関係を示している。尚、この点光源による透視変換行列ＰSOPTは、点光源を使用した点光源モードの時に、３次元オブジェクトビデオＶ1から３次元シャドウビデオＶ3を求めるための変換行列である。
図９Ａは、点光源６０に対する変換処理のフローを示し、図９Ｂはオブジェクトビデオ信号に対する変換処理のフローを示している。
まず、図９Ａを参照して点光源６０に対する変換処理のフローを説明する。
ステップＳＰ１では、変換行列Ｆ-1によって、ワールド座標系で示される点光源６０の位置をシャドウ座標系に変換する。この理由は、後のステップＳＰ５で説明する透視変換行列ＰS0’は、ワールド座標系での透視変換行列ではなくて、シャドウ座標系での透視変換行列であるからである。よって、透視変換行列ＰS0’によって、３次元オブジェクトビデオ信号Ｖ1をシャドウ座標系のＸSＹS平面に透視させる場合には、ワールド座標系で表される点光源６０の位置をシャドウ座標系に変換する必要がある。
ここで、この変換行列Ｆ-1に関して具体的に説明する。まず、ワールド座標系のＸ軸に対するシャドウ座標系のＸS軸の回転角をθX、ワールド座標系のＹ軸に対するシャドウ座標系のＹS軸の回転角度をθY、ワールド座標系のＺ軸に対するシャドウ座標系のＺS軸の回転角度をθZ、シャドウ座標系の原点を（ｘS0，ｙS0，ｚS0）とする。ここで、ワールド座標系からシャドウ座標系への変換行列Ｆ-1に対して、逆行列の関係にあるシャドウ座標系からワールド座標系への変換行列Ｆは、回転行列と移動行列の積で簡単に表現できるので、まず、シャドウ座標系からワールド座標系への変換行列Ｆを求めることにする。このシャドウ座標系からワールド座標系への変換行列Ｆは、次式、
よって、シャドウ座標系からワールド座標系への変換行列Ｆと、ワールド座標系からシャドウ座標系への変換行列Ｆ-1とは逆行列の関係にあるので、変換行列Ｆ-1は、
ステップＳＰ２では、図８に示すように、平行移動行列ＴXsYs -1によって、点光源６０の位置を、ＺS軸上の仮想点光源６１の位置に移動する。この理由は、３次元オブジェクトビデオＶ1に対する３次元シャドウビデオＶ3を求めるためには、点光源６０の位置から、３次元オブジェクトビデオＶ1を見たときに、３次元オブジェクトビデオＶ1をシャドウ座標系のＸSＹS平面に透視させることによって３次元シャドウビデオＶ3を得ることができる。但しこの透視変換処理を行うためには、視点とされる点光源がＺS軸上に位置する必要がある。よって、平行移動行列ＴXsYS -1によって、点光源６０の位置を、ＺS軸上の仮想点光源６１の位置に平行移動する。
ここで、予めオペレータによって設定された点光源６０の座標を（ｘL，ｙL，ＺL）とすると、この平行移動行列ＴXsYS -1は、
ステップＳＰ１及びステップＳＰ２によって、点光源に対する変換処理は終了する。
次に、図９Ｂを参照して３次元オブジェクトビデオ信号Ｖ1から３次元シャドウビデオ信号を生成するための透視変換行列ＰSPOTについて説明する。
ステップＳＰ３では、ステップＳＰ１と同様に、変換行列Ｆ-1によって、ワールド座標系で示される３次元オブジェクトビデオ信号Ｖ1をシャドウ座標系に変換する。この理由は、後述するステップＳＰ５において使用される透視変換行列ＰS0’は、ワールド座標系での透視変換行列ではなくて、シャドウ座標系での透視変換行列であるためである。よって、透視変換行列ＰS0’によって、３次元オブジェクトビデオＶ1をシャドウ座標系のＸSＹS平面に透視させる場合には、ワールド座標系で表される３次元オブジェクトビデオＶ1をシャドウ座標系に変換する必要がある。
ステップＳＰ４では、ステップＳＰ２と同様に、図８に示すように、平行移動行列ＴXsYs -1によって、３次元オブジェクトビデオ信号Ｖ1を、シャドウ座標系のＸSＹS平面に平行に移動する。図８では、平行移動されたビデオ信号を仮想３次元オブジェクトビデオ信号Ｖ1’と表すことにする。このように平行移動する理由は、ステップＳＰ２で、平行移動行列ＴXsYS -1によって、点光源６０の位置を、ＺS軸上の仮想光源６１に位置するように平行移動したので、この点光源６０に対する３次元オブジェクトビデオ信号Ｖ1の相対的な位置関係と、仮想点光源６１に対する仮想オブジェクトビデオ信号Ｖ1’の相対的な位置関係とが変化しないように、平行移動行列ＴXsYS -1によって、３次元オブジェクトビデオ信号Ｖ1も平行移動する必要があるからある。
次に、ステップＳＰ５では、透視変換行列ＰSO’によって、仮想３次元オブジェクトビデオ信号Ｖ1’を、シャドウ座標系のＸSＹS平面に透視させる。図８では、シャドウ座標系のＸSＹS平面に透視されたビデオ信号を、仮想３次元シャドウビデオ信号Ｖ3’と表すことにする。この仮想３次元シャドウビデオ信号Ｖ3’は、仮想点光源６１を視点として、仮想点光源６１から仮想３次元オブジェクトビデオ信号Ｖ1’を見たときに、シャドウ座標系のＸSＹS平面に透視されるビデオ信号である。
具体的には、この透視変換行列ＰSO’は、式（２）で示される透視変換行列Ｐ0と視点ＰＺとの関係から、透視する際の視点が仮想点光源６１の位置、即ち、（０，０，ｚL）の位置あると考えれば良いので、式（２）において、「ＰZ」を「−１／ｚL」に置き換えることによって透視変換行列ＰSO’が得られる。よって、透視変換行列ＰSO’は、
次に、ステップＳＰ６では、平行移動行列ＴXsYsによって、仮想３次元シャドウビデオ信号Ｖ3’を、シャドウ座標系のＸSＹS平面に平行に移動する。図８では、平行移動されたビデオ信号を３次元シャドウビデオ信号Ｖ3と表すことにする。図８からもわかるように、３次元シャドウビデオ信号Ｖ3は、点光源６０を視点とし、点光源６０の位置から３次元オブジェクトビデオ信号Ｖ1を見たときに、シャドウ座標系のＸSＹS平面に透視されるビデオ信号である。このように移動する理由は、ステップＳＰ４で、平行移動行列ＴXsYs -1によって、３次元オブジェクトビデオ信号Ｖ1を平行移動したので、その平行移動行列ＴXsYs -1による平行移動処理を元に戻すためである。
ここで、平行移動行列ＴXsYS -1と平行移動行列ＴXsYSは、逆行列の関係にあるので、平行移動行列ＴXsYSは、
次に、ステップＳＰ７において、式（４２）によって示される変換行列Ｆによって、シャドウ座標系で表される３次元シャドウビデオ信号Ｖ3を、ワールド座標系に変換する。これによって、ワールド座標系の座標値で示される３次元シャドウビデオ信号Ｖ3を得ることができる。
図９Ｂのフローに示される処理をまとめる。ワールド座標系の３次元オブジェクトビデオ信号Ｖ1からワールド座標系の３次元シャドウビデオ信号を求めるための処理は、３次元オブジェクトビデオ信号Ｖ1をワールド座標系からシャドウ座標系に変換するステップ（ＳＰ３）と、シャドウ座標系において、３次元オブジェクトビデオ信号をシャドウ座標系のＸSＹS面に投影してシャドウ座標系の３次元シャドウビデオ信号を生成するステップ（ＳＰ４，ＳＰ５及びＳＰ６）と、シャドウ座標系の３次元シャドウビデオ信号を、シャドウ座標系からワールド座標系に変換するステップ（ＳＰ７）とから構成される。
従って、ワールド座標系の３次元オブジェクトビデオ信号Ｖ1からワールド座標系の３次元シャドウビデオ信号を求めるための点光源による透視変換行列ＰSOPTは、変換行列Ｆ-1と、平行移動行列ＴXsYs -1と、透視変換行列ＰS0’と、平行移動行列ＴXsYs -1と、変換行列Ｆ-1の乗算式で表すことができるので、次式
よって、この変換行列ＰSOPTを式（４１）に代入すると、点光源モードのときに、２次元のソースビデオ信号から２次元のシャドウビデオ信号Ｖ4を求めるための変換行列Ｔshadow’は、
ここで、この変換行列Ｔshadow’に基づいて、シャドウビデオ信号Ｖ4をフレームメモリ２２から読み出すための読み出しアドレスを演算する方法は、式（３）に示される行列Ｔobjに基づいて、オブジェクトビデオ信号Ｖ2をフレームメモリ１２から読み出すための読み出しアドレス（ＸM，ＹM）を求める演算方法と全く同様である。つまり、式（３）から式（１４）に示される演算と全く同様の演算方法である。
具体的には、この変換行列Ｔshadow’は、４行４列の行列であるので、式（４）と同様に、Ｚ軸方向の成分（３行目及び３列目）を除いた行列をＴ33shadow’とし、この行列Ｔ33shadow’の逆行列の（Ｔ33shadow’）-1の各パラメータを、次式、
よつて、フレームメモリ２２に供給される読み出しアドレス（ＸM’、ＹM’）を、オペレータの所望の空間的画像変換処理によって決定される３次元変換行列Ｔ0の各パラメータ（ｒ11〜ｒ33、ｌx、ｌy、ｌz及びｓ）、及び、予め設定されるパラメータであるパースペクテイブ値Ｐz、点光源の位置（ｘL，ｙL，ｚL）、シャドウ座標系の各軸の回転角（θX，θY，θZ）、シャドウ座標系の原点の位置（ｘS0，ｙS0，ｚS0）を用いて表すことができる。
従つて（６）式〜（４０）式に対して、モニタスクリーン３のラスタスキヤン順に対応するようにアドレッシングするためのスクリーンアドレス（ＸS、ＹS）を供給すると、その供給されたスクリーンアドレスに対応したフレームメモリ２２上における読み出しアドレス（ＸM’，ＹM’）を、順に演算することができる。これによって、２次元のオブジェクトビデオ信号Ｖ2に対応した２次元のシャドウビデオ信号Ｖ4を生成することができる。
（６）平行光源モード時において、シャドウビデオ信号を生成するための変換処理の説明。
まず、図１０Ａ及び図１０Ｂを参照しながら、平行光源を使用した平行光源モードの時に、３次元オブジェクトビデオ信号Ｖ1から３次元シャドウビデオ信号Ｖ5を求めるための変換処理について説明する。尚、図１０Ａ及び図１０Ｂは、図７Ａ及び図７Ｂと同じように、図１０Ａは、ワールド座標系のＺ軸上に設定された視点ＰＺからワールド座標系のＸＹ平面を見たときの図であって、図１０Ｂは、ワールド座標系のＸ軸の正方向の位置からワールド座標系のＹＺ平面を見たときの図である。
まず、３次元変換行列Ｔ0によって、３次元の空間的位置に変換された３次元オブジェクトビデオ信号Ｖ1は、平行光源による透視変換行列ＰPARAによって、シャドウ座標のＸSＹS平面へ投影される。図１０Ｂにおいては、シャドウ座標系のＸSＹS平面に透視されたビデオ信号を、３次元シャドウビデオ信号Ｖ5として表すことにする。この平行光源による透視変換行列ＰPARAは、３次元オブジェクトビデオ信号Ｖ1を透視変換して、３次元シャドウビデオ信号Ｖ5を求めるための変換行列である。
次に、３次元シャドウビデオ信号Ｖ5は、先に説明した透視変換行列Ｐ0によって、ワールド座標系のＸＹ平面に投影される。これは、Ｚ軸上の仮想視点ＰＺから、３次元シャドウビデオ信号Ｖ5を見た時に、ワールド座標系のＸＹ平面に透視されるビデオ信号を求めることを意味する。図１０Ｂにおいては、ワールド座標系のＸＹ平面に透視されたビデオ信号を、２次元のシャドウビデオ信号Ｖ6として表すことにする。
図１１Ｂのフローに示される以上の処理をまとめる。平行光源モードにおいて、２次元のソースビデオ信号Ｖ0から２次元のシャドウビデオ信号Ｖ6を求めるための変換処理は、ソースビデオ信号Ｖ0を３次元変換行列Ｔ0によって３次元変換して３次元オブジェクトビデオ信号Ｖ1を得るための３次元変換ステップと、この３次元オブジェクトビデオ信号Ｖ1を、平行光源による透視変換行列ＰPARAによってシャドウ座標系のＸSＹS平面に透視して３次元シャドウビデオ信号Ｖ5を得るための透視変換ステップと、この３次元シャドウビデオ信号Ｖ5を、透視変換行列Ｐ0によってワールド座標系のＸＹ平面に透視して、２次元のシャドウビデオ信号Ｖ6を得るためのステップとから構成される。よって、２次元のソースビデオ信号Ｖ0から２次元のシャドウビデオ信号Ｖ6を求めるための変換行列Ｔshadow”は、次式、
次に、図１１から図１４を参照して、平行光源を使用した時の平行光源による透視変換行列ＰPARAについて説明する。
図１１Ａは、平行光源７０に対する変換処理のフローを示し、図１１Ｂは、３次元オブジェクトビデオ信号Ｖ1に対する変換処理のフローを示している。
まず、図１１Ａを参照しながら、平行光源７０に対する変換処理のフローを説明する。
ステップＳＰ１１では、ワールド座標系における球面座標によって定義されている平行光源７０の座標を、ワールド座標系の直交座標に変換する。平行光源の位置は、直交座標系で表すよりも、球面座標系で表すほうが一般的である。球面座標系とは、平行光源の位置を「半径（ｒ）」、「緯度（α）」及び「経度（β）」で表す座標系である。図１２Ａは、ワールド座標系において、直交座標と球面座標の関係を示した図である。図１２Ａに示すように、直交座標系と球面座標系の関係は、緯度（α）の基準をＹ軸の負方向とし、経度の基準をＸＹ平面としている。つまり、球面座標の赤道面が直交座標のＸＹ平面に一致し、緯度０（rad）、経度（rad）の方向がＹ軸のマイナス方向に一致する。よって、球面座標で定義された平行光源７０の位置を（ｒ，α，β）、直交座標に変換された平行光源の位置を（ｘL，ｙL，ｚL）とすると、この光源位置（ｘL，ｙL，ｚL）は、
ステップＳＰ１２では、変換行列Ｆ-1によって、平行光源の座標をワールド座標系からシャドウ座標系に変換する。変換行列Ｆ-1については、ステップＳＰ１で説明したので、説明は省略する。シャドウ座標系に変換された光源の位置を（ｘL’，ｙL’，ｚL’）とすると、同次座標系であらわしたワールド座標系での光源のベクトル〔ｘL ｙL ｚL １〕と、同次座標系であらわしたシャドウ座標系での光源のベクトル〔ｘL’ ｙL’ ｚL’ １〕と、変換行列Ｆ-1との関係は、次式、
ステップＳＰ１３では、ステップＳＰ１２で求めされたシャドウ座標系における直交座標での光源の位置（ｘL’，ｙL’，ｚL’）を、シャドウ座標系における球面座標で表すように変換する。図１２Ｂは、シャドウ座標系での直交座標と球面座標との関係を示すための図である。図１２Ｂに示すように、シャドウ座標系における直交座標系と球面座標系の関係は、緯度（αS）の基準をＹS軸の負方向とし、経度（βS）の基準をＸSＹS平面としている。つまり、球面座標の赤道面が直交座標のＸSＹS平面に一致し、緯度０（rad）、経度０（rad）の方向がＹS軸のマイナス方向に一致する。
よって、シャドウ座標系における直交座標で表された光源の位置（ｘL’，ｙL’，ｚL’）と、球面座標で表された光源の位置（ｒ’，α’，β’）との関係は、
次に、ステップＳＰ１４では、図１３に示すように、回転行列ＲZ（−α’）によって、ステップＳＰ１３で求めされた平行光源の位置（ｒ’，α’，β’）を、シャドウ座標系のＺS軸の回りに−α’（rad）回転する。つまり、回転処理後の平行光源の位置は（ｒ’，０，β’）と表すことができる。図１３では、回転行列ＲZ（−α’）によって回転された光源を仮想平行光源７１として表す。このように平行光源７０の位置を回転することによって、図１１に示すように、平行光源７１の光束は、ＹSＺS平面に平行になる。このように、平行光源７１の光束をＹSＺS平面に平行になるように回転変換する理由は、後述するステップＳＰ１７において、オブジェクトビデオ信号Ｖ1を、透視変換行列ＰS0”によってシャドウ座標系のＸSＹS平面に透視させる際に、入射する平行光源の光束がＹSＺS平面に平行であると、３次元オブジェクトビデオ信号をＸSＹS平面に透視させたとしても、ＸS軸方向の座標値が変化しないので、オブジェクトビデオ信号をＸSＹS平面に透視させるための透視変換行列ＰS0”が非常に簡単に表せるからである。
具体的には、回転行列ＲZ（−α’）はＺS軸回りの回転行列であるので、回転行列ＲZ（−α’）は、
ステップＳＰ１１、ステップＳＰ１２、ステップＳＰ１３及びステップＳＰ１４によって、平行光源７０に対する変換処理は終了する。
次に、図１１Ｂを参照して、平行光源を使用した平行光源モードのときに、３次元オブジェクトビデオ信号Ｖ1から３次元シャドウビデオ信号Ｖ5を生成するための透視変換行列ＰPARAについて説明する。
ステップＳＰ１５では、ステップＳＰ１１と同様に、変換行列Ｆ-1によって、ワールド座標系で示される３次元オブジェクトビデオ信号Ｖ1をシャドウ座標系に変換する。この理由は、ステップＳＰ１１で説明した平行光源に対する処理と同様に、後述する透視変換行列ＰS0”は、ワールド座標系における透視変換行列ではなくて、シャドウ座標系における透視変換行列であるためである。よって、３次元オブジェクトビデオＶ1をシャドウ座標系のＸSＹS平面に透視させる場合には、ワールド座標系で表される３次元オブジェクトビデオＶ1の各画素位置をシャドウ座標系に変換する必要がある。
ステップＳＰ１６では、ステップＳＰ１５でシャドウ座標系に変換されたオブジェクトビデオ信号Ｖ1を、回転行列ＲZ（−α’）によって、Ｚ軸の回りに−α’（rad）回転する。この理由は、図１３に示すように、ステップＳＰ１４において、回転行列ＲZ（−α’）によって平行光源７０の位置（ｒ’，α’，β’）を、Ｚ軸の回りに−α’（rad）回転したので、その平行光源７０の回転処理と対応するように、オブジェクトビデオ信号Ｖ1を、回転する必要があるからである。尚、図１３に示すように、回転行列ＲZ（−α’）によってＺS軸の回りに−α’（rad）回転された３次元オブジェクトビデオ信号を、仮想３次元オブジェクトビデオ信号Ｖ1”と表すことにする。よって、シャドウ座標系の原点に対する、３次元オブジェクトビデオ信号Ｖ1と平行光源７０の相対的な位置関係と、シャドウ座標系の原点に対する、仮想３次元オブジェクトビデオ信号Ｖ1”と仮想平行光源７１の相対的な位置関係は、全く同じである。
次に、ステップＳＰ１７において、透視変換行列ＰS0”によって、仮想３次元オブジェクトビデオ信号Ｖ1”を、シャドウ座標系のＸSＹS平面に透視する。図１４Ａ及び図１４Ｂを参照しながら、この透視変換行列を説明する。まず、図１３、図１４Ａ及び図１４Ｂに示すように、仮想オブジェクトビデオ信号Ｖ1”を、透視変換行列ＰS0”によってＸSＹS平面に透視したビデオ信号を、仮想３次元シャドウビデオ信号Ｖ5”と表すことにする。図１２Ａは、この仮想３次元オブジェクトビデオ信号Ｖ1”と、仮想３次元シャドウビデオ信号Ｖ5”との位置関係を３次元的に表している図面であって、図１２Ｂは、ＸS軸の正方向からＹSＺS平面を見たときの仮想３次元オブジェクトビデオ信号Ｖ1”と、仮想３次元シャドウビデオ信号Ｖ5”との位置関係を表している図面である。ここで、仮想オブジェクトビデオ信号Ｖ1”上のある画素点を（ｘ0，ｙ0，ｚ0）とし、この画素（ｘ0，ｙ0，ｚ0）を透視変換行列ＰS0”によってＸSＹS平面に透視した仮想シャドウビデオ信号Ｖ5上の画素点を（ｘS，ｙS，ｚS）とすると、図１４Ｂに示される幾何学的な関係から、
次に、ステップＳＰ１８において、回転行列ＲZ（α’）よって、仮想シャドウビデオ信号Ｖ5”をＺS軸の回りに回転移動する。図１３においては、回転移動されたビデオ信号を３次元シャドウビデオ信号Ｖ5として表している。図１３からもわかるように、３次元シャドウビデオ信号Ｖ5は、３次元オブジェクトビデオ信号Ｖ1を、平行光源７０によってシャドウ座標系のＸSＹS平面に透視したビデオ信号である。このように移動する理由は、ステップＳＰ１６で、回転行列ＲZ（−α’）によって、３次元オブジェクトビデオ信号Ｖ1を回転移動したので、その回転行列ＲZ（−α’）による回転移動処理を元に戻すためである。
つまり、回転行列ＲZ（−α’）と回転行列ＲZ（α’）とは、逆行列の関係にあるので、回転行列ＲZ（α’）は、
つぎに、ステップＳＰ１９では、式（４２）によって示される変換行列Ｆによって、シャドウ座標系で表される３次元シャドウビデオ信号Ｖ5を、ワールド座標系に変換する。これによって、ワールド座標系の座標値で示される３次元シャドウビデオ信号Ｖ5を得ることができる。
図１１Ｂのフローに示される処理をまとめると、ワールド座標系の３次元オブジェクトビデオ信号Ｖ1からワールド座標系の３次元シャドウビデオ信号Ｖ5を求めるための処理は、３次元オブジェクトビデオ信号Ｖ1をワールド座標系からシャドウ座標系に変換するステップ（ＳＰ１５）と、シャドウ座標系において、３次元オブジェクトビデオ信号をシャドウ座標系のＸSＹS面に投影してシャドウ座標系の３次元シャドウビデオ信号を生成するステップ（ＳＰ１６，ＳＰ１７及びＳＰ１８）と、シャドウ座標系の３次元シャドウビデオ信号を、シャドウ座標系からワールド座標系に変換して、ワールド座標系の３次元シャドウビデオ信号Ｖ5を得るためのステップ（ＳＰ１９）とから構成される。
従って、ワールド座標系の３次元オブジェクトビデオ信号Ｖ1からワールド座標系の３次元シャドウビデオ信号Ｖ5を求めるための透視変換行列ＰPARAは、変換行列Ｆ-1と、回転行列ＲZ（−α’）と、透視変換行列ＰS0”と、回転行列ＲZ（α’）と、変換行列Ｆ-1の乗算式で表すことができるので、次式
よって、この変換行列ＰPARAを式（６０）に代入すると、平行光源モードのときに、２次元のソースビデオ信号から２次元のシャドウビデオ信号Ｖ4を求めるための変換行列Ｔshadow”は、
ここで、この変換行列Ｔshadow”に基づいて、２次元のシャドウビデオ信号Ｖ6をフレームメモリ２２から読み出すための読み出しアドレスを演算する演算方法は、式（３）に示される行列Ｔobjに基づいて、２次元のオブジェクトビデオ信号Ｖ2をフレームメモリ１２から読み出すための読み出しアドレス（ＸM，ＹM）を求める演算方法と全く同様である。つまり、式（３）から式（１４）に示される演算と全く同様の演算方法である。
具体的には、この行列Ｔshadow”は、４行４列の行列であるので、式（４）と同様に、Ｚ軸方向の成分（３行目及び３列目）を除いた行列をＴ33shadow”とし、この変換行列Ｔ33shadow”の逆行列（Ｔ33shadow”）-1の各パラメータを、次式
よつて、フレームメモリ２２に供給される読み出しアドレス（ＸM”、ＹM”）を、オペレータの所望の空間的画像変換処理によつて決定される３次元変換行列Ｔ0の各パラメータ（ｒ11〜ｒ33、ｌx、ｌy、ｌz及びｓ）、及び、予め設定されるパラメータであるパースペクテイブ値Ｐz、点光源の位置（ｘL，ｙL，ｚL）、シャドウ座標系の各軸の回転角（θX，θY，θZ）、シャドウ座標系の原点の位置（ｘS0，ｙS0，ｚS0）を用いて表すことができる。
従つて（６）式〜（４０）式に対して、モニタスクリーン３のラスタスキヤン順に対応するようにアドレッシングするためのスクリーンアドレス（ＸS、ＹS）を供給すると、その供給されたスクリーンアドレスに対応したフレームメモリ２２上における読み出しアドレス（ＸM”，ＹM”）を、順に演算することができる。これによって、２次元のオブジェクトビデオ信号Ｖ2に対応した２次元のシャドウビデオ信号Ｖ6を生成することができる。
（７）シャドウ座標系の設定に関する説明
先に説明したように、オブジェクトビデオ信号に対するシャドウが投影されるシャドウ面を規定するためのシャドウ座標系を設定するためには、ワールド座標系のＸ軸、Ｙ軸及びＺ軸に対するシャドウ座標系のＸS軸、ＹS軸及びＺS軸の夫々の回転角（θX、θY、θZ）、ワールド座標系の原点に対するシャドウ座標系の原点位置（ｘS0，ｙS0，ｚS0）の設定が必要である。本発明の特殊効果装置においては、前述したように、オペレータが任意にシャドウ座標系のＸS軸、ＹS軸及びＺS軸の各回転角及びシャドウ座標系の原点を設定することで、ようになっている。式（４２）及び式（４７）に対して、各軸の回転角（θX、θY、θZ）及び原点の座標（ｘS0，ｙS0，ｚS0）が代入される。しかし、このようにシャドウ座標系の原点としてオペレータが適当な位置を設定すると、図１５Ａに示すように、３次元変換されたオブジェクトビデオ信号Ｖ1と３次元シャドウビデオ信号Ｖ5とが、空間的に離れてしまうことがある。このようなことが起こる理由は、３次元オブジェクトビデオ信号Ｖ1が、シャドウ面上に存在していない、つまり、言い換えると、シャドウ面上に３次元オブジェクトビデオ信号Ｖ1が存在するように、シャドウ面を設定することができていないということである。もちろん、オペレータが、図１５Ａに示されるようなシャドウ面を望んでいるのであれば問題は無い。しかし、光源からの光によって、地面上に存在するある物体に対してシャドウが付けられるような効果を得るためには、この地面をシャドウが投影されるシャドウ面として設定する必要がある。つまり、空間的に、３次元オブジェクトビデオ信号Ｖ1がシャドウ面上に存在するように、シャドウ座標系の原点を設定する必要がある。そのために、本発明の特殊効果装置は、シャドウ座標系の原点を自動的に設定するための原点設定モードを有している。
この原点設定モードとは、まず、オペレータがソースビデオ信号Ｖ0上のある点を指定する。この指定された点を、３次元変換行列Ｔ0によって３次元空間上に変換し、その３次元空間上に変換されたオブジェクトビデオ信号Ｖobj上の対応する点を、シャドウ座標系の原点とする。これによって、３次元オブジェクトビデオ信号Ｖobj上の点にシャドウ座標系の原点が設定されるので、結果的に、３次元オブジェクトビデオ信号Ｖobjがシャドウ面上に存在することになる。
具体的には、図１５Ｂに示されるように、ソースビデオ信号Ｖ0の右上の点をａ、左上に点をｂ、左下の点をｃ、及び、右下の点をｄとし、これに対応する３次元オブジェクトビデオ信号Ｖobj上の点を、ａ’、ｂ’、ｃ’及びｄ’とする。また、そのソースビデオ信号Ｖ0の４点をａ、ｂ、ｃ及びｄの夫々の座標を、（ｘa，ｙa，０）、（ｘb，ｙb，０）、（ｘc，ｙc，０）及び（ｘd，ｙd，０）とし、３次元オブジェクトビデオ信号Ｖobj上の点ａ’、ｂ’、ｃ’及びｄ’の夫々の座標を、（ｘa’，ｙa’，ｚa’）、（ｘb’，ｙb’，ｚb’）、（ｘc’，ｙc’，ｚc’）及び（ｘd’，ｙd’，Ｚd’）とする。
次に、オレペレータによって、ソースビデオ信号Ｖ0上の点ｄが指定された場合を例にあげ説明する。オペレータによって指定されたソースビデオ信号Ｖ0上の点ｄ（ｘd，ｙd，０）を、３次元変換行列Ｔ0によって変換したオブジェクトビデオ信号Ｖobj上の対応するは、ｄ’（ｘd’，ｙd’，ｚd’）である。ここで、点ｄ（ｘd，ｙd，０）と点ｄ’（ｘd’，ｙd’，ｚd’）とを、夫々、同次座標系のベクトルであらわすと、ベクトル〔ｘd ｙd ０ １〕、ベクトル〔ｘd’ｙd’ｚd’１〕となるので、これらのベクトルと、３次元変換行列Ｔ0との関係は、次式、
よって、この式（７３）により、
よって、式（４２）及び式（４７）に示される移動行列Ｌのパラメータであるシャドウ座標系の原点（ｘS0，ｙS0，ｚS0）に、式（７４）によって得られた（ｘd’，ｙd’，ｚd’）を代入することによって、３次元オブジェクトビデオ信号Ｖ1上の点にシャドウ座標系の原点が設定される。つまり、３次元空間上で、３次元オブジェクトビデオ信号Ｖ1がシャドウ面上に存在するように、シャドウ座標系が設定されたことになる。これによって、本発明の特殊効果装置は、太陽からの光によって、地上に存在する物体の影が地面上に投影されるような自然な効果を得ることができる。
（８）特殊効果装置の動作及び効果の説明
次に、この特殊効果装置の動作及び本発明の効果を説明する。
まず、オペレータは、コントロールパネル５に設けられた３次元ポインティングデバイスやキー等を操作して、本発明の特殊効果装置で使用される読み出しアドレスの演算に必要とされる各パラメータを入力する。ここで、この読み出しアドレスの演算に必要なパラメータとは、パースペクティブ値Ｐz、シャドウ座標系のＸS軸、ＹS軸及びＺS軸の夫々の回転角（θX、θY、θZ）、シャドウ座標系の原点（ｘS0，ｙS0，ｚS0）、平行光源であるか点光源であるかを示す光源の種類、その光源の位置（ｘL，ｙL，ｚL）又は（ｒ，α，β）等である。また、シャドウ座標系の原点を自動設定するモードが指定されている場合には、ソースビデオ信号の４隅の点（ａ〜ｄ）のうちのどれが指定されているかを示すデータが、コントロールパネル５から入力される。
まず、光源の種類として、点光源が指定された場合を例にあげ説明する。
ＣＰＵ８は、コントロールパネル５から入力されるこれらのパラメータを受け取り、リアルタイムに読み出しアドレスの演算に反映させる。具体的には、ＣＰＵ８は、コントロールパネル５から供給されるパラメータの変化をフレーム周期で監視し、且つ、供給されたパラメータに基づいて読み出しアドレスを演算するためのパラメータ（ｂ11〜ｂ33，ｂ11’〜ｂ33’）をフレーム周期で演算している。よって、オペレータの操作に応じてフレーム周期でこれらのパラメータをリアルタイムに可変することができ、そして、その可変されたパラメータに応じて、リアルタイムに読み出しアドレスが演算される。また、ＣＰＵ８は、これらのパラメータを、設定値としてフレーム毎にＲＡＭ７に記憶することもできる。尚、この段階では、オペレータは、ソースビデオ信号Ｖ0に対して３次元画像変換の指示を行っていないので、モニタスクリーン３には、ソースビデオ信号Ｖ0が表示されている。
次に、オペレータは、コントロールパネル５に設けられた３次元ポインティングデバイス等を操作することによって、ソースビデオ信号Ｖ0に対して３次元の画像変換操作を指令する。オペレータによって３次元の画像変換が指令されると、ＣＰＵ８は、オペレータが指定した３次元変換行列Ｔ0の各パラメータである、ｒ11〜ｒ33、ｌX、ｌY、ｌZ及びｓをコントロールパネル５から受け取り、これらのパラメータをリアルタイムに読み出しアドレスの演算に反映させる。具体的には、ＣＰＵ８は、コントロールパネル５から供給されるこれらのパラメータの変化をフレーム周期で監視し、且つ、供給されたパラメータに基づいて読み出しアドレスを演算するためのパラメータ（ｂ11〜ｂ33，ｂ11’〜ｂ33’）をフレーム周期で演算している。次に、ＣＰＵ８は、受け取ったパラメータｒ11〜ｒ33、ｌX、ｌY、ｌZ及びｓに基づいて、式（８）で表される３次元変換行列Ｔ33 -1の各パラメータｂ11〜ｂ33を演算する。具体的には、式（２８）〜式（３７）に、パラメータｒ11〜ｒ33、ｌX、ｌY、ｌZ及びｓを代入することによって、パラメータｂ11〜ｂ33を求めることができる。また、ＣＰＵ８は、受け取った３次元変換行列Ｔ0のパラメータｒ11〜ｒ33、ｌX、ｌY、ｌZ、ｓ、及び、シャドウ座標に関するパラメータθX、θY、θZ、ｘS0、ｙS0、ｚS0、及び、光源に関するパラメータｘL、ｙL、ｚLを受け取り、これらのパラメータに基づいて、式（５７）に表される３次元変換行列（Ｔ33shadow’）-1の各パラメータｂ11’〜ｂ33’を演算する。ＣＰＵ８は、演算したパラメータｂ11〜ｂ33を、オブジェクト信号生成部１０の読み出しアドレス発生回路１４に供給し、演算したパラメータｂ11’〜ｂ33’を、シャドウ信号生成部２０の読み出しアドレス発生回路２４に供給する。
オブジェクト信号生成部１０の読み出しアドレス発生回路１４は、ＣＰＵ８からパラメータｂ11〜ｂ33を受け取るとともに、スクリーンアドレス発生回路９からスクリーンアドレス（ＸS、ＹS）とを受け取り、式（１３）及び（１４）に基づいて、オブジェクト信号用の読み出しアドレス（ＸM，ＹM）をフレーム周期で生成する。生成された読み出しアドレス（ＸM，ＹM）は、ビデオ信号用のフレームメモリ１２及びキー信号用のフレームメモリ１３に夫々供給され、その結果として、フレームメモリ１２からはオブジェクトビデオ信号Ｖ2が出力され、フレームメモリ１３からはオブジェクトキー信号Ｋ2が出力される。
一方、シャドウ信号生成部２０の読み出しアドレス発生回路２４は、ＣＰＵ８からパラメータｂ11’〜ｂ33’を受け取るとともに、スクリーンアドレス発生回路９からスクリーンアドレス（ＸS、ＹS）とを受け取り、式（５８）及び（５９）に基づいて、シャドウ信号用の読み出しアドレス（ＸM’、ＹM’）をフレーム周期で生成する。生成された読み出しアドレス（ＸM’、ＹM’）は、ビデオ信号用のフレームメモリ２２及びキー信号用のフレームメモリ２３に夫々供給され、その結果として、図７Ｂに示すように、フレームメモリ２２からはシャドウビデオ信号Ｖ4が出力され、フレームメモリ２３からはシャドウキー信号Ｋ4が出力される。
第１のミキサ３０は、オブジェクト信号生成部１０からオブジェクトビデオ信号Ｖ2及びオブジェクトキー信号Ｋ2を受け取るとともに、シャドウ信号生成部２０からシャドウビデオ信号Ｖ4及びシャドウキー信号Ｋ4を受け取り、式（ａ）に基づいて、混合ビデオ信号ＶMIX’と混合キー信号ＫMIX’とを生成する。
第２のミキサ４０は、外部から供給されたバックグランドビデオ信号ＶBKと、第１のミキサ３０から出力された混合ビデオ信号ＶMIX’及び混合キー信号ＫMIX’を受け取り、式（ｃ）に基づいて、アウトプットビデオ信号ＶOUT’を生成する。
次に、光源として、平行光源が指定された場合について説明する。
ＣＰＵ８は、まず、コントロールパネル５から、シャドウ座標の各軸に関するパラメータ（θX、θY、θZ）、シャドウ座標の原点に関するパラメータ（ｘS0、ｙS0、ｚS0）及び、平行光源に関するパラメータ（ｒ、α、β）を受け取る。また。コントロールパネル５に設けられた３次元ポインティングデバイスの操作状態に基づいて、ＣＰＵ８は、コントロールパネル５から、３次元変換行列Ｔ0のパラメータｒ11〜ｒ33、ｌX、ｌY、ｌZ、ｓを受け取る。ＣＰＵ８は、コントロールパネル５から供給されるこれらのパラメータの変化をフレーム周期でリアルタイムで監視し、且つ、供給されたパラメータに基づいて読み出しアドレスを演算するためのパラメータ（ｂ11〜ｂ33，ｂ11”〜ｂ33”）をフレーム周期で演算している。よって、オペレータの操作に応じてフレーム周期でこれらのパラメータをリアルタイムに可変することができ、そして、その可変されたパラメータに応じて、リアルタイムに読み出しアドレスが演算される。
次に、ＣＰＵ８は、受け取ったパラメータｒ11〜ｒ33、ｌX、ｌY、ｌZ、及びｓに基づいて、式（８）で表される３次元変換行列Ｔ33 -1の各パラメータｂ11〜ｂ33を演算する。具体的には、式（２８）〜式（３７）に、パラメータｒ11〜ｒ33、ｌX、ｌY、ｌZ、及びｓを代入することによって、パラメータｂ11〜ｂ33を求めることができる。また、ＣＰＵ８は、受け取った３次元変換行列Ｔ0のパラメータｒ11〜ｒ33、ｌX、ｌY、ｌZ、ｓ、及び、シャドウ座標に関するパラメータθX、θY、θZ、ｘS0、ｙS0、ｚS0及び、光源に関するパラメータｒ、α、βを受け取り、これらのパラータに基づいて、式（７１）に表される３次元変換行列（Ｔ33shadow”）-1の各パラメータｂ11”〜ｂ33”を演算する。ＣＰＵ８は、演算したパラメータｂ11〜ｂ33を、オブジェクト信号生成部１０の読み出しアドレス発生回路１４に供給し、演算したパラメータｂ11”〜ｂ33”を、シャドウ信号生成部２０の読み出しアドレス発生回路２４に供給する。
オブジェクト信号生成部１０の読み出しアドレス発生回路１４は、ＣＰＵ８からパラメータｂ11〜ｂ33を受け取るとともに、スクリーンアドレス発生回路９からスクリーンアドレス（ＸS、ＹS）とを受け取り、式（１３）及び（１４）に基づいて、オブジェクト信号用の読み出しアドレス（ＸM，ＹM）をフレーム周期で生成する。生成された読み出しアドレス（ＸM，ＹM）は、ビデオ信号用のフレームメモリ１２及びキー信号用のフレームメモリ１３に夫々供給され、その結果として、フレームメモリ１２からはオブジェクトビデオ信号Ｖ2が出力され、フレームメモリ１３からはオブジェクトキー信号Ｋ2が出力される。
一方、シャドウ信号生成部２０の読み出しアドレス発生回路２４は、ＣＰＵ８からパラメータｂ11”〜ｂ33”を受け取るとともに、スクリーンアドレス発生回路９からスクリーンアドレス（ＸS、ＹS）とを受け取り、式（７２）及び（７２）に基づいて、シャドウ信号用の読み出しアドレス（ＸM”、ＹM”）をフレーム周期で生成する。生成された読み出しアドレス（ＸM”、ＹM”）は、ビデオ信号用のフレームメモリ２２及びキー信号用のフレームメモリ２３に夫々供給され、その結果として、図１０Ｂに示すように、フレームメモリ２２からはシャドウビデオ信号Ｖ6が出力され、フレームメモリ２３からはシャドウキー信号Ｋ6が出力される。
第１のミキサ３０は、オブジェクト信号生成部１０からオブジェクトビデオ信号Ｖ2及びオブジェクトキー信号Ｋ2を受け取るとともに、シャドウ信号生成部２０からシャドウビデオ信号Ｖ6及びシャドウキー信号Ｋ6を受け取り、式（ｂ）に基づいて、混合ビデオ信号ＶMIX”と混合キー信号ＫMIX”とを生成する。
第２のミキサ４０は、外部から供給されたバックグランドビデオ信号ＶBKと、第１のミキサ３０から出力された混合ビデオ信号ＶMIX”及び混合キー信号ＫMIX”を受け取り、式（ｄ）に基づいて、アウトプットビデオ信号ＶOUT”を生成する。
以上の特殊効果装置によれば、オペレータの経験に頼ること無く、オブジェクトビデオ信号に対して適切なシャドウを容易に付けることができる。また、オブジェクトビデオ信号の空間系的な移動に連動して、自動的にシャドウビデオ信号を生成することがきる。
具体的には、本発明の特殊効果装置は、ソースビデオ信号に対して３次元画像変換を施すことによって仮想的な３次元オブジェクトビデオ信号を生成し、この仮想的な３次元オブジェクトビデオ信号をスクリーン面に投影することによって、２次元オブジェクトビデオ信号を生成している。また、この３次元ビデオ信号を予め設定されたシャドウ面に投影することによって仮想的な３次元シャドウ信号を生成し、上記仮想的な３次元シャドウ信号を上記スクリーン面に投影することによって、２次元のシャドウ信号を生成している。よって、生成された２次元のオブジェクト信号に対応した２次元のシャドウ信号を自動的に生成することができ、オペレータの操作性を向上させることができる。さらに、３次元画像変換行列とシャドウ面への投影変換行列とスクリーン面への投影変換行列との演算によって、２次元シャドウ信号を生成しているので、オペレータの操作経験に頼ることなく、図１６Ａに示されるように、オブジェクトビデオ信号Ｖobjに対して自然なシャドウビデオ信号Ｖshadowを生成することができるので、違和感のない立体的な映像を生成することができる。
さらに、図１６Ｂに示されるように、オペレータがコントロールパネルの３次元ポインティングデバイスを操作することによって、オブジェクトビデオ信号Ｖobjを３次元空間上でオブジェクトビデオ信号Ｖobj’の位置に移動させた場合には、ＣＰＵがコントロールパネルからのパラメータをフレーム周期で監視して、そのフレーム毎に供給されるパラメータに応じてシャドウビデオ信号Ｖshadowを生成するための読み出しアドレスを演算しているので、そのオブジェクトビデオ信号Ｖobjの３次元空間での移動に伴って、シャドウビデオ信号Ｖshadowがシャドウ面上に存在するシャドウビデオ信号Ｖshadow’の位置に移動される。つまり、オブジェクトビデオ信号Ｖobjの動きに連動したシャドウビデオ信号Ｖshadowを容易に且つリアルタイムに生成することができる。
よって、図１６Ａ図に示されるような状態から、図１６Ｂに示される状態になるようにオブジェクトビデオ信号Ｖobjが移動すると、シャドウビデオ信号Ｖshadowもその移動に伴ってシャドウ面上を移動するので、シャドウ面を地上とした時に、あたかも、オブジェクトが地上から空に向かって上昇しているような効果を得ることができる。
さらに本発明の特殊効果装置は、シャドウビデオ信号Ｖshadowを生成するための光源の種類として点光源又は平行光源を設定すうことができ、設定された光源に応じてシャドウビデオ信号Ｖshadowを演算する夫々のモードを有しているので、光源に応じた自然なシャドウを生成することができる。図１６Ａ及び図１６Ｂに示される例では、オブジェクトビデオ信号Ｖobjを空間的に移動させる例を示したが、オブジェクトビデオ信号Ｖobjを３次元空間上で固定し、光源の位置を空間的に移動させるようにしてもよい。
また、本発明の特殊効果装置は、シャドウ面を設定する原点設定モードを有しているので、３次元変換された３次元オブジェクトが空間的にシャドウ面上に存在するようにシャドウ面を設定することができる。よって、シャドウ面を地上と考えると、これによって、地上面に存在するオブジェクトを表現することができる。
Claims (4)
- 第１のビデオ信号を格納する第１のメモリと、
上記第１のビデオ信号を所定の影の色にマット処理するカラーマット発生回路と、
上記カラーマット発生回路から出力される第２のビデオ信号を格納する第２のメモリと、
上記第１のビデオ信号をキーイングするための第１のキー信号を格納する第３のメモリと、
上記第２のビデオ信号をキーイングするための第２のキー信号を格納する第４のメモリと、
３次元変換行列パラメータを発生するＣＰＵと、
上記３次元変換行列パラメータに応じて第１の読み出しアドレスを発生し、当該第１の読み出しアドレスに応じて上記第１のメモリより上記第１のビデオ信号を読み出すと共に、上記第３のメモリより上記第１のキー信号を読み出す第１のアドレス発生回路と、
上記３次元変換行列パラメータに応じて第２の読み出しアドレスを発生し、当該第２の読み出しアドレスに応じて上記第２のメモリより上記第２のビデオ信号を読み出すと共に、上記第４のメモリより上記第２のキー信号を読み出す第２のアドレス発生回路と、
上記第３のメモリより読み出された上記第１のキー信号、及び上記第４のメモリより読み出された上記第２のキー信号に応じて上記第１のメモリより読み出された第１のビデオ信号と、上記第２のメモリより読み出された上記第２のビデオ信号との１つを選択して合成ビデオ信号を出力する選択手段とを備え、
上記第１のメモリより読み出された上記第１のビデオ信号は、上記第１のメモリ格納前の上記第１のビデオ信号を所望の空間にマッピングした後、所定のスクリーン面上に透視変換されたビデオ信号となり、
上記第２のメモリより読み出された上記第２のビデオ信号は、メモリ格納前の上記第２のビデオ信号を所望の空間にマッピングし、次に所望のシャドウ面に透視変換した後、所定のスクリーン面上に透視変換されたビデオ信号となるように、
上記ＣＰＵは上記３次元変換行列パラメータを発生する
ことを特徴とする画像処理装置。 - 上記ＣＰＵは、
上記第１のビデオ信号を所望の空間にマッピングする３次元変換行列Ｔｏと、上記マッピングされた第１のビデオ信号を所定のスクリーンに透視変換する透視変換行列Ｐｏとを掛け合わせた変換行列Ｔｏ・Ｐｏを算出した後、当該変換行列の逆行列を算出する
と共に、
上記第２のビデオ信号を所望の空間にマッピングする３次元変換行列Ｔｏと、上記マッピングされた第２のビデオ信号を所定のシャドウ面に透視変換する透視変換行列Ｐｓと、上記シャドウ面に透視変換された第２のビデオ信号を所定のスクリーンに透視変換する透視変換行列Ｐｏとを掛け合わせた変換行列Ｔｏ・Ｐｓ・Ｐｏとを算出した後、当該変換行列の逆行列を算出する
ことにより上記３次元変換行列パラメータの一部を求める
ことを特徴とする請求の範囲第１項に記載の画像処理装置。 - 第１のビデオ信号を第１のメモリに格納し、上記第１のビデオ信号を所定の影の色にマット処理して第２のビデオ信号として第２のメモリに格納し、上記第１のビデオ信号をキーイングするための第１のキー信号を第３のメモリに格納し、上記第２のビデオ信号をキーイングするための第２のキー信号を第４のメモリに格納するステップと、
上記第１のメモリより読み出す上記第１のビデオ信号は、第１のメモリ格納前の上記第１のビデオ信号を所望の空間にマッピングした後、所定のスクリーン面上に透視変換されたビデオ信号となり、上記第２のメモリより読み出す上記第３のビデオ信号は、上記第２のメモリ格納前の上記第２のビデオ信号を所望の空間にマッピングし、次に所望のシャドウ面に透視変換した後、所定のスクリーン面上に透視変換されたビデオ信号となるように所望の３次元変換行列パラメータを発生するステップと、
上記３次元変換行列パラメータに応じて読み出し第１のアドレスを発生し、当該第１のアドレスに応じて上記第１のメモリより上記第１のビデオ信号を読み出すと共に、上記第３のメモリより上記第１のキー信号を読み出し、上記３次元変換行列パラメータに応じて第２の読み出しアドレスを発生し、当該第２のアドレスに応じて上記第２のメモリより上記第２のビデオ信号を読み出すと共に、上記第４のメモリより上記第２のキー信号を読み出すステップと、
上記第３のメモリより読み出された第１のキー信号、及び第４のメモリより読み出された第２のキー信号に応じて上記第１のメモリより読み出された第１のビデオ信号と、上記第２のメモリより読み出された第２のビデオ信号と
の１つを選択して合成ビデオ信号を出力するステップと
からなることを特徴とする画像処理方法。 - 上記３次元変換行列パラメータを発生するステップにおいて、
上記第１のビデオ信号を所望の空間にマッピングする３次元変換行列Ｔｏと、上記マッピングされた上記第１のビデオ信号を所定のスクリーンに透視変換する透視変換行列Ｐｏとを掛け合わせた変換行列Ｔｏ・Ｐｏを算出し、当該変換行列の逆行列を算出することにより上記パラメータの一部を求め、
上記第２のビデオ信号を所定の空間にマッピングする３次元変換行列Ｔｏと、上記マッピングされた上記第２のビデオ信号を所定のシャドウ面に透視変換する透視変換行列Ｐｓと、上記シャドウ面に透視変換された第２のビデオ信号を所定のスクリーンに透視変換する透視変換行列Ｐｏとを掛け合わせた変換行列Ｔｏ・Ｐｓ・Ｐｏを算出し、当該変換行列の逆行列を算出することにより所望の３次元変換行列パラメータの一部を求める
ことを特徴とする請求の範囲第３項に記載の画像処理方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32123095 | 1995-11-14 | ||
| PCT/JP1996/003346 WO1997018667A1 (fr) | 1995-11-14 | 1996-11-14 | Dispositif pour effets speciaux, procede de traitement d'images et procede de generation d'ombres |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP3840663B2 true JP3840663B2 (ja) | 2006-11-01 |
Family
ID=18130272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP51874397A Expired - Fee Related JP3840663B2 (ja) | 1995-11-14 | 1996-11-14 | 画像処理装置及び方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6014472A (ja) |
| JP (1) | JP3840663B2 (ja) |
| KR (1) | KR19980701470A (ja) |
| WO (1) | WO1997018667A1 (ja) |
Families Citing this family (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3635359B2 (ja) * | 1995-11-09 | 2005-04-06 | 株式会社ルネサステクノロジ | 透視投影計算装置および透視投影計算方法 |
| US5880736A (en) * | 1997-02-28 | 1999-03-09 | Silicon Graphics, Inc. | Method system and computer program product for shading |
| NO304715B1 (no) * | 1997-05-06 | 1999-02-01 | Dimensions As | FremgangsmÕte ved bildebehandling |
| US6195104B1 (en) * | 1997-12-23 | 2001-02-27 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
| US6222549B1 (en) * | 1997-12-31 | 2001-04-24 | Apple Computer, Inc. | Methods and apparatuses for transmitting data representing multiple views of an object |
| JP3515689B2 (ja) * | 1998-05-22 | 2004-04-05 | 富士通株式会社 | 階層化ポリゴンデータを用いた３次元ポリゴン表示装置 |
| US6600485B1 (en) * | 1998-07-03 | 2003-07-29 | Sega Enterprises, Ltd. | Polygon data generation method and image display apparatus using same |
| US6480205B1 (en) * | 1998-07-22 | 2002-11-12 | Nvidia Corporation | Method and apparatus for occlusion culling in graphics systems |
| US7375727B1 (en) | 1998-07-22 | 2008-05-20 | Nvidia Corporation | System, method and computer program product for geometrically transforming geometric objects |
| US6636215B1 (en) | 1998-07-22 | 2003-10-21 | Nvidia Corporation | Hardware-assisted z-pyramid creation for host-based occlusion culling |
| US6229550B1 (en) * | 1998-09-04 | 2001-05-08 | Sportvision, Inc. | Blending a graphic |
| JP2000090233A (ja) * | 1998-09-08 | 2000-03-31 | Olympus Optical Co Ltd | 画像処理装置 |
| US6538651B1 (en) * | 1999-03-19 | 2003-03-25 | John Hayman | Parametric geometric element definition and generation system and method |
| US7075556B1 (en) * | 1999-10-21 | 2006-07-11 | Sportvision, Inc. | Telestrator system |
| US7209140B1 (en) | 1999-12-06 | 2007-04-24 | Nvidia Corporation | System, method and article of manufacture for a programmable vertex processing model with instruction set |
| FR2802653B1 (fr) * | 1999-12-21 | 2003-01-24 | Poseidon | Procede et systeme pour detecter un objet devant un fond |
| US6909438B1 (en) | 2000-02-04 | 2005-06-21 | Sportvision, Inc. | Video compositor |
| US6552725B1 (en) * | 2000-04-11 | 2003-04-22 | Corel Corporation | Heuristic method for adaptive subdivision of coons patches for rendering |
| US6532009B1 (en) * | 2000-05-18 | 2003-03-11 | International Business Machines Corporation | Programmable hardwired geometry pipeline |
| JP4443012B2 (ja) | 2000-07-27 | 2010-03-31 | 株式会社バンダイナムコゲームス | 画像生成装置、方法および記録媒体 |
| US7439975B2 (en) * | 2001-09-27 | 2008-10-21 | International Business Machines Corporation | Method and system for producing dynamically determined drop shadows in a three-dimensional graphical user interface |
| US7050625B2 (en) * | 2002-10-21 | 2006-05-23 | Hewlett-Packard Development Company, L.P. | Method and digital camera for indicating when image data has been captured for a three-dimensional target object |
| KR100932977B1 (ko) * | 2005-07-05 | 2009-12-21 | 삼성모바일디스플레이주식회사 | 입체 영상 표시 장치 |
| KR100913173B1 (ko) * | 2005-07-05 | 2009-08-19 | 삼성모바일디스플레이주식회사 | 3ｄ 그래픽 처리장치 및 이를 이용한 입체영상 표시장치 |
| EP1750460A1 (en) * | 2005-08-05 | 2007-02-07 | Samsung SDI Co., Ltd. | 3D graphics processor and autostereoscopic display device using the same |
| US9563980B2 (en) * | 2005-11-18 | 2017-02-07 | Autodesk, Inc. | Grip manipulatable shadows in 3D models |
| US7573475B2 (en) * | 2006-06-01 | 2009-08-11 | Industrial Light & Magic | 2D to 3D image conversion |
| US7573489B2 (en) * | 2006-06-01 | 2009-08-11 | Industrial Light & Magic | Infilling for 2D to 3D image conversion |
| GB0613352D0 (en) * | 2006-07-05 | 2006-08-16 | Ashbey James A | Improvements in stereoscopic imaging systems |
| US7952581B2 (en) * | 2007-03-26 | 2011-05-31 | Microsoft Corporation | Realistic transformation of 3D lighting models |
| JP2009169257A (ja) * | 2008-01-18 | 2009-07-30 | Kawasaki Microelectronics Inc | メモリ制御回路および画像処理装置 |
| WO2010120227A1 (en) * | 2009-04-17 | 2010-10-21 | Trapcode Ab | Method for adding shadows to objects in computer graphics |
| US8643678B1 (en) * | 2010-12-22 | 2014-02-04 | Google Inc. | Shadow generation |
| US10631712B2 (en) * | 2011-02-10 | 2020-04-28 | Karl Storz Imaging, Inc. | Surgeon's aid for medical display |
| US10674968B2 (en) * | 2011-02-10 | 2020-06-09 | Karl Storz Imaging, Inc. | Adjustable overlay patterns for medical display |
| US9215383B2 (en) | 2011-08-05 | 2015-12-15 | Sportsvision, Inc. | System for enhancing video from a mobile camera |
| KR102054680B1 (ko) * | 2013-01-23 | 2020-01-22 | 삼성전자주식회사 | 영상 처리 장치, 초음파 영상 장치 및 영상 처리 방법 |
| US20210134049A1 (en) * | 2017-08-08 | 2021-05-06 | Sony Corporation | Image processing apparatus and method |
| CN114777681A (zh) * | 2017-10-06 | 2022-07-22 | 先进扫描仪公司 | 生成一个或多个亮度边缘以形成物体的三维模型 |
| US20230063215A1 (en) * | 2020-01-23 | 2023-03-02 | Sony Group Corporation | Information processing apparatus, information processing method, and program |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4041527A (en) * | 1976-03-15 | 1977-08-09 | The Grass Valley Group, Inc. | Video effects generator |
| US4511337A (en) * | 1982-06-25 | 1985-04-16 | The Singer Company | Simplified hardware component inter-connection system for generating a visual representation of an illuminated area in a flight simulator |
| US4586038A (en) * | 1983-12-12 | 1986-04-29 | General Electric Company | True-perspective texture/shading processor |
| US4819192A (en) * | 1985-02-26 | 1989-04-04 | Sony Corporation | Method of displaying image |
| GB2181929B (en) * | 1985-10-21 | 1989-09-20 | Sony Corp | Methods of and apparatus for video signal processing |
| JP2737940B2 (ja) * | 1988-08-16 | 1998-04-08 | ソニー株式会社 | 立体表現画像の陰影付加装置 |
| JPH0259982A (ja) * | 1988-08-26 | 1990-02-28 | Nippon Telegr & Teleph Corp <Ntt> | 立体形状データ生成装置 |
| JPH04225482A (ja) * | 1990-12-27 | 1992-08-14 | Fujitsu Ltd | グラフィック表示装置 |
| US5415549A (en) * | 1991-03-21 | 1995-05-16 | Atari Games Corporation | Method for coloring a polygon on a video display |
| JP2973573B2 (ja) * | 1991-04-12 | 1999-11-08 | ソニー株式会社 | 画像変換装置 |
| GB2267007B (en) * | 1992-04-24 | 1995-09-13 | Sony Broadcast & Communication | Video special effect apparatus and method |
| US5327177A (en) * | 1992-05-26 | 1994-07-05 | The Grass Valley Group, Inc. | Method of and apparatus for processing a shaped video signal to add a simulated shadow |
| US5598516A (en) * | 1993-06-21 | 1997-01-28 | Namco Ltd. | Image synthesizing system and video game apparatus using the same |
| JP2739808B2 (ja) * | 1993-07-16 | 1998-04-15 | 日本電気株式会社 | 画像効果装置 |
| JPH0765199A (ja) * | 1993-08-30 | 1995-03-10 | Nippon Telegr & Teleph Corp <Ntt> | 画像付影方法 |
-
1996
- 1996-11-14 WO PCT/JP1996/003346 patent/WO1997018667A1/ja not_active Application Discontinuation
- 1996-11-14 US US08/860,067 patent/US6014472A/en not_active Expired - Fee Related
- 1996-11-14 KR KR1019970704860A patent/KR19980701470A/ko not_active Application Discontinuation
- 1996-11-14 JP JP51874397A patent/JP3840663B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6014472A (en) | 2000-01-11 |
| KR19980701470A (ko) | 1998-05-15 |
| WO1997018667A1 (fr) | 1997-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3840663B2 (ja) | 画像処理装置及び方法 | |
| US4734690A (en) | Method and apparatus for spherical panning | |
| US6867787B1 (en) | Character generator and character generating method | |
| US6268846B1 (en) | 3D graphics based on images and morphing | |
| US6243099B1 (en) | Method for interactive viewing full-surround image data and apparatus therefor | |
| JPH0757117A (ja) | テクスチャマップへの索引を生成する方法及びコンピュータ制御表示システム | |
| JP2003528360A (ja) | 一般的三次元グラフィックスパイプラインを使用する低廉なデジタル・イメージ／ビデオの編集のための方法及び装置 | |
| US8077176B2 (en) | Method for interactively viewing full-surround image data and apparatus therefor | |
| CA2104517A1 (en) | Cylindrical to planar image mapping using scanline coherence | |
| JP3514947B2 (ja) | ３次元画像処理装置及び３次元画像処理方法 | |
| JPH05290146A (ja) | 三次元空間中の物体を回転させるグラフィック表示方法及び装置 | |
| US6400373B1 (en) | Image processing apparatus and method | |
| JPH09330423A (ja) | 三次元形状データ変換装置 | |
| EP0168981B1 (en) | Method and apparatus for spherical panning | |
| EP3573018A1 (en) | Image generation device, and image display control device | |
| KR100489572B1 (ko) | 화상 처리 방법 | |
| JP4099830B2 (ja) | 特殊効果装置、画像処理方法及び対象画像生成方法 | |
| CN112862981B (zh) | 用于呈现虚拟表示的方法和装置、计算机设备和存储介质 | |
| JP2973413B2 (ja) | コンピュータグラフィックスの照度計算方法及び表示装置 | |
| JP3441804B2 (ja) | 画像処理装置及び方法 | |
| WO1998046011A1 (fr) | Dispositif a effet special et procede de generation d'effet special | |
| JPH0816822A (ja) | ３次元動画像生成方法 | |
| JPH0251789A (ja) | 立体表現画像の陰影付加装置 | |
| JP3071495B2 (ja) | 物体モデル編集装置 | |
| JPH07200875A (ja) | ３次元モデルの表示位置変更方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051011 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051212 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060718 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060731 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100818 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |