WO1997018668A1

WO1997018668A1 - Dispositif et procede de traitement d'images

Info

Publication number: WO1997018668A1
Application number: PCT/JP1996/003347
Authority: WO
Inventors: Akihiro Takashima; Nobuyuki Minami; Kazuhiro Maruyama
Original assignee: Sony Corporation
Priority date: 1995-11-14
Filing date: 1996-11-14
Publication date: 1997-05-22
Also published as: EP0804022B1; CN1103529C; JP3867295B2; KR987001181A; CN1169808A; EP0804022A4; DE69620580T2; KR100412166B1; EP0804022A1; DE69620580D1; US6021229A

Description

明細書発明の名称画像処理装置及び画像処理方法技術分野

本発明は画像処理装置及び画像処理方法に関し、 2次元平面に映し出される映像画面を、立体空間内において形成される立体の面に表示する場合に適用して好適なものである。背景技術

従来、ビデオ信号に対して画像の切り取り（Crop) 、せん断（Skew)、 X, Y 軸方向の変化（Π- rate)等の特殊効果を与えて画像を変形させる特殊効果装置（D V E ： Digital Video Effects)がある。この装置を用いて、立体空間内に形成される直方体の面に画像を表示させる「Slab」効果処理が考えられている。

すなわち図 i に示すように、 rsiab」効果処理では 2次元平面上に表示される動画像を目的画像（Object)とし、当該目的画像を立体空間内に形成された直方体の目的画像表示面（SideA)に貼り付けたような画像を特殊効果装置を用いて生成する。

この「Siab」効果では、立体空間内での直方体の傾きに応じて、目的画像（Obj ect)が表示される面（SideA)とともに 2つの側面（SideB)及び（SideC)が同時に表示される。このような立体 6面表示画像を 1 台の特殊効果装置（D V E) を用いて生成する方法を図 2 に示す。

すなわち図 2 において、第 1 のビデオテープレコーダ（V T R) 6 を用いて目的画像（Object)を再生し、これを特殊効果装置 5 に送出する。特殊効果装置 5 は再生された目的画像（Object)が立体 6面表示画像の目的画像表示面（SideA)に貼り付くように表示されるマツビング処理を施し、これを第 2のビデオテープレコーダ 7に送出する。第 2のビデオテープレコーダ 7 は、目的画像（Object)でなる目的画像表示面（SideA)を録画する。

このようにして目的画像表示面（SideA)が録画されたビデオテープは、ォペレ —タによって第 3 のビデオテープレコーダ 8で再生され、合成回路 9 に送出される。またこのとき、オペレータは立体 6面表示画像の側面（SideB)に表示する画像を第 1 のビデオテープレコ一ダ 6で 2次元平面上に再生する。第 1 のビデ才テープレコーダ 6 によって再生された画像は特殊効果装 E 5 に送出され、特殊効果処理が施される。

これにより、第 1 のビデオテープレコ一ダ 6によって再生された 2次元平面上の画像は、立体 6面表示画像の側面（SideB)に表示されるような形状に変形される。このような側面（SideB)の画像は、合成回路 9 において目的画像表示面（Si deA)と合成される。このときオペレータは所定の操作子を用いて目的画像表示面 (SideA)及び側面（SideB)とが一つの辺で接するように表示位置を調整する。このようにして合成回路 9 において得られた目的画像表示面（SideA)及び側面（Sj deB)の合成画像は第 2のビデオテープレコーダ 7 で録画される。

目的画像表示面（SideA)及び側面（SideB)の合成画像が録画されたビデオテ— プは、オペレータによって第 3のビデオテープレコーダ 8で再生され、合成回路 9 に送出される。またこのとき、オペレータは立体 6面表示画像の側面（SideC) に表示する画像を第 1 のビデオテープレコーダ 6で 2次元平面上に再生する。第 1 のビデオテープレコーダ 6 によって再生された画像は特殊効果装置 5 に送出され、特殊効果処理が施される。

これにより、第 1 のビデオテープレコーダ 6 によって再生された 2次元平面上の画像は、立体 6面表示画像の側面（SideC)に表示されるような形状に変形される。このような側面（SideC)の画像は、合成回路 9 において目的画像衷示面（Si deA)及び側面（SideB)の合成画像と合成される。このときオペレータは所定の操作子を用いて目的画像表示面（SideA)及び側面（SideB)と側面（SideC)とかそれぞれ一つの辺で接するように表示位置を調整する。

このようにして合成回路 9 において得られた立体 6面表示画像は第 2のビデオテープレコーダ 7 で録画される。

ところでかかる方法によって立体 6面表示画像を生成する場合、目的画像（Obj ect)を表示する目的画像表示面（SideA)に対して側面（SideB)及び（SideC)を別々に生成して合成するため、立体空間内での立体 6面表示画像の傾きを変化させる場合、目的画像表示面（SideA)に対する画像の切り取り（Crop) 、せん断（Ske w)、 X， Y 铀方向の変化（XY- rate)等の特殊効果を変更しても、側面（SideB)及び (SideC)が追従せず、立体空問内での目的画像表示面（SideA)の変化に応じて側面（SideB)及び（SideC)に対する特殊効果も変化させる必要がある。

この場合、オペレータは目的画像表示面（SideA)の変化に伴って手作業で側面 (SideB)及び（SideC)を合成するような作業を、各フレーム（ 1 秒間につき 60フレーム）ごとに行う必要があり、オペレータの操作が煩雑化することを避け得ない問題があった。発明の開示

本発明は以上の点を考慮してなされたもので、立体 3面表示画像の各面における変換処理を同時に実行して各面を互いに連動させ、特殊効果を与える再の操作性を向上し得る画像処理方法を提案しょうとするものである。

かかる課題を解決するため本発明においては、第 1 の画像を第 1 のメモリに ¾ き込み、第 1 のメモリに書き込まれた第 1 の画像を所定の制御手段から入力される第 1 の制御データに基づいて画像変換処理することによって目的画像を生成する第 1 の画像生成手段と、第 2の画像を第 2のメモリに書き込み、第 2のメモリに書き込まれた第 2の画素を制御手段から入力される第 2の制御データに基づいて目的画像に応じた形状に画像変換処理することによって第 1 の側面画像を生成する第 2の画像生成手段と、第 3 の画像を第 3のメモリに書き込み、第 3 のメモリに書き込まれた第 3の画素を制御手段から入力される第 3の制御データに基づいて目的画像に応じた形状に画像変換処理することによって第 2 の側面画像を生成する第 3の画像生成手段と、目的画像、第 1 の側面画像及び第 2の側面画像をそれぞれ対応する所定の面に有する立体を 3次元空問上で移動させることに応じて、目的画像、第 1 の側面画像及び第 2の側面画像を立体の移動に応じて移動させるとともに、立体上にマツビングされた目的画像、第 1 の側面画像及び第 2の側面画像を所定のスクリ一ン面上に透視変換する制御手段とを設ける。

第 2及び第 3の画像は、目的画像をマツビングする立体の目的画像表示面の形状に応じて変形され、目的画像に接する第 1 の側面及び第 2 の側面にマツビングされる。また 3次元仮想空間上の立体の各面にマッピングされた目的画像、第 1 の側面画像及び第 2の側面画像は、それぞれ立体の仮想空間上での移動に応じて同様に移動する。

従ってオペレータは、仮想空間上の立体を所定の操作によって動かすだけで、各面にマツビングされた画像が、あたかも立体の各面に貼り付いたように移動する。図面の簡単な説明

図 1 は立体 3面表示画像の説明に供する略線図である。

図 2は従来の立体画像生成方法の説明に供する略線図である。

図 3は本発明による画像処理装置の全体構成を示すブ σ ックである。

図 4 はスクリ一ン面の定義の説明に供する略線図である。

図 5 は基本的 3次元移動変換及び透視変換の説明に I する略線,図である。図 6 は基本的 3次元移動変換及び透視変換の説明に供する略総,図である。図 Ί A及び図 7 Bは基本的 3次元移動変換及び透視変換の説^に供する略線図である。

図 8 は 3次元空間上の基本位置にある立体（直方体）の説明に供する略線図である。

図 9 A及び図 9 Bは目的画像のソースビデオ信号の説明に供する略線図である図】 O A及び図 1 ϋ Bは目的画像の z軸方向への変換の説明に供する略線図である。

図 1 1 A及び図 1 1 Bは目的画像の変形の説明に供する略線図である。

図 1 2 A及び図 1 2 Bは第 1 の側面画像のソースビデオ信の説明に供する略線図である。

図 1 3 A及び図 1 3 Bは第 1 の側面画像のソースビデオ信号の平行移動の説明に供する略線図である。

図 1 4 Λ及び図 1 4 Bは第 1 の側面画像のソースビデオ信号の変形の説明に供する略線図である。

図 1 Γ) Aはク D ップ優先モ一ドの説明に供する略線図である。

図 1 5 Bは縮小ノ拡大率優先モードの説明に供する略線図である。

図 1 6 A及び図 1 6 Bは第 1 の側面画像のソースビデオ信号の X軸回りの回変換の説明に供する略線図である。

図 1 7 A及び図 1 7 Bは第 1 の側面画像のソースビデオ信号を X軸に対して角度 θ B だけ傾ける際の説明に供する略線図である。

図 1 8 A及び図 1 8 Bは第 1 の側面画像のソースビデオ信号を立体の第 1 の側面に重ねるための移動の説明に供する略線図である。

図 1 9 A及び図〖 9 Bは第 2の側面画像のソースビデオ信号の説明に供する略線図である。

図 2 0 A及び図 2 0 Bは第 2の側面画像のソースビデオ信号の平行移動の説明に供する略線図である。

図 2 1 A及び図 2 1 Bは第 2の側面画像のソースビデオ信号の変形の説明に供する略線図である。

図 2 2 Aはクップ優先モードの説明に供する略線図である。

図 2 2 Βは縮小 Ζ拡大率優先モードの説明に供する略線図である。

図 2 3 Α及び図 2 3 Bは第 2の側面画像のソースビデオ信号の X軸回りの回 $ί; 変換の説明に供する略線図である。

図 2 4 Λ及び図 2 4 Βは第 2の側面画像のソ一スビデオ信号を x軸に対して角度 Θ c だけ傾ける際の説明に供する略線図である。

図 2 5 A及び図 2 5 Bは第 2の側面画像のソースビデオ信号を立体の第 2の側面に重ねるための移動の説明に供する略線図である。

図 2 6 は第 1 のソースビデオ信号をマッピングするための処 9手順を示すフ口 —チヤ一トである。

図 2 7 は第 1 のソースビデオ信号を立体の目的画像表示面にマツビングする際の説明に供する略線図である。

図 2 8 は第 1 のソースビデオ信号を立体の目的画像表示面の対向面にマッピングする際の説明に供する略線図である。

図 2 9は第 2 ソ一スビデオ信号をマツビングするための処理手順を示すフ口一チヤ一卜である。

図 3 0 は第 2のソースビデオ信号を立体の第 1 の側面にマッピングする際の説明に供する略線図である。

図 3 1 は第 2のソースビデオ信号を立体の第 1 の側面の対向面にマツビングする際の説明に供する略線図である。

図 3 2は第 3 ソ一スビデオ信号をマツビングするための処理手順を示すフ — チヤ一トである。

図 3 3 Λ及び図 3 3 Βは立体の面にマッビングされる画像の水平方向への反処理の説明に供する略線図である。

図 3 4 Α及び図 3 4 Bは立体の面にマツビングされる画像の垂直方向への反転処理の説明に供する略線図である。

図 3 5 は立体の面にマツビングされる画像の反転処理の説明に供する略線図である。発明を実施するめたの最良の形態

( 1 ) 全体構成

図 3 は全体として特殊効果装置を用いた画像処理装置 1 0を示し、オペレータがコント口一ルパネル 5 6を操作することによって入力された指令信号は、ィンタフェイス回路（ I Z F ) 5 7及びバス B U Sを介して C P U 5 8 に与えられる C P U 5 8 は R O M (Read Only Memory) 5 9及び R A M (Random Access Memor y) 6 1 を用い、立体 6面表示画像の目的画像表示面（SideA)の画像生成部 2 0 第 1 の側面（SideB)の画像生成部 3 0及び第 2の側面（ S i deC)の画像生成部 3 0 をオペレータの指令によってそれぞれ制御する。

目的画像表示面（SideA)の画像生成部 2 0 は、目的画像（Otuec の変換前のソースビデオ信号 V _1Aをク口ップ回路 2 1 に入力する。クップ回路 2 1 は、バス B U Sを介して C P U 5 8から入力される X— Y座標系のクップ位置（C _A C C _A C _{A B}) でソースビデオ信号 V _a を切り取り、これを変形させない状態のままフレームメモリ F M ₂に記憶させる。

ここで読出しアドレス発生回路 2 5 は、スクリーンアト"レス発生回路 5 1 から出力されるモニタスクリーン 5 5上でのアドレス（X s Y s ) のデータと C P U 5 8 によって指定される画像変換行列のパラメータ b _{A 1 1} b _A33 のデータとに基づいてフレ一厶メモリ F Μ ₂₂での読出しアドレス（ Χ _ΜΛ Υ _ΜΑ) を生成するフレームメモリ F M ₂₂は、記憶されているビデ才信号を読出しアドレス発生回路 2 5から出力される読出しアドレス（ X _MA、 Y ) によって読み出す。この結果、仮想立体空間における立体（直方体）のうち実際にモニタスクリーン 5 5 に表示される立体 6面表示画像の目的画像表示面（SideA)にソースビデオ信号 V _{1 Λ} のクコップされた部分をマッピングするように、当該フレームメモリ F Μ ²²内のク ο ップ済のソースビデオ信号 V】_Αが画像変換される。これにより得られる変換ビデオ信号 V ₃ まミヰサ 5 3 に送出される。

また目的画像表示面（SideA)の画像生成部 2 0は、ソースビデオ信号 V , _Aと同様にしてキー信号 K _1Aをクロップ回路 2 3によってクロップした後、これをそのままフレームメモリ F M₂₄に記憶させる。フレームメモリ F M ²⁴は読出しァドレス発生回路 2 5から出力される読出しアドレス〈X _MA、 Y ) によってビデオ信号を読み出すことにより、上述の変換ビデオ信号 ν_3Λと同様に変換された変換ヰ一信号 Κ _3Αを得、これを変換ビデオ信号 V _3Αと共にミキサ 5 3 に送出する。

因みに牛一信号とは、ソースビデオ信号 V によって形成される画像平面を「 0」又は「 1 」のデータ列で構成したものであり、ソースビデオ信号 V _lAがクロップ又は画像変換されたとき、当該処理が施された部分のみのデータが変化するようになされている。

これに対して、第 1 の側面（SideB)の画像生成部 3 0は、立休 6面表示画像の第 1 の側面（SideB)に表示する画像の変換前のソ一スビデオ信号 V _1Bをク ciップ回路 3 1 に入力する。クロップ回路 3 1 は、バス B U Sを介して C P U 5 8から入力される X - Y座標系のクロップ位置（C _Bし、 C _BR、 C _BT、 C _BB) でソースビデ才信号 V _{I B}を切り取り、これを変形させない状態のままフレームメモリ F M ₃₂ に記憶させる。

ここで読出しァドレス発生回路 3 5は、スクリーンアドレス発生回路 5 1 力、ら出力されるモニタスクリーン 5 5上でのアドレス（ X _s 、 Y s ) のデータと C P IJ 5 8 によって指定される画像変換行列のパラメータ b _{Β 1} , 〜 b _B33 のデータとに基づいてフレームメモリ F M ₃₂での読出しアドレス（X _MB、 Υ ΜΒ) を生成するフレームメモリ F M₃₂は、記憶されているビデオ信号を読出しァドレス発生回路 3 5から出力される読出しアドレス（ X _MB、 Υ _ΜΒ) によって読み出す。この結果、仮想立体空間における立体（直方体）のうち実際にモニタスクリーンに表示される立体 6面表示画像の第 1 の側面（SideB)にソースビデオ信号 V a のク πップされた部分をマッピングするように、当該フレームメモリ F Μ ³²内のクロップのソ —スビデオ信号 V _1Bが画像変換される。これにより得られる変換ビデオ信号 V _3Bはミキサ 5 2 に送出される。

また第 1 の側面（SideB)の画像生成部 3 0は、ソースビデオ信号 V , _Bと同様にしてキー信号 Κ , Bをクップ回路 3 3 によってクロップした後、これをそのままフレームメモリ F M ₃₄に記憶させる。フレームメモリ F M ³⁴は読出しアドレス発生回路 3 5から出力される読出しアドレス（ X _MB、 Υ ΜΒ) によってビデオ信号を読み出すことにより、上述の変換ビデオ信号 V 3Βと同様に変換された変換ヰ一信号 Κ _3Βを得、これを変換ビデオ信号 V _3Βと共にミキサ 5 2に送出する。

これに対して、第 2の側面（SideC)の画像生成部 4 0 は、立体 S面表示画像の第 2の側面（Si deC)に表示する画像の変換前のソースビデオ信号 V , _cをク πップ回路 4 1 に入力する。クップ回路 4 1 は、バス B U Sを介して C P U 5 8から入力される X— Y座標系のクップ位置（C _cl.、 C_CR、 C_CT、 C c_D) でソースビデ才信号 V _{1 C}を切り取り、これを変形させない状態のままフレームメモリ 4 2 に記憶させる。

ここで読出しァドレス発生回路 4 5 は、スクリーンアドレス発生回路 5 1 力、ら出力されるモニタスクリーン 5 5上でのアドレス（ X _S 、 Y s ) のデータと C P IJ 5 8 によって指定される画像変換行列のパラメータ b _c,！〜 b _c33 のデータとに基づいてフレームメモリ F M ₄₂での読出しアドレス（X MC：、 Y _MC) を生成するフレームメモリ F M ₄₂は、記憶されているビデォ信号を読出しァドレス発生回路 4 5から出力される読出しアドレス（X_MC、 Y ) によって読み出す。この結果、仮想立体空問における立体（直方体）のうち実際にモ-一タスクリーン 5 5に表示される立体 6面表示画像の第 2の側面（SideC)にソースビデオ信号 V _1(:のク ϋ ップされた部分をマッピングするように、当該フレームメモリ F Μ ₂内のク u ップ済のソースビデオ信号 V _1Cが画像変換される。これにより得られる変換ビデォ信号 V _3Cはミキサ 5 2に送出される。

また第 2の側面（SideC)の画像生成部 4 0は、ソースビデオ信号 V , _cと同様にしてヰ一信号 K _{L C}をクロップ回路 4 3 によってクロップした後、これをそのままフレームメモリ F M に記憶させる。フレームメモリ F M "は読出しァドレス発生回路 4 5から出力される読出しアドレス（ X _MC、 Y _mc) によってビデオ信号を読み出すことにより、上述の変換ビデオ信号 V _3Cと同様に変換された変換牛一信号 K_3Cを得、これを変換ビデオ信号 V _3Cと共にミキサ 5 3 に送出する。ミキサ 5 2 は、第 1 の側面（SideB)の画像生成部 3 0から出力される変換ビデ才信号 V _3Bと第 2の側面（SideC)の画像生成部 4 0から出力される変換ビデオ信号 V _3Cとを合成すると共に、第 1 の側面（SideB)の画像生成部 3 0から出力される変換ヰ一信号 K _3Bと第 2 の側面（SideC)の画像生成部 4 0から出力される変換キー信号 K _3Cとを合成することによって、第 1 の側面（SideB)と第 2の側面（S) deC)とが接したように合成された合成ビデオ信号 V _BC及び合成キー信号 K _BCを得、これをミヰサ 5 3に送出する。

ミキサ 5 3 は目的画像表示面（SideA)の画像生成部 2 0から出力される変換ビデ才信号 V _3Aとミキサ 5 2から出力される合成ビデオ信号 V _BCとを合成すると共に、目的画像表示面（SideA)の画像生成部 2 0から出力される変換牛一信号 Κ _{3 Λ} とミキサ 5 2から出力される合成牛一信号 K _BCとを合成することにより、合成ビ' デォ信号 V 及び合成キー信号 K _{A B C} を得る。この合成ビデオ信号 V 及び合成 +—信号 K _{A B C} は、目的画像表示面（SideA)、第 1 の側面（SideB)及び第 2 の側面（SideC)が接した立体 6面表示画像を表す。

ミヰサ 5 3から出力される合成ビデオ信号 V _{A B}(: 及び合成ヰ一信号 Κ _ΛΒ(: はァゥトプットプロセッサ 5 4 に送出される。ァゥトプットプロセッサ 5 4 は、画像に影を付けることによって立体感を持たせる効果（ドロップシャドー効果）や、移動した画像に尾を引かせる効果（トレール効果）等を合成ビデオ信号 V ABC 及び合成キー信号 K ABC; で表される立体 6面表示画像に対して付加し、この¾果得られる出力ビデオ信号 V _{N U}T をモニタスクリ一ン 5 5 に送出し、画像表示する。

( ) 座標系の定義

この実施例で立体 6面表示画像を生成しモニタスクリーン 5 5 に表示するするために使用される 3次元の座標系は、 X軸、 y铀及び z軸の直交座標系によって定義される。すなわち図 4に示すように、 X軸及びこれに交する y軸で定義される X y平面上にスクリーン面 5 5 Aが存在するものとして、 X轴をスクリーン面 5 5 Aの水平（左右）方向と定義し、 y軸をスクリーン面 5 5 Aの垂直（上下 ) 方向と定義する。

また、スクリーン面 5 5 Aの奥行方向を、 x y平面に直交する z軸の正方向と定義し、スクリーン面 5 5 Aの手前側、すなわち、スクリーン面を見る視点 P Z が存在する側を z軸の負方向と定義する。

さらに、スクリーン面 5 5 Aの中心が当該 X軸、 y軸、 z轴でなる 3次元座標系の原点 0と一致するものと定義する。

X軸にはスクリーン領域の内部（原点）から左右外部方向に向かって連続した仮想的な座標値が設定されており、スクリーン領域内の X軸には、視点 P Zからスクリーン面 5 5 Aを見て左側から右側に亘つて「一 4」から「 + 4 — I の間の仮想的な座標値が設定されている _t>

また y軸にはスクリーン領域の内部（原点）から上下外部方向に向かって連続した仮想的な座標値が設定されており、スクリーン領域内の y軸には、視点 P Z からスクリ一ン面 5 5 Aを見て下側から上側に亘つて「一 3」から「+ 3」の間の仮想的な座標値が設定されている。

さらに、オペレータの視点位置 P Zは、 z軸上において、その座標値が「一 1 6 」となる位置に仮想的に設定されている。

( 3 ) 3次元変換の基本的ァルゴ' リズム

X y zの 3次元座標系で表される仮想空間内で立体（直方体）を任意の位置及び角度で生成し、この立体のうち、 z軸の座標値「一 16」に位置するオペレータの視点から実際に見える面だけを立体 6面表示画像としてスクリーン面 5 5 Aに表示する 3次元画像変換処理の基本的ァルゴ'リズムについて説明する。

2次元平面の画像を形成するソ一スビデオ信号は、画像変換されずにそのままの状態でフレームメモリに記憶される。従って図 5及び図 6 に示すように、ソースビデオ信号 V は X y zの 3次元座標で表される空間の X y平面上に存在することにより、当該 x y平面に存在するスクリーン面 5 5 A上にソースビデオ信号

i 1 V , の画像が表示される。

因みに図 5は X y ζの 3次元座標系で表される空間を y軸の正側から側を俯瞰した状態を示し、 X y平面に存在するスクリーン面 5 5 Aにソースビデオ信号 V が重なっている。また図 6は X y zの 3次元座標系で衷される空間を z軸上の視点 P Zから当該 z軸の負側をスクリーン面 5 5 Aを介して見た状態を示し、 X y平面上のスクリーン面 5 5 A内にソースビデオ信号 V _t が存在している。かかるソースビデオ信号 V , に対して、オペレータがコント c ールパオルの操作子を操作することによって X y z座標空間での 3次元画像変換処理が施される。すなわち、各フレームごとに設定されるパラメータからなる 3次元変換行列 T を、オペレータの操作によってソースビデオ信号 V , の各画素に施すことにより、ソースビデオ信号 V , を 3次元変換ビデオ信号 V ₂ で示される空間位置に 3 次元変換する。図 5及び図 6の場合の 3次元変換は、ソースビデオ信号 V ！を y 軸を回転中心として約 45 ° 回転し、さらに z軸の正方向に平行移動した場合の一例である。

3次元変換に用いられる 3次元変換行列 T。は、次式、 r 1 r 1 2 r 3 0

Γ r Γ 0

Τ

r 3 1 r 3 Γ 3 3 0

ί H i z s

によって表される。

この 3次元変換行列 T。に使用される変換パラメータ r , ,〜 r ^{3 3}は、ソースビデォ信号 V , を、 X軸回り、 y軸回り及び z軸回りに回転させるための要素、ソースビデオ信号 V , を、 X軸方向、 y軸方向及び z軸方向にそれぞれスケール拡大ノ縮小させるための要素、及び、ソースビデオ信号 V ' を X蚰方向、 y軸方向及び z軸方向にそれぞれスキューさせるための要素等を含むパラメータであり、また、パラメータ、 i _y , ί は、ソースビデオ信号 V！を X軸、 y軸及び z轴方向にそれぞれ平行移動させるための要素を含んだパラメータであり、さらに、パラメータ s は、ソースビデオ信号 V , 全体を、 3次元のそれぞれの軸方向に、一様に拡大ノ縮小させるための要素を含んだパラメータである。

なお、当該変換行列 T。は、回転変換等の座標系と平行移動変換及び拡大縮小変換の诬標系とを同じ 1 つの座標系内で表現しているので、 4行 4列となり、このような行列を一般的に同次鹿標系（Homogeneous Coordinate)と称する。

かくしてスクリーン面 5 5 A上のソースビデオ信号 V が 3次元変換行列 T。によって 3次元変換ビデオ信号 V ₂ の位置に 3次元変換されると、当該 3次元変換ビデオ信号 V ₂ は、透視変換行列によって X y平面に投影される。

透視変換とは、図 5及び図 6 に示すように、 z軸上の仮想視点 P Zから変換ビデォ信号 V ₂ を見たとき、 X y平面に透視される 3次元変換ビデオ信号 V ₂ の像 (これを透視変換ビデオ信号 V ₃ と称する）を求める変換である。図 5の場合、 X y平面上のスクリ一ン面 5 5 Aには、仮想視点 P Zから見てスクリーン面 5 5 Aの反対側（ z軸の正側）にあたかも 3次元変換ビデオ信号 V ₂ による像があるかのような透視変換ビデオ信号 V ₃ が透視変換行列 P。によって生成される。この透視変換行列 P。は、次式、

1 0 0 0

0 1 0 0

( )

0 0 0 P

0 0 0 1

によって表される。この透視変換行列 P。のパラメータは、 3次元変換ビデォ信号 V ₂ を X y平面上に透視する際に、遠近法を適用するためのパースぺクティブ値である。すなわち図 5の場合、 3次元空間における 3次元変換ビデオ信号 V ₂ は、 X y平面に対して約 45° 傾いた状態であり、これを仮想視点 P Zから見ると、当該仮想視点 P zからの距離が遠い部分は小さく見え、近い部分は大きく見える。従ってパラメータを用いることにより、スクリーン面 5 5 Aの位置に変換される透視変換ビデオ信号 V ₃ は、 3次元空問にある 3 ¾元変換ビデオ信号 V を仮想視点 P Zからの距離に応じて変換したものとなる。

3次元変換ビデオ信号 V ₂ の透視変換によるスクリーン面 5 5 Λ上への変換位置は、仮想視点 P Zとスクリーン面 5 5 Aとの距離、及び、仮想視点 P Zと 3次元変換ビデオ信号 V ₂ との距離に応じて変化するものであり、仮想視点 P Zの位置に応じてパースペクティブ値をオペレータが設定することにより、仮想視点 P Zの位置に応じた透視変換を行うことができる。通常、視点 P Zの位置が z 軸の座標値 1 6 であることから、パースペクティブ値は「 1 / 1 6」が基準値となるように設定されている。

以上のように、 3次元変換の基本的処理は、 3次元変換行列 T o によってソ — スビデオ信号 V , から 3次元変換ビデオ信号 V ₂ を得るための空間的画像変換ステップと、当該空間的画像変換ステップによって得られた 3次元変換ビデオ信号 V 2 を透視変換行列 P。によって透視変換ビデオ信号 V ₃ に変換する透視変換ステツプとから構成される。従って、ソースビデオ信号 V , から透視変換ビデオ信号 V ₃ を得るための変換行列 Tは、 3次元変換行列 T。と透視変換行列 Ρ。との乗算式として、次式、

Τ = Τ Ρ

Γ r l ϋ 0

r ； Γ r 0 0

Γ ： Γ r 0 P

ί H ί _z 0 1 Ρ ,

Ρ _ζ

( 3 ) Ρ ,

Ρ 十 s

によって表される。

ここで、本発明の特殊効果装置を用いた画像処理装置は、外部から供袷された 2次元のソースビデオ信号 V . を、一旦、フレ一厶メモリ F Μに書込み、このフレームメモリ Ι'、 Μに対して 2次元演算された読出しァドレスを供給することにより、当該フレームメモリ F Μから読み出されるビデオ信号に対してオペレータが所望とする空間画像変換（ 3次元画像変換及び透視画像変換）を施すことができる。従ってフレームメモリ F Μに記憶されるソースビデオ信号 V , 及びフレームメモリ F Μから読み出される透視変換ビデオ信号 V ₃ は、共に、 2次元のデータであり、当該読出しアドレスの演算においては、 3次元空間上の ζ軸方向のデータは、実質的に使用されない。

従って、（ 3 ) 式の ζ軸方向のデータを演算するための 3行目及び 3列 13のパラメータは、フレームメモリに対する読出しァドレスを演算する際には必要とされない。

従って、実際の 2次元の読出しァドレスの演算に必要なパラメ一タを有した 3 次元変換行列を Τ _{3 3}とすると、当該行列 Τ _{3 3}は、 i ) 式から 3行目及び 3列目のパラメータを除いた次式、

r _{1 3} P _z

T r P _z ( 4

£ z P z + s

によって表すことができる。ここで、フレームメモリ F M上の位置べクトノレと、モニタスクリーン 5 5 上の位置べクトルとの関係について説明する。

図 7 ( A ) においてフレー厶メモリ F M上の 2次元のアドレスを（ X 、 Y ) 及び位 gべクトルを〔 X Y 〕とし、図 7 ( B ) においてモニタスクリーン 5 5上のアドレスを（X _s 、 Y s ) 及び位置べクトルを〔X _S Y s 〕とする。このフレームメモリ F M上の 2次元の位置べクトル〔 X Y 〕を、同次座標系で表現すると、ベクトル〔 x _m y _m H。〕と表すことができる。またモ二タスクリーン 5 5上の位置べクトル〔 X _S Y _s 〕を同次座標系で表現すると、ベクトノレ〔 X _s y _s 1 〕と表すことができる。

なお、この同次座標系のパラメータ「 H。」は、べクトルのお:;大 Z縮小率を表すパラメータである。

かくしてフレームメモリ F M上の位置べクトル〔 X _m y _m H。〕に対して、 3次元変換行列を作用させることによって、フレームメモリ F Μ上の位置べクト X _m y _m H o 〕がモニタスクリーン 5 5上の位圈べクト X、 y _s 1 〕に変換される。従って、フレームメモリ F M上の位置べクトル〔 x _m y _m H o 〕とモニタスクリーン 5 5上の位置べクトノレ〔 _s y _s 1 との関係式は、次式、

C X y s 1 ] = ( _m y _m 11 o j · T ( 5 ) によって表すことができる。なお、フレ一ムメモリ F M上の位置べクトル〔 X _m y π, Η。〕において使用されている同次座標系のパラメータ「 Η。」及び、モニタスクリーン 5 5上の位置べクトル〔 X .、 y s 】〕において使用されている同次座標系のパラメータ「 1 」との関係は、 3次元変換行列 T _{3 3}によって、フレームメモリ F Μ上の同次座標系の位置べクトル〔 X _m y _m 〕力く、モニタスクリーン 5 5上の同次座標系の位置べクトル〔 X _s y s ) に変換され、フレームメモリ F M上の同次座標系の位置べクトル〔 X _m y _m 〕の大きさ「 H。」が、モニタスクリーン 5 5上の同次座標系の位置べ'クトル〔 X _s y _s 〕の大きさ「 1 」となるように変換されることを表している。

このように、（ 5 ) 式は、フレームメモリ F M上の点に対応するモニタスクリーン 5 5上の点を行列 T₃₃によって求める関係式である。ここで、特殊効果装置を用いた画像処理装置では、ソースビデオ信号を変換前の状態でフレームメモリ F Μに記憶し、変換行列 Τ ₃₃によって得られたモニタスクリーン 5 5上の点に対応するフレームメモリ F Μの点を読出しァドレスによって指定することにより、ソースビデオ信号に対して空間的な画像変換を施すようになされている。

このような装置においては、フレ一ムメモリ F Μ上の点に対応するモニタスクリーン 5 5上の点を求めるような（ 5 ) 式による演算を行うのではなく、モニタスクリーン 5 5上の点に対応するフレームメモリ Μ上の点を求める必要がある。従って（ 5 ) 式を変換して、次式、

〔 X Η 〕〔 X Τ によって表される関係式を用いることにより、モニタスクリーン 5 5上の位置べクトル〔 X s y _s 1 〕が指定されると、変換行列丁 ³³ によってフレームメモリ F M上の位置ベクトル ί X „ y _m H。〕が演^される。因みに、この変換行列 T ₃ ¹は、変換行列 T ₃の逆行列である。

次に、フレームメモリ F M上の 2次元の位置べク X_M Y j を求めるために、変換行列 T₃₃及び逆行列を以下のようにする。すなわち、変換行列 Τ の各要素を、 r Ρ ,

1 r 23 P _z

i _z P , 十 s a 12 a

a 2 7 )

のように '、'ラメ一タ a , ,〜 a とおくと共に、逆行列 T ₃₃ ¹のパラメータを次式、

■ b i > b 1 2 b 1 3 )

33 b 21 b 22 b 3 … . ( 8

b 31 b 32 b 33 ^J a

但し b ,

deL ( T

のように、フメータ b b とおく

( 8 ) 式を（ ii ) 式に代入して、次式、

C x m y _m H o ) = [ x y 1 ]

〔 b x + b 21 y + b 3 !

b x 十、 + b

b 十〕 ( 9 となる。よって、次式、 x _m = b i i x + b 21 + b y _m = b 12 x s + b 22 y s 十 b

II o = b i a x - b 2 a y s 十 b

が得られる _t>

ここで、フレームメモリ F M上の同次痤標系の位置べクトル〔 X _m y _m H o 〕を、フレームメモリ F M上の 2次元の位置べクトル〔 X Y 〕に変換する場合について説明する。

2次元の位置べクトル〔 X _M Υ _Μ 〕を同次座標系に変換するときに使用するパラメータ「 Η。」は、同次座標系の位置べクトル〔 x _m y _m 〕の大きさを表すパラメータであることから、同次座標系の位置べクトルを 2次元の位置べクトルに変換するためには、同次座標系の位置べクトルの方向を示すパラメータ ί X _m 」及び「 y _m 」を、同次座標系の位置べクトルの拡大 Z縮小率を表すパラメ一タ ^[ H。 I で正規化すれば良い。従って、モニタスクリーン 5 5上の 2次元の位置べクトルの各パラメータ「x_s 」及び「Y_S 〕は、次式、

X

H

( 1

Y

H

と表すことができる。モニタスクリーン 5 5上の同次座標系のベクトル [ X _s y s 1〕を、 2次元の位置ベクトル〔 X s Y s 〕に変換する場合についても同様にして、同次座標系の位置べクトルの方向を示すパラメータ「 X _s 」及び「 y _s .1 を、同次座標系の位置ベタトルの拡大ノ縮小率を表すパラメータ「 1 」で正規化すれば良い。従って、モニタスクリーン 5 5上の 2次元の位匿べクトルの各パラメータ「X _s 」及び「 Y _s 」は、次式、 X s = X

Y s = y

と表すことができる。

よって、フレームメモリ F M上のアドレス（Χ _Μ 、 Υ _Μ ) は 0 ) 式から次式、

X M

H

1 X s 21 十

b x + b y _s 十 b

b . i X s + b , Y _s

3 )

I) X K 十 b ₂₃ Y s 十 b

Y

H o

b 12 x + b 22 y s + b

b x + b y ト b

b , 2 X s 十 b ₂₂ Y _s + b

( 1 b 1 X "I b 2 Y + b として求めることができる。次に T — 'の各パラメ一タ b , ,〜 b ₃ を求める

一 a 2 3 a 22 a

( 1 5

W

s 12 a

b 1 6

w

S Ά d ' 3

b , ( 1 7

w

b

W

, + a

W■

() ) w

a 22 a 十 a 2！ a

( 2 w l d ' 3

( 2 w b 33 - …… ( 2 3 )

W >

になる。ただし、

W 1 = 一 a 22 3 1 a 1 3 + a 21 a 32 a 13 a 12 a 31 a 23

一 3 l】 3 32 3 23— 3 1 2 3 2 1 3 33十 3 1 1 3 22 3 33 ( 2 Ί )

である。ここで、 a ！ ,〜 a 3₃の値は（ 7 ) 式の関係から、

a i i= r 】 a i 2 = r i 2、 a 1 3 = r 1 3 P _z l 2 5 )

3 2 i ⁼ r 21 _N Ά 2 — r 22 a 2.1 == r 2.ι Ρ _ζ ( 2 6 ) a 3 , = £ _K . a ₃₂ = 、 a 3₃ = ί P _z + s …… ( 2 7 )

であるから、これを（ 1 5 ) 式〜（ 2 4 ) 式に代入することにより、

- £ _y r 23 P + r 22 ( i P + s )

b , , …… ( 2 8 )

W■

i _y r , 3 P ₂ + r ( £ _z P , + s )

b 12 = …… ( 2 9 )

W 1

~ r 22 r 131- 十 Γ 1 2 Γ 23 Ρ Ζ

b ■ …… ( 3 0 )

W >

ί χ r P - r 2 , ( £ _z P _z 十 s )

b _{2 1}- …… ( 3 1 )

W 1 - St r ■ a P 十 r , , ( i _z P _z 十 s )

b …… ( 3 2 )

W ,

r r P ~ r l l r P

b ₂₃= …… ( 3 3 )

W i

- r ί 十 r _{2 1} £ _y

b ₃ , …… ( 3 4 )

W！

2

3

r £ , - r ! , ί _y

b …… ( 3 5 )

W

一 Γ 1 2 Γ 2 1十 Γ 1 1 Γ 22

b …… ( 3 6 )

W .

W！ = - r £ _x r , P _z

r , P

"I P

- r , , £ _y r P ₂

- r r _{2 1} ( £ , P _z 十 s )

-+ r , ! r { Ά P + s ) …… ( 3 7 )

と表わすことができる。

かくして、（ 2 8 ) 式〜（ 3 7 ) 式の値を（ 1 3 ) 式及び（ 1 4 ) 式に代入することにより、フレームメモリ F Mに供給される読出しアドレス（X _M 、 Υ _Μ ) は、 FCT/JP96/03347

X M " C P _z + ( i P , + s ) X

H o

十 { r ■ P 十 ί . P _z -Y s Y

+ ( ― r Γ P z + P , ) 〕

( 3 8

Y 〔 { i P 十 s ) } X

H o

-I- { + r P 十 s ) } Y

- 1 { r ₂ r a P - r , , r ₂₃ P ₂ } ]

( 3 9 として与えられる。ただし、 H。は次式、

Η θ = ( - Γ . £ y ) X

Γ ! . ) Y

"1 ( ~ Γ Γ r ( 4 0 である。よってフレームメモリ F Mに供給される読み出しアドレス（ X M 、 Y M ) を、オペレータの所望の空間的画像変換装置によって決定される 3次元変換行列 T。の各パラメータ（ r , ,〜 r ₃₃、 I i 及び s ) 、及ひ、予め設定されるパラメ一タであるパースペクティブ値 P _z を用いて表すことができる。従って（ 6 ) 式〜（ 4 0 ) 式に対して、モニタスクリーン 5 5 のラスタスキヤン順に対応するように、スクリーンアドレス（ X .s 、 Y s ) を画素毎に供給すると、その供給されたスクリーンアドレスに対応したフレームメモリ F M上における読み出しァドレス（ X _M 、 Υ Μ ) を、順に演算することができる。 ( 4 ) 仮想空間上の 6面体

この実施例において、 3次元変換されたソースビデォ信号がマッビングされる 3次元仮想空間上の直方体 B 0 Xは、図 8 に示すように、 3次元座標系の原点 0 が中心となるような位置を基準位置として存在する。

この直方体 B O Xは、 3次元変換されたソースビデオ信号 V _{1 A} (図 3 ) がマツビングされる目的画像表示面（SideA)及び当該目的画像表示面（SideA)の対向面 (SideA ' ) と、 3次元変換されたソースビデオ信号 V （図 3 ) がマツビングされる第 1 の側面（SideB)及び当該第 1 の側面の対向面（SideB ) と、 3次元変換されたソースビデオ信号 V _{l c} (図 3 ) がマッピングされる第 2の側面（SideC)及び当該第 2 の側面（SideC)とを有する。

5

この直方体 B 0 Xの目的画像表示面（SideA)及びこの対向面（S)deA ' ) の間の厚み、すなわち目的画像表示面（SideA)に対する厚み hがオペレータによって予め設定されており、図 8に示すように基準位置にある目的画像表示面（SideA)は X y平面よりも距離 h / 2だけ z軸の負方向に移動した位置にあり、目的画像表示面（SideA)の対向面（SideA ' ) は x y平面よりも距離 h Z 2だけ z軸の正方向に移動した位置にある。

因みに 3次元変換される前のソースビデオ信号 V _{I A}、及び -は、それぞれスクリーン面の存在する X y平面上にあることになり、後述する変換行列 Μ_Λ 又は Μ_Α ' によってソースビデオ信号 V は基準位置によって直方体 B 0 ) (の目的画像表示 Sri (SideA)又はその対向面（SideA ' ) にマッピングされ、ソースビデ才信号 V _{1 B}は基準位置にある直方体 B 0 Xの第 1 の側面（SidcB)又はその対问面 (SideB ' ) にマツビングされ、ソースビデオ信号 V , (：は基準位置にある直方体 B 0 Xの第 2の側面（SideC)又はその対向面（SideC ' ) にマッピングされる。このように基準位置にある直方体 B 0 Xの各面にソースビデオ信号 V ,_Λ、 V , 及び V _{1 C}がマッビングをすると、直方体 B 0 Xがオペレータの操作によって基準位置から 3次元空間上の任意の位置に移動することに応じて当該移動に応じて各パラメータが変化する上述の 3次元変換行列 T。により直方体 Β 0 Χの各面にマッビングされたビデオ信号は、当該直方体 B 0 Xの各面に貼り付いた状態を保持しながら直方体 B 0 Xの移動に伴って移動する。

( 5 ) 目的画像表示面（SideA)へのマッピング

図 3 に示す画像生成部 2 0 において、クロップ回路 2 1 に入力されたソースビデ才信号 V は、オペレータの操作によって所望の領域が切り取られる。このソースビテ才信号 V は、ク口ップ回路 2 1 に入力される時点では未だ X y平面上に位置する 2次元画像である。すなわち X y z の 3次元座標系を軸の視点 P Z の位置から z軸の正方向を見た図 9 ( A ) において、 x y平面上のソースビデオ信号 V _{1 Λ}の左端のク η ップ位置を C _ALと表 6し、右端のク " ップ位置を C _{A R}と表し

、上端のクロップ位 Eを C ATと表し、下端のクロップ位置を C _A と表すと、ク u ップされたソースビデオ信号 V "の 4つの顶点の座標は、

I X 1 、 y 1 ) = ( C AR、 C AT)

( x 、 y 2 ) ^ ( C A C AT)

······ ( 4 1 )

( a 、 y ) = ( C C AB)

( X 1 、 ) = ( C ARS C AB) と表すことができる。

因みに図 9 ( B ) は、 X y z の 3次元座標系を y蚰の正方向から負方向に向かつて俯瞰した状態を示し、ク □ ップされたソースビデオ信号 V "は X y平面上において X軸の座標「 χ ₂ 」から「 Χ ι 」に Βつて存在し、 ζ轴方向への立体的厚みは無い。

このようにしてクロップ回路 2 1 においてクロップされたソースビデ才号 V は、フレームメモリ F M₂₂ (図 3 ) に変形されない状態でそのまま記憶されるフレームメモリ F M₂₂に記憶されたソースビデオ信号 V は、移動行列 L _A によって、 z轴の負方向に距離 h Z 2だけ平行移動される。この移動行列 1, _Λ はソースビデオ信号 V _1Αの ζ軸座標を一 h /2 にするための行列であり、次式、

0 0

4 2 1 0

-h/2 1 によって表される。従って X y 2；の 3次元座標系を y軸の正方向から負方向に向かって俯瞰した図 1 0 ( B ) に示すように、 X y平面上にあったソースビデ才信号 V "は移動行列 L _A によってス铀の: &方向に- h/2だけ平行移動され、この結果、マツビングしょうとする直方体 B O X (図 8 ) の目的画像表示面（SideA)が存在する位置（ z軸座標値が- h/2の位置）に移動した状態となる。この状態では、ソースビデオ信号 V _{1 A}の X座標（ χ ₂ 〜 X i ) は変わらない。

因みに図 1 0 ( A ) は、移動行列 1. _Λ によって平行移動されたソースビデオ号 V _{1 Λ}を z軸上の視点 P Zの位置から見た状態を示す。この状態では、ソースビデォ信号 V _1Αの各頂点の座標は変化していない。

このようにして平行移劻されたソ一スビデオ信号 V に対して、レート · スキユー変換行列 T _rsによって、レート変換及びスキュー変換が施される。レート変換とは、 2轴の負方向に距離 h/2だけ平行移動した 2次元平 ft]のソースビデオ信号 V _1Aをその中心を基準にして X軸の正及び負方向と、 y軸の正及び負方向とにそれぞれ所望の拡大/縮小率で 2次元的に拡大 Z縮小するものである。このレート変換における X軸方向の拡大/縮小率を「 r _x I 、 y $由方向の拡大 Z縮小率を

「 r _y 」とすると、レート変換行列 T _{r a t e}は、次式、 0 0

0 0

T r a t , (

1 0 ο ο ο 0 1

r

ο ο r ο

のように表される。

またスヰュ一変換とは、？,軸の負方向に距離 h/2だけ平行移動した 2次元平面のソ一スビデオ信号 V _1Aをその中心を基準にして X軸の正及び: Ti方向と、 y軸の正及び負方向とにそれぞれ所望のスキュー率で 2次元的に歪めるものである。このスキュー変換における X軸方向のスキ 2ュー率を「 s _x 」、 y 方向のスキュー率を「 s _y 1 とすると、スキュー変換行列 T _{sl( e}„は、次式、

1 S 0 0

S y 1 0 0

T 4 4

0 0 1 0

0 0 0 1

のように表される。

従ってレート変換及びスキュー変換の復号変換行列であるレ一ト · スヰュ一変換行列 T _rsは、次式、

T _rs- T r a t , • T _S

0 0 0 0 0

r v 0 0 s 0 0

0 1 0 0 1 0

0 0 0 0 1 S 0 0

0 0

4 5 ) 1 0

0 1

によって表される。

なお、このレート · スキュー変換行列 T _{r s}によって変換された 2次元平面上での 4点の座標を、図 1 1 ( A ) に示すように、（ X , ' . y . ― ) 、 ( 、 y ₂ ' 〉、 ( X ' , y ' ) , ( x ₄ ' 、 y ₄ ' ) とすると、それぞれ次式、

X ' ^ y ' ) =； ( X y ) T

= ( Γ x i + r _y s + r

( X y ) = ( X 、 Υ ) T r s

^ ( r x -+ r _y s

( X y ) = ( X 、 y ) T

=— ( r x + r _y s y a x 3 + r y

( y ) = ( X 、 ) T rs

= ( r _x x + r y s y +

( 4 6

のように表される。

以上のように第 1 のソースビデオ信号 V _{1 Λ}を目的画像表示面（SideA)にマツビングする処理をまとめると、マッピング処理を表す行列を M _A として、（ 4 2 ) 式及び（ 4 5 ) 式から次式、

M = し T _{r ;} ( 4 7 ) となり、これにより図 9 に示すソースビデオ信号 V _{1 Λ}の 2次元平面上での 4点（ X 、 y ) 、（ X 、 y ) 、（ x 、 y ) 、（ χ 、 y ) は、行列 Μ _Λ によって図 1 1 ( Α ) 及び（B) に示す 3次元空間上の目的画像表示面（SideA) の 4点（ X , ' 、 y , ' 、 -h/2) 、（ x ' 、 y ₂ ' 、 - h/2) 、 ( x ₃ ' , y ₃ ' 、 -h/2) 、（ χ ₄ ' 、 y ₄ ' 、 -h/2) にマッピングされたことになる。

因みに、第 1 のソースビデオ信号 V , に対応して画像生成部 2 0 に入力されるキー信号 Κ _{1 Α}に対しても、ソースビデオ信号 V , を目的画像表示面（SideA)にマッピングする上述の場合と同様の変換処理が施される。

( 6 ) 目的画像表示面（SideA)の対向面（SideA ' ) へのマツビング

図 3 に示す画像生成部 2 0 において、ク uップ回路 2 1 に入力されたソースビデ才信号 V _{1 A}は、オペレータの操作によって所望の領域が切り取られる„ このソ —スビテオ信号 V _{1 A}は、ク πップ回路 2 1 に入力される時点では未だ X y平面上に位匿する 2次元画像である。すなわち X y zの 3次元座標系を z軸の視点 P Z の位置から z軸の正方向を見た図 9 ( A) において、 x y平面上のソースビデオ信号 V _{1 A}の左端のクップ位置を C _ALと表し、右端のク。ップ位置をと表し、上端のクロップ位置を C _ATと表し、下端のクロップ位置を C _A13と表すと、クロップされたソースビデオ信号 V _{1 A}の 4 つの頂点の座標は、上述の（ 4 1 ) 式となる。

このようにしてクロップ回路 2 1 においてクロップされたソースビデオ信号 V "は、フレームメモリ F M₂₂ (図 3 ) に変形されない状態でそのまま記憶されるフレームメモリ F M₂₂に記憶されたソースビデオ信号 V は、移動行列 L _A によって、 z軸の正方向に距離 h / 2だけ平行移動される。この移動行列 L _A -は、ソースビデオ信号 V _{1 A}の z軸座標を + h /2 にするための行タ I.であり、次式、 0 ϋ

1 0

( 4 8 ) 0 1

0 h/2

によって表される。従って X y平面上にあったソースビデオ信号 V _{1 A}は移勛行列 L ' によって z軸の正方向に h/2 だけ平行移動され、この結果、マツビングしようとする直方体 B O X (図 8 ) の目的画像表示面（SideA)の対向面（S】deA ' ) が存在する位置（ z軸座標値が十 h/2 の位置）に移動した状態となる。この状態では、ソースビデオ信号 V , の X座標（ χ ₂ 〜 χ 】 ) は変わらない。

このようにして平行移動されたソースビデオ信号 V _{1 Α}に対して、レート ' スヰユー変換行列 T _rsによって、レート変換及びスキュー変換が施される。この場合のレート変換とは、 z轴の正方向に距離 h/2だけ平行移動した 2次元平面のソースビデオ信号 V _{1 A}をその中心を基準にして X蚰の正及び負方向と、 y軸の正及び負方向とにそれぞれ所望の拡大/縮小率で 2次元的に拡大ノ縮小するものである

。このレート変換行列 T は上述の（ 4 3 ) 式と同様となる。

またスキュー変換とは、 z軸の正方向に距離 h/2だけ平行移動した 2次元平面のソースビデオ信号 V _1Aをその中心を基準にして X軸の正及び負方向と、 y軸の正及び負方向とにそれぞれ所望のスヰユー率で 2次元的に歪めるものである。このス半ュ一変換行列は上述の（ 4 4 ) 式と同様となる。

従ってレ一卜変換及びスキュー変換の復号変換行列であるレート · スキュー変換行列 T _rsも、上述の（ 4 5 ) 式と同様となる。

また、このレート ' スキュー変換行列 T _rsによって変換された 2次元平面上での 4点の座標（ x ₁ ' 、 y ₁ ' ) 、（ x ₂ ' 、 y ₂ - ) 、 ( x ₃ ' , y ₃ ' ) , ( x ' 、 y ' ) は上述の（ 4 6 ) 式と同様となる。

以上のように第 1 のソースビデオ信号 V _1Aを目的画像表示面（SideA)の対向面 (SideA ' ) にマツビングする処理をまとめると、マツビング処理を表す行列を M A ' として、次式、 Λ ' = L Λ ' · T r _s …… ( 4 ) となり、図 9 に示すソースビデオ信号 V _{1 A}の 2次元平面上での 4 （ X , 、 y , ) 、（ X 2 、 y ₂ ) 、（ x 3 、 y 3 ) 、（ x 4 、 y 4 ) は、行列: VI _Λ ' によって 3次元空間上の目的画像表示面（SideA)の対向面（SideA ' ) の 4点（ x , ' 、 y ! ' 、 ) 、（ x ₂ y ₂ ' 、 h/2 ) 、 ( x 3 ' , y ₃ ' . /2 ) 、 ( χ 4 ' 、 y 4 ' 、 h/2 ) にマッピングされたことになる。

因みに、第 1 のソースビデオ信号 V に対応して画像生成部 2 0 に入力されるキー信号 K "に対しても、ソースビデオ信号 V _1Aを目的画像表示面（SideA)の対向面（SideA ' ) にマツビングする上述の場合と同様の変換処理が施される。

( 7 ) 第 1 の側面（SideB)へのマツビング

図 3 に示す画像生成部 3 0 において、ク π ップ回路 3 1 に人力されたソースビデ才信号 V _{1 B}は、オペレータの操作によって所望の領域が切り取られる。このソ —スビテオ信号 V _{1 B}は、クロップ回路 3 1 に入力される時点では: だ X y平面上に位置する 2次元画像である。すなわち X y zの 3次元座標系を 1軸の視点 P Z の位置から z軸の正方向を見た図 1 2 ( A ) において、 x y平面上のソースビデォ信号 V _{1 B}の左端のク D ップ位置を C _BLと表し、右端のク ·□ップ位置を C _BRと表し、上端のクロップ位置を C _BTと表し、下端のク σ ップ位置を C と表すと、ク αップされたソースビデオ信号 V _{1 B}の 4つの頂点の座標は、（ C _{3 R}、 C _{B T}) 、（ C _BL、 C BT) 、（ C _Bし、 C _BB) 、（ C _BKヽ C _BB) と表すことができる。

因みに図 i 2 ( B ) は、 x y z の 3次元座標系を y軸の正方向から負方 1 に向かって俯瞰した状態を示し、ク口ップされたソースビデオ信号 V _{1 B}は X y平面上において「 C _BI.」から「（： _{B R} i に亘つて存在し、 z軸方向への立体的厚みは無いこのようにしてクロップ回路 3 1 においてクロップされたソースビデ才信号 V _{1 B}は、フレームメモリ F M ₃₂ (図 3 ) に変形されない状態でそのまま記憶されるク口ップ回路 3 1 によってク口ップされた後、フレームメモリ F M ₃₂に記憶されたソースビデオ信号 V _{1 B}は、平行移動行列 L _B0によって、当該クップ洛のソ一スビデオ信号 V _{I B}の中心が X y平面の原点 0に位置するように平行移動される。この平行移動行列 L _B。は、クップによって示される 4点 C _Bし、 C Βκ C _BT、 C _BBの座標位置から、次式、

3

L B 0 =

(C BR + C _BL) 12 — (C BT + C Bb) I 0

によって表される。従って X y 2 の 3次元座標系を τ軸上の視点 Ρ Ζの位置から見た図 1 3 ( Α ) に示すように、ソースビデオ信号 V _{l t>}は平行移動行列 5 L _ΒΠによ o つてその中心が原点 0と Sなるように移動される。

因みに図 1 3 ( Β ) は、 X y 2の 3次元座標系を y軸の正方向から &方向に向かって俯瞰した状態を示し、ソースビデオ信号 V】_Bは平行移動行列 L _B0によって y平面上を移動していることが分かる。

このようにして平行移動されたソースビデオ信号 V _{1 B}に対して、拡大/縮小行列 S _B による拡大又は縮小を施す。この拡大又は縮小とは、クロップされたソースビデオ信号 V _{1 B}の X方向の長さが、図 8 について上述した目的画像表示面（Si deA)の第 1 の側面（SideB)と接する辺 H B の長さと一致するようにソースビデオ信号 V _1Bを X方向に拡大又は縮小するとともに、当該ソースビデオ信号 V , の y 方向の長さ力図 6 について上述した直方体 B 0 Xの厚み h と一致するようにソースビデオ信号 V _{I B}を y軸方向に拡大又は縮小するものである。

この拡大縮小における X軸方向の拡大/縮小率を r _Ux、 y fe方向の拡大 Z縮小率を r _Byとすると、クロップされたソースビデオ信号 V _{I B}の X軸方向の長さ（ C C «,.) 及び y軸方向の長さ（ C _nT— C _Bli) を用いて、次式、

H

し —しと表すことができる。従って、拡大/縮小変換行列 S _B は、（ 4 3 ) 式について上述したレート変換行列 T _{ra te}の X轴方向の拡大/縮小率 1 r _x 」及び y軸方向の拡大 Z縮小率 I r _y 」をそれぞれ（ 5 1 ) 式で表される拡大/'縮小率「 r _Βκ」、「 r _By」に置き換えて、次式、

0 0

5

0 0

S ( 5 2

1 0

0 1

と表される。

これにより、図 1 4 ( A ) に示すように、中心が原点 0と重なった位置にあるクロップ済のソースビデオ信号 V _IBは、拡大 Z縮小変換行列 S _B によって X軸方向及び y軸方向にそれぞれ原点 0を中心に拡大又は縮小される。このとき、 x y zの 3次元座標系を y軸の正方向から負方向に向かって俯瞰した図 1 4 ( B ) に示すように、拡大 Z縮小変換行列 S _B によるソースビデオ信号 V ,_Bの変換では、当該ソースビデオ信号 V _{1 B}は X y平面上において 2次元的に変換されることが分 18668 力、る。

なお、この実施例においては、オペレータが指定した 4つのクロッブ値 C BR、

C BL, C _BT及び C _BBから、目的画像表示面（SideA)の辺 H B 及び厚み h に合わせた拡大 Z縮小率 r _Bx及び r _Byを求めている。これにより、図 1 5 ( A ) に示すよつ（こ、 4 つの,¹^ (C BL、 C BT) 、 ( C BRX C UT) 、 ( C BL、し BB) 、 ( し BR、 C BB) によってク Π ップされたソ一スビデオ信号 V _{Ι Β}の領域が全体として拡大又は縮小される（これをクロップ優先と呼ぶ）。

これに対して、オペレータが直接この拡大 Ζ縮小率 r _Βχ及び r _Byと、 2つのク σップ値 C _BR及び C _ΒΒを入力することによって所望の拡大ノ縮小率でソ一人一ビデ才信号 V _{Ι Β}をク πップしても良い。この 3場合、図 1 5 ( Β) に示すように、拡大

5

Ζ縮小率をともに i として 2つのクロップ値 C _Βκ、 C BTを人力することにより、ソースビデ才信号 V ,_Bのうち、必要とする領域の画像をそのまま切り取ることにより、必要とされる拡大 Ζ縮小画像を得ることができる。

このようにして拡大又は縮小されたソースビデオ信号 V _{Ι Β}は、回転変換行列 R _Βχによって、 X軸回りに 90° 回転させられる。この回転変換行列 R は、 x y平面上のソースビデオ信号 V _{1 B}を X z平面上に変換するための行列であり、次式、

1 0 0

0 cos( 7Γ IV) -sin( 7Γ /2)

R B x =

0 sin(s- /2) cos ( π I'D

0 0 0

1 0 0 0

0 0 - 1 0

5 3 ) 0 1 0 0

0 0 0 1 によって表される。従って図 1 4 について上述した拡大 Z縮小^の X y平面上のソースビデオ信号 V _{1 B}は、 x y zの 3次元座標系を y軸の正方向から負力向に向かって俯瞰した図 1 6 ( B ) に示すように、回転変換行列 R _Bxによって X z平面上に回転変換される。この結果、マッピングしょうとする直方休 B 0 X (図 8 ) の第 1 の側面（SideB)が、当該目的画像表示面（SideA)に対して 90° の角度にあることに応じて、回転変換行列 R _Bxによって回転変換されたソースビデオ信号 ( 図 1 6 ( B) ) は目的画像表示面（SideA)に対して同様の角度：90° ) の位置に回転移動される。

因みに図 1 6 ( A ) は、回転変換行列 R によって X z平面上に変換されたソースビデオ信号 V _{1 B}を z轴上の視点 p Z 3の位置から見た状態を示し、この状態に

6

おいてソースビデオ信号 V 】_Bは y軸方向に厚みを持たない。

このようにして X z平面上に回転変換されたソースビデオ信号 V _{1 B} (図 1 6 ) は、回転変換行列 R _Bzによって、 z軸回りに所定角度 tf _B だけ回転させられる。この回転変換行列 R _Bzは、 X z平面上のソースビデオ信号 V ：図 1 6 ) を X蚰に対して所定角度 _Β だけ傾ける変換行列であり、次式、

5

COS θ Β s 1 η ^ 0 0

4 S 1 Π Β cos θ 0 0

R Β ζ =

0 0 】 0

0 0 0 1

によって表される。従って図 1 6 について上述した χ ζ平面上のソースビデオ信号 V ,_Bは、 X y ζの 3次元座標系を ζ軸上の視点 Ρ Ζの位置から見た図 1 7 ( Λ

) に示すように、原点 0を中心にして X軸に対して所定角度 B だけ傾いた位匿に回転変換される。この結果、直方体 B O X (図 8 ) の目的画像表示面（SideA) にマツビングされるソースビデ才信号 V , _Λが図 1 1 について上したようにスキユー変換されていることに応じて、回転変換行列 R _Bzによって回 ¾変換されたソースビデオ信号（図 1 Ί ( A ) ) は目的画像表示面（SideA)に対する角度（90° ) を保持したまま、第 1 の側面（SidcB)と平行な位置に回転移動される。

なお、当該回転変換行列 R _Bzのパラメータ _B は、上述の図！ 1 においてスヰユーされた第 1 のソースビデオ信号 V _{1 A}の 2点の座標値（ X , ' 、 y , ' ) 、 ( X y ) 又は、 ( X y ) 、 ( x y ：> ) 力、ら求められ、次式、 tan y 2 ( X ) )

( 5 5 によってすことができる。

因みに図 1 7 ( B ) は、回転変換行列 K BZによって回転移動されたソースビデォ信号 V _{I B}を、 y軸の正方向から負方向に向かって見た状態を示す。

このようにして X軸に対して所定角度 Β だけ傾くように回転変換されたソ一スビデオ信号 V _{1 B} (図 1 7 ) は、平行移動行列 L B によって、 x y平面に沿って平行移動される。この平行移動行列 L _B は、図 1 7 に示すソースビデオ信号 V ,Η を、直方体 B O X (図 8 ) の第 1 の側面（SideB)に重なるように移動する変換行列である。この場合、図！ 7 において目的画像表示而（SideA)の第 1 の側面（Si deB)側の辺 H B は、 2つの点（ X " , y ' ) 及び（ x ₂ ' 、 y ₂ ' ) を結ぶ直線によって表されている。従って図 1 7 に示すソースビデオ信号 V _{1 B}を第 ] の側面（SideB)にマツビングするためには、ソースビデオ信号 V _{1 B}を平行移動行列しによって辺 H _B に一致するように移動させる必要がある。

従ってソースビデオ信号 V _{1 B}の中心が、 2つの点（ X , ' 、 y , 及び（ X ' 、 y の中間位置と一致するように当該ソースビデオ信号 V ,_Bを平行移動すれば良く、この平行移勛行列し Β は、次式、 'CT/JP96/033 7

1 o o

0 o o

L B =

0 0 1 0

( x + x ( y 十 y

0 1

2 2

( 5 6

によって表される。従って図 1 7 について上述したソースビデオ信号 V _{1 Β}は、 X y ζ の 3次元座標系を 2軸上の視点 Ρ Ζの位置から見た図 1 8 ( Λ ) に示すように、平行移動行列 L _B によって辺 H _B に一致するように X y平面上を平行移！ II)され、これにより直方体 B O X (図 8 ) の第 1 の側面（SideB)にマッピングされる因みに図 1 8 ( B ) は、平行移動行列 L B によって平行移動されたソースビデォ信号 V _{1 B}を、 y轴の正方向から負方向に向かって見た状態を示す。

以上のように第 2のソースビデオ信号 V _{1 B}を第 1 の側面（SideB)にマツビングする処理をまとめると、マッピング処理を表す行列を M B として、（ 5 ϋ ) 式、 ( 5 2 ) 式、（ 5 3 ) 式、（ 5 4 ) 式及び（ 5 6 ) 式から、次式、

Μ Β = L a D■ S R Β _χ · R 5 7

となり、これにより図 1 2 に示す X y平面上のソースビデオ信号 V , _Βは、直方体 B O X (図 8 ) の第 1 の側面（SideB)にマッピングされたことになる。

因みに、第 2のソースビデオ信号 V _{1 B}に対応して画像生成部 3 0に入力されるキー信号 K _{1 B}に対しても、ソースビデオ信号 V _1Bを第 1 の側面（SideB)にマツピングする上述の場合と同様の変換処理が施される。

( 8 ) 第 1 の側面（SideB)の対向面（SideB へのマツピング図 3 に示す画像生成部 3 0 において、クコップ回路 3 1 に人力されたソースビデォ信号 V _{1 B}は、オペレータの操作によって所望の領域が切り取られる。このソースビデオ信号 V _{1 B}は、ク u ッゾ回路 3 1 に入力される時点では未だ X y平面丄に位置する 2次元画像である。すなわち X y zの 3次元座標系を軸の視点 P Z の位置から z軸の正方向を見た上述の図 1 2 ( Λ ) において、 x y平面上のソースビデオ信号 V _{1 B}の左端のクップ位置を C _Bしと表し、右端のク口ップ位置を C _BRと表し、上端のクロップ位置を C _BTと表し、下端のクロップ位匿を C BBと表すと、クロップされたソースビデオ信号 V _{1 B}の 4つの] H点の座標は、（C _BR C Βτ

) 、 ( C BL C BT) 、 ( C BLN C BB) 、 (C BB、 C B I( ) と表すことカ<できる。このようにしてク πップ回路 3 1 にお 3 いてク ' ップされたソースビデオ信号 V

9

1_Βは、フレームメモリ I'' Μ ₃₂ (図 3 ) に変形されない状態でそのまま記惊されるクロップ回路 3 1 によってクロップされた後、フレームメモリ F M ₃₂に記憶されたソースビデオ信号 V _{1 B}は、平行移動行列 L _BUによって、当該クロップ済のソビデオ信号 V _{1 B}の中心が X y平面の原点 0に位置するように平行移動される。この平行移動行列し _β0は、上述の（ 5 0 ) 式と同様となる。従って図 1 3 (Λ ) について上述した場合と同梂にして、ソースビデオ信号 V ,_Βは平行移動行列 1, _Β0によってその中心が原点 0と重なるように移動される。

このようにして平行移動されたソースビデオ信号 V , Βに対して、拡大/縮小行列 S B による拡大又は縮小を施す _u この拡大ノ縮小行列 S _n は、上述の（ 5 2 ) 式と同様となる。

これにより、図 1 4 ( A) について上述した場合と同様にして、中心が原点〇と重なった位置にあるク πップ済のソースビデオ信号 V ,_Bは、拡大 Z縮小変換行歹リ S B によって X軸方向及び y軸方向にそれぞれ原点◦を中心に拡大乂は縮小される。

なお、対向面（SideB ' ) へのマッピングにおいても図 1 5 ( A ) について上述した場合と同様にして、オペレータが指定した 4つのク "ップ値 C _BR C _H C _BT及び C _BBから、目的画像表示面（SideA)の辺ト及び厚み h に合わせた拡大縮小率 r _Bx及び r _Byを求め、 4 つの点（C _BL、 C _BT) 、 ( C C _DT) 、 ( C _BL 、 C _BB) 、（ C _BR、 C _BB) によってク D ップされたソースビデ;†信号 V _{1 B}の領域が全体として拡大又は縮小される（これをクロップ優先と呼ぶ） „

これに対して、オペレータが直接この拡大 Z縮小率 r _Bx及び r _Byと、 2つのク Dップ値 C _BR及び C _BBを入力することによって所望の拡大 Z縮小率でソ一人- ビデォ信号 V _{1 B}をク πップしても良い。この場合、図 1 5 ( B ) について上述したように、拡大/縮小率をともに i として 2つのクロップ値 C _B(<、 C _BTを入力することにより、ソースビデオ信号 V i _Bのうち、必要とする領域の画像をそのまま切り取ることにより、必要とされる拡大ノ縮小画像を得ることができる。

このようにして拡大又は縮小されたソースビデオ信号 V ,_Bは、回転変換行列 R によって、 X軸回りに 90° 回転させられる。この回転変換行列 R _Bxは、上述の ( 5 3 ) 式と同様となる。従って図 i 4 について上述した拡大 Z'縮小済の X y平面上のソースビデオ信号 V _{1 B}は、図 1 6 について上述したように、回転変換行列 I？ _Bxによって X z平面上に回転変換される。この結果、マッピングしょうとする直方体 B O X (図 8 ) の第 1 の側面（SideB)の対向面（SidefT ) が、当該目的画像表示面（SideA)に対して 90° の角度にあることに応じて、回転変換行列 K によって回転変換されたソースビデオ信号（図 1 6 ( B ) ) は目的画像表示面（Si deA)に対して同様の角度（90° ) の位置に回転移動される。

このようにして X z平面上に回転変換されたソースビデオ信号 V ,Β (図 1 6 ) は、回転変換行列 R _BZによって、 z軸回りに所定角度 ί? _Β だけ回耘させられる。この回転変換行列 R は、 X ζ平面上のソースビデオ信号 V _{1 Β} ：図 1 6 ) を X軸に対して所定角度 Β だけ傾ける変換行列であり、上述の（ 5 4 ) 式と同様となる。従って図 1 6 について上述した X ζ平面上のソ一スビデオ信号 V _{1 Β}は、図 ] 7 について上述したように、原点〇を中心にして X軸に対して^定角度 π だけ傾いた位置に回転変換される。この結果、直方体 B O X (図 8 ) の目的画像表示面（SideA)にマツビングされるソースビデオ信号 V _1Λが図 1 1 について上述したようにスキュー変換されていることに応じて、回転変換行列 R ^によって回転変換されたソースビデオ信号（図 1 7 (Λ ) ) は目的画像 ¾示面（SideA)に対する角度（90° ) を保持したまま、第 1 の側面（SideB)の対向 lii (Sideir ) と平行な位置に回転移動される。

なお、当該回転変換行列 R _Bzのパラメ —タ " は、上述の図 1 1 においてス半ユーされた第 1 のソースビデオ信号 V _1Λの 2点の座標値（ X , - 、 y ！ ' ) 、 ( X 2 、 y s ' ) 又は、 ( 4 、 y i ' ) 、（、力、ら求められ、上述の（ 5 5 ) 式と同様となる。

このようにして X軸に対して所定角度 B だけ傾くように回転変換されたソ一スビデオ信号 V _{1 B} (図 1 7 ) は、平行移動行列し B ' によって、 x y平面に沿つて平行移動される。この平行移動行列 L _B は、図 1 7 に示すソースビデオ信号 V _{1 B}を、直方体 B O X (図 8 ) の第 1 の側面（SideB)の対向面（SideB ' ) に Sなるように移動する変換行列である。この場合、上述の図 1 7 において目的画像表示面（SideA)の第 1 の側面（SideB)側の辺トと対向する対向面（SideB ) 側の辺 H D ' は、 2つの点（ X ₄ ' 、 y ₄ ' ) 及び（ X ₃ ' 、 y _:i ' ) を結ぶ直線によつて表されている。従って図 1 7 に示すソースビデオ信号 V _{1 B}を第 1 の側面（Si deB)の対向面（S 1 deB - ) にマツビングするためには、ソースビデォ信号 V , _Bを平行移動行列 L _B ' によって辺 H _b ' に一致するように移動させる必要がある。従ってソースビデオ信号 V ,Βの中心が、 2つの点 ( X 4 ' 、 y ₄ ' ) 及び（ X 3 - 、 y 3 ' ) の中間位置と一致するように当該ソースビデオ信号 V _{1 Π}を平行移動すれば良く、この平行移動行列 L _B — は、次式、

( 5 8 ) によって表される。従って図 1 7 について上述したソースビデオ信号 V _{1 B}は、平

4

行移動行列 L B ' によって辺 Π Β ' に一致するように Χ y平面上を平行移劻され、これにより直方体 B O X (図 8 ) の第 1 の側面（SideB)の対向面（S】deB ' ) にマッビングされる。

以上のように第 2のソースビデオ信号 V _{1 B}を第 1 の側面（SideB)の対向面（S】d eB ' ) にマッピングする処理をまとめると、マッピング処理を表す行列を M_B ' として、（ 5 0 ) 式、（ 5 2 ) 式、（ 5 3 ) 式、（ 5 4 ) 式及ひ（ 5 8 ) 式から、次式、

M S B R R し _B 5 9 )

となり、これにより図 1 2 に示す X y平面上のソースビデオ信号 V ,_Bは、直方体 B O X (図 8 ) の第 1 の側面（SideB)の対向面（SideB ' ) にマッピングされたことになる。

因みに、第 2のソースビデオ信号 V _{1 B}に対応して画像生成部 3 0 に入力されるキー信号 K _{I B}に対しても、ソースビデオ信号 V _{1 B}を第 1 の側面 '： SideB)の対向面 (SideB " ) にマツビングする上述の場合と同様の変換処理が施される。

( 9 ) 第 2の側面（SideC)へのマツビング図 3に示す画像生成部 4 0 において、ク口ップ回路 4 1 に入力されたソ一スビデ才信号 V _{l c}は、オペレータの操作によって所望の領域が切り取られる。このソースビテオ信号 V】_cは、クップ回路 4 1 に入力される時点では未だ X y平面上に位置する 2次元画像である。すなわち X y zの；]次元座標系を z軸の視点 P Z の位置から z軸の正方向を見た図 1 9 ( Λ において、 x y平面上のソースビデ才信号 V _{l c}の左端のク口ップ位置を C _CLと表し、右端のクロップ位置を C _CRと表し、上端のク口ップ位置を C _CTと表し、下端のク π ップ位置を C _CBと表すと、ク π ップされたソースビデオ信号 V _{1 C}の /！つの頂点の座標は、（ C _CR、 C _c C _c C CT) C _c C _CB) C _CR、 C CB と表すことができる。

因みに図 1 9 (B) は、 X y zの 3次元应標系を y軸の正方向から負方向に向かって俯瞰した状態を示し、クロップされたソースビデオ信号 V _1Cは X y平面上において「 C _C から「 C _CR」に亘つて存在し、 z軸方向への立体的原みは無いこのようにしてクロップ回路 4 1 においてクロップされたソースビデオ信号 V _lcは、フレームメモリ F M ₄₂ (図 3 ) に変形されない状態でそのまま記憶されるクロップ回路 4 1 によってクロップされた後、フレームメモリ F M ⁴²に記憶されたソースビデオ信号 V】_cは、平行移動行列し _coによって、当該クロップ済のソーフ、ビデオ信号 V ,_cの中心が X 平面の原点 0に位置するように平行移動される。この平行移動行列 L coは、ク nップによって示される 4点 C _c C _CR C _c C _CBの座標位置から、次式、

C 0— ( 6 0 )

(C C R + C /2 - (C CT+ C /2 0 によって表される。従って x y z の 3次元座標系を z軸上の視点 P Zの位置から見た図 2 0 ( A ) に示すように、ソースビデオ信号 V _{1 (}は平行移勖行列し _coによつてその中心が原点 0と重なるように移動される。

因みに図 2 0 ( B ) は、 X y zの；]次元座標系を y軸の正方向から負方向に向かって俯瞰した状態を示し、ソ一スビデオ信号 V _{l c}は平行移動行列し _cuによって X y平面上を移動していることが分かる。

このようにして平行移動されたソ一スビデオ信号 V _{l c}に対して'、拡大 Z縮小行歹リ S _c による拡大又は縮小を施す。この拡大又は縮小とは、ク □ ップされたソ一スビデオ信号 V _1Cの X方向の長さが、図 8 について上述した目的画像表示面 (Si deA)の第 2の側面（SideC)と接する辺 H _c の長さと一致するようにソースビデオ信号 V ,_cを X方向に拡大又は縮小するとともに、当該ソースビデオ信号 V の y 方向の長さが、図 8 について上述した直方体 B O Xの厚み h と一致するようにソースビデオ信号 V _{l c}を y軸方向に拡大又は縮小するものである。

この拡大 Z縮小における X軸方向の拡大/縮小率を r cx, y軸方向の拡大 Z縮小率を _{r cy}とすると、クロップされたソースビデオ信号 V _{i c}の X軸方向の長さ（

C C 及び y軸方向の長さ（ C _CT一 C <_:B) を用いて、次式、

H

( 6 1 )

C しと表すことができる。従って、拡大/縮小変換行列 S c は、式について上述したレート変換行列 T _{ra te}の X軸方向の拡大 Z縮小率「 r 」及び y軸方向の拡大/縮小率「 r _y 」をそれぞれ（ 6 1 ) 式で表される拡大 Z縮小率「 r _Cx」、「 r _Cy」に置き換えて、次式、 0 0

ϋ o

S c =

1 o

0 1

と表される。

これにより、図 2 1 (Α ) に示すように、中心が原点 0と重なった位置にあるク u ップ済のソースビデオ信号 V _{l c}は、拡大 Z縮小変換行列 S _c によって X铀方向及び y軸方向にそれぞれ原点 0を中心に拡大又は縮小される。このとき、 x y zの 3次元) ¾標系を y軸の正方向から ¾方向に向かって俯瞰した図 2 1 ( B ) に示すように、拡大/縮小変換行列 S (: によるソースビデオ信号 V _{1 C}の変換では、当該ソースビデオ信号 V _{1 C}は X y平面上において 2次元的に変換されることが分かる。

なお、この実施例においては、オペレータが指定した 4 つのクロップ値 C _CR、 C _c C _CT及び C _CBから、目的画像表示面（SideA)の辺 Π _c 及び厚み h に合わせた拡大/縮小率 r _CK及び r _Cyを求めている。これにより、図 2 2 ( A ) に示すよ

6 うに、 4 つの点（C _c C CT) 、（ C _CR、 C C T) 、（ C _c C CB) 、（ C 2 _CR、 C C B) によってク口ップされたソースビデオ信号 V ,cの領域が全体として拡大又は縮小される（これをク π ップ優先と呼ぶ）。

これに対して、オペレータが直接この拡大 Z縮小率 r _Cx及び r と、 2つのク口ップ値 C _CK及び C _CBを入力することによって所望の拡大 Z縮小率でソ一スビデ才信号 V _{l c}をク uップしても良い。この場合、図 2 2 ( B ) に示すように、拡大 /縮小率をともに 1 として 2つのク πップ値 C _CR、 C _CTを入力することにより、ソースビデオ信号 V _lcのうち、必要とする領域の画像をそのまま切り取ることにより、必要とされる拡大/縮小画像を得ることができる。

このようにして拡大又は縮小されたソースビデオ信号 V _{1 (:}は、回転変換行列 K _Cxによって、 X軸回りに 90° 回転させられる。この回転変換行列 R は、 x y平面上のソースビデオ信号 V ,_cを X ス平面上に変換するための行列であり、次式.

1 0 0

0 cos ( ^ /2) -sin ( 7Γ /2)

R

0 sin ( ;r /2) COS ( 7Γ /2)

0 0 - 0

1 0 0 0

0 ϋ - 1 0

4 6 3

0 1 0 0 6

0 0 0 1

によって表される。従って図 2 1 について上述した拡大 Ζ縮小済の X y平面上のソースビデオ信号 V _lcは、 X y zの 3次元座標系を y軸の正方向から負方向に向かって俯瞰した図 2 3 ( B ) に示すように、回転変換行列 R _{C x}によって X z平面上に回転変換される。この結果、マッピングしょうとする直方体 B 0 X (図 8 ) の第 2の側面（SideC)が、当該目的画像表示面（SideA)に対して 90° の角度にあることに応じて、回転変換行列 K cxによって回転変換されたソースビデオ信号 ( 図 2 3 ( B ) ) は目的画像表示面（SideA)に対して同様の角度（90° ) の位置に回転移動される。

因みに図 2 3 ( A ) は、回転変換行列 R _{C x}によって X 2平面上に変換されたソースビデオ信号 V _{1 C}を τ軸上の視点 Ρ Ζの位 11から見た状態を示し、この状態においてソ一スビデオ信号 V _{l c}は y軸方向に厚みを持たない。

このようにして X z平面上に回転変換されたソースビデ才信号 V _{i C} (図 2 3 ) は、回転変換行列 R _{C z}によって、 z軸回りに所定角度（？ c だけ回転させられる。この回転変換行列 R は、 X z平面上のソースビデオ信号 V _{I C} (図 2 3 ) を X軸に対して所定角度 c だけ傾ける変換行列であり、次式、 COS 0 c -s l n ^ c 0 0

s\n Θ c cos 0 c 0 0

R 6 4 )

0 0 1 0

0 0 0 1

によって表される。従って図 2 3 について上述した X z平面上のソースビデオ信号 V _{l c}は、 X y zの 3次元座標系を z軸上の視点 P 7の位 [Ξから見た図 2 4 ( A

) に示すように、原点 0を中心にして X軸に対して所定角度 c: だけ傾いた位置に回転変換される。この結果、直方体 B O X (図 8〉の目的画像表示面（S)deA) にマッピングされるソースビデオ信号 V 】が図 1 1 について上述したようにスヰユー変換されていることに応じて、回転変換行列 R c _zによって回転変換されたソースビデオ信号（図 2 4 ( A) ) は目的画像表示面（SideA)に対する角度（90° ) を保持したまま、第 2の側面（SideC)と平行な位置に回移動される。

なお、当該回転変換行列 R _C2のハ'ラメータ 6 c は、上述の図 1 1 においてスヰユーされた第 1 のソースビデオ信号 V _1Cの 2点の座標値（ X ! ' 、 ' ) 、 (

X 、 y 4 ) 又は、 ( 2 - 、 y 2 ' ) 、 ( X 3 ' 、 y ₃ ' ) 力、ら求められ、次式、

= tan" ( - ( y y 4 ( χ

( 6 5 ) によって表すことができる。

因みに図 2 4 ( B) は、回転変換行列 R _Czによって回転移動されたソースビデォ信号 V _lcを、 y軸の正方向から負方向に向かって見た状態を示す。

このようにして X軸に対して所定角度 _c だけ傾くように回転変換されたソースビデオ信号 V _{1 C} (図 2 4 ) は、平行移動行列 L c によって、 x y平面に^つて平行移動される。この平行移 ij行列 L c は、図 2 4 に示すソースビデオ信号 V _{l c} を、直方体 B O X (図 8 ) の第 2の側面（SideB)に重なるように移動する変換行列である。この場合、図 2 4 において目的画像表示面（SideA)の第 2 の側面（Si deC)側の辺 He は、 2つの点（ X , y i ' ) 及び（ x ₄ y ₄ ' ) を結ぶ直線によって表されている。従って図 2 に示すソースビデオ信号 V _{l c}を第 2の側面（SideC)にマツビングするためには、ソースビデオ信号 V を平行移動行列し _c によって辺に一致するように移動させる必要がある。

従ってソースビデオ信号 V の中心が、 2つの点（ χ y , ' ) 及び（ X 、 y ' ) の中間位置と一致するように当該ソースビデオ信号 V ,cを平行移動すれば良く、この平行移動行列 L _c は、次式、

1 0 ϋ 、

0 0 0

0 0 1 ο

+ X ( y + y

0 1

2 2

6

によって表される。従って図 2 4 について上述したソースビデオ信号 V _{1 C}は、 X y zの 3次元座標系を z軸上の視点 P Zの位置から見た図 2 5 ( A ) に示すように、平行移動行列 L_c によって辺 He に一致するように X 平面上を平行移動され、これにより直方体 B O X (図 8 ) の第 2の側面（SideC)にマッピングされる

因みに図 2 5 ( B) は、平行移動行列し（：によって平行移動されたソースビデ才信号 V _lcを、 y軸の正方向から負方向に向かって見た状態を示す。

以上のように第 2のソースビデオ信号 V _{l c}を第 2の側面（Sid&C)にマッビングする処理をまとめると、マツビング処理を表す行列を Μ_(: として、（ 6 0 ) 式、 ( 6 2 ) 式、（ 6 3 ) 式、（ 6 4 ) 式及び（ 6 6 ) 式から、次式、

Mc = L co · S c · R cx · R cz L c ( 6 7 ) となり、これにより図 1 9 に示す X y平面上のソースビデオ信号 V _{l c}は、直方体 B O (図 8 ) の第 2の側面（SideC)にマッピングされたことになる。

因みに、第 2のソースビデオ信号 V _lcに対応して画像生成部 4 0 に入力されるキー信号 K _ICに対しても、ソ一スビデオ信号 V _{1 C}を第 2 の側面（SideC)にマツビングする上述の場合と同様の変換処理が施される。

( 1 0 ) 第 2 の側面（SideC)の対向面（SideC ) へのマソビング

図 3 に示す画像生成部 4 0 において、ク πップ回路 4 I に入力されたソースビデォ信号 V _{1 C}は、オペレータの操作によって所望の領域が切り取られる。このソースビデオ信号 V _{l c}は、クロップ回路 4 1 に入力される時点では未だ X y平面上に位置する 2次元画像である。すなわち X y zの 3次元座標系を z軸の視点 P Z の位置から z軸の正方向を見た上述の図 1 9 ( A ) において、 x y平面上のソースビデオ信号 V _{1 C}の左端のク π ップ位置を C _{C L}と表し、右端のク πップ位置を C _CRと表し、上端のク□ ップ位置を C _CTと表し、下端のクロップ位置を C _CBと表すと、クロップされたソースビデオ信号 V _{1 C}の 4つの頂点の座標は、（C _{C R}、 C

) 、（C cL、 C 、（C cL、 C ) 、（C cK、 C cB) と表すこと力、'できる。このようにしてクロップ回路 4 1 においてク ϋップされたソースビデオ信号 V は、フレームメモリ F M ₄₂ (図 3 ) に変形されない状態でそのまま記惊されるクロップ回路 4 1 によってクロップされた後、フレームメモリ F M ₄₂に記憶されたソースビデオ信号 V】_cは、平行移動行列 L c。によって、当該ク π ップ ¾のソースビデオ信号 V _{1 C}の中心が X y平面の原点 0に位置するように平行移動される。この平行移動行列 L eoは、上述の（ 6 0 ) 式と同様となる。従って図 2 0 ( A ) について上述した場合と同様にして、ソースビデオ信号 V _{l c}は平行移動行列 L _coによってその中心が原点 0と重なるように移動される。

このようにして平行移動されたソ一人一ビデオ信号 V ,_cに対して、拡大/縮小行列 S _c による拡大又は縮小を施す。この拡大縮小行列 S _c は、上述の（ 6 2 ) 式と同様となる。

これにより、図 2 1 (Λ) について上述した場合と同様にして、中心が原点 0 と重なった位置にあるク口ップ洛のソースビデオ信号 V _{l c}は、拡大 Z縮小変換行列 S c によって X軸方向及び y軸方向にそれぞれ原点 0を中心に拡大又は縮小される。

なお、対向面（SideC ' ) へのマッピングにおいても図 2 2 (Λ ) について上述した場合と同様にして、オペレータが指定した 4つのクロップ値 C C K、 C _c C CT及び C _CBから、目的画像表示面（SideA)の辺 H c 及び厚み h に合わせた拡大 Z 縮小率 r _Cx及び r _Cyを求め、 4つの点（ C C CT) 、（C c_K、 C CT) 、 ( C C L 、 C CB) 、（C _CR、 C C B) によってクロップされたソースビデオ信号 V _{1 C}の領域が全体として拡大又は縮小される（これをクップ優先と呼ぶ）。

これに対して、オペレータが直接この拡大ノ縮小率 r _cx及び r _Cyと、 2つのク σップ値 C _CR及び C _CBを入力することによって所望の拡大ノ縮小率でソースビデ才信号 V _1Cをクロップしても良い。この場合、図 2 2 ( B ) について上述したように、拡大ノ縮小率をともに 1 として 2つのクップ値 C _CK C _CTを入力することにより、ソースビデオ信号 V ,_cのうち、必要とする領域の画像をそのまま切り取ることにより、必要とされる拡大/縮小画像を得ることがでる。

このようにして拡大又は縮小されたソースビデオ信号 V _1Cは、回転変換行列 R _Cxによって、 X軸回りに 90° 回転させられる。この回転変換行列 K は、上述の ( 6 3 ) 式と同様となる。従って図 2 1 について上述した拡大 Z縮小済の X y平面上のソースビデオ信号 V _1Cは、図 2 3 について上述したように、回転変換行列によって X z平面上に回転変換される。この結果、マッピングしょうとする直方体 B O X (図 8 ) の第 2の側面（SideC)の対向面（SideC ' ) が、当該目的画像表示面（SideA)に対して 90° の角度にあることに応じて、回転変換行列 R によって回転変換されたソースビデオ信号（図 2 3 ( B ) ) は目的画像表示面 (Si deA)に対して同様の角度（90° ) の位置に回転移動される。

このようにして X z平面上に回転変換されたソースビデオ信号 V _{1 (}： (図 2 3 ) は、回転変換行列 R によって、 z軸回りに所定角度だけ回転させられる。この回転変換行列 R は、 X z平面上のソースビデオ信号 V _{l c} (図 2 3 ) を X軸に対して所定角度（：だけ傾ける変換行列であり、上述の（ 6 4 ) 式と同様となる。従って図 2 3 について上述した X z平面上のソースビデオ信号 V , は、図 2 4 について上述したように、原点 0を中心にして X軸に対して所定角度（：だけ傾いた位置に回転変換される。この結果、直方体 B O X (図 8 ) の目的画像表示面（SideA)にマツビングされるソースビデ才信号 V , _Λが図 1 1 について上述したようにスヰ変換されていることに応じて、回転変換行列 R _Czによって回転変換されたソースビデオ信号（図 2 4 (A ) ) は目的画像表示面（SideA)に対する角度（90° ) を保持したまま、第 2 の側面（SideC)の対向面（S】deC ' ) と平行な位置に回転移動される。

なお、当該回転変換行列 R _Czのパラメータ e _c は、上述の図 1 7 においてス + ュ一された第 1 のソースビデオ信号 V _1Aの 2点の座標値（ X , ' 、 y , ' ) , ( X 、 y ' ) 又は、（ Χ 2 ' 、 y - ) 、 ( x ' 、 y 力、ら求められ、上述の（ 6 5 ) 式と同様となる。

このようにして X軸に対して所定角度 c だけ傾くように回転変換されたソースビデオ信号 V _{1 C} (図 2 4 ) は、平行移動行列 L c — によって、 X y平面に沿つて平行移動される。この平行移動行列 L _B は、図 2 4 に示すソースビデオ信号 V _1Cを、直方体 B O X (図 8 ) の第 2の側面（SideC)の対向面（SideC ' ) に重なるように移動する変換行列である。この場合、上述の図 2 において B的画像表示面（SideA)の第 2の側面（SideC)側の辺 H e と対向する対向面（S】 deC ' ) 側の辺 H e ' は、 2 つの点（ X ₂ ― 、 y 2 ' ) 及び（ X ₃ 、 y ₃ " ) を結ぶ直線によつて表されている。従って図 2 4 に示すソースビデオ信号 V を第 2の側面（Si deC)の対向面（S i de(T ) にマツビングするためには、ソースビデ才信号 V】 _cを平行移動行列 L _c ' によって辺 H e ' に一致するように移動させる必要がある。従ってソースビデオ信号 V _{l c}の中心が、 2つの点（ x ₂ ' 、 y ' ) 及び（ X a ' 、 V 3 ' ) の中間位置と一致するように当該ソースビデオ信号 V _{1 C}を平行移動すれば良く、この平行移動行列し ' ' は、次式、

0 0

0 ϋ ο

し

0 1 ο

( X 十 X ( y 十 y

6 8 によって表される。従って図 2 4 について上述したソーフ、ビデオ信号 V _{l c}は、平行移動行列 ' によって辺 H e ' に一致するように X y平而.ヒを平行移動され、これにより直方体 B O X (図 8 ) の第 2の側面（SideC)の対面（SideC ' ) にマッビングされる。

以上のように第 3のソースビデオ信号 V _{l c}を第 2の側面（SideC)の対向面（Sid eC ' ) にマッピングする処理をまとめると、マツビング処理を表す行列を M_c " として、（ 6 0 ) 式、（ 6 2 ) 式、（ 6 3 ) 式、（ 6 4 ) 式及ひ（ 6 8 ) 式から、次式、

M し _cn · S R R c , · し ( 6 9 ) となり、これにより図 1 9 に示す X y平面上のソースビデオ信号 V ,_cは、直方体 B O (図 8 ) の第 2の側面（SideC)の対向面（SideC ' ) にマツビングされたことになる。

因みに、第 3のソースビデオ信号 V _lcに対応して画像生成部 4 ϋ に入力されるキー信号 K _{1 C}に対しても、ソースビデオ信号 V _1Cを第 2の側面（SideC)の対向面 (SideC にマツビングする上述の場台と同様の変換処理が施される。

( 1 1 ) 第 1 のソースビデオ信号 V _{1 Λ}の変換処理

画像処理装置 1 0の画像生成部 2 0 は、上述の変換行列 Τ ( ( 3 ) 式）と、ソースビデオ信号を 3次元座標系上の直方体 Β◦ X (図 8 ) の目的画像表示面（Si deA)にマツビングする上述の行列 M_A ( ( 7 ) 式）とを用いて、あたかも 3次

5

元仮想空間上の所望の位 gに移動した直方 3体 B 0 Xの目的画像表示面（SnieA)にソースビデオ信号 V _{1 Λ}の画像がマッピングされたかのようにスクリーン上において見える変換を行う。

この処理手順は図 2 6に示すように、画像処理装置 1 0 は C P U 5 8及びヮーキングメモリ（ R 〇 Μ 5 9 、 R A Μ 6 1 ) を用いて、まず、ステップ S P 1 において第 1 のソースビデオ信号 V _{Ι Λ}を目的画像表示面（SideA)にマソビングするための行列 M_A を、（ 4 7 ) 式について上述したように、栘 ¾行列 L _A ( ( 2 ) 式）及びレート · スキュー変換行列 T _rs ( ( 5 ) 式）を用いて求める。この行列 M_A によって X y平面上のソースビデオ信号 V，_Λは、図 2 7 に示すように、 X y ζ の 3次元座標系の基準位置（中心が原点 ϋ と重なる位置）における直方体 Β Ο Χの目的画像表示面（SideA)にマツビングされることになる（ V _{1 A}— ₂) 。

図 2 6のステップ S P 1 において行列 M_A が求められると、画像処理装^ 1 0 はステップ S P 2 に移って、 2次元平面上のソースビデオ信号 V "を 3次元座標系の所望の位置に変換する空間的画像変換の基本ステップである 3次元変換行列 To ( ( 1 ) 式）を求め、さらに続くステップ S P 3 に移り、ステップ S P 2 において求められた 3次元変換行列 T(, によって 3次元空間上に移動したソースビデォ信号 V _2Αをスクリ一ン面上に透視する透視変換の基本ステップである透視変換行列 Ρ。 ( ( 2 ) 式）を求める。従って図 2 7 に示す直方体 B 0 ) (の目的画像表示面（SideA)上に行列 Μ_Λ によつてマツビングされたビデオ信号 V _{Ι Α}·.₂は、 3次元空間上の所望の位匿に移 ¾した直方体 Β 0 X ' の目的画像表示面（SideA)に、 3次元変換行列 T。によって、移動されることになる（V _2A) 。また当該 3次元移動変換されたビデオ信号 V _2Λ は、さらに X y平面上のスクリーン面上に透視変換されることになる（透視変換ビデオ信号 V _3A) 。

このように目的画像表示面（SideA)にソースビデオ信号 V , Aをマツビングするための変換行列 M A と、 3次元空間上の所望の位置に変換するとともにスクリーン面上に透視する基本的画像変換行列丁。及び P。とが求まると、画像処理装^ 1 0 はステップ S P 4 に移って、ソースビデオ信号 V ,_Λを 3次元空間上の目的凼

4

像表示面（SideA)にマッピングした後、これをスクリーン而上に透視変換する変換行列 Τ_Λ を、次式、

Τ _Λ = Μ_Λ · To · Ρ _π …… ( 7 0 ) によって求める。ここで（ 4 ) 式について上述したように、画像処理装置 1 0では、フレームメモリ F Μ ₂₂に記憶されるソースビデオ信号 V _{1 Λ}及びフレームメモリ F M ₂₂から読み出される透視変換ビデオ信号は、共に、 2次元のデータであり、当該読出しアドレスの演算においては、 3次元空問上の z軸方向のデータは、実質的には使用されない。従って、（ 7 0 ) 式の変換行列では、 z軸方向のデータを演算するための 3行目及び 3列目のパラメ一夕は、フレー厶メモリ F M ²²に対する読出しアドレスを演算する際には必要とされない。

従って、（ 7 0 ) 式の変換行列 T A から 3行目及び 3列目のパラメータを除いた行列 T A3₃ を実際の 2次元の読出しァトレスの演算の際に必要なパラメータを有した変換行列とする。

このようにして 3行 3列の変換行列 T A が求められると、画像処理装置 1 0 はステップ S P 5に移って変換行列 T A 33 の行列式 D A3₃ を求め、続くステップ S P 6 に移る。ステップ S P 6 は変換行列 Τ _Λ33 の行列式 D_A33 の値が正であるか否かを判断するステップである。

ここで、ソースビデオ信号 V _{1 A}の面積 S , と変換行列 Τ_Λ33 による変換後のスクリーン上の面積 S ₃ との関係は、次式、

S S ] det ( j' 7 1 )

によって表される。この（ 7 1 ) 式から、変換行列 T の行列式 D の値が正である場合、変換行列 T_A33 によるソースビデオ信号 V , こよる変換が成立する、すなわち、変換行列 T_A33 によって 5移動変換されたビデオ信号が、 3次元空

5

間上の所望の位匿に移動された iS方体 B 0 X ' の目的画像表示面（SideA)においてその外側を向いている状態、すなわち図 2 7 において直方体 B 0 X ' の目的画像表示面（SideA)にマツビングされた 3次元変換ビデオ信号 V _2Aの表面 F R 0 N Tが当該直方体 B 0 X ' の外側を向いている状態であることを表しており、このとき画像処理装置 1 0 はステップ S P 6 において肯定結果を得、ステップ S P 7 に移って、目的画像表示面（SideA)への変換を表す変換行列 T_{A3 :}, に基づいて、フレー厶メモリ F M への読出しァドレス X _MA、 Y _MAを求めるためのパラメ一タ b 〜 b _A33 を上述の（ 2 8 ) 式〜（ 3 6 ) 式に基づいて求める。

このようにして得られたパラメータ b _{A 1}！〜 b _A33 に基づいて上述の（ 1 3 ) 式及び（ 1 4 ) 式から読出しアドレス X _ΜΑ、 Υ _ΜΛを求め、当該読出しァドレス X _ΜΑ、 Υ によってフレームメモリ F M ₂内のソースビデ才信号 V , _Λを読み出すことにより、図 2 7 において 3次元空間上に移動された直方体 B 0 X ' の目的画像表示面（SideA)に当該ソースビデオ信号 V をマツビングするとともにこれを X y平面上のスクリ一ン面に透視変換することができる。かくしてフレームメモリ F M ₂₂から透視変換ビデオ信号 V _3Aが読み出される。

これに対して上述のステップ S P 6 において否定結果が得られると、このことは、変換行列 Τ_Λ33 の行列式 D_A33 の値が負であることを ¾しており、このような状態は上述の（ 7 1 ) 式から成立しないことが分かる。すなわち、変換行列 T によって移動変換されたビデオ信号が、 3次元空問上の所望の位^に移動された直方体 B O X ' の目的画像表示面（SideA)においてその内側を向いている状態、すなわち図 2 7 において直方体 B 0 X ' の目的画像 ¾示面（SideA)にマツビングされた 3次元変換ビデオ信号 V _2Λの表面 F R 0 N Tが当該直方体 B O X ' の外側を向いている状態とは逆の方向（直方体 B 0 X ' の内側方向）を向いている状態であることを表している。

すなわち、このことは、 3次元空間上の直方体 B 0 X の目的画像表示面（Si deA)が図 2 7 に示すように当該目的画像表示面（SideA)の対向面（SideA ' ) よりも視点 P Z側に位置する状態ではなく、図 2 8 に示すように視点 P Z側に目的画像表示面（SideA)の対向面（SideA ' ) が位置する状態であることが分かる。すなわち、図 2 7では 3次元空間上の直プ j体 B 0 X ' 力く X y平面に对して 45° の角度で回転しているのに対して、図 2 8では 3次元空間上の直方体 B O X ' 力 < X y平面に対して 225° の角度で回転している。

因みに、この状態において対向面（SideA ' ) にはソースビデオ信号 V _{Ι Λ}を 3次元変換してなる 3次元変換ビデオ信号 V ' の表面 F R 0 Ν Τが直方体 Β 0 X ' の内側、すなわち ζ軸の正方向を向くようにマッピングされる。

かくして図 2 6のステップ S Ρ 6 において否定結果が得られると、画像処理装置 i 0 は、ステップ S P 8 に移って第 1 のソースビデオ信号 V _{; Λ}を目的画像表示面（SideA)の対向面（SideA ' ) にマツビングするための行列 M " ' を、（ 4 9 ) 式について上述したように、移動行列 L _A ' ( ( 4 8 ) 式）及びレート ' スキュ —変換行列 T _{r s} ( ( 4 5 ) 式）を用いて求める。この行列 M_A によって x y平面上のソ一スビデオ信号 V _{1 A}は、図 2 6 に示すように、 X y 7,の 3次元座標系における直方体 B 0 Xの目的画像表示面（SideA)の対向面（SideA ' ) にマッピングされることになる（ V _{1 Λ}— ₂ ' ) 。

図 2 6のステップ S Ρ 8 において行列 Μ_Λ ' が求められると、画像処理装匿 1 0 はステップ S Ρ 9及びステップ S Ρ 1 0 において、上述のステップ S Ρ 2及びステップ S P 2 と同様にして 3次元変換行列 T。（（ 1 ) 式）及び透視変換行列 Ρ□ ( ( 2 ) 式）を求める。

従って図 2 8 の直方体 Β 0 Xの目的画像表示面（SideA)の対向面（SideA ' ) 上にマツビングされたビデオ信号 V ' は、 3次元空問. hの所望の位 gに移勖した直方体 B 0 X ' の目的画像表示面（SideA)の対向面（SideA ' ) に、 3次元変換行列 T。によって、移動されることになる（V _2A ' ) 。また当該 3次元移動変換されたビデオ信号 V _2A ' は、さらに X y平面上のスクリ ―ン面上に透視変換されることになる（透視変換ビデオ信号 V _3A ' ) 。

このように目的画像表示面（SideA)の対向面（SideA ' ) にソースビデオ信号 V

5

1_Aをマッピングするための変換行列 M_A ' と、 3次元空間上の所望の位置に変換

7

するとともにスクリーン面上に透視する基本的画像変換行列 T _u 及び P。とが求まると、画像処理装置 1 0はステップ S P 1 1 に移って、ソースビデオ信号 V _{1 Λ} を 3次元空間上の目的画像表示面（SideA)の対向面（SifkA ' ) にマツビングした後、これをスクリーン面上に透視変換する変換行列 Τ_Λ — を、次式、

T ' = M ' · 'Γ o · Ρ ο …… ( 7 2 )

によって求める。ここで（ 4 ) 式について上述したように、画像処理装置 1 0では、フレームメモリ F M₂₂に記憶されるソースビデオ信号 V _{1 Λ}及びフレームメモリ F M₂₂から読み出される透視変換ビデオ信号 V _3Aは、共に、 2次元のデータであり、当該読出しアドレスの演算においては、 3次元空間上の z籼方向のデータは、実質的には使用されない。従って、（ 7 2 ) 式の変換行列では、 z轴方向のデータを演算するための 3行目及び 3列目のパラメータは、フレームメモリ F M ²²に対する読出しァドレスを演算する際には必要とされない。

従って、（ 7 2 ) 式の変換行列 T_A ' から 3行目及び 3列目のパラメータを除いた行列 T _A33 ' を実際の 2次元の読出しアドレスの演^の際に必要なパラメ一タを有した変換行列とする。 / 9 / 7 このようにして 3行 3列の変換行列 T A33 ' が求められると、画像処理装置 1

0 はステップ S Ρ 1 2 に移って変換行列 Τ_Λ33 の行列式 D_A33 を求め、続くステップ S P 1 3 に移る。ステップ S P 1 3 は行列式 D A^ ' の値が負であるか否かを判断するステップであり、ここで肯定結果が得られると、このことは変換行列 T _{A 3 3} ' によって移動変換されたビデオ信号が、 3次元空 ¾]上の所望の位置に移動された直方体 B 0 X ' の目的画像表示面（SideA)の対向面（SideA ' ) においてその内側を向いている状態、すなわち図 2 8 において直方 ί本 B 0 X — の目的画像表示面（SideA)の対向面（SideA ' ) にマッピングされた 3 元変換ビデオ信号 V _2A ' の表面 F R 0 N Tが当該直方体 B 0 X ' の内側を向いている状態であることを表しており、このとき画像処理装置 1 0 はステップ S P 1 4 に移って、目的画像表示面（SideA)の対向面（S!deA— ) への変換を ¾す変換行列 Τ _{Λ 33} に基づいて、フレームメモリ F M ₂₂への読出しアドレス Χ _ΜΑ、 Υ _ΜΑを求めるためのパラメ一タ b _{A l l} 〜 b _A33 を上述の（ 2 8 ) 式〜（ 3 6 ) 式に基づいて求める。このようにして得られたパラメータ b _{Α 1} , 〜 b _A33 に基づいて上述の（ 1 3 ) 式及び（ 1 4 ) 式から読出しアドレス X _ΜΑ、 Υ _ΜΛを求め、当該読出しアドレス X M _Α、 Υ _ΜΑによってフレームメモリ I'' M 2₂内のソースビデオ信号 V , Aを読み出すことにより、図 2 8 において 3次元空間上に移動された直方体 B 0 X ' の目的画像表示面（SideA)の対向面（SideA— ) に当該ソースビデオ信号 V , _Λをマッピングするとともにこれを X y平面上のスクリ一ン面に透視変換することができる。かくしてフレームメモリ F M₂₂から透視変換ビデオ信号 V _3Λ ' が読み出される。

またこれに対して図 2 6のステップ S Ρ 1 3において否定結果が得られると、このことは、例えば図 2 7及び図 2 8において 3次元空間上の直方体 Β 0 X が X y平面に対して 90° の角度で回転され、視点 P Zから見て目的画像表示面（Si deA)及びその対向面（SideA ' ) のいずれも見えないことを表しており、このとき画像処理装置 I 0 は、 C P U 5 8から読み出しアドレス発生回路 2 5 に対してパラメ一タ b _{A 1 1} 〜 b _A33 を供給せず、透視変換ビデオ信号 V をフレームメモリ F Μ 22から読み出さない状態に制御する。かくして図 2 6の処理手順により、画像生成部 2 0 に入力されたソースビデオ信号は、 3次元仮想空間上の直方体 B 0 X ' の目的画像表示面（SideA)又はその対向面（S】 (JeA ' ) にマツビングされ、さらに当該マッピングされた 3次元空間上の画像があたかも当該 3次元空問上にあるかのように 2次元平面でなるスクリ一ン面上に透視変換される。

( 1 2 ) 第 2 のソースビデオ信号 V _{1 B}の変換処理

画像処理装置 1 0の画像生成部 3 0 は、上述の変換行列 Τ ( ( 3 ) 式）と、ソースビデオ信号を 3次元座標系上の直方体 Β 0 X (図 8 ) の第 1 の側面（SideB)

5

にマツビングする上述の行列 M _B ( ( 5 7 9 ) 式）とを用いて、あたかも 3次元仮想空間上の所望の位匿に移動した直方体 B ◦ Xの第 1 の側面（SideB)にソースビデ才信号 V _{I B}の画像がマッピングされたかのようにスクリーン上において見える変換を行う。

この処理手順は図 2 9 に示すように、画像処理装置！ 0 は C P U 5 8及びヮーキングメモリ（ R 〇 M 5 9、 R A M 6 1 ) を用いて、まず、ステップ S P 2 1 において第 1 のソースビデオ信号 V _{1 B}を第 1 の側面（Si(kB)にマッビングするための行列 M B を、（ 5 7 ) 式について上述したように、平行移動行列 L BO ( ( 5 0 ) 式）、拡大 Z縮小変換行列 S _B ( ( 5 2 ) 式）、回転変換行列 R _Bx ( ( 5 3 ) 式）、所定角度だけ傾ける変換行列 R _Bz、及び平行移動行列 ( ( 5 6 ) 式）を用いて求める。この行列 M_B によって X y平面上のソースビデオ信号 V _{1 B} は、図 3 0に示すように、 X y zの 3次元座標系の基準位置（中心が原点 0と重なる位置）における直方体 B 0 Xの第 1 の側面（SideB)にマッピングされることになる（ V _{1 B}— ₂) 。

図 2 9のステップ S P 2 1 において行列 M B が求められると、画像処理装置 1 0 はステップ S P 2 2 に移って、 2次元平面上のソースビデオ信号 V _{1 B}を 3次元座標系の所望の位置に変換する空間的画像変換の基本ステップである 3次元変換行列丁。（（ 1 ) 式）を求め、さらに続くステップ S P 2 3 に移り、ステップ S P 2 2 において求められた 3次元変換行列丁。によって 3次元空問上に移動したソースビデオ信号 V _2Bをスクリ一ン面上に透視する透視変換の基本ステッゾである透視変換行列 P。（（ 2 ) 式）を求める。

従って図 3 0 に示す直方体 B 0 Xの第 1 の側面（SideB)上に行列 M_u によってマツビングされたビデオ信号 V , Β— ₂は、 3次元空間上の所望の位置に移動した直方体 B O X ' の第 1 の側面（SideB)に、 3次元変換行列丁。によって、移動されることになる（V _2B) 。また当該 3次元移動変換されたビデオ信号 V _2Bは、さらに X y平面上のスクリ一ン面上に透視変換されることになる（透視変換ビデオ信号 V _3B) 。

このように第 1 の側面（SideB)にソースビデオ信号 V ι_Βをマツビングするための変換行列 Μ_β と、 3次元空問上の所望の位置に変換するとともにスクリーン— 上に透視する基本的画像変換行列 T _u 及び Ρ。とが求まると、画像処理装置】 0 はステップ S Ρ 2 4 に移って、ソースビデオ信号 V _1Βを 3次元空間上の第 1 の側面（SideB)にマッピングした後、これをスクリーン面上に透視変換する変換行列 T_B を、次式、

によって求める。ここで（ 4 ) 式について上述したように、画像処理装 ϋ 1 0では、フレームメモリ i'' Μ 32に記憶されるソ一スビデ才信号 V , Β及びフレー厶メモリ F M ₃₂から読み出される透視変換ビデオ信号 V _3Βは、共に、 2次元のデータであり、当該読出しアドレスの演算においては、 3次元空間上の z軸方向のデータは、実質的には使用されない。従って、（ 7 3 ) 式の変換行列では、 z軸方向のデータを演算するための 3行目及び 3列目のパラメータは、フレームメモリ F M ₃₂に対する読出しアドレスを演算する際には必要とされない。

従って、（ 7 3 ) 式の変換行列 T_B から 3行目及び 3列目のパラメータを除いた行列 T_B33 を実際の 2次元の読出しァドレスの演算の際に必要なパラメータを有した変換行列とする。

このようにして 3行 3列の変換行列 T _B33 が求められると、画像処理装置 1 0 はステップ S Ρ 2 5 に移って変換行列 Τ _Β33 の行列式 D _{B3 :I} を求め、続くステツプ S P 2 6 に移る。ステップ S P 2 6 は変換行列 T _B33 の行列式 D _B33 の値が正であるか否かを判断するステップであり、ここで肯定結果が得られると、このことは図 2 6のステップ S P 6 について上述した場合と同様にして、変換行列 T _B3 によって移動変換されたビデオ信号が、 3次元空間上の所望の位置に移動された直方体 B O X ' の第 1 の側面（SideB)においてその外側を向いている状態、すなわち図 2 8 において直方体 B O X - の第 1 の側面（SideB)にマツピングされた 3次元変換ビデオ信号 V _2Bの表面 F R O N Tが当該直方体 B 0 X ' の外側を向いている状態であることを表しており、このとき画像処理装匿 1 0 はステップ S P

2 7 に移って、第】の側面（SideB)への変換を表す変換行列 Τ _π33 に基づいて、フレームメモリ F Μ ₃₂への読出しアドレス）（ _ΜΒ、 Υ _ΜΒを求めるためのパラメータ b 〜b _B33 を上述の（ 2 8 ) 式〜（ 3 6 ) 式に基づいて求める。

このようにして得られたパラメータ b _{Β 1} , 〜 b _B33 に基づいて上述の（ 1 3 ) 式及び（ 1 4 ) 式から読出しアドレス X _MB、 Y _MBを求め、当該読出しアドレス X _ΜΒ、 Υ_ΜΒによってフレームメモリ F M₃₂内のソ一スビデオ信号 V _{1 B}を読み出すことにより、図 2 8 において 3次元空間上に移 i!/jされた直方体 B 0 X ' の第 1 の側面（SideB)に当該ソースビデオ信号 V _{1 B}をマツビングするとともにこれを x y平面上のスクリ一ン面に透視変換することができる。かくしてフレームメモリ F M

₃₂から透視変換ビデオ信号 V _Bが読み出される。

これに対して上述のステップ S P 2 6 において否定結果が得られると、このことは図 2 6のステップ S P 6 について上述した場合と同様にして、変換行列 T によって移動変換されたビデオ信号が、 3次元空間上の所望の位置に移動された直方体 B◦ X ' の第 1 の側面（SideB)においてその内側を向いている状態、すなわち図 3 0 において直方体 B 0 X の第 1 の側面（SideB)にマツビングされた 3次元変換ビデオ信号 V _2Bの表面 F R 0 N Tが当該直方体 B 0 X ' の外側を向いている状態とは逆の方向（直方体 B 0 X の内側方向）を向いている状態であることを表している。

すなわち、このことは、 3次元空間上の直方体 B 0 X ' の第 i の側面（S)deB) が図 3 0 に示すように当該第 1 の側面（SideB)の対向面（SidcB ' ) よりも視点 P Z側に位置する状態ではなく、図 3 1 に示すように視点 P Z側に第！の側面（Si deB)の対向面（SideB ' ) が位置する状態であることが分かる。すなわち、図 3 0 では 3次元空間上の直方体 B 0 X ' が X y平面に対して 225° の角度で回転しているのに対して、図 3 1 では 3次元空間上の直方体 B 0 X — 力 < X y平面に対して 45° の角度で回転している。

因みに、この状態において対向面（SidelT ) にはソースビデオ信号 V _{1 B}を 3次元変換してなる 3次元変換ビデオ信号 V ₂B の表面 F R O N Tが直方体 B 0 X ' の内側、すなわち z軸の正方向を向くようにマッピングされる。

かくして図 2 9のステップ S P 2 6において否定結果が得られると、画像処理装置 1 0 は、ステップ S P 2 8 に移って第 2のソースビデオ信号 V _{1 B}を第 1 の側面（SideB)の対向面（SideB ' ) にマッピングするための行列 M _B ' を、（ 5 9 ) 式について上述したように、平行移動行列 L _B。（（ 5 (! ) 式）、拡人 Z縮小変換行歹リ S _B ( ( 5 2 ) 式）、回転変換行列 Κ _Βχ ( ( 5 3 ) 式）、所定角度 P _B だけ傾ける変換行列 R _Bz、及び平行移動行列 L _n ( ( 5 8 ) 式）を用いて求める。この行列 M _B ' によって X y平面上のソースビデオ信号 V _{1 B}は、図 3 1 に示すように、 X y zの 3次元座標系における直方体 B 0 Xの第 1 の側面（SideB)の対向面（SideB にマツビングされることになる（V _{1 B} ）。

図 2 9のステップ S P 2 8 において行列 M B が求められると、画像処理装置 1 0 はステップ S P 2 9及びステップ S P 3 [) において、上述のステップ S P 2 2及びステップ S P 2 3 と同様にして 3次元変換行列 T。（（ 1 ) 式）及び透視変換行列 Ρ。（（ 2 ) 式）を求める。

従って図 3 】の直方体 Β 0 Xの第 1 の側面（SideB)の対向面（SideB ' ) 上にマッビングされたビデオ信号 V , Β-2 は、 3次元空間上の所望の位置に移劻した [S 方体 B O X — の第 1 の側面（SicleB)の対向面（SideB ' ) に、 3次元変換行列丁。によって、移動されることになる（ V _2β ' ) 。また当該 3次元移動変換されたビデ才信号 V _2ι は、さらに X y平面上のスクリーン面上に透視変換されることになる（透視変換ビデオ信号 V _3B ' ) 。

このように第 1 の側面（SideB)の対向面（SideB ' ) にソースビデオ信号 V , _Bをマツビングするための変換行列 M_B ' と、 3次元空間上の所望の位置に変換するとともにスクリーン面上に透視する基本的画像変換行列丁。及び P。とが求まると、画像処理装置 1 0はステップ S P 3 1 に移って、ソースビデオ信号 V _{1 B}を 3 次元空問上の第 1 の側面（SideB)の対向面（SideB ' ) にマッピングした後、これ

6

をスクリーン面上に透視変換する変換行列 3 T _B ' を、次式、

T _B ' = M B ' - To · P。 …… ( 7 4 ) によって求める。ここで（ 4 ) 式について上述したように、画像処理装置 1 0では、フレームメモリ F M ₃₂に記憶されるソースビデオ信号 V _{1 B}及びフレームメモリ F M₃₂から読み出される透視変換ビデオ信号 V _3Bは、共に、 2次元のデータであり、当該読出しアドレスの演算においては、 3次元空間上の z軸方向のデータは、実質的には使用されない。従って、（ 7 4 ) 式の変換行列では、 z袖方向のデータを演算するための 3行目及び 3列目のパラメータは、フレ一ムメモリ F M 32に対する読出しアドレスを演算する際には必要とされない。

従って、（ 7 4 ) 式の変換行列 T _B ' から 3行目及び 3列目のパラメータを除いた行列 T _{B 3 3} ' を実際の 2次元の読出しァドレスの演算の際に必要なパラメ一タを有した変換行列とする。

このようにして 3行 3列の変換行列 T _{B 3 3} ' が求められると、画像処理装置 1 0はステップ S P 3 2に移って変換行列 T _{B 3 3} ' の行列式 D _{B 3 3} ' を求め、続くステップ S P 3 3 に移る。ステップ S P 3 3 は行列式 D BW ' の値が負であるか否かを判断するステップであり、ここで肯定結果が得られると、このことは変換行列 T _{B 33} ' によって移動変換されたビデオ信号が、 3次元空 Ί上の所望の位置に移動された直方体 Β 0 X ' の第 I の側面（SideB)の対向面（SideB ' ) においてその内側を向いている状態、すなわち図 3 1 において直方体 B 0 X ' の第 1 の側面（SideB)の対向面（SideB ' ) にマッピングされた 3次元変換ビデオ信号 V _{2 T}T の表面 F R ◦ N Tが当該直方体 B◦ X ' の内側を向いている状態であることを表しており、このとき画像処理装置 1 0 はステップ S P 3 4 に移って、第 1 の側面 (SideB)の対向面（SideB ' ) への変換を表す変換行列 T _B33 — に基づいて、フレームメモリ F M への読出しアドレス X _MB、 Υ _ΜΒを求めるためのパラメータ b _{B 1} . 〜 b _B33 を上述の（ 2 8 ) 式〜（ 3 6 ) 式に基づいて求める。

このようにして得られたパラメータ b _{B l}！〜 b _B33 に基づいて上述の（ 1 3 ) 式及び（ 1 4 ) 式から読出しアドレス X _MB、 Y _MBを求め、当該読出しアドレス X _ΜΒ、 Υ _ΜΒによってフレームメモリ F M ₃₂内のソースビデオ信号 V _{1 B}を読み出すことにより、図 3 1 において 3次元空間上に移劻された直方体 B O X ' の第 1 の側面（SideB)の対向面（SideB ' ) に当該ソースビデオ信号 V > _Bをマッピングするとともにこれを X y平面上のスクリーン面に透視変換することができる。かくしてフレームメモリ F M₃₂から透視変換ビデオ信号 V 3B ' が読み出される。

またこれに対して図 2 9のステップ S P 3 3 において否定結果が得られると、このことは、例えば図 3 0及び図 3 1 において 3次元空間上の直方体 B O X ' が y平面に対して回転されず、視点 P Zから見て第 1 の側面（S:deB)及びその対向面（SideB ' ) のいずれも見えないことを表しており、このとき画像処理装置 1 0は、 C P U 5 8から読み出しァドレス発生回路 3 5 に対してパラメ一タ b _B , , 〜 b _B33 を供袷せず、透視変換ビデオ信号 V _3Bをフレームメモリ F M ₃₂から読み出さない状態に制御する。

かくして図 2 9の処理手順により、画像生成部 3 0に人力されたソースビデオ信号 V _{I B}は、 3次元仮想空間上の直方体 B 0 X — の第 1 の側面 SideB)又はその対向面（SideB ' ) にマツビングされ、さらに当該マツビングされた 3次元空間上の画像があたかも当該 3次元空間上にあるかのように 2次元平面でなるスクリ一ン面上に透視変換される。

( 1 3 ) 第 3のソースビデォ信号 V , cの変換処理

画像処理装置！ 0の画像生成部 4 0 は、上述の変換行列 T ( ( 3 ) 式）と、ソースビデオ信号を 3次元座標系上の直方体 B 0 X (図 8 ) の第 2の側面（SideC) にマツビングする上述の行列 M_c ( ( 6 7 ) 式）とを用いて、あたかも 3次元仮想空間上の所望の位置に移動した直方体 B 0 ) (の第 2の側面（S】deC)にソースビデォ信号 V ,_cの画像がマッピングされたかのようにスクリ一ン上において見える変換を行う。

この処理手順は図 3 2 に示すように、 6画像処理装置 1 0 は C P U 5 8及びヮー

5

キングメモリ（ R O M 5 9、 R A 6 1 ) を用いて、まず、ステップ 1 において第 3 のソースビデオ信号 V _{1 C}を第 2 の側面（SideC)にマツビングするための行列 M_c を、（ 6 7 ) 式について上述したように、平行移動行列 L c。 ( ( 6 0 ) 式）、拡大/縮小変換行列 S _c ( ( 6 2 ) 式）、回転変換行列 R _Cx ( ( 6 3 ) 式）、所定角度 ^ c だけ傾ける変換行列 R 、及び平行移動行列し c ( ( 6 6 ) 式）を用いて求める。この行列によって X y平面上のソースビデオ信号 V _{l c} は、 X y zの 3次元座標系の基準位置（中心が原点〇と重なる位蘆）における直方体 B O Xの第 2の側面（SideC)にマツビングされることになる（V _{1 C}— ₂)

図 3 2のステップ S P 4 1 において行列 Mc が求められると、画像処理装置 1 0 はステップ S P 4 2 に移って、 2次元平面上のソースビデオ信号 V を 3次元座標系の所望の位置に変換する空間的画像変換の基本ステツプである 3次元変換行列 T。 ( ( 1 ) 式）を求め、さらに続くステップ S P 4 3に移り、ステップ S P 4 2 において求められた 3次元変換行列 T。によって 3次元空間上に移動したソースビデオ信号 V _2Cをスクリ一ン面上に透視する透視変換の基本ステップである透視変換行列 Ρ。（（ 2 ) 式）を求める。

従って直方体 Β 0 Xの第 2の側面（Si deC)上に行列 Mc によってマッピングされたビデオ信号 V _{I C}-₂は、 3次元空間上の所望の位置に移動した直方体 B 0 X ' の第 2の側面（SideC)に、 3次元変換行列 T。によって、移動されることになる ( V 。また当該 3次元移動変換されたビデオ信号 V ₂cは、さらに x y平面上のスクリーン面上に透視変換されることになる（透視変換ビデオ信号 V 3 C) 。このように第 2の側面（SideC)にソースビデオ信号 V _{l c}をマツビングするための変換行列 M c: と、 3次元空間上の所望の位置に変換するとともにスクリーン上に透視する基本的画像変換行列 Τ。及び Ρ _π とが求まると、画''象処理装置 1 () はステップ S P 4 4 に移って、ソースビデオ信号 V _lcを 3次元空問上の第 2の側面（SideC)にマッピングした後、これをスクリーン面上に透視変^する変換行列 Tc を、次式、

6

T c = M c - T o · P o …… ( 7 5 )

によって求める。ここで（ 4 ) 式について上述したように、画像処理装置 1 ϋでは、フレームメモリ F Μ ₄₂に記憶されるソースビデオ信号 V , c及びフレームメモリ F Μ ₄₂から読み出される透視変換ビデオ信号 V _3Cは、共に、 2次元のデータであり、当該読出しアドレスの演算においては、 3次元空問上の z軸方向のデータは、実質的には使用されない。従って、（ 7 5 ) 式の変換行列では、 z铀方向のデータを演算するための 3行目及び 3列目のパラメ一タは、フレームメモリ F M 42に対する読出しァドレスを演算する際には必要とされない。

従って、（ 7 5 ) 式の変換行列 T _c から 3行目及び 3列 Ξのパラメータを除いた行列 T _C33 を実際の 2次元の読出しァドレスの演算の際に必要なパラメ一夕を有した変換行列とする。

このようにして 3行 3列の変換行列 T_C33 が求められると、画 1'象処理装置 1 0 はステップ S P 4 5 に移って変換行列 T _C33 の行列式 D ₃ を求め、続くステツプ S P 4 6 に移る。ステップ S P 4 « は変換行列 T _C33 の行列式 D e の倘が正であるか否かを判断するステップであり、ここで肯定結果が^られると、このことは図 2 6のステップ S P 6について上述した場合と同様にして、変換行列 T c₃ 3 によって移動変換されたビデオ信号が、 3次元空間上の所望の位置に移動された直方体 B 0 X ' の第 2の側面（SideC)においてその外側を向いている状態、すなわち直方体 B O X ' の第 2の側面（SideC)にマツビングされた 3次元変換ビデ才信号 V _2Cの表面 F R O N Tが当該直方体 B 0 X ' の外側を向いている状態であることを表しており、このとき画像処理装置 1 0はステップ S P 4 7 に移って、第 2の側面（SideC)への変換を表す変換行列 T_c33 に基づいて、フレームメモリ F M 42への読出しアドレス X _MC、 Y _MCを求めるためのパラメータ〜 b _C33 を上述の（ 2 8 ) 式〜（ 3 6 ) 式に基づいて求める。

このようにして得られたパラメータ b _{c l} , 〜 b c³ ₃ に基づいて上述の（ 1 3 ) 式及び（ 1 4 ) 式から読出しアドレス X 6 _MC、 Y _MCを求め、当該読出しアト ' レス X

7

Mc、 Y _M(:によってフレームメモリ F Μ₄₂内のソースビデオ信号 V _{l c}を読み出すことにより、 3次元空間上に移動された直方体 B◦ X ' の第 2の側面（SnieC)に当該ソースビデオ信号 V _1Cをマツビングするとともにこれを X y平面上のスクリ一ン面に透視変換することができる。かくしてフレームメモリ F M 42から透視変換ビデオ信号 V _3Cが読み出される。

これに対して上述のステップ S P 4 6 において否定結果が得られると、このことは図 2 6のステップ S P 6 について上述した場合と同様にして、変換行列 T_C3 3 によって移動変換されたビデオ信号が、 3次元空間上の所望の位置に移動された直方体 B O X ' の第 2の側 ffi (SideC)においてその内側を向いている状態、すなわち直方体 B O X ' の第 2の側面（SideC)にマッピングされた 3次元変換ビデォ信号 V _2Cの表面 F R 0 N Tが当該直方体 B 0 X ' の外側を向いている状態とは逆の方向（直方体 B 0 X ' の内側方向）を向いている状態であることを表している。

すなわち、このことは、 3次元空間上の直方体 B◦ X ' の第 2の側面（SideC) が当該第 2の側面（SideC)の対向面（SideC ' ) よりも視点 P Z側に位置する状態ではなく、視点 P Z側に第 2の側面（SideC)の対向面（SideC ' ) が位置する状態であることが分かる。因みに、この状態において対向面（SideC ' ) にはソースビデオ信号 V , (；を 3次元変換してなる 3次元変換ビデオ信号 V _2C ' の表面 F R 0 N Tが直方体 B 0 X ' の内側、すなわち z軸の正方向を向くようにマツピングされる。

かくして図 3 2のステップ S P 4 6において否定結果が得られると、画像処理装置 1 0 は、ステップ S P 4 8 に移って第 3のソースビデオ信号 V ,_cを第 2の側面（SideC)の対向面（SideC ) にマッピングするための行列 M _c ' を、（ 6 9 ) 式について上述したように、平行移動行列 L _c。（（ 6 0 ) 式）、拡大/縮小変換行列 S c ( ( 6 2 ) 式）、回転変換行列 R （（ 6 3 ) 式）、所定角度 c だけ傾ける変換行列 R c_z、及び平行移劻行列し c ( ( 6 8 ) 式）を用いて求める。この行列 M_c ' によって X y平面上のソースビデオ信号 V は、 x y zの 3次元座標系における直方体 B 0 Xの第 2の側面（SideC)の対向面（SideC ) にマツビングされることになる（ V , 。

図 3 2のステップ S F 4 8 において行列 Mc が求められると、画像処理装置 1 0 はステップ S P 4 9及びステップ S P 5 0において、上述のステップ S P 4 2及びステップ S P 4 3 と同様にして 3次元変換行列 T。（（门式）及び透視変換行列 Ρ。（（ 2 ) 式）を求める。

従って直方体 Β 0 Xの第 2の側面（SideC)の対向面（SideC ' ) 上にマツビングされたビデオ信号 V _{l c}-₂ ' は、 3次元空間上の所望の位置に移動した直方体 B 〇 X — の第 2の側面（SideC)の対向面（SideC ' ) に、 3次元変換行列 T _D によって、移動されることになる（V _2C ) 。また当該 3次元移動変換されたビデオ信 V _{2 C} ' は、さらに X y平面上のスクリーン面上に透視変換されることになる (透視変換ビデオ信号 V 。

このように第 2の側面（SideC)の対向面（SideC ' ) にソースビデオ信号 V】 _cをマツビングするための変換行列 M c ' と、 3次元空間上の所望の位置に変換するとともにスクリーン面上に透視する基本的画像変換行列 T。及び Ρ。とが求まると、画像処理装置 1 0 はステップ S Ρ 5 1 に移って、ソースビデオ信号 V _1Cを 3 次元空間上の第 2の側面（SideC)の対向面（SideC ' ) にマッピングした後、これをスクリーン面上に透視変換する変換行列 T r: ' を、次式、

T c ' = M c ' · Το · P ϋ … · · · ( 7 6 ) によって求める。ここで（ 4 ) 式について上述したように、画像処理装置 1 0では、フレームメモリ F M に記憶されるソースビデオ信号 V _{l c}及びフレームメモリ F M ₄₂から読み出される透視変換ビデオ信号 V _3Cは、共に、 2次元のデータであり、当該読出しアドレスの演算においては、 3次元空問上の z軸方向のデータは、実質的には使用されない。従って、（ 7 6 ) 式の変換行列では、 z軸方向のデータを演算するための 3行目及び 3列目のパラメータは、フレームメモリ F M ₄₂に対する読出しアト ·'レスを演算する際には必要とされない。

従って、（ 7 6 ) 式の変換行列 T _H ' から 3行目及び 3列目のパラメータを除いた行列 T _C33 ' を実際の 2次元の読出しァドレスの演算の際に必要なパラメ一タを有した変換行列とする。

このようにして 3行 3列の変換行列 T_C33 ' が求められると、 ϋ像処理装置 1 0 はステップ S Ρ 5 2 に移って変換行列 T_C33 ' の行列式 D_C33 ' を求め、続くステップ S P 5 3 に移る。ステップ S P 5 3 は行列式 D_C33 ' の値が負であるか否かを判断するステップであり、ここで肯定結果が得られると、このことは変換行列 T _C33 ' によって移動変換されたビデオ信号が、 3次元空間上の所望の位置に移動された直方体 B O X ' の第 2 の側面（SideC)の対向面（SideC— ) においてその内側を向いている状態、すなわち直方体 B O X 一の第 2の側面（SideC)の対向面（SideC ' ) にマツビングされた 3次元変換ビデオ信号 V _2C ' の表面 F R 0 N Tが当該直方体 B 0 X ' の内側を向いている状態であることを表しており、このとき画像処理装置 1 0 はステップ S P 5 4 に移って、第 2の側面（SideC)の対向面（SideC— ) への変換を表す変換行列 T _C33 ' に基づいて、フレームメモリ F M への読出しアドレス X _MC、 Y を求めるためのパラメータ I) _{C l} 〜 b を上述の（ 2 8 ) 式〜（ 3 6 ) 式に基づいて求める。このようにして得られたパラメータ b _{c l l} 〜 b _{c 33} に基づいて上述の（ 1 3 ) 式及び（ 1 4 ) 式から読出しアドレス X ：、 Y _MCを求め、当該読出しアドレス X じ、 Y によってフレームメモリ F M ₄₂内のソースビデオ信号 V _{l c}を読み出すことにより、 3次元空間上に移勅された直方体 B 0 X — の第 2 の側 S (Si(k'C)の対向面（SideC ' ) に当該ソースビデオ信号 V _1Cをマッピングするとともにこれを X y平面上のスクリ一ン面に透視変換することができる。かくしてフレームメモリ F M 42から透視変換ビデオ信号 V _3C ' が読み出される。

またこれに対して図 3 2のステップ S P 5 3において否定結果が得られると、このことは、例えば 3次元空間上の直方体 B◦ X ' が X y平面に対して回転されず、視点 P Zから見て第 2の側面（SideC)及びその対向面（SideC ' ) のいずれも見えないことを表しており、このとき画像処理装置 1 0 は、 C P :J 5 8から読み出しアドレス発生回路 3 5に対してパラメータ b _{C 1} , 〜 b を袷せず、透視変換ビデオ信号 V をフレー厶メモリ F M から読み出さない状態に制御する。かくして図 3 2 の処理手順により、画像生成部 3 0 に入力されたソースビデオ信号 V _{1 C}は、 3次元仮想空間上の直方体 B 0 X — の第 2の側面（SideC)又はその対向面（SideC ' ) にマツビングされ、さらに当該マツビングされた 3次元空間上の画像があたかも当該 3次元空間上にあるかのように 2次元平面でなるスクリ一ン面上に透視変換される。

( 1 ) 実施例の動作及び効果

以上の構成において、まず、オペレータはコント n—ルパネル 5 6 に設けられた 3次元ボインティンダデバイスゃ半一等を操作して、本発明の画像処理装置で使用される読み出しアドレスの演算に必要とされる各パラメータを入力する。ここでこの読み出しァドレスの演算に必要なパラメータとは、各ソ一スビデオ信号 V _{1 A}、 V _{I B}及び V _{l c}のク π ップ位置と、直方体 B 0 ) (の目的画像表示面（SideA) に対する厚み h と、 X軸方向へのレート変換率 r _x 、 y軸方向へのレート変換率 r _y x軸方向へのスヰ率 s _x y奉 ¾|方向へのスヰュ一率 S _y である。

画像処理装匮 1 0の C P U 5 8 は、コント π —ルパネルパネル 5 6から人力されるこれらのパラメータを受け取り、リアルタイムに読み出しァドレスの演算に反映させる。具体的には、 C P U 5 8 は、コント π—ルバネル 5 6から供給されるパラメ一タの変化をフレーム周期で監視し、且つ、供給されたパラメ一夕に基づいて読み出しアドレスを演算するためのパラメータ！

、 . 〜をフレーム周期で演算している。

よって、オペレータの操作に応じてフレーム周期でこれらのパラメータをリァルタイムに可変することができ、そして、その可変されたパラメータに応じて、リアルタィ厶に読み出しァドレスが演算される。

次に、オペレータは、コント □ ールパネル 5 6 に設けられた 3次元ボインティングデバイス等を操作することによって、ソースビデオ信号 V _{1 A}、 V _{I B}及び V _{l c} に対して 3次元の画像変換操作を指令する。オペレータによって 3次元の画像変換が指令されると、 C P U 5 8 は、オペレータが指定した 3次元変換行列 T。の各パラメータである、！^ ,〜！" 、 h、 i i、 z及び s をコント π —ルパネ

5 6から受け取り、これらのパラメータをリアルタイムにみ出しアト'レスの演算に反映させる。具体的には、 C P U 5 8 はこれらのパラメータの変化をフレ —厶周期で監視し、且つ、供給されたパラメータに基づいて読み出しアドレスを演算するためのハ°ラメータ b 3 1 c 3 フレーム周期で演算している。次に、 C P U 5 8は、受け取ったパラメータ r , , 〜 r 、 i x , ！ ί y έ z及び s に基づいて 3次元変換行列 T n— 'の各パラメ一タを演算し、これにより読み出しアドレス X _MA、 Y X Y X ヽ Y が算出される。

このようにして、画像処理装置 1 0 では、 X y z の 3次元压標系の仮想空間上に存在する直方体 B 0 Xの大きさとして、図 8に示すように、目的画像表示面（ SideA)の第 1 の側面（SideB)側の辺 H _B の長さ、目的画像 ¾示面（SideA)の第 1 の側面（SideB)の対向面（SideB ' ) 側の辺 H _B ' の長さ、目的画像表示面（Side A)の第 2の側面（SideC)側の辺 H e の長さ、及び目的画像表示面（SidcA)の第 2 の側面（SideC)の対向面（SideC ' ) 側の辺 H e ' の長さが、 x y座標で表される点（ X 、 y ) 、（ X 、 y ) 、（ x a 、 y：¾ ) 及び（ χ ■) 、 y ) に基づいて指定される。

従って、目的画像表示面（SideA)に対して辺 H を介して接する第 1 の側面（ SideB)にマツピングされるソースビデオ信号 V】_Bは、拡大/縮小行列 S のパラメータによって辺 H _B の長さに一致するような大きさ変換され、また、目的画像表示面（SideA)に対して辺 H_B ' を介して接する、第 1 の側面の対向面（Sid eB ' ) にマッピングされるソースビデオ信号 V _{1 B}は、拡大/縮小行列 S _B のパラメータ r _Bxによって辺 H _B ' の長さに一致するような大きさに変換される。また、目的画像表示面（SideA)に対して辺 H e を介して接する第 2の側面（SideC)にマッピングされるソースビデォ信号 V , _cは、拡大縮小行列 S c のパラメータ r によって辺 H e の長さに一致するような大きさに変換され、また、目的画像表示面（SideA)に対して辺 H e ' を介して接する、第 2の側面の対向面（SideC— ) にマッピングされるソースビデオ信号 V は、拡大 /縮小行列 S c のパラメータ r _Cxによって辺 H e の長さに一致するような大きさに変換される。

さらに、直方体 B 0 Xの大きさとして、目的画像表示面（SideA)及びこの対向面（SideA ' ) 間の厚み hがオペレータの操作によって指定され、この厚み h に応じて、第 1 の側面（SideB)にマツビングされるソースビデオ信号 V は、拡大/ 縮小行列 S _B のパラメータ r _Byによって厚み hの長さに一致するような大きさに変換され、また、第 1 の側面の対向面（SideB ' ) にマッピングされるソースビデ才信号 V】_Bは、拡大 Z縮小行列 S のパラメータ r _Byによって厚みの長さに一致するような大きさに変換される。また、笫 2の側面（SideC)にマッピングされるソースビデオ信号 V _lcは、拡大ノ縮小行列 S c のパラメータ r _cyによって厚み hの長さに一致するような大きさに変換され、また、第 2の側面の対向面（SideC ' ) にマツビングされるソースビデオ信号 V は、拡大/縮小行列 S c のパラメータ r _Cyによって厚み hの長さに一致するような大きさに変換される。このように、 3次元空間上の直方体 B 0 Xの各面（第 1 の側面（SideB)及びその対向面（SideB ' ) と、第 2の侧面（SideC)及びその対向面（SideC ' ) ) にマツビングされるソースビデオ信号 V _{1 B}と V _{l c}は、当該直方体 B 0 Xの大きさに応じた大きさに変換され、さらに移動行列 L 及び L ' と移動行列し _c 及び L c ' とによって、第 1 の側面（SideB)及びその対向面（SideB ' ) と、第 2の側面（Si deC)及びその対向面（SideC ' ) とが目的画像表示面（ S i deA)に接するように変換される。

また 3次元空間上の直方体 B O Xをオペレータの操作によって所望の位置に移勖させた場合、（ 1 ) 式について上述した 3次元変換行列 T。の各パラメータ _Γ

7

！ ,〜 r ₃₃、 £ _x 、 £ _y 、 β _z が変化するこ 3 とに応じて、フレームメモリ F Mに対する読み出しアドレス X 、 Y を生成するためのパラメータ b , ,〜 b が変化する。これにより各ソースビデオ信号 V _1A、 ₁₈及び _{1 (}：は、 3次元空間上の S 方体 B 0 Xの移動に応じて、それぞれマツビングされる面に貼り付いた状態を維持しながら、移動する。

かくして以上の構成によれば、オペレータの装置によって 3次元仮想空間上の直方体 B O Xを移動させるだけで、当該直方体 B 0 Xの各面にマツビングされる各ソースビデオ信号 V _{1 Λ}、 V _{1 Β}及び V _ICを当該移動におうじて同様に移動させることにより、オペレータの簡単な操作によってリアルタィ厶で各ソースビデオ δ 号 V _{1 A}、 V _{1 B}及び V _1Cを各面にマツビングさせた状態のまま、直方体 B O Xを 3 次元空間上で移動させるようにスクリーン面 5 5 A上にこれを表示させることができる。

( 】 5 ) 他の実施例

なお上述の実施例においては、図 2 8 について上述したように、目的画像表不面（SideA)の対向面（SideA ) の位置にマッピングされて、 x y平面に投影（透視）された透視ビデオ信号 V _3Λ ' は、図 2 8 において ζ軸の正方向に向くことになる。すなわち、当該透視ビデオ信号 V _3Α ' は、視点 Ρ Ζの方向側ではなく、視》点 P Zの逆方向側にその表面 F R 〇 N Tが向いていることになる。従って、スクリーンには透視ビデオ信号 V _{3 A} ' を裏側から見た画像が表示されるので、本来表示されるべき画像に対して表裏が逆の画像が表示されることになる。

従ってこの場合、画像処理装置 1 0 は、図 3 3 に示すように、ソースビ 'テオ信号 V , をフレームメモリ F Mに記 i.gさせるときに、ソースビデオ信号 V , の表裏が入れ替わるように当該ソースビデオ信号 V , を反転する 2つの反転モードを持つようにすれば良い。

すなわち、この 2つの反転モードは、以下に説明する水平方向反転モード及び垂直反転モードである。水平反転モードは、図 3 3 Λに示すように、 y軸に対して左右の画素を水平方向に反転させるようにソースビデオ信号をフレームメモリ F Mに書き込む方法である。この方法を実現するためには、供給されたソースビデォ信号 V , を反転させずにそのままフレームメモリ I'' き込む通常のモ一ドでの、フレームメモリ F Μに供給する書込みァト'' レスを（ X _w 、 Y w ) とすると、水平方向に反転させる（Υ軸を中心として 1 80 ° " —テーテシヨンさせる）ためには、書込みアドレスの X座標値の符号を入れ換えるだけで良い。従って、水平反転モードの時には、フレームメモリ F Μに対して書込みァドレス（一 X w 、 Y w ) を供袷することにより、図 3 3 Bに示すように裏面と表面とを反転させることができる。反したビテ才信号 V！は、図 3 8 Bにおいては、紙面の裏方向を向いており、紙面の裏から見ると通常の文字として読み取ることができる。これに対して垂直反転モードは、図 3 4 Aに示すように、 X軸を回転中心として全ての画素を 1 80 ° ローテーションさせる（すなわち X軸に対して左右の画素を水平方向に反転させる）ようにソースビデオ信号 V , をフレームメモリ F Mに書き込むモードである。すなわち、垂直方向に画素を反転（ x ¾を中心として 1 80 ° ローテーションさせる）ためには、書込みァドレスの y座標値の符号を入れ換えるだけで良い。従って、垂直反転モ一ドの時には、フレームメモリ F Mに対して書込みァドレス（ X w 、一 y w ) を供給することによって、図 3 4 Bに示すように、裏面と表面とを反転させることができる。反転したビデオ信号は、図 3 4 Bにおいては、紙面の裏方向を向いており、紙面の ¾から見ると、通常の文字として読み取ることができる

図 3 3 B及び図 3 4 Bのように反転されてフレームメモリ F Mに書き込まれたソースビデオ信号 V _{1 A}は、図 3 5に示すように、 z轴の正方向を向いている。すなわち、目的画像表示面（S i deA)の対向面（S i de/T ) にマツビングされて、 x y 平面に透視された透視ビデオ信号 V _{3 Λ} ' は、図 3 5 に示すように、 z軸の負方向、すなわち視点 P Z方向を向いていることになる。従って、スクリーンには、透視ビデオ信号 V _{3 A} ' を表側から見た画像が表示される。

また上述の実施例においては、 3次元空間上を移動させる立体として 6面体でなる直方体 B 0 Xを fflいた場合について述べたが、木発明はこれに限らず、極々の多面体でなる立体としても良い。産業上の利用可能性

放送局用画像量装置において、特殊効果画像を生成する場合等に利用できる。

Claims

請求の範囲

1. 第 1 の画像を第 1 のメモリに書き込み、上記第 1 のメモリに書き込まれた上記第 1 の画像を所定の制御手段から入力される第 i の制御データに基づいて画像変換処理することによって目的画像を生成する第 1 の画像生成手段と、

第 2 の画像を第 2 のメモリに書き込み、上記第 2のメモリに書き込まれた上記第 2の画素を上記制御手段から入力される第 2の制御データに基づいて上記目的画像に応じた形状に画像変換処理することによって第 1 の側面画像を生成する第 2の画像生成手段と、

7

第 3の画像を第 3のメモリに書き込み、 6上記第 3 のメモリに: き込まれた上^ 第 3の画素を上記制御手段から人力される第 3 の制御データに基づいてヒ記目的画像に応じた形状に画像変換処理することによって第 2の側面匝像を生成する第 3 の画像生成手段と、

上記目的画像、上記第 1 の側面画像及び上記第 2 の側面画像をそれぞれ対応する所定の面に有する立体を 3次元空間上で移動させることに応じて、上記目的画像、上記第 1 の側面画像及び上記第 2の側面画像を上記立体の移動に応じて移動させるとともに、上記立体上にマッピングされた上記目的画像、上記第 1 の側面画像及び上記第 2の側面画像を所定のスクリ一ン面上に透視変換する制御手段と

を具えた画像処理装置。

2. 上記目的画像を上記立体の所定面にマツビングする変換行列 Μ _Λ は、

A = L Α - T r s

ただし、 L _A ：目的画像を立体の所定面に移動する行列

T _{r s} ：目的画像を立体の所定面の形状に応じて変形させる行列の式で表され、

上記第 1 の側面画像を上記立体の所定面にマッピングする変換行列 M B は、 M B L B O · S B - R B χ · R B · L n ただし、 L B。：第 1 の側面画像を基準位置に移劻する行列

S ：第 1 の側面画像を目的画像のマッピング面の形状に応じて移動する行列

R _Bx ：第 1 の側面画像を目的画像に対して所定角度だけ回転する行列 R _Bz：第 1 の側面画像を目的画像をマツビングした面の形状に応じた角度だけ回転させる行列

L ：第 1 の側面画像を立体の目的画像がマツビングされた面に接する所定面に移動する行列

の式で表され、

上記第 1 の側面画像を上記立体の所定面にマッピングする変換行列 M B は、

Mc = L co · S c - R e - R e - L c

ただし、 L c。：第 2の側面画像を基準位置に移動する行列

S c ：第 2の側面画像を目的画像のマツビング面の形状に応じて移動する行列

R _Cx ：第 2の側面画像を目的画像に対して所定角度だけ回転する行列 R _C2 ：第 2の側面画像を目的画像をマツピンダした面の形状に応じた角度だけ回転させる行列

L c ：第 2の側面画像を立体の目的画像がマッビングされた面に接する所定面に移劻する行列

の式で表され、

上記目的画像、上記第 1 の側面画像及び上記第 2の側面画像を上記立体の移動に応じて移動させる変換行列 T。は、

Γ Γ 0

Γ Γ Γ 0

To =

0

ί _Χ ί i , S

ただし、 r , ,〜 r ₃₃ ：各画像を x y zの 3次元座標系の） c軸、 y軸及び z軸に対して変形させるパラメ一タ

ί χ ：画像を X軸に対して平行移動させるパラメータ

i ：画像を y軸に対して平行移動させるパラメータ

£ , ：画像を z軸に対して平行移動させるパラメータ

s ：画像を X軸、 y釉及び z軸方向に拡大又は縮小させるパラメータの式で表され、

上記立体上にマソビングされた上記目的画像、上記第 1 の側 S [画像及び上記第 2の側面画像を所定のスクリ一ン面上に透視変換する行列 P。は、

1 0 0 0

0 1 0 0

P o

0 0 0 P z

0 0 0 1

ただし、： 3次元空問上の立体をスクリーン上に透視変換する際のパースぺクティブ値

の式で表される

ことを特徴とする請求の範囲第 1 ¾に記載の画像処理装置。

3. 上記変換行列 T。は、

ζ軸に関するパラメータである 3行目及び 3列目のパラメータを除いた 3行 3 列の行列である

ことを特徴とする請求の範囲第 2項に記載の画像処理装置。

4. 上記立体の所定面にマツビングされる上記目的画像は、上記変換行列 Μ_Α 、 Τη 及び Ρ。を用いて、

T A - M A · T U · P O

によって表される変換行列 T _A によってスクリ一ン上に透視変換され、

上記立体の所定面にマツビングされる上記第 1 の側面画像は、上記変換行列 M

B . Τϋ 及びド 0 を用いて、

T B = M _B · T O - P o によって表される変換行列 T B によってスクリ一ン上に透視変換され、上記立体の所定面にマツビングされる上記第 2の側面函像は、上記変換行列 M c 、 T。及び Ρ。を用いて、

T c = Mc - T o - P u

によって表される変換行列 T c によってスクリーン上に透視変換される

ことを特徴とする請求の範囲第 2項又は第 3項に記載の画像処理装置。

5. 上記制御手段は、

上記立体の各所定面にマツビングされた上記目的画像、上記第 1 の側面画像及び上記第 2の側面画像の表裏判定をそれぞれ行い、

上記目的画像、上記第 1 の側面画像及び上記第 2の側面画像のうち、上記判定結果が表である画像を上立体の対応する面にマッビングし、

上記目的画像、上記第 1 の側面画像及び上記第 2の側而画像のうち、上記判定結果が裏である画像を上記立体の対応する面の対向面にマソビングし、

上記判定結果が表裏のいずれでもないとき、上記第 1 の側面画像及び上記第 2 の側面画像を表示しないように制御する

ことを特徴とする請求の範囲第 1 項に記載の画像処理装置。

6. 上記目的画像を上記立体の対向面にマッピングする変換行列 Μ_Λ ' は、

M A ' = L A ' - T r s

ただし、 L _A ' ：目的画像を立体の対向面に移動する行列

T ：目的画像を立体の対向面の形状に応じて変形させる行列の式で表され、

上記第 1 の側面画像を上記立体の対向面にマツビングする変換行列 Μ » は、

M B し BO ' S B - B · R B _?. · L B '

ただし、 L BD：第 1 の側面画像を基準位置に移動する行列

S _B ：第 1 の側面画像を目的画像のマッピング面の形状に応じて移動する行列 R _{B X} ：第 1 の側面画像を目的画像に対して所定角度だけ回転する行列 R _{B Z}：第 1 の側面画像を目的画像をマツビングした面の形状に応じた角度だけ回転させる行列

L B ' ：第 1 の側面画像を立休の目的画像がマツビングされた ϊί[|に接する対向面に移動する行列

の式で表され、

上記第 1 の側面画像を上記立体の対向面にマッピングする変換行列 M _C は、 M c ' = L c n · S c - R c · R (： L c '

ただし、 L _{c o}：第 2の側面画像を基準位置に移 ¾する行列

S ：第 2の側面画像を目的画像のマツビング面の形状に応じて移動する行列

R ：第 2の側面画像を目的画像に対して所定角度だけ回転する行列

R ：の側面画像を目的画像をマツビングした面の形状に応じた角度だけ回転させる行列

L c ' ：第 2の側面画像を立体の目的画像がマツビングされた面に接する対向面に移動する行列

の式で表され、

Τ Γ 0

Τ I 0

T o =

r r 0

ί y i z S

ただし r ：各画像を x y zの 3次元 ffi標系の x軸、 y軸及び z軸に対して変形させるパラメ一タ

i 画像を X軸に対して平行移動させるパラメータ

画像を y铀に対して平行移動させるパラメ一タ i z ：画像を z轴に対して平行移^させるパラメータ s ：画像を X軸、 y軸及び z軸方向に拡大又は縮小させるパラメータの式で表され、

上記立体上にマツビングされた上記目的画像、上記第 1 の側面画像及び上記第 2の側面画像を所定のスクリーン面上に透視変換する行列 P。は、

0 0 0

ϋ 1 0 0

P ₍₎

0 0 0 P z

0 0 0 1

ただし、 P , 3次元空間上の立体をスクリ一ン上に透視変換する際のパースぺクティブ値

の式で表される

ことを特徴とする請求の範囲第 5項に記載の画像処理装置。

7. 上記表裏の判定は、

上記目的画像、上記第 1 の側面画像及び上記第 2の側面画像を立体のそれぞれ対応する所定面に 3次元変換し、当該 3次元変換された上記目的画像、上記第】の側面画像及び上記第 2の側面画像をスクリ一ン上に透視変換する上述の変換行歹¹ J T _A 、 T 及び T c の各行列式の値に基づいてそれぞれ行われる

ことを特徴とする請求の範囲第 4項に記載の画像処理装置。

8. 上記画像処理装置は、

上記目的画像、上記第 1 の側面画像及び又は上記第 2の側面画像を上記立体のそれぞれ対応する面にマツビングする際に、上記目的画像、上記第 1 の側面画像及び又は上記第 2の側面画像をそれぞれマツビング面に対応した大きさに切り取る縮小率優先モードと、

上記目的画像、上記第 1 の側面画像及び又は上記第 2の側面画像を上 d立体のそれぞれ対応する面にマッピングする際に、上記目的画像、上記第 1 の側面画像及び又は上記第 2 の側面画像をそれぞれ予め切り取られた領域部分をマツビング面に対応した大きさに縮小又は拡大するク口ップ優先モードとを具えることを特徴とする請求の範囲第 1 項に記載の画像処理装置。

9. 上記制御手段は、

上記判定結果が ¾である画像を、上記立体の対応する上記対向面にマツビングする際、上記画像の表裏を入れ替える

ことを特徴とする諮-求の範囲第 5項に記載の画像処理装置。

1 0. 上記画像処理装置は、

上記第 1 のメモリに書き込まれた上記目的画像と、上記第 2のメモリに書き込まれた上記第 1 の側面画像と、上記第 3のメモリに書き込まれた上記第 2の側面画像とをそれぞれ上記変換行列 T。の逆行列に基づいて読み出す

1 1. 第 1 の画像を第 1 のメモリに書き込み、上記第 1 のメモリに書き込まれた上記第 1 の画像を所定の制御手段から入力される第 1 の制御データに基づいて画像変換処理することによって目的画像を生成し、

第 2 の画像を第 2のメモリに書き込み、上記第 2のメモリに書き込まれた上記第 2の画素を上記制御手段から入力される第 2の制御データに基づいて上記目的画像に応じた形状に画像変換処理することによって第 1 の側面画像を生成し、第 3の画像を第 3のメモリに書き込み、上記第 3のメモリに害込まれた上記第 3の画素を上記制御手段から入力される第 3の制御データに Sづいて上記目的画像に応じた形状に画像変換処理することによって第 2の側面画像を生成し、上記目的画像、上記第 1 の側面画像及び上記第 2の側面画像をそれぞれ所定の面に有する立体を 3次元空間上で移動させることに応じて、上記目的画像、上記第 1 の側面画像及び上記第 2の側面画像を上記立体の移動に応じて移動させ、上記立体上にマツビングされた上記 g的画像、上記第 1 の側面画像及び上記第 2の側面画像を所定のスクリ ―ン面上に透視変換する

ことを特徴とする画像処理方法。

1 2. 上記目的画像を上記立体の所定面にマツビングする変換行列 M _A は、 M A = L A · T _{R S}

ただし、 L A ：目的画像を立体の所定面に移動する行列

T ：目的画像を立体の所定面の形状に応じて変形させる行列の式で表され、

上記第 1 の側面画像を上記立体の所定面にマツビングする変換行列 M B は、

M B = L B Β * R * B " し B

ただし、 L BO：第 1 の側面画像を基準位置に移動する行列

S _B ：第 1 の側面画像を目的画像のマツビング面の形状に応じて移動する行列

8

K ：第 1 の側面画像を目的画像 3 に対して所定角度だけ回転する行列

R _Bz ：第 1 の側面画像を目的画像をマソビングした面の形状に応じた ft 度だけ回転させる行列

L a ：第 1 の側面画像を立体の目的画像がマッビングされた面に接する所定面に移動する行列

の式で表され、

上記第 1 の側面画像を上記立体の所定面にマツビングする変換行列 M B は、 M =し _co · S c - R cx · R cz · L C

ただし、 L eo：第 2の側面画像を基準位置に移動する行列

R _Cx ：第 2の側面画像を目的画像に対して所定角度だけ回転する行列 R _Cz：第 2の側面画像を目的画像をマツビングした面の形状に応じた角度だけ回転させる行列

L c ：第 2の側面画像を立体の目的画像がマツビングされた面に接する所定面に移動する行列

の式で表され、

上記目的画像、上記第 1 の側面画像及び上記第 2の側面画像を上記立体の移動 FCT/JP96/03347 に応じて移動させる変換行列 τ。は、

r 1 1 r 1 2 r 1 3 0

Γ 2 1 2 2 Γ 2 3 0

T u =

Γ 3 1 Γ 3 2 Γ 3 3 0

ί χ ί ν ί ζ S

ただし、 r ! ,〜 r _{3 3} ：各画像を χ y ζの 3次元座標系の χ蚰、 y軸及び ζ軸に対して変形させるパラメータ

t ：画像を X軸に対して平行移動させるパラメータ

i y ：画像を y軸に対して平行移動させるパラメ一タ

i z ：画像を τ轴に対して平行移劻させるパラメータ

s ：画像を X軸、 y軸及び ζ軸方向に拡大乂は縮小させるバラメータの式で表され、

上記立体上にマッピングされた上記目的画像、上記第 1 の側面画像及び上記第 2の側面画像を所定のスクリーン面上に透視変換する行列 Ρ π は、

1 0 ϋ 0

0 1 0 0

P □ =

0 0 0 Ρ ζ

0 0 0 1

ただし、： 3次元空間上の立体をスクリーン上に透視変換する際のパースぺクティブ値

の式で表される

ことを特徴とする請求の範囲第 1 1 項に記載の画像処理方法。

1 3. 上記変換行列 Τ。は、

ζ轴に関するパラメータである 3行目及び 3列目のパラメータを除いた 3行 3 列の行列である

ことを特徴とする請求の範囲第 1 2項に記載の画像処理方法。

1 . 上記立体の所定面にマツビングされる上記目的画像は、上記変換行列 M A 、 To 及び P。を用いて、

T A = M A - To - P o

によって表される変換行列丁 _A によってスクリーン上に透視変換され、

上記立体の所定面にマッピングされる上記第）の側面画像は、上記変換行列 M B 、 T 0 及び P。を用いて、

T n - Mn - T o - P o

によって表される変換行列 T B によってスクリーン上に透視変換され、

上記立体の所定面にマツビングされる上記第 2の側 ffi画像は、上記変換行列 M c 、 T a 及び P n を用いて、

T c -Mc - T o - Ρ

によって表される変換行列丁 c によってスクリーン上に透視変換される

ことを特徴とする請求の範囲第 1 2項又は第 1 3項に記載の画像処理プ J法。

1 5. 上記画像処理方法は、

上記立体の各所定面にマッピングされた上記目的画像、上記第 1 の側面闽像及び上記第 2の側面画像の表裏判定をそれぞれ行い、

上記目的画像、上記第 1 の側面画像及び上記第 2の側面画像のうち、上記判定結果が表である画像を上記立体の対応する面にマッビングし、

上記目的画像、上記第 1 の側面画像及び上記第 2の側面画像のうち、上記判定結果が裏である画像を上記立体の対応する面の対向面にマッビングし、

1 6. 上記目的画像を上記立体の対向面にマッピングする変換行列 M_A ' は、

ただし、し _A ' ：目的画像を立体の対向面に移動する行列

T ：目的画像を立体の対向面の形状に応じて変形させる行列の式で表され、上記第 1 の側面画像を上記立体の対向面にマツビングする変換行列 M B は、

M = し ' S ti * X ' R ' し

ただし、 L : 第〗の側面画像を基準位置に移動する行列

S _R ：第 1 の側面画像を目的画像のマツビング面の形状に応じて移動する行列

K _Bx ：第 1 の側面画像を目的画像に対して所定角度だけ回転する行列 R ：第 1 の側面画像を目的画像をマツビングした面の形状に応じた角度だけ回転させる行列

L„ ' ：第 1 の側面画像を立体の目的画像がマツビングされた而に接する対向面に移 ¾する行列

の式で表され、

上記第 1 の側面画像を上記立体の対向面にマッピングする変換行列 M c は、 Mc ' = し _co · S - - R c X · R e - L c: '

ただし、 L _co：第 2の側面画像を基準位置に移勖する行列

S c ：第 2の側面画像を目的画像のマッピング面の形状に応じて移動する行列

R ：第 2の側面画像を目的画像に対して所定 ft度だけ回転する行列 R cz：第 2の側面画像を目的画像をマツビングしたの形状に応じた角度だけ回転させる行列

L c ' ：第 2の側面画像を立体の目的画像がマッピングされた面に接する対向面に移動する行列

の式で表され、

上記目的画像、上記第 1 の側面画像及び上記第 2の側面画像を上記立体の移動に応じて移動させる変換行列' 1'。は、

ただし〜 r _{3 3} ：各画像を x y z の 3次元座標系の x軸、 y軸及び z軸に対して変形させるパラメータ

：画像を X軸に対して平行移動させるパラメータ

：画像を y軸に対して平行移動させるパラメ一タ

：画像を z轴に対して平行移動させるパラメータ

：画像を X軸、 y軸及び τ軸方向に拡大又は縮小させるパラメータの式で表され、

上記立体上にマツビングされた上記目的画像、上記第 1 の側面画像及び上記第 2の側面画像を所定のスクリ一ン面上に透視変換する行列 Ρ。は、

1 0 ϋ 0

0 1 0 0

Ρ 0 =

0

ただし、 Ρ ζ ： 3次元空間上の立体をスクリーン上に透視変換する際のパースぺクティブ値

の式で表される

ことを特徴とする請求の範囲第 1 5項に記載の画像処理方法。

1 7. 上記表裏の判定は、

上記目的画像、上記第 1 の側面画像及び上記第 2の側面画像を立体のそれぞれ対応する所定面に 3次元変換し、当該 3次元変換された上記目的画像、上記第 1 の側面画像及び上記第 2の側面画像をスクリーン上に透視変換する上述の変換行列 Τ _Λ 、 T 及び T _C の各行列式の値に基づいてそれぞれ行われる

ことを特徴とする請求の範囲第 1 4項に記載の画像処理方法。

1 8. 上記画像処理方法は、

上記目的画像、上記第 1 の側面画像及び又は上記第 2の側面画像を上記立体のそれぞれ対応する面にマツビングする際に、上記目的画像、上記第 1 の側面画像及び又は上記第 2の側面画像をそれぞれマッピング面に対応した大きさに切り取る縮小率優先モードと、

上記目的画像、上記第 1 の側面画像及び又は上記第 2の側面画像を上記立体のそれぞれ対応する面にマッピングする際に、上記目的画像、上記第 1 の側面画像及び又は上記第 2の側面画像をそれぞれ予め切り取られた領域部分をマツビング面に対応した大きさに縮小又は拡大するクッヅ優先モ一ドと

を具えることを特徴とする請求の範囲第 1 1 ¾に記載の画像処理方法。

1 9. 上記画像処理方法は、

上記判定結果が裏である画像を、上記立体の対応する上記対向面にマッビングする際、上記画像の表裏を入れ替える

2 0. 上記画像処理方法は、

上記第 1 のメモリに書き込まれた上記目的画像と、上記第 2のメモリに書き込まれた上記第 1 の側面画像と、上記第 3 のメモリに書き込まれた上記第 2 の側面画像とをそれぞれ上記変換行列 T。の逆行列に基づいて読み出す

ことを特徴とする請求の範囲第 1 2項又は第 1 3項に記載の画 ί象処理方法。