JP2550530B2

JP2550530B2 - ビデオ信号処理方法

Info

Publication number: JP2550530B2
Application number: JP61161462A
Authority: JP
Inventors: ジョンヘドリーデビッド
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1985-07-09
Filing date: 1986-07-09
Publication date: 1996-11-06
Anticipated expiration: 2011-11-06
Also published as: GB8517372D0; JPS6211976A; GB2177871A; EP0208448A2; DE3681838D1; GB2177871B; US4751660A; EP0208448A3; ATE68302T1; CA1263740A; EP0208448B1

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、ビデオ信号の処理方法に関するものであ
る。詳しくは、本発明は、特殊効果の処理を受けたビデ
オ信号に対応する映像の表側部分又は裏側部分の弁別に
関するものである。もっと詳しくいえば、本発明は、高
鮮明度ビデオシステムにおける特殊効果装置に用いて好
適の上記弁別手段を含むビデオ信号処理方法に関するも
のであるが、これに限られるわけではない。

〔従来の技術〕

英国における放送用標準テレビジョン信号は625ライ
ン／フレーム,50フィールド／秒のPAL信号であるが、他
国における放送用PAL,NTSC及びSECAM信号は、同様か又
は少し低いライン周波数（例えば525ライン／フレー
ム）と同様か又は少し高いフィールド周波数（例えば60
フィールド／秒）を使用している。これらの放送用信号
には近い将来大きな変更が行われる見込がないのに、高
鮮明度ビデオシステムに対する要求はますます増えてい
る。かようなシステムは、例えばフィルムの製作、閉回
路テレビジョン・システム、衛星通信システム及び一般
スタジオ用に使用される。提案された高鮮明度ビデオシ
ステムの１つに、1125ライン／フレーム、60フィールド
／秒を使用するものがある。この提案されたシステムは
また、現在テレビジョン受像機に使用されている4:3の
縦横比の代わりに5:3の縦横比の画面を使用している。

ビデオ信号に適用可能の特殊効果は、よく知られてい
る。例えば、陰極線管面の映像を２又は３次元において
オフセット（任意方向に動かす）したり、スケール（サ
イズを拡大又は縮小する）したり、ロール（回転させ
る）したりする等である。

かような特殊効果を得る１つの方法は、あとで詳しく
述べるが、入力アナログビデオ信号を各々が画素アドレ
スをもつデジタル標本値に変換し、得られる個々の画素
アドレスを所望の特殊効果を達成するように修正し、こ
の標本値をフィールドメモリの修正された画素アドレス
に記憶し、フィールドメモリからその標本値を読出し所
望の出力アナログ信号に再変換する過程を有する。

特殊効果装置によって達成される効果は、一般に２つ
のタイプに分けられる。１つは、映像面を曲げたり捻っ
たりしないもので、直線的効果と呼ばれる。ただし、こ
れは３次元的ではない。他の１つは、映像を３次元物体
上に投影して映像を歪ませるもので、非直線的効果と呼
ばれる。３次元的直線効果の一例は、遠近画法で入力映
像面をとんぼ返り又は指ではじくときに見られるように
傾けることである。３次元的非直線効果の一例は、入力
映像面を円錐面上に投影することである。

直線的であれ非直線的であれ、３次元効果を生じるに
は２つの過程がある。すなわち、原２次元画素アドレス
を３次元空間における画素アドレスに変換し、それか
ら、２次元の目視面上に遠近画法的再変換をすることで
ある。

直線効果の場合、必要な２又は３次元的画素アドレス
は、例えばコンピュータ作図法に用いられているような
マトリックス計算によって得られる。しかし、テレビジ
ョン・システムに要求されるような実時間操作を達成す
るには、技法の相当な修正が必要である。これは、我々
の同時係属中の英国出願第8511649号（ヨーロッパ出願
第86303298.3号）の主題である。非直線効果の場合は、
所望の効果を達成するだけでなく、所望の速度で且つ高
すぎるか複雑すぎるハードウェアを必要とすることなく
行える方法及び回路が要望されている。これは我々の同
時係属中の英国出願第8511648号（ヨーロッパ出願第863
0328.3号）の主題である。

〔発明が解決しようとする問題点〕

直線的及び非直線的３次元効果の両方において、目視
者に映像の裏側が見えるようになる可能性がある。すな
わち、入力映像面が徐々にひっくり返るとき、その映像
の裏側（うしろ）が最後に見えるであろう。同様に、入
力映像面が徐々に中空円筒に巻込まれるとき、円筒の軸
が傾いておれば巻込まれる方法により、その映像の裏側
が円筒の外側又は内側で見えるであろう。実際にどう見
えるかは、映像が透明であるかどうかによる。映像が透
明ならば、映像の裏側は表側（まえ）と同じであるが逆
（さか）さに見えるであろう。映像が不透明で他の映像
がこれと背中合せになっていれば、この他の映像が見え
るであろう。どちらの場合にしろ、入力映像の表側と裏
側のどちらが目視者に見えるかを決定する必要がある。

所望の３次元的効果を得るため映像を変換する前に、
映像面に垂直で目視者に指向する１組のベクトルを定め
ることはできるであろう。変換後に、これらのベクトル
を、映像の表側と裏側のどちらが透視点から見えるかど
うかをベクトルの目視面に対する角度によって決定する
のに使用できるであろう。しかし、かかる方法では、所
望の効果を得るために入力映像の画素アドレスの変換に
加えてベクトルも変換しなければならず、このため更に
多くの記憶及び計算手段が必要となるであろう。

本発明の１つの目的は、映像の３次元操作後、映像の
表側と裏側のどちらが見えるかを決定するビデオ信号処
理方法を提供することである。

本発明の他の目的は、映像の３次元操作後、映像の増
分（incremental）表面に垂直なベクトルが目視点側
（目視点に近づく方向）に向いているか又は目視点と反
対側（目視点から離れる方向）に向いているかどうかを
決定するビデオ信号処理方法を提供することである。

〔問題点を解決するための手段〕

上記問題点を解決するために、本発明によれば、表面
の映像を示す第１の映像信号と、上記表面と背合わせの
裏面の映像を示す第２の映像信号とからなる入力映像信
号をメモリに蓄積した後に読み出すことによって、上記
入力映像信号に対して３次元的な変換処理を施して変換
後の映像信号を得るビデオ信号処理方法であって、上記
入力映像信号の表面に垂直な第１のベクトルを外積演算
により定義するための同一直線上にない、少なくとも３
つの画素アドレスを上記入力映像信号について設定し、
上記入力映像信号が上記３次元的な変換処理によって変
換された後の上記少なくとも３つの画素アドレスの変換
後のアドレスに基づいて、上記第１のベクトルを定義す
る外積演算方法と同じ方法の外積演算によって、上記変
換後の映像信号上記変換後の少なくとも３つの画素アド
レスで示される点を含む面に垂直な第２のベクトルを求
め、上記第２のベクトルが上記第１のベクトルにて示さ
れる目視点側を向いているのか又は上記目視点に対して
反対側に向いているのかを判別し、上記判別結果に基い
て、上記第２ベクトルが上記目視点に向いているときに
上記第１の映像信号を上記メモリから読み出して上記変
換後の映像信号として表示し、上記第２のベクトルが上
記目視点と反対側に向いているときに上記第２の映像信
号を上記メモリから読み出して上記変換後の映像信号と
して表示することを特徴とするビデオ信号処理方法を提
供する。

〔実施例〕

実施例を説明する前に、先に概要を述べた高鮮明度ビ
デオシステム用の特殊効果装置の一例を第１図について
簡単に述べる。基本的には、特殊効果装置は、２つのフ
ィールドメモリすなわちフィールド０（ゼロ）メモリ
（１）とフィールド１（ワン）メモリ（２）を有し、こ
れに対する書込みアドレス発生器（３）と読出しアドレ
ス発生器（４）を有する。これらの素子はスイッチ
（５），（６），（７）及び（８）により相互接続さ
れ、各スイッチはフィールド周波数で動作する。入力端
子（９）に供給されるデジタル標本値の形の入力データ
は、スイッチ（５）によりフィールド０メモリ（１）又
はフィールド１メモリ（２）に選択的に供給される。出
力端子（10）に供給される出力データは、スイッチ
（６）によりフィールド０メモリ（１）又はフィールド
１メモリ（２）から選択的に取出される。書込みアドレ
ス発生器（３）及び読出しアドレス発生器（４）は、ス
イッチ（７）及び（８）によりフィールド０メモリ
（１）及びフィールド１メモリ（２）へ選択的に交互に
接続される。

この特殊効果装置の動作において、入力アナログ信号
は水平走査線毎に2048回サンプル（標本化）され、その
標本値は８ビットのワードにパルス符号変調（PCM）さ
れて入力デジタル・データとなり、入力端子（９）に供
給する。書込みは、スイッチ（５）の位置及び書込みア
ドレス発生器（３）の制御により、フィールド０メモリ
（１）及びフィールド１メモリ（２）に対し交互に行わ
れる。メモリ（１）又は（２）に対する個々のデジタル
信号の書込み・読出しを行うばかりでなく、所望の特殊
効果を得るため陰極線管のスクリーン・ラスタにおける
画素アドレスを修正するのに必要な複雑なアドレス計算
は、入力端子（11）を経て書込みアドレス発生器（３）
に供給される信号の制御の下に行われる。１フィールド
分がメモリ（１）又は（２）に書込まれると、スイッチ
（５）〜（８）は位置を変え、メモリ（１）又は（２）
に記憶されたデジタル信号は、順次読出しアドレス発生
器（４）の制御の下に読出される。読出しアドレス発生
器（４）はまた、入力端子（12）を介して供給される信
号によって制御される。読出された信号は出力端子（1
0）に供給され、その間、次のフィールドのデジタル信
号が他のメモリ（２）又は（１）に書込まれる。

次に、３次元非直線的効果を得る方法について少し述
べる。

第２図は、ビデオ信号処理化の一部を示すブロック図
である。この図には、後述する本発明の実施例が含まれ
る。（20）は、２次元−３次元マッピング・メモリで、
２つの主入力X,Y及び３つの主出力α，β,Zを有する。
Ｘ入力には画素の入力Ｘアドレスが乗算器（21）を経て
供給され、これら入力Ｘアドレスはまたα出力に接続さ
れた乗算器（22）に供給される。画素の入力Ｙアドレス
はＹ入力へ乗算器（23）を経て供給され、これら入力Ｙ
アドレスはまたβ出力に接続された乗算器（24）に供給
される。乗算器（25）は、Ｚ出力に接続される。X,Y及
びＺ出力は、それぞれ乗算器（22），（24）及び（25）
より取出される。乗算器（21），（23）及び（25）は、
Ｘスケーリング・ファクター信号、Ｙスケーリング・フ
ァクター信号及びＺスケーリング・ファクター信号より
それぞれ制御される。

マッピング・メモリ（20）は、ルックアップ（参照）
テーブルとして動作するランダムアクセスメモリ（RA
M）であり、得ようとする特殊効果に対応するデータが
予め格納される。したがって、マッピング・メモリ（2
0）は、２次元入力映像のラスタにおける画素アドレス
に対応するＸ及びＹ座標を３次元空間にどのようにマッ
ピング（位置付け）するかについての指示を記憶してい
る。各サンプル位置に対し、３つのパラメータが記憶さ
れる。すなわち、Ｘ及びＹスケーリング乗数であるα及
びβ、並びに絶対深度座標であるＺである。いま、１次
元を考えると、所望の特殊効果を得るのにラスタの水平
走査線における各画素アドレスに与える効果として、そ
の画素アドレスを異なるアドレスに水平移動させること
が挙げられる。このアドレスの変換は、原アドレスのＸ
座標をスケーリング乗数倍することにより行える。実際
に、所望の特殊効果は各画素アドレスに２次元的運動を
与えることになるので、画素の原アドレスのX,Y座標の
両方にそれぞれスケーリング乗数を乗ずることが必要に
なる。したがって、各画素アドレスはマッピング・メモ
リ（20）のX,Y入力に供給されるので、マッピング・メ
モリ（20）は、その画素アドレスに適合するスケーリン
グ乗数α，βをアクセス（呼出）し、これらをα，β出
力に供給する。しかし、また、所望の特殊効果を得るに
は画素アドレスを第３すなわち深さの方向に移動させる
必要がある。ゆえに、マッピング・メモリ（20）は更
に、入力アドレスのX,Y座標で表わされる画素アドレス
に対応し且つ所望の特殊効果に対応するアドレスのＺ座
標をアクセスし、Ｚ出力に供給する。

入力画素アドレスに対応するスケーリング乗数α及び
βは、それぞれ乗算器（22）及び（24）に供給され、こ
れら乗算器には入力画素の入力X,Yアドレスがそれぞれ
供給される。したがって、乗算器（22）及び（24）は入
力X,Yアドレスを所望の新しい値にスケーリングし、こ
の新しい値は、マッピング・メモリ（20）から取出され
たＺアドレスと共にそれぞれの出力に供給される。

次に、乗算器（21），（23）及び（25）の目的を説明
する。上述では、２次元映像から３次元非直線効果像へ
の転換は１段階（ステップ）で達成されるものと仮定し
た。しかし、一般に、特殊効果は相次ぐフィールドにわ
たって徐々に達成される必要がある。

第３図は、最初平坦な81点グリッドが球面上に徐々に
マッピングされるコンピュータ・シミュレーションを示
すものである。同図において、特殊効果を原２次元映像
が球面の周りに巻かれるように次第に変化することであ
る、とする。１番目の図は最初の平坦像を示し、81点の
各々は矩形としてあるが、デジタル・ビデオ信号では、
これら矩形の各々が１つの画素を表わしX,Yアドレスを
もつ１つの標本値に対応する。図を順に追ってゆくと、
特殊効果が徐々に進行するにつれて標本値がどのように
動くかが分かるであろう。あとの方の図から、特に最後
の図から、特殊効果の進行に伴い、XY座標に関する限り
同じアドレスをもつがＺアドレスが異なる座標値が複数
個現われることが認められるであろう。換言すると、或
る標本値は他の標本値の背後にくるようになる。透明効
果を望む場合、これらの標本値は共に出力ビデオ信号を
構成するのに使用しうるが、中実又は不透明効果を望む
場合は、単に同じX,Yアドレスをもつ標本値のＺアドレ
スを比較することにより、目視面により近い（すなわち
Ｚアドレスが小さい）標本値を選択しうる。

第３図の最後の図を見ると、マッピング・メモリ（2
0）に格納すべきデータは、この場合、個々の画素アド
レスの位置が原２次元映像から最終の３次元映像に動い
て変わる様子を数学的に計算して得られることが分か
る。同様に、原２次元映像を球、円筒又は円錐の面のよ
うな数学的に表わしうる３次元面上にマッピングするこ
とを含むどんな特殊効果の場合でも、必要なデータを数
学的に計算することができる。しかし、テーブルや電話
機の表面のようなもっと複雑な面の場合は、まず、その
表面を座標にマッピングするためのコンピュータ解析を
付加する必要があり、これにより、コンピュータはマッ
ピング・メモリ（20）に格納すべき所要データを計算で
きる。

実際の装置では、予め計算された種々のα，βのスケ
ーリング乗数及びＺ座標の異なる組合せが、必要に応じ
てマッピング・メモリ（20）に書込めるようにディスク
に記憶されている。

第２図及び原２次元映像を３次元面に徐々にマッピン
グする問題に戻ると、これは更に別のスケーリング乗数
を用いることにより達成できる。これは、マッピング・
メモリ（20）に記憶したスケーリング乗数α，βとの混
同を避けるため、スケーリング・ファクターと呼び、特
に乗算器（21），（23）及び（25）にそれぞれ供給され
るものをX,Y及びＺスケーリング・ファクター信号と呼
びことにする。X,Y及びＺスケーリング・ファクター信
号の作用は、はじめ入力X,Yアドレスを３次元面上にマ
ッピングすべき２次元面の中央に集めることである。そ
れから、X,Yスケーリング・ファクター信号は、各アド
レスが３次元体の境界面に向かって外側に拡がるように
徐々に変わる。この拡げる作用は、X,Yスケーリング・
ファクター信号の値を徐々に変えることにより、徐々に
行われる。

これは、第４図Ａ〜Ｃより理解されるであろう。これ
らの図は、原２次元映像を次第に円筒面にマッピングす
る場合の最初、中間及び最終の各段階における入力、マ
ップ及び出力を示している。全段階を通じ、原映像の中
央上方の画素Ａのアドレスは、スケーリング・ファクタ
ー及びマッピングの両方によって変化しない。したがっ
て、画素Ａの出力アドレスは入力アドレスと同じであ
る。しかし、はじめ右上方にある画素Ｂのアドレスは、
第４図Ａの最初の段階でスケーリング・ファクターの作
用により中央に近付けられる。したがって、画素Ｂの出
力アドレスは、この最初の段階ではマッピング時スケー
リング乗数によって殆ど変化しない。第４図Ｂの中間段
階では、画素Ｂのアドレスは、中央に余り近付かず、マ
ッピング時スケーリング乗数によって或る程度変化す
る。その出力アドレスは、画素Ｂが最初平坦な映像面の
原位置から離れるように動き円筒の形を取るために曲が
り始めることを示す。第４図Ｃの最終段階では、スケー
リング・ファクターは画素Ｂの入力アドレスを変化させ
ず、マッピング時スケーリング乗数はこのアドレスに一
杯の効果を与え、画素Ｂの出力アドレスは可成り移動す
る。実際は、最終の円筒形映像上で占めるべき位置まで
移動する。

この場合、第３図の球面上にマッピングする場合のよ
うに、或る画素のアドレスが他のアドレスの背後にくる
ことに注意されたい。上述のように、透明的な効果を要
求する場合は、これらの両画素は共に出力ビデオ信号を
作るのに使用しうるが、中実的効果を要求する場合は、
X,Yアドレスが同じ画素のＺアドレスを比較することに
より、目視面により近い、すなわちＺアドレスの小さい
方の画素を選択しうる。この場合、円筒の軸が少し傾い
ているため、円筒の内側すなわち入力映像の裏側の部分
が最後に見えるようになっている。これについては、あ
とで詳細に述べる。

第５図は、第２図の回路の詳細を示すブロック図であ
る。この図は、マッピング・メモリ（20）及び乗算器
（22），（24），（25）（乗算器（21），（23）は簡単
のため図示せず）の外に、マップ前マトリックス（3
0）、マルチプレクサ（31）、マップ後マトリックス（3
2）、遠近変換装置（33）及びもう１つのマルチプレク
サ（34）を示す。入力Ｘ及びＹアドレスは、マップ前マ
トリックス（30）の各入力、乗算器（22）及び（24）
（前述のように）、マルチプレクサ（31）の各入力及び
マルチプレクサ（34）の各入力にそれぞれ供給される。
マルチプレクサ（31）は、更にゼロ（０）Ｚ入力アドレ
スを受ける。0Zアドレスは、原２次元映像上の全Ｘ及び
Ｙアドレスに対応するＺアドレスである。マルチプレク
サ（31）の他の３入力は、それぞれ乗算器（22），（2
4）及び（25）の出力を受ける。これらの入力は、要求
する特殊効果に従ってマッピングされた入力ビデオ・デ
ータの画素にそれぞれ対応するX,Y及びＺアドレスであ
る。

マルチプレクサ（31）は、直線・非直線効果制御信号
に制御されて動作し、最初の入力アドレス又はマッピン
グ後の入力アドレスのいずれか、すなわち非直線的特殊
効果を含むかどうかを要求に応じて選択する。マルチプ
レクサ（31）からの３つの出力アドレスＸ″,Y″及び
Ｚ″はマップ後マトリックス（32）に供給され、その出
力Ｘ,Y及びＺアドレスは遠近変換装置（33）に供
給される。遠近変換装置（33）はまた、遠近距離制御信
号を受け出力アドレスＸ及びＹをマルチプレクサ（34）
に供給する。マルチプレクサ（34）はまた、入力Ｘ及び
Ｙアドレスを受け、効果・非効果制御信号の下に、変化
しない入力X,Yアドレスか、又は要求される非直線的特
殊効果に従いマップ後マトリックス（32）及び遠近変換
装置（33）より取出された出力X,Yアドレスか、又はマ
ルチプレクサ（31）が入力X,Yアドレスがマップ前マト
リックス（30）及びマッピング・メモリ（20）を側路す
るよう制御されている場合は、マップ後マトリックス
（32）及び遠近変換装置（33）のみにより取出された出
力X,Yアドレスのいずれかを出力に供給する。

簡単にいえば、マップ前マトリックス（30）は、２次
元効果のオフセッティング（映像の面内におけるシフト
又は移動）、スケーリング（映像の拡大又は縮小）及び
ローリング（回転）のいずれか又はいずれかの組合せを
行う動作をする。例えば、非中心点の周りの回転は、そ
の点へのオフセッティング、その点の周りの回転及び最
初の位置への逆オフセッティングの組合わせである。こ
れらの効果はすべてよく知られており、必要なマトリッ
クスは、チャップマン・アンド・ホール・コンピューテ
ィング1984のデニス・ハリスによる「コンピュータ・グ
ラフィックス・アンド・アプリケーションズ」に記載さ
れている。各個別の効果を得るには１つの３×２マトリ
ックスで充分であるが、単に３×３マトリックスを作る
ために第３のライン（行）を加える。そうすると、任意
の２以上のマトリックスを直ちに互いに乗算して所要の
効果の組合せが得られる。この乗算はマイクロコンピュ
ータにおいて行い、その結果得られるマトリックスは、
要求に応じて、乗算器と加算器を有するマップ前マトリ
ックス（30）に対し１組の係数として格納する。

簡単にいえば、マップ後マトリックス（32）は、３次
元効果のオフセッティング（２次元のみもある。）、ス
ケーリング、ローリング、ピッチング及びヨーイング
（首振り）のいずれか又はいずれかの組合せを行う動作
をする。これらの効果もまたよく知られており、必要な
マトリックスは上記の「コンピュータ・グラフィックス
・アンド・アプリケーションズ」に記載されている。こ
の場合、各個別の効果を得るには１つの４×３マトリッ
クスで充分であるが単に４×４マトリックスを作るため
第４のライン（行）を加える。そうすると、２以上のマ
トリックスを直ちに互いに乗算して所要の効果の組合せ
が得られる。この乗算はマイクロコンピュータで行い、
その結果得られるマトリックスは、要求に応じて、乗算
器と加算器を有するマップ後マトリックス（32）に対し
１組の係数として格納する。

次に、マップ後マトリックス（32）として使用しうる
ビデオ信号処理回路を第６及び第７図により説明する。
これにより、もっと簡単なマップ前マトリックス（30）
も同様な方法で実現しうることが容易に分かるであろ
う。

上述のように、マップ後マトリックス（32）がオフセ
ッティング、スケーリング、ヨーイング及びピッチング
の３次元効果を達成するために行うべき数学的計算は、
例えば上述の「コンピュータ・グラフィックス・アンド
・アプリケーションズ」によって公知である。しかし、
今の場合は、映像が、実時間で処理されなければならな
い。すなわち、各フィールドについて必要なすべての処
理は、ビデオ・フィールド・レート（本例では60フィー
ルド／秒）で遂行されねばならない。コンピュータが所
要の高速で処理を遂行するのは不可能であるので、マッ
プ後マトリックス（32）は、高速マイクロプロセッサ及
びハードウェア・マトリックス回路をもつハイブリッド
（混成）装置を有する。基本的に、マイクロプロセッサ
は１個の４×４マトリックスの係数を計算するのに必要
である。４×４マトリックスは、必要により２以上のオ
フセッティング、スケーリング、ローリング、ピッチン
グ又はヨーイングにそれぞれ対応するマトリックスを組
合せた複合マトリックスである。

いま、１つの画素の３次元入力アドレスがx,y,zで、
必要な変換後その画素の出力アドレスがx new,y new,z
newであるとする。一般に、具体的な変換が未だ特定さ
れていない場合は、 x new＝a₁x＋b₁y＋c₁z＋d₁ y new＝a₂x＋b₂y＋c₂z＋d₂ z new＝a₃x＋b₃y＋c₃z＋d₃ ただし、a₁,a₂,a₃,b₁,b₂,b₃,c₁,c₂,c₃,d₁,d₂及びd₃は、
行おうとする変換によって決まる係数である。上記３方
程式をマトリックスで書くと、次のようになる。

これをマトリックスの乗算ができるように中央部を４
×４マトリックスにして書直すと、上述した我々の同時係属中の英国出願第8511649号（日
本出願の特願昭61−105389号）に詳細に説明したように
オフセッティング、スケーリング、ローリング、ピッチ
ング及びヨーイングの上記３次元直線的効果のいずれか
１つ又はいずれかの組合せは、適当なマトリックスを選
ぶことにより、又は組合せの場合は複数の適当なマトリ
ックスを選ぶことにより達成しうる。そして所要のパラ
メータ値をそれらのマトリックスに入れ、また、組合せ
の場合は得られたマトリックスを互いに乗算することに
より、任意の３次元直線的効果を達成しうる。この第１
段階は、第６図に示すマイクロプロセッサ（40）によっ
て実行される。マイクロプロセッサ（40）は、プログラ
ム・メモリ（41）に記憶されたプログラム及び選択入力
によって制御される。選択入力は、オフセッティング、
スケーリング、ローリング、ピッチング及びヨーイング
のうち、どの効果とするかを特定し、必要に応じてオフ
セット距離、スケーリング係数及びロール、ピッチ又は
ヨー角を特定するものである。プログラムの制御によ
り、マイクロプロセッサ（40）は適当な４×４マトリッ
クス（単数又は複数）を選択し、パラメータを置換し、
必要に応じ、得られたマトリックスを互いに乗算して所
要の係数a₁〜d₃を含む出力マトリックスを与える。これ
らの出力マトリックスは、ラッチ回路（42）を介してそ
れぞれの出力a₁〜d₃に供給される。マイクロプロセッサ
（40）は、処理すべきビデオ信号の各フィールド期間内
に上述の演算を行い、所要の係数a₁〜d₃が次のフィール
ド期間において使用できるようにする。

係数a₁〜d₃は、第７図に示すハードウェア・マトリッ
クス回路に供給される。このマトリックス回路は、９個
の乗算器（50）〜（58）と９個の加算器（59）〜（67）
とを有する。１フィールド内の各画素の出力x newは、
その画素の入力座標x,y及びｚをそれぞれ乗算器（5
0），（51）及び（52）に供給することによって得られ
る。これらは、乗算器において、前のフィールドの終わ
りにマイクロコンピュータ（40）からそれぞれ加えられ
る係数a₁,b₁及びc₁と乗算される。乗算器（50）及び（5
1）の出力は加算器（59）により加算され、加算器（5
9）の出力は乗算器（52）の出力と加算器（60）により
加算され、加算器（60）の出力は係数d₁と加算器（61）
とにより加算される。加算器（61）の出力がx newであ
る。出力y new及びz newも、同様にして得られる。

これら３出力x new,y new及びz newは、第５図のＸ
,Y及びＺに相当し遠近変換装置（33）に供給され
る。

上述したように、マップ前マトリックス（30）の構成
及び作用も同様であるが、２次元直線的効果のオフセッ
ティング、スケーリング及びローリングを含むだけであ
るため、マトリックスが３×３でありこれに応じてマト
リックス回路が簡単になる。

遠近変換装置（33）は、Ｚアドレス及び選択した視
距離に応じてＸ及びＹアドレスを変え、幾何学的遠
近画を導入するものである。これもまた既知の技法であ
り、その方法は上述の「コンピュータ・グラフィックス
・アンド・アプリケーションズ」に記載されている。遠
近変換の必要は、非常に簡単な例から理解されるであろ
う。原２次元矩形映像がその上縁と一致する水平軸の周
りに螺番により後方に動くと仮定する。動くにつれ映像
の各画素はＺアドレス（上記の軸に沿う画素に対しては
ゼロとなる。）を得るであろうが、映像の最初の底縁の
長さは同映像の上縁の長さと等しいままである。いいか
えると、動きは３次元内であるが、眼には何の遠近効果
も与えないであろう。遠近変換装置（33）の機能は、必
要な幾何学的遠近効果を加えることである。上記の簡単
な例では、底縁を短くし、間にある水平線を次第に短く
することが含まれる。

遠近変換装置によって達成される他の機能は、これに
本発明が特に関係しているが、映像の表側（前面部）と
裏側（後面部）を弁別することである。この作用は、遠
近変換の前でも後（あと）でも行える。前の方が理論的
にはよいが、実際は後でも充分満足できる。映像の表側
と裏側の弁別は、最低３個の非共線的（同一直線上にな
い）画素アドレスによって決まる面の方位を考えること
によって行う。最低３個の画素アドレスを必要とする理
由を理解するのに、変換後の４個の隣接画素アドレス
P₁,P₂,P₃及びP₄を示す第８図Ａを考える。これらの３次
元画素アドレスは、それぞれ画素アドレスP₁,P₄間及びP
₃,P₂間の２つの対角線ベクトルV₁及びV₂をそれぞれ画素
アドレスによって定めるのに使用できる。そして、ベク
トルV₁及びV₂の外積をとり、その表面に垂直なベクトル
V_Nを画素アドレスによって定めることができる。このベ
クトルV_Nが目視者側に向いていれば、その入力映像の表
側が見えることになり、これが目視者と反対側に向いて
いれば、その入力映像の裏側が見えることになる。

しかし、第８図Ｂに示すように、この決定は３つの画
素アドレスP₁,P₂及びP₃のみを使用して行うことができ
る。それは、１つの表面（この場合は平面である。）及
び例えば画素アドレスP₁,P₂間P₁,P₃間の必要な２つのベ
クトルV₁,V₂をそれぞれ画素アドレスによって定めるの
にこれで充分であるからである。

まず、４つの画素アドレスP₁,P₂,P₃及びP₄を使用する
場合について、第９〜第11図を参照してもっと詳しく述
べる。第９図Ａは、２次元入力映像（70）の平面図で
（71）は目視者を示す。映像（70）に垂直なベクトルV_N
は、目視者（71）に向いている。第９図Ｂは、映像（7
0）が巻込まれた変換後の映像（70′）を示す。この場
合、例えば映像（70′）の中心から幾分ずれた増分（in
cremental）表面に垂直なベクトルN_N′は目視者（71）
と反対側の方向に向いている。したがって、その増分表
面の裏側が見えることになるが、映像（70′）にその面
の表側が見える増分表面があることに注意されたい。

第10図Ａは、入力映像の１フィールドのラスタにおけ
る３連続水平走査線のサンプルすなわち画素アドレスの
直交配列の一部を示す。変換後に、例えば画素アドレス
P₁をもつサンプルにおける映像の表と裏のどちら側が目
視者に見えるかを決定するため、画素アドレスP₁,P₂,P₃
及びP₄を用いて対角線ベクトルV₁,V₂により平面Ｐを定
める。いま、３次元画素アドレスP₁,P₂,P₃及びP₄の座標
を（x₁,y₁,z₁），（x₂,y₂,z₂），（x₃,y₃,z₃）及び
（x₄,y₄,z₄）とする。ベクトルV₁,V₂の外積を得ること
により、その表面に垂直なベクトルV_Nが定まり、そのベ
クトルV_Nは、入力映像が平坦で視線に垂直であるので、
勿論目視者に向いている。

第10図Ｂは変換後の同じ画素アドレスP₁,P₂,P₃及びP₄
を示し、それらがそれぞれP₁′（x₁′,y₁′,z₁′）,
P₂′（x₂′,y₂′,z₂′）,P₃（x₃′,y₃′,z₃′）及び
P₄′（x₄′,y₄′,z₄′）になったとする。前と同様にベ
クトルV₁′,V₂′が定まり、その外積より、変換後の画
素アドレスP₁′,P₂′,P₃′及びP₄′を含む増分表面に垂
直なベクトルV_N′が定まる。その変換の性質により、垂
直ベクトルV_N′の向く方向が決まる。第11図に、このベ
クトルの４つの例V_N′_１〜V_N′_４を示す。この図から、
V_N′_１とV_N′_２は映像の表側を表示すべきことを示し、
V_N′_４は映像の裏側を表示すべきことを示していること
が分かるであろう。V_N′_３は増分表面の平面が目視者に
向いている場合を示し、この場合は、映像の表と裏のど
ちら側を表示しても構わない。

換言すると、ベクトルV_N′の方向と目視者に対して反
対の方向との間の角度をθとした場合、 90゜＞θ＞270゜のときに映像の裏側を表示すべきであり、その他の場合
に映像の表側を表示すべきである。よって、cosθに対
する式を導くことにより、これは単にＮの符号を調べる
だけで決定できることが分かる。ここに、Ｎ＝（y₄′−y₁′）（x₂′−x₃′） −（x₄′−x₁′）（z₂′−y₃′）その理由は、cosθに対する式の分子がＮであり、その
分母は常に正であるからである。その符号の弁別は、特
に上記のＮに対する式が変換後の画素アドレスから得ら
れる値のみを含むので、第５図の遠近変換装置（33）に
おいて極めて容易に行うことができる。したがって、変
換前の画素アドレスを遠近変換装置（33）に供給する必
要がなく、実際にＺすなわち深さアドレスは用いない。
Ｎが正であれば、 90゜＞θ＞270゜であり、映像の裏側が要求され、Ｎが負であれば、 90゜＜θ＜270゜であり、映像の表側が要求される。

第12図は、必要な弁別を行うための回路の例を示すブ
ロック図である。この回路は、それぞれ２入力と１出力
をもつ４個の減算器（80）〜（83）を有する。減算器
（80）及び（81）の出力は乗算器（84）の各入力に接続
され、減算器（82）及び（83）の出力は乗算器（85）の
各入力に接続される。乗算器（84）及び（85）の各出力
は比較器（86）の各入力に接続され、比較器（86）の出
力は端子（87）に供給される。

各画素において、y₄′とy₁′,x₂′とx₃′,x₄′と
x₁′,y₂′とy₃′の値（大きさと符号）がそれぞれ減算
器（80）〜（83）の各入力に供給されれる。減算器（8
0）〜（83）の出力は各入力の差の値（大きさと符号）
を表わし、これらの出力値は乗算器（84）及び（85）に
より各組において互いに乗算される。比較器（86）は、
２つの乗算出力（これらはそれぞれ上記のＮに対する式
の２つの項に対応する。）を比較してＮが正か負かを弁
別し、表・裏信号を出力端子（87）に供給する。

表・裏信号の使用方法は、希望する効果によって決ま
る。入力映像がただ１つのときは、その映像の裏側は個
々の全画素アドレスにおいて表側と同一である。ただ
し、何らかの変換により映像の裏側が目視者に見えるよ
うになる場合、裏側を表側と区別し、例えば色を変える
か明るさを落とすかして裏側が見えるようにする必要が
あろう。或いは、映像裏側を純粋な黒か白にして示して
もよい。

上述の技法は、特に入力映像が両面像すなわち背中合
せに配された第１及び第２の異なる映像から成る場合に
有用である。この場合、入力映像の裏側の少なくとも一
部が見えるようになるとき、第２の映像から得られる適
当な標本値を対応する第１の映像の標本値の代わりに表
示する。これを達成するためには、各画素アドレスにつ
いて第１又は第２の映像のどちらか適当な標本値が表・
裏信号に応じて選択されるように、両映像を処理する必
要がある。

上述の決定は映像の各画素アドレスに対して行われる
ので、映像の表及び裏側が各フィールド全体にわたって
正確に表示される。

次に３個の画素アドレスP₁,P₂及びP₃を使用する場合
について述べる。第10図Ｃは、第10図Ｂに対応するもの
であるが、画素アドレスP₁,P₂及びP₃が変換後にそれぞ
れP₁′（x₁′,y₁′,z₁′）,P₂′（x₂′,y₂′,z₂′）,
P₃′（x₃′,y₃′,z₃′）になった場合を示す。この場合
も、ベクトルV₁′,V₂′が定まり、その外積より、変換
後の画素アドレスP₁′,P₂′及びP₃′を含む増分表面に
垂直なベクトルV_N′が定まる。４画素アドレスの場合に
ついて述べたように、cosθに対する式を導出すること
により、Ｎの符号を弁別しさえすればよいことが分かる
であろう。ただし、Ｎ＝（y₃′−y₁′）（x₂′−x₁′） −（x₃′−x₁′）（y₂′−y₁′）これが一般に可能なことを第12図について述べたが、実
施例によっては簡略化することができる。第８図Ｂに一
般に対応する第８図Ｃに、Ｘ軸と線P₁′,P₂′,X軸と線P
₁′,P₃′それぞれの間の角度θ_ｈとθ_ｖが示されてい
る。或る実施例においては、これらの角θ_h,θ_ｖをtan
θ_h,tanθ_ｖの形で得ることができる。この場合は次の
２式及びを上記Ｎに対する式と比較することにより、 tanθ_ｈ＞tanθ_ｖならば、Ｎが正で映像の裏側が要求され、逆ならばＮが
負で映像の表側が要求されていることが分かる。

この場合には、第12図の回路の代わりに、tanθ_ｈとt
anθ_ｖの値を比較する１つの比較器（86）を設ければよ
い。

上述においては高鮮明度ビデオシステムに関連して説
明したが、本発明は、デジタル形式で表わされる任意の
ビデオ信号の処理にも同様に適用しうるものである。

また、本発明の実施例を図面について詳細に述べた
が、本発明は、これらの具体例に限らず、特許請求の範
囲に記載した要旨から逸脱することなく種々の変形・変
更が可能である。

【図面の簡単な説明】

第１図は高鮮明度ビデオシステム用特殊効果装置の一部
を示すブロック図、第２図はビデオ信号処理回路の一部
を示すブロック図、第３図は最初平坦な81点のグリッド
が球面上に次第にマッピングされるコンピュータ・シュ
ミレーションを示す図、第４図は最初平坦な映像を次第
に円筒面にマッピングする場合の最初，中間及び最終段
階を示す図、第５図は第２図の回路の詳細を示すブロッ
ク図、第６図及び第７図はそれぞれ第５図の回路の一部
の詳細を示すブロック図、第８図は変換後の４又は３個
の隣接画素アドレスを示す説明図、第９図は変換前及び
変換後の映像を示す平面図、第10図は変換前後の４又は
３個の画素アドレスの関係を示す説明図、第11図は変換
後映像に垂直なベクトルの例を示す説明図、第12図は第
５図回路の一部を構成し本発明を用いるビデオ信号処理
回路の例を示すブロック図である。

Claims

(57)【特許請求の範囲】

【請求項１】表面の映像を示す第１の映像信号と、上記
表面と背合わせの裏面の映像を示す第２の映像信号とか
らなる入力映像信号をメモリに蓄積した後に読み出すこ
とによって、上記入力映像信号に対して３次元的な変換
処理を施して変換後の映像信号を得るビデオ信号処理方
法であって、上記入力映像信号の表面に垂直な第１のベクトルを外積
演算により定義するための、同一直線上にない、少なく
とも３つの画素アドレスを上記入力映像信号について設
定し、上記入力映像信号が上記３次元的な変換処理によ
って変換された後の上記少なくとも３つの画素アドレス
の変換後のアドレスに基いて、上記第１のベクトルを定
義する外積演算方法と同じ方法の外積演算によって、上
記変換後の映像信号の上記変換後の少なくとも３つの画
素アドレスで示される点を含む面に垂直な第２のベクト
ルを求め、上記第２のベクトルが上記第１のベクトルにて示される
目視点側を向いているのか又は上記目視点に対して反対
側に向いているのかを判別し、上記判別結果に基いて、上記第２ベクトルが上記目視点
に向いているときに上記第１の映像信号を上記メモリか
ら読み出して上記変換後の映像信号として表示し、上記
第２のベクトルが上記目視点と反対側に向いているとき
に上記第２の映像信号を上記メモリから読み出して上記
変換後の映像信号として表示することを特徴とするビデ
オ信号処理方法。