JPS61267182A

JPS61267182A - 映像合成方式

Info

Publication number: JPS61267182A
Application number: JP60108125A
Authority: JP
Inventors: Kunihiro Nomura; 訓弘野村; Kuniaki Tabata; 邦晃田畑; Tetsuo Machida; 哲夫町田; Masatoshi Hino; 樋野　匡利
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1985-05-22
Filing date: 1985-05-22
Publication date: 1986-11-26

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔発明の利用分野〕本発明は角度、拡大率を変化させながらビデオカメラで
撮像した風景等の映像と、コンピュータグラフィックス
で作成した静止画像とを合成２表示する映像合成方式に
関する。

〔発明の背景〕

市街地あるいは風光明媚な場所に建物を建設する場合、
周囲の建物、風景等との景観を十分に考慮する必要があ
る。このためには風景をまずビデオカメラで撮像し、コ
ンピュータグラフィックス等で作成した建物のモデルを
ビデオミキサで合成する方法がある。映像を合成する方
法は文献（テレビジョン・画像工学ハンドブック、テレ
ビジョン学会、　１９８２．　Ｐ８０３〜Ｐ８０５）な
どに示されるように２次元データ同士の合成であり、カ
メラの３次元的動きに対して、もう一方の映像が同期し
て３次元的に合成することはできない。

また洋服、ヘアスタイルのデザインも多人数の人物と前
後左右から合成表示すればそれらを設計する上で役に立
つ。このような背景をもとに本発明が生まれた。

〔発明の目的〕

本発明の目的はビデオカメラで撮像した状態に基づいて
、コンピュータグラフィックスで作成した３次元モデル
を変化させ、２種の信号の良好な合成表示を行なう映像
合成方式を提供することにある。

〔発明の概要〕

本発明の基本原理は下記のとおりである。

（１）カメラ撮像開始時、撮像状態をリセットし。

撮像中、カメラの移動量、回転角、拡大／縮小車を撮像
している映像中に挿入して記録する。

（２）再生時、前もってコンピュータグラフィックスで
作成しておいた３次元モデルのグラフィックデータと同
期させてビデオミキサで合成する。この時、カメラの撮
像状態（拡大／縮小率等）を読み取り、グラフィックデ
ータも大きさ、角度等を変化させる。

〔発明の実施例〕

以下、図に従って実施例を説明する。第１図はビデオカ
メラの内部構成である。３次元方向（Ｘ。

Ｙ、Ｚ）の移動量（ＯＸ、ＯＹ、ＯＺ）、Ｘ軸とＹ軸の
なす角度θ、１．Ｙ軸とＺ軸のなす角度θ、。

及びズーム率２．の６種のデータを計測する計測器１〜
６．それらのデータを読み取り、レジスタ１１〜１６に
書き込むデータ読み取り部７とデータ書き込み部８があ
る。プロセッサ９は命令をデータ読み取り部７．データ
書き込み部８．録画制御部１０に発する。現在のビデオ
信号は走査線５２５本の内、４８５本が映像部分、残り
４０本が垂直帰線部分である。録画制御部１０は４８５
本の映像部分に撮像部１８で撮像した映像を、４０本の
垂直帰線部分にレジスタ１１〜１６の内容をＤＡ変換器
１７を通したデータを録画部１９に録画するよう制御す
る。垂直帰線部分へのコードデータの記録方式について
は、例えば文字放送の技術（画像電子学会誌、第１２巻
第４号、ＰＰ３１８〜３２６．１９８３）が応用できる
。

第２図はカメラで撮像した映像とコンピュータグラフィ
ックスで作成した３次元モデルのグラフィックデータを
合成・表示するハードウェア構成図で、ある。再生装置
２３は例えばカメラで撮像したビデオテープを再生する
ＶＴＲである。これに重畳するグラフィックデータは、
プロセッサ２０によって前もって作成された３次元モデ
ルである。

これはデータファイル２２に格納しておく。オペレータ
は、再生装置２３の初期画面とグラフィックデータをビ
デオミキサ２８で合成、ディスプレイ２９で表示するの
を見ながらカメラの置かれた３次元空間上のどの位置に
グラフィックデータを配置するかを決めキーボード２１
からプロセッサ２０に入力するプロセッサ２０はグラフ
ィックデータを２次元平面上に投影し、フレームメモリ
２４にデータを送る。

さて、再生装置２３とフレームメモリ２４より出力され
る信号は同一規格（電圧レベル、周波数。

同期信号の有無）とは限らないので、ビデオミキサ２８
の入力信号規格となるようにそれぞれ信号変換器２６．
２７で変換する。また２種の信号を同期させて合成する
ため、同期信号発生器２５は、再生装置２３．フレーム
メモリ２４．ビデオミキサ２８に同期信号３０を入力す
る。なおプロセッサ２０．キーボード２１．データファ
イル２２゜再生装置１２３はシステムパス２００で接続
する。

初期画面でグラフィックデータの３次元座標を決めれば
、プロセッサ２０は再生装置２３を起動させ、垂直帰線
部分に記録しである７１Ｘ、ΔＹ。

ΔＺ、θ１２．θア、、Ｚ、を読み取る。カメラの撮像
状態に基づき、グラフィックデータの２次元平面への新
たな投影を計算し、フレームメモリ２４に書く。３次元
データの視点変更による２次元平面への投影法は公知で
あるのでここでは省略する。

このようにカメラで撮像した映像に同期して、グラフィ
ックデータも移動、回転、拡大、縮小する。グラフィッ
クデータに対して、初期画面のカメラ位置を３次元座標
系の原点とし、以後カメラの位置ｘ、ｙ、ｚと回転角度
に基づいて、視点位置投影面の法線ベクトルを決定する
。第３図は３次元座標系におけるカメラ３１及びグラフ
ィックデータ３２である。

次に２種類の信号を合成するビデオミキサの構成・機能
について述べる。第４図はビデオミキサの内部構成のブ
ロック図である。ラインメモリ書き込み制御部４１．４
２はそれぞれ再生装置２３゜フレームメモリ２４より出
力された信号を同期信号３０に基づいて、ＡＤ変換器４
３．４４を経由してラインメモリ４５．４６に書き込む
制御を行なう。２種の信号を合成する制御を行なうのが
フレームメモリ書き込み制御部４７である。カメラ３１
で撮像した信号のｉ、ｊ座標の出力値をａ。

（ｉｔ　ｊ）ｔグラフィックデータの信号のｌｔＪ座標
の出方値をａｚ（＼？Ｊ）とすると下記の規則により、
フレームメモリ４８にデータを書く、なおフレームメモ
リ４８のｌｙＪ座標の信号値をｆ　（ｘ＊　Ｊ）とする
。

（ｉ）ａｔ（ｘ、ｊ）≧θならばｆ（ｉ、ｊ）＝８２（
ｉｌｊ）（ｉ）ａ、（ｉ、ｊ）＜θならばｆ（ｉ−ｊ）
＝ａｔ（ｉ−ｊ）ここでθは閾値であり、グラフィック
スデータを作成する際、表示したい部分をθより大きい
値で、背景をθより小さい値に設定し、データファイル
２２に格納しておく、フレームメモリ４８に貯えた合成
結果を、ＤＡ変換器４９を介し、ディスプレイ２９に表
示する。第５図はカメラ３１で撮像した映像と、コンピ
ュータグラフィックスで作成した３次元モデル、及びそ
の合成結果である。

第６図はカメラ３１で撮像する時のプロセッサ９の処理
フローを示す。

６１：レジスタ１１〜１６をφでクリアする。

６２：撮像開始と共に記録媒介（テープ等）をスタート
させ、計測器１〜６を起動する。

６３：計測器１〜６の値を読み取る。

６４：前回との差を計算する。ＣＡＸ、　　ΔＹ。

Δ２．θ１．θｙ＊ｔＺ＋ａ）６５：上記の値をレジスタ１１〜１６に書き込む。

６６：映像信号を映像部分に録画する。

６７：レジスタ１１〜１６の値を垂直帰線部に記録する
。

６８：撮像終了でなければ６３へ戻る。

第７図は上記で撮像した映像とコンピュータグラフィッ
クスで作成した３次元モデルのデータを合成・表示する
処理フローを示す。

７１：上記で撮像した映像の初期画面（第１フレーム）
を静止表示する。

７２：コンピュータグラフィックスで作成した３次元モ
デルのデータをデータファイル２２より読み出す。

７３：これらをビデオミキサ２８でし、表示をディスプ
レイ２９で見ながらキーボード２１で操作し、データの
初期位置を設定する。この座標はカメラ３１の３次元空
間座標系（第３図）とし、以後グラフィックデータはこ
の座標系で扱う。

７４：映像の動画再生を開始する。

７５：垂直帰線部分に記録しであるΔＸ、ΔＹ。

ΔＺ、θ□、θｙｗｍＩ　を読み取る。

７６：カメラ位置、及び方向を計算し、視点変換処理を
行なう、処理結果がグラフィックデータの２次元平面上
への投影である。

７７：投影結果をフレームメモリ２４に書き込む。

７８：両者の信号をビデオミキサ２８で合成する。

７９：再生が続けば７５へ。

以上が一実施例である１次に変形例、応用例について説
明する。上記実施例ではビデオミキサ２８内の処理はデ
ィジタルとした。しかしアナログ信号同士でレベルの比
較をすればＡＤ変換器４３．４４．ラインメモリ４５．
４６は不要になる。

また上記実施例ではカメラ３１で撮像した映像に重畳す
るデータはコンビュニタグラフィックスで作成する例を
示した。この他写真や画像、図面等をドラムスキャナ等
の画像入力手段でデータを作成しても上記実施例は適用
可能である。ただしこの場合データは２次元であること
は言うまでもない。

さらに上記実施例ではグラフィックデータの濃度値が０
以上であればカメラ３１で撮像した領域上に優先して合
成することを述べた。しかしカメラ３１が回転した場合
は、グラフィックデータが隠れて表示すべきではない領
域が存在する。カメラ３１で撮像した映像から、３次元
座標を算出することは不可能であるので、データタブレ
ット。

ライトペン、マウス等のデバイスを用い、表示の上下関
係を逆転させる領域を指定する方法がある。

ディスプレイ２９上で、本来隠れるべきグラフィックデ
ータの領域を指定すればプロセッサ２０はビデオミキサ
に合成方法をその領域だけカメラ３１で撮像した映像が
表示されるように命令を出せばよい。

さらにまた実施例ではカメラ３１の変化量をプロセッサ
９が自動的にレジスタ１１〜１６に記録した。しかし、
人物をカメラ３１で撮像した映像とコンピュータグラフ
ィックスで作成した洋服、ヘアスタイル等を合成する場
合、カメラ３１を回転して撮像するより人物に回転させ
、カメラ３１は固定しておいた方がよい場合もある。こ
の時はアニュマルでレジスタ１１〜１６にその値を設定
するような機能をカメラ３１に付加すればよい。

〔発明の効果〕

本発明によれば３次元データをカメラで撮像した映像に
カメラの同期に合わせて移動２回転、拡大、縮小させて
合成・表示することができるので、良好な映像合成を行
なうことが出来る。

【図面の簡単な説明】

第１図は本発明におけるカメラの構成図、第２図は本発
明による映像を合成・表示するハードウェアの構成図、
第３図（ａ）（ｂ）（ｃ）（ｄ）は本発明におけるカメ
ラの空間座標系を示す説明図、第４図は本発明における
ビデオミキサの構成図、第５図（ａ）（ｂＨｃ）（ｄ）
は、本発明におけるカメラの映像とコンピュータグラフ
ィックスの画像及びその合成結果を示す図である。第６
図は上記カメラ撮像時の処理フロー図、第７図は上記合
成の処理フロー図である。１〜６・・・計測器、７・・・データ読み取り部、８・
・・データ書き込み部、９・・・プロセッサ、１０・・
・録画制御部、１１〜１６・・・レジスタ、１７・・・
ＤＡ変換器。１８・・・撮像部、１９・・・録画部、２０・・・プロ
セッサ、２１・・・キーボード、２２・・・データファ
イル、２３・・・再生装置、２４・・・フレームメモリ
、２５・・・同期信号発生器、２６．２７・・・信号変
換器、２８・・・ビデオミキサ、２９・・・ディスプレ
イ、２００・・・システムバス、３０・・・同期信号、
３１・・・カメラ、３２ＸＺ　　図百　３　　図（又− Ｊ（ｂ）　　　　　　　　　　　　Ｃｃ）　　　　　　　
　　　　（ｄ）第　　４　　図：、Ｊ側期病３ρ 冨　５　図（ｂ）（ｒＬ）冨　６　　図ス　７　図

Claims

【特許請求の範囲】

１、撮像状態を記録する映像録画機で第１の映像を録画
する手段と、３次元的図形である第２の映像を発生する
手段と上記録画した第１の映像と上記第２の映像とを同
期させて合成する手段を有することを特徴とする映像合
成方式。