JP4423416B2

JP4423416B2 - 映像合成処理システム

Info

Publication number: JP4423416B2
Application number: JP2003336606A
Authority: JP
Inventors: 治森川
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2003-09-29
Filing date: 2003-09-29
Publication date: 2010-03-03
Anticipated expiration: 2019-11-22
Also published as: JP2004048803A

Description

本発明は、受信した複数の映像データを映像素材とするとともに受信者である利用者の側で作成された映像素材の画像データとを合わせて映像を合成して表示することができる映像合成処理システムに関する。

従来の映像合成方法は、ディスプレーに表示する速度と同じスピードタイミングで映像信号を入力する「ビデオ信号方式」と、画像メモリ（フレームメモリ）に書き込まれたデータをディスプレーの描画速度に従って読み出す「ビットマップディスプレー方式」に分類できる。

前者の場合、入力映像で同期及び描画速度を同一にしなければならず、前者は手数を要していた。後者の方法は、複数のビデオ信号方式の映像データ（同期、非同期共に）を合成したり、ビデオ信号方式の映像データとビットマップ型の映像データの合成を行う場合、画像データをデジタル化して、１枚のビットマップ型の映像データを画像メモリに作成し、それをディスプレーに表示する方式が主であった。

後者の方法は、１画面分をメモリに取り込んでから、画面を合成するため、画面合成が得られるまでに時間を要していた。垂直帰線ブランキング時間内に処理が終了しない限り、合成映像に入力映像の更新内容を反映することができない。たとえ、垂直帰線ブランキング時間内に合成画面の処理が終了したとしても、最低で１フレーム分の時間遅れ、ＮＴＳＣの映像信号では１／６０秒の時間遅れが生じることになる。

例えば、複数相手の映像、自分の映像及び掲示板の合成映像を基に会議を行うテレビ会議においては、特に相手所在地が遠隔地の場合、テレビ画面映像の合成画面に時間ずれが生じ、会議が円滑に進行しないという問題があった。又、垂直帰線時間内で１フレーム分の合成画像を確実に演算するためには高速演算処理をする大型コンピュータが必要であった。
特開平１０−２３４０２２号公報

このように、映像合成処理には過大な演算処理の負荷がかかるので、従来においては、複数の映像素材を合成する映像合成は、主として映像信号を送出する側で行っており、受信側では映像合成を行うことせずに、送信側で映像合成された映像信号を表示するのみであった。このため、例えば、演劇の分野において特定の配役の練習に利用したり、鑑賞するだけでなく、代役をすることにより演劇を楽しむため、受信側において、利用者が例えば自己画像等を、受信した映像信号を映像素材のひとつとして利用して、映像合成して表示したいと希望しても、それを行うことはできないという問題点があった。本発明は、このような問題点を解決するためになされたものであり、本発明の目的は、放送されてきた映像素材を利用できると共に、利用者の作成した映像素材の映像信号を利用して利用者の要求する合成画像を得ることができる映像合成処理システムを提供することにある。

上記問題を解決するために、本発明による映像合成処理システムは、複数の映像素材の映像信号と前記映像素材の合成のための合成制御データおよび映像素材を合成する際の構図を設定する標準配置位置を決定する距離関係情報とをパケット信号に構成して、これらのパケット信号のデータを放送する送信装置と、前記送信装置から放送されたパケット信号のデータを受信し、パケット信号から複数の素材映像の映像信号と合成制御データおよび距離関係情報を得る受信装置と、利用者側において映像素材を作成する撮影装置と、前記合成制御データから合成制御命令データを作成し、前記受信装置から得られた複数の映像素材の映像信号および利用者側において作成された映像素材の映像信号を含む複数の映像素材から、合成制御データおよび距離関係情報に基づき、合成映像上の標準配置位置を決定して、各映像素材を合成制御命令データにより画像合成して映像信号を作成する映像合成処理装置と、複数の映像素材から画像合成して作成された映像信号を表示する表示装置とを備えることを特徴とするものである。

本発明の映像合成処理システムによれば、従来のように、複数の素材の映像を撮影し、それらの映像信号を加工し、合成映像を作成してから放送する代わりに、送信装置が、複数の映像素材の映像信号と前記映像素材の合成のための合成制御データおよび映像素材を合成する際の構図を設定する標準配置位置を決定する距離関係情報とをパケット信号に構成して、これらのパケット信号のデータを放送するので、受信側では、これらのデータを基にして、映像合成処理装置を使用して合成映像を得る。その場合に、撮影装置が、利用者側において映像素材を作成するので、その映像素材を、送信装置から放送されてくるデータの複数の映像素材の映像信号と同様に扱い、複数の映像素材および利用者側において作成された映像素材を含む複数の映像素材の映像信号から、合成制御データおよび距離関係情報に基づき、合成映像上の標準配置位置を決定して、各映像素材を合成制御命令データにより画像合成して映像信号を作成する。表示装置が、複数の映像素材から画像合成して作成された映像信号を表示する。

このように、本発明の映像合成処理システムによれば、映像素材を自由に選択した合成画像を得ることができるので、送信されてきた映像素材を利用して、利用者の要求に対応した合成映像信号を作成して表示することのできる映像合成処理システムが提供される。また、最終的な合成映像を作り出すことが想定された複数の素材映像の受信信号の内、任意の素材映像信号を、利用者が用意する素材映像信号に切り換えて利用者の要求に対応した合成映像信号を作成して表示することのできる映像合成処理システムが提供される。

図１は本発明の映像合成処理システムで用いる映像合成演算処理装置の一実施例を示している。図中１は装置全体を表し、１Ａ，１Ｂ，１Ｃは映像信号入力端子、２Ａ，２Ｂ，２Ｃは書き込み用ラインバッファ、３Ａ，３Ｂ，３Ｃはフレームメモリ、４Ａ，４Ｂ，４Ｃは読み取り用ラインバッファを表わしている。これらは合成映像を作成するに必要な映像信号に対応して複数組設けられている。図１の例では映像合成する映像信号はＡ，Ｂ，Ｃの３個の場合を示している。

１Ｋは合成制御命令データの入力端子、５は複数の映像データを合成制御命令データの指定する方法により合成演算を行う演算部、６は演算結果用のラインバッファ、７は合成映像出力用のラインバッファ、８は制御メモリ、９は制御メモリ用ラインバッファ、１０は各バッファ、メモリの書き込み、読み取りタイミング信号（Ｃ２〜Ｃ６）を発生するコントローラを表わしている。

書き込み用ラインバッファ２Ａ，２Ｂ，２Ｃ、読み取り用ラインバッファ４Ａ，４Ｂ，４Ｃ、演算結果用のラインバッファ６、合成映像出力用のラインバッファ７、制御メモリ用ラインバッファ９はそれぞれＦＩＦＯ構成となっている。

細部を説明する前に、全体的なシステム構成について説明する。図２は複数の映像信号を受信し、上記の装置を使用して映像合成した後、合成映像信号を実時間で出力し、表示装置に合成映像を表示するシステム例を模式的に示したものである。図２中、２０Ａ，２０Ｂ，２０Ｃは、カメラを表し、２１Ａ，２１Ｂ，２１Ｃはアナログ・デジタル変換部、２５はデジタル・アナログ変換器、２６は同期信号付加回路、２７は表示装置、２７ａは合成映像を表示する表示画面を表している。

２２Ｂ，２２Ｃはキー信号発生装置、２３Ｂ，２３Ｃはアナログ・デジタル変換部、２４は映像信号Ａ，Ｂ，Ｃの映像を合成する演算方法を指定する合成制御命令データＫを出力する合成制御命令データ作成装置を表している。なお、本明細書において同じ参照符号で表すものは同じものを表している。

コンポジット映像信号がアナログ信号の場合、図２のアナログ・デジタル変換部２１Ａ，２１Ｂ，２１Ｃによりコンポジット信号はデジタル信号に変換される。図３はこの動作を説明する図で、（ａ）はアナログ・デジタル変換部２１Ａ，２１Ｂ，２１Ｃの構成例を、（ｂ）は装置に入力される出力信号を示している。

図３（ａ）中、３１は水平同期信号Ｈ、垂直同期信号Ｖを取り出す同期信号分離回路、３２はアナログ信号のサンプル時点における画素データ（Ｄ１〜Ｄ８）を出力するアナログ・デジタル変換器、３３は書き込み信号Ｗとコマンド／データ切換信号ＣＳとを出力するパルス信号発生器、３４は１水平走査線（以下ライン）における映像信号の描画開始時点の映像信号アドレス部（ＸＸ，ＹＹ，ＬＬ）を作成するためのアドレス発生器を表している。

出力信号のコマンド／データＤはコマンドである映像信号アドレス部（ＸＸ，ＹＹ，ＬＬ）と映像データ（ＤＡＴＡ）とを含むパケット単位で構成される。ＸＸ（８ビット）は映像データが出現する画素番号サンプル番号（画素番号）を、ＹＹ（８ビット）はライン番号、ＬＬ（８ビット）はサンプル数（画素数）を表している。書き込み信号ＷはコマンドのＸＸ，ＹＹ，ＬＬ、映像データ（ＤＡＴＡ）のサンプルデータ（画素データ、８ビット）に対応して、読み取り又は書き込みするタイミング信号である。ＣＳはＨレベルがコマンド信号期間であることを示すコマンド／データ切換信号である。

なお、図３（ｂ）のコンポジット信号の場合は、描画開始の横方向の位置は左端に固定され（ＸＸ＝「０」）、さらに画素数ＬＬも一定であるため、アドレス発生器３４はライン番号ＹＹを発生するカウンタ回路とＸＸ，ＬＬの値を保持したメモリ回路との組み合わせで実現できる。

デジタル映像データ（ＤＡＴＡ）の１ライン分をフレームメモリ３に書き込むまでの動作を図４，図５（ａ）〜（ｃ），図６を参照して説明する。図４は、書き込み用ラインバッファ２，フレームメモリ３の動作を説明する概略図で、図３の信号を取り入れた場合における一例である。４１，４３はメモリ、４２，４４は書き込みアドレス制御手段、４５は読み取りアドレス制御手段を表している。

書き込み用ラインバッファ２に書き込まれたデータ（Ｄ１〜Ｄ８）はコマンド／データ切換信号ＣＳのＨレベル期間、書き込み信号Ｗに同期してコマンドは書き込みアドレス制御手段４２に書き込まれる。コマンド／データ切換信号ＣＳのＬレベル期間、映像信号の画素データ（ＤＡＴＡ）は書き込み信号Ｗに同期して書き込み用ラインバッファ２のメモリ４１に順次書き込まれる。

書き込みアドレス制御手段４２内のカウンタに記憶された「ＬＬ」は１画素データが書き込まれる毎に減算される。書き込み用ラインバッファ２の書き込み終了をカウンタ値「０」で検出すると、以後に続くブランキング期間に相当する所定期間内でラインデータ全てをフレームメモリ３に転送する。上記所定期間の時点において、書き込みアドレス制御手段４４は、転送されてきたパケットデータのアドレス部ＸＸ，ＹＹ，ＬＬに基づき、書き込み用ラインバッファ２のメモリ４１からＬＬ画素分の映像データをフレームメモリ３のラインアドレス＃ＹＹのＸＸ番目以降に転送する。

図５は、コンポジット映像信号Ａがノン・インタレース走査、合成映像信号Ｆがインタレース走査である場合のバッファ，フレームの書き込み、読み取り動作を示したタイムチャートである。図中（ａ）は、入力映像信号ＡのラインＹ，Ｙ＋１のラインデータＡＹ，ＡＹ＋１が入力された状態を示している。書き込み用ラインバッファ２Ａに書き込まれたラインデータＡＹは水平帰線ブランキング期間内の時刻ｔ２においてフレームメモリ３Ａのラインアドレス＃Ｙの記憶領域に書き込まれる（（ｂ），（ｃ）参照）。なお、図５中で、ハッチングしたものは記録された映像データが一括して転送されることを、（ｃ）では次の映像データが転送されて記録内容が更新するまで、（ｅ），（ｆ），（ｇ）では１ライン期間映像データが記憶保持されていることを表している。

図６は、映像合成する映像データＡ，Ｂ，Ｃが非同期で入力する状態でのフレームメモリにおける映像データの記録更新状態を模式的に説明する図である。映像信号Ａはノンインタレース、Ｂ，Ｃはインタレース走査の映像信号である場合である。なお、図５，６中のラインデータにダッシュ（′）を付加したものはｔ時刻（又は図５中の経過時刻）で記憶データが前フレームの映像データであることを表している。例えば、ＡＹは最新データ、ＡＹ＋２′は後フレームのデータを表している。

映像データＡ，Ｂ，Ｃは非同期で順次書き込み用ラインバッファ２Ａ，２Ｂ，２Ｃに書き込まれる（図６（ａ））。各書き込み用ラインバッファ２Ａ，２Ｂ，２Ｃに書き込まれた映像信号Ａ，Ｂ，Ｃのラインデータは次の水平帰線期間にフレームメモリ３Ａ，３Ｂ，３Ｃのラインアドレスのメモリ領域に書き込まれ、ラインデータを更新する。（図６（ｂ），（ｃ）参照）

次に、フレームメモリ３Ａ，３Ｂ，３Ｃに記憶された映像データを基に映像合成する方法を説明する。キー信号発生装置２２Ｂ，２２Ｃは前景映像信号を使用するか、背景映像信号を使用するかのキー信号を発生し、アナログ・デジタル変換部２３Ｂ，２３Ｃで該キー信号が前景映像信号を選択する画素に対応する合成制御データを「１」に、そうでない画素に対応する合成制御データを「０」となるように該キー信号を画素単位でデジタル化し、アドレス部を付加して、合成制御命令データ作成装置２４に信号を転送する。

キー信号はクロマキー信号処理、ルミナンスキー信号処理，距離情報を利用したＺキー信号処理や、背景画像との差分を用いた信号処理を行う公知のキー信号発生装置により作成できる。ただし、図２の例では、合成制御命令データは前景映像信号Ｂ，Ｃのキー信号だけで決定されるため、背景映像信号Ａのキー信号は不要であり、省略している。（詳しくは後述する。）

合成制御命令データ作成装置２４はコンピュータで構成され、前景映像信号のキー信号と距離関係情報から合成制御命令データＫを生成し、合成画面の画素の演算方法を指定する命令として映像合成処理装置１中の制御メモリ８の合成画面の画素に対応した所定領域に書き込む。合成制御命令データＫは映像合成の演算を行うに際し、コンピュータの機械語に相当する機能を有するデータである。

制御メモリ８は、フレームメモリ３Ａ，３Ｂ，３Ｃの画素記憶領域に対応して、メモリの領域が決められている。制御メモリ８の行，列アドレスは、映像信号のラインアドレス，サンプルデータ番号（画素データ番号）に対応させている。つまり、制御メモリに記憶される合成制御命令データはフレームメモリ３Ａ，３Ｂ，３Ｃの画素に対応させて記録され、読み出される。

フレームメモリ３Ａ，３Ｂ，３Ｃの画素に対応させて合成制御命令データが読み出されることにより、映像合成の演算処理手順が制御メモリ８に記憶されていることになる。制御メモリ８の記憶セルを８ビットとすると、制御メモリ８は２５６種類の合成制御命令データ（演算命令）Ｋを画素単位で記憶することができる。合成制御命令データ作成装置２４は、そのモニタ画面により制御メモリ８に記憶された合成制御命令データを確認、修正できる。

コントローラ１０の読み出しタイミングＣ２のタイミング（図５（ｄ）参照）に同期してフレームメモリ３Ａ，３Ｂ，３Ｃの同一ラインアドレスのラインデータは各々のフレームメモリから読み取り用ラインバッファ４Ａ，４Ｂ，４Ｃにそれぞれ転送される（図５、時刻ｔ３参照）。

図５の（ｅ）映像データＡは各映像信号の映像データを代表して示している。フレームメモリ３Ａのラインアドレス・・・，＃Ｙ−２，＃Ｙ，＃Ｙ＋２，・・・のラインデータ・・・，Ａ_Ｙ−２，Ａ_Ｙ，Ａ_Ｙ＋２′，Ａ_Ｙ＋４′，・・・は１ラインデータ毎に読み取られ、タイミングＣ２に同期して順次読み取り用ラインバッファ４Ａに書き込まれる。ラインＹ＋４のラインデータはこの時点では未更新なので、前走査のラインデータＡ_Ｙ＋４′を読み取る。図６の例で、時刻ｔでフレームメモリ３Ａ，３Ｂ，３Ｃのラインアドレス＃３のラインデータを読み取り用ラインバッファ３Ａ，３Ｂ，３Ｃにそれぞれ読み取るタイミングの場合では、ラインデータＡ３′，Ｂ３，Ｃ３が各読み取り用バッファにそれぞれ転送される。

一方、合成制御命令データＫも、読み取り信号Ｃ２に対応して、各フレームメモリの読み取るラインアドレスに対応した行アドレスの１ライン分が制御メモリ８から読み出され、制御メモリ用ラインバッファ９に書き込まれる。読み取り用ラインバッファ４Ａ，４Ｂ，４Ｃ、制御メモリ用ラインバッファ９はそれぞれ、コンピュータのデータキャッシュメモリ、命令キャッシュメモリの機能を有する。

フレームメモリ３Ａ，３Ｂ，３Ｃの画素に対応する映像データ及び合成制御命令データは読み取り用ラインバッファ４Ａ，４Ｂ，４Ｃ、制御メモリ用ラインバッファ９からコントローラのタイミングパルスに同期して読み出され演算部５に取り込まれる。演算部５において、合成制御命令データが指定する演算方法により画素毎に合成映像が演算され、画素毎に、コントローラ１０のタイミングに同期して順次演算結果用のラインバッファ６に転送される。

このようにして、１ライン分の合成映像が画素単位で演算され、演算結果用のラインバッファ６に書き込まれると、演算結果用のラインバッファ７から１ライン分の合成映像データが、合成映像信号出力用のラインバッファ７に転送される。表示装置２７の描画速度と同一速度で、コントローラ１０は合成映像信号を画素単位で合成映像信号出力用のラインバッファ７から外部のＤ／Ａ変換器２５に出力する。合成映像信号は、外部のＤ／Ａ変換器２５でアナログ量に変換され、同期信号付加回路２６で水平同期信号、垂直同期信号等の信号が付加され表示映像信号として表示装置２７に入力され、表示画面２７ａに描画される。

演算処理は時刻ｔ４から時刻ｔ５の間に終了すれば良く、この演算は１ライン分について画素毎に独立に処理できるので、演算装置を複数個用いることにより、演算の実質的高速化が容易に可能となる。

図７は、上記画素単位の演算処理を高速にするために３個の演算単位でパイプライン並列演算処理をした一実施例である。５１，５５は１画素分のデータを格納するレジスタ、５２，５４は１画素分のデータを記憶するデータメモリである。５６は制御メモリを画素単位の合成制御命令データＫを記憶するレジスタ、５７は合成制御命令データＫを記憶するメモリを表している。

レジスタ５１で直列３画素データを並列に変換し各演算単位５３に入力し、レジスタ５５は演算結果の並列画素データを入力された順に直列に変換し演算結果用のラインバッファ６に出力する。この例では３倍の高速演算処理ができる。ｎ個の演算単位を使用するとｎ倍の高速演算処理ができる。

図２のシステム例では、入力映像信号をインタレース（映像信号Ａ）、ノン・インタレース走査信号（映像信号Ｂ，Ｃ）で、合成映像出力信号をノン・インタレース走査信号で説明したが（図５，図６）、これらは、フレームメモリ４３の書き込みアドレス制御手段４４、読み取りアドレス制御手段４５のアドレス制御により、フレームメモリ４３にアドレスを書き込み、フレームメモリ４３からアドレスを読み取ることで対応できることは明らかである。

すなわち、１ライン毎のパケットの値が、インタレース走査信号では［１，１，・・・・］，［１，３，・・・・］，［１，５，・・・・］なので、フレームメモリのラインアドレス＃１，＃３，＃５，・・・の記憶領域に、ノン・インタレース走査信号では［１，１，・・・・］，［１，２，・・・・］，［１，３，・・・・］なので、フレームメモリのラインアドレス＃１，＃２，＃３，・・・の記憶領域にそれぞれ書き込まれる。また、合成映像出力信号をノン・インタレース走査信号とするならば、読み取りアドレス制御手段４５により、フレームメモリのラインアドレス＃１，＃２，＃３，・・・に記憶されたラインデータを読み取ればよい。

図２では、入力映像信号をカメラ撮影信号によるアナログ・コンポジット映像信号として説明したが、テレビ撮影信号，衛星放送の映像信号でも、またデジタル・コンポジット映像信号であっても、さらにコンピュータグラフィック（ＣＧ）信号入力でも映像合成は可能である。これらの信号はアナログ・デジタル変換部２１Ａ，２１Ｂ，２１Ｃでパケットデータ作成を調整することにより対応できる。

図８は、合成映像の作成例を示している。この例は、映像信号Ａに背景映像が、映像信号Ｂに自動車の映像が、映像信号Ｃに人物の映像が与えられ、合成映像の合成制御命令データが映像信号Ａ，Ｂ，Ｃだけをそれぞれ選択する命令データＫＡ，ＫＢ，ＫＣである場合の例である。映像信号Ａ，Ｂは合成映像信号Ｆと同じ画素数の映像信号であり、映像信号Ｃはそれらより小さい画素数の映像信号とする例である。映像信号Ｃは合成画面の画素位置に対応したフレームバッファの所定記憶領域に書き込まれる。書き込みを行わない部分（映像信号Ｃの図の黒い部分）は最終的に使用されることがないので、どのような値でも構わない。

合成制御命令データ作成装置２４は、これらの入力映像信号Ａ，Ｂ，Ｃの画像のいずれを使用するか否かの合成制御データＡｓ，Ｂｓ，Ｃｓを基に、映像信号Ａ，Ｂ，Ｃだけを選択する合成制御命令データＫＡ，ＫＢ，ＫＣを作成し、制御メモリ８中の合成画面の画素に対応する所定領域に書き込む。

例えば、図２の各映像信号Ａ，Ｂ，Ｃの例で説明する。この例では、合成画像上で各映像信号を選択する基準は、視聴者に近い標準距離の映像信号を優先、つまり標準距離の逆順位で選択するとする。合成映像上での標準距離は、背景映像信号Ａ＞前景映像信号Ｂ＞前景映像信号Ｃであるので、合成制御命令データＫの合成画面の画素（ｘ，ｙ）に対する命令Ｋ（ｘ，ｙ）は、合成制御データＢｓ，Ｃｓに対して以下の値（命令コード，８ビット）が割り当てられる。
Ｃｓ（ｘ，ｙ）＝「１」のとき、
映像信号Ｃを選択する命令ＫＣ、
Ｃｓ（ｘ，ｙ）＝「０」かつＢｓ（ｘ，ｙ）＝「１」のとき、
映像信号Ｂを選択する命令ＫＢ、
Ｃｓ（ｘ，ｙ）＝「０」かつＢｓ（ｘ，ｙ）＝「０」のとき、
映像信号Ａを選択する命令ＫＡ、
このとき、映像信号Ａの選択は不要なので、映像信号Ａのキー信号は省略できる。

合成制御命令データＫＡ，ＫＢ，ＫＣは合成制御命令データ作成装置２４のモニタ画面に図８のように映像信号と関連させて表示することができる。背景映像信号Ａの地点に、映像信号Ｂの自動車の指定した１台と、映像信号Ｃの人物の中の指定した１人がいるような合成映像Ｆが得られ、表示装置２７に描画される。

複数の画像データは合成映像を作り出す時点で、失う訳ではない。例えば、合成映像には使われないある物体の後方に隠れる部分の映像も、フレームメモリに保存されている。この性質を積極的に利用して映像情報を送受信することにより、伝送する場合に必要な情報量を大幅に低下させることも可能である。例えば、ある風景に自動車があり、その手前に人物が動いている映像があるとすると、これを、映像の背景、自動車の映像、人物の映像としてそれぞれ独立した映像として送信し、受信側で、それらを組み合わせて映像を再生する。

動きの速い自動車は、例えば秒６０コマで、背景は秒５コマで送ることもできる。映像合成画面の表示方式では、自動車の移動によって、一旦は自動車の後ろになった背景画面が、自動車の通過により再表示される時点で、再送信する必要はない。それは合成映像で一旦は表示されなくなった背景画像は失ったのではなく、合成表示されなかっただけで、画像メモリ（フレームメモリ）に残っているからである。

同様に、時々刻々書き換えられるそれぞれの画像メモリとは無関係に、その瞬間の複数の映像データを用いて、合成映像データを作成し、表示することもできる。例えば、上記の背景の秒５コマ、人物の秒１５コマ、自動車の秒６０コマの合成映像が、ディスプレーの性能に応じた読み出し速度、例えば、秒７０コマで表示することも問題なくできる。

図９はこれら複数の素材の映像を撮影し、それらの映像信号を加工し、合成映像を作成してから放送する代わりに、素材の映像信号と合成制御命令データ又は合成制御データを作成し、これらのデータを放送し、受信側では、これらのデータを基に映像合成処理装置１を使用して合成映像を得て、受信側の表示装置の描画速度で実時間で出力するシステム構成例を模式的に示している。図９（ａ）のシステムは、放送局側で作成された素材映像信号、合成制御命令データを送信し、受信側で合成映像を作成するシステム構成であり、図９（ｂ）のシステムは、放送局側で作成された素材映像信号、合成制御データを送信し、受信側において受信した合成制御データに基づいて合成制御命令データを作成して、合成映像を作成するシステム構成の例である。

図中、６０は合成制御命令データ作成装置、６１は送信パケット作成部、６２は送信装置、６３は受信装置を表している。６０Ｓは合成制御データ作成装置、６０Ｒは合成制御命令データ作成装置を表している。なお、図９（ａ），（ｂ）の例では、キー信号発生装置、アナログ・デジタル変換部に相当する装置は、合成制御命令データ作成装置６０，合成制御データ作成装置６０Ｓ内に組みこまれている。

素材映像信号Ａ，Ｂ，Ｃは、図９（ａ）の例ではそれぞれカメラ２０Ａ，２０Ｂ，２０Ｃにより撮影された背景，車，人物の映像信号である。合成制御命令データ作成装置６０は撮影された各映像画面をもとに画素毎に合成制御命令データＫを作成する。映像信号Ａ，Ｂ，Ｃ、合成制御命令データＫはそれぞれに最適なデータ圧縮・加工を施した後、送信パケット作成部６１によりパケット信号に構成されて、送信される。

図９（ｂ）の合成制御データ作成装置６０Ｓは、映像信号Ａ，Ｂ，Ｃから例えば各種キー処理により、合成制御データを作成する装置である。図２，図９の例において、厳密にはキー信号がそのまま合成制御データに対応せず、距離関係情報（ＬＡ，ＬＢ，ＬＣ又はＬＡ：ＬＢ：ＬＣ）から合成映像上での標準配置位置（視聴者が位置補正せずに見る位置）が決定されたものとなっている。これは、２値化してカメラマン（撮影者）が意図した構図になるように画面位置（ｘ，ｙ）を標準位置に設定するからである。

距離関係情報を合成制御データ作成装置６０Ｓに入力する方法としては、例えば、カメラマン（撮影者）が直接その値を入力する方法、カメラ毎に距離計測装置を設置して、その計測結果を自動的に入力する方法がある。例えば、カメラマンは観察者（視聴者）から山までＬＡ＝１０ｋｍ、車までＬＢ＝３０ｍ、人物までＬＣ＝１０ｍとなる構図となるように映像信号Ａ，Ｂ，Ｃの標準位置を設定する。

図９（ｂ）中、合成制御命令データ作成装置６０Ｒは受信した合成制御命令Ａｓ〜Ｃｓ，ＬＡ〜ＬＣに基づいて合成制御命令データＫを作成し、映像合成制御装置１の制御メモリに合成制御命令データＫを送信する装置である。受信側で合成画面の映像信号の表示位置を修正する場合には、合成制御データとともに距離関係情報が送信側から伝送される。

図９の例では、例えば、背景信号が動きが少ない代りとして高精度の画像が送信でき、人物，車は動きがある代りに画像範囲が狭いという特徴を生かして、小領域だけの画像を送信するとことができる。例えば、画像の送信は全て（ＸＸ，ＹＹ，ＬＬ，画素データ）という１ライン１パケットのデータ形式で行えばこれは可能である。

図１０は、図９（ａ）の方式における送信パケットデータ（Ａ，Ｂ，Ｃ，Ｋ）、映像合成の演算結果（Ｆ）のタイムチャート例及びタイムチャートに対応した１フレーム映像画面例（Ａ＊，Ｂ＊，Ｃ＊）、合成制御命令データ例（Ｋ＊）、演算映像合成画面（Ｆ＊）例を模式的に示したものである。この例では、各送信パケットデータはフレーム画像単位で、添え字は送信される順番を表している。合成制御命令データＫ１＊，Ｋ２＊，Ｋ３＊は制御メモリに記憶された画素ごとの演算命令データＫＡ，ＫＢ，ＫＣをフレーム画像対応で表示している。伝送パケットは映像データの伝送情報量に対応して、非同期で伝送されている。映像信号Ｂ，Ｃの黒い部分は伝送されない画素を表している。

図１１（ａ）は、例えば、３つの素材映像により最終的な合成映像を作り出すことが想定された素材映像群に対し、第２番目の素材映像の代わりに利用者の映像を使うことにより、特定の俳優の代理を利用者が演じる映像を得る映像合成演算処理システム例を模式的に示している。

図１１（ａ）中、６５、６６は、利用者の素材映像信号の切換設定（図ではＢからＤ）に応じて映像信号、合成制御データをそれぞれ切り換える切換手段を表している。２０Ｄは利用者が合成映像の素材を撮影するカメラを表している。６７は複数の素材映像信号（Ａ，Ｂ，Ｃ）及びこれに関する合成制御データ（Ａｓ，Ｂｓ，Ｃｓ）を記録し、合成映像の素材として利用するときに再生する記録再生装置を、６８は受信装置６３の出力と記録再生装置６７の出力とを切り換える切換回路を、６９は素材表示位置検出回路を表している。また、受信装置６３により受信される素材映像信号及び制御データは切換回路６８を介して、記録再生装置６７に記録するようにしてもよい。２１Ｄ，２３Ｄはアナログ・デジタル変換部を、２２Ｄはキー信号発生装置を表し、図２のものと同じ動作を行う。

素材映像信号Ｄの標準位置データはアナログ・デジタル変換部２１Ｄ，２３Ｄにより作成される。素材映像信号Ｄを素材映像信号Ｂの役者映像の代役映像信号とすると、役者が動き回れば、それに追従して代役の役者を動かす必要がある。素材映像信号Ｂと素材映像信号Ｄとが同じ位置になるようにアナログ・デジタル変換部２１Ｄ，２３Ｄの出力信号Ｄ，Ｄｓのアドレス部は調整されて出力される。

素材表示位置検出回路６９はこの調節を正確に行うために特に設けられたものである。素材表示位置検出回路６９は、合成制御データＢｓあるいは素材映像信号Ｂを取り入れて、役者の合成画面上の位置を計算して、それをアナログ・デジタル変換部２１Ｄ，２３Ｄに出力する。アナログ・デジタル変換部２１Ｄ，２３Ｄは、これにより調整されたアドレス部の出力信号Ｄ，Ｄｓをそれぞれ映像合成演算処理装置１，合成制御命令作成装置６０Ｒに出力する。

図１１（ｂ）は該映像合成演算処理システムの素材映像データ、合成制御命令データを例示的に示している。図中Ａ，Ｂ，Ｃは素材映像データで、黒い部分は素材映像データの内放送されない画素を、Ａｓ，Ｂｓ，Ｃｓはそれぞれの素材映像の有効範囲を示す合成制御データで、それぞれ画面表示で表している。同様に、Ｄは利用者を撮影した映像データを、Ｄｓは素材として有効範囲を示す合成制御データを表している。Ｆは受信した素材映像データＡ，Ｂ，Ｃを映像合成した合成映像データ、ＦＤは受信素材映像データＡ，Ｃと利用者が撮影した素材映像データＤを映像合成した合成映像データを画面表示で表したものである。

利用者がカメラ２０Ｄで撮影した映像信号と、キー信号発生装置２２Ｄによって得られたキー信号は、素材表示位置検出回路６９によって検出された素材映像Ｂの表示位置に表示されるように映像データとＤと合成制御データＤｓに加工される。

利用者が撮影した映像を利用して合成映像を作成する場合、切換手段６５，６６により、素材映像信号Ａ，Ｂ，Ｃの内Ｂを素材映像信号Ｄに切換え、合成制御命令データ作成装置６０Ｒに入力している素材映像信号の合成制御データＡｓ，Ｂｓ，Ｃｓの内合成制御データＢｓを素材映像信号の合成制御データＤｓに、切り換える。合成制御命令データ作成装置６０Ｒは合成制御データＡｓ，Ｂｓ，Ｄｓから合成制御命令データＫを作成し、映像合成処理装置１は素材映像信号Ａ，Ｂ，Ｄと合成制御命令Ｋデータとから利用者の要求に応じた合成映像ＦＤが得られる。切換回路６８により記録再生装置６７のデータを利用することができる。

例えば、第１番目，第２番目，第３番目の素材映像信号Ａ，Ｂ，Ｃをそれぞれ背景，俳優，道具の映像とすると、切換手段６５，６６の切り換えにより第２番目の素材映像信号Ｂの代わりに利用者の映像信号Ｄを利用すると、対応した俳優の代わりに利用者が演じている合成映像が得られる。

図１２は、図９（ｂ）と同じデータを受信し、受信側では、視聴者の移動位置に追従させて実時間で合成映像画面を動かし、合成映像画面に立体感を持たせた映像合成処理システムを模式的に示したものである。図９（ｂ）中※印に相当する受信側箇所で図１２の機能システムを接続する。７０は、受信した画像信号パケット先頭の映像信号アドレス部（ＸＸ，ＹＹ，ＬＬ）及び同時に対応する合成制御命令データを加工するアドレス加工処理部、７１は表示装置、７２は表示装置７１と視聴者との位置関係を検知する位置センサー、７３は、その値をアドレス加工処理部７０にフィードバックするフィードバック信号である。

表示装置７１と視聴者との位置関係を位置センサー７２により検知し、その値をアドレス加工処理部７０にフィードバックする。受信したパケットデータから取り出された距離データと上記相対位置関係とをもとにアドレス加工処理部７０は各映像信号アドレス部のＸＸ，ＹＹ，ＬＬの加工量を個別に増減制御する。加工された映像信号アドレス部のコマンドを及び映像データを装置１に入力し合成映像を表示装置７１に描画する。

アドレス加工処理部７０では、合成映像画面におけるカメラ２０Ａ，２０Ｂ，２０Ｃによって撮影された映像信号の奥行きの位置関係を基に、各映像信号アドレス部（ＸＸ，ＹＹ，ＬＬ）のＸＸの増減値をフィードバック信号７３を基に計算し、その結果合成画面からはみ出る部分は削除して画素数ＬＬを調整する。これと同時に、合成制御命令データ作成装置６０Ｒで作成された合成制御命令データの各映像信号を選択する制御命令データの配置も前述の鑑賞位置から算出したＸＸの増減値に基づき修正を加える。

図１３を参照して、アドレス加工処理部７０による映像信号Ａ，Ｂ，Ｃおよび合成制御データＡｓ，Ｂｓ，Ｃｓのアドレス増減制御について、簡単に説明する。（ａ）は素材映像Ａが不動とする場合、（ｂ）は素材映像Ｃが不動とする場合の位置変動計算例を示している。Δｘは、視聴者が位置Ｐ１から位置Ｐ２への位置変動量を表している。位置センサー７２でこの位置変動量Δｘを計測し、距離関係情報ＬＡ，ＬＢ，ＬＣで比例配分し、映像データＡ，Ｂ，Ｃの位置変動量ΔｘＡ，ΔｘＢ、ΔｘＣが計算される。この位置変動に応じた画素数だけ映像信号Ａ，Ｂ，Ｃのアドレス部ＸＸ、合成制御データＡｓ，Ｂｓ，Ｃｓのアドレス増減調整がなされ、アドレス加工処理部７０から映像信号Ａ’，Ｂ’，Ｃ’、合成制御データＡｓ’，Ｂｓ’，Ｃｓ’が出力される。

これにより、視聴者の視点の動きに応じた合成映像をリアルタイムに表示でき、立体感のある映像を視聴者は鑑賞することができる。図１２の右側に、鑑賞位置Ｐ１での映像と鑑賞位置Ｐ２での映像を模式的に例示している。同じ瞬間の映像であっても鑑賞位置Ｐ２では、画面内人物は画面内背景の山より右にいるが、鑑賞位置Ｐ１では山と人物は重なって、表示されている。

図１４は、図９（ｂ）中※印に相当する受信側箇所で接続され、複数の映像信号を受信し、受信側では映像合成演算処理装置を２個使用し、映像信号のアドレス部を加工して両眼視差のある２個の合成映像を出力するステレオ映像合成演算処理システムを模式的に示している。図１４（ａ）中、１Ｒ，１Ｌは右眼，左眼用の映像合成演算処理装置、７０Ｒ，７０Ｌは右眼，左眼用のアドレス加工処理部、７４Ｒ，７４Ｌはアドレス加工処理部７０Ｒ，７０Ｌの映像信号アドレス部（ＸＸ，ＹＹ，ＬＬ）を増減加工する調整入力を表している。

アドレス加工処理部７０Ｒ，７０Ｌは、右眼，左眼用の映像合成演算処理装置の合成映像出力信号ＦＲ，ＦＬが両眼視差により充分遠近感を与える量になるように受信したパケットデータから取り出された距離データをもとに調整入力７４Ｒ，７４Ｌによりそれぞれのアドレス部を加減調整する。合成映像信号ＦＲ，ＲＬは図示していないステレオディスプレイ装置に供給される。受信側のステレオディスプレイ装置により、両眼視差を利用して得られる立体感のあるステレオ映像を、実時間で視聴者は見ることができる。

図１４（ｂ）の映像合成演算システムは、図１４（ａ）の両眼の映像データ内どちらか一方の受信映像データのアドレス加工を省略したシステムである。図１４（ｂ）では左眼用映像データはアドレス加工をせず、アドレス加工処理部７０により、右眼用，左眼用合成映像信号の両眼視差量だけアドレス部を調整入力７４により増減調整する。

映像合成演算処理では、映像合成する映像信号毎にフレームメモリを用意し、書き込み用ラインバッファにより１ライン分の映像データをフレームメモリに書き込み、フレームメモリから１ライン分データを読み出して画像合成の演算処理をするので、従来のように１フレーム後に画像合成するのに比べて合成映像作成に時間遅れが少なく、実時間で映像合成画面を得ることができる。書き込み用ラインバッファ、読み出し用ラインバッファを設けて、フレームメモリのアクセス競合が防止できる。さらに、コンピュータの機械語に相当する映像信号の合成制御命令データを演算部に各画素毎に取り込むことで演算速度が速くなる。

合成画像を１枚のビットマップ型の映像データを作成するのではなく、表示する瞬間に表示する１行分（ライン分）だけをその場で合成して表示するという、汎用性の高い映像画像表示とすることができる。合成演算部は定型処理であり、並列処理により高速化が可能であり、ＬＳＩチップで作成でき小型化も可能である。

これらすべての処理が同時並行に進行するので、並列処理ができ、装置内の個々の処理に高速性が要求されずに、合成映像が得られるまでの時間が短くできるという効果を奏する。しかも、映像入力、映像出力及び制御入力は非同期でよいという特長がある。さらに、描画速度（１秒間の画面更新回数）が異なっていても動作できる効果もある。

複数の映像入力、制御メモリのアクセス、映像出力は非同期で良く、それぞれの映像更新周期も等しくする必要はない。さらに更新間隔が不定の映像入力や、画面の一部だけの映像信号であっても構わない。このように、各映像入力信号は他の映像入力信号とは独立に与えることができ、システム全体の複雑さが低減できる。

本発明の映像合成処理システムでは、放送されてきた映像素材を利用できると共に、利用者の作成した素材映像信号を利用して利用者の要求する合成画像を得ることができるので、特に演劇の分野において特定の配役の練習に利用したり、鑑賞するだけでなく、代役をすることにより演劇を楽しむといった新しい楽しみ方が実現できる。

本発明の映像合成処理システムで用いる映像合成演算処理装置の一実施例を示す図である。全体的なシステム構成を示す図である。入力データを示す図である。入力側ラインバッファ，フレームメモリの概略を示す図である。映像データのタイムチャートを示す図である。各映像データの入力、記録更新タイミングを説明する図である。並列パイプライン演算処理を説明する図である。映像合成例を説明する図である。データを受信して合成映像を作成する場合の映像合成処理システムを説明する図である。図９のデータを説明する図である。利用者の映像を使用して合成映像を作成する映像合成処理システムを説明する図である。鑑賞者の位置に追従して合成映像を作成する映像合成処理システムを説明する図である。アドレス加工処理のアドレス増減制御を説明するための図である。ステレオ合成画像を作成するステレオ映像合成演算処理システム例を説明する図である。

符号の説明

１映像合成処理装置
２，２Ａ〜２Ｃ書き込み用ラインバッファ
３，３Ａ〜３Ｃフレームメモリ
４，４Ａ〜４Ｃ読み取り用ラインバッファ
５演算部
６演算結果用のラインバッファ
７合成映像出力用のラインバッファ
８制御メモリ
９制御メモリ用ラインバッファ
１０コントローラ
２４，６０合成制御命令データ作成装置
６０Ｓ合成制御データ作成装置
６０Ｒ合成制御命令データ作成装置
２０Ｄ利用者を撮影する撮影装置
２１Ｄ，２３Ｄアナログ・デジタル変換部
２２Ｄキー信号発生装置
６３受信装置
６５，６６切換手段
６７記録再生装置
６８切換回路
７０，７０Ｒ，７０Ｌアドレス加工処理部
７２位置センサ
７４，７４Ｒ，７４Ｌ調整入力

Claims

複数の映像素材の映像信号と前記映像素材の合成のための合成制御データおよび映像素材を合成する際の構図を設定する標準配置位置を決定する距離関係情報とをパケット信号に構成して、これらのパケット信号のデータを放送する送信装置と、
前記送信装置から放送されたパケット信号のデータを受信し、パケット信号から複数の素材映像の映像信号と合成制御データおよび距離関係情報を得る受信装置と、
利用者側において映像素材を作成する撮影装置と、
前記合成制御データから合成制御命令データを作成し、前記受信装置から得られた複数の映像素材の映像信号および利用者側において作成された映像素材の映像信号を含む複数の画像素材から、合成制御データおよび距離関係情報に基づき、合成映像上の標準配置位置を決定して、各映像素材を合成制御命令データにより画像合成して映像信号を作成する映像合成処理装置と、
複数の映像素材から画像合成して作成された映像信号を表示する表示装置と
を備えることを特徴とする映像合成処理システム。
送信装置により、複数の映像素材の映像信号と前記映像素材の合成のための合成制御データおよび映像素材を合成する際の構図を設定する標準配置位置を決定する距離関係情報とをパケット信号に構成して、これらのパケット信号のデータを放送するステップと、
受信装置により、前記送信装置から放送されたパケット信号のデータを受信し、パケット信号から複数の素材映像の映像信号と合成制御データおよび距離関係情報を得るステップと、
撮影装置により、利用者側において映像素材を作成するステップと、
映像合成処理装置により、前記合成制御データから合成制御命令データを作成し、前記受信装置から得られた複数の映像素材の映像信号および利用者側において作成された映像素材の映像信号を含む複数の画像素材から、合成制御データおよび距離関係情報に基づき、合成映像上の標準配置位置を決定して、各映像素材を合成制御命令データにより画像合成して映像信号を作成するステップと、
表示装置により、複数の映像素材から画像合成して作成された映像信号を表示するステップと、
からなることを特徴とする映像合成処理方法。