JP4256421B2

JP4256421B2 - 映像合成装置、映像合成方法及び映像合成処理プログラム

Info

Publication number: JP4256421B2
Application number: JP2006314176A
Authority: JP
Inventors: 中信吾田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-11-21
Filing date: 2006-11-21
Publication date: 2009-04-22
Anticipated expiration: 2026-11-21
Also published as: US8179421B2; US20080117285A1; JP2008131348A

Description

本発明は、複数の映像を入力してそれらを合成した映像を出力する映像合成装置に関する。

マイク音声やカメラ映像などをネットワーク上に伝送し、相手のモニタやスピーカに出力することでコミュニケーションを行ういわゆるテレビ会議システムがある。最もシンプルな例としては、一対一の端末同士が相互にコミュニケーションを行う形があるが、テレビ会議システムによっては多地点で同時にコミュニケーションを行うことも可能である。

そのような複数の端末同士で多地点テレビ会議を行う場合、単純に全ての端末同士を相互に接続するフルメッシュ型接続を行うと、ネットワーク上を流れる通信量が増え、また、端末の送受信処理、さらにそれにともなう音声・映像のエンコード・デコード処理の量が多くなり、効率が悪い。

そこで、通常はMCU（Multipoint Control Unit:多地点制御装置）を設ける手段がとられる。MCUはサーバの一種で、各端末と接続して各端末からの音声や映像を受信し、それらを合成し、合成したものを各端末に送信する機能を持つ。

このMCUによって、各端末はMCUとのみ通信し、MCUからの単一の合成音声や合成映像を受信するだけで、全ての参加者からの音声や映像を得られるようになり、前述した通信量や端末処理量の面で効率がよくなる。このように、MCUは多地点テレビ会議において重要な役割を持ち、ここで映像合成技術が利用されている。

映像合成技術のもう一つの応用として、監視カメラの画面分割ユニットがある。監視カメラは通常建物などに複数個設置されているため、それを別々のモニタで観察・録画すると設備が大掛かりになり、使い勝手が悪い。そこで、通常は画面分割ユニットを使用し、複数のカメラ映像を合成して一つの映像信号にし、それを単一のモニタで確認したり単一の録画機で録画できるようにする手段がとられる。この画面分割ユニットにも映像合成技術が用いられている。

ここで、MCUは通常端末の収容台数に制限があるが、この制限を越えた接続台数を収容したい場合、図１４のように本来端末に出力する映像を他のMCUに接続するように多段接続するカスケード方式がとられる。図１４では、1段目のMCU１にて4端末の映像を合成し、2段目のMCU２にてさらに3端末の映像を合成し、2台のMCU１及び２で合計7端末の映像を合成している。この形態は例えば特開2000-253374で述べられている。

一般にMCUの合成映像は1つだけ出力されるものが多いが、例えば特開2006-222942のように複数の合成映像を出力する形態も提案されている。この場合、MCUの多段接続は図１５のようになる。すなわち、一方のMCU３又は４に入力された映像の合成映像を他方のMCU４又は３に送る形で互いのMCU３及び４間で入力映像を共有し、それぞれのMCU３及び４はそれらをもとに複数の合成映像を生成して出力する。この形態は例えば特開平08-88842で述べられている。
特開２０００−２５３３７４号公報特開２００６−２２２９４２号公報特開平０８−８８８４２号公報

例えば特開2006-222942のように複数の異なる合成映像を出力する場合、片方のMCUは、他方のMCUから出力した合成映像を用い、さらに自身に接続する端末の映像を合成することで最終的な合成映像を生成するが、他方のMCUから入力した合成映像は１つの映像として扱うため、その中の各映像のレイアウトを変更することが出来ない。つまり、MCUの各合成出力映像は、他方のMCUが合成した部分に関しては全て同じ合成レイアウトをとることになるので、ここで合成映像の自由度の低下が生じてしまうという問題があった。

本発明は、以上のような問題を鑑みたものであり、その課題は、MCUを複数接続した場合の、映像レイアウトの自由度の低下を抑えることである。

本発明の一態様による映像合成装置は、
１つ又は複数の合成映像それぞれに対して用意された映像配置情報を用いて、複数の入力映像を合成することにより、前記映像配置情報に対応する１つ又は複数の前記合成映像を生成する映像合成装置において、
前記映像合成装置とは異なる他の映像合成装置に接続するための映像合成装置接続手段と、
前記映像合成装置に入力される複数の前記入力映像と、前記他の映像合成装置に入力される複数の前記入力映像とが所望の位置にそれぞれ配置される前記合成映像の前記映像配置情報を保持する映像配置情報保持手段と、
前記映像合成装置に入力される複数の前記入力映像を一時的に記憶する映像記憶手段と、
前記映像配置情報を用いて、前記映像合成装置の前記映像記憶手段から読み出す前記入力映像を指定することにより、読み出し要求を行う第１の読み出し要求手段と、
前記映像配置情報を用いて、前記他の映像合成装置の前記映像記憶手段から読み出す前記入力映像を指定することにより、読み出し要求を行う第２の読み出し要求手段と、
前記第２の読み出し要求手段による前記読み出し要求を、前記他の映像合成装置に送信する要求送信手段と、
前記第１の読み出し要求手段による前記読み出し要求を用いて、前記映像記憶手段から、指定された前記入力映像を映像情報として読み出す読み出し制御手段と、
前記他の映像合成装置の前記映像情報送信手段から送信された前記映像情報を受信する映像情報受信手段と、
前記映像合成装置の前記読み出し制御手段によって読み出された前記映像情報と、前記映像情報受信手段によって受信された前記映像情報とを用いて、１つ又は複数の前記合成映像を生成する１つ又は複数の合成映像生成手段と
を備える。

また本発明の一態様による映像合成方法は、
１つ又は複数の合成映像それぞれに対して用意された映像配置情報を用いて、複数の入力映像を合成することにより、前記映像配置情報に対応する１つ又は複数の前記合成映像を生成する映像合成方法において、
前記映像合成装置とは異なる他の映像合成装置に接続するステップと、
前記映像合成装置に入力される複数の前記入力映像と、前記他の映像合成装置に入力される複数の前記入力映像とが所望の位置にそれぞれ配置される前記合成映像の前記映像配置情報を保持するステップと、
前記映像合成装置に入力される複数の前記入力映像を一時的に映像記憶手段に記憶するステップと、
前記映像配置情報を用いて、前記映像合成装置の前記映像記憶手段から読み出す前記入力映像を指定することにより、第１の読み出し要求を行うステップと、
前記映像配置情報を用いて、前記他の映像合成装置の前記映像記憶手段から読み出す前記入力映像を指定することにより、第２の読み出し要求を行うステップと、
前記第２の読み出し要求を、前記他の映像合成装置に送信するステップと、
前記第１の読み出し要求を用いて、前記映像記憶手段から、指定された前記入力映像を映像情報として読み出すステップと、
前記他の映像合成装置から送信された前記映像情報を受信するステップと、
前記映像合成装置の前記映像記憶手段から読み出された前記映像情報と、受信された前記映像情報とを用いて、１つ又は複数の前記合成映像を生成するステップと
を備える。

また本発明の一態様による映像合成装置の映像合成処理プログラムは、
１つ又は複数の合成映像それぞれに対して用意された映像配置情報を用いて、複数の入力映像を合成することにより、前記映像配置情報に対応する１つ又は複数の前記合成映像を生成する映像合成装置の映像合成処理プログラムにおいて、
前記映像合成装置とは異なる他の映像合成装置に接続するステップと、
前記映像合成装置に入力される複数の前記入力映像と、前記他の映像合成装置に入力される複数の前記入力映像とが所望の位置にそれぞれ配置される前記合成映像の前記映像配置情報を保持するステップと、
前記映像合成装置に入力される複数の前記入力映像を一時的に映像記憶手段に記憶するステップと、
前記映像配置情報を用いて、前記映像合成装置の前記映像記憶手段から読み出す前記入力映像を指定することにより、第１の読み出し要求を行うステップと、
前記映像配置情報を用いて、前記他の映像合成装置の前記映像記憶手段から読み出す前記入力映像を指定することにより、第２の読み出し要求を行うステップと、
前記第２の読み出し要求を、前記他の映像合成装置に送信するステップと、
前記第１の読み出し要求を用いて、前記映像記憶手段から、指定された前記入力映像を映像情報として読み出すステップと、
前記他の映像合成装置から送信された前記映像情報を受信するステップと、
前記映像合成装置の前記映像記憶手段から読み出された前記映像情報と、受信された前記映像情報とを用いて、１つ又は複数の前記合成映像を生成するステップと
を備える。

以上のように本発明を用いると、映像合成装置を複数接続した場合、映像レイアウトの自由度の低下させることもなく映像合成することが出来る。

以下、本発明の実施の形態について図面を参照して説明する。

（第一の実施の形態）
本発明の第一の実施の形態を図１に示す。本発明による装置は例えばテレビ会議のMCU１０Ａであり、図２のような構成をとるものとする。図２のMCU１０Ａでは、まずホストCPU２０によりネットワーク処理が行われ、接続する各端末と例えばMPEG4やH.264などの映像ストリームが送受信される。

受信した各端末からのストリームは、図２の各端末に対応した各デコーダ３０Ａ〜３０Ｄにそれぞれ入力されてデコードされ、それぞれ映像信号となり映像合成回路４０Ａに入力される。一方、各端末では自身が受ける合成映像のレイアウトを指定することができ、そのレイアウト情報（すなわち映像配置情報）もMCU１０Ａに送るので、MCU１０ＡのホストCPU２０はその情報を受信して映像合成回路４０Ａに入力する。

映像合成回路４０Ａ（すなわち映像合成装置）では、各入力映像を、各出力ごとに指定されたレイアウトで合成し、各合成映像信号を出力する。出力された映像信号は、各端末に対応したエンコーダ５０Ａ〜５０Ｄに入力され、映像ストリームとなりホストCPU２０に渡され、ホストCPU２０はネットワーク処理を行い、各ストリームを各端末に送信する。

合成映像は例えば図３や図４のようになる。この例では４端末まで接続可能なMCU１０Ａとなっており、このような合成映像を端末ごとに異なる合成レイアウトで個別に提供できる。このようなホストCPU２０、デコーダ３０Ａ〜３０Ｄ、エンコーダ５０Ａ〜５０Ｄ、映像合成回路４０Ａは、例えばそれぞれASICやFPGAなどのLSIで実現される。

ここで、MCU１０Ａは図５のようにもう１つのMCU１０Ｂと映像合成回路４０Ａ及び４０Ｂ同士が専用線で接続され、必要なデータを送受信することでスケールを拡張することが可能である。この場合、４入力４出力のMCU１０Ａ及び１０Ｂ同士が接続して８入力８出力の映像合成が可能となる。このような映像合成回路４０Ａの具体的な構成を示したのが図１である。送信部１００は対向側の映像合成回路４０Ｂの受信部（図示せず）に、受信部１１０は対向側の映像合成回路４０Ｂの送信部（図示せず）に接続している。

なお、これら送信部１００及び受信部１１０は、映像合成装置接続手段に対応し、これらのうち送信部１００は、要求送信手段、映像情報送信手段、情報送信手段及び書き込みライン番号送信手段に対応し、受信部１１０は、要求受信手段、映像情報受信手段、情報受信手段及び書き込みライン番号受信手段に対応する。

映像合成回路４０Ａは、単体動作時の基本機能として４つの映像信号を入力し、別途入力するそれらの合成レイアウトの指示に従って４つの合成映像を生成して出力することができる。

映像信号は例えばITU-R(International Telecommunication Union-Radiocommunication) BT.656で定められているデジタル信号で、例えば8bitデータ（１画素の情報）で画素データが映像フレームの左上から右下まで一つずつ連続で送られる。また、映像フレームの同期を取るため所定のタイミングで画素データの代わりに同期信号が送られる。同期信号はFF、00、00、XXのセットで、XXにはフレーム上の位置を示すコードが入るので、これを参照すると現在の画素データの座標がわかるようになっている。

縮小部１２０Ａ〜１２０Ｄ（すなわち縮小手段）はまず入力映像信号の同期信号を解析し、現在の画素データの映像上での座標値を認識した上で映像の縮小処理を行い、SDRAM制御部１３０に縮小した入力映像の画素データを渡す。座標値の認識は、例えば座標を保持するカウンタを持ち、同期信号を認識した時にその値を同期信号が示す座標値にセットする形で行い、さらに画素データが入力されるごとにカウンタ値を１ずつ更新していけば、その後の画素データの座標を知ることが出来る。

SDRAM制御部１３０は映像フレームバッファとなるSDRAM６０へのデータの読み書きを制御し、縮小部１２０Ａ〜１２０Ｄから受けとった画素データをSDRAM６０に書き込んだり、SDRAM６０から画素データを読み込んで合成部１４０Ａ〜１４０Ｄに渡したりする。SDRAM６０上には各入力映像の縮小映像のフレームバッファが存在することになる。

なお、SDRAM制御部１３０は、読み出し制御手段及び書き込み制御手段に対応し、SDRAM６０は映像記憶手段に対応する。

また、縮小部１２０Ａ〜１２０Ｄは、各入力映像に対して例えば1/1縮小、1/2縮小、1/3縮小、1/4縮小など複数の縮小映像を並列に生成してもよく、この場合は4入力映像それぞれに4通りの縮小映像が生成されるので、4 x 4 = 16映像のフレームバッファが存在することになる。

レイアウト保持部１５０（すなわち映像配置情報保持手段）はホストCPU２０からレイアウト情報を入力し、各合成映像の最新のレイアウト情報を保持する。

合成部１４０Ａ〜１４０Ｄ（すなわち合成映像生成手段）はSDRAM制御部１３０から受け取った画素データを用い、適宜同期信号やブランク期間を含ませ合成映像信号を生成して出力する。合成部１４０Ａ〜１４０Ｄは同時に現在出力している画素の座標をカウンタ値として生成しており、その座標情報を要求部１６０に通知している。

要求部１６０はその情報と、レイアウト保持部１５０からの合成レイアウトの情報を解析し、合成映像のうちの、合成部１４０Ａ〜１４０Ｄが合成処理をする座標に配置されている入力映像、またはその縮小映像と、その中の必要画素の座標を先読みで指定し、その指定情報を要求情報として生成し、それをSDRAM制御部１３０に渡す形で要求を出す。

以上が映像合成回路４０Ａの単体動作時の場合である。次に、本実施の形態の主題である、図５のように他のMCU１０Ｂの映像合成回路４０Ｂと接続した場合の動作について述べる。

この場合、レイアウト保持部１５０がホストCPU２０から入力するレイアウト情報は、自身のMCU１０Ａに入力される入力映像だけでなく、他のMCU１０Ｂに入力される入力映像も合成された映像のレイアウト情報となっている。例えば図６のように、ＭＣＵ(1)１０Ａに入力された４つの映像と、ＭＣＵ(2)１０Ｂに入力された４つの映像による合計８つの映像による合成映像となる。

具体的な動作は次のようになる。自身のMCU１０Ａの入力映像の画素データは自身のSDRAM６０から読み出し、他のMCU１０Ｂの入力映像の画素データは他のMCU１０ＢのSDRAM（図示せず）から読み出せばよいので、要求部１６０（すなわち第１及び第２の読み出し要求手段）はこのレイアウト情報を解析し、自身のSDRAM制御部１３０に要求すべき入力映像の要求情報と、他のMCU１０ＢのSDRAM制御部（図示せず）に要求すべき入力映像の要求情報とをそれぞれ生成し、前者はSDRAM制御部１３０に渡し、後者は他のMCU１０Ｂに渡すべく送信部１００に渡す。送信部１００は他のMCU１０Ｂにこの情報を送信する。

一方、受信部１１０は逆に他のMCU１０Ｂからのこの要求情報を受信するので、受信した要求情報をSDRAM制御部１３０に渡す。SDRAM制御部１３０は、自身からの要求だけでなく他のMCU１０Ｂからの要求も受け、自身からの要求に対しては読み出した画素データを合成部１４０Ａ〜１４０Ｄに渡し、他のMCU１０Ｂからの要求に対しては読み出した画素データを他のMCU１０Ｂに送るべく送信部１００に渡す。

一方、受信部１１０は他のMCU１０Ｂに送信した要求情報に対する応答として他のMCU１０Ｂからの画素データを受信する。合成部１４０Ａ〜１４０Ｄは、自身の入力映像に関してはSDRAM制御部１３０からの画素データを用い、他のMCU１０Ｂの入力映像に関しては受信部１１０からの画素データを用いることで、両方のMCU１０Ａ及び１０Ｂの入力映像が配置された合成映像を生成することができる。

以上のように映像合成回路４０Ａ及び４０Ｂ同士を接続することで、従来のようにエンコーダ、デコーダを介することなく映像データを受け渡しすることが出来るようになるので、遅延の増加、画質の劣化を抑えることができる。さらに、他のMCU１０Ｂの入力映像も自身の入力映像と同様に用いて合成映像を生成することが出来るので、合成レイアウトの自由度を損なうこともなくなる。

なお、この例では４入力４出力の例を示したが、入出力の数は何でも良く、特に問わない。また、映像信号はBT.656でなくても良く、同期信号として別途Vsync、Hsyncなどをやり取りする方式でも何でも良い。また、実施の形態は前述のように単体のLSIでなくとも、何らかの装置の一部として実施されていれば何でも良い。

また、縮小部１２０Ａ〜１２０Ｄはなくても本発明の本質は変わらないが、縮小部１２０Ａ〜１２０Ｄがあることにより、より柔軟なレイアウトの合成映像を生成することができ、本実施の形態の効果をより大きくすることができる。

また、縮小部１２０Ａ〜１２０Ｄの縮小パターンとして１／１、１／２、１／３、１／４の例を示したが、特にこの限りではなく、どんな縮小サイズでも良いし、レイアウト情報に従って動的に可変するサイズでも良い。

また、送信部１００は前述のように複数の種類のデータを送信するが、送信するデータを多重化することにより、MCU１０Ａ及び１０Ｂ同士を接続する線の本数をより少なくすることができ、それによりMCU１０Ａ及び１０Ｂ同士の接続が容易になり、ひいては本実施の形態の実現をより容易にすることが出来る。

多重化の方法は、例えば受信部１１０でデータを識別できるように、データの先頭にデータ種別を示したヘッダーをつけて送信する論理レベルで多重化しても良いし、複数の信号線を一本の信号線に時分割多重する信号レベルのシリアライズでも良いし、この両方を組み合わせても良い。また、装置間で信号を伝送するのでLVDS(Low Voltage Differential Signaling)などのノイズ耐性の高い信号規格で伝送しても良い。

（第二の実施の形態）
本発明の第二の実施の形態では、第一の実施の形態の図１と同様の構成とる装置において、より詳細な動作のタイミングについて述べる。

まずRAMに関して、第一の実施の形態ではRAM（映像フレームバッファ）の例としてSDRAM６０を挙げたが、例えばSRAMなどを用いてもよく、また複数ポートを持つSRAMなどを用いて、書き込みは第一ポート、読み出しは第二ポートなどと分けてアクセスしても良い。

しかし、通常RAMのポート数には制限があり、通常のSDRAMは一つしかポートがないので、SDRAM制御部１３０は、上記のような複数の縮小部１２０Ａ〜１２０Ｄからの書き込み要求、複数の合成部１４０Ａ〜１４０Ｄからの読み出し要求に対して何らかの調停を行い、RAMへのアクセスを時分割で行う必要がある。

よって、SDRAM制御部１３０の前後、すなわち、縮小部１２０Ａ〜１２０ＤがSDRAM制御部１３０にデータを渡す部分、合成部１４０Ａ〜１４０ＤがSDRAM制御部１３０からデータを受け取る部分には、上記アクセスの順番待ちの時間を吸収するためのバッファ（図示せず）が存在しても良い。

また、送信部１００、受信部１１０にもデータを多重化する場合には各データの送信には待ちが必要となるので、待ち時間を吸収するバッファ（図示せず）が設けられていても良い。

以上のバッファも考えると、具体的には例えば次のように動作する。まず、縮小部１２０Ａ〜１２０Ｄは入力映像を画素ごとに入力していき、適宜縮小処理を施しながら縮小映像の画素データをバッファにためていく。

バッファに例えば縮小映像の１ライン分がたまると、SDRAM制御部１３０に対して書き込み要求を出す。SDRAM制御部１３０は他からの要求のアクセスをしている場合は直ちに対応できないかもしれないが、対応でき次第、上記縮小部１２０Ａ〜１２０Ｄからの要求に応え、縮小部１２０Ａ〜１２０Ｄのバッファから上記１ライン分のデータを取り出し、SDRAM６０の所定のフレームバッファの所定のラインのアドレスに書き込む。

一方、合成部１４０Ａ〜１４０Ｄは画素ごとに一定のタイミングで合成映像を出力する必要があるので、合成部１４０Ａ〜１４０Ｄのバッファには常にそれに必要な画素データが格納されていなければならない。

そのため要求部１６０は、合成部１４０Ａ〜１４０Ｄが現在合成処理をしているラインより先のラインの合成処理に必要な画素データを先読みして要求する。例えば合成部１４０Ａ〜１４０Ｄのバッファには合成映像の１ライン分のデータごとにバッファリングされるとすると、要求部１６０は、現在合成部１４０Ａ〜１４０Ｄが合成処理を行っているラインより２ライン先のラインの要求情報を生成してSDRAM制御部１３０と送信部１００に渡す。送信部１００はそのラインが終了するまでに他のMCU１０ＢのSDRAM制御部に渡す。

自身のMCU１０Ａと他のMCU１０ＢのSDRAM制御部１３０は、この要求情報を一旦バッファリングし、合成部１４０Ａ〜１４０Ｄの処理が次のラインに移ると、受け取った要求情報を読み出し、そのラインが終了するまでに、読み出した要求情報に従って画素データをSDRAM６０から読み出し、それぞれ合成部１４０Ａ〜１４０Ｄと、他のMCU１０Ｂの送信部に渡す。

他のMCU１０Ｂの送信部はそのラインが終了するまでに自身のMCU１０Ａに画素データを送信して合成部１４０Ａ〜１４０Ｄに渡す。

すると、合成部１４０Ａ〜１４０Ｄの処理がさらに次のラインに移ったときには、合成部１４０Ａ〜１４０Ｄは必要な画素データをバッファから取り出すことが出来るようになる。

以上のスケジューリングを図に示すと図７のようになる。図７は合成部１４０Ａ〜１４０Ｄが合成映像のラインＸ、Ｘ＋１、Ｘ＋２、、、を処理する場合の様子で、全体がラインごとにパイプライン的に動作する。以上の各所のバッファは、ダブルバッファで構成しても良いし、FIFOバッファで構成してもなんでも良く、とくにバッファの形態は問わない。

以上のように、ラインごとにパイプライン的に動作させることで、本実施の形態の動作のスケジューリングをシンプルに実現することができ、ひいては本実施の形態の実現をより容易にすることが出来る。

さらに、上述のように現在合成部１４０Ａ〜１４０Ｄが合成処理を行っているラインより２ライン先のラインの要求情報を生成すれば、要求部１６０による処理、SDRAM制御部１３０による処理のそれぞれに、単純に１ライン分の時間ずつかけるようにスケジューリングをすればよくなるので、例えば１ライン先のラインの要求情報を生成する場合と比較してロジックを簡単にすることができ、また例えば３ライン先のラインの要求情報を生成する場合と比較してバッファのメモリを節約することができる。

また、合成部１４０Ａ〜１４０Ｄに渡される画素データは、自身のSDRAM制御部６０からのものと、他の映像合成回路４０Ｂからのものと複数あるので、例えばそれらが順不同で渡された場合、渡された順番と読み出すべき順番は必ずしも一致しないので、どのような順番で画素データを読み出して合成映像のラインを生成するかの情報が別途必要になる。

その場合は、要求部１６０が合成レイアウトを解析するので、前述したSDRAM制御部１３０に渡す要求情報を生成すると共に、この合成の順番を規定した合成情報も生成して、合成部１４０Ａ〜１４０Ｄに渡せばよい。

この様子を図８に示す。例えば自身のMCU１０ＡのSDRAM６０から読み出したデータを合成映像の左側に配置し、他のMCU１０ＢのSDRAMから読み出したデータを合成映像の右側に配置する場合、合成映像のラインは左側の画素データから出力する必要があるので、要求部１６０（すなわち合成情報生成生成手段）は合成部１４０Ａ〜１４０Ｄに対して自身の画素データを先に読み出し、次に他のMCU１０Ｂからの画素データを読み出すという合成情報を合成部１４０Ａ〜１４０Ｄに渡す。

こうすることで、合成部１４０Ａ〜１４０Ｄにおける自身のSDRAM１３０からの画素データの受信と、他のMCU１０ＢのSDRAMからの画素データの受信との順番を、必ずしも合成レイアウトと関連付ける必要がなくなるので、映像合成回路４０Ａ及び４０Ｂの動作を非同期にすることが出来る。

一般に離れた複数の回路を同期させるにはクロックを共通化しなければならず、特に異なる装置に設けられている回路同士を同期させるのは困難なので、このように映像合成回路４０Ａ及び４０Ｂ同士を非同期のままで動作させることができるようになると、本実施の形態の実現をより容易にすることが出来る。

またこのとき、前述のようにラインごとにパイプライン的に動作させたとすると、要求部１６０は２ライン先の合成映像のラインを解析して要求情報を生成するので、合成情報も同じ２ライン先のものとしたい。

そこで、合成部１４０Ａ〜１４０Ｄは受けとった合成情報を一旦バッファリングし、受け取ったときのライン番号が２つ進んだときに受け取った合成情報を使用するようにすると、要求部１６０は要求情報と同じ２ライン先の合成情報を生成すればよくなる。

こうすることで、要求部１６０は一度に合成レイアウトのうちの一つのライン（２ライン先のライン）のみを解析すればよくなるので、処理の効率がよくなり、ひいては本実施の形態の実現をより容易にすることが出来るようになる。

（第三の実施の形態）
本発明の第三の実施の形態を図９に示す。第三の実施の形態ではSDRAM６０上のフレームバッファがダブルバッファ構成になる。

なお、ダブルバッファ構成とは、ＲＡＭ上のフレームバッファを２つ（すなわち第１及び第２の記憶領域）用意し、アクセス競合を防ぐ構成のことである。例えば書き込み側がフレームを書き込む際、その２つのバッファに交互に書き込む。それに対して、読み出し側は、現在書き込みが行われていない方のバッファから読み出しを行う。つまり、書き込みを行うバッファと読み出しを行うバッファが交互に入れ替わるように動作する。こうすることによって、読み出しを行うバッファは常に書き込みが完了しているので、完全な状態であることが保証され映像の破綻を防ぐことができる。さらに本実施の形態では、読み出し側がどちらのバッファから読み出すかの判定を入れることで、可能な限り新しいバッファから読み出すように動作する。

例えば、まずフレームバッファには随時更新される映像フレームの書き込みと読み出しが行われているので、例えば1/2縮小映像を書き込んでいる場合、映像が30fps（フレーム／秒）だとすると、書き込みは入力映像に同期して1/30sec = 約33msecで映像フレームの上から下まで書き込まれるが、読み出し側は同じく約33msecで合成映像を生成するので、1/2縮小映像はその1/2の時間である約17msecで読み出される。

よって、書き込み速度より読み出し速度が速くなり、読み出しが書き込みを追い抜く現象が発生する。そのとき、読み出した映像は追い抜きが発生した時点から一つ前の古い映像フレームを読み出すことになるので、少しずれた映像を読み出すことになり、映像が破綻してしまう。この現象は詳しくは特願2005-244391に記載されている。

以上の問題を解決するため、フレームバッファをダブルバッファ構成にして、読み出し側による書き込み側の追い抜きを回避する。具体的には、例えば要求部１６０は次のようにバッファ判定を行う。

図１０は入力映像と出力映像の様子を示している。ＢＬは映像のブランク部分である。入力映像は前述したように1/2に縮小され、出力映像上の左上の斜線部のように配置される。合成部１４０Ａ〜１４０Ｄが右図の実線矢印Ｙ１があるライン0の位置を処理しているとき縮小部１２０Ａ〜１２０Ｄはclの位置を処理しているとする。

まず合成部１４０Ａ〜１４０Ｄが縮小映像の出力を完了する時点、すなわち、右図の矢印が点線矢印Ｙ２に移動する時点では、現在よりBLANK_HEIGHT + (FRAME_HEIGHT - BLANK_HEIGHT) / 2だけ進んでいることになるから、そのとき縮小部１２０Ａ〜１２０Ｄの処理しているラインは cl + BLANK_HEIGHT + (FRAME_HEIGHT - BLANK_HEIGHT) / 2と推定される。

これがまだ現在のフレームに残っている場合、ダブルバッファのうち書き込みを行っているバッファから読み出すと追い抜きが発生するので、このときは、書き込んでいるバッファとは別のバッファを読み出しバッファとすべきである。その条件は次の通りである。
cl + BLANK_HEIGHT + (FRAME_HEIGHT - BLANK_HEIGHT) / 2 ≦ FRAME_HEIGHT
⇒ cl ≦ (FRAME_HEIGHT - BLANK_HEIGHT) / 2

以上のように、縮小部１２０Ａ〜１２０Ｄが現在処理している映像フレーム上の位置（この場合はcl）を用いることで、可能な限り新しいバッファから読み出しつつ、追い抜きによる映像破綻を回避することが出来る。

以上のバッファ選択は図９のバッファ選択部１７０により行われるが、ここで、複数の映像合成回路４０Ａ及び４０Ｂでこの動作を行うには、映像合成回路４０Ａ及び４０Ｂ同士で縮小部１２０Ａ〜１２０Ｄが処理しているライン番号を互いに送りあう必要がある。

そこで、図９のように縮小部１２０Ａ〜１２０Ｄが処理しているライン番号情報を送信部１００に送り、一方、受信部１１０からは他の映像合成回路４０Ｂの縮小部が処理しているライン番号情報を受け取り、バッファ選択部１７０に渡す。

バッファ選択部１７０は、自身のSDRAM制御部１３０に画素データを要求する場合は自身の縮小部１２０Ａ〜１２０Ｄが処理している自身の入力映像の現在のライン番号を用いて上記選択を行い、他の映像合成回路４０Ｂに画素データを要求する場合は受信部１１０から受け取った他の入力映像の現在のライン番号を用いて上記選択を行う。

このように、入力映像の現在のライン番号を相手の映像合成回路に送信し合うことで、互いの映像合成回路４０Ａ及び４０Ｂの入力映像が任意の位相差でも適切にバッファ選択を行うことができる。

特に異なる装置間で入力映像の同期をとることは困難が伴うが、こうすることで複数のそれぞれの入力映像の位相を非同期のままにすることができるので、本実施の形態の実現をより容易にすることが出来る。また、送信部１００にてライン番号も前述の様に画素データや要求情報と多重化して伝送しても良い。そうすることで、信号線を減らすことができ、本実施の形態の実現をより容易にすることが出来る。

（第四の実施の形態）
本発明の第四の実施の形態を図１１に示す。第四の実施の形態では、前述の実施の形態で示したMCUが図１２のように３つ接続する場合を示している。この場合は二つの映像合成回路と接続するために送信部、受信部が２つある。例えば映像合成回路(1)４０Ａの送信部(1)１００Ａと受信部(1)１１０ＡはMCU(2)１０Ｂと、送信部(2)１００Ｂと受信部(2)１１０ＢはMCU(3)１０Ｃと接続しているとする。

基本的な動作は２つの接続の場合と同様である。レイアウト情報は同様に他の2つのMCUに入力された映像も含んだレイアウト情報となっており、例えばMCU(1)４０Ａの要求部１６０はそのレイアウト情報を解析し、自身のSDRAM制御部１３０に要求すべき入力映像の要求情報と、MCU(2)１０ＢのSDRAM制御部に要求すべき入力映像の要求情報と、MCU(3)１０ＣのSDRAM制御部に要求すべき入力映像の要求情報とをそれぞれ生成し、それぞれSDRAM制御部１３０、送信部(1)１００Ａ、送信部(2)１００Ｂに渡す。

送信部(1)１００ＡはMCU(2)１０Ｂに、送信部(2)１００ＢはMCU(3)１０Ｃにこの情報を送信する。一方、受信部(1)１１０Ａ、受信部(2)１１０Ｂは逆にMCU(2)１０Ｂ、MCU(3)１０Ｃからのこの要求情報を受信するので、共に受信した要求情報をSDRAM制御部１３０に渡す。

SDRAM制御部１３０は、自身からの要求だけでなくMCU(2)１０ＢとMCU(3)１０Ｃからの要求も受け、自身からの要求に対しては読み出した画素データを合成部１４０Ａ〜１４０Ｄに渡し、MCU(2)１０Ｂからの要求に対しては読み出した画素データを送信部(1)１００Ａに、MCU(3)１０Ｃからの要求に対しては読み出した画素データを送信部(2)１００Ｂに渡す。

一方、受信部(1)１１０ＡはMCU(2)１０Ｂに、受信部(2)１１０ＢはMCU(3)１０Ｃに送信した要求情報に対する応答として、それぞれMCU(2)１０Ｂ、MCU(3)１０Ｃからの画素データを受信する。

合成部は、自身の入力映像に関してはSDRAM制御部１３０からの画素データを用い、MCU(2)１０Ｂ、MCU(3)１０Ｃの入力映像に関しては、それぞれ受信部(1)１１０Ａ、受信部(2)１１０Ｂからの画素データを用いることで、MCU(1)１０ＡとMCU(2)１０ＢとMCU(3)１０Ｃの入力映像が配置された合成映像を生成する。

以上のように、本実施形態は３つの接続にも拡張することが出来る。さらに、同様に４つ以上の接続に拡張しても良い。その場合も、各映像合成回路は同様に自分以外の全ての映像合成回路と相互に接続することになる。

（第五の実施の形態）
本発明の第五の実施の形態を図１３に示す。第五の実施の形態では、前述の実施の形態で示した映像合成回路を実現したLSIが一つの装置に複数搭載される。図１３は４入力４出力の映像合成回路４０Ａ及び４０Ｂを２つ設けて８入力８出力を実現する例だが、第三の実施の形態のように３つ以上設けより多くの入出力数を実現しても良い。

このようにすることで、様々な入出力数を実現する際に、異なる入出力数を持つ複数の種類の映像合成LSIを用意することなく、一つの映像合成LSIを用意してそれを必要に応じて複数設けることで、無駄なく入出力映像数をスケーラブルに実現することが出来る。また、さらには一つのLSIの中に複数の映像合成回路が存在していても良い。このように、本実施形態は実装の形態は問わない。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の第１の実施の形態による映像合成回路の構成を示すブロック図である。同映像合成回路を有するＭＣＵの構成を示すブロック図である。合成映像の一例を示す説明図である。合成映像の一例を示す説明図である。２つのＭＣＵを接続したシステムの構成を示すブロック図である。合成映像の一例を示す説明図である。映像合成回路におけるスケジューリングの様子を示す説明図である。本発明の第２の実施の形態による映像合成回路の構成を示すブロック図である。本発明の第３の実施の形態による映像合成回路の構成を示すブロック図である。入力映像と出力映像の関係を示す説明図である。本発明の第４の実施の形態による映像合成回路の構成を示すブロック図である。３つのＭＣＵを接続したシステムの構成を示すブロック図である。本発明の第５の実施の形態によるＭＣＵの構成を示すブロック図である。２つのＭＣＵを接続した従来のシステムの構成を示すブロック図である。２つのＭＣＵを接続した従来のシステムの構成を示すブロック図である。

符号の説明

１０ＭＣＵ
２０ホストＣＰＵ
３０デコーダ
４０映像合成回路
５０エンコーダ
６０ＳＤＲＡＭ
１００送信部
１１０受信部
１２０縮小部
１３０ＳＤＲＡＭ制御部
１４０合成部
１５０レイアウト保持部
１６０要求部
１７０バッファ選択部

Claims

複数の合成映像それぞれに対して用意された映像配置情報を用いて、複数の入力映像を合成することにより、前記映像配置情報に対応する複数の個別の前記合成映像を生成する映像合成装置において、
前記映像合成装置とは異なる他の映像合成装置に接続するための映像合成装置接続手段と、
前記映像合成装置に入力される複数の前記入力映像と、前記他の映像合成装置に入力される複数の前記入力映像とが所望の位置にそれぞれ配置される前記合成映像の前記映像配置情報を、生成する合成映像ごとに個別に保持する映像配置情報保持手段と、
前記映像合成装置に入力される複数の前記入力映像を一時的に記憶する映像記憶手段と、
前記映像配置情報を用いて、前記映像合成装置の前記映像記憶手段から読み出す前記入力映像を、生成する合成映像ごとに個別に指定することにより、読み出し要求を行う第１の読み出し要求手段と、
前記映像配置情報を用いて、前記他の映像合成装置の前記映像記憶手段から読み出す前記入力映像を、生成する合成映像ごとに個別に指定することにより、読み出し要求を行う第２の読み出し要求手段と、
前記第２の読み出し要求手段による前記読み出し要求を、前記他の映像合成装置に送信する要求送信手段と、
前記第１の読み出し要求手段による前記読み出し要求を用いて、前記映像記憶手段から、指定された前記入力映像を映像情報として読み出す読み出し制御手段と、
前記他の映像合成装置の前記映像情報送信手段から送信された前記映像情報を受信する映像情報受信手段と、
前記映像合成装置の前記読み出し制御手段によって読み出された前記映像情報と、前記映像情報受信手段によって受信された前記映像情報とを用いて、複数の個別の前記合成映像を生成する合成映像生成手段と
前記映像合成装置に入力される複数の前記入力映像の各々に対応するように設けられ、前記入力画像を１つ又は複数の縮小率でそれぞれ縮小することにより、複数の縮小映像群を生成する複数の縮小手段と、を備え、
前記映像記憶手段は、前記複数の縮小映像群をそれぞれ記憶し、
前記第１の読み出し要求手段は、読み出し対象である前記入力映像の前記縮小映像群を形成する１つ又は複数の縮小映像の中から、いずれかの前記縮小映像を指定して要求し、
前記第２の読み出し要求手段は、読み出し対象である前記入力映像の前記縮小映像群を形成する１つ又は複数の縮小映像の中から、いずれかの前記縮小映像を指定して要求し、
前記読み出し制御手段は、前記第１の読み出し要求手段による前記読み出し要求と、前記要求受信手段によって受信された前記読み出し要求とを用いて、指定された前記入力映像のうち、指定された前記縮小映像を読み出すことを特徴とする映像合成装置。
前記他の映像合成装置の前記要求送信手段から送信された前記読み出し要求を受信する要求受信手段をさらに備え、
前記読み出し制御手段は、
前記要求受信手段によって受信された前記読み出し要求を用いて、前記映像記憶手段から、指定された前記入力映像を映像情報として読み出し、
前記要求受信手段によって受信された前記読み出し要求に応じて読み出された前記映像情報を、前記他の映像合成装置に送信する映像情報送信手段
をさらに備えることを特徴とする請求項１記載の映像合成装置。
前記要求送信手段によって送信される前記読み出し要求と、前記映像情報送信手段によって送信される映像情報とを多重化して前記他の映像合成装置に送信する情報送信手段と、
前記他の映像合成装置の前記情報送信手段から送信された情報を受信することにより、前記読み出し要求と前記映像情報とに分離し、このうち前記読み出し要求を前記読み出し制御手段に出力し、前記映像情報を前記合成映像生成手段に出力する情報受信手段と
を備えることを特徴とする請求項１記載の映像合成装置。
前記合成映像生成手段は、
前記映像合成装置の前記読み出し制御手段によって読み出された前記映像情報と、前記映像情報受信手段によって受信された前記映像情報を受信する際には、前記映像配置情報と関連付けるようにして受信する
ことを特徴とする請求項１記載の映像合成装置。
前記映像合成装置の前記読み出し制御手段によって読み出された前記映像情報と、前記映像情報受信手段によって受信された前記映像情報とを用いて、前記合成映像生成手段が前記合成映像を生成する場合における合成の順序を規定した合成情報を、前記映像配置情報を用いて生成し前記合成映像生成手段に出力する合成情報生成手段をさらに備え、
前記合成映像生成手段は、前記合成情報を用いて前記合成映像を生成する
ことを特徴とする請求項１記載の映像合成装置。
１つ又は複数の合成映像それぞれに対して用意された映像配置情報を用いて、複数の入力映像を合成することにより、前記映像配置情報に対応する１つ又は複数の前記合成映像を生成する映像合成装置において、
前記映像合成装置とは異なる他の映像合成装置に接続するための映像合成装置接続手段と、
前記映像合成装置に入力される複数の前記入力映像と、前記他の映像合成装置に入力される複数の前記入力映像とが所望の位置にそれぞれ配置される前記合成映像の前記映像配置情報を保持する映像配置情報保持手段と、
前記映像合成装置に入力される複数の前記入力映像を一時的に記憶する映像記憶手段と、
前記映像配置情報を用いて、前記映像合成装置の前記映像記憶手段から読み出す前記入力映像を指定することにより、読み出し要求を行う第１の読み出し要求手段と、
前記映像配置情報を用いて、前記他の映像合成装置の前記映像記憶手段から読み出す前記入力映像を指定することにより、読み出し要求を行う第２の読み出し要求手段と、
前記第２の読み出し要求手段による前記読み出し要求を、前記他の映像合成装置に送信する要求送信手段と、
前記第１の読み出し要求手段による前記読み出し要求を用いて、前記映像記憶手段から、指定された前記入力映像を映像情報として読み出す読み出し制御手段と、
前記他の映像合成装置の前記映像情報送信手段から送信された前記映像情報を受信する映像情報受信手段と、
前記映像合成装置の前記読み出し制御手段によって読み出された前記映像情報と、前記映像情報受信手段によって受信された前記映像情報とを用いて、１つ又は複数の前記合成映像を生成する１つ又は複数の合成映像生成手段と、を備え、
前記合成映像生成手段は、前記合成映像をライン単位で生成し、現在生成している前記合成映像のライン番号を保持し、
前記第１の読み出し要求手段は、前記合成映像の前記ライン番号より先の番号のラインに配置されている各前記入力映像のライン番号を指定して読み出し要求を行い、
前記第２の読み出し要求手段は、前記合成映像の前記ライン番号より先の番号のラインに配置されている各前記入力映像のライン番号を指定して読み出し要求を行い、
前記読み出し制御手段は、前記映像記憶手段から、指定された前記入力映像のうち、指定されたライン番号のラインを読み出し、
前記合成映像生成手段は、前記読み出し制御手段によって読み出された前記ラインを用いて、前記合成映像のラインを生成する
ことを特徴とする映像合成装置。
前記先のライン番号は、２ライン先のライン番号である
ことを特徴とする請求項６記載の映像合成装置。
前記合成情報生成手段は、現在生成している前記合成映像のライン番号の２ライン先の前記合成情報を生成して前記合成映像生成手段に出力し、
前記合成映像生成手段は、前記合成情報を一旦記憶し、現在生成している前記合成映像のライン番号が２つの先のライン番号に移行した際に、記憶されている前記合成情報を読み出し、当該読み出した前記合成情報に応じて前記合成映像を生成する
ことを特徴とする請求項７記載の映像合成装置。
１つ又は複数の合成映像それぞれに対して用意された映像配置情報を用いて、複数の入力映像を合成することにより、前記映像配置情報に対応する１つ又は複数の前記合成映像を生成する映像合成装置において、
前記映像合成装置とは異なる他の映像合成装置に接続するための映像合成装置接続手段と、
前記映像合成装置に入力される複数の前記入力映像と、前記他の映像合成装置に入力される複数の前記入力映像とが所望の位置にそれぞれ配置される前記合成映像の前記映像配置情報を保持する映像配置情報保持手段と、
前記映像合成装置に入力される複数の前記入力映像を一時的に記憶する映像記憶手段と、
前記映像配置情報を用いて、前記映像合成装置の前記映像記憶手段から読み出す前記入力映像を指定することにより、読み出し要求を行う第１の読み出し要求手段と、
前記映像配置情報を用いて、前記他の映像合成装置の前記映像記憶手段から読み出す前記入力映像を指定することにより、読み出し要求を行う第２の読み出し要求手段と、
前記第２の読み出し要求手段による前記読み出し要求を、前記他の映像合成装置に送信する要求送信手段と、
前記第１の読み出し要求手段による前記読み出し要求を用いて、前記映像記憶手段から、指定された前記入力映像を映像情報として読み出す読み出し制御手段と、
前記他の映像合成装置の前記映像情報送信手段から送信された前記映像情報を受信する映像情報受信手段と、
前記映像合成装置の前記読み出し制御手段によって読み出された前記映像情報と、前記映像情報受信手段によって受信された前記映像情報とを用いて、１つ又は複数の前記合成映像を生成する１つ又は複数の合成映像生成手段と、
前記映像記憶手段に各前記入力映像の書き込みを行うと共に、現在書き込んでいる前記入力映像の書き込みライン番号を保持する書き込み制御手段と、
前記書き込みライン番号を前記他の映像合成装置に送信する書き込みライン番号送信手段と、
前記他の映像合成装置の前記書き込みライン番号送信手段から送信された前記書き込みライン番号を受信する書き込みライン番号受信手段とを備え、
前記映像記憶手段は、第１及び第２の記憶領域を有し、前記入力映像を映像フレーム単位で前記第１及び第２の記憶領域に交互に記憶し、
前記第１の読み出し要求手段は、前記書き込み制御手段が保持する前記書き込みライン番号を用いて、前記映像記憶手段が有する前記第１及び第２の記憶領域のいずれから、前記入力映像を読み出すかを判定し、当該判定された前記記憶領域を指定して要求し、
前記第２の読み出し要求手段は、前記要求受信手段によって受信された前記読み出し要求に対しては前記書き込みライン番号受信手段が受信した前記書き込みライン番号を用いて、前記他の映像合成装置の前記映像記憶手段が有する前記第１及び第２のいずれから、前記他の映像合成装置の入力映像を読み出すかを判定し、当該判定された前記記憶領域を指定して要求し、
前記読み出し制御手段は、前記映像記憶手段のうち、指定された前記記憶領域から前記映像情報を読み出す
ことを特徴とする映像合成装置。
複数の合成映像それぞれに対して用意された映像配置情報を用いて、複数の入力映像を合成することにより、前記映像配置情報に対応する複数の個別の前記合成映像を生成する映像合成方法において、
前記映像合成装置とは異なる他の映像合成装置に接続するステップと、
前記映像合成装置に入力される複数の前記入力映像と、前記他の映像合成装置に入力される複数の前記入力映像とが所望の位置にそれぞれ配置される前記合成映像の前記映像配置情報を、生成する合成映像ごとに個別に保持するステップと、
前記映像合成装置に入力される複数の前記入力映像を一時的に映像記憶手段に記憶するステップと、
前記映像配置情報を用いて、前記映像合成装置の前記映像記憶手段から読み出す前記入力映像を、生成する合成映像ごとに個別に指定することにより、第１の読み出し要求を行うステップと、
前記映像配置情報を用いて、前記他の映像合成装置の前記映像記憶手段から読み出す前記入力映像を、生成する合成映像ごとに個別に指定することにより、第２の読み出し要求を行うステップと、
前記第２の読み出し要求を、前記他の映像合成装置に送信するステップと、
前記第１の読み出し要求を用いて、前記映像記憶手段から、指定された前記入力映像を映像情報として読み出すステップと、
前記他の映像合成装置から送信された前記映像情報を受信するステップと、
前記映像合成装置の前記映像記憶手段から読み出された前記映像情報と、受信された前記映像情報とを用いて、複数の個別の前記合成映像を生成するステップと、
前記映像合成装置に入力される複数の前記入力映像の各々に対応するように設けられ、前記入力画像を１つ又は複数の縮小率でそれぞれ縮小することにより、複数の縮小映像群を生成するステップと、を備え、
前記映像記憶手段は、前記複数の縮小映像群をそれぞれ記憶し、
前記第１の読み出し要求は、読み出し対象である前記入力映像の前記縮小映像群を形成する１つ又は複数の縮小映像の中から、いずれかの前記縮小映像を指定して要求し、
前記第２の読み出し要求は、読み出し対象である前記入力映像の前記縮小映像群を形成する１つ又は複数の縮小映像の中から、いずれかの前記縮小映像を指定して要求し、
前記入力映像を映像情報として読み出すステップは、前記第１および第２の読み出し要求を用いて、指定された前記入力映像のうち、指定された前記縮小映像を読み出す
を備えることを特徴とする映像合成方法。
複数の合成映像それぞれに対して用意された映像配置情報を用いて、複数の入力映像を合成することにより、前記映像配置情報に対応する複数の個別の前記合成映像を生成する映像合成装置の映像合成処理プログラムにおいて、
前記映像合成装置とは異なる他の映像合成装置に接続するステップと、
前記映像合成装置に入力される複数の前記入力映像と、前記他の映像合成装置に入力される複数の前記入力映像とが所望の位置にそれぞれ配置される前記合成映像の前記映像配置情報を、生成する合成映像ごとに個別に保持するステップと、
前記映像合成装置に入力される複数の前記入力映像を一時的に映像記憶手段に記憶するステップと、
前記映像配置情報を用いて、前記映像合成装置の前記映像記憶手段から読み出す前記入力映像を、生成する合成映像ごとに個別に指定することにより、第１の読み出し要求を行うステップと、
前記映像配置情報を用いて、前記他の映像合成装置の前記映像記憶手段から読み出す前記入力映像を、生成する合成映像ごとに個別に指定することにより、第２の読み出し要求を行うステップと、
前記第２の読み出し要求を、前記他の映像合成装置に送信するステップと、
前記第１の読み出し要求を用いて、前記映像記憶手段から、指定された前記入力映像を映像情報として読み出すステップと、
前記他の映像合成装置から送信された前記映像情報を受信するステップと、
前記映像合成装置の前記映像記憶手段から読み出された前記映像情報と、受信された前記映像情報とを用いて、複数の個別の前記合成映像を生成するステップと、
前記映像合成装置に入力される複数の前記入力映像の各々に対応するように設けられ、前記入力画像を１つ又は複数の縮小率でそれぞれ縮小することにより、複数の縮小映像群を生成するステップと、をコンピュータに実行させ、
前記映像記憶手段は、前記複数の縮小映像群をそれぞれ記憶し、
前記第１の読み出し要求は、読み出し対象である前記入力映像の前記縮小映像群を形成する１つ又は複数の縮小映像の中から、いずれかの前記縮小映像を指定して要求し、
前記第２の読み出し要求は、読み出し対象である前記入力映像の前記縮小映像群を形成する１つ又は複数の縮小映像の中から、いずれかの前記縮小映像を指定して要求し、
前記入力映像を映像情報として読み出すステップは、前記第１および第２の読み出し要求を用いて、指定された前記入力映像のうち、指定された前記縮小映像を読み出すことを特徴とするコンピュータ読み出し可能な映像合成装置の映像合成処理プログラム。