WO2003041403A1

WO2003041403A1 - Video synthesizer

Info

Publication number: WO2003041403A1
Application number: PCT/JP2002/011663
Authority: WO
Inventors: Kenjiro Matsubara
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2001-11-09
Filing date: 2002-11-08
Publication date: 2003-05-15
Also published as: US7280158B2; EP1447978A4; CN1258284C; JP2003153080A; CN1586070A; US20050041153A1; EP1447978A1

Description

明細書映像合成装置技術分野

本発明は、映像と静止画像とを合成する技術に関する。背景技術

テレビ放送業界等においては、ビデオカメラで撮影された映像や、ビデオデッキで再生された映像に、テロップ文字を表示する画像合成処理が多く行われている。画像合成は、主にスィッチヤーと呼ばれる機器が用いられる。図 1は、スィツチヤー 1による画像の合成を示す模式図である。スィッチヤー « 1は、合成を行う背景用映像 2とテロップ用映像 3とを受け取り、合成する。より具体的には、スィッチヤー機器 1は、背景用の映像 2に相当する映像信号を、映像信号を伝送するビデオケーブル 4を介して受け取る。また、スィッチヤー機器 1は、テ口ップ用映像 3に相当する映像信号を、映像信号を伝送するビデオケーブル 5を介して受け取る。スィッチヤー 1は、ユーザの操作に基づく動作指示により、または、外部機器（図示せず）力ゝらの制御指示により、受け取った 2つの映像信号を合成して合成映像信号を生成して、出力する。図には、合成映像信号が表す映像 7が示されている。

スィツチヤーで画像を合成する際には、主にクロマキ一と呼ばれる技術が用いられる。クロマキ一技術の概要を説明すると、まず、背景画像 2の映像信号と、テロップ画像 3として、青色をバックにした文字の映像信号とを入力する。そして、背景画像 2からテロップ画像 3の青色以外の部分を抜き取った画像と、テロップ画像 3から青色部分を抜き取った画像を合成することによって合成画像 7を得る。クロマキ一技術を利用した画像の合成では、テロップ画像 3がスィッチヤ一 1に入力される際、画面と同じ大きさを持つ画像の映像信号を、コンポーネント信号等のアナ口グ形式で伝送することがほとんどであつた。

しかしながら上述した方法では、画面の下部にのみ静止画像（テロップ文字等）を表示する場合でも、画面全体の大きさの静止画像 3が必要になる。これでは、ビデオケーブル (伝送路） 5に流れる信号量（静止画像 3のデータ量）は大きくなり、無駄である。

さらに、静止画像 3のデータ量が大きくなると、 1枚の画像が消費するメモリ容量が大きくなる。したがって、多くの画像を記憶'表示しょうとすると、大容量のメモリが必要になり、装置のコストが高価になる。また、表示されるテロップ文字の位置を変更する場合、その画像の画像データを変更して改めて伝送しなおす必要があるため、作業効率が悪い。発明の開示

本発明の目的は、合成される静止画像のデータ量を減少させて、伝送時間を短縮し、かつ、画像が消費するメモリ使用量を減少させることである。また、本発明の他の目的は、合成される静止画像の表示位置を容易に変更させ、作業効率を向上させることである。

本発明の映像合成装置は、映像と静止画像とを合成する映像合成装置であって、映像を含む映像信号を受け取る映像信号受信部と、前記映像の表示サイズよりも小さい表示サイズを有する静止画像、および、前記映像に対する該静止画像の合成位置を示す位置データを含む複合信号を受け取る通信部と、通信部が受け取つた前記複合信号から得られた前記静止画像、および、前記位置データを記憶する記憶部と、記憶部に記憶された前記位置データに基づいて、映像信号受信部が受け取つた前記映像信号から得られた前記映像、およぴ、記憶部に記憶された前記静止画像を合成して出力する合成部とを備えている。

記憶部に記憶された前記位置データを連続的に変更して、前記映像に対する前記静止画像の合成位置を連続的に変化させる変更制御部をさらに備えていてもよい。

記憶部は、複数の静止画像と、対応する複数の位置データを記憶し、合成部は、前記複数の位置データの各々に基づいて、前記映像、および、前記複数の静止画像を合成して出力してもよい。

前記映像信号から得られた前記映像を、フレーム画像として取得するフレーム取得部をさらに備え、通信部は、フレーム取得部が取得した前記フレーム画像を出力してもよい。

通信部は、映像合成装置の動作を制御する制御コマンドを送受信してもよい。前記映像信号に含まれる映像の情報量は、圧縮されていてもよい。

前記複合信号に含まれる静止画像の情報量は、圧縮されていてもよい。

前記映像信号に含まれる映像の情報量は、圧縮されており、前記複合信号に含まれる静止画像の情報量は、圧縮されていなくてもよい。

映像信号受信部は、持ち運び可能な記録媒体に記録されたデータに基づいて生成された映像信号を受け取ってもよい。

通信部は、持ち運び可能な記録媒体に記録されたデータに基づいて生成された複合信号を受け取ってもよい。

映像信号受信部および通信部の少なくとも一方は、データを伝送するネットヮークと接続されており、前記ネットワークから、映像信号および複合信号の少なくとも一方を受け取ってもよい。

前記映像信号は、映像を表す部分と、映像を表す部分以外のブランキング部分とを有し、つ、前記複合信号は、前記映像信号のプランキング部分にインターリーブされており、映像信号受信部は、受信した前記映像信号から、前記複合信号を分離して、通信部に伝送してもよい。 -—— - 本発明の画像合成装置では、映像信号に合成される静止画像のデータとともに、その静止画像の位置データが入力される。静止画像は、映像信号上に表示される部分のみであるため、伝送路に流れるデータ量が減少し伝送路のコストを抑えることができる。さらに、静止画像のデータ量が減少するので、静止画像を保持するために消費するメモリ量も減少する。これにより装置自身のコストを抑えることができる。

また、位置データを変更することで静止画像を移動できるので、静止画像の位置変更ゃスクロールを容易に行うことができる。

以下、作用を説明する。

第 1の発明によれば、位置データに基づいて、静止画像を映像信号上の任意の位置に表示できる。静止画像の表示位置変更が容易な上に、テロップ文字が画面の一部の領域にしか表示されないような場合に静止画像の大きさを表示されるテ口ップ文字の部分のみにすることができ、画面全体の大きさの静止画像を用いるときに比べて装置に伝送する静止画像のデータ量が減少する。このことにより、伝送時間が短縮されるうえに伝送路のコストが抑えられる。また、装置で 1枚の画像が消費するメモリ容量が減少するのでメモリのコストを抑えつつ多くの静止画像を記憶させることが可能になる。

第 2の発明によれば、記憶部に記憶された位置データを装置側のプログラムで変更できる。映像信号上に表示した静止画像の表示位置を装置側で自動的に変更して静止画像を移動させることが可能になる。

第 3の発明によれば、映像信号上に同時に複数の静止画像を表示できる。複数の静止画像を横または縦に並べてそれぞれの表示位置を変更することで、数画面分あるテロップをスクロール表示させることができる。また、複数の静止画像を合成して出力でき、映像信号が入力されなくても、静止画像のみで合成を行うことができる。

第 4の発明によれば、入力された映像信号の映像を静止画像として取り込むフレーム取得部を備え、取り込んだ静止画像を通信部で出力できる。映像信号の 1 場面を静止画像として取り込んで保存しておき、後で別の静止画像との画像合成に用いることができる。 ' - 第 5の発明によれば、通信部で装置の制御データを送受信できる。静止画像とその位置データを画像合成装置に伝送してくる外部機器から画像合成装置の制御を行うことができる。

第 6および 7の発明によれば、入力される映像信号と静止画像の少なくともいずれか一方が圧縮されたデータである。圧縮したデータを用いることで、伝送路やメモリのコストをより抑えることができる。

第 8の発明によれば、入力される映像信号は圧縮されたデータ、入力される静止画像は非圧縮のデータである。テロップのみを非圧縮で伝送して映像信号上に表示することで、テロップを合成した画像を圧縮して伝送する場合に比べて高品質なテロップの表示ができる。

第 9および 1 0の発明によれば、映像信号入力部への入力と通信部への入力の少なくともいずれか一方が、持ち運び可能な記録媒体によって行われる。撮影した映像とそのテ口ップを遠隔地で合成に用いることができる。

第 1 1の発明によれば、映像信号受信部への入力と通信部への入力の少なくともレ、ずれか一方が、有線ネットワークまたは無線ネットワークに接続されており、ネットワークから、映像信号および複合信号の少なくとも一方を受け取る。これにより、撮影した映像とそのテロップを遠隔地で合成に用いることができる。第 1 2の発明によれば、複合信号は、映像信号のブランキング部分にインターリーブされており、映像信号受信部は、受信した映像信号から、複合信号を分離して、通信部に伝送する。映像信号と複合信号の全てを映像信号入力部から得ることができるため、伝送路のコストを抑えることができる。図面の簡単な説明

以下、添付の図面を参照して、本発明の実施の形態を説明する。

図 1は、スィツチヤーによる画像の合成を示す模式図である。

図 2は、本実施の形態による第 1の映像合成装置の構成を示すプロック図である。

図 3は、映像合成装置に入力される映像の例を示す図である。

図 4は、映像合成装置に入力される静止画像の例を示す図である。 · - 図 5は、画素データのデータ構造を示す図である。

図 6は、記憶部における静止画像の記憶状態を表す概略図である。

図 7は、静止画像を含む管理領域の拡大図である。

図 8は、映像と静止画像とを合成して得られる合成画像を示す図である。

図 9 Aは、読み出されるデータ領域が記憶された管理領域を示す図である。図 9 Bは、映像に合成された、静止画像を含む表示領域を示す図である。

図 1 O Aは、読み出されるデータ領域が記憶された管理領域を示す図である。図 1 0 Bは、映像に合成された、静止画像を含む表示領域を示す図である。図 1 1 Aおよび図 1 1 Bは、記憶領域上の静止画像、記憶領域上の静止画像、記憶領域上の静止画像、読み出される静止画像の領域、入力される映像信号の領域、表示される静止画像 4 0を示す図である。図 1 2 Aおよび図 1 2 Bは、読み出される静止画像の領域、読み出される静止画像の領域、表示される静止画像を示す図である。

図 1 3 Aおよび図 1 3 Bは、読み出される静止画像の領域、読み出される静止画像の領域、表示される静止画像を示す図である。

図 1 4 Aおよぴ図 1 4 Bは、読み出される静止画像の領域、およぴ表示される静止画像を示す図である。

図 1 5は、本実施の形態による第 2の映像合成装置の構成を示すブロック図である。

図 1 6は、制御データの伝送順序の例を示す図である。発明を実施するための最良の形態

以下、図面を参照して、本発明の実施の形態を説明する。

図 2は、本実施の形態による映像合成装置 8の構成を示すプロック図である。映像合成装置 8は、映像信号受信部 1 2と、データ通信部 1 3と、記憶部 1 4と、合成部 1 5とを備えている。映像合成装置 8は、映像 9と、静止画像 1◦とを合成して、合成映像 1 6を生成する。

映像合成装置 8の各構成要素を説明する。映像信号受信部 1 2は、ビデオデッキ、力メラ等の外部機器から、映像信号として映像 9を受け取り、-合成部 1 5に出力する。映像 9は、動画であっても静止画であってもよい。データ通信部 1 3 は、パーソナルコンピュータ（以下、 P Cという）等の外部機器から信号を受け取る。その信号は、映像 9に合成すべき静止画像 1 0と、入力される静止画像の映像信号上における位置データ 1 1とを含む複合信号である。静止画像 1 0は、図示されるように適当な図形でもよいし、また、字幕等であってもよい。静止画像 1 0およびその位置データは、後に詳述する。なお、映像信号および複合信号は、 S D Iケーブルやコンポジットケーブル等を用いて伝送される。また、例えば、 P Cを利用する場合には、 L AN、 U S B , I E E E 1 3 9 4等を介して静止画像を入力できる。また、静止画像は、フレキシブルディスクや光ディスク等の記憶媒体を用いて静止画像を入力してもよい。

データ通信部 1 3は、受信した複合信号を、記憶部 1 4に出力する。記憶部 1 4は、複合信号を受け取り、記憶する。また、記憶部 14は、複合信号に含まれる静止画像、および/または、位置データの読み出し指示があれば、そのデータを読み出し、出力する。記憶部 14は、例えば、ダイナミックランダムアクセスメモリ（DRAM) 等の半導体記憶装置、ハードディスクドライブ（HDD) 、磁気テープ等の磁気記憶装置等の記憶装置である。合成部 15は、映像信号受信部 12力、ら映像 9を受け取り、また、記憶部 14力ら静止画像の画像データ、および、位置データを受け取り、合成する。合成部 15は、合成した映像（合成映像 16) を合成映像信号として出力する。出力された合成映像 16は、ディスプレイ等の表示部（図示せず）に表示される。

続いて、映像信号受信部 12力ビデオデッキで再生された映像 9を表す映像信号を受け取り、かつ、データ通信部 13が、 PCから送信された静止画像、およびその位置データを受け取る例を考える。

まず、映像信号がどのように映像合成装置 8に入力されるかを説明する。図 3 は、映像合成装置 8 (図 2) に入力される映像の例を示す図である。映像領域 1 7が表示される画面の幅を W、高さを Hとする。これらは、画素を 1単位としたときの長さを表す。まず、領域 17の最上部の 1ライン分の画素データが入力される。具体的には、左端（0， 0) から右端 (W-1, 0) までの画素の画素データが順に入力される。右端（w— 1, 0) の画素データが入力-される-と、 -続いて、次ラインの左端の画素から右端までの画素が順に入力される。すなわち、 (0， 1) から（W— 1， 1) までの画素データが入力される。以下同様にして、計 Hライン分の画素データが順次入力される。映像信号受信部 12 (図 2) は、以上のような手順に基づいて映像信号を受信するので、映像信号に基づいて、送信された映像を得ることができる。

次に複合信号がどのように映像合成装置 8に入力されるかを説明する。図 4は、映像合成装置 8 (図 2) に入力される静止画像の例を示す図である。枠 19内の三角形の画像が、合成される静止画像である。枠 19内の三角形の画像は、映像信号の領域 18に対して、図示されている位置に合成されるとする。なお、映像合成装置 8 (図 2) は、位置データに基づいて静止画像を映像に合成するため、静止画像は実際に表示される部分、つまり枠 19内の三角形の画像だけでよい。本実施の形態では、表示処理を簡単にするために、三角形を含む矩形領域 19を静止画像として用いる。この場合、矩形内の三角形以外の領域は、透明な部分を表すデータとして静止画像の画像データの一部を構成する。

静止画像を合成する位置を特定するために、映像合成装置 8 (図 2) は、複合信号に含まれる位置データを利用する。従来は、静止画像を表示する位置のデータが存在しなかったため、映像信号上に表示される部分が映像のごく一部に静止画像を合成する場合であっても、映像全体の領域 18の大きさの静止画像を入力する必要があった。本発明では、位置データを利用するので、必要最小限のサイズの静止画像を用意すれば足りる。これにより、合成される静止画像のデータ量を減少させることができ、よって伝送時間を短縮できる。

静止画像の位置データ 1 1は、三角形を囲む矩形領域 19の左上の座標で表す。図示した例では、（a x l, a y 1) である。複合信号は、静止画像を表す信号と、それに続く、位置データを表す信号とから構成される。すなわち、データ通信部 13は、まず静止画像を受け取り、次に位置データを受け取る。データ通信部 13には、静止画像領域 19の最上ライン分の画素データが入力される。すなわち、左端（a X 1， a y 1) から右端（a x 2， a y 1) までの画素の画素データが順に入力される。最上ライン右端 (a X 2, a y 1) の画素データが入力されると 1つ下の次ラインに移り、同様に左端（a x l, a y 1 +· 1) から右端 (a x 2, a y 1 + 1) までの画素データが入力される。以下同様にして、領域 19内の全ラインの画素データが順次入力される。静止画像が入力された後、

(a X 1, a y 1) で表される位置データ 1 1が入力される。位置データは X座標と Y座標それぞれ 2バイトの大きさをもち、 X座標データが最初に入力された後 Y座標データが入力される。

次に、静止画像を構成する各画素の画素データの構成を説明する。画素データは、輝度データ Y、色差データ P bと P r、透過率の画素データ Kから構成されている。図 5は、画素データのデータ構造を示す図である。図示されるように、画素データは、 κ， Y, P b, P rの順で並べられ、この順で映像合成装置 8

(図 2) に入力される。輝度データ Y、および、色差データ Pb, P rは、画素の色を表すデータである。透過率データ Kは、画素がどの程度透けているかを表すデータである。透過率 Kが 0であれば、映像 9 (図 2 ) と合成されたとき、画素は本来の色で表示される。透過率 Kが 0でない場合は、画素が半透明の状態で表示されることを意味する。したがって、映像 9 (図 2 ) と合成されたとき、その下にある映像 9 (図 2 ) が透けて見える。透過率 Kが最大になると、画素は完全に透明になり、映像 9 (図 2 ) のみを表示する場合と同じ状態で合成される。これらのデータは、それぞれが 1バイトであり、 0〜2 5 5の値をもつ。静止画像を構成する各画素は、赤 ·緑 ·青の三原色からなる R G Bデータで表されていることが多い。この場合には、次式で Y、 P b、 P rのデータに変換する。

Y = 0. 299*R + 0. 587*G + 0. 114*B

Pr = 0. 5*R - 0. 4187*G - 0. 0813*B + 128

Pb = -0. 1687*R —0. 3313*G + 0. 5*B + 128

映像 9 (図 2 ) との合成に際しては、透過率 Kは、そのまま使用できる。しかし、静止画像の種類によっては透過率を持たない場合がある。そのような場合は透過率 Kを 0に設定して、画素をそのまま表示する。すなわち、映像 9 (図 2 ) が透けて見えないように合成される。なお、設定する透過率 Kの値は 0に限られない。 0以外の固定の値に設定してもよいし、静止画像の大きさや表示位置、その静止画像を表示し始めてからの経過時間等に応じて画像合成装置内で自動的に値を変えるようにしでもよい。また、静止画像や位置データと共に、外部から透過率自体や透過率を制御する指示を入力してもよい。静止画像を P Cから入力する場合、 P C上で動作するアプリケーション等のプログラムで画素データを変換し、位置データを設定してもよい。ここでは静止画像の画素を Y， P b , P r , Kのデータに変換して入力する例を示したが、入力される画素の形式は任意である。また、静止画像を入力する機器も P C以外の機器であってもよい。

次に、静止画像がどのように記憶部 1 4 (図 2 ) に記憶されるかを説明する。データ通信部 1 3 (図 2 ) で受信された静止画像およびその位置データは、記憶部 1 4に記憶される。本実施の形態では、実際に表示される部分の静止画像のみがデータ通信部 1 3 (図 2 ) で受信される。したがって、従来のような、合成される映像 9 (図 2 ) と同じ大きさの領域の画像が必要ないので、記憶部 1 4 (図 2 ) が消費するメモリ容量を大幅に低減できる。いうまでもなく、静止画像の記憶に必要な記憶容量は、静止画像の大きさによって変化する。

図 6は、記憶部 1 4 (図 2 ) における静止画像の記憶状態を表す概略図である。 1画面分の容量を示す部分記憶領域 2 0には、複数の静止画像 2 1、 2 2、 2 3 が記憶されている。部分記憶領域 2 0では、 1画面を上下方向に 4分の 1づっした領域を最小の管理単位としている。静止画像の縦方向の長さ、すなわち高さ

(図 4の（a y 2— a y l ) ) に応じて、使用する管理領域数を変更することにより、管理が簡単でかつ記憶領域を無駄にすることなく、静止画像を記憶できる。静止画像 2 1と静止画像 2 3は、画像の高さが、 1画面の高さの 4分の 1以下であるため、使用する管理領域は 1つである。一方、静止画像 2 2は、画像の高さが画面の高さの 4分の 1以上、かつ、 2分の 1以下であるため、使用する管理領域は 2つである。管理領域には、 1から順に管理番号を割り当てておき、各静止画像が記憶されている領域の開始番号として利用する。静止画像 2 1の場合には、開始番号 1で使用領域数 1、静止画像 2 2の場合には、開始番号 2で使用領域数 2、静止画像 2 3の場合には、開始番号 4で使用領域数 1である。開始番号と使用領域数は、位置データとともに記憶部 1 4 (図 2 ) の記憶領域上に記憶しておく。合成部 1 5 (図 2 ) は、開始番号と使用領域数を利用して、合成を行う際に必要な静止画像を取得する。

静止画像は、管理領域単位で読み出される。映像上に静止画像が表示される際には、画面内に収まる管理領域全体が表示の対象になる。そのため、静止画像 2 1のように入力された部分が、管理領域の一部し力使用しない場合、それ以外の部分を透明なデータにしておく必要がある。透明なデータにするには前述の透過率 Kを最大値に設定すればよい。

図 7は、静止画像 2 1を含む管理領域の拡大図である。この管理領域は、静止画像 2 1の画像データが鲁き込まれる領域 2 4と、静止画像 2 1の画像データが書き込まれない領域 2 5とから構成される。領域 2 5の記憶素子の初期値は、必ずしも透明を表すデータであるとは限らないので、静止画像 2 1が入力され、領域 2 4に記憶された際に、映像合成装置 8 (図 2 ) の制御部（図示せず）は、領域 2 5の記憶素子を、透明を表すデータに設定する。この動作は、映像合成装置 8 (図 2 ) の内部で記憶領域を書き換えるだけの処理であるので、外部から透明なデータを入力する場合に比べはるかに高速に行うことができる。

なお、上述した静止画像の記憶方法は一例であり、記憶の順序、管理領域を設定するカゝ否か、設定した場合の領域の大きさ等は任意である。例えば、管理領域の大きさを、静止画像データや位置データ等の、格納するデータの大きさに合わせて可変とし、記憶領域に、新たに、各管理領域の先頭アドレスと、格納される静止画像の大きさとを記憶するテーブルを設ける。これにより、記憶領域をさらに節約でき、管理領域のうち、空き領域を透明なデータに設定する必要がなくなる。また、静止画像の位置データも、静止画像に対応した位置データを取り出せるのであれば、どのように記憶されていてもよい。

次に、合成部 1 5 (図 2 ) 力映像と静止画像とを合成して、合成映像を生成する手順を説明する。前述したように、記憶部 1 4 (図 2 ) の記憶領域には複数の静止画像が記憶されている場合があるので、その中から合成に必要な静止画像を選択する必要がある。合成部 1 5 (図 2 ) は、記憶領域の管理番号を指定して、静止画像を選択する。記憶部 1 4 (図 2 ) は、合成部 1 5から管理番号を指定されると、その番号が示す領域に記憶された静止画像の開始番号、使用している領域数、位置データを読み出す。そして、開始番号が示す領域から、使用している領域数だけ、画像データを読み出す。合成部 1 5 (図 2 ) は、読み出された静止画像の画像データと位置データを受け取り、映像信号に合成するこ-とによ-り、映像上に静止画像が表示される。図 8は、映像（図 3 ) と静止画像（図 4 ) とを合成して得られる合成画像の例を示す図である。なお、読み出した静止画像が、必要な静止画像である力否かは、ユーザは実際に画面に表示されるまで知ることができない。したがって、合成処理の前に、図 8に示す静止画像のみを表示させてもよい。

静止画像データを読み出す際には、読み出される表示データの大きさとその読み出し開始アドレスは、静止画像の表示位置によって異なる。図 9 Aおよび図 9 B、図 1 O Aおよび図 1 O Bは、静止画像の読み出しと、表示との関係を示す図である。なお、以下の説明は一例であって、他のどのような方法であっても映像信号との合成に問題はない。

図 9 Aおよぴ図 9 Bは、静止画像の左上端が、合成の対象となる映像内の位置 (a x 1, a y 1) に存在する場合の、静止画像の読み出しと、表示との関係を示す図である。図 9 Aは、読み出されるデータ領域 28が記憶された管理領域 2 7を示す。図 9 Bは、映像 29に合成された、静止画像を含む表示領域 30を示す。この例では、静止画像は、その左上端から表示される。表示される領域 30 の幅は（W— a X 1) で表されるので、合成部 1 5 (図 2) は、記憶領域 27の開始アドレスである 0 X 000000から、幅が（W— a x l) で高さが 1管理領域分のデータを読み出す。上述のように、 1画素は 4バイトのデータから構成されるので、最初の 1ラインのデータとして 0 X 000000からの（W— a x 1) * 4バイトのデータを読み出す。以降、読み出し開始アドレスを 0 X 000 000から（W* 4) ずつ増加させながら（W— a x l) * 4バイトのデータを読み出す、という作業を繰り返せばよい。

図 10 Aおよび図 10 Bは、静止画像の左上端が、合成の対象となる映像外の位置（一a x 2， a y 2) に存在する場合の、静止画像の読み出しと、表示との関係を示す図である。図 1 0 Aは、読み出されるデータ領域 32が記憶された管理領域 3 1を示す。図 1 0 Bは、映像 33に合成された、静止画像を含む表示領域 34を示す。この例では、静止画像はその左上端から X方向に a X 2だけ移動した位置から表示される。よって、読み出し開始アドレスは 0 X 000000 + a x 2 *4となる。表示される領域 3 2は、幅が W— a x 2で高さが 1管理領域分の領域であるので、合成部 1 5 (図 2) は、最初の 1ラインのデータとして 0 X◦ 00000 + a X 2 * 4から（W_a x 2) * 4バイトのデータを読み出す。以降、読み出し開始アドレスを 0 X 00000 O + a X 2 * 4から（W* 4) ずつ増加させながら（W— a x 2) * 4バイトのデータを読み出すという作業を繰り返せばよい。

記憶部 14に記憶された静止画像の位置データは、必ずしも外部からのデータ入力によって更新される必要はない。映像合成装置 8 (図 2) の位置データを変更するプログラムで動作する変更制御部（図示せず）力記憶部 14 (図 2) に記憶された位置データを変更してもよい。この場合、プログラム処理で位置データを連続的に変化させることにより、映像上に表示された静止画像を、画面の左力ら右へ移動させる等の処理が実現できる。ここで、映像上に複数の静止画像を表示する場合、それぞれの位置データを連続的に変化させて、横や縦に長い静止画像をスクローノ示させることができる。例えば横 3画面分の細長い画像が画面の右から現れて左へスクロールし、画面の左に消えていく表示を考える。映像合成装置 8 (図 2 ) は、画像を 1画面ごとに分割し、それぞれを別々に表示処理を行う。図 1 1 A〜図 1 4 Bは、スクロール表示処理の手順を説明する図である。図 1 1 Aおよぴ図 1 1 Bには、記憶領域上の静止画像 3 5、記憶領域上の静止画像 3 6、記憶領域上の静止画像 3 7、読み出される静止画像 3 5の領域 3 8、入力される映像信号の領域 3 9、表示される静止画像 4 0が示されている。図 1 2 Aおよび図 1 2 Bには、読み出される静止画像 3 5 (図 1 1 A) の領域 4 1、読み出される静止画像 3 6 (図 1 1 A) の領域 4 2、表示される静止画像 4 3および 4 4が示されている。図 1 3 Aおよび図 1 3 Bには、読み出される静止画像 3 6 (図 1 1 A) の領域 4 5、読み出される静止画像 3 7 (図 1 1 A) の領域 4 6、表示される静止画像 4 7および 4 8が示されている。図 1 4 Aおよび図 1 4 Bには、読み出される静止画像 3 7 (図 1 1 A) の領域 4 9、表示される静止画像 5 0が示されている。

図 1 1 Bを参照して、まず、 3枚の静止画像のうち 1枚目の静止画像 3 5が、画面の左から現れる。静止画像 3 5の最初の位置データは、画面の右端である

(W— 1， y ) になる。その後、一定時間おきに、設定された移動量分だけ X座標を変化させ、静止画像の表示位置を変更する処理を行う。移動量が一定でかつある程度小さい値であれば、静止画像 3 5が左にスクロールしているように見える。図 1 1 Bは、静止画像 4 0の位置が（d x l、 y ) であるときの例である。静止画像 4 0の左上端が画面内であるため、記憶領域からの読み出し方法は図 9 Aおよび図 9 Bの例と同様であり、記憶領域の開始ァドレス 0 X 0 0 0 0 0 0力ら W— d X 1個の画素データを 1ラインずつ読み出す。

静止画像 4 0が、左に移動し、その左端が画面左から外に出た状態になった場合には、静止画像 4 0の隣に、次の静止画像 3 6を表示する。静止画像 3 6の表示位置は、静止画像 4 0の右上端の位置の 1画素右である。静止画像 3 6が画面に表示された後は、静止画像 3 5の表示位置変更処理の後に静止画像 3 6の表示位置変更処理を行う。ここで、静止画像 3 6の移動量は静止画像 3 5と同じ値を用いる。

図 12 Bは、第 1の静止画像 43と、後続の第 2の静止画像 44とを示す図である。静止画像 43は、静止画像 35 (図 1 1A) の一部であり、静止画像 44 は、静止画像 36 (図 11 A) の一部である。図 12Bは、静止画像 43の位置力 S (— d x 2、 y) 、静止画像 44の位置が（e x l， y) であるときの例である。静止画像 43の左上端は画面外であるため、記憶領域からデータを読み出す方法は、図 1 OAおよび図 1 OBの例と同様である。すなわち、記憶領域の開始了ドレスに d X 2個の画素分だけオフセットを加えた 0 x000000 + d x 2 * 4から W— d X 2個の画素データを 1ラインずつ読み出す。静止画像 44の左上端は画面内であるので、記憶領域からデータを読み出す方法は、図 9 Aおよび図 9 Bの例と同様であり、記憶領域の開始ァドレス Ox l O O O O Oから W— e X 1個の画素データを 1ラインずつ読み出す。

静止画像 43が完全に画面外に出た後は、静止画像 44と、静止画像 37 (図 11 A) の表示処理を行う。この処理は、静止画像 43と静止画像 44の表示処理と同様である。図 13Bは、第 2の静止画像 47と、後続の第 3の静止画像 4 8とを示す図である。静止画像 47は、静止画像 36 (図 1 1 A) の一部であり、静止画像 48は、静止画像 37 (図 1 1A) の一部である。

静止画像 47が完全に画面外に出た後は、静止画像 48のみの表示処理を行う。図 14Bは、第 3の静止画像 50の表示位置が（一f x 2, y) であるときの例を示す図である。静止画像 50は、静止画像 37 (図 11A) の一部である。静止画像 50の左上端は画面外であるため、記憶領域からデータを読み出す方法は、図 1 OAおよぴ図 10 Bの例と同様である。すなわち、記憶領域の開始ァドレスに f X 2個の画素分だけオフセットをカ Uえた 0 X 200000+ f x 2 * 4から W- f X 2個の画素データを 1ラインずつ読み出す。静止画像 50が完全に画面から外に出ると、表示処理は全て終了する。

以上の例では、 3画面の画像を横にスクロールさせる例を示した。し力し、静止画像が 3画面以外に亘つてもよい。また、縦に長い画像を縦にスクロールさせる場合も同様に画像を分割して、それぞれの表示位置を変更すればよい。

画像の合成は必ずしも映像信号と静止画像の組み合わせに限られない。例えば、映像合成装置 8 (図 2 ) は、静止画像と静止画像を合成して出力することもできる。背景に動きが必要ない場合であれば、静止画像のみの映像合成システムを構築することで、システムのコストを抑えることができる。

本実施の形態による映像合成装置は、入力された映像への静止画像の合成に用いられるだけではない。具体的には、映像合成装置は、入力された映像の 1フレームを取り込み、フレーム静止画像に変換し出力する機能を有していてもよい。映像信号を取り込んだ静止画像を外部機器に蓄積し、後に映像合成装置に入力して背景画像として利用することもできる。映像合成装置と外部機器との通信は、データ通信を行うデータ通信部を利用する。

図 1 5は、本実施の形態による映像合成装置 5 1の構成を示すブロック図である。映像合成装置 5 1は、映像信号受信部 5 4と、データ通信部 5 5と、フレーム取得部 5 6と、記憶部 5 7と、合成部 5 8とを備えている。データ通信部 5 5 は、データ通信部 1 3 (図 2 ) と同等の機能を有し、さらに、外部機器へのデータ送信機能も備える。映像合成装置 5 1は、映像合成装置 8 (図 2 ) と同様、映像と静止画像とを合成して出力する機能を有する。映像合成装置 8 (図 2 ) の構成要素と同じ名称を付した映像合成装置 5 1の構成要素は、同じ機能を有するので、その説明は省略する。

以下、映像合成装置 5 1に新たに設けたフレーム取得部 5 6と、フレーム取得部 5 6に関連する映像合成装置 5 1の動作を説明する。フレーム取得部 5 6は、映像信号受信部 5 4に入力された、映像 5 2を表す映像信号を利用して、映像 5 2のフレームを抽出して取得する。フレームの取り込みを行う場合、映像合成装置 5 1内部の映像信号の伝送路が切り替えられ、映像信号がフレ^ "ム取得部 5 6 に入力される。フレーム取得部 5 6は、取り込みの指示があった時点の映像信号のフレームを取りこみ、データ通信部 5 5を用いて外部に出力する。映像信号の 1フレームを静止画像として取り込むので、出力される静止画像の大きさは常に映像信号の大きさと同じ（W， H) になる。

画素は入力される静止画像と同様、輝度データ Y、色差データ P bと P r、透過率のデータ Kであり、それぞれが 1バイトの大きさを持ち、 K， Y， P b， P rの I噴で出力される。輝度データ Yと色差データ P bと P rは映像信号からそのまま得ることができるが、透過率のデータは映像信号には含まれないので、透過率を 0にして元の画素をそのまま表示するように設定する。なお、設定する透過率 Kの値は 0に限られない。 0以外の固定の値に設定してもよいし、静止画像の大きさや表示位置、その静止画像を表示し始めてからの経過時間等に応じて画像合成装置が自動的に値を変更してもよい。また、静止画像や位置データと共に、外部から透過率自体や透過率を制御する指示を入力してもよい。

フレームを構成する画素の伝送順についても、入力される静止画像と同様であり、まず画像の左上端から右上端まで 1ライン目の画素を伝送し、その後、 2ライン目に移り、以下同様にして最下ラインまで伝送する。

以上、映像信号のフレームを取り込んで出力する一例を説明した。しかし、これは一例であって、他のどのような方法でも映像信号の取り込みに問題はない。例えば、フレーム取得部 5 6が取り込んだ静止画像をデータ記憶部 5 7に入力することも可能である。また、フレーム取得部 5 6が取り込んだ静止画像を合成部 5 8で自動的に拡大、縮小、回転して映像信号と合成することもできる。この時の拡大、縮小率や回転角度は合成装置 5 8に保持された固定の値でもよい。または、あらかじめ制御方法を記憶しておいてもよいし、データ通信部 5 5によって拡大、縮小率、回転角度やその制御方法を外部から入力してもよい。

映像合成装置 8 (図 2 ) または映像合成装置 5 1では、静止画像とその位置データを受け取るデータ通信部を用いて、制御データの送受信を行うこともできる。制御データとは、映像合成装置の動作を制御するデータであり、外部機器から映像合成装置に送信され、または、映像合成装置から外部機器に送信される。

制御データの機能の例は、以下のとおりである。まず、画像合成装置から外部機器に送信される制御データの機能は、（a ) 静止画像の表示位置変更、（b ) 静止画像の表示方法変更、（c ) 記憶部からの静止画像の削除、 ( d ) 合成画像出力の制御（再生、一時停止、停止等）、 ( e ) 本体の動作環境設定等である。また、画像合成装置から外部機器に送信する制御データの例は、（f ) 外部機器からの制御に対する応答データ、（g ) 現在の動作状態、 ( h ) 稼働時間などのメンテナンス情報等が挙げられる。

制御データは、上述した機能を特定するデータ（メインコマンド）と、その機能に必要なパラメータ（サブコマンド）とを含む。パラメータとは、例えば、上記（a ) についていえば、変更後の静止画像の表示位置を表すデータ、上記

( g ) であれば、「合成中」、「合成完了」等の動作状態を表すデータである。図 1 6は、制御データの伝送順序の例を示す図である。要求された動作は、メィンコマンドとサブコマンドに基づいて判断される。これらのコマンドはそれぞれ

2バイトの大きさを持つ。メインコマンドとサブコマンドだけでは必要なデータを伝送できない場合、さらにデータを付加して、データを伝送する。付加データの長さは要求された動作によって異なるため、受信側は受信した制御データの長さを知る必要がある。そこで、制御データの先頭に、制御データの長さを 4バイト長で格納する。付加データが存在しない場合、制御データ全体の長さは 8バイトになり、付加データが 4バイトの場合、制御データ全体の長さは 1 2バイトになる。制御データのみならず、静止画像もこのような形式で伝送できる。例えば、 1 0 0 X 1 0 0画素の静止画像を伝送する場合、静止画像のデータ量は 1 0 0 X 1 0 0 X 4 = 4 0 0 0 0バイトであるので、データの合計長を 4 0 0 0 8ノイトとし、静止画像を付加データとして伝送すればよい。

以上、制御データの送受信を行う例を説明した。ただし、これまでの説明は一例であって、他の方法を採用することもできる。このような制御データを利用することにより、外部からの機器制御が可能になり、少ないコストで遠隔地から画像合成装置を制御して合成画像を出力できる。

本発明の画像合成装置において、入力された映像信号または複合信号に含まれる映像または静止画像の情報量が圧縮されている場合は、画像合成装置内で非圧縮の状態に戻して合成処理を行う。映像信号に含まれる映像の情報量、および、複合信号の静止画像データの情報量は、例えば、 M P E G— 2規格に準拠して圧縮（符号化）され、複号化される。

映像信号および Zまたは複合信号を入力する伝送路の帯域が小さい場合に、伝送する信号の情報量を可能な限り少なく、かつ、良好な画質を確保するためには、テロップの静止画像のみ非圧縮で伝送することが考えられる。テロップのような文字デ"タは、圧縮すると画質の低下が目立つからである。このような場合、従来の画像合成装置では静止画像に画面全体のデータを必要とするため伝送するデータ量が大きくなる。し力、し、本実施の形態の画像合成装置では、文字部分のみのデータを伝送すればよいので、非圧縮でもデータ量は小さくなる。よって、映像信号を圧縮して取り扱レ、、複合信号を非圧縮で取り扱うことにより、帯域の小さい伝送路でも画質を確保しつつ、画像を合成することができる。

映像信号受信部およびデータ通信部の少なくとも一方を、持ち運び可能な記録媒体（例えば、 S D (Secure Digital) カードや D VD— R AM) の再生装置とのインターフェース部にすることもできる。例えば、映像合成装置が P Cである場合に、外部機器である D VD— RAMドライブから、 I E E E 1 3 9 4インタ一フェース機能を有する映像信号受信部に映像信号を送信してもよい。これにより、遠隔地で作成した画像素材を合成に用いることもできる。また、映像信号受信部および Zまたはデータ通信部を、有線ネットワークや無線ネットワークと接続することにより、遠隔地で作成した画像素材を合成に用いることもできる。本明細書で記載した実施の形態では、映像信号の伝送路と複合信号の伝送路は異なる伝送路である。し力し、これらを 1つの伝送路とし、全てのデータをまと. めて伝送してもよい。入力される映像信号の、映像を表す部分以外のブランキング部分に複合信号（静止画像とその位置データ）をインターリーブして含めることにより、 1つの伝送路で全ての信号を入力できる。ブランキング部分の複合信号の分離は、映像信号受信部が行ってもよいし、データ通信部が行ってもよい。

Claims

請求の範囲

1 . 映像と静止画像とを合成する映像合成装置であって、

映像を含む映像信号を受け取る映像信号受信部と、

前記映像の表示サイズよりも小さい表示サイズを有する静止画像、および、前記映像に対する該静止画像の合成位置を示す位置データを含む複合信号を受け取る通信部と、

通信部が受け取った前記複合信号から得られた前記静止画像、および、前記位置データを記憶する記憶部と、

記憶部に記憶された前記位置データに基づいて、映像信号受信部が受け取った前記映像信号から得られた前記映像、および、記憶部に記憶された前記静止画像を合成して出力する合成部と

を備えた、映像合成装置。

2 . 記憶部に記憶された前記位置データを連続的に変更して、前記映像に対する前記静止画像の合成位置を連続的に変化させる変更制御部をさらに備えた、請求項 1に記載の映像合成装置。

3 . 記憶部は、複数の静止画像と、対応する複数の位置データを記憶し、合成部は、前記複数の位置データの各々に基づいて、前記映像、および、前記複数の静止画像を合成して出力する、請求項 1に記載の映像合成装置。

4 . 前記映像信号から得られた前記映像を、フレーム画像として取得するフレーム取得部をさらに備え、

通信部は、フレーム取得部が取得した前記フレーム画像を出力する、請求項 1 〜 3に記載の映像合成装置。

5 . 通信部は、映像合成装置の動作を制御する制御コマンドを送受信する、請求項 4に記載の映像合成装置。

6 . 前記映像信号に含まれる映像の情報量は、圧縮されている、請求項；！〜 5 のいずれかに記載の映像合成装置。

7 . 前記複合信号に含まれる静止画像の情報量は、圧縮されている、請求項 1 〜 6のいずれかに記載の映像合成装置。

8 . 前記映像信号に含まれる映像の情報量は、圧縮されており、前記複合信号に含まれる静止画像の情報量は、圧縮されていない、請求項 1〜6のいずれかに記載の映像合成装置。

9 . 映像信号受信部は、持ち運び可能な記録媒体に記録されたデータに基づいて生成された映像信号を受け取る、請求項 1〜8のいずれかに記載の映像合成装置。

1 0 . 通信部は、持ち運び可能な記録媒体に記録されたデータに基づいて生成された複合信号を受け取る、請求項 1〜 9のいずれかに記載の映像合成装置。

1 1 . 映像信号受信部および通信部の少なくとも一方は、データを伝送するネットワークと接続されており、前記ネットワークから、映像信号および複合信号の少なくとも一方を受け取る、請求項 1〜1 0のいずれかに記載の映像合成装置。

1 2 . 前記映像信号は、映像を表す部分と、映像を表す部分以外のブランキング部分とを有し、力、つ、前記複合信号は、前記映像信号のブランキング部分にィンターリーブされており、

映像信号受信部は、受信した前記映像信号から、前記複合信号を分離して、通信部に伝送する、請求項 1〜 8のいずれかに記載の映像合成装置。