JP5018056B2

JP5018056B2 - 映像合成装置

Info

Publication number: JP5018056B2
Application number: JP2006336081A
Authority: JP
Inventors: 泉三郎中村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2006-12-13
Filing date: 2006-12-13
Publication date: 2012-09-05
Anticipated expiration: 2026-12-13
Also published as: JP2008148238A

Description

本発明は、キーイングによって映像を合成する映像合成装置に関する。

テレビジョン放送局や映像編集の現場においては、エフェクトスイッチャーと呼ばれる映像合成装置を用いて、キーイングと呼ばれる特殊効果が施されている。キーイングとは、背景映像（画面を構成する主な映像信号）のうち、キーソース信号（信号レベルが所定の閾値以上である部分を、映像を重畳する領域として指定する映像信号）によって指定される領域に、キーフィル信号（背景映像に前景として重ねる映像信号）を重畳する処理である。

図１は、従来のエフェクトスイッチャーにおける、キーイングのための回路を示す図である。キー映像選択スイッチ５１とキー加工回路５２との組み合わせ（この組み合わせを「キーヤー」と呼んでいる）が４組設けられるとともに、映像合成回路５３と背景映像選択スイッチ５４とが設けられている。

各組のキーヤーにおいて、キー映像選択スイッチ５１は、外部のビデオカメラやＶＴＲ等から入力ラインＩ１〜Ｉ９に入力する映像信号の中から、それぞれキーイングに用いる映像信号を選択するためのスイッチであり、キーフィル信号を選択するスイッチ５１ａと、キーソース信号を選択するスイッチ５１ｂとで構成されている。

キー映像選択スイッチ５１によって選択されたキーフィル信号及びキーソース信号は、キー加工回路５２に送られる。キー加工回路５２は、このキーフィル信号及びキーソース信号を、各種のパラメータ（例えば、背景映像に対するキーフィル信号の濃度を調整する値や、キーソース信号の閾値を調整する値や、キーソース信号の位置を調整する値や、キーフィル信号の縮小率を調整する値や、背景映像との境界線に関する調整値等）に基づき、キーイングに適するように調整・加工する。

各組のキーヤーのキー加工回路５２によって調整・加工されたキーフィル信号及びキーソース信号は、映像合成回路５３に送られる。また、映像合成回路５３には、入力ラインＩ１〜Ｉ９に入力する映像信号の中から背景映像選択スイッチ５４によって選択された背景映像が送られる。映像合成回路５３は、各組のキーヤーからのキーフィル信号及びキーソース信号について、当該キーソース信号をキー値（合成の濃度・アルファ）として使って当該キーフィル信号を前景映像として背景映像に重畳する処理を行う。

キー映像選択スイッチ５１からキー加工回路５２に一度に送ることのできるキーフィル信号・キーソース信号の組は１組だけであり、したがって、１組のキーヤーによって一度に背景映像に重畳させることのできる前景映像は１つ（１つの静止画または動画）だけである。

また、本出願人は、オペレータがキーフィル信号・キーソース信号の組を複数の選択枝の中から容易に選択できるようにした発明を提案済みであるが、その発明でも、一度に選択できるキーフィル信号・キーソース信号の組は１組であり、したがって、１組のキーヤーによって一度に背景映像に重畳させることのできる前景映像はやはり１つだけであった（特許文献１参照）。

特開２００２−１８５８５１号公報

ところで、近年、テレビジョン放送では、映像信号の高精細化という技術的な理由や、放送する番組の付加価値の向上という商業的な目的により、複数の静止画（コンピュータグラフィックス等）から成り、それらの静止画を順次入れ替えることによって時間とともに変化する前景映像（例えば、番組ロゴや、天気予報の太陽や雨の絵など）を背景映像に重畳することが求められている。

しかし、図１に示したような従来のエフェクトスイッチャーにおいて、このような複数の静止画から成る前景映像を重畳させようとすると、キー映像選択スイッチからキー加工回路に一度に送ることのできるキーフィル信号・キーソース信号の組は１組（すなわち、１つの静止画だけを重畳させるキーフィル信号・キーソース信号の組）なので、実際に前景映像を重畳するタイミングで（生放送の番組であればオンエア時に）、キー映像選択スイッチで複数の静止画データを順次選択したり、あるいは、キー映像選択スイッチで選択している入力ラインに複数の静止画データを順次入力させるというような、煩雑な操作や処理が必要になってしまう。

本発明は、上述の点に鑑み、実際に前景映像を重畳するタイミングで煩雑な選択の切り替えや入力の切り替えを行うことなく、複数の静止画を順次入れ替えることによって時間とともに変化する前景映像を、背景映像に重畳することのできる映像合成装置を提供することを課題とする。

上記課題を解決するために、本発明に係る映像合成装置は、
複数の入力ラインに入力する映像信号の中から、キーイングに用いる映像信号を選択するためのキー映像選択手段と、
背景映像を選択するための背景選択手段と、
前記キー映像選択手段によって選択された映像信号を加工するキー加工手段と、
前記キー加工手段によって加工された映像信号を用いて、前記背景選択手段によって選択された背景映像に前景映像を重畳する映像合成手段と
を備えた映像合成装置において、
フレームメモリと、
前記キー加工手段によって加工された映像信号を前記フレームメモリに書き込む書き込み手段と、
画面上の一部の位置を指定するための部分指定手段と、
前記フレームメモリの記憶領域のうち、画面上の互いに異なる位置にそれぞれ対応する複数の記憶領域に記憶されている画素データを、互いに１フレーム以上の時間間隔をあけて、順次、前記部分指定手段によって指定された画面上の位置に移動させるような走査タイミングで読み出すとともに、前記部分指定手段によって指定された位置以外の画面上の位置についての画素データ値を所定の一定値とする読み出し手段
を設け、
前記キー映像選択手段によって選択された映像信号が、前記キー加工手段に送られ、
前記キー加工手段によって加工された映像信号が、前記書き込み手段に送られて前記フレームメモリに書き込まれ、
前記読み出し手段によって前記フレームメモリから読み出された映像信号が、前記映像合成手段に送られる
ことを特徴とする。

この映像合成装置では、キー映像選択手段，キー加工手段によって選択，加工された映像信号が、フレームメモリに書き込まれる。そして、フレームメモリの記憶領域のうち、画面上の互いに異なる位置にそれぞれ対応する複数の記憶領域に記憶されている画素データが、互いに１フレーム以上の時間間隔をあけて、順次、部分指定手段によって指定された画面上の位置に移動させるような走査タイミングで、且つ、部分指定手段によって指定された位置以外の画面上の位置についての画素データ値を所定の一定値とするようにして読み出される。これにより、フレームメモリの記憶領域のうち、画面上の互いに異なる位置に対応する複数の記憶領域に記憶されている画素データが、全て画面上の同じ位置の画素データとして順次フレームメモリから読み出される。そして、このようにしてフレームメモリから読み出された映像信号が、映像合成手段に送られる。

したがって、フレームメモリの記憶領域のうち、画面上の互いに異なる位置に対応する複数の記憶領域に、時間とともに変化する前景映像を構成する複数の静止画を予め書き込んでおけば、実際に前景映像を重畳するタイミングでは、部分指定手段によって指定した画面上の位置に、自動的に、時間とともに変化する前景映像が重畳される。

これにより、実際に前景映像を重畳するタイミングで煩雑な選択の切り替えや入力の切り替えを行うことなく、複数の静止画を順次入れ替えることによって時間とともに変化する前景映像を、背景映像に重畳することができる。

次に、本発明に係る別の映像合成装置は、
複数の入力ラインに入力する映像信号の中から、キーイングに用いる映像信号を選択するためのキー映像選択手段と、
背景映像を選択するための背景選択手段と、
前記キー映像選択手段によって選択された映像信号を加工するキー加工手段と、
前記キー加工手段によって加工された映像信号を用いて、前記背景選択手段によって選択された背景映像に前景映像を重畳する映像合成手段と
を備えた映像合成装置において、
フレームメモリと、
前記キー映像選択手段によって選択された映像信号を前記フレームメモリに書き込む書き込み手段と、
画面上の一部の位置を指定するための部分指定手段と、
前記フレームメモリの記憶領域のうち、画面上の互いに異なる位置にそれぞれ対応する複数の記憶領域に記憶されている画素データを、互いに１フレーム以上の時間間隔をあけて、順次、前記部分指定手段によって指定された画面上の位置に移動させるような走査タイミングで読み出すとともに、前記部分指定手段によって指定された位置以外の画面上の位置についての画素データ値を所定の一定値とする読み出し手段
を設け、
前記キー映像選択手段によって選択された映像信号が、前記書き込み手段に送られて前記フレームメモリに書き込まれ、
前記読み出し手段によって前記フレームメモリから読み出された映像信号が、前記キー加工手段に送られ、
前記キー加工手段によって加工された映像信号が、前記映像合成手段に送られる
ことを特徴とする。

この映像合成装置では、キー映像選択手段によって選択された映像信号が、フレームメモリに書き込まれる。そして、フレームメモリの記憶領域のうち、画面上の互いに異なる位置にそれぞれ対応する複数の記憶領域に記憶されている画素データが、互いに１フレーム以上の時間間隔をあけて、順次、部分指定手段によって指定された画面上の位置に移動させるような走査タイミングで、且つ、部分指定手段によって指定された位置以外の画面上の位置についての画素データ値を所定の一定値とするようにして読み出される。これにより、フレームメモリの記憶領域のうち、画面上の互いに異なる位置に対応する複数の記憶領域に記憶されている画素データが、全て画面上の同じ位置の画素データとして順次フレームメモリから読み出される。そして、このようにしてフレームメモリから読み出された映像信号がキー加工手段に送られ、キー加工手段によって加工された映像信号が映像合成手段に送られる。

本発明に係る映像合成装置によれば、実際に前景映像を重畳するタイミングで煩雑な選択の切り替えや入力の切り替えを行うことなく、複数の静止画を順次入れ替えることによって時間とともに変化する前景映像を、背景映像に重畳することができるという効果が得られる。

以下、本発明の実施形態を、図面を用いて説明する。
図２は、本発明を適用したエフェクトスイッチャーの全体構成例を示すブロック図である。このエフェクトスイッチャーでは、主ユニット１と操作パネル２とが、制御用の通信路３で接続されている。

主ユニット１には、キー映像選択スイッチ４とキー加工回路５との組み合わせであるキーヤーが４組設けられるとともに、背景映像選択スイッチ１３及び１４と、映像合成回路１５と、主ユニット１内の各部を制御するマイクロコンピュータ１６と、ネットワークＩＦ（インタフェース）１７とが設けられている（マイクロコンピュータ１６と主ユニット１内の各部とを結ぶ制御信号線は、図示を省略している。）

各組のキーヤーには、書き込み回路６と、フレームメモリ７，８と、セレクタ９と、読み出し回路１０，１１と、アクセス回路１２とがそれぞれ付属して設けられている。フレームメモリ７，８は、例えばＤＤＲ（Double Data Rate）ＳＲＡＭを用いたグラフィックスメモリである。

各組のキーヤーにおいて、キー映像選択スイッチ４は、外部のビデオカメラやＶＴＲ等から入力ラインＩ１〜Ｉ９に入力する映像信号の中から、それぞれキーイングに用いる映像信号を選択するためのスイッチであり、キーフィル信号Ｖ（背景映像に前景として重ねる映像信号）を選択するスイッチ４ａと、キーソース信号Ｋ（信号レベルが所定の閾値以上である部分を、映像を重畳する領域として指定する映像信号、また前景の濃度とする映像信号）を選択するスイッチ４ｂとで構成されている。

キー映像選択スイッチ４によって選択されたキーフィル信号Ｖ及びキーソース信号Ｋは、キー加工回路５に送られる。キー加工回路５は、このキーフィル信号Ｖ及びキーソース信号Ｋを、各種のパラメータ（例えば、背景映像に対するキーフィル信号の濃度を調整する値や、キーソース信号のどの映像成分を濃度（出力するキーソース信号）とするかの選択指定や、キーソース信号の閾値を調整する値や、キーソース信号の位置を調整する値や、キーフィル信号及びキーソース信号の縮小率を調整する値や、背景映像との境界線に関する調整値等）に基づき、キーイングに適するように調整・加工する。

キー加工回路５によって調整・加工されたキーフィル信号Ｖ及びキーソース信号Ｋは、
書き込み回路６に送られるとともに、セレクタ９に送られる。書き込み回路６は、キー加工回路５からのキーフィル信号，キーソース信号をそれぞれフレームメモリ７，８に書き込む回路である。書き込み回路６の処理の詳細は、後で図３，図４及び図７を用いて説明する。

読み出し回路１０，１１は、フレームメモリ７，８からそれぞれキーフィル信号Ｖ，キーソース信号Ｋを読み出す回路である。読み出し回路１０，１１の処理の詳細も、後で図３，図５，図６，図９及び図１０を用いて説明する。読み出し回路１０，１１によって読み出されたキーフィル信号Ｖ，キーソース信号Ｋは、セレクタ９に送られる。

セレクタ９は、フレームメモリ７及び８から読み出されたキーフィル信号Ｖ及びキーソース信号Ｋを映像合成回路１５に送るか、キー加工回路５からのキーフィル信号Ｖ及びキーソース信号Ｋを直接映像合成回路１５に送るかを選択するための回路である、

背景映像選択スイッチ１３は、入力ラインＩ１〜Ｉ９に入力する映像信号の中から、現在表示させる背景映像であるプログラム映像を選択するためのスイッチである。背景映像選択スイッチ１４は、入力ラインＩ１〜Ｉ９に入力する映像信号の中から、次に表示させようとする背景映像であるプリセット映像を選択するためのスイッチである。背景映像選択スイッチ１３，１４によって選択されたプログラム映像，プリセット映像は、映像合成回路１５に送られる。

映像合成回路１５は、各組のキーヤーに付属したフレームメモリ７及び８からのキーフィル信号及びキーソース信号について、当該キーソース信号をキー値（合成の濃度・アルファ）として使って当該キーフィル信号を前景映像としてプログラム映像に重畳する処理を行う。

映像合成回路１５によって前景映像を重畳されたプログラム映像は、プログラム出力ラインｏｕｔ１から外部に出力される。また映像合成回路１５に送られたプリセット映像は、そのままプレビュー出力ラインｏｕｔ２から外部に出力される。

操作パネル２には、オペレータが操作するための操作部１８がパネル面上に設けられるとともに、マイクロコンピュータ１９が設けられている。

操作部１８には、各組のキーヤー毎のキー選択ボタン（キー映像選択スイッチ４でキーフィル信号及びキーソース信号を選択させるためのボタン）や、背景映像選択スイッチ１３，１４毎の背景選択ボタンや、ＧＵＩ（グラフィカル・ユーザー・インタフェース）のためのディスプレイ，ポインティングデバイス及びボタン等が配置されている。

この操作部１８のＧＵＩは、各種パラメータ（例えば、各組のキーヤーのキー加工回路５でキーフィル信号及びキーソース信号を調整・加工するためのパラメータや、各組のキーヤーに付属したセレクタ９にフレームメモリ７及び８からのキーフィル信号Ｖ及びキーソース信号Ｋとキー加工回路５からのキーフィル信号Ｖ及びキーソース信号Ｋとのいずれを選択させるかのパラメータ等）を入力するために用いられる以外に、４組のキーヤーのうちの任意のキーヤーを指定した上で、そのキ−ヤーに「連続移動記録」や「連続移動再生」を指示するためにも用いられるようになっている。

図３は、この連続移動記録，連続移動再生指示のためのＧＵＩ画面の一例を示す図である。図３（ａ）に示すように、コマ数選択ボタン２１と、位置指定ボタン２２と、連続記録開始ボタン２３と、連続再生開始ボタン２４と、停止ボタン２５と、フレーム間隔指定用のプルダウンメニュー２６とが表示される。

コマ数選択ボタン２１をクリックすると、図３（ｂ）に示すような、コマ数（画面の分割数）を１／４か１／１８かのいずれかに選択するためのラジオボタン２７，２８が表示される。

このラジオボタン２７，２８で１／４を選択して図３（ａ）の位置指定ボタン２２をクリックすると、図３（ｃ）に示すような、予め上下左右に４分割された画面のうちの任意の分割位置（番号１〜４が付された位置のうちの一つの位置）を選択するための図形２９
を含んだ位置指定用画面が表示される。

また、図３（ｂ）のラジオボタン２７，２８で１／１８を選択して図３（ａ）の位置指定ボタン２２をクリックすると、図３（ｄ）に示すような、予め上下左右に１８分割された画面上の任意の分割位置（番号１〜１８が付された位置のうちの一つの位置）を選択するための図形３０を含んだ位置指定用画面が表示される。なお、図３（ｃ）や図３（ｄ）の位置指定用画面には、図３（ｅ）に示すような、図形２９や図形３０で選択した位置を画面の左右方向（ｘ方向），上下方向（ｙ方向）に微調整するためのプルダウンメニュー３１，３２も表示される。

図３（ｃ）または図３（ｄ）の位置指定用画面で位置を指定し、且つ、図３（ａ）のプルダウンメニュー２６でフレーム間隔を指定した後、図３（ａ）の連続記録開始ボタン２３または連続再生開始ボタン２４をクリックすると、操作パネル２のマイクロコンピュータ１９（図２）は、この図３のＧＵＩ画面での操作内容と、指定されたキーヤーとを示す信号を、通信路３経由で主ユニット１のマイクロコンピュータ１６に送る。また、連続再生開始ボタン２４をクリックした後に停止ボタン２５をクリックすると、操作パネル２のマイクロコンピュータ１９は、主ユニット１のマイクロコンピュータ１６に停止命令を送る。

図４は、図３のＧＵＩ画面で連続記録開始ボタン２３がクリックされた場合に、主ユニット１のマイクロコンピュータ１６が、指定されたキーヤーについて実行する連続移動記録処理を示すフローチャートである。この処理では、最初に、画面の分割位置の番号を示す変数Ｉを１にセットする（ステップＳ１）。

続いて、指定されたキーヤーに付属した書き込み回路６を制御して、キー加工回路５にからのキーフィル信号Ｖ及びキーソース信号Ｋのうち、図３（ｃ）または図３（ｄ）の位置指定用画面で指定された画面上の位置の画素データを、フレームメモリ７，８の記憶領域のうち、当該位置指定用画面における画面の分割位置のうちのＩ番目の位置（図３（ｃ）の図形２９や図３（ｄ）の図形３０で番号Ｉが付された位置）に対応する記憶領域に書き込ませる（ステップＳ２）。

続いて、図３（ａ）のプルダウンメニュー２６で選択されたフレーム間隔分だけフレーム同期信号をカウントする（ステップＳ３）。その後、変数Ｉを１だけインクリメントして（ステップＳ４）、Ｉの値が当該位置指定用画面における画面の分割数Ｎ（図３（ｃ）の位置指定用画面ではＮ＝４、図３（ｄ）の位置指定用画面ではＮ＝１８）を超えたか否かを判断する（ステップＳ５）。

ノーであれば、ステップＳ２に戻ってステップＳ２〜Ｓ５を繰り返す。ステップＳ５でイエスになると、処理を終了する。

図５は、図３のＧＵＩ画面で連続再生開始ボタン２４がクリックされた場合に、主ユニット１のマイクロコンピュータ１６が、指定されたキーヤーについて実行する連続移動再生処理を示すフローチャートである。この処理では、最初に、画面の分割位置の番号を示す変数Ｉを１にセットする（ステップＳ１１）。そして、前述の停止命令（図３（ａ）の停止ボタン２５のクリックによって送られる命令）を受信しているか否かを判断する（ステップＳ１２）。

ノーであれば、指定されたキーヤーに付属した読み出し回路１０，１１を制御して、フレームメモリ７，８の記憶領域のうち、図３（ｃ），図３（ｄ）の位置指定用画面のうち位置指定が行われたほうの位置指定用画面における画面の分割位置のうちのＩ番目の位置（図３（ｃ）の図形２９や図３（ｄ）の図形３０で番号Ｉが付された位置）に対応する記憶領域に記憶されている画素データを、当該位置指定用画面で指定された画面上の位置に移動させるような走査タイミングで読み出させるとともに、当該位置指定用画面で指定された画面上の位置以外の画面上の位置についての画素データ値を黒レベル（キーソース信号としては濃度が０％で扱われる値）にさせる（ステップＳ１３）。

図６は、このステップＳ１３の処理の原理を示す図である。図６（ｃ）に示すような、
画面の左下の位置に星型のマークが存在する映像を、図６（ｄ）に示すように、画面の右上の位置にこの星型のマークが存在するような映像として出力させるためには、画面の水平ライン数の半分をＬ０２、１水平ラインあたりの画素数の半分をｈ０２とすると、図６（ａ）におけるようなＬ１ライン目のｈ１個目の画素を、図６（ｂ）におけるように、（Ｌ１−Ｌ０２）ライン目の（ｈ０２＋ｈ１）個目の画素位置に移動させればよい。フレームメモリ７，８から画素データを読み出す際に、このような画素マッピングとなるような走査タイミングの変更を行えば、画面上の位置を移動させることができる。

図５に示すように、ステップＳ１３に続き、図３（ａ）のプルダウンメニュー２６で選択されたフレーム間隔分だけフレーム同期信号をカウントするとともに、そのカウントを行っている間、読み出し回路１０，１１を制御して、ステップＳ１３と同じ読み出しを継続させる（ステップＳ１４）。

その後、変数Ｉを１だけインクリメントして（ステップＳ１５）、Ｉの値が当該位置指定用画面における画面の分割数Ｎ（図３（ｃ）の位置指定用画面ではＮ＝４、図３（ｄ）の位置指定用画面ではＮ＝１８）を超えたか否かを判断する（ステップＳ１６）。

ノーであれば、ステップＳ１２に戻る。ステップＳ１６でイエスになると、ステップＳ１１に戻ってＩを再び１にセットして、ステップＳ１２に進む。ステップＳ１２でイエスになると、処理を終了する。

図２に示すように、主ユニット１のマイクロコンピュータ１６は、ネットワークＩＦ（インタフェース）１７によってネットワーク４１に接続されている。ネットワーク４１には、パーソナルコンピュータ４２も接続されている。パーソナルコンピュータ４２は、コンピュータグラフィックス等によって作成された番組ロゴ等の前景映像のための画像データ（キーフィル信号としての画像データ及びキーソース信号としての画像データ）を供給するためのものである。

マイクロコンピュータ１６は、マイクロコンピュータ１６内のＲＡＭにファイルシステムを構築している。ファイルシステムは通常はディスク装置などで使用されるが、ＲＡＭをディスク装置と同様に看做してその上にファイルシステムを構築する（記憶する）こと自体は一般的に行われている。しかし、このファイルシステムの使い方には、以下のような特徴がある。

マイクロコンピュータ１６は、各組のキーヤーに付属しているフレームメモリ７，８をそれぞれファイルシステム中の１個ずつのファイルとして管理し、このファイルシステムをＦＴＰサーバー・ソフトウェアによってネットワーク４１上に公開する。具体的には、図２の主ユニット１のようなＭＥ（ミックス／エフェクト）バンクとして、合計で４つのＭＥバンクが当該テレビジョン放送局（あるいは映像編集の現場）に設置されているとすると、４つのＭＥバンクをＭＥ１〜ＭＥ４とし、各ＭＥバンクの４組のキーヤーをＫｅｙ１〜Ｋｅｙ４とし、１組のキーヤーに付属しているフレームメモリ７，８をそれぞれＦＭＶ，ＦＭＫとして、例えばＭＥバンクＭＥ３のキーヤーＫｅｙ１のフレームメモリ７を、
ディレクトリ” ／ＭＥ３／Ｋｅｙ１”の下のファイル” ＦＭＶ”として管理する。

これにより、パーソナルコンピュータ４２では、任意のＭＥバンクの任意の組のキーヤーに付属している任意のフレームメモリを、ＦＴＰクライアント・ソフトウェアによってディレクトリパスで指定して（例えばディレクトリ” ／ＭＥ３／Ｋｅｙ１”の下のファイル” ＦＭＶ”として指定して）、そのフレームメモリへの画像データのロードや、そのフレームメモリからの画像データのセーブを要求することができる。なお、ファイルの名称に、当該ファイルによって指定されるフレームメモリに記憶させる画像データのファイル形式を示す拡張子を付加するようにしてもよい。

マイクロコンピュータ１６は、このようにしてフレームメモリが指定され、パーソナルコンピュータ４２からネットワーク４１経由でロード要求とともに画像データが供給されると、指定されたフレームメモリと同じキーヤーに付属しているアクセス回路１２を制御して、その画像データを、指定されたフレームメモリに書き込ませる。

また、マイクロコンピュータ１６は、このようにしてフレームメモリが指定され、パーソナルコンピュータ４２からネットワーク４１経由でセーブ要求があると、アクセス回路１２を制御して、その指定されたフレームメモリから画像データを読み出させて、その画像データをネットワーク４１経由でパーソナルコンピュータ４２に転送する。

次に、このエフェクトスイッチャーにおいて、複数の静止画を順次入れ替えることによって時間とともに変化する前景映像が、背景映像に重畳される様子について説明する。最初に、事前に（実際に前景映像を重畳するよりも前に）行う仕込みの作業について説明する。

或る組のキーヤーにおいて、キー映像選択スイッチ４，キー加工回路５で選択，加工したキーフィル信号及びキーソース信号を用いて前景映像を重畳する場合には、図３のＧＵＩ画面でコマ数の選択，画面上の位置の指定，フレーム間隔の選択を行うとともに、キー映像選択スイッチ４で入力ラインＩ１〜Ｉ９のうちの或る入力ラインを選択する。そして、連続記録開始ボタン２３をクリックする同時に、選択した入力ラインに、時間とともに変化する前景映像を構成する複数の静止画のためのキーフィル信号及びキーソース信号を、図３のＧＵＩ画面で選択したフレーム間隔で、順次入力させる。

すると、図４の連続移動記録処理により、前景映像を構成する複数の静止画が、フレームメモリ７，８の記憶領域のうち、画面上の互いに異なる位置に対応する複数の記憶領域に書き込まれる。

図７は、この連続移動記録処理によってフレームメモリ７及び８に記憶されるキーフィル信号及びキーソース信号の一例を示す図である。図３のＧＵＩ画面でコマ数として１／４を選択するとともに画面上の位置として右上を指定しておき、図７（ａ）のように、画面の右上に互いに絵柄が少しずつ異なる星型のマークが存在する４つの静止画のためのキーフィル信号及びキーソース信号を順次入力させると、図７（ｂ）のように、この４つの静止画のうちの画面右上のみ（星型のマークの部分のみ）のためのキーフィル信号及びキーソース信号が、フレームメモリ７及び８の記憶領域のうち、画面上の左上，右上，左下，右下の位置に対応する記憶領域にそれぞれ書き込まれる。

他方、或る組のキーヤーにおいて、パーソナルコンピュータ４２からネットワーク４１経由で供給される画像データを用いて前景映像を重畳する場合には、前景映像を構成する複数の静止画を同一画面上に配列した画像データ（キーフィル信号としての画像データ及びキーソース信号としての画像データ）を、ロード要求とともにパーソナルコンピュータ４２からネットワーク４１経由で供給する。すると、その画像データがそのままフレームメモリ７及び８に書き込まれる。

図８は、パーソナルコンピュータ４２からネットワーク４１経由で供給する画像データの一例を示す図である。「Ｌｏｇｏ」という文字を用いており互いに絵柄が少しずつ異なる１６個の静止画を同一画面上に配列した画像データ（画面全体を取り尽くしておらず未使用の位置があっても問題ない）を供給する。すると、この画像データがそのままフレームメモリ７及び８に書き込まれる。

このようにして仕込みの作業が完了し、実際に前景映像を重畳する段階になると、セレクタ９にフレームメモリ７及び８からのキーフィル信号及びキーソース信号を選択させた状態で、図３のＧＵＩ画面で、仕込みの作業時に選択したのと同じコマ数を選択するとともに、任意の画面上の位置と任意のフレーム間隔とを指定して、連続再生開始ボタン２４をクリックする。

すると、図３の連続移動再生処理により、フレームメモリ７及び８の記憶領域のうち、画面上の互いに異なる位置にそれぞれ対応する複数の記憶領域に記憶されている画素データが、図３のＧＵＩ画面で選択したフレーム間隔をあけて、順次、図３のＧＵＩ画面で指定した画面上の位置に移動させるような走査タイミングで、且つ、図３のＧＵＩ画面で指定した位置以外の画面上の位置についての画素データ値を黒レベルとするようにして読み出される。

これにより、フレームメモリ７及び８に記憶されている、時間とともに変化する前景映像を構成する複数の静止画のためのキーフィル信号及びキーソース信号が、全て画面上の同じ位置の画素データとして順次フレームメモリ７及び８から読み出される。そして、このようにしてフレームメモリ７及び８から読み出されたキーフィル信号及びキーソース信号がセレクタ９を介して映像合成回路１５に送られて、背景映像に前景映像が重畳される。

図９は、図７（ｂ）に示した４つの静止画のためのキーフィル信号及びキーソース信号をフレームメモリ７及び８に書き込んだ場合の、連続移動再生処理による前景映像の時間的変化を示す図である。この４つの静止画が、背景映像が表示される画面上の同じ位置（ここでは右上の位置としている）に順次重畳される。

図１０は、図８に示した１８個の静止画のためのキーフィル信号及びキーソース信号をフレームメモリ７及び８に書き込んだ場合の、連続移動再生処理による前景映像の時間的変化を示す図である。この１８個の静止画が、背景映像が表示される画面上の同じ位置（ここでは右下の位置としている）に順次重畳される。

このようにして、実際に前景映像を重畳するタイミングでは、図３のＧＵＩ画面で指定した画面上の位置に、自動的に、時間とともに変化する前景映像が重畳される。したがって、実際に前景映像を重畳するタイミングで煩雑な選択の切り替えや入力の切り替えを行うことなく、複数の静止画を順次入れ替えることによって時間とともに変化する前景映像を、背景映像に重畳することができる。

なお、セレクタ９にキー加工回路５からのキーフィル信号及びキーソース信号を選択させれば、従来どおり、キー映像選択スイッチ４で現在選択しているキーフィル信号及びキーソース信号を用いた前景映像を重畳させることができる。

図１１は、図２に示した主ユニット１の構成の変更例を示す図であり、図２と同一の回路には同一の符号を付している（図示の都合上キーヤーを１組のみ描いているが、４組のキーヤー全てに同じ構成を採用してよい）。図２に示した構成ではキー加工回路５の後段に書き込み回路６とフレームメモリ７，８とが設けられているが、この変更例ではキー加工回路５の前段に書き込み回路６とフレームメモリ７，８とが設けられている。

キー映像選択スイッチ４によって選択されたキーフィル信号Ｖ及びキーソース信号Ｋは、書き込み回路６及びセレクタ９に送られる。書き込み回路６は、キー映像選択スイッチ４からのキーフィル信号Ｖ，キーソース信号Ｋを、図４に示した連続移動記録処理に基づいてフレームメモリ７，８に書き込む。

図５に示した連続移動再生処理に基づいて読み出し回路１０，１１によってフレームメモリ７，８から読みだされたキーフィル信号，キーソース信号は、セレクタ９に送られる。そして、セレクタ９で選択されたキーフィル信号及びキーソース信号がキー加工回路５に送られ、キー加工回路５で加工されたキーフィル信号及びキーソース信号が映像合成回路１１に送られる。

この変更例では、フレームメモリ７及び８に記憶されている、時間とともに変化する前景映像を構成する複数の静止画のためのキーフィル信号及びキーソース信号（キー加工回路５で加工する前のキーフィル信号及びキーソース信号）が、全て画面上の同じ位置の画素データとして順次フレームメモリ７及び８から読み出され、キー加工回路５で加工された後、映像合成回路１５に送られる。したがって、やはり、実際に前景映像を重畳するタイミングで煩雑な選択の切り替えや入力の切り替えを行うことなく、複数の静止画を順次入れ替えることによって時間とともに変化する前景映像を、背景映像に重畳することができる。

なお、図３に示したＧＵＩ画面におけるコマ数（画面の分割数）はあくまで一例であり、１／４や１／１８以外のコマ数を選択できるようにしてもよい。

また、図７や図８の例では、フレームメモリ７及び８の記憶領域のうち、画面の概ね全体に対応する記憶領域に、時間とともに変化する前景映像を構成する複数の静止画のためのキーフィル信号及びキーソース信号を書き込んでいる。しかし、別の例として、フレームメモリ７及び８の記憶領域のうち、画面の一部分に対応する記憶領域だけに、時間とともに変化する前景映像を構成する複数の静止画のためのキーフィル信号及びキーソース信号を書き込み、画面の残りの部分に対応する記憶領域には、時間的に変化しない前景映像のためのキーフィル信号及びキーソース信号を書き込むようにし、この残りの部分に対応する記憶領域からは、画素データを毎フレームそのまま読み出すようにしてもよい。

図１２は、そのようにした例を示す図であり、図１２（ａ）のように、フレームメモリ７及び８の記憶領域のうち、画面の下側に対応する記憶領域だけに、時間とともに変化する前景映像を構成する複数の静止画（「Ｌｏｇｏ」という文字を用いており互いに絵柄が少しずつ異なる静止画）のためのキーフィル信号及びキーソース信号を書き込み、画面の上側に対応する記憶領域には、時間的に変化しない前景映像（太陽の絵と笑顔の絵）のためのキーフィル信号及びキーソース信号を書き込んでいる。そして、図１２（ｂ）のように、
画面の下側に対応する記憶領域からは図５の連続移動再生処理によって画素データを読み出し、画面の上側に対応する記憶領域からは、画素データを毎フレームそのまま読み出す。

このようにフレームメモリ７及び８を多目的に利用することにより、１組のキーヤーで、時間とともに変化する前景映像と時間的に変化しない前景映像とを同時に重畳することができる。これにより、キーヤーの数を増やすことなく、少ないハードウェアで、より多数の前景映像を同時に重畳することができるので、経済的である。

以上の例では、パーソナルコンピュータ４２からネットワーク４１経由で供給する画像データ（キーフィル信号としての画像データ及びキーソース信号としての画像データ）を、図８に例示したように、前景映像を構成する複数の静止画を同一画面上に配列した画像データとしている。しかし、別の例として、パーソナルコンピュータ４２からも、図７（ａ）に例示したように、前景映像を構成する複数の静止画のためのキーフィル信号及びキーソース信号を順次供給させ、アクセス回路１２に、書き込み回路６と同様、図４のような連続移動記録処理に基づいてフレームメモリ７及び８への書き込みを行わせるようにしてもよい。

また、以上の例では、フレームメモリ７及び８への書き込みを行う回路として書き込み回路６とアクセス回路１２という２つの回路を設けているが、単一のハードウェア回路（メモリコントローラ等）で書き込み回路６としての機能とアクセス回路１２としての機能との両方を実現するようにしてもよい。さらには、単一のハードウェア回路で、書き込み回路６としての機能とアクセス回路１２としての機能と読み出し回路１０，１１としての機能とを全て実現するようにしてもよい。

従来のエフェクトスイッチャーにおけるキーイングのための回路を示す図である。本発明を適用したエフェクトスイッチャーの全体構成例を示す図である。連続移動記録，連続移動再生のためのＧＵＩ画面を示す図である。主ユニットのマイクロコンピュータが実行する連続移動記録処理を示すフローチャートである。主ユニットのマイクロコンピュータが実行する連続移動再生処理を示すフローチャートである。連続移動再生処理の原理を示す図である。連続移動記録処理によるフレームメモリの記憶例を示す図である。ネットワーク経由で供給する画像データを例示する図である。連続移動再生処理による前景映像の時間的変化を例示する図である。連続移動再生処理による前景映像の時間的変化を例示する図である。本発明を適用したエフェクトスイッチャーの構成の変更例を示す図である。フレームメモリの応用例を示す図である。

符号の説明

１主ユニット、２操作パネル、４キー映像選択スイッチ、５キー加工回路、６書き込み回路、７，８フレームメモリ、９セレクタ、１０，１１読み出し回路、１２アクセス回路、１３，１４背景映像選択スイッチ、１５映像合成回路、１６マイクロコンピュータ、１７ネットワークＩＦ、１８操作部、１９マイクロコンピュータ、２１コマ数選択ボタン、２２位置指定ボタン、２３連続記録開始ボタン、２４連続再生開始ボタン、２５停止ボタン、２６プルダウンメニュー、２７，２８ラジオボタン、２９分割画面の図形、３０分割画面の図形、３１，３２プルダウンメニュー

Claims

複数の入力ラインに入力する映像信号の中から、キーイングに用いる映像信号を選択するためのキー映像選択手段と、
背景映像を選択するための背景選択手段と、
前記キー映像選択手段によって選択された映像信号を加工するキー加工手段と、
前記キー加工手段によって加工された映像信号を用いて、
前記背景選択手段によって選択された背景映像に前景映像を重畳する映像合成手段と
を備えた映像合成装置において、
フレームメモリと、
前記キー加工手段によって加工された映像信号を前記フレームメモリに書き込む書き込み手段と、
画面上の一部の位置を指定するための部分指定手段と、
前記フレームメモリの記憶領域のうち、画面上の互いに異なる位置にそれぞれ対応する複数の記憶領域に記憶されている画素データを、互いに１フレーム以上の時間間隔をあけて、順次、前記部分指定手段によって指定された画面上の位置に移動させるような走査タイミングで読み出すとともに、前記部分指定手段によって指定された位置以外の画面上の位置についての画素データ値を所定の一定値とする読み出し手段
を設け、
前記キー映像選択手段によって選択された映像信号が、前記キー加工手段に送られ、
前記キー加工手段によって加工された映像信号が、前記書き込み手段に送られて前記フレームメモリに書き込まれ、
前記読み出し手段によって前記フレームメモリから読み出された映像信号が、前記映像合成手段に送られる
ことを特徴とする映像合成装置。
請求項１に記載の映像合成装置において、
前記書き込み手段は、前記キー加工手段から連続して供給される映像信号のうち、前記部分指定手段によって指定された画面上の位置の画素データを、１フレーム以上の時間間隔をあけて、順次、前記フレームメモリの記憶領域のうち、画面上の互いに異なる位置に対応する複数の記憶領域に書き込む
ことを特徴とする映像合成装置。
請求項１に記載の映像合成装置において、
前記部分指定手段は、予め複数の領域に分割された画面から領域を指定する操作手段を含む
ことを特徴とする映像合成装置。
請求項１に記載の映像合成装置において、
ネットワーク・インタフェースと、
外部から前記ネットワーク・インタフェース経由で供給された映像データを前記フレームメモリにロードするロード手段
をさらに備えたことを特徴とする映像合成装置。
複数の入力ラインに入力する映像信号の中から、キーイングに用いる映像信号を選択するためのキー映像選択手段と、
背景映像を選択するための背景選択手段と、
前記キー映像選択手段によって選択された映像信号を加工するキー加工手段と、
前記キー加工手段によって加工された映像信号を用いて、前記背景選択手段によって選択された背景映像に前景映像を重畳する映像合成手段と
を備えた映像合成装置において、
フレームメモリと、
前記キー映像選択手段によって選択された映像信号を前記フレームメモリに書き込む書き込み手段と、
画面上の一部の位置を指定するための部分指定手段と、
前記フレームメモリの記憶領域のうち、画面上の互いに異なる位置にそれぞれ対応する複数の記憶領域に記憶されている画素データを、互いに１フレーム以上の時間間隔をあけて、順次、前記部分指定手段によって指定された画面上の位置に移動させるような走査タイミングで読み出すとともに、前記部分指定手段によって指定された位置以外の画面上の位置についての画素データ値を所定の一定値とする読み出し手段
を設け、
前記キー映像選択手段によって選択された映像信号が、前記書き込み手段に送られて前記フレームメモリに書き込まれ、
前記読み出し手段によって前記フレームメモリから読み出された映像信号が、前記キー加工手段に送られ、
前記キー加工手段によって加工された映像信号が、前記映像合成手段に送られる
ことを特徴とする映像合成装置。
請求項５に記載の映像合成装置において、
前記書き込み手段は、前記キー加工手段から連続して供給される映像信号のうち、前記部分指定手段によって指定された画面上の位置の画素データを、１フレーム以上の時間間隔をあけて、順次、前記フレームメモリの記憶領域のうち、画面上の互いに異なる位置に対応する複数の記憶領域に書き込む
ことを特徴とする映像合成装置。
請求項５に記載の映像合成装置において、
前記部分指定手段は、予め複数の領域に分割された画面から領域を指定する操作手段を含む
ことを特徴とする映像合成装置。
請求項５に記載の映像合成装置において、
ネットワーク・インタフェースと、
外部から前記ネットワーク・インタフェース経由で供給された映像データを前記フレームメモリにロードするロード手段
をさらに備えたことを特徴とする映像合成装置。