JP6083288B2

JP6083288B2 - 映像効果装置及び映像効果処理方法

Info

Publication number: JP6083288B2
Application number: JP2013066180A
Authority: JP
Inventors: 英樹上坂
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2013-03-27
Filing date: 2013-03-27
Publication date: 2017-02-22
Anticipated expiration: 2033-03-27
Also published as: JP2014192691A

Description

本発明は映像効果装置及び映像効果処理方法に関する。

近年、テレビ番組の制作において、出演者をカメラでとらえた映像（動画像）を縮小した小画面（Ｄワイプ、小窓）に装飾を施したＣＧ（Computer Graphics）画の枠（額縁）を重ね合わせた演出が多用されるようになっている。このような演出はサブスイッチャーあるいはプロダクションスイッチャーと呼ばれる映像効果装置内部の画像合成部で行われる。

小窓・額縁合成の演出では、小窓内での出演者の位置を、カメラでとらえる位置で調整するのではなく、カメラでとらえた映像から画像合成部側で調整できるようにすることが操作利便性の観点からユーザより求められている。

また、小窓・額縁を合成した後の、画面全体での位置についても、画像合成部側で調整できるようにすることが、ユーザより求められている。

小窓内での出演者等の位置調整、および小窓・額縁合成後の位置調整を同時に実現しようとした場合、ＤＶＥ（ＤｉｇｉｔａｌＶｉｄｅｏＥｆｆｅｃｔ）等とよばれる、画面を縮小・変形する特殊効果装置・回路を２段直列に接続する必要がある。さらにそれらの間に、小窓と額縁を合成する回路を接続する必要がある。

特開２００４−１５３４８６号公報

図５、図６を参照して、従来の映像効果装置の一例である、プロダクションスイッチャーについて簡単に説明する。

図６を参照して、プロダクションスイッチャーは、入力素材の選択を行う信号切替回路（マトリクススイッチャー）ＭＴＸ、選択された複数の出力を合成する２台のミクサー・キーヤーＭＫ＃１、ＭＫ＃２、２台のＤＶＥ＃１、ＤＶＥ＃２、及びＦＩＬＬ・ＫＥＹ合成用回路ＣＯＮＶ＃１を含む。信号切替回路ＭＴＸは、外部機器からの映像信号（映像素材）の入力端子ＩＮ１〜ＩＮｎ（ｎは正の整数）、外部機器への映像信号の出力端子ＯＵＴ１〜ＯＵＴｍ（ｍは正の整数）を備える。６０は制御部であり、装置内部の各回路の動作や位相設定の制御を行う。６１はタイミングパルス及びクロック発生器であり、装置内部の信号処理に必要なタイミングパルスとクロック信号を生成する。生成されたタイミングパルス、クロック信号は、装置内部の各回路に分配される。

図６に太い実線で示すように、信号切替回路ＭＴＸ→小窓内映像用のＤＶＥ＃１→小窓・額縁合成用回路ＣＯＮＶ＃１→小窓・額縁位置調整・縮小用ＤＶＥ＃２の経路で処理が推移する。

図５は図６に示すプロダクションスイッチャーの動作のタイミングチャート（位相チャート）である。図５からも理解できるように、図６の上記経路で処理が推移するプロダクションスイッチャーでは、ＤＶＥを２段直列に接続する構成となるため、出力までの遅延は２フレームとなる。これは、ＤＶＥ１台あたり１フレーム遅延するためである。

小窓・額縁での遅延が２フレームとなる場合、画面全体の映像や、映像とは別の装置・回路で処理される音声との位相差が無視できないレベルになり好ましくない。

上記説明で理解できるように、例えば小窓・額縁合成の映像効果活用に際し、小窓内での出演者等の位置調整、および小窓・額縁合成後の位置調整の操作利便性を保つためには、ＤＶＥを直列に２段接続する必要があるため、映像の遅延時間が２フレームとなってしまう。

本発明の課題は、映像効果の活用に際し、操作の利便性を保ちながら、映像の遅延時間の抑制を実現できるようにすることにある。

本発明の具体的な課題は、小窓内での出演者等の位置調整、および小窓・額縁合成後の位置調整の操作利便性を保ちながら、映像の遅延時間を従来の２フレームから１フレームに低減できるようにすることにある。

本発明の第１の態様によれば、第１の画像中に、該第１の画像より小さい額縁画像とウィンドウ画像を合成する映像効果装置であって、ウィンドウに表示する画像を変形・加工する少なくとも２段の変形・加工手段を備え、前記変形・加工手段はメモリ手段を含み、２段の前記変形・加工手段において前記ウィンドウに表示する画像を変形・加工する際の前記メモリ手段への書込み・読出しをそれぞれ、０．５フレームの遅延時間で実行するように構成し、初段の前記変形・加工手段により前記ウィンドウに表示する画像を前記ウィンドウ画像に変形、加工すると共に、前記額縁画像と前記ウィンドウ画像とを遅延時間を合わせて合成し、合成した額縁画像・ウィンドウ画像を次段の前記変形・加工手段で画面全体画像と合成することにより、全体の合成処理を１フレームの遅延時間で実現することを特徴とする映像効果装置が提供される。

本発明の第２の態様によれば、第１の画像中に、該第１の画像より小さい額縁画像とウィンドウ画像を合成する映像効果処理方法であって、メモリ手段を含み、ウィンドウに表示する画像を変形・加工する少なくとも２段の変形・加工手段を備えることにより、２段の前記変形・加工手段において前記ウィンドウに表示する画像を変形・加工する際の前記メモリ手段への書込み・読出しをそれぞれ、０．５フレームの遅延時間で実行するようにし、初段の前記変形・加工手段により前記ウィンドウに表示する画像を前記ウィンドウ画像に変形、加工すると共に、前記額縁画像と前記ウィンドウ画像とを遅延時間を合わせて合成し、合成した額縁画像・ウィンドウ画像を次段の前記変形・加工手段で画面全体画像と合成することにより、全体の合成処理を１フレームの遅延時間で実現することを特徴とする映像効果処理方法が提供される。

変形・加工手段を２段直列に接続する場合、変形・加工手段内でのメモリ手段の書き込み・読み出し時間を１フレームから０．５フレームほどになるように抑えると共に、額縁画像とウィンドウ画像とを遅延時間を合わせて合成することで、全体での遅延を１フレームにすることができる。

本発明による映像効果装置の実施形態である、プロダクションスイッチャーの概略構成を説明するための図である。図１に示されたＤＶＥについて説明するための図である。図１に示されたプロダクションスイッチャーの動作を説明するために信号処理のフローを示した図である。図１に示されたプロダクションスイッチャーの動作を説明するために位相チャートを示した図である。従来のプロダクションスイッチャーの動作を説明するために位相チャートを示した図である。従来のプロダクションスイッチャーの概略構成について説明するための図である。本発明の他の実施形態の一例を説明するための図である。

（第１の実施形態の構成）
図１は、本発明を適用したプロダクションスイッチャーの第１の実施形態を示す。

図１を参照して、プロダクションスイッチャーは、入力素材の選択を行う信号切替回路（マトリクススイッチャー）ＭＴＸ、選択された複数の出力を合成する２台のミクサー・キーヤーＭＫ＃１、ＭＫ＃２、２台のＤＶＥ＃１、ＤＶＥ＃２、及びＦＩＬＬ・ＫＥＹ合成用回路ＣＯＮＶ＃１を含む。信号切替回路ＭＴＸは、外部機器からの映像信号（映像素材）の入力端子ＩＮ１〜ＩＮｎ（ｎは正の整数）、外部機器への映像信号の出力端子ＯＵＴ１〜ＯＵＴｍ（ｍは正の整数）を備える。本実施形態によるプロダクションスイッチャーは更に、遅延回路ＤＥＬＡＹ＃１、ＤＥＬＡＹ＃２、ＤＥＬＡＹ＃３を備える。制御部１０は、装置内部の各回路の動作や位相設定の制御を行う。タイミングパルス及びクロック発生器１１は、装置内部の信号処理に必要なタイミングパルスとクロック信号を生成する。生成されたタイミングパルス、クロック信号は、装置内部の各回路に分配される。

図１において、信号切替回路ＭＴＸは、入力を選択し信号を分配することが可能である。すなわち、ＭＴＸＩＮ１〜ＩＮｎまでのｎ（ｎは正の整数）個の外部入力と、プロダクションスイッチャー内部回路からのリエントリを入力できるようになっている。本実施形態では、ｎは５以上である。一般的なプロダクションスイッチャーでは、ｎは５より十分大きな数字となる。

信号切替回路ＭＴＸの出力には、ミクサー・キーヤーＭＫ＃１、ＭＫ＃２やＤＶＥ＃１、ＤＶＥ＃２、遅延回路ＤＥＬＡＹ＃１〜ＤＥＬＡＹ＃３、ＦＩＬＬ・ＫＥＹ合成用回路ＣＯＮＶ＃１の入力が接続されている。

ミクサー・キーヤーＭＫ＃１、ＭＫ＃２は信号切替回路ＭＴＸへの入力Ａ／Ｂの映像を合成し、入力ＫＥＹの信号を使用して入力ＦＩＬＬの信号をＡ／Ｂの合成映像に多重する。このような回路及び動作はプロダクションスイッチャーの使用者・製造者には一般に知られている。

本実施形態においては、ミクサー・キーヤーＭＫは最低１回路あればよいが、プロダクションスイッチャーでは複数あるのが一般的である。本実施形態ではＭＫ＃１、ＭＫ＃２の２回路備える例を示している。

ＤＶＥ＃１、ＤＶＥ＃２はそれぞれ、映像（画像）を変形・加工する回路であり、入力ＩＮ１およびＩＮ２に入力された映像信号を変形・加工し、出力ＯＵＴ１およびＯＵＴ２に出力する。ＤＶＥは最低２回路必要であり、プロダクションスイッチャーでは、複数あるのが一般的である。本実施形態ではＤＶＥ＃１、ＤＶＥ＃２の２回路備える例を示している。

遅延回路ＤＥＬＡＹは、入力信号を遅延させる回路であり、入力ＩＮに入力された信号を、出力ＯＵＴに出力する。遅延回路ＤＥＬＡＹは、最低３回路必要であり、本実施形態においても、ＤＥＬＡＹ＃１、ＤＥＬＡＹ＃２、ＤＥＬＡＹ＃３の３回路備える例を示している。

ＦＩＬＬ・ＫＥＹ合成用回路ＣＯＮＶ＃１は、ＦＩＬＬ信号・ＫＥＹ信号の組を２組合成して、１つの合成されたＦＩＬＬ信号・ＫＥＹ信号にして出力する回路である。ＦＩＬＬ・ＫＥＹ合成用回路ＣＯＮＶは、最低１回路必要であり、本実施形態においてもＣＯＮＶ＃１の１回路備える例を示している。

図２はＤＶＥの内部回路の例を示す。入力ＩＮ１、ＩＮ２に入力された画像信号は、フィルター回路２１によりフィルタリングされ、書込み&読出しメモリ回路２２を経由して出力される。フィルター回路２１は画像の拡大・縮小を行う際に、折り返しなどを防ぐための回路である。書込み&読出しメモリ回路２２は、メモリに映像信号を書き込んだり、読み出したりする回路であるが、書き込みあるいは読み出しの際に、書き込みあるいは読み出しのアドレスを調整して、画像の位置調整、拡大・縮小を行う。

（第１の実施形態の動作）
図３は図１の各部の信号処理のフローを示す図であり、図４は第１の実施形態の位相チャートを示す図である。

図１、図３において、信号切替回路ＭＴＸの入力端子ＭＴＸＩＮ１に与えられる素材信号Ａは、小窓（ウィンドウ）・額縁が上に乗せられる主画像（第１の画像）信号である。

入力端子ＭＴＸＩＮ２に与えられる素材信号Ｂは小窓内に切り取られるべき画像信号であり、ＤＶＥ＃１で位置調整、拡大・縮小された後、画像信号（ウィンドウ画像）Ｂ’となる。

入力端子ＭＴＸＩＮ３に与えられる素材信号ＣＦは、額縁画像として合成するＦＩＬＬ信号である。

入力端子ＭＴＸＩＮ４に与えられる素材信号ＣＫ１は、素材信号ＣＦを合成する際、合成する度合いを決めるＫＥＹ信号である。ＫＥＹ信号のレベルが０〜１に正規化されているとすると、ＫＥＹ＝０に対応する箇所はまったく合成しない。一方、ＫＥＹ＝１に対応する箇所はすべてＣＦ信号になる。その他の場合は、ＫＥＹ信号のレベルに応じて、素材信号ＣＦが合成される。

入力端子ＭＴＸＩＮ５に与えられる素材信号ＣＫ２は、信号Ｂ’を小窓に切り取る際のＫＥＹ信号である。ＫＥＹ信号のレベルが０〜１に正規化されているとすると、ＫＥＹ＝０に対応する箇所は、まったく合成しない。一方、ＫＥＹ＝１に対応する箇所はすべて信号Ｂ’になる。その他の場合は、ＫＥＹ信号のレベルに応じて、Ｂ’が合成される。

信号切替回路ＭＴＸにより、ミクサー・キーヤーＭＫ＃１の入力Ａには素材信号Ａが分配され、ＤＶＥ＃１の入力ＩＮ１には素材信号Ｂが分配される。素材信号Ｂは、ＤＶＥ＃１で位置調整、拡大・縮小されたのち、出力ＯＵＴ１から画像信号Ｂ’として出力される。

通常、ＤＶＥ＃１では素材の位相調整もかねて１フレーム遅延で出力されるが、本実施形態では、ＤＶＥを２段直列に接続する場合は、約０．５フレーム遅延で出力する。

ＤＶＥ＃１の出力ＯＵＴ１からの出力はＭＴＸ入力にリエントリされた後、ＦＩＬＬ・ＫＥＹ合成用回路ＣＯＮＶ＃１の入力Ｆ１ＩＮに分配される（図３のＢ’に相当するので、以後Ｂ’とする）。

信号切替回路ＭＴＸにより、素材信号ＣＦは遅延回路ＤＥＬＡＹ＃１の入力ＩＮに分配される。分配された素材信号ＣＦは、ＤＶＥ＃１の出力位相とほぼ同じ位相で遅延回路ＤＥＬＡＹ＃１の出力ＯＵＴより出力されて、ＭＴＸ入力にリエントリされ、ＦＩＬＬ・ＫＥＹ合成用回路ＣＯＮＶ＃１の入力Ｆ２ＩＮに分配される（この信号をＣＦ’とする）。

信号切替回路ＭＴＸにより、素材信号ＣＫ１は遅延回路ＤＥＬＡＹ＃２の入力ＩＮに分配される。分配された素材信号ＣＫ１は、ＤＶＥ＃１の出力位相とほぼ同じ位相で遅延回路ＤＥＬＡＹ＃２の出力ＯＵＴより出力されて、ＭＴＸ入力にリエントリされ、ＦＩＬＬ・ＫＥＹ合成用回路ＣＯＮＶ＃１の入力Ｋ２ＩＮに分配される（この信号をＣＫ１’とする）。

信号切替回路ＭＴＸにより、素材信号ＣＫ２は遅延回路ＤＥＬＡＹ＃３の入力ＩＮに分配される。分配された素材信号ＣＫ２は、ＤＶＥ＃１の出力位相とほぼ同じ位相で遅延回路ＤＥＬＡＹ＃２の出力ＯＵＴより出力されて、ＭＴＸ入力にリエントリされ、ＦＩＬＬ・ＫＥＹ合成用回路ＣＯＮＶ＃１の入力Ｋ１ＩＮに分配される（この信号をＣＫ２’とする）。

ＦＩＬＬ・ＫＥＹ合成用回路ＣＯＮＶ＃１では、信号Ｂ’、ＣＦ’、ＣＫ１’、ＣＫ２’が入力される。ＦＩＬＬ・ＫＥＹ合成用回路ＣＯＮＶ＃１ではいずれの信号も引き込めるよう位相が調整されている。まず信号Ｂ’が信号ＣＫ２’を使用して切り抜かれて信号ＣＦ’と合成され、出力ＦＯＵＴより出力される（合成された信号をＣＦ’’とする）。

ＦＩＬＬ・ＫＥＹ合成用回路ＣＯＮＶ＃１ではまた、信号ＣＫ２とＣＫ１も加算・合成され、出力ＫＯＵＴより出力される（合成された信号をＣＫ’’とする）。

合成された信号ＣＦ’’とＣＫ’’はそれぞれＭＴＸ入力にリエントリされ、それぞれＤＶＥ＃２の入力ＩＮ１、ＩＮ２に分配される。

ＤＶＥ＃２では、信号ＣＦ’’、ＣＫ’’が引き込めるように位相調整されている。ＤＶＥ＃２ではこれらを入力後、拡大・縮小、位置調整後、それぞれＤＶＥ＃２の出力ＯＵＴ１、ＯＵＴ２より出力する（これらを信号ＣＦ’’’、ＣＫ’’’とする）。

本実施形態ではＤＶＥを２段直列に接続する場合は、約０．５フレーム遅延で、ＤＶＥ＃１からのトータルでは、約１フレーム遅延で出力する。

これらの出力はＭＴＸ入力にリエントリされ、ミクサー・キーヤーＭＫ＃１の入力ＦＩＬＬ、ＫＥＹに分配される。位相的には約１フレーム遅延なので、ミクサー・キーヤーＭＫ＃１に同期信号として入力され、素材信号Ａに合成されて、ミクサー・キーヤーＭＫ＃１の出力より出力される（合成された信号をＺとする）。

（第１の実施形態の効果）
第１の実施形態の効果は、図４からも理解できるように、素材信号Ｂの位置調整、拡大・縮小をプロダクションスイッチャーの映像合成部側で行い、かつ、小窓・額縁合成した信号ＣＦ’’、ＣＫ’’の位置調整、拡大・縮小をプロダクションスイッチャーの映像合成部側で素材信号Ｂの位置調整、拡大・縮小とは独立したパラメータで行いながら、小窓・額縁合成全体の遅延時間を約１フレームにしていることである。

従来回路での位相チャートである図５と比較すると、第１の実施形態の図４では全体の遅延時間は約１フレームであるのに対し、従来の図５では約２フレームになっている。

これは、ＤＶＥ内の遅延を系統に合わせて変更していること、及び額縁合成用のＦＩＬＬ・ＫＥＹ素材用に、１段目のＤＶＥの遅延に合わせる回路を設けて、そちらも動的に変更しているためである。

また、ＤＶＥ内の回路の遅延を、接続系統により動的に変更する（ＤＶＥが１段の場合は遅延を１フレームに変更）ことで、プロダクションスイッチャー内のリソースであるＤＶＥを有効に使うことができる。ＤＶＥが１段でよい場合は、未使用なＤＶＥは他の系統で使用可能である。

（他の実施形態）
本発明を、好ましい実施形態を参照して説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、請求項に記載された本発明の精神や範囲内で当業者が理解し得る様々な変更をすることができる。以下に、他の実施形態を挙げる。

１．ＦＩＬＬ・ＫＥＹ合成用回路ＣＯＮＶ＃１でのＦＩＬＬ信号合成の際、入力Ｋ１ＩＮを使用したが、入力Ｋ２ＩＮを使用しても良い。

２．ＤＶＥが２つの入力ＩＮ１、ＩＮ２を備える回路で説明したが、１入力のＤＶＥが３つ以上あり、そのうちの２つが連動する（図１のＤＶＥ＃２に相当）構成でもよい。

３．ＤＶＥの入力が信号切替回路ＭＴＸ出力に、ＤＶＥのリエントリ出力が信号切替回路ＭＴＸ入力にそれぞれ接続され、ミクサー・キーヤーＭＫや他のＤＶＥと組み合わされる場合（一般的にフローティングＤＶＥなどと呼ばれる）を示したが、入出力の接続の一部または全部が固定の場合でも良い。その一例として、図７に示すように、ＤＶＥ、ＣＯＮＶとＭＩＸＥＲ／ＫＥＹＥＲが固定的、あるいは切替回路で組み合わさっている回路であっても良い。

４．ＤＶＥ内のフィルター回路２１と書込み＆読出しメモリ回路２２の順序は逆でも良い。

５．ＤＶＥが２段構成の場合、１段目のＤＶＥと２段目のＤＶＥの遅延は合わせて約１フレームであれば、それぞれの遅延量は調整が可能である。

６．原理的には、ＤＶＥをＭ段（Ｍは３以上の整数）にすることは、１段当りのＤＶＥの遅延を約１／Ｍフレーム、トータルで約１フレームにすることで実現可能である。

ＭＴＸ信号切替回路（マトリクススイッチャー）
ＭＫ＃１、ＭＫ＃２ミクサー・キーヤー
ＤＥＬＡＹ＃１〜ＤＥＬＡＹ＃３遅延回路
ＣＯＮＶ＃１ＦＩＬＬ・ＫＥＹ合成用回路

Claims

第１の画像中に、該第１の画像より小さい額縁画像とウィンドウ画像を合成する映像効果装置であって、
ウィンドウに表示する画像を変形・加工する少なくとも２段の変形・加工手段を備え、
前記変形・加工手段はメモリ手段を含み、
２段の前記変形・加工手段において前記ウィンドウに表示する画像を変形・加工する際の前記メモリ手段への書込み・読出しをそれぞれ、０．５フレームの遅延時間で実行するように構成し、
初段の前記変形・加工手段により前記ウィンドウに表示する画像を前記ウィンドウ画像に変形、加工すると共に、前記額縁画像と前記ウィンドウ画像とを遅延時間を合わせて合成し、合成した額縁画像・ウィンドウ画像を次段の前記変形・加工手段で画面全体画像と合成することにより、全体の合成処理を１フレームの遅延時間で実現することを特徴とする映像効果装置。
請求項１において、前記額縁画像と前記ウィンドウ画像とを遅延時間を合わせて合成するために、前記額縁画像の信号を遅延させる遅延手段を備えることを特徴とする映像効果装置。
請求項１又は２において、前記変形・加工手段をＭ段（Ｍは３以上の整数）以上備える場合、１段当たりの処理時間を１フレーム／Ｍ段で実行するように構成することを特徴とする映像効果装置。
第１の画像中に、該第１の画像より小さい額縁画像とウィンドウ画像を合成する映像効果処理方法であって、
メモリ手段を含み、ウィンドウに表示する画像を変形・加工する少なくとも２段の変形・加工手段を備えることにより、２段の前記変形・加工手段において前記ウィンドウに表示する画像を変形・加工する際の前記メモリ手段への書込み・読出しをそれぞれ、０．５フレームの遅延時間で実行するようにし、
初段の前記変形・加工手段により前記ウィンドウに表示する画像を前記ウィンドウ画像に変形、加工すると共に、前記額縁画像と前記ウィンドウ画像とを遅延時間を合わせて合成し、合成した額縁画像・ウィンドウ画像を次段の前記変形・加工手段で画面全体画像と合成することにより、全体の合成処理を１フレームの遅延時間で実現することを特徴とする映像効果処理方法。