JP4166463B2

JP4166463B2 - 映像生成装置

Info

Publication number: JP4166463B2
Application number: JP2001362908A
Authority: JP
Inventors: 長人成田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2001-11-28
Filing date: 2001-11-28
Publication date: 2008-10-15
Anticipated expiration: 2021-11-28
Also published as: JP2003163837A

Description

【０００１】
【発明の属する技術分野】
本発明は、放送局や番組制作会社において、広画角で撮影した１つの多画素映像から複数の放送用映像（勿論、録画用映像であってもよい）を生成する映像生成装置に関する。
【０００２】
【従来の技術】
従来、１つの多画素映像から複数の放送用映像を生成する技術は存在しなった。
しかし、１台のテレビカメラ（以下、単にカメラと言う）により撮影された映像内容によって、他の複数のカメラを自動制御したり、複数のカメラからの映像出力を本線用に切り替えたりする技術は開発されている（例えば、井口ほか「アクティブカメラの協調によるスポーツ映像撮影システム」、電子情報学会画像工学研究会技術研究報告、pp.37-44，2000年 7月を参照のこと）。この技術を利用することにより、例えば、スポーツ番組でサッカーの中継において、１台の固定カメラで競技場全体を撮影し、撮影された選手の動きに応じて別の中継用カメラを自動制御（パン、チルト、ズーム、カメラ位置などの自動制御）することができる。
【０００３】
【発明が解決しようとする課題】
上記の方法は、競技が時々刻々進行するなかで、その時点で最適視点と考えられるそれぞれの場所で撮影した１つの映像を生成するためのカメラパラメータを決定し、これに基づいてカメラを制御するものであった。このようなシステムでは、カメラを無人で運用できるという利点はあるものの、複数のカメラ（競技場全体を撮影する１台の制御用カメラと複数の中継用カメラ）が必要なうえ、中継用カメラはある位置に固定されると、競技中などでは容易に位置の変更ができないという問題があった。
【０００４】
本発明の目的は、上述した従来の欠点を排除し、広画角で撮影した１つの多画素映像から複数の映像であって、しかも、それらがそれぞれ異なる視点で撮影された多画素映像であるような映像を生成する映像生成装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明映像生成装置は、広画角で撮影した１つの多画素映像から複数の映像を切り出す映像生成装置であって、前記１つの多画素映像から複数の映像を切り出すために複数の切り出し窓を設定する切り出し窓設定手段と、前記複数の切り出し窓のうちの１つの切り出し窓によって切り出した映像について、背景映像と背景以外の映像とに分離した上で、背景以外の映像の動きベクトルの背景映像の動きベクトルに対する正味の動きベクトルである相対動きベクトルを算出する相対動きベクトル算出手段と、前記算出した相対動きベクトルの大きさが予め定めたしきい値を越える領域を動き領域として設定する動き領域設定手段と、該設定した動き領域に前記算出した相対動きベクトルの大きさと分散に依存して決まる領域を付加してなる領域を画素数変換領域として設定する画素数変換領域設定手段と、前記窓設定手段によって切り出した映像から前記設定した画素数変換領域の映像を抽出する画素数変換領域抽出手段と、該抽出した画素数変換領域の映像の画素数を伝送フォーマットにおける映像の画素数に変換する画素数変換手段とを具えて構成したことを特徴とするものである。
【０００７】
また、本発明映像生成装置は、さらに、前記切り出し窓ごとの前記画素数変換手段の出力の中から所望の１出力を選択して出力する窓切り替え出力手段を具えていることを特徴とするものである。
【０００８】
【発明の実施の形態】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
図１は、本発明による映像生成装置の一実施形態をブロック図にて示している。
図1 において、1 は切り出し窓設定部、２−１，２−２，・・・，２−ｎは信号処理部、３は相対動きベクトル算出部、４は動き領域設定部、５は画素数変換領域設定部、６は画素数変換領域抽出部、７は遅延回路、８は画素数変換部、および９は窓切り替え出力部である。
【０００９】
動作につき説明する。
図1 において、広画角レンズを用いて撮影した入力映像信号は切り出し窓設定部１に供給される。当該設定部において、切り出し窓（図１においては、窓とのみ略記してある）１からｎまでのｎ個の切り出し窓で切り出された映像信号は、破線ブロックにて示される信号処理部２−１，２−２，・・・，２−ｎにそれぞれ供給される。
【００１０】
図２は、それぞれ右下がり斜線、横線、および左下がり斜線で示される切り出し窓１，２，３によって入力映像（最外枠で示される）が切り出される例を示している。本例は、図1 における切り出し窓ｎが３の場合である。
【００１１】
上記において、切り出し窓の数と大きさは予め放送内容に合わせて設定されるが、例えば、サッカー中継の場合、入力映像は競技場全体を撮影した広画角・多画素映像で、両軍エリアのゴール付近と中央付近の３カ所をデフォルトでの切り出し窓とするのが好ましい。
実施にあたっては、入力装置から切り出し窓の窓数と各窓の切り出し座標に関する情報を入力し、専用のインターフェース介してこれら情報を切り出し窓設定部１に供給するようにする。
【００１２】
切り出し窓の窓数は、同じサッカー中継の場合でも、競技の多くの場面を予想して４個以上としたり、あるいは、番組制作中に別の場所に移動させたりすることもでき、これにより、１台のテレビカメラにより撮影された映像内容によって、他の複数のカメラを自動制御する従来の技術のように、複数のカメラが必要であったり、競技中などでは容易にカメラ位置の変更ができないという問題があったのが解消される。
【００１３】
以下に、信号処理部２−１，２−２，・・・，２−ｎ内における信号処理について説明する。なお、信号処理部の構成は、皆同じであるので、信号処理部２−１についてのみ構成を示し、説明する。
信号処理部２−１に供給された信号は、まず、２分岐されて相対動きベクトル算出部３と遅延回路４に供給される。
【００１４】
相対動きベクトル算出部３においては、当該算出部に供給された映像信号を背景映像と背景以外の映像とに分離したうえで、背景以外の映像（例えば、選手など注目している被写体映像）の動きベクトルの背景映像の動きベクトルに対する正味の動きベクトルである相対動きベクトルを、大きさ（平均値）と分散とからなる量として算出する。
【００１５】
相対動きベクトルは、例えば、フレーム間にブロックマッチング法を適用してｋ×ｋ画素のマクロブロック単位の動きベクトルを計算し、これと背景映像の動きベクトルとの差分動きベクトルとして求められる。
【００１６】
また、背景映像の動きベクトルは、入力映像を背景映像と背景以外の映像とに分離しなくても、カメラの動き情報やズーム情報等のメタデータを利用し、鄭文涛等による論文、“Ａ High-Precision Camera Operation Parameter measurement System and Its Application to Image Motion Inferring " IEEE Transactions on Broadcasting ,Vol.47, No.1, pp.46-55 , March 2001に記載の方法によっても求めることができる。
特に、カメラが静止しているときは、背景映像の動きベクトルがゼロであり、従って、動いている映像（背景以外の映像）の動きそのものが差分動きベクトルとなる。
【００１７】
相対動きベクトル算出部３で算出された相対動きベクトルは、動き領域設定部４と画素数変換領域設定部５に供給される。
動き領域設定部４では、そこで予め定めたしきい値、例えば、動きベクトルの大きさが２であるとした場合、これを越える大きさの相対動きベクトルとなっているマクロブロックが動いているものと判定し、同時に、動き領域の水平方向および垂直方向の最小値と最大値（それぞれ、座標（Ｘ_min 、Ｘ_max ）および（Ｙ_min 、Ｙ_max ））を検出し、これら座標で囲まれる矩形の領域（以下、動き領域と言う）、例えば、図３に横線で示す領域を設定する。設定された動き領域を表す信号は、相対動きベクトルを表す信号とともに画素数変換領域設定部５に供給される。
【００１８】
画素数変換領域設定部５には、上記動き領域、相対動きベクトルをそれぞれ表す信号のほか、外部からモニター画面のアスペクト比や伝送フォーマットにおける映像画素数を表す目的の信号フォーマット情報（図１参照）も供給され、切り出し窓１で切り出した映像からさらに抽出して放送に使用するための映像にする領域を設定する。そして、この領域の映像は、その画素数を後に放送用映像の画素数に変換するので、以下では、画素数変換領域と言う。
【００１９】
いま、目的の信号フォーマットで与えられる上記アスペクト比をａ：ｂとすると、それぞれ水平方向および垂直方向の座標（（Ｘ′_min 、Ｘ′_max ）および（Ｙ′_min 、Ｙ′_max ））で表される画素数変換領域を、
Ｘ′_min ＝Ｘ_min −α
Ｘ′_max ＝Ｘ_max ＋α
Ｙ′_min ＝Ｙ_min −β
Ｙ′_max ＝Ｙ_max ＋β
で表す。
【００２０】
上記において、αおよびβの値は、動き領域内での動きベクトルの大きさ（平均値）と分散とに依存して定めることができる。
まず、平均値Ａve_i と分散σ_i ² （ｉ＝ｘまたはｙ）がそれぞれ予め設定した値Ａve_i0とσ_i0 ² (しきい値) よりも小さい（動きが小さく、かつ一様）場合には、
（Ｙ_max −Ｙ_min ）／（Ｘ_max −Ｘ_min ）≧ｂ／ａならば
α＝（Ｘ_max −Ｘ_min ）×０．２
β＝（ｂ／２ａ）・（Ｘ_max −Ｘ_min ＋２α）−（１／２）・（Ｙ_max −Ｙ_min ）
また、（Ｙ_max −Ｙ_min ）／（Ｘ_max −Ｘ_min ）＜ｂ／ａならば
α＝（ａ／２ｂ）・（Ｙ_max −Ｙ_min ＋２β）−（１／２）・（Ｘ_max −Ｘ_min ）
β＝（Ｙ_max −Ｙ_min ）×０．２
このとき、動きの大きさは小さいので、注目している被写体映像のサイズが比較的大きくなるようにα、βを小さく（従って、図３に右下がり斜線で示すように画素数変換領域は小さくなる）設定する。また、しきい値の設定は、 SIF サイズ (352 ×240 画素) の映像に対してはＡve_i0＝４，σ_i0 ²=1 とする。
【００２１】
また、平均値Ａve_i と分散σ_i ² （ｉ＝ｘまたはｙ）がそれぞれ予め設定した値Ａve_i0とσ_i0 ² よりも大きい（動きが大きいか、または乱雑）場合には、
（Ｙ_max −Ｙ_min ）／（Ｘ_max −Ｘ_min ）≧ｂ／ａならば
α＝（Ｘ_max −Ｘ_min ）×１．０
β＝（ｂ／２ａ）・（Ｘ_max −Ｘ_min ＋２α）−（１／２）・（Ｙ_max −Ｙ_min ）
また、（Ｙ_max −Ｙ_min ）／（Ｘ_max −Ｘ_min ）＜ｂ／ａならば
α＝（ａ／２ｂ）・（Ｙ_max −Ｙ_min ＋２β）−（１／２）・（Ｘ_max −Ｘ_min ）
β＝（Ｙ_max −Ｙ_min ）×１．０
このとき、動きの大きさは大きいので、注目している被写体映像のサイズが比較的小さくなるようにα、βを大きく（従って、図３に左下がり斜線で示すように画素数変換領域は大きくなる）設定する。
【００２２】
以上のようにして画素数変換領域設定部５で設定された画素数変換領域（図３参照）を表す信号は、画素数変換領域抽出部６に供給される。この画素数変換領域抽出部には、切り出し窓設定部１から切り出し窓１によって切り出された映像信号も遅延回路７を介して供給され、供給された映像信号から上記画素数変換領域設定部５において設定された画素数変換領域、すなわち、水平方向および垂直方向の座標（（Ｘ′_min 、Ｘ′_max ）および（Ｙ′_min 、Ｙ′_max ））で囲まれる画素数変換領域に相当する領域の映像信号が抽出される。抽出された映像信号は次段の画素数変換部８に供給される。
なお、遅延回路７は、相対動きベクトル算出部３から画素数変換領域設定部５までの信号処理に要した時間を補償して、画素数変換領域抽出部６における映像信号の抽出の同時性を確保するためのものである。
【００２３】
画素数変換部８においては、同変換部に供給される目的の信号フォーマット情報を使用して、画素数変換領域抽出部６の出力映像信号の画素数と放送用映像信号の画素数（これは、目的の信号フォーマット情報中の伝送フォーマットにおける映像画素数として与えられる）の比を算出し、この画素数比に従って画素数変換領域抽出部６から出力された映像信号の画素数を放送用映像信号の画素数に変換する。なお、画素数変換には、例えば、従来周知のＤＤ変換手法等を用いて変換することができる。
【００２４】
画素数変換部８によって画素数変換が行われた映像信号は、切り出し窓設定部１の切り出し窓２乃至窓ｎで切り出された映像信号がそれぞれ信号処理部２−２，・・・，２−ｎにおいて処理されて得られた映像信号とともに窓切り替え出力部９に供給され、それら映像信号の中から１つの映像信号が選択されて放送や収録に供される。
【００２５】
【発明の効果】
本発明によれば、広画角で撮影した１つの多画素映像から複数の映像であって、かつ、それぞれが異なる視点から撮影された多画素映像であるような映像を自動的に生成することが可能となる。
【図面の簡単な説明】
【図１】本発明による映像生成装置の一実施形態をブロック図にて示している。
【図２】それぞれ右下がり斜線、横線、および左下がり斜線で示される３つの切り出し窓によって入力映像が切り出される例を示している。
【図３】それぞれ横線、右下がり斜線、および左下がり斜線で示される領域によって、動き領域、および切り出された映像の動きが小さい場合と大きい場合の画素数変換領域を示している。
【符号の説明】
１切り出し窓設定部
２−１，２−２，・・・，２−ｎ信号処理部
３相対動きベクトル算出部
４動き領域設定部
５画素数変換領域設定部
６画素数変換領域抽出部
７遅延回路
８画素数変換部
９窓切り替え出力部

Claims

広画角で撮影した１つの多画素映像から複数の映像を切り出す映像生成装置であって、前記１つの多画素映像から複数の映像を切り出すために複数の切り出し窓を設定する切り出し窓設定手段と、前記複数の切り出し窓のうちの１つの切り出し窓によって切り出した映像について、背景映像と背景以外の映像とに分離した上で、背景以外の映像の動きベクトルの背景映像の動きベクトルに対する正味の動きベクトルである相対動きベクトルを算出する相対動きベクトル算出手段と、前記算出した相対動きベクトルの大きさが予め定めたしきい値を越える領域を動き領域として設定する動き領域設定手段と、該設定した動き領域に前記算出した相対動きベクトルの大きさと分散に依存して決まる領域を付加してなる領域を画素数変換領域として設定する画素数変換領域設定手段と、前記窓設定手段によって切り出した映像から前記設定した画素数変換領域の映像を抽出する画素数変換領域抽出手段と、該抽出した画素数変換領域の映像の画素数を伝送フォーマットにおける映像の画素数に変換する画素数変換手段とを具えて構成したことを特徴とする映像生成装置。
請求項１に記載の映像生成装置において、該装置はさらに、前記切り出し窓ごとの前記画素数変換手段の出力の中から所望の１出力を選択して出力する窓切り替え出力手段を具えていることを特徴とする映像生成装置。