JP4658391B2 - 映像補助効果生成装置および映像送信装置ならびに映像受信装置 - Google Patents
映像補助効果生成装置および映像送信装置ならびに映像受信装置 Download PDFInfo
- Publication number
- JP4658391B2 JP4658391B2 JP2001184861A JP2001184861A JP4658391B2 JP 4658391 B2 JP4658391 B2 JP 4658391B2 JP 2001184861 A JP2001184861 A JP 2001184861A JP 2001184861 A JP2001184861 A JP 2001184861A JP 4658391 B2 JP4658391 B2 JP 4658391B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- camera
- broadcast
- related object
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、撮影した映像に含まれる動オブジェクトの位置によってその動オブジェクトに関連する関連オブジェクトを生成する映像補助効果生成装置および、生成された関連オブジェクトを含む放送カメラ映像を送信する映像送信装置ならびに、送信された映像に含まれる動オブジェクトに関連する関連オブジェクトを含む情報を受信する映像受信装置に関する。
【０００２】
【従来の技術】
従来、例えばスポーツのテレビ放送では、試合を進める選手が中心に撮影される。このとき、視聴者の視線は選手に注がれることが多い。そのために、放送映像カメラはおのずと選手の動きを追うことが多くなる。このような場合、視聴者にとっては、選手の位置とグラウンド全体との相対的な位置関係が把握できにくくなることがある。こうなると、スポーツ番組の観戦が局所的になって、ややもすると、放送映像の魅力を低減させかねないという恐れが生じる。
【０００３】
そこで、放送映像を魅力あるものにするために、最近になってアメリカンフットボールの放送では、攻撃チーム用のターゲットラインを視覚化して成るバーチャルな１０ヤードラインを放送映像に付加するようになった。この１０ヤードラインは、１回あたりの攻撃期間中にその位置が固定されるので、毎回の攻撃開始時になると、放送局側のオペレータがその位置を放送映像に描くことができる。
【０００４】
【発明が解決しようとする課題】
ところで、前記した１０ヤードラインを放送映像に描くことについて、他のスポーツである例えばサッカーに当てはめてみると、類似したものにオフサイドラインがある。このオフサイドラインの位置は、選手の位置によって時々刻々に変化するものである。つまり、サッカーの選手が常に移動しているため、１０ヤードラインの場合のように放送局側のオペレータが放送映像にその位置をリアルタイムで指定することができないという問題点があった。
【０００５】
本発明は、前記問題点に鑑み創案されたものであり、例えば常に状況に応じて変化するサッカー選手の位置に依存して定まるオフサイドラインのような位置を検出し、時々刻々変化するオフサイドラインなどを画面上に描くことができるようにするものである。つまり、撮影した映像内の動オブジェクト（選手）の位置によってその位置が決定される関連オブジェクト（オフサイドライン）を自動的に生成して、放送映像に付加することで映像補助効果をもたらすような映像補助効果生成装置および映像送信装置ならびに映像受信装置の提供を目的とする。
【０００６】
【課題を解決するための手段】
本発明では前記の目的を達成するために、映像補助効果生成装置は、放送映像カメラの撮影可能な範囲を固定カメラの撮影範囲とする固定カメラ映像と、前記放送映像カメラによって撮影された放送カメラ映像とを互いに参照して用い、前記放送カメラ映像に映像補助効果を生成する映像補助効果生成装置であって、前記固定カメラ映像に含まれている特定の動オブジェクトを抽出する動オブジェクト抽出手段と、抽出された前記動オブジェクトに関連する関連オブジェクトの位置を算出する関連オブジェクト位置算出手段と、算出された前記関連オブジェクトの位置に基づいて前記関連オブジェクトを前記放送カメラ映像にマッピングする関連オブジェクト生成手段と、を有する構成とした。
【０００７】
このように構成されることにより、映像補助効果生成装置によれば、固定カメラで撮影された固定カメラ映像に含まれる特定の動オブジェクトが抽出され、抽出された動オブジェクトに基づいて関連オブジェクトの位置が算出される。この関連オブジェクトの位置は、動オブジェクトの位置によって決定されるものである。そして、検出された関連オブジェクトの位置が放送カメラ映像に対応する位置にマッピングされることで、映像補助効果がもたらされる。なお、関連オブジェクトは、例えば、直線ラインや、曲線のサークルなどの動オブジェクトに対して自在に放送カメラ映像に描画することができる。
【０００８】
また、映像送信装置は、放送映像カメラの撮影可能な範囲を固定カメラの撮影範囲とする固定カメラ映像と、前記放送映像カメラによって撮影された放送カメラ映像とを互いに参照して用い、前記放送カメラ映像に映像補助効果を生成する映像送信装置であって、前記固定カメラ映像に含まれている特定の動オブジェクトを抽出する動オブジェクト抽出手段と、抽出された前記動オブジェクトに関連する関連オブジェクトの位置を算出する関連オブジェクト位置算出手段と、算出された前記関連オブジェクトの位置に基づいて前記関連オブジェクトを前記放送カメラ映像にマッピングする関連オブジェクト生成手段と、前記関連オブジェクト生成手段によりマッピングされた関連オブジェクトを含む放送カメラ映像を送信する送信手段と、を有する構成とした。
【０００９】
このように構成されることにより、映像送信装置によれば、固定カメラで撮影された固定カメラ映像に含まれる特定の動オブジェクトが抽出され、抽出された動オブジェクトに基づいて関連オブジェクトの位置が算出され、関連オブジェクト生成手段によりマッピングされた関連オブジェクトを含む放送カメラ映像を、送信手段を介して送信される。
【００１０】
さらに、映像受信装置は、放送映像カメラの映像範囲を固定カメラの撮影範囲とする固定カメラ映像に含まれる特定の動オブジェクトに関連する関連オブジェクトを含む前記放送映像カメラによる映像情報を受信する受信手段と、この受信手段により受信した前記映像情報を表示する表示手段と、前記動オブジェクトに関する前記関連オブジェクトを前記表示手段に表示させるための操作を行なう操作手段と、を有する構成とした。
【００１１】
このように構成されることにより、映像受信装置によれば、受信手段により放送カメラ映像に含まれる動オブジェクトおよびその動オブジェクトに関する関連オブジェクトを含む情報を受信し、表示手段によりその情報を表示する。そして、操作手段の操作によって、表示している映像に対して関連オブジェクトを描画することができる。
【００１２】
【発明の実施の形態】
以下、本発明にかかる実施の形態を図面を参照して説明する。図１は、映像送信装置および映像補助効果生成装置の全体構成を示すブロック図である。
【００１３】
図１に示すように、映像送信装置１１は、固定カメラＣＳからの固定カメラ映像ＩＳおよび放送映像カメラＣＤからの放送カメラ映像ＩＤを入力する映像補助効果生成装置１０と、この映像補助効果生成装置１０からの関連オブジェクトを含む放送映像を送信するための送信手段１２とを備えている。
【００１４】
放送映像カメラＣＤは、移動可能で少なくとも１台以上が撮影する被写体（例えば、サッカーであれば、グラウンドの所定位置）に対して適切な位置に設置されている。また、固定カメラＣＳは、放送映像カメラＣＤの撮影可能な範囲をその撮影範囲としてカバーするように、適切な位置、方向、画角に固定的に設置されている（サッカーであれば、グラウンド全体が見渡せる位置など）。そして、固定カメラＣＳと放送映像カメラＣＤとは、それぞれの動作を同期させて撮影が行われる。また、固定カメラＣＳで撮影された映像は固定カメラ映像ＩＳとして、放送映像カメラＣＤで撮影された映像は放送カメラ映像ＩＤとして、それぞれ映像補助効果生成装置１０に入力される。
【００１５】
そして、映像補助効果生成装置１０は、動オブジェクト抽出手段１と、関連オブジェクト位置算出手段２と、関連オブジェクト生成手段３とを有している。この映像補助効果生成装置１０には、固定カメラＣＳ及び放送映像カメラＣＤそれぞれの内部パラメータも後記するように入力される。
【００１６】
動オブジェクト抽出手段１は、固定カメラ映像ＩＳと放送カメラ映像ＩＤとが入力されると、放送カメラ映像ＩＤ内に含まれる動オブジェクトを抽出するものである。そして、抽出した動オブジェクトを関連オブジェクト位置算出手段２に通知する。この通知には、固定カメラＣＳ及び放送映像カメラＣＤの位置情報も含まれている。
【００１７】
動オブジェクト抽出手段１の構成について、図２を参照して詳細に説明する。図２は、動オブジェクト抽出手段１の内部構成を示すブロック図である。図２に示すように、動オブジェクト抽出手段１は、カメラ操作パラメータ計測回路２１と、カメラ内部パラメータ供給回路２２と、背景差分によるオブジェクト抽出回路２３と、放送映像オブジェクト抽出回路２４とから構成されている。
【００１８】
カメラ操作パラメータ計測回路２１は、内蔵するセンサ（図示は省略）を用いて放送映像カメラＣＤのカメラ操作パラメータ（パン角度・チルト角度・ロール角度、ズーム比、及びフォーカス量）を、放送カメラ映像ＩＤのフレームごとに取得する。そして、これらの情報を放送映像オブジェクト抽出回路２４に供給する。
【００１９】
カメラ内部パラメータ供給回路２２は、その内部に、固定カメラＣＳ及び放送映像カメラＣＤそれぞれの焦点距離、撮影映像の中心座標及び光学中心位置を少なくとも含むカメラ内部パラメータを記録した記録媒体（例えば、ＲＯＭ）を有している（図示は省略）。ここで、このカメラ内部パラメータは、予めキャリブレーションを実施することにより求めておく。また、両カメラＣＳ，ＣＤ間の設置高さ、各配置についての３次元における位置関係についても前もって計測しておく。そして、これらの情報を放送映像オブジェクト抽出回路２４に供給する。
【００２０】
背景差分によるオブジェクト抽出回路２３は、固定カメラ映像ＩＳに対して、背景差分法を適用して動オブジェクトの抽出を行う。動オブジェクトの抽出方法としては、例えば、輝度間の時間方向の統計情報を用いて前景と背景とを分離して、輝度の時間的変化から前景の輝度値を推定し、その背景輝度と入力フレームの差分から前景オブジェクトを抽出する方法（境田ら、「背景差分による動オブジェクト抽出手法の検討」、１９９９年電子情報通信学会総合大会）などの既知の方法を用いることができる。そして、抽出した動オブジェクトを放送映像オブジェクト抽出回路２４に通知する。
【００２１】
放送映像オブジェクト抽出回路２４は、背景差分によるオブジェクト抽出回路２３から通知される固定カメラ映像ＩＳの動オブジェクト抽出結果と、カメラ内部パラメータ供給回路２２から供給されるカメラ内部パラメータと、カメラ操作パラメータ計測回路２１から供給されるカメラ操作パラメータと、放送カメラ映像ＩＤとに基づいて、固定カメラ映像ＩＳ内の動オブジェクトを放送カメラ映像ＩＤにマッピング（座標変換）して、これを動オブジェクト抽出結果として関連オブジェクト位置算出手段２に通知する。ここで、固定カメラ映像ＩＳ内の動オブジェクトを放送カメラ映像ＩＤにマッピングするアルゴリズムについては、例えば、本願出願人による特願２０００−３８５２７６「動オブジェクト抽出装置」に開示されたアルゴリズムを用いることができる。
【００２２】
図１に示すように、関連オブジェクト位置算出手段２は、動オブジェクト抽出手段１によって抽出された動オブジェクトの位置によってその位置が決定される関連オブジェクトの位置を検出するものである。ここで、関連オブジェクトは、放送映像に付加することによって、その放送映像に効果をもたらすオブジェクトである。そして、検出した関連オブジェクトの位置を関連オブジェクト生成手段３に通知する。
【００２３】
関連オブジェクト生成手段３は、関連オブジェクト位置算出手段２によって算出された関連オブジェクトの位置と、固定カメラＣＳ及び放送映像カメラＣＤそれぞれのカメラ内部パラメータと、事前知識として予め与えられている映像背景の３次元情報とに基づいて、当該関連オブジェクトを放送カメラ映像ＩＤ上の対応する位置にマッピングして付加するものである。
【００２４】
図１に示すように、送信手段１２は、関連オブジェクト生成手段３によって生成された関連オブジェクト付き放送映像を放送波あるいは通信回線を介して送信するためのものである。
【００２５】
次に、図１から図５を参照して映像送信装置１１および本映像補助効果生成装置１０の動作について説明する。ここでは、サッカーの放送番組において、選手（動オブジェクト）の位置によってその位置が決定されるオフサイドライン（関連オブジェクト）の位置を自動的に算出して、算出したオフサイドラインを放送カメラ映像ＩＤ上に映像補助効果として付加する例を説明する。
【００２６】
まず、試合の全景が撮影可能となるように、固定カメラＣＳを用いてグラウンド全体を撮影する。固定カメラＣＳによって撮影された固定カメラ映像ＩＳは、動オブジェクト抽出手段１の背景差分によるオブジェクト抽出回路２３に入力される。また、１台又は複数台の放送映像カメラＣＤを用いてグラウンド内を動き回る各選手を撮影する。放送映像カメラＣＤによって撮影された放送カメラ映像ＩＤは、動オブジェクト抽出手段１の放送映像オブジェクト抽出回路２４に入力される。
【００２７】
差分背景によるオブジェクト抽出回路２３では、前記した背景差分法を利用して固定カメラ映像ＩＳの中から各選手（動オブジェクト）を抽出して、抽出した各選手を放送映像オブジェクト抽出回路２４に通知する。
【００２８】
放送映像オブジェクト抽出回路２４では、カメラ内部パラメータ供給回路２２から供給される各カメラのカメラ内部パラメータと、カメラ操作パラメータ計測回路２１から供給されるカメラ操作パラメータとを用いて、差分背景によるオブジェクト抽出回路２３から通知された各選手の領域を、放送カメラ映像ＩＤ内にマッピング（座標変換）する。そして、マッピングした結果を関連オブジェクト位置算出手段２に通知する。
【００２９】
関連オブジェクト位置算出手段２では、通知された各選手の領域を基に、オフサイドライン（関連オブジェクト）の位置を算出する。ここで、図３を参照してオフサイドラインの意味について説明する。図３は、オフサイドラインを説明するための図である。サッカーのルールでは、「攻撃側の選手が、▲１▼相手陣内にいる、▲２▼現在のボール位置よりも相手側ゴールラインに近い位置にいる、▲３▼その選手と相手側ゴールラインとの間に相手側選手が２人以上いない。この三つの条件が揃うときに、オフサイドラインポジションとみなされる（オフサイドが成立する）」ことになる。つまり、図３では、相手側ゴールライン３１から数えて２人目（ゴールキーパーを含める）の相手側選手がいる位置がオフサイドライン３２の位置である。
【００３０】
関連オブジェクト位置算出手段２では、事前知識として与えられた両チームのユニフォーム色（ゴールキーパーのユニフォーム色を含める）を基にして、動オブジェクト抽出手段１で抽出された各選手領域について、各選手それぞれのユニフォーム色を、相手側ゴールライン３１の位置から順に比較して算出することで、相手側ゴールライン３１から数えて２人目の相手側選手を検出する。この相手側選手のいる位置がオフサイドラインの位置となる。
【００３１】
図４を参照してオフサイドラインの位置について説明を加える。図４は、固定カメラＣＳで撮影された固定カメラ映像ＩＳに、オフサイドライン３２を付加した図である。図４において、相手側ゴールライン３１から数えて２人目の相手側選手が検出されると、固定カメラ映像ＩＳ上におけるこの相手側選手の位置は、座標Ｐ1（Ｘ1，Ｙ1）で表わされる。この座標Ｐ1（Ｘ1，Ｙ1）を基準にして、固定カメラ映像ＩＳ上でのオフサイドライン３２を決める。図４に示すように、Ｐ1からゴールライン３１までの距離が等しくなるようなＰ1以外の任意の１点Ｐ1’（Ｘ1’，Ｙ1’）を選定すれば、点Ｐ1と、点Ｐ1’とを含む線分を得ることができる。この線分が、固定カメラ映像ＩＳ上から見たオフサイドラインである。関連オブジェクト位置算出手段２は、このようにして算出して検出したオフサイドラインの位置を関連オブジェクト生成手段３に通知する。
【００３２】
関連オブジェクト生成手段３では、関連オブジェクト位置算出手段２から通知されたオフサイドラインの位置と、固定カメラＣＳ及び放送映像カメラＣＤそれぞれのカメラ内部パラメータと、事前知識として与えられているグラウンド（映像背景）の３次元位置情報とを用いて、オフサイドライン３２を放送カメラ映像ＩＤ内にマッピング（座標変換）する。
【００３３】
図５を参照してこのマッピング処理のアルゴリズムについて説明する。図５は、固定カメラＣＳと放送映像カメラＣＤとの両映像間における領域マッピングを説明する図である。図５において、固定カメラＣＳ及び放送映像カメラＣＤでは、それぞれ２つの座標系が用いられる。第１の座標系は、固定カメラＣＳの光学中心ｏ1（放送映像カメラＣＤの場合はｏ2）を原点として、固定カメラＣＳのｚ軸が光軸に一致する３次元カメラ座標系ｏ1−ｘ1−ｙ1−ｚ1（放送映像カメラＣＤの場合はｏ2−ｘ2−ｙ2−ｚ2）である。第２の座標系は、固定カメラＣＳの光軸と画像面との交点である画像中心Ｏ1（放送映像カメラＣＤの場合はＯ2）を原点とする２次元画像座標系Ｏ1−Ｘ1−Ｙ1（放送映像カメラＣＤの場合はＯ2−Ｘ2−Ｙ2）である。
【００３４】
また、固定カメラＣＳの座標系を基準座標系とし、この基準座標系における放送映像カメラＣＤの状態を、カメラの光学中心の３次元位置（ｘ，ｙ，ｚ）に３つ、カメラの回転角度（パン角度、チルト角度、ロール角度）に３つ、焦点距離に１つ、合わせて７つのパラメータで表すものとする。
【００３５】
また、固定カメラＣＳ及び放送映像カメラＣＤそれぞれのカメラ内部パラメータは既知である。また、事前知識として固定カメラＣＳとグラウンドとの設置高さおよび設置位置の３次元における位置関係が与えられているものとする。従って、固定カメラＣＳによって撮影された固定カメラ映像ＩＳにおいて、各画素に対応するグラウンド上の点の３次元位置が既知となる。
【００３６】
ここで、ある任意の時刻ｔにおける放送映像カメラＣＤの位置を、Ｔ＝（Ｔx，Ｔy，Ｔz）t、回転角度を（θp，θt，θr）t、焦点距離をｆ2とし、また、固定カメラＣＳの焦点距離をｆ1として、固定カメラ映像ＩＳ内の点Ｐ1（Ｘ1，Ｙ1）を放送カメラ映像ＩＤ上の対応点Ｐ2（Ｘ2，Ｙ2）にマッピングする方法を詳細に説明する。
【００３７】
まず、固定カメラ映像ＩＳ内の座標Ｏ1（Ｘ1，Ｙ1）に対応するグラウンド上の点をｐとして、固定カメラＣＳの座標系におけるｐの３次元座標ｏ1（ｘ1，ｙ1，ｚ1）は、下記（１）式によって表わすことができる。ただし、（１）式に示すｚ1は、固定カメラＣＳの座標系におけるｐの奥行き値である。
【００３８】
【数１】
【００３９】
また、放送映像カメラＣＤの座標系におけるｐの３次元座標ｏ2（ｘ2，ｙ2，ｚ2）は下記（２）式によって表わすことができる。ただし、（２）式に示すＲは、下記（３）式で与えられる回転行列である。
【００４０】
【数２】
【００４１】
【数３】
【００４２】
したがって、放送カメラ映像ＩＤにおける座標Ｏ2（Ｘ2，Ｙ2）は、前記した放送映像カメラＣＤの座標系におけるｐの３次元座標ｏ2（ｘ2，ｙ2，ｚ2）が、前記（２）式及び前記（３）式で求まっているので、下記（４）式によって求めることができる。
【００４３】
【数４】
【００４４】
同様に、固定カメラ映像ＩＳ内の点Ｐ1’（Ｘ1’，Ｙ1’）を、放送カメラ映像ＩＤ上の対応点Ｐ2’（Ｘ2’，Ｙ2’）にマッピングする。このとき、前記した対応点Ｐ2と、この対応点Ｐ2’とを含む線分が、放送カメラ映像ＩＤ上でのオフサイドライン３２となる。
【００４５】
このように、固定カメラ映像ＩＳに含まれる選手（動オブジェクト）を抽出し、選手の位置によってその位置が定まるオフサイドライン３２（関連オブジェクト）の位置を算出して検出し、検出したオフサイドライン３２の位置を放送カメラ映像ＩＤ上にマッピングすることができる。
【００４６】
したがって、オフサイドライン３２の位置をマッピングした放送カメラ映像ＩＤを送信手段１２を介して送信することで、放送カメラ映像ＩＤ上に生成されたオフサイドライン３２が、視聴者がサッカーのテレビ放送を視聴するときに映像効果をもたらす。
【００４７】
つぎに、図６を参照して映像受信装置１５について説明する。なお、前記した動オブジェクトおよび関連オブジェクト位置の算出ならびに、動オブジェクトに関連オブジェクトをマッピングする構成については、すでに前記したものと同様であるため、ここではその説明を省略する。
【００４８】
映像受信装置１５は、通常のテレビジョン装置と同等の機能を備えており、すでに図１ないし図５により説明した動オブジェクトに関連する関連オブジェクトを含む放送映像信号を受信する受信手段１６と、この受信手段１６により受信した放送映像信号の音声ならびに放送映像を復調等の処理を行なって画面表示する表示手段１７と、この表示手段１７に表示されている放送映像に関連オブジェクトを表示あるいは表示しているものを消去する操作を行なう操作手段１８とを備えている。
【００４９】
受信手段１６は、放送局側から放送波あるいは通信回線を介して送られてくる放送映像信号を受信する放送アンテナあるいはケーブル放送受信装置等の構成であり、放送映像を受信して復調等ができるものであれば特に限定されるものではない。
また、表示手段１７は、放送映像の音声の出力、映像の表示を行なうことができる液晶表示テレビ、プラズマディスプレイあるいはブラウン管を用いたテレビなどである。
【００５０】
さらに、操作手段１８は、表示手段１７に表示される映像に含まれている関連オブジェクトを表示あるいは消去するための操作を行なう操作ボタンを有する操作用リモコンあるいは表示手段１７本体に形成されているプレート操作ボタン（図示せず）として構成されている。
【００５１】
したがって、映像受信装置１５を用いて、サッカーの試合を視聴する場合、関連オブジェクトであるオフサイドラインＯＬ（図６（ｂ）参照）や、また、ディフェンス選手のディフェンスエリアＤＡ（図６（ａ）参照）等について、操作用リモコン（操作手段１８）を介して選択的に表示させたり、あるいは、表示しているオフサイドラインＯＬや、ディフェンスエリアＤＡ等を表示画面から消去させたりする操作を行なうことが映像画面上においてリアルタイムでできるものである。
【００５２】
もちろん、各サッカーのプレーを放送局側の編集によりリプレイする場合においても、そのリプレイ映像信号に関連オブジェクトを含むものであれば、オフサイドラインＯＬ等の表示、消去を自在に行なうことができるものである。なお、オフサイドラインＯＬを表示する場合は、一方のサイドラインＳＬから他方のサイドラインＳＬまで描画すると分かりやすい。
【００５３】
そして、オフサイドラインＯＬの色彩は、グラウンドの色彩が緑色であり、また、サイドラインＳＬやゴールライン等のフィールド上に引かれているラインは、一定幅の連続した白色である。そのため、オフサイドラインＯＬの関連オブジェクトは、白あるいは緑と区別できる色彩あるいはフィールド上に引かれているラインと区別できる点線、一点鎖線などにすると視聴者にとって見分けやすい構成となる。
【００５４】
以上、本発明に係る実施の形態について説明したが、本発明は本実施の形態に限定されることなく、広く変形して実施することが可能である。例えば、サッカーの例では、テレビ画面外にいた選手がテレビ画面内に入ってくる直前の、移動方向のテレビ画面上での表示や、テレビ画面内或いはテレビ画面外にいる各選手の影響エリアの表示なども同様にして実現することが可能である。
【００５５】
また、サッカーのテレビ放送に限らず、例えば、図７に示すように、野球中継のバッター毎のストライクゾーンＳＺを関連オブジェクトとすることなど、映像に含まれる動オブジェクトの位置によってその位置が定まる関連オブジェクトを自動的に生成して、映像効果とするような汎用的な放送番組に適用することが容易にできる。
【００５６】
【発明の効果】
以上、説明したとおり、本発明に係る映像補助効果生成装置では、固定カメラで撮影した固定カメラ映像から動オブジェクトを抽出して、抽出した動オブジェクトの位置によってその位置が決定される関連オブジェクトの位置を算出することで検出して、検出した関連オブジェクトの位置を放送カメラ映像上に生成する構成としたので、放送映像に映像補助効果がもたらされ、より分かり易く、よりエンタテイメント性の高い放送番組を製作することができる。
【００５７】
また、映像送信装置は、関連オブジェクトを含む放送映像信号を送信することができるため、放送映像に映像効果がもたらされ、より分かり易く、よりエンタテイメント性の高い放送番組を提供することができる。
【００５８】
さらに、映像受信装置は、関連オブジェクトを含む放送映像信号を受信して視聴者の操作により、その関連オブジェクトを表示あるいは消去することができるため、視聴者の好みに合わせて映像補助効果を選択して使用することが可能となる。
【図面の簡単な説明】
【図１】本発明にかかる映像送信装置および映像補助効果生成装置の全体構成を示すブロック図である。
【図２】本発明にかかる動オブジェクト抽出手段の構成を示すブロック図である。
【図３】本発明にかかる映像補助効果生成装置によるオフサイドラインを説明するための模式図である。
【図４】本発明にかかる映像補助効果生成装置で固定カメラ映像にオフサイドラインを付加した模式図である。
【図５】本発明にかかる映像補助効果生成装置により固定カメラと放送映像カメラとの両映像間における領域マッピングを説明する模式図である。
【図６】（ａ）、（ｂ）は、本発明にかかる映像受信装置の構成を示すブロック図である。
【図７】本発明にかかる映像補助効果生成装置による関連オブジェクトを付加した映像の模式図である。
【符号の説明】
１ 動オブジェクト抽出手段
２ 関連オブジェクト位置算出手段
３ 関連オブジェクト生成手段
１０ 映像補助効果生成装置
１１ 映像送信装置
１２ 送信手段
１５ 映像受信装置
１６ 受信手段
１７ 表示手段
１８ 操作手段
２１ カメラ操作パラメータ計測回路
２２ カメラ内部パラメータ供給回路
２３ 背景差分によるオブジェクト抽出回路
２４ 放送映像オブジェクト抽出回路
ＣＳ 固定カメラ
ＩＳ 固定カメラ映像
ＣＤ 放送映像カメラ
ＩＤ 放送カメラ映像
【発明の属する技術分野】
本発明は、撮影した映像に含まれる動オブジェクトの位置によってその動オブジェクトに関連する関連オブジェクトを生成する映像補助効果生成装置および、生成された関連オブジェクトを含む放送カメラ映像を送信する映像送信装置ならびに、送信された映像に含まれる動オブジェクトに関連する関連オブジェクトを含む情報を受信する映像受信装置に関する。
【０００２】
【従来の技術】
従来、例えばスポーツのテレビ放送では、試合を進める選手が中心に撮影される。このとき、視聴者の視線は選手に注がれることが多い。そのために、放送映像カメラはおのずと選手の動きを追うことが多くなる。このような場合、視聴者にとっては、選手の位置とグラウンド全体との相対的な位置関係が把握できにくくなることがある。こうなると、スポーツ番組の観戦が局所的になって、ややもすると、放送映像の魅力を低減させかねないという恐れが生じる。
【０００３】
そこで、放送映像を魅力あるものにするために、最近になってアメリカンフットボールの放送では、攻撃チーム用のターゲットラインを視覚化して成るバーチャルな１０ヤードラインを放送映像に付加するようになった。この１０ヤードラインは、１回あたりの攻撃期間中にその位置が固定されるので、毎回の攻撃開始時になると、放送局側のオペレータがその位置を放送映像に描くことができる。
【０００４】
【発明が解決しようとする課題】
ところで、前記した１０ヤードラインを放送映像に描くことについて、他のスポーツである例えばサッカーに当てはめてみると、類似したものにオフサイドラインがある。このオフサイドラインの位置は、選手の位置によって時々刻々に変化するものである。つまり、サッカーの選手が常に移動しているため、１０ヤードラインの場合のように放送局側のオペレータが放送映像にその位置をリアルタイムで指定することができないという問題点があった。
【０００５】
本発明は、前記問題点に鑑み創案されたものであり、例えば常に状況に応じて変化するサッカー選手の位置に依存して定まるオフサイドラインのような位置を検出し、時々刻々変化するオフサイドラインなどを画面上に描くことができるようにするものである。つまり、撮影した映像内の動オブジェクト（選手）の位置によってその位置が決定される関連オブジェクト（オフサイドライン）を自動的に生成して、放送映像に付加することで映像補助効果をもたらすような映像補助効果生成装置および映像送信装置ならびに映像受信装置の提供を目的とする。
【０００６】
【課題を解決するための手段】
本発明では前記の目的を達成するために、映像補助効果生成装置は、放送映像カメラの撮影可能な範囲を固定カメラの撮影範囲とする固定カメラ映像と、前記放送映像カメラによって撮影された放送カメラ映像とを互いに参照して用い、前記放送カメラ映像に映像補助効果を生成する映像補助効果生成装置であって、前記固定カメラ映像に含まれている特定の動オブジェクトを抽出する動オブジェクト抽出手段と、抽出された前記動オブジェクトに関連する関連オブジェクトの位置を算出する関連オブジェクト位置算出手段と、算出された前記関連オブジェクトの位置に基づいて前記関連オブジェクトを前記放送カメラ映像にマッピングする関連オブジェクト生成手段と、を有する構成とした。
【０００７】
このように構成されることにより、映像補助効果生成装置によれば、固定カメラで撮影された固定カメラ映像に含まれる特定の動オブジェクトが抽出され、抽出された動オブジェクトに基づいて関連オブジェクトの位置が算出される。この関連オブジェクトの位置は、動オブジェクトの位置によって決定されるものである。そして、検出された関連オブジェクトの位置が放送カメラ映像に対応する位置にマッピングされることで、映像補助効果がもたらされる。なお、関連オブジェクトは、例えば、直線ラインや、曲線のサークルなどの動オブジェクトに対して自在に放送カメラ映像に描画することができる。
【０００８】
また、映像送信装置は、放送映像カメラの撮影可能な範囲を固定カメラの撮影範囲とする固定カメラ映像と、前記放送映像カメラによって撮影された放送カメラ映像とを互いに参照して用い、前記放送カメラ映像に映像補助効果を生成する映像送信装置であって、前記固定カメラ映像に含まれている特定の動オブジェクトを抽出する動オブジェクト抽出手段と、抽出された前記動オブジェクトに関連する関連オブジェクトの位置を算出する関連オブジェクト位置算出手段と、算出された前記関連オブジェクトの位置に基づいて前記関連オブジェクトを前記放送カメラ映像にマッピングする関連オブジェクト生成手段と、前記関連オブジェクト生成手段によりマッピングされた関連オブジェクトを含む放送カメラ映像を送信する送信手段と、を有する構成とした。
【０００９】
このように構成されることにより、映像送信装置によれば、固定カメラで撮影された固定カメラ映像に含まれる特定の動オブジェクトが抽出され、抽出された動オブジェクトに基づいて関連オブジェクトの位置が算出され、関連オブジェクト生成手段によりマッピングされた関連オブジェクトを含む放送カメラ映像を、送信手段を介して送信される。
【００１０】
さらに、映像受信装置は、放送映像カメラの映像範囲を固定カメラの撮影範囲とする固定カメラ映像に含まれる特定の動オブジェクトに関連する関連オブジェクトを含む前記放送映像カメラによる映像情報を受信する受信手段と、この受信手段により受信した前記映像情報を表示する表示手段と、前記動オブジェクトに関する前記関連オブジェクトを前記表示手段に表示させるための操作を行なう操作手段と、を有する構成とした。
【００１１】
このように構成されることにより、映像受信装置によれば、受信手段により放送カメラ映像に含まれる動オブジェクトおよびその動オブジェクトに関する関連オブジェクトを含む情報を受信し、表示手段によりその情報を表示する。そして、操作手段の操作によって、表示している映像に対して関連オブジェクトを描画することができる。
【００１２】
【発明の実施の形態】
以下、本発明にかかる実施の形態を図面を参照して説明する。図１は、映像送信装置および映像補助効果生成装置の全体構成を示すブロック図である。
【００１３】
図１に示すように、映像送信装置１１は、固定カメラＣＳからの固定カメラ映像ＩＳおよび放送映像カメラＣＤからの放送カメラ映像ＩＤを入力する映像補助効果生成装置１０と、この映像補助効果生成装置１０からの関連オブジェクトを含む放送映像を送信するための送信手段１２とを備えている。
【００１４】
放送映像カメラＣＤは、移動可能で少なくとも１台以上が撮影する被写体（例えば、サッカーであれば、グラウンドの所定位置）に対して適切な位置に設置されている。また、固定カメラＣＳは、放送映像カメラＣＤの撮影可能な範囲をその撮影範囲としてカバーするように、適切な位置、方向、画角に固定的に設置されている（サッカーであれば、グラウンド全体が見渡せる位置など）。そして、固定カメラＣＳと放送映像カメラＣＤとは、それぞれの動作を同期させて撮影が行われる。また、固定カメラＣＳで撮影された映像は固定カメラ映像ＩＳとして、放送映像カメラＣＤで撮影された映像は放送カメラ映像ＩＤとして、それぞれ映像補助効果生成装置１０に入力される。
【００１５】
そして、映像補助効果生成装置１０は、動オブジェクト抽出手段１と、関連オブジェクト位置算出手段２と、関連オブジェクト生成手段３とを有している。この映像補助効果生成装置１０には、固定カメラＣＳ及び放送映像カメラＣＤそれぞれの内部パラメータも後記するように入力される。
【００１６】
動オブジェクト抽出手段１は、固定カメラ映像ＩＳと放送カメラ映像ＩＤとが入力されると、放送カメラ映像ＩＤ内に含まれる動オブジェクトを抽出するものである。そして、抽出した動オブジェクトを関連オブジェクト位置算出手段２に通知する。この通知には、固定カメラＣＳ及び放送映像カメラＣＤの位置情報も含まれている。
【００１７】
動オブジェクト抽出手段１の構成について、図２を参照して詳細に説明する。図２は、動オブジェクト抽出手段１の内部構成を示すブロック図である。図２に示すように、動オブジェクト抽出手段１は、カメラ操作パラメータ計測回路２１と、カメラ内部パラメータ供給回路２２と、背景差分によるオブジェクト抽出回路２３と、放送映像オブジェクト抽出回路２４とから構成されている。
【００１８】
カメラ操作パラメータ計測回路２１は、内蔵するセンサ（図示は省略）を用いて放送映像カメラＣＤのカメラ操作パラメータ（パン角度・チルト角度・ロール角度、ズーム比、及びフォーカス量）を、放送カメラ映像ＩＤのフレームごとに取得する。そして、これらの情報を放送映像オブジェクト抽出回路２４に供給する。
【００１９】
カメラ内部パラメータ供給回路２２は、その内部に、固定カメラＣＳ及び放送映像カメラＣＤそれぞれの焦点距離、撮影映像の中心座標及び光学中心位置を少なくとも含むカメラ内部パラメータを記録した記録媒体（例えば、ＲＯＭ）を有している（図示は省略）。ここで、このカメラ内部パラメータは、予めキャリブレーションを実施することにより求めておく。また、両カメラＣＳ，ＣＤ間の設置高さ、各配置についての３次元における位置関係についても前もって計測しておく。そして、これらの情報を放送映像オブジェクト抽出回路２４に供給する。
【００２０】
背景差分によるオブジェクト抽出回路２３は、固定カメラ映像ＩＳに対して、背景差分法を適用して動オブジェクトの抽出を行う。動オブジェクトの抽出方法としては、例えば、輝度間の時間方向の統計情報を用いて前景と背景とを分離して、輝度の時間的変化から前景の輝度値を推定し、その背景輝度と入力フレームの差分から前景オブジェクトを抽出する方法（境田ら、「背景差分による動オブジェクト抽出手法の検討」、１９９９年電子情報通信学会総合大会）などの既知の方法を用いることができる。そして、抽出した動オブジェクトを放送映像オブジェクト抽出回路２４に通知する。
【００２１】
放送映像オブジェクト抽出回路２４は、背景差分によるオブジェクト抽出回路２３から通知される固定カメラ映像ＩＳの動オブジェクト抽出結果と、カメラ内部パラメータ供給回路２２から供給されるカメラ内部パラメータと、カメラ操作パラメータ計測回路２１から供給されるカメラ操作パラメータと、放送カメラ映像ＩＤとに基づいて、固定カメラ映像ＩＳ内の動オブジェクトを放送カメラ映像ＩＤにマッピング（座標変換）して、これを動オブジェクト抽出結果として関連オブジェクト位置算出手段２に通知する。ここで、固定カメラ映像ＩＳ内の動オブジェクトを放送カメラ映像ＩＤにマッピングするアルゴリズムについては、例えば、本願出願人による特願２０００−３８５２７６「動オブジェクト抽出装置」に開示されたアルゴリズムを用いることができる。
【００２２】
図１に示すように、関連オブジェクト位置算出手段２は、動オブジェクト抽出手段１によって抽出された動オブジェクトの位置によってその位置が決定される関連オブジェクトの位置を検出するものである。ここで、関連オブジェクトは、放送映像に付加することによって、その放送映像に効果をもたらすオブジェクトである。そして、検出した関連オブジェクトの位置を関連オブジェクト生成手段３に通知する。
【００２３】
関連オブジェクト生成手段３は、関連オブジェクト位置算出手段２によって算出された関連オブジェクトの位置と、固定カメラＣＳ及び放送映像カメラＣＤそれぞれのカメラ内部パラメータと、事前知識として予め与えられている映像背景の３次元情報とに基づいて、当該関連オブジェクトを放送カメラ映像ＩＤ上の対応する位置にマッピングして付加するものである。
【００２４】
図１に示すように、送信手段１２は、関連オブジェクト生成手段３によって生成された関連オブジェクト付き放送映像を放送波あるいは通信回線を介して送信するためのものである。
【００２５】
次に、図１から図５を参照して映像送信装置１１および本映像補助効果生成装置１０の動作について説明する。ここでは、サッカーの放送番組において、選手（動オブジェクト）の位置によってその位置が決定されるオフサイドライン（関連オブジェクト）の位置を自動的に算出して、算出したオフサイドラインを放送カメラ映像ＩＤ上に映像補助効果として付加する例を説明する。
【００２６】
まず、試合の全景が撮影可能となるように、固定カメラＣＳを用いてグラウンド全体を撮影する。固定カメラＣＳによって撮影された固定カメラ映像ＩＳは、動オブジェクト抽出手段１の背景差分によるオブジェクト抽出回路２３に入力される。また、１台又は複数台の放送映像カメラＣＤを用いてグラウンド内を動き回る各選手を撮影する。放送映像カメラＣＤによって撮影された放送カメラ映像ＩＤは、動オブジェクト抽出手段１の放送映像オブジェクト抽出回路２４に入力される。
【００２７】
差分背景によるオブジェクト抽出回路２３では、前記した背景差分法を利用して固定カメラ映像ＩＳの中から各選手（動オブジェクト）を抽出して、抽出した各選手を放送映像オブジェクト抽出回路２４に通知する。
【００２８】
放送映像オブジェクト抽出回路２４では、カメラ内部パラメータ供給回路２２から供給される各カメラのカメラ内部パラメータと、カメラ操作パラメータ計測回路２１から供給されるカメラ操作パラメータとを用いて、差分背景によるオブジェクト抽出回路２３から通知された各選手の領域を、放送カメラ映像ＩＤ内にマッピング（座標変換）する。そして、マッピングした結果を関連オブジェクト位置算出手段２に通知する。
【００２９】
関連オブジェクト位置算出手段２では、通知された各選手の領域を基に、オフサイドライン（関連オブジェクト）の位置を算出する。ここで、図３を参照してオフサイドラインの意味について説明する。図３は、オフサイドラインを説明するための図である。サッカーのルールでは、「攻撃側の選手が、▲１▼相手陣内にいる、▲２▼現在のボール位置よりも相手側ゴールラインに近い位置にいる、▲３▼その選手と相手側ゴールラインとの間に相手側選手が２人以上いない。この三つの条件が揃うときに、オフサイドラインポジションとみなされる（オフサイドが成立する）」ことになる。つまり、図３では、相手側ゴールライン３１から数えて２人目（ゴールキーパーを含める）の相手側選手がいる位置がオフサイドライン３２の位置である。
【００３０】
関連オブジェクト位置算出手段２では、事前知識として与えられた両チームのユニフォーム色（ゴールキーパーのユニフォーム色を含める）を基にして、動オブジェクト抽出手段１で抽出された各選手領域について、各選手それぞれのユニフォーム色を、相手側ゴールライン３１の位置から順に比較して算出することで、相手側ゴールライン３１から数えて２人目の相手側選手を検出する。この相手側選手のいる位置がオフサイドラインの位置となる。
【００３１】
図４を参照してオフサイドラインの位置について説明を加える。図４は、固定カメラＣＳで撮影された固定カメラ映像ＩＳに、オフサイドライン３２を付加した図である。図４において、相手側ゴールライン３１から数えて２人目の相手側選手が検出されると、固定カメラ映像ＩＳ上におけるこの相手側選手の位置は、座標Ｐ1（Ｘ1，Ｙ1）で表わされる。この座標Ｐ1（Ｘ1，Ｙ1）を基準にして、固定カメラ映像ＩＳ上でのオフサイドライン３２を決める。図４に示すように、Ｐ1からゴールライン３１までの距離が等しくなるようなＰ1以外の任意の１点Ｐ1’（Ｘ1’，Ｙ1’）を選定すれば、点Ｐ1と、点Ｐ1’とを含む線分を得ることができる。この線分が、固定カメラ映像ＩＳ上から見たオフサイドラインである。関連オブジェクト位置算出手段２は、このようにして算出して検出したオフサイドラインの位置を関連オブジェクト生成手段３に通知する。
【００３２】
関連オブジェクト生成手段３では、関連オブジェクト位置算出手段２から通知されたオフサイドラインの位置と、固定カメラＣＳ及び放送映像カメラＣＤそれぞれのカメラ内部パラメータと、事前知識として与えられているグラウンド（映像背景）の３次元位置情報とを用いて、オフサイドライン３２を放送カメラ映像ＩＤ内にマッピング（座標変換）する。
【００３３】
図５を参照してこのマッピング処理のアルゴリズムについて説明する。図５は、固定カメラＣＳと放送映像カメラＣＤとの両映像間における領域マッピングを説明する図である。図５において、固定カメラＣＳ及び放送映像カメラＣＤでは、それぞれ２つの座標系が用いられる。第１の座標系は、固定カメラＣＳの光学中心ｏ1（放送映像カメラＣＤの場合はｏ2）を原点として、固定カメラＣＳのｚ軸が光軸に一致する３次元カメラ座標系ｏ1−ｘ1−ｙ1−ｚ1（放送映像カメラＣＤの場合はｏ2−ｘ2−ｙ2−ｚ2）である。第２の座標系は、固定カメラＣＳの光軸と画像面との交点である画像中心Ｏ1（放送映像カメラＣＤの場合はＯ2）を原点とする２次元画像座標系Ｏ1−Ｘ1−Ｙ1（放送映像カメラＣＤの場合はＯ2−Ｘ2−Ｙ2）である。
【００３４】
また、固定カメラＣＳの座標系を基準座標系とし、この基準座標系における放送映像カメラＣＤの状態を、カメラの光学中心の３次元位置（ｘ，ｙ，ｚ）に３つ、カメラの回転角度（パン角度、チルト角度、ロール角度）に３つ、焦点距離に１つ、合わせて７つのパラメータで表すものとする。
【００３５】
また、固定カメラＣＳ及び放送映像カメラＣＤそれぞれのカメラ内部パラメータは既知である。また、事前知識として固定カメラＣＳとグラウンドとの設置高さおよび設置位置の３次元における位置関係が与えられているものとする。従って、固定カメラＣＳによって撮影された固定カメラ映像ＩＳにおいて、各画素に対応するグラウンド上の点の３次元位置が既知となる。
【００３６】
ここで、ある任意の時刻ｔにおける放送映像カメラＣＤの位置を、Ｔ＝（Ｔx，Ｔy，Ｔz）t、回転角度を（θp，θt，θr）t、焦点距離をｆ2とし、また、固定カメラＣＳの焦点距離をｆ1として、固定カメラ映像ＩＳ内の点Ｐ1（Ｘ1，Ｙ1）を放送カメラ映像ＩＤ上の対応点Ｐ2（Ｘ2，Ｙ2）にマッピングする方法を詳細に説明する。
【００３７】
まず、固定カメラ映像ＩＳ内の座標Ｏ1（Ｘ1，Ｙ1）に対応するグラウンド上の点をｐとして、固定カメラＣＳの座標系におけるｐの３次元座標ｏ1（ｘ1，ｙ1，ｚ1）は、下記（１）式によって表わすことができる。ただし、（１）式に示すｚ1は、固定カメラＣＳの座標系におけるｐの奥行き値である。
【００３８】
【数１】
また、放送映像カメラＣＤの座標系におけるｐの３次元座標ｏ2（ｘ2，ｙ2，ｚ2）は下記（２）式によって表わすことができる。ただし、（２）式に示すＲは、下記（３）式で与えられる回転行列である。
【００４０】
【数２】
【数３】
したがって、放送カメラ映像ＩＤにおける座標Ｏ2（Ｘ2，Ｙ2）は、前記した放送映像カメラＣＤの座標系におけるｐの３次元座標ｏ2（ｘ2，ｙ2，ｚ2）が、前記（２）式及び前記（３）式で求まっているので、下記（４）式によって求めることができる。
【００４３】
【数４】
同様に、固定カメラ映像ＩＳ内の点Ｐ1’（Ｘ1’，Ｙ1’）を、放送カメラ映像ＩＤ上の対応点Ｐ2’（Ｘ2’，Ｙ2’）にマッピングする。このとき、前記した対応点Ｐ2と、この対応点Ｐ2’とを含む線分が、放送カメラ映像ＩＤ上でのオフサイドライン３２となる。
【００４５】
このように、固定カメラ映像ＩＳに含まれる選手（動オブジェクト）を抽出し、選手の位置によってその位置が定まるオフサイドライン３２（関連オブジェクト）の位置を算出して検出し、検出したオフサイドライン３２の位置を放送カメラ映像ＩＤ上にマッピングすることができる。
【００４６】
したがって、オフサイドライン３２の位置をマッピングした放送カメラ映像ＩＤを送信手段１２を介して送信することで、放送カメラ映像ＩＤ上に生成されたオフサイドライン３２が、視聴者がサッカーのテレビ放送を視聴するときに映像効果をもたらす。
【００４７】
つぎに、図６を参照して映像受信装置１５について説明する。なお、前記した動オブジェクトおよび関連オブジェクト位置の算出ならびに、動オブジェクトに関連オブジェクトをマッピングする構成については、すでに前記したものと同様であるため、ここではその説明を省略する。
【００４８】
映像受信装置１５は、通常のテレビジョン装置と同等の機能を備えており、すでに図１ないし図５により説明した動オブジェクトに関連する関連オブジェクトを含む放送映像信号を受信する受信手段１６と、この受信手段１６により受信した放送映像信号の音声ならびに放送映像を復調等の処理を行なって画面表示する表示手段１７と、この表示手段１７に表示されている放送映像に関連オブジェクトを表示あるいは表示しているものを消去する操作を行なう操作手段１８とを備えている。
【００４９】
受信手段１６は、放送局側から放送波あるいは通信回線を介して送られてくる放送映像信号を受信する放送アンテナあるいはケーブル放送受信装置等の構成であり、放送映像を受信して復調等ができるものであれば特に限定されるものではない。
また、表示手段１７は、放送映像の音声の出力、映像の表示を行なうことができる液晶表示テレビ、プラズマディスプレイあるいはブラウン管を用いたテレビなどである。
【００５０】
さらに、操作手段１８は、表示手段１７に表示される映像に含まれている関連オブジェクトを表示あるいは消去するための操作を行なう操作ボタンを有する操作用リモコンあるいは表示手段１７本体に形成されているプレート操作ボタン（図示せず）として構成されている。
【００５１】
したがって、映像受信装置１５を用いて、サッカーの試合を視聴する場合、関連オブジェクトであるオフサイドラインＯＬ（図６（ｂ）参照）や、また、ディフェンス選手のディフェンスエリアＤＡ（図６（ａ）参照）等について、操作用リモコン（操作手段１８）を介して選択的に表示させたり、あるいは、表示しているオフサイドラインＯＬや、ディフェンスエリアＤＡ等を表示画面から消去させたりする操作を行なうことが映像画面上においてリアルタイムでできるものである。
【００５２】
もちろん、各サッカーのプレーを放送局側の編集によりリプレイする場合においても、そのリプレイ映像信号に関連オブジェクトを含むものであれば、オフサイドラインＯＬ等の表示、消去を自在に行なうことができるものである。なお、オフサイドラインＯＬを表示する場合は、一方のサイドラインＳＬから他方のサイドラインＳＬまで描画すると分かりやすい。
【００５３】
そして、オフサイドラインＯＬの色彩は、グラウンドの色彩が緑色であり、また、サイドラインＳＬやゴールライン等のフィールド上に引かれているラインは、一定幅の連続した白色である。そのため、オフサイドラインＯＬの関連オブジェクトは、白あるいは緑と区別できる色彩あるいはフィールド上に引かれているラインと区別できる点線、一点鎖線などにすると視聴者にとって見分けやすい構成となる。
【００５４】
以上、本発明に係る実施の形態について説明したが、本発明は本実施の形態に限定されることなく、広く変形して実施することが可能である。例えば、サッカーの例では、テレビ画面外にいた選手がテレビ画面内に入ってくる直前の、移動方向のテレビ画面上での表示や、テレビ画面内或いはテレビ画面外にいる各選手の影響エリアの表示なども同様にして実現することが可能である。
【００５５】
また、サッカーのテレビ放送に限らず、例えば、図７に示すように、野球中継のバッター毎のストライクゾーンＳＺを関連オブジェクトとすることなど、映像に含まれる動オブジェクトの位置によってその位置が定まる関連オブジェクトを自動的に生成して、映像効果とするような汎用的な放送番組に適用することが容易にできる。
【００５６】
【発明の効果】
以上、説明したとおり、本発明に係る映像補助効果生成装置では、固定カメラで撮影した固定カメラ映像から動オブジェクトを抽出して、抽出した動オブジェクトの位置によってその位置が決定される関連オブジェクトの位置を算出することで検出して、検出した関連オブジェクトの位置を放送カメラ映像上に生成する構成としたので、放送映像に映像補助効果がもたらされ、より分かり易く、よりエンタテイメント性の高い放送番組を製作することができる。
【００５７】
また、映像送信装置は、関連オブジェクトを含む放送映像信号を送信することができるため、放送映像に映像効果がもたらされ、より分かり易く、よりエンタテイメント性の高い放送番組を提供することができる。
【００５８】
さらに、映像受信装置は、関連オブジェクトを含む放送映像信号を受信して視聴者の操作により、その関連オブジェクトを表示あるいは消去することができるため、視聴者の好みに合わせて映像補助効果を選択して使用することが可能となる。
【図面の簡単な説明】
【図１】本発明にかかる映像送信装置および映像補助効果生成装置の全体構成を示すブロック図である。
【図２】本発明にかかる動オブジェクト抽出手段の構成を示すブロック図である。
【図３】本発明にかかる映像補助効果生成装置によるオフサイドラインを説明するための模式図である。
【図４】本発明にかかる映像補助効果生成装置で固定カメラ映像にオフサイドラインを付加した模式図である。
【図５】本発明にかかる映像補助効果生成装置により固定カメラと放送映像カメラとの両映像間における領域マッピングを説明する模式図である。
【図６】（ａ）、（ｂ）は、本発明にかかる映像受信装置の構成を示すブロック図である。
【図７】本発明にかかる映像補助効果生成装置による関連オブジェクトを付加した映像の模式図である。
【符号の説明】
１ 動オブジェクト抽出手段
２ 関連オブジェクト位置算出手段
３ 関連オブジェクト生成手段
１０ 映像補助効果生成装置
１１ 映像送信装置
１２ 送信手段
１５ 映像受信装置
１６ 受信手段
１７ 表示手段
１８ 操作手段
２１ カメラ操作パラメータ計測回路
２２ カメラ内部パラメータ供給回路
２３ 背景差分によるオブジェクト抽出回路
２４ 放送映像オブジェクト抽出回路
ＣＳ 固定カメラ
ＩＳ 固定カメラ映像
ＣＤ 放送映像カメラ
ＩＤ 放送カメラ映像
Claims (3)
- 放送映像カメラの撮影可能な範囲を固定カメラの撮影範囲とする固定カメラ映像と、前記放送映像カメラによって撮影された放送カメラ映像とを互いに参照して用い、前記放送カメラ映像に映像補助効果を生成する映像補助効果生成装置であって、前記固定カメラ映像に含まれている特定の動オブジェクトを抽出する動オブジェクト抽出手段と、抽出された前記動オブジェクトに関連する関連オブジェクトの位置を算出する関連オブジェクト位置算出手段と、算出された前記関連オブジェクトの位置に基づいて前記関連オブジェクトを前記放送カメラ映像にマッピングする関連オブジェクト生成手段と、を有することを特徴とする映像補助効果生成装置。
- 放送映像カメラの撮影可能な範囲を固定カメラの撮影範囲とする固定カメラ映像と、前記放送映像カメラによって撮影された放送カメラ映像とを互いに参照して用い、前記放送カメラ映像に映像補助効果を生成する映像送信装置であって、前記固定カメラ映像に含まれている特定の動オブジェクトを抽出する動オブジェクト抽出手段と、抽出された前記動オブジェクトに関連する関連オブジェクトの位置を算出する関連オブジェクト位置算出手段と、算出された前記関連オブジェクトの位置に基づいて前記関連オブジェクトを前記放送カメラ映像にマッピングする関連オブジェクト生成手段と、前記関連オブジェクト生成手段によりマッピングされた関連オブジェクトを含む放送カメラ映像を送信する送信手段と、を有することを特徴とする映像送信装置。
- 放送映像カメラの映像範囲を固定カメラの撮影範囲とする固定カメラ映像に含まれる特定の動オブジェクトに関連する関連オブジェクトを含む前記放送映像カメラによる映像情報を受信する受信手段と、この受信手段により受信した前記映像情報を表示する表示手段と、前記動オブジェクトに関する前記関連オブジェクトを前記表示手段に表示させるための操作を行なう操作手段と、を有することを特徴とする映像受信装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001184861A JP4658391B2 (ja) | 2001-06-19 | 2001-06-19 | 映像補助効果生成装置および映像送信装置ならびに映像受信装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001184861A JP4658391B2 (ja) | 2001-06-19 | 2001-06-19 | 映像補助効果生成装置および映像送信装置ならびに映像受信装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003008990A JP2003008990A (ja) | 2003-01-10 |
| JP4658391B2 true JP4658391B2 (ja) | 2011-03-23 |
Family
ID=19024548
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001184861A Expired - Fee Related JP4658391B2 (ja) | 2001-06-19 | 2001-06-19 | 映像補助効果生成装置および映像送信装置ならびに映像受信装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4658391B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4533037B2 (ja) * | 2003-12-26 | 2010-08-25 | 日本放送協会 | オフサイドライン検出装置及びそのプログラム |
| JP2010074776A (ja) * | 2008-09-22 | 2010-04-02 | Sony Corp | 表示制御装置、表示制御方法、およびプログラム |
| JP4591586B2 (ja) * | 2008-09-22 | 2010-12-01 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
| JP7277085B2 (ja) * | 2018-07-04 | 2023-05-18 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
| CN109859638A (zh) * | 2018-11-20 | 2019-06-07 | 武汉华星光电半导体显示技术有限公司 | U-cut屏幕oled显示装置及其图标显示方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0756990A (ja) * | 1993-08-20 | 1995-03-03 | Csk Corp | スポーツ競技監視判定システム |
| JP2002224260A (ja) * | 2001-01-31 | 2002-08-13 | Nec Corp | オフサイド判定補助装置 |
-
2001
- 2001-06-19 JP JP2001184861A patent/JP4658391B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0756990A (ja) * | 1993-08-20 | 1995-03-03 | Csk Corp | スポーツ競技監視判定システム |
| JP2002224260A (ja) * | 2001-01-31 | 2002-08-13 | Nec Corp | オフサイド判定補助装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003008990A (ja) | 2003-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6380933B1 (en) | Graphical video system | |
| JP5801812B2 (ja) | ３ｄビデオへの仮想インサート | |
| US8922718B2 (en) | Key generation through spatial detection of dynamic objects | |
| CN113873174A (zh) | 用于自动电视制作的方法和系统 | |
| US20030038892A1 (en) | Enhancing broadcast of an event with synthetic scene using a depth map | |
| WO1999035503A2 (en) | System for determining the position of an object | |
| KR101291765B1 (ko) | 실시간 중계방송을 위한 공 궤적 제공 시스템 | |
| CN110270078B (zh) | 足球比赛特效展示系统、方法及计算机装置 | |
| US7091989B2 (en) | System and method for data assisted chroma-keying | |
| JP4658391B2 (ja) | 映像補助効果生成装置および映像送信装置ならびに映像受信装置 | |
| KR20140023136A (ko) | 골프방송중 퍼팅정보 디스플레이시스템 및 그 방법 | |
| US20240104793A1 (en) | Adding augmented reality to a sub-view of a high resolution central video feed | |
| US20210125349A1 (en) | Systems and methods for visualizing ball trajectory in real-time | |
| JP5687670B2 (ja) | 表示制御システム、ゲームシステム、表示制御装置、及びプログラム | |
| KR20110130846A (ko) | 경기 참여자 관점의 야구공 영상생성 장치, 시스템, 및 그 방법의 기록매체 | |
| JPH08289179A (ja) | 全方位テレビシステム | |
| KR102149005B1 (ko) | 객체 속도 계산 및 표시 방법 및 장치 | |
| JP3956696B2 (ja) | 情報処理システム | |
| KR200200281Y1 (ko) | 구기종목의 스포츠 중계시스템 | |
| KR102133274B1 (ko) | 태권도 경기의 텔레비전 방송용 영상합성장치 | |
| CN114500773B (zh) | 一种转播方法、系统和存储介质 | |
| US20240066394A1 (en) | Information processing apparatus and image generation method | |
| RU2182507C2 (ru) | Способ вывода изображения футбольного поля на экран средства отображения и устройства для его осуществления (варианты) | |
| EP2092735B1 (en) | System for enhancing video signals | |
| JP2001104641A (ja) | ゲーム装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070420 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080312 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100914 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101130 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101224 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140107 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |