JP4253562B2 - ゴルフ中継時におけるアンジュレーション表現装置および方法 - Google Patents

Description

本発明は、ゴルフ中継における起伏のある場所のテレビ中継時に、中継する映像の起伏を視覚的に表示するためのアンジュレーション表現装置および方法に関するものである。

ゴルフ中継において、起伏のあるグリーンやコースをテレビ中継するとき、通常、撮影するカメラは地上から５〜１０ｍ程度の高さに設置され、上から見下ろす形或いは遠景をズームアップした形で撮影が行われている。このため、地上に立って見た時ほどの起伏や距離の感覚を画面から認識することは難しいものであった。また、昨今の中継では、カップ位置から同心円上にＣＧでラインを引き静的に距離を表示する手法や、ボール位置からカップ位置まで直線を引く手法や、解説者がペンタブレットで線を引く手法が用いられているが、地形のうねりは加味されておらず、依然として起伏や距離の感覚を画面から認識できないものであった。

一方、バーチャルカメラを使用し、実写映像上にコンピュータグラフィックスで高低差表現を施すことにより起伏や距離の感覚を表現しようとする試みがなされている。しかしながら、コンピュータグラフィックスの使用は限られた場所に制限されるため、実写映像に応じた適切なサイズでの表現を随時に行うことができず、使用できるタイミングが限られているのが現状である。

本発明は、地形に高低差マッピングを施し、高いところと低いところを異なる色で表現することができ、かつ、撮影位置やタイミングにとらわれずに自動的に適切な表示サイズ・表現方法で現すことができる、ゴルフ中継時におけるアンジュレーション表現装置および方法を提供しようとするものである。

本発明によるゴルフ中継時におけるアンジュレーション表現装置は、一定間隔で事前に計測されたゴルフ場の地形データとゴルフ中継を行うためのテレビカメラのレンズデータおよび位置データとを記録した記憶装置と、テレビカメラに装着され、そのテレビカメラの方向およびズーム倍率を検出するためのカメラセンサと、カメラセンサから送られてくるテレビカメラの方向データと記憶装置に記録されたテレビカメラの位置データとに基づいて算定されたテレビカメラのレンズ中心線と地形データによって形成される地表に相当する面との交点を計算すると共に、カメラセンサから送られてくるズームデータと記憶装置に記録されたレンズデータとに基づいてカメラの画角を計算し、レンズ中心線と地表に相当する面との交点を作成すべき３次元ＣＧ画像の中心としてカメラの画角により決定される範囲により画定される所定の縦横比の映像フレーム内にする地形データを抽出し、抽出した地形データに基づいて３次元ＣＧ画像をレンダリングする画像処理装置と、映像フレームと３次元ＣＧ画像とを合成するための画像合成装置とから構成される。

上述の如く構成される本発明の装置は、ゴルフ中継に先立ってゴルフ場の撮影予定地域を一定間隔で計測し、その地形データを記憶装置に記録すると共に、中継を行うためのテレビカメラのレンズデータおよび位置データをもまた記憶装置に記録する。撮影が開始されると、テレビカメラは映像を画像合成装置に送る一方、テレビカメラに装着されたカメラセンサはそのテレビカメラの方向およびズーム倍率を検出して画像処理装置に送信する。画像処理装置は、カメラセンサから送られてくるテレビカメラの方向データと記憶装置に記録されたテレビカメラの位置データとに基づいてテレビカメラのレンズ中心線を算定することにより、このテレビカメラのレンズ中心線と地形データによって形成される地表に相当する面との交点を計算すると共に、カメラセンサから送られてくるズームデータと記憶装置に記録されたレンズデータとに基づいてカメラの画角を計算し、レンズ中心線と地表に相当する面との交点を作成すべき３次元ＣＧ画像の中心としてカメラの画角により決定される範囲により画定される所定の縦横比の映像フレーム内に対応する地形データを抽出する。この抽出した地形データに基づいて撮影している実写映像の地形に合致した３次元ＣＧ画像を画像処理装置によりレンダリングした後、その３次元ＣＧ画像を画像合成装置に送る。画像合成装置は、テレビカメラから送られてくる実写映像と画像処理装置から送られてくる３次元ＣＧ画像とを合成し、合成映像出力として送信する。

また、本発明によるゴルフ中継時におけるアンジュレーション表現装置は、一定間隔で事前に計測されたゴルフ場の地形データとゴルフ中継を行うためのテレビカメラのレンズデータとを記録した記憶装置と、テレビカメラに装着され、テレビカメラの方向、ズーム倍率および位置を検出するためのカメラセンサと、カメラセンサから送られてくるテレビカメラの方向データおよび位置データに基づいて算定されたテレビカメラのレンズ中心線と地形データによって形成される地表に相当する面との交点を計算すると共に、カメラセンサから送られてくるズームデータと記憶装置に記録されたレンズデータとに基づいてカメラの画角を計算し、レンズ中心線と地表に相当する面との交点を作成すべき３次元ＣＧ画像の中心としてカメラの画角により決定される範囲により画定される所定の縦横比の映像フレーム内に合致する地形データを抽出し、抽出した地形データに基づいて３次元ＣＧ画像をレンダリングする画像処理装置と、映像フレームと３次元ＣＧ画像とを合成するための画像合成装置とにより構成することもできる。

このような構成を有するアンジュレーション表現装置は、前述のアンジュレーション表現装置と比較すると、カメラセンサがテレビカメラの方向およびズーム倍率と共に撮影位置を検出する点で異なっている。このことは、前述のアンジュレーション表現装置が固定カメラに対応するものであるのに対し、この構成のアンジュレーション表現装置は、移動車輌設置型やハンディ型等の移動式カメラに対応できることを意味する。

さらに、本発明によるゴルフ中継時におけるアンジュレーション表現装置は、抽出された地形データの数が所定の数よりも少ないとき、当該映像フレーム内に位置するまたは当該映像フレームに隣接する地形データに基づいて前記所定の数の地形データを演算して求め、該演算して求められた地形データに基づいて３次元ＣＧ画像をレンダリングするように画像処理装置を作動させることもできる。

テレビカメラのカメラセンサから送られてきたデータに基づいて記憶装置から抽出した地形データの数が少なすぎると、それを基にしてレンダリングした３次元ＣＧ画像が地形の高低を表示し難くなる。このため、本発明では、抽出された地形データの数が所定の数よりも少ないとき、その映像フレーム内に位置するまたはその映像フレームに隣接する地形データに基づいて、所定の数の地形データを演算して決定し、それに基づいて３次元ＣＧ画像をレンダリングすることにより解決している。

本発明によれば、テレビカメラに備え付けられたカメラセンサで計測されたズームや位置情報を基に作成した３次元ＣＧ画像を実写像と合成することで、地形のうねりが加味されたボールからカップまでの最短距離を視覚的に表現することが可能となる。また、カメラセンサからテレビカメラの位置に関するデータを入手できるため、固定カメラに限定されることなく使用することができる。さらに、ズームアップすることで使用できる地形データが少ない場合でも地形データ間を埋める地形データを作成して３次元ＣＧ画像をレンダリングするため、地形のうねりに沿った表示を行うために必要な地形データの収集量を少なくすることができる。高いところと低いところを異なる色で表現することにより、例えば、高い部分を白、低い部分を黒として設定した場合、地形の盛り上がった部分が回りよりも白く強調して表示され、地形の高低差を明瞭に示すことができる。また、テレビカメラが撮影する映像フレームに応じた地形データを抽出し、抽出した地形データに基づいて３次元ＣＧ画像を自動的にレンダリングして映像フレームに合成できるため、カメラマンとオペレータは何の制約もなしに自由なカメラワークを行うことができる。

図１は本発明の実施例によるゴルフ中継時におけるアンジュレーション表現装置の概要を示す図で、本発明の装置は、ゴルフ中継を行うためのテレビカメラ１に装着されたカメラセンサ２と、種々のデータを記憶するための記憶装置３と、カメラセンサ２から送られてくるデータに基づいて所要の３次元ＣＧ画像をレンダリングするための画像処理装置４と、画像処理装置４で作成した３次元ＣＧ画像とテレビカメラ１から送られてくる実写映像とを合成して送出するための画像合成装置５とから構成される。符号６で示す装置はオペレーション端末であり、例えば、単純なところでは画像の表示・非表示をコントロールするような中継時の状況に応じた情報を手動で若しくは自動的に画像処理装置４に対して与えるための装置である。

カメラセンサ２は、それが装着されるテレビカメラ１が固定カメラの場合、そのカメラレンズの中心軸の垂直および水平方向と、撮影時のズーム倍率によって変化するズーム倍率とを検出し、それぞれ方向データＤ１およびズームデータＤ２として画像処理装置４に送信する。一方、テレビカメラ１が移動カメラの場合、カメラセンサ２は、中心軸の垂直および水平方向とズーム倍率とを検出すると共に、テレビカメラ１の水平方向における位置を検出し、方向データＤ１、ズームデータＤ２および水平位置データＤ３ａとして画像処理装置４に送信する。

記憶装置３には、ゴルフ中継に先立ってゴルフ場の撮影予定地域を一定間隔で計測して得られた地形データＤ４と、使用するテレビカメラのレンズデータＤ５とが記録されている。記憶装置３にはまた、テレビカメラ１が固定カメラの場合、そのカメラの垂直および水平方向における設置位置を示す位置データＤ３が記録されている。これに対し、テレビカメラ１が移動カメラの場合、位置データは垂直方向における位置に関するデータ（垂直位置データＤ３ｂ）である。移動カメラの垂直方向における位置は、車載カメラの場合、ほぼ一定であるが、ハンディ型カメラの場合、カメラマンが静止して撮影する場合の平均的な高さを把握して記録するのが好ましい。

画像処理装置４は、カメラセンサ２から送られてくるデータ（方向データＤ１およびズームデータＤ２、或いは方向データＤ１、ズームデータＤ２および水平位置データＤ３ａ）に基づいて、記憶装置３からテレビカメラ１が撮影している映像フレーム内に位置する地形データＤ４を抽出し、抽出した地形データＤ４に基づいて映像フレームに対応した３次元ＣＧ画像をレンダリングする。

より具体的には、図２に示すように、方向データＤ１と位置データＤ３、或いは方向データＤ１と水平および垂直位置データＤ３ａおよびＤ３ｂに基づいて、テレビカメラのレンズ中心線ＣＬと地形データＤ４によって形成される地表に相当する面とが交差する点（交点）を計算し、この点を作成すべき３次元ＣＧ画像の中心ＣＰとする。次に、ズームデータＤ２とレンズデータＤ５に基づいてカメラの画角θを計算し、先に計算した画像中心ＣＰからの範囲Ｒを決定する。この範囲Ｒで画定される所定の縦横比を有する方形の映像フレームＦ内が作成すべき３次元ＣＧ画像となる。

作成すべき３次元ＣＧ画像の範囲（Ｆ）が確定すると、その範囲内に位置する地形データＤ４が抽出され、抽出された地形データＤ４に基づいて３次元ＣＧ画像がレンダリングされる。このとき、抽出された地形データＤ４の数が過小な場合、３次元ＣＧ画像はアンジュレーションを表現することができない。このため、本発明では、抽出された地形データＤ４の数が所定範囲の数に満たない場合、範囲Ｆ内に含まれるおよび／または近傍の地形データＤ４をその範囲において常に均等な分割数になるように、必要であれば曲線・直線補間法を用いて調整される。これに対し、抽出された地形データＤ４の数が所定範囲の数を超える場合、好ましくは映像フレームの端となる位置の地形データを間引くことにより対応するのが望ましい。

こうして抽出、分割または間引きされた地形データＤ４を、例えばメッシュ上に描画を行う場合、オペレータやカメラマンが画角を気にすることなしに常に均等な密度のメッシュ状のアンジュレーション表現を行う事が可能となる。換言すると、画角に依らず常に均一なメッシュ密度で表現する場合、画角が大きい場合は密度が高く、画角を小さくすると密度が荒くなる。このため、いくつかの表現パターンを事前に準備している場合は、カメラマンとオペレータが画角を常に意識していなくてはならず、自由なカメラワークを行うことができない。これに対し、本発明では、上述したように、常に所要のメッシュ密度で表現することができるため、カメラマンとオペレータは何の制約もなしに自由なカメラワークを行うことができる。

画像合成装置５は、上述の如くして作成された３次元ＣＧ画像データＤ６をテレビカメラ１から送られてくる映像データＤ７と合成して送り出す。この画像合成技術それ自体は本発明の範囲外であるのでその詳細については割愛するが、例えば、本出願人が特願２００２−１３７３９１号において提案したような合成技術を利用することもできる。

本発明は、ゴルフ中継においてグリーンやフェアウェイ等の傾斜が重要な意味を持つような場合、視聴者がその傾斜の状態を視覚的に明瞭に把握することができるため、より楽しむことができる。

本発明の実施例によるゴルフ中継時におけるアンジュレーション表現装置を示す構成図である。 画像処理装置における処理を説明するための図ある。

符号の説明

１ テレビカメラ ２ カメラセンサ
３ 記憶装置 ４ 画像処理装置
５ 画像合成装置 ６ オペレーション端末
ＣＬ レンズ中心線 ＣＰ ３次元ＣＧ画像の中心
Ｄ１ 方向データ Ｄ２ ズームデータ
Ｄ３ 位置データ Ｄ３ａ 水平位置データ
Ｄ３ｂ 垂直位置データ Ｄ４ 地形データ
Ｄ５ レンズデータ Ｄ６ ３次元ＣＧ画像データ
Ｄ７ 映像データ Ｆ 映像フレーム
Ｒ 作画範囲 θ カメラの画角

Claims (6)

1. 一定間隔で事前に計測されたゴルフ場の地形データ（Ｄ４）とゴルフ中継を行うためのテレビカメラ（１）のレンズデータ（Ｄ５）および位置データ（Ｄ３）とを記録した記憶装置（３）と、
   前記テレビカメラ（１）に装着され、該テレビカメラの方向およびズーム倍率を検出するためのカメラセンサ（２）と、
   前記カメラセンサ（２）から送られてくるテレビカメラ（１）の方向データ（Ｄ１）と記憶装置（３）に記録されたテレビカメラ（１）の位置データ（Ｄ３）とに基づいて算定されたテレビカメラのレンズ中心線（ＣＬ）と地形データ（Ｄ４）によって形成される地表に相当する面との交点を計算すると共に、前記カメラセンサ（２）から送られてくるズームデータ（Ｄ２）と記憶装置（３）に記録されたレンズデータ（Ｄ５）とに基づいてカメラの画角（θ）を計算し、前記レンズ中心線（ＣＬ）と地表に相当する面との交点を作成すべき３次元ＣＧ画像の中心（ＣＰ）として前記カメラの画角（θ）により決定される範囲（Ｒ）により画定される所定の縦横比の映像フレーム（Ｆ）内に合致する地形データを抽出し、抽出した地形データに基づいて３次元ＣＧ画像をレンダリングする画像処理装置（４）と、
   前記映像フレーム（Ｆ）と３次元ＣＧ画像とを合成するための画像合成装置（５）とから構成される、ゴルフ中継時におけるアンジュレーション表現装置。
2. 一定間隔で事前に計測されたゴルフ場の地形データ（Ｄ４）とゴルフ中継を行うためのテレビカメラ（１）のレンズデータ（Ｄ５）とを記録した記憶装置（３）と、
   前記テレビカメラ（１）に装着され、該テレビカメラの方向、ズーム倍率および位置を検出するためのカメラセンサ（２）と、
   前記カメラセンサ（２）から送られてくるテレビカメラ（１）の方向データ（Ｄ１）および位置データ（Ｄ３ａ，Ｄ３ｂ）に基づいて算定されたテレビカメラのレンズ中心線（ＣＬ）と地形データ（Ｄ４）によって形成される地表に相当する面との交点を計算すると共に、前記カメラセンサ（２）から送られてくるズームデータ（Ｄ２）と記憶装置（３）に記録されたレンズデータ（Ｄ５）とに基づいてカメラの画角（θ）を計算し、前記レンズ中心線（ＣＬ）と地表に相当する面との交点を作成すべき３次元ＣＧ画像の中心（ＣＰ）として前記カメラの画角（θ）により決定される範囲（Ｒ）により画定される所定の縦横比の映像フレーム（Ｆ）内に合致する地形データを抽出し、抽出した地形データに基づいて３次元ＣＧ画像をレンダリングする画像処理装置（４）と、
   前記映像フレーム（Ｆ）と３次元ＣＧ画像とを合成するための画像合成装置（５）とから構成される、ゴルフ中継時におけるアンジュレーション表現装置。
3. 前記画像処理装置（４）は、抽出された地形データの数が所定の数よりも少ないとき、当該映像フレーム（Ｆ）内に位置するまたは当該映像フレームに隣接する地形データ（Ｄ４）に基づいて前記所定の数の地形データを演算して求め、該演算して求められた地形データに基づいて３次元ＣＧ画像をレンダリングする、請求項１または２に記載のゴルフ中継時におけるアンジュレーション表現装置。
4. 一定間隔で事前に計測されたゴルフ場の地形データ（Ｄ４）とゴルフ中継を行うためのテレビカメラ（１）のレンズデータ（Ｄ５）および位置データ（Ｄ３）とを記憶装置（３）に記録する工程と、
   前記テレビカメラ（１）に装着されたカメラセンサ（２）によって該テレビカメラ（１）の方向およびズーム倍率を検出する工程と、
   前記カメラセンサ（２）から送られてくるテレビカメラ（１）の方向データ（Ｄ１）と記憶装置（３）に記録されたテレビカメラ（１）の位置データ（Ｄ３）とに基づいてテレビカメラ（１）のレンズ中心線（ＣＬ）を算定することにより該テレビカメラのレンズ中心線（ＣＬ）と地形データ（Ｄ４）によって形成される地表に相当する面との交点を計算すると共に、前記カメラセンサ（２）から送られてくるズームデータ（Ｄ２）と記憶装置（３）に記録されたレンズデータ（Ｄ５）とに基づいてカメラの画角（θ）を計算し、前記レンズ中心線（ＣＬ）と地表に相当する面との交点を作成すべき３次元ＣＧ画像の中心（ＣＰ）として前記カメラの画角（θ）により決定される範囲（Ｒ）により画定される所定の縦横比の映像フレーム（Ｆ）内に対応する地形データ（Ｄ４）を抽出する工程と、
   撮影している実写映像の地形に合致した３次元ＣＧ画像を前記抽出した地形データ（Ｄ４）に基づいて画像処理装置（４）によりレンダリングする工程と、
   前記実写映像と３次元ＣＧ画像とを画像合成装置（５）により合成する工程とから構成されるゴルフ中継時におけるアンジュレーション表現方法。
5. 一定間隔で事前に計測されたゴルフ場の地形データ（Ｄ４）とゴルフ中継を行うためのテレビカメラ（１）のレンズデータ（Ｄ５）とを記憶装置（３）に記録する工程と、
   前記テレビカメラ（１）に装着されたカメラセンサ（２）によって該テレビカメラ（１）の方向、ズーム倍率および位置を検出する工程と、
   前記カメラセンサ（２）から送られてくるテレビカメラ（１）の方向データ（Ｄ１）と位置データ（Ｄ３ａ，Ｄ３ｂ）とに基づいてテレビカメラ（１）のレンズ中心線（ＣＬ）を算定することにより該テレビカメラのレンズ中心線（ＣＬ）と地形データ（Ｄ４）によって形成される地表に相当する面との交点を計算すると共に、前記カメラセンサ（２）から送られてくるズームデータ（Ｄ２）と記憶装置（３）に記録されたレンズデータ（Ｄ５）とに基づいてカメラの画角（θ）を計算し、前記レンズ中心線（ＣＬ）と地表に相当する面との交点を作成すべき３次元ＣＧ画像の中心（ＣＰ）として前記カメラの画角（θ）により決定される範囲（Ｒ）により画定される所定の縦横比の映像フレーム（Ｆ）内に対応する地形データ（Ｄ４）を抽出する工程と、
   撮影している実写映像の地形に合致した３次元ＣＧ画像を前記抽出した地形データ（Ｄ４）に基づいて画像処理装置（４）によりレンダリングする工程と、
   前記実写映像と３次元ＣＧ画像とを画像合成装置（５）により合成する工程とから構成されるゴルフ中継時におけるアンジュレーション表現方法。
6. 前記３次元ＣＧ画像のレンダリング工程は、地形データ（Ｄ４）の抽出工程において抽出された地形データ（Ｄ４）の数が所定の数よりも多いか少ないかを判別する工程と、抽出された地形データの数が所定の数よりも少ないときに当該映像フレーム（Ｆ）内に位置するまたは当該映像フレーム（Ｆ）に隣接する地形データに基づいて前記所定の数の地形データを演算して決定する工程と、前記抽出された地形データ（Ｄ４）または前記演算した地形データに基づいて３次元ＣＧ画像をレンダリングする工程とから構成される、請求項４または５に記載のゴルフ中継時におけるアンジュレーション表現方法。

Images