JP4881178B2

JP4881178B2 - 走行距離映像生成装置及び走行距離映像生成プログラム

Info

Publication number: JP4881178B2
Application number: JP2007029652A
Authority: JP
Inventors: 正樹高橋; 俊彦三須; 昌秀苗村; 真人藤井; 伸行八木
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2007-02-08
Filing date: 2007-02-08
Publication date: 2012-02-22
Anticipated expiration: 2027-02-08
Also published as: JP2008194095A

Description

本発明は、映像制作の技術に係り、特に、インコースとアウトコースとを２人の競技者が交互に走行するダブルトラック競技の競技者の走行距離を示す映像を生成する走行距離映像生成装置及び走行距離映像生成プログラムに関する。

スピードスケートなどの競技場を周回する競技では、競技者（選手）がインコースとアウトコースとを交互に走行（滑走）するダブルトラック種目がある。このダブルトラック競技では、図３に示すように、内側のインコースＩと外側のアウトコースＯを有するコースにおいて、２人の選手が一周ごとにインコースＩとアウトコースＯとを交代して走行する。図３は、ダブルトラック競技におけるインコースとアウトコースとを模式的に示した模式図である。

ダブルトラック競技では、インコースとアウトコースとで距離が異なるため、カメラで撮影した映像だけでは２人の選手のどちらが先行しているかが分かりにくく、視聴者は最後の直線コースでようやくどちらが先行しているかを把握できることが少なくない。特に前半のカーブではインコースの選手が前に出る格好となるため、中継を見ている視聴者に誤解を与えやすい。そして、従来、ダブルトラック競技の映像の中継においては、アナウンサーのコメントで選手の優劣やタイム差などの情報を提供している。

また、従来、スピードスケートの映像において、異なる出走順で出走した選手の映像を重ね合わせ、選手同士があたかも同じコース上で競争しているかのように映像化する仮想対決システムが存在する（非特許文献１参照）。このシステムは、ロボットカメラと、動画ファイル蓄積装置と、画像合成器とで構成されている。そして、ロボットカメラによって同じカメラワークで、異なる出走順で出走した複数の選手を撮影して、動画ファイル蓄積装置に蓄積しておき、画像合成装置によってこれらの映像を合成することで、実際には同時に走行していない複数の選手が、あたかも同じコース上で競争しているような映像を生成することができる。
土生尚、外３名、「仮想対決システム」、放送技術、１９９８年９月、５１巻、ｐ．９５１〜９５４

非特許文献１に記載のシステムによれば、同じコースを異なる出走順で出走した選手同士を比較することはできるが、このシステムでは収録された映像をそのまま合成しているため、インコースとアウトコースとを交代で走行する選手を比較する映像を生成することはできない。すなわち、インコース同士、あるいは、アウトコース同士の選手の比較はできるが、インコースとアウトコースとの走行順序が異なる選手同士を比較することはできない。

更に、スポーツ中継においては特に生中継番組に対応させるためにリアルタイムで処理できることが望ましい。しかし、非特許文献１に記載のシステムは、スタートが一致するように２つの映像を同期させて合成しなくてはならず、リアルタイムで同期させることが困難であるためにリアルタイムで表示することは不可能である。

本発明は、前記従来技術の課題を解決するために成されたもので、ダブルトラック競技において、インコースとアウトコースとを交互に走行する選手の走行距離をリアルタイムで解析して、走行距離を示す映像を生成することができる走行距離映像生成装置及び走行距離映像生成プログラムを提供することを目的とする。

前記課題を解決するため、請求項１に記載の走行距離映像生成装置は、インコースとアウトコースとを２人の競技者が交互に走行するダブルトラック競技において、各々の前記競技者の走行距離を示す映像である走行距離映像を生成する走行距離映像生成装置であって、競技者領域抽出手段と、位置解析手段と、走行距離算出手段と、作画手段とを備える構成とした。

かかる構成によれば、走行距離映像生成装置は、競技者領域抽出手段によって、競技者を撮像した映像を入力し、この映像を構成するフレーム画像ごとに当該競技者の領域を抽出し、位置解析手段によって、競技者領域抽出手段で抽出された競技者の領域のフレーム画像内における位置と、外部から入力された、映像を撮像したカメラの位置及び撮影方向を示す情報である姿勢情報と、外部から入力された映像を撮像したカメラのレンズエンコーダ値に、予め対応付けられた画角とに基づいて、各々の競技者のダブルトラック内における位置を解析する。また、走行距離映像生成装置は、走行距離算出手段によって、位置解析手段で解析された位置に基づいて、所定時間ごとの各々の競技者の走行距離を算出し、作画手段によって、走行距離算出手段で算出された走行距離を示す画像を生成する。

これによって、走行距離映像生成装置は、競技者を撮像した映像に基づいて競技者の位置を解析して、各々の競技者の走行距離を示す映像を生成することができる。

また、請求項２に記載の走行距離映像生成装置は、請求項１に記載の走行距離映像生成装置において、前記競技者領域抽出手段が、１つのカメラによってすべての競技者を撮像した映像からフレーム画像ごとに各々の前記競技者の領域を抽出し、位置解析手段が、前記競技者領域抽出手段によって抽出された各々の前記競技者の領域の前記フレーム画像内における位置と姿勢情報と、外部から入力された前記映像を撮像したカメラのレンズエンコーダ値に、予め対応付けられた画角とに基づいて、仮想的に設定したグローバル座標上における前記カメラから各々の前記競技者への視線ベクトルを算出し、当該グローバル座標上において前記ダブルトラックの表面に相当する仮想平面と前記視線ベクトルとの交点を、各々の競技者の位置とする構成とした。

これによって、走行距離映像生成装置は、１つのカメラによってすべての競技者を撮像した映像から競技者の位置を解析して、各々の競技者の走行距離を示す映像を生成することができる。

更に、請求項３に記載の走行距離映像生成装置は、請求項１に記載の走行距離映像生成装置において、前記競技者領域抽出手段が、競技者一人につき２台のカメラによって撮影した映像または２台のカメラによってすべての競技者を撮像した映像からフレーム画像ごとに各々の前記競技者の領域を抽出し、前記位置解析手段が、前記競技者領域抽出手段によって抽出された各々の前記競技者の領域の前記フレーム画像内における位置と対象とする競技者を撮像する各前記カメラの前記画角および前記姿勢情報とに基づいて、仮想的に設定したグローバル座標上における前記対象とする競技者を撮像する各前記カメラの中心を結んだ直線に対する各前記カメラの中心から前記対象とする競技者への視線ベクトルの水平および垂直方向の角度を、各々の前記競技者について算出し、前記対象とする競技者への視線ベクトルの水平および垂直方向の角度と、前記対象とする競技者を撮像するカメラ間距離と、前記グローバル座標上における各前記カメラの位置とに基づいて、三角測量の原理により前記グローバル座標上における各々の競技者の位置を算出する構成とした。

これによって、走行距離映像生成装置は、競技者一人につき２台のカメラによって撮影した映像または２台のカメラによってすべての競技者を撮像した映像から競技者の位置を解析して、各々の競技者の走行距離を示す映像を生成することができる。

また、請求項４に記載の走行距離映像生成装置は、請求項１から請求項３のいずれか一項に記載の走行距離映像生成装置において、前記走行距離算出手段が、前記位置解析手段によって解析された各々の前記競技者の位置を、インコースとアウトコース内において予め設定された走行ルート上の点に補正し、スタート地点から当該点までの前記走行ルートの長さを各々の前記競技者の走行距離として算出する構成とした。

これによって、走行距離映像生成装置は、インコース及びアウトコースに幅があっても、競技者が予め設定された走行ルート上にいるとみなして走行距離を算出することができる。

更に、請求項５に記載の走行距離映像生成装置は、請求項１から請求項４のいずれか一項に記載の走行距離映像生成装置において、前記作画手段が、ダブルトラック競技を撮像した前記映像の一方の前記競技者のコース上において、他方の前記競技者のオブジェクトを前記走行距離算出手段によって算出された前記走行距離に応じた位置に合成した画像を、前記走行距離を示す画像として生成する構成とした。

これによって、走行距離映像生成装置は、オブジェクトで示した競技者を実映像の他の競技者と同じコース上で競わせた映像を生成することができる。

また、請求項６に記載の走行距離映像生成プログラムは、インコースとアウトコースとを２人の競技者が交互に走行するダブルトラック競技において、各々の前記競技者の走行距離を示す映像である走行距離映像を生成するために、コンピュータを、競技者領域抽出手段、位置解析手段、走行距離算出手段、作画手段として機能させることとした。

かかる構成によれば、走行距離映像生成プログラムは、競技者領域抽出手段によって、競技者を撮像した映像を入力し、この映像を構成するフレーム画像ごとに当該競技者の領域を抽出し、位置解析手段によって、競技者領域抽出手段で抽出された競技者の領域のフレーム画像内における位置と、外部から入力された、映像を撮像したカメラの位置及び撮影方向を示す情報である姿勢情報と、外部から入力された映像を撮像したカメラのレンズエンコーダ値に、予め対応付けられた画角とに基づいて、各々の競技者のダブルトラック内における位置を解析する。また、走行距離映像生成プログラムは、走行距離算出手段によって、位置解析手段で解析された位置に基づいて、所定時間ごとの各々の競技者の走行距離を算出し、作画手段によって、走行距離算出手段で算出された走行距離を示す画像を生成する。

これによって、走行距離映像生成プログラムは、競技者を撮像した映像に基づいて競技者の位置を解析して、各々の競技者の走行距離を示す映像を生成することができる。

本発明に係る走行距離映像生成装置及び走行距離映像生成プログラムでは、以下のような優れた効果を奏する。

請求項１、請求項３、請求項５又は請求項６に記載の発明によれば、実際の映像からでは競技者の優劣や走行距離の差などの把握が困難であるダブルトラック競技において、それぞれの競技者の走行距離の情報を可視化して視聴者に提供することができる。そのため、視聴者の状況理解を促進する映像を生成することができるとともに、特に、テレビ放送、データ放送、インターネットなどへ向けた映像制作を支援することができる。更に、走行距離を算出して映像を生成するため、複数の映像を同期させて合成する必要がなく、リアルタイムでの処理が可能である。

請求項２に記載の発明によれば、一台のカメラによって撮像した映像から走行距離を示す映像を生成することができる。そのため、制作者によって手動で競技者の位置を追跡して位置を示す情報を取得したり、多くのカメラを設置したりする必要がなくなり、制作者の労力やカメラ等の設備を軽減することができる。請求項４に記載の発明によれば、競技者の走行距離を容易に算出することができる。

以下、本発明の実施の形態について図面を参照して説明する。まず、図１を参照して、本発明の走行距離映像生成装置によって生成される映像の例について説明する。図１は、本発明の走行距離映像生成装置によって生成される映像の例を模式的に示した模式図である。

後記する走行距離映像生成装置（図示せず）は、図１（ａ）に示すように、選手Ａ及び選手Ｂのダブルトラック競技を撮像した映像Ｖ０の右上隅に付加された、トラックＴ上において選手Ａ及び選手Ｂのそれぞれの走行距離に応じた位置にマーカＭＡ、ＭＢを配置した映像Ｖ１を生成することとしてもよい。このように、ひとつのトラックＴ上に各選手の走行距離を示すマーカＭＡ、ＭＢを配置した映像を付加することで、視聴者が選手Ａと選手Ｂとの到達距離（走行距離）を容易に比較することができる映像を提供することができる。

また、走行距離映像生成装置は、図１（ｂ）に示すように、映像Ｖ０の右上隅に付加された、選手Ａ及び選手Ｂのそれぞれの走行距離に応じた長さのバーＢＡ、ＢＢを配置した映像Ｖ２を生成するなど、様々な表示形式の態様に対応可能である。

更に、走行距離映像生成装置は、ダブルトラック競技を撮像した映像の一方の選手のコース上において、他方の選手のオブジェクト（図示せず）をその走行距離に応じた位置に合成することとしてもよい。このように実映像のコース上にオブジェクトを合成すれば、ＣＧオブジェクトで示した選手を実映像の他の選手と同じコース上で競わせた映像を生成することができる。また、本発明の走行距離映像生成装置は、スピードスケートに限定されず、ラリーや自転車などの様々なダブルトラック競技に適用することが可能である。

［走行距離映像生成装置の構成（参考例の実施の形態）］
次に、図２を参照して、本発明の参考例の実施の形態である走行距離映像生成装置の構成について説明する。図２は本発明の参考例の実施の形態である走行距離映像生成装置の構成を示したブロック図である。

走行距離映像生成装置１は、距離計測器から入力される距離値と、距離計測器の角度情報及び位置情報とに基づいて、ダブルトラック上におけるそれぞれの競技者の位置を解析して走行距離を算出し、この走行距離を示す映像を生成するものである。走行距離映像生成装置１は、オブジェクト位置計測手段１１と、到達距離算出手段１２と、作画手段１３とを備える。

ここで、走行距離映像生成装置１の外部には距離計測器（図示せず）が接続されている。この距離計測器は、当該距離計測器から対象物までの直線距離を計測するものであり、ここでは、選手一人に対して距離計測器を一台ずつ設置して、それぞれの距離計測器が計測対象となる選手を追跡して所定時間（例えば１／３０秒）おきに距離を計測することとした。そして、距離計測器の位置を示す位置情報が予め走行距離映像生成装置１に入力されるとともに、距離計測器によって計測された距離値と、計測時の距離計測器の角度（パン、チルト）を示す角度情報とが走行距離映像生成装置１に入力される。なお、計測時に選手は移動するため、その動きに応じて距離計測器の角度も変える必要があるが、ここでは、距離計測器の位置は固定されていることとする。この距離計測器は、例えば、レーザレンジファインダである。

オブジェクト位置計測手段（位置解析手段）１１は、距離計測器から入力される距離値と、距離計測器の角度情報及び位置情報とに基づいて、ダブルトラック上におけるそれぞれの競技者の位置を解析するものである。ここで、三次元のグローバル座標が予め設定され、その原点から見た距離測定器の位置が位置情報としてオブジェクト位置計測手段１１に入力される。そして、オブジェクト位置計測手段１１は、グローバル座標空間の距離計測器の位置を始点とし、角度情報によって向きが定まる視線ベクトルが、地面に相当する仮想平面と計測された距離で交わる点を求め、その点を選手の位置（選手位置）とする。ここで求められた各選手の選手位置（三次元位置）の情報は、到達距離算出手段１２に出力される。

到達距離算出手段（走行距離算出手段）１２は、オブジェクト位置計測手段１１から入力された各選手位置の情報に基づいて、各選手の到達距離を算出するものである。ここで、到達距離算出手段１２は、選手位置をコースの中心線（走行ルート）Ｈ（図３参照）上に補正して、到達距離を算出することとした。つまり、コースの中心線Ｈは、直線と半円とで構成されており、到達距離算出手段１２は、選手位置の点と直線、又は、選手位置の点と半円との距離が最小となる直線又は半円上の点を求めて、選手位置の補正点とする。そして、到達距離算出手段１２は、スタート位置から補正点までの距離を各選手について算出することで、各選手の到達距離を求めることができる。ここで求められた各選手の到達距離の情報は、作画手段１３に出力される。なお、ここでは、到達距離算出手段１２は、選手位置をコースの中心線（走行ルート）上に補正することとしたが、例えばコースの内側から所定距離（例えば５０ｃｍ）外の線（走行ルート）上に補正することとしてもよい。

作画手段１３は、到達距離算出手段１２によって算出された到達距離の情報に基づいて、この到達距離を示す画像を生成するものである。ここで作画された画像は外部に出力される。なお、作画手段１３には、所定時間おきの各選手の到達距離の情報が入力され、作画手段１３は、到達距離を示す画像をフレーム画像とした映像を生成する。

この作画手段１３は、図１に示すように、外部からダブルトラック競技を撮像した映像Ｖ０を入力して、この映像Ｖ０のフレーム画像の内部に、到達距離を示す画像を作画することとしてもよい。このとき、作画手段１３は、フレーム画像が撮像された時点に計測された距離値に基づいて生成された到達距離を示す画像を、このフレーム画像内の所定の領域（図１では右上隅）に作画する。これによって、走行距離映像生成装置１は、ダブルトラック競技の映像に、その時の各選手の到達距離を示す映像を付加した映像を生成することができる。

この到達距離を示す映像とは、例えば、それぞれの選手の到達距離を数値や図形やオブジェクトの配置等で表現した映像であってもよいし、競技を撮像した映像の一方の選手のトラック上に、他方もしくは両方の選手の到達距離を示す図形やオブジェクト等を作画した映像であってもよい。作画手段１３は、例えば、図１（ａ）に示すような映像Ｖ１を生成することとしてもよい。このとき、作画手段１３は、競技の全長（例えば、１０００ｍ競技であれば１０００ｍ）における到達距離の割合を算出する。そして、作画手段１３は、仮想的にトラックＴを作画し、トラックＴの周上にこの割合の値に応じてマーカＭＡ、ＭＢを配置した画像を作画する。また、作画手段１３は、図１（ｂ）に示すような映像Ｖ２を生成することとしてもよい。このとき、作画手段１３は、各選手の到達距離に応じた長さのバーＢＡ、ＢＢを作画する。

なお、走行距離映像生成装置１は、一般的なコンピュータにプログラム（走行距離映像生成プログラム）を実行させ、コンピュータ内の演算装置や記憶装置を動作させることで実現することができる。

［走行距離映像生成装置の動作（参考例の実施の形態）］
次に、図４を参照（適宜図２参照）して、本発明の参考例の実施の形態である走行距離映像生成装置１の動作について説明する。図４は、本発明の参考例の実施の形態である走行距離映像生成装置が、入力された距離値と角度情報と位置情報とに基づいて到達距離を示す映像を生成する動作を示したフローチャートである。

走行距離映像生成装置１は、オブジェクト位置計測手段１１によって、距離計測器から入力される距離値と、距離計測器の角度情報及び位置情報とに基づいて、ダブルトラック上におけるそれぞれの選手の位置を解析する（ステップＳ１１）。続いて、走行距離映像生成装置１は、到達距離算出手段１２によって、ステップＳ１１において解析された各選手位置の情報に基づいて、各選手の到達距離を算出する（ステップＳ１２）。そして、走行距離映像生成装置１は、作画手段１３によって、ステップＳ１２において算出された到達距離に基づいて、この到達距離を示す画像を作画して出力し（ステップＳ１３）、ステップＳ１１に戻って、次に入力された距離値と角度情報とに基づいて、ダブルトラック上における選手の位置を解析する動作以降の動作を行う。なお、走行距離映像生成装置１が図１（ａ）、（ｂ）のような映像を生成する場合には、ステップＳ１３において、走行距離映像生成装置１は、作画手段１３によって、ステップＳ１１で入力された距離値が計測された時点の映像Ｖ０のフレーム画像の所定の領域（右上隅）に、到達距離を示す画像（映像Ｖ１、Ｖ２のフレーム画像）を作画する。

［走行距離映像生成装置の構成（第一の実施の形態）］
次に、図５を参照して、本発明の第一の実施の形態である走行距離映像生成装置の構成について説明する。図５は本発明の第一の実施の形態である走行距離映像生成装置の構成を示したブロック図である。図５に示すように、走行距離映像生成装置１Ａは、複数のカメラ（図示せず）によって選手を撮像した映像を外部から入力して、この映像のフレーム画像に基づいて、ダブルトラック上におけるそれぞれの競技者の位置を解析して走行距離を算出し、この走行距離を示す映像を生成するものである。

走行距離映像生成装置１Ａは、走行距離映像生成装置１（図２参照）のオブジェクト位置計測手段１１に代えてオブジェクト位置計測手段１１Ａを備え、更に、エンコーダ値画角変換データ記憶手段１４Ａと、オブジェクト抽出手段１５Ａとを付加して構成した。走行距離映像生成装置１Ａ内のオブジェクト位置計測手段１１Ａ、エンコーダ値画角変換データ記憶手段１４Ａ及びオブジェクト抽出手段１５Ａ以外の構成は、図２に示したものと同一であるので、同一の符号を付し、説明を省略する。

ここで、走行距離映像生成装置１Ａには、複数のカメラによって選手を撮像した映像が入力される。このカメラは、選手一人につき２台一組のカメラを用いることとしてもよいし、常に全選手が収まる画角で２台のカメラで撮像することとしてもよい。

オブジェクト位置計測手段（位置解析手段）１１Ａは、オブジェクト抽出手段１５Ａから入力されるフレーム画像内の選手の位置の情報と、外部から入力されるレンズエンコーダ値の情報及びカメラの姿勢情報とに基づいて、ダブルトラック上におけるそれぞれの競技者の位置を解析するものである。ここで求められた各選手の位置（三次元位置）の情報は、到達距離算出手段１２に出力される。

ここで、三次元のグローバル座標が予め設定され、このグローバル座標上におけるカメラの位置や向き（パン、チルト）やカメラ間距離が姿勢情報としてオブジェクト位置計測手段１１Ａに入力される。以下、オブジェクト位置計測手段１１Ａが選手の三次元位置を算出する方法について説明する。

オブジェクト位置計測手段１１Ａは、外部から入力されるレンズエンコーダ値の情報に基づいて、エンコーダ値画角変換データ記憶手段１４Ａからカメラの画角の情報を取得する。なお、カメラのズーム量に応じて画角が変動するため、レンズエンコーダ値に対応する画角が予め算出され、後記するエンコーダ値画角変換データ記憶手段１４Ａには、様々なレンズエンコーダ値とその時の画角とが対応付けられて予め記憶されている。

そして、オブジェクト位置計測手段１１Ａは、オブジェクト抽出手段１５Ａから入力されるフレーム画像内の選手の位置の情報と、カメラのパン、チルト角、画角とに基づいて、以下のようにして、カメラから各選手への視線ベクトルの水平及び垂直方向の角度を算出する。

オブジェクト位置計測手段１１Ａは、フレーム画像の水平方向の画素数をＷＩＤ、フレーム画像の中心を原点としたときの選手の水平方向の座標をｘ、水平方向の画角をＦＯＶとしたとき、カメラの光軸方向に対して、カメラから選手への視線ベクトルの水平方向の誤差角度ρ_ｘを以下の式（１）で算出する。

そして、オブジェクト位置計測手段１１Ａは、以下の式（２）に示すように、この誤差角度ρ_ｘと、カメラのパン角ρ_ｃａｍとを加算することで、グローバル座標におけるカメラから選手への視線ベクトルの水平方向の角度ρ_ｏｂｊを算出する。

なお、グローバル座標におけるカメラＣ１（Ｃ２）（図６参照）から選手への水平方向の角度ρ_ｏｂｊとは、対象とする選手Ａを撮像する２つのカメラＣ１、Ｃ２の中心を結んだ直線Ｌに対して、カメラＣ１（Ｃ２）の中心から選手Ａへの視線ベクトルの水平方向になす角度ρ_ｏｂｊ１（ρ_ｏｂｊ２）を指す。図６は、本発明の第二の実施の形態である走行距離映像生成装置のオブジェクト位置計測手段によって選手の三次元位置を算出する方法を説明するための説明図である。なお、図６では、競技場を上から見た平面図において、選手Ａ、ＢとカメラＣ１、Ｃ２とフレーム画像Ｆ１、Ｆ２とを模式的に配置して示した。

また、ここでは、オブジェクト位置計測手段１１Ａがカメラから選手への視線ベクトルの水平方向の角度を算出する場合について説明したが、前記の水平方向の画素数、フレーム画像内の選手の水平方向の座標、水平方向の画角、及び、カメラのパン角を、それぞれ垂直方向の画素数、フレーム画像内の選手の垂直方向の座標、垂直方向の画角、及び、カメラのチルト角とすることで、カメラから選手への視線ベクトルの垂直方向の角度も同様に算出することができる。

更に、オブジェクト位置計測手段１１Ａは、各カメラから選手への視線ベクトルの水平及び垂直方向の角度と、カメラ間距離と、グローバル座標上におけるカメラの位置の情報とに基づいて、三角測量の原理を用いて、グローバル座標上における選手の三次元位置を算出することができる。

エンコーダ値画角変換データ記憶手段１４Ａは、様々なレンズエンコーダ値とその時の画角とを対応付けたエンコーダ値画角変換データを記憶するもので、一般的なハードディスク等の記憶装置である。このエンコーダ値画角変換データは、エンコーダ値画角変換データ記憶手段１４Ａに予め記憶され、オブジェクト位置計測手段１１Ａによって読み出される。

オブジェクト抽出手段（競技者領域抽出手段）１５Ａは、外部から入力された映像の各々のフレーム画像から、画像認識技術を用いて選手の領域を抽出し、フレーム画像内における選手の位置を求めるものである。このフレーム画像内における選手の位置の情報は、オブジェクト位置計測手段１１Ａに出力される。

なお、オブジェクト抽出手段１５Ａは、背景領域（ここではスケートリンク）と前景領域である選手の領域とを分離する背景差分法、画像間差分法やクロマキ法等を使用することができる。ただし、固定撮影でない場合には、背景差分法や画像間差分法を用いることは困難であるため、クロマキ法を用いることが望ましい。また、分離処理によって選手の領域以外の領域も抽出される場合には、オブジェクト抽出手段１５Ａは、抽出された領域の面積、輝度、色、形、テクスチャ、位置などに基づいて、選手以外の領域を排除することとしてもよい。そして、オブジェクト抽出手段１５Ａは、フレーム画像内における選手の位置を、抽出された選手の領域内の代表する点に定める。この点は、例えば、抽出された領域の重心としてもよいし、領域の足元にあたる点としてもよい。

［走行距離映像生成装置の構成（第二の実施の形態）］
次に、図７を参照して、本発明の第二の実施の形態である走行距離映像生成装置の構成について説明する。図７は本発明の第二の実施の形態である走行距離映像生成装置の構成を示したブロック図である。図７に示すように、走行距離映像生成装置１Ｂは、一台のカメラによって選手を撮像した映像を入力して、この映像のフレーム画像に基づいて、ダブルトラック上におけるそれぞれの競技者の位置を解析して走行距離を算出し、この走行距離を示す映像を生成するものである。

走行距離映像生成装置１Ｂは、走行距離映像生成装置１Ａ（図５参照）のオブジェクト位置計測手段１１Ａに代えてオブジェクト位置計測手段１１Ｂを備える。走行距離映像生成装置１Ｂ内のオブジェクト位置計測手段１１Ｂ以外の構成は、図５に示したものと同一であるので、同一の符号を付し、説明を省略する。ここで、走行距離映像生成装置１Ｂには一台のカメラによって選手を撮像した映像が入力される。

オブジェクト位置計測手段（位置解析手段）１１Ｂは、オブジェクト抽出手段１５Ａから入力されるフレーム画像内の選手の位置の情報と、外部から入力されるレンズエンコーダ値の情報及びカメラの姿勢情報とに基づいて、ダブルトラック上におけるそれぞれの競技者の位置を解析するものである。ここで算出された競技者の位置の情報は、到達距離算出手段１２に出力される。

ここで、三次元のグローバル座標が予め設定され、このグローバル座標上におけるカメラの位置や向き（パン、チルト）が姿勢情報としてオブジェクト位置計測手段１１Ｂに入力される。以下、図８を参照して、オブジェクト位置計測手段１１Ｂが選手の三次元位置を算出する方法について説明する。図８は、本発明の第三の実施の形態である走行距離映像生成装置のオブジェクト位置計測手段によって選手の三次元位置を算出する方法を説明するための説明図である。

オブジェクト位置計測手段１１Ｂには、１つの映像のフレーム画像Ｆにおける選手の位置の情報が入力され、オブジェクト位置計測手段１１Ｂは、当該映像を撮像したカメラＣから選手Ａへの視線ベクトルＶを算出する。なお、視線ベクトルＶは、前記の式（１）、（２）によって、視線ベクトルＶの水平及び垂直方向の角度を算出することで向きを特定することができ、また、大きさは任意である。そして、オブジェクト位置計測手段１１Ｂは、算出された視線ベクトルＶと、グローバル座標において地面（スケートリンク）に相当する仮想平面Ｇとの交点Ｐの座標を算出し、選手Ａの三次元位置とする。なお、競技場に起伏がある場合には、高低差の影響で誤差が生じてしまうが、スケートリンクのように平らな面ではほとんど誤差は生じない。

本発明の走行距離映像生成装置によって生成される映像の例を模式的に示した模式図である。本発明の参考例の実施の形態である走行距離映像生成装置の構成を示したブロック図である。ダブルトラック競技におけるインコースとアウトコースとを模式的に示した模式図である。本発明の参考例の実施の形態である走行距離映像生成装置が、入力された距離値と角度情報と位置情報とに基づいて到達距離を示す映像を生成する動作を示したフローチャートである。本発明の第一の実施の形態である走行距離映像生成装置の構成を示したブロック図である。本発明の第一の実施の形態である走行距離映像生成装置のオブジェクト位置計測手段によって選手の三次元位置を算出する方法を説明するための説明図である。本発明の第二の実施の形態である走行距離映像生成装置の構成を示したブロック図である。本発明の第二の実施の形態である走行距離映像生成装置のオブジェクト位置計測手段によって選手の三次元位置を算出する方法を説明するための説明図である。

符号の説明

１、１Ａ、１Ｂ走行距離映像生成装置
１１、１１Ａ、１１Ｂオブジェクト位置計測手段（位置解析手段）
１２到達距離算出手段（走行距離算出手段）
１３作画手段
１４Ａエンコーダ値画角変換データ記憶手段
１５Ａオブジェクト抽出手段（競技者領域抽出手段）

Claims

インコースとアウトコースとを２人の競技者が交互に走行するダブルトラック競技において、各々の前記競技者の走行距離を示す映像である走行距離映像を生成する走行距離映像生成装置であって、
前記競技者を撮像した映像を入力し、この映像を構成するフレーム画像ごとに当該競技者の領域を抽出する競技者領域抽出手段と、
この競技者領域抽出手段によって抽出された前記競技者の領域の前記フレーム画像内における位置と、外部から入力された、前記映像を撮像したカメラの位置及び撮影方向を示す情報である姿勢情報と、外部から入力された前記映像を撮像したカメラのレンズエンコーダ値に、予め対応付けられた画角とに基づいて、各々の前記競技者の前記ダブルトラック内における位置を解析する位置解析手段と、
この位置解析手段によって解析された位置に基づいて、所定時間ごとの各々の前記競技者の走行距離を算出する走行距離算出手段と、
この走行距離算出手段によって算出された走行距離を示す画像を生成する作画手段と、
を備えることを特徴とする走行距離映像生成装置。
前記競技者領域抽出手段が、１つのカメラによってすべての競技者を撮像した映像からフレーム画像ごとに各々の前記競技者の領域を抽出し、
前記位置解析手段が、前記競技者領域抽出手段によって抽出された各々の前記競技者の領域の前記フレーム画像内における位置と、前記姿勢情報と、前記画角とに基づいて、仮想的に設定したグローバル座標上における前記カメラから各々の前記競技者への視線ベクトルを算出し、当該グローバル座標上において前記ダブルトラックの表面に相当する仮想平面と前記視線ベクトルとの交点を、各々の競技者の位置とすることを特徴とする請求項１に記載の走行距離映像生成装置。
前記競技者領域抽出手段が、競技者一人につき２台のカメラによって撮影した映像または２台のカメラによってすべての競技者を撮像した映像からフレーム画像ごとに各々の前記競技者の領域を抽出し、
前記位置解析手段が、前記競技者領域抽出手段によって抽出された各々の前記競技者の領域の前記フレーム画像内における位置と対象とする競技者を撮像する各前記カメラの前記画角および前記姿勢情報とに基づいて、仮想的に設定したグローバル座標上における前記対象とする競技者を撮像する各前記カメラの中心を結んだ直線に対する各前記カメラの中心から前記対象とする競技者への視線ベクトルの水平および垂直方向の角度を、各々の前記競技者について算出し、前記対象とする競技者への視線ベクトルの水平および垂直方向の角度と、前記対象とする競技者を撮像するカメラ間距離と、前記グローバル座標上における各前記カメラの位置とに基づいて、三角測量の原理により前記グローバル座標上における各々の競技者の位置を算出することを特徴とする請求項１に記載の走行距離映像生成装置。
前記走行距離算出手段が、前記位置解析手段によって解析された各々の前記競技者の位置を、インコースとアウトコース内において予め設定された走行ルート上の点に補正し、スタート地点から当該点までの前記走行ルートの長さを各々の前記競技者の走行距離として算出することを特徴とする請求項１から請求項３のいずれか一項に記載の走行距離映像生成装置。
前記作画手段が、
ダブルトラック競技を撮像した前記映像の一方の前記競技者のコース上において、他方の前記競技者のオブジェクトを前記走行距離算出手段によって算出された前記走行距離に応じた位置に合成した画像を、前記走行距離を示す画像として生成することを特徴とする請求項１から請求項４のいずれか一項に記載の走行距離映像生成装置。
インコースとアウトコースとを２人の競技者が交互に走行するダブルトラック競技において、各々の前記競技者の走行距離を示す映像である走行距離映像を生成するために、コンピュータを、
前記競技者を撮像した映像を入力し、この映像を構成するフレーム画像ごとに当該競技者の領域を抽出する競技者領域抽出手段、
この競技者領域抽出手段によって抽出された前記競技者の領域の前記フレーム画像内における位置と、外部から入力された、前記映像を撮像したカメラの位置及び撮影方向を示す情報である姿勢情報と、外部から入力された前記映像を撮像したカメラのレンズエンコーダ値に、予め対応付けられた画角とに基づいて、各々の前記競技者の前記ダブルトラック内における位置を解析する位置解析手段、
この位置解析手段によって解析された位置に基づいて、所定時間ごとの各々の前記競技者の走行距離を算出する走行距離算出手段、
この走行距離算出手段によって算出された走行距離を示す画像を生成する作画手段、
として機能させることを特徴とする走行距離映像生成プログラム。