JP7316097B2 - オブジェクト軌跡生成装置及びそのプログラム - Google Patents

Description

本発明は、オブジェクトの軌跡を生成するオブジェクト軌跡生成装置及びそのプログラムに関する。

映像解析技術の進展に伴い、カメラをセンサとした様々なアプリケーションが提案されている。ウィンブルドンでも使用されているテニスのホークアイシステムは、複数の固定カメラ映像をセンサとしてテニスボールを３次元的に追跡し、ジャッジに絡むIN/OUTの判定を行っている。また２０１４年のＦＩＦＡワールドカップで用いられたゴールラインテクノロジーは、数台の固定カメラの映像を解析し、ゴールの判定を自動化している。さらにサッカースタジアムへ多数のステレオカメラを設置し、フィールド内の全選手をリアルタイムに追跡するトラッキングシステム（例えば、ＴＲＡＣＡＢシステム）など、スポーツにおけるリアルタイム映像解析技術の高度化が進んでいる。

この映像解析技術を利用し、野球、ボウリング、ゴルフ、カーリングなどのスポーツ中継において、ボールやストーンの軌跡表示が行われている。カーリング競技でのストーン軌跡表示は、試合状況を分かりやすく可視化し、解説にも有用な映像表現である。すなわち、カメラ映像だけでカーリングシートの状態や各チームの戦術を伝えきるには限界があるが、投石の軌跡を累積表示することにより、解説を交えて視聴者に分かりやすく状況を伝えることができる。例えば、特許文献１では、カーリング競技において、オクルージョンが頻繁に発生するストーンを少数の固定カメラで好適に追跡することが可能なオブジェクト追跡装置が提案されている。

特開２０１８－２０６２８５号公報

ストーン軌跡表示の実現にあたっては、カーリング競技での一投一投を記録し、精度の高い軌跡を描画する必要がある（図１参照）。また、カーリング競技では、投石後に選手のスウィーピングにより、その軌跡が自然な放物軌道から逸れる場合がある（図２参照）。放物軌道を想定した自動補正では、実際の軌跡と異なることもあるため、人手による軌跡の補正作業を施すことで、実軌跡に近い軌跡ＣＧを描画している。しかし、カーリングの試合では、投石と投石とのインターバルが３０秒程度と短く、その間に軌跡の補正作業を完了する必要がある。この軌跡の補正作業は、画素単位の緻密な作業であり、時間的な制約もあることから、多大な労力を要するという問題がある。

そこで、本発明は、実軌跡に近いオブジェクトの軌跡を生成できるオブジェクト軌跡生成装置及びそのプログラムを提供することを課題とする。

前記した課題に鑑みて、本発明に係るオブジェクト軌跡生成装置は、固定カメラ映像に含まれるオブジェクトの軌跡を生成するオブジェクト軌跡生成装置であって、追跡部と、射影変換部と、位置補正部と、軌跡生成部と、を備える構成とした。

かかる構成によれば、追跡部は、移動するオブジェクトの位置を追跡する。
射影変換部は、追跡部によって追跡されたオブジェクトの位置群を射影変換する。
位置補正部は、オブジェクトの位置群の補正結果を予め機械学習した識別器により、射影変換部が算出したオブジェクトの位置群を補正する。この識別器は、人手によるオブジェクトの軌跡の補正結果を学習したものである。
軌跡生成部は、位置補正部が補正したオブジェクトの位置群に基づいて、オブジェクトの軌跡を生成する。
射影変換部は、固定カメラ映像に含まれるオブジェクトの位置群を、固定カメラの撮影空間を上から見た変換用座標系に射影変換し、変換用座標系に変換されたオブジェクトの位置群を、固定カメラ映像と異なる視点の座標系に射影変換する。
位置補正部は、固定カメラの座標系及び変換用座標系において、オブジェクトの各位置と、オブジェクトの各位置からオブジェクトの位置群の平滑化曲線までの距離と、オブジェクトの軌跡全長に対するオブジェクトの軌跡先頭から各位置までの長さの割合とが含まれる誤差特徴量を算出する誤差特徴量算出部と、オブジェクトの位置が補正されたときの誤差特徴量を正例、及び、オブジェクトの位置が補正されなかったときの誤差特徴量を負例として予め機械学習した識別器により、射影変換部が算出したオブジェクトの位置群を平滑化曲線上に補正する補正部と、を備える。
このように、オブジェクト軌跡生成装置は、人手によるオブジェクトの軌跡の補正結果を学習した識別器を用いるので、その補正結果がオブジェクトの軌跡に反映されることになる。

なお、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスクなどのハードウェア資源を、前記したオブジェクト軌跡生成装置として協調動作させるプログラムで実現することもできる。

本発明によれば、人手によるオブジェクトの軌跡の補正結果を学習した識別器を用いるので、その補正結果がオブジェクトの軌跡に反映され、実軌跡に近いオブジェクトの軌跡を生成することができる。

カーリング競技において、オブジェクトの軌跡を合成した画像の一例を示す図である。 カーリング競技において、オブジェクトの軌跡が逸れる一例を示す図である。 実施形態に係るオブジェクト軌跡生成システムを示す模式図である。 実施形態において、（ａ）は、撮影画像の一例を示す図であり、（ｂ）は（ａ）のオブジェクト付近を示す拡大図である。 実施形態に係るオブジェクト軌跡生成システムを示すブロック図である。 実施形態において、射影変換の手法を説明するための図であって、（ａ）は固定カメラによるカーリングシートの撮影結果の一例を示す図であり、（ｂ）は真上視点座標系へ射影変換されたカーリングシートの撮影結果の一例を示す図である。 実施形態において、オブジェクト位置の補正を説明する説明図である。 実施形態において、オブジェクト軌跡生成装置が生成した画像の一例を示す図である。 実施形態に係るオブジェクト軌跡生成装置の動作を示すフローチャートである。 実施形態において、オブジェクト位置群の補正処理を示すフローチャートである。 変形例において、オブジェクト軌跡生成装置が生成した画像の一例を示す図である。

（実施形態）
本発明の実施形態について、オブジェクトとしてのカーリングのストーンの追跡に適用した場合を例にとり、図面を参照して詳細に説明する。以下の説明において、同一の要素には同一の符号を付し、重複する説明は省略する。

はじめに、カーリング競技の概要を説明する。図１に示すように、カーリングは、氷上でハウス３Ａ，３Ｂと呼ばれるサークルにストーンを投げ合い、その位置に応じた得点を競う競技である。ストーンの投げやすさはその日のカーリングシート２の状態や、投石によるカーリングシート２の状況変化に大きく左右される。その場その場で投げやすいコースを見極めて投げつつ、逆に敵チームには投げにくいコースへ投げさせる状況を作ることが勝負の秘訣である。

カメラ映像だけでは、カーリングシート２の状態や各チームの戦術を伝えきるには限界がある。そこで、オブジェクト軌跡生成システム１（図３）は、投石の軌跡Ｔ（Ｔ_Ａ，Ｔ_Ｂ）を累積表示することにより、解説コメントを交えて視聴者に分かりやすく状況を伝えることができる。なお、図１では、一方のチームによる投石の軌跡Ｔ_Ａを実線で図示し、他方のチームによる投石の軌跡Ｔ_Ｂを破線で図示した。

ここで、カーリング競技では、図２に示すように、投石後に選手のスウィーピングにより、その軌跡Ｔが自然な放物軌道から逸れてしまう場合がある。図２では、ハウス３Ｂの付近で軌跡Ｔが歪んでいる。そこで、オブジェクト軌跡生成システム１は、歪みが少なく自然な軌跡Ｔを生成する。

［オブジェクト軌跡生成システムの全体構成］
図３を参照し、実施形態に係るオブジェクト軌跡生成システム１の全体構成について説明する。
図３に示すように、オブジェクト軌跡生成システム１は、カーリングにおける長さＬ_Ａ約４５［ｍ］、幅Ｗ_Ａ約５［ｍ］のカーリングシート２の撮影結果に、移動するオブジェクト４としてのストーンの軌跡を表示する。カーリングシート２の長さ方向両端部には、それぞれハウス３Ａ，３Ｂが設けられている。オブジェクト４は、奇数エンドにおいてハウス３Ｂ側からハウス３Ａへ向けて投じられ、偶数エンドにおいてハウス３Ａ側からハウス３Ｂへ向けて投じられる。オブジェクト軌跡生成システム１は、固定カメラ１０（１０Ａ～１０Ｃ）と、スイッチャ２０と、操作部３０と、表示部４０と、オブジェクト軌跡生成装置５０と、インサータ６０と、を備える。

＜第一の固定カメラ＞
第一の固定カメラ１０Ａは、カーリングシート２の長さ方向一端部に設けられたハウス３Ａに向けて投じられたオブジェクト４を撮影するためのものであって、カーリングシート２をハウス３Ａ側から撮影する。第一の固定カメラ１０Ａの撮影結果は、スイッチャ２０へ出力される。ここで、図４（ａ）及び（ｂ）に示すように、第一の固定カメラ１０Ａの撮影結果において、オブジェクト４は、画面の奥側（ハウス３Ｂ側）から手前側（ハウス３Ａ側）に向かって移動する。

＜第二の固定カメラ＞
第二の固定カメラ１０Ｂは、カーリングシート２の長さ方向他端部に設けられたハウス３Ｂに向けて投じられたオブジェクト４を撮影するものであって、カーリングシート２をハウス３Ｂ側から撮影する。第二の固定カメラ１０Ｂの撮影結果は、スイッチャ２０へ出力される。

＜第三の固定カメラ＞
第三の固定カメラ１０Ｃは、第一の固定カメラ１０Ａと同様、ハウス３Ａに向けて投じられたオブジェクト４を撮影するものであって、カーリングシート２をハウス３Ａ側から撮影する。第三の固定カメラ１０Ｃの撮影結果は、スイッチャ２０へ出力される。すなわち、第一の固定カメラ１０Ａ及び第三の固定カメラ１０Ｃは、カーリングシート２を同一方向から異なる画角で撮影する。例えば、第三の固定カメラ１０Ｃは、第一の固定カメラ１０Ａで撮影したカーリングシート２に隣接するカーリングシート２を撮影する。また、第三の固定カメラ１０Ｃは、第一の固定カメラ１０Ａで撮影したカーリングシート２を、異なる時間に異なる画角で撮影してもよい。

＜スイッチャ＞
スイッチャ２０は、固定カメラ１０の撮影結果を取得し、ユーザによる操作結果に基づいて、取得した撮影結果をオブジェクト軌跡生成装置５０及びインサータ６０へ出力する。奇数エンドでは、スイッチャ２０は、固定カメラ１０の撮影結果のうち、第一の固定カメラ１０Ａの撮影結果をオブジェクト軌跡生成装置５０及びインサータ６０へ出力する。偶数エンドでは、スイッチャ２０は、固定カメラ１０の撮影結果のうち、第二の固定カメラ１０Ｂの撮影結果をオブジェクト軌跡生成装置５０及びインサータ６０へ出力する。

＜操作部及び表示部＞
操作部３０は、キーボード、マウス等によって構成されており、ユーザによる当該操作部３０の操作結果をオブジェクト軌跡生成装置５０へ出力する。
表示部４０は、モニタ等によって構成されており、オブジェクト軌跡生成装置５０から入力された画像を表示する。

＜オブジェクト軌跡生成装置＞
オブジェクト軌跡生成装置５０は、固定カメラ映像に含まれるオブジェクト４の軌跡Ｔを生成し、生成したオブジェクト４の軌跡Ｔをインサータ６０に出力する。なお、オブジェクト軌跡生成装置５０の詳細は後記する。なお、固定カメラ映像とは、固定カメラ１０で撮影された映像のことである。

＜インサータ＞
インサータ６０は、スイッチャ２０から入力された固定カメラ１０の画像、及び、軌跡出力部５６から入力された軌跡Ｔを取得する。そして、インサータ６０は、取得した軌跡Ｔを固定カメラ１０の画像上に合成し、合成画像を出力する。オブジェクト４の軌跡Ｔが合成された合成画像は、図示しない表示装置に表示される。

［オブジェクト軌跡生成装置の構成］
図５を参照し、オブジェクト軌跡生成装置５０の構成ついて説明する。
オブジェクト軌跡生成装置５０は、固定カメラ映像に含まれるオブジェクト４の軌跡を生成する。図５に示すように、オブジェクト軌跡生成装置５０は、オブジェクト追跡部５１と、射影変換部５２と、位置補正部５３と、軌跡生成部５４と、記憶部５５と、軌跡出力部５６と、を備える。

＜オブジェクト追跡部＞
オブジェクト追跡部５１は、固定カメラ映像に含まれるオブジェクト４の位置を映像内において追跡する。オブジェクト追跡部５１は、オブジェクト候補画像生成部５１ａと、追跡部５１ｂと、を備える。

＜＜オブジェクト候補画像生成部＞＞
オブジェクト候補画像生成部５１ａは、固定カメラ映像を構成するフレームである固定カメラ画像から、オブジェクト候補画像を生成する。オブジェクト候補画像は、予め設定された探索範囲内において、オブジェクト４の候補が抽出された画像である。

まず、オブジェクト候補画像生成部５１ａは、オブジェクト４の色（例えば、赤色又は黄色）に基づいて、固定カメラ画像に含まれる物体の中からオブジェクト４と同色のものをオブジェクト候補として抽出する。続いて、オブジェクト候補画像生成部５１ａは、抽出されたオブジェクト候補以外の画像領域を、黒で塗り潰す処理を行う。

続いて、オブジェクト候補画像生成部５１ａは、オブジェクト候補が抽出された画像を表示部４０に表示させる。すると、オペレータは、表示部４０に表示された画像を見ながら、操作部３０を操作して、１枚目の固定カメラ画像に関して、オブジェクト４の初期位置を指定する。続いて、オブジェクト候補画像生成部５１ａは、指定された当該オブジェクト４の位置を中心とする探索範囲を１枚目の固定カメラ画像に対して設定する。なお、指定されるオブジェクト４の初期位置は、探索範囲を設定するためのものである。また、探索範囲のサイズ（縦及び横の寸法）は、予め記憶されている。

続いて、オブジェクト候補画像生成部５１ａは、探索範囲内の画像領域にラベリング処理を施すとともに、面積及び形状に基づくフィルタリングを施すことによって、オブジェクト候補を絞り込む。ここで、オブジェクト候補画像生成部５１ａは、オブジェクト候補の面積が予め設定された最大値よりも大きい場合、又は、オブジェクト候補の面積が予め設定された最小値よりも小さい場合、そのオブジェクト候補を除外する。オブジェクト候補の面積の最大値及び最小値は、カーリングシート２の長さ方向の両端部に位置するオブジェクト４の面積に基づいて設定されている。さらに、オブジェクト候補画像生成部５１ａは、オブジェクト候補の形状が予め設定された形状と異なる場合、そのオブジェクト候補を除外する。さらに、オブジェクト候補画像生成部５１ａは、前記したフィルタリングで除外したオブジェクト候補を、黒で塗り潰す処理を行う。これにより、オブジェクト候補画像が得られる。

続いて、オブジェクト候補画像生成部５１ａは、１枚目の固定カメラ画像のオブジェクト候補画像に関して、オブジェクト候補のうち、探索範囲の中心に最も近いものをオブジェクト４として抽出する。そして、オブジェクト候補画像生成部５１ａは、１枚目の固定カメラ画像と同様にオブジェクト４を抽出した２枚目以降のオブジェクト候補画像を、追跡部５１ｂへ出力する。

なお、オブジェクト候補画像生成部５１ａは、探索範囲の中心に最も近いオブジェクト４のサイズ（例えば、一辺の長さ）を検出し、検出したサイズに応じて、探索範囲のサイズを変更してもよい。この手法は、特開２０１８－２０６２８５号公報に記載されているため、詳細な説明を省略する。

＜＜追跡部＞＞
追跡部５１ｂは、オブジェクト候補画像生成部５１ａから入力されたオブジェクト候補画像に逐次学習型の追跡手法を施し、オブジェクト候補画像に含まれるオブジェクト４の位置を追跡する。

本実施形態では、追跡部５１ｂは、逐次学習型の追跡処理として、ＫＣＦ（Kernelized Correlation Filter）法を用いることとする。ＫＣＦ法は、オブジェクト４自体の画像を逐次（随時）学習しながら追跡する手法である。そのため、ＫＣＦ法では、カーリングのようにスイーピングによってオブジェクト４に頻繁にオクルージョンが発生する状況でも、オブジェクト４の見え方を学習しながらオブジェクト４を頑健に追跡できる。また、ＫＣＦ法では、ＦＦＴ（Fast Fourier Transform）によってメモリ使用量を抑えつつ、高速にオブジェクト４を学習して追跡できる。この点、Ｂｏｏｓｔｉｎｇ、ＭＩＬ（Multiple Instance Learning）、サポートベクターマシン（ＳＶＭ：support vector machine）、等といった一般的な２クラス識別器を用いた手法とは異なる。さらに、ＫＣＦ法では、１画素ずつ密に探索窓をシフトさせた画像群をＦＦＴによって解析的に処理することで、オブジェクト４を高速に追跡できる。一方、一般的な２クラス識別器を用いた手法では、オブジェクト４の予測位置の周辺からランダムに探索窓（subwindow）をサンプリングして識別処理を行うので、処理速度がＫＣＦ法より遅くなる。

追跡部５１ｂは、以下の式（１）に示すように、入力ｕ（オブジェクト候補画像の画素値の系列、特徴ベクトル等）に重みｗを乗算してバイアスｂを加算することで、出力値ｆ（ｕ）を算出する（但し、ｍは要素数）。そして、追跡部５１ｂは、算出した出力値ｆ（ｕ）に基づいて、画像中に映っている物体がオブジェクト４であるか否かを判定する。

次に、追跡部５１ｂは、重みｗ及びバイアスｂの最適値を、学習フェーズにおいて式（２）の目的関数を最小化することによって算出する。式（２）において、Ｌは、ロス関数であり、推定結果ｆ（ｕ）と真値ｖとの誤差が大きいほどロス関数Ｌも大きくなる。バイアスｂは、重みｗが大きな値をとることで、ｆ（ｕ）が複雑化することを防止するために付加する正則化項である。λは、正則化項（重みｗ）のバランスを決定するハイパーパラメータである。ハイパーパラメータλを大きくする程、正則化の効果が高くなる（重みｗの影響力が大きくなる）。

本実施形態において、追跡部５１ｂは、探索範囲内において追跡対象であるオブジェクト４の周辺で１ピクセルずつシフトした画像群を生成し、生成された画像群を式（３）で示す巡回行列（circulant matirixes）Ｃ（ｕ）として扱う。

そして、追跡部５１ｂは、巡回行列Ｃ（ｕ）と真値のベクトルｖとの積を、フーリエ空間のみにおいて、式（４）によって計算する。式（４）において、Ｆはフーリエ変換、Ｆ^－１はフーリエ逆変換、＊は複素共役である。ｕは、前記入力であって、追跡対象のオブジェクト４の領域周辺で１ピクセルずつシフトした画像群である。ｖは、ｕの真値である。巡回行列Ｃ（ｕ）において、行列の各行は、１ピクセルずつシフトした画像に相当する。すなわち、式（４）の右辺は、入力ｕをフーリエ変換したものの複素共役と真値ｖをフーリエ変換したものとの要素ごとの積（アダマール積）をフーリエ逆変換したものである。

空間領域の畳み込み演算は、周波数領域の乗除演算に等しいため、追跡部５１ｂは、かかる巡回行列の特性を用いることによって、繰り返し処理が不要な高速処理を実現することができる。オブジェクト４の追跡処理において、追跡部５１ｂは、学習フェーズで算出された重みｗ及びバイアスｂを用いてｆ（ｕ）を算出し、当該ｆ（ｕ）が最大となるｕをオブジェクト４の位置とする。

以下、固定カメラ１０のカメラ座標系におけるオブジェクト４の位置、すなわち、オブジェクト４の二次元座標（ｘ，ｙ）をＰ_ｆ ^Ｃ（ｉ）で表す。ここで、ｉは、オブジェクト４の位置の通し番号を表し、添え字Ｃは、各カメラ座標系の番号を表す。Ｃは、第一の固定カメラ１０Ａのカメラ座標系を示す「１」、第二の固定カメラ１０Ｂのカメラ座標系を示す「２」をとる。ｆは、当該固定カメラから見て順方向の軌跡Ｔであることを示す。また、オブジェクト位置Ｐ_ｆ ^Ｃ（ｉ）の集合をオブジェクト位置群Ｐ_ｆ ^Ｃとする。

オブジェクト位置群Ｐ_ｆ ^Ｃは、追跡した全オブジェクト位置Ｐ_ｆ ^Ｃ（ｉ）の集合としてもよく、１つのショットを代表する５～８点のオブジェクト位置Ｐ_ｆ ^Ｃ（ｉ）の集合としてもよい。全オブジェクト位置Ｐ_ｆ ^Ｃ（ｉ）を用いると、誤差の影響で軌跡Ｔが波打つため、代表点を用いることが好ましい。ここで、一定距離又は時間間隔でサンプリングすることで、代表点を抽出できる。このとき、代表点には、初回検出点及び最終位置を含めるとよい。

追跡部５１ｂは、移動中のオブジェクト４が静止するまで当該オブジェクト４を追跡し続ける。追跡部５１ｂは、オブジェクト４の速度をフレーム毎に算出し、算出されたオブジェクト４の速度に基づいて追跡を終了する。また、追跡部５１ｂは、オペレータによる操作部３０の操作結果に基づいて追跡を終了する。オブジェクト４が選手等に隠れた状態で静止した場合（オクルージョンが発生した場合）には、追跡部５１ｂは、オペレータによる操作部３０の操作結果に基づいて、オブジェクト４の静止位置を取得する。追跡終了後、追跡部５１ｂは、オブジェクト４の追跡結果であるオブジェクト位置群Ｐ_ｆ ^Ｃを第一の変換部５２ａに出力する。

＜射影変換部＞
射影変換部５２は、追跡部５１ｂによって追跡されたオブジェクト位置群Ｐ_ｆ ^Ｃを射影変換する。射影変換部５２は、第一の変換部５２ａと、第二の変換部５２ｂと、を備える。

ここで、Ｐ_ｆ ^Ｃ（ｉ）は、ある固定カメラ１０（例えば、固定カメラ１０Ａ）によって撮影された２次元座標系上の位置を示す。このため、画角の異なる他の固定カメラ１０（例えば、固定カメラ１０Ｂ）によって撮影された画像に対し、正確な位置にオブジェクト４の軌跡を描画することは困難である。そこで、射影変換部５２は、射影変換を用いて、ある固定カメラ１０によって撮影されたオブジェクト４の位置を真上視点座標系（変換用座標系）へ変換する。そして、射影変換部５２は、真上視点座標系に変換されたオブジェクト４の位置を他の固定カメラ１０に対応するカメラ座標系へ変換する。

なお、真上視点座標系とは、カーリングシート２をその中心部の真上から撮影した場合の座標系のことである。以下、真上視点座標系におけるオブジェクト４の二次元座標（ｘ，ｙ）をＰ_ｆ ^Ｔ（ｉ）で表し、オブジェクト位置Ｐ_ｆ ^Ｔ（ｉ）の集合をオブジェクト位置群Ｐ_ｆ ^Ｔとする。添え字Ｔは、真上視点座標系であることを表す。

＜＜第一の変換部＞＞
第一の変換部５２ａは、追跡部５１ｂから入力されたオブジェクト位置群Ｐ_ｆ ^Ｃを真上視点座標系へ射影変換し、真上視点座標系のオブジェクト位置群Ｐ_ｆ ^Ｔを誤差特徴量算出部５３ａへ出力する。また、第一の変換部５２ａは、追跡部５１ｂから入力されたカメラ座標系のオブジェクト位置群Ｐ_ｆ ^Ｃを誤差特徴量算出部５３ａへ出力する。変換後の座標（ｘ_ｐ，ｙ_ｐ）は、変換前の座標を（ｘ_ｃ，ｙ_ｃ）とすると、以下の式（５）で表される。

この射影変換は、平面から平面への写像であるため、変換後に得られる座標も２次元座標となる。ここで、３次元空間のＺ軸に垂直で原点を通過する平面を仮定すると、常にＺ＝０となるため、射影変換後の２次元座標が得られることによって、３次元座標上の１点を指定することができる。ここで、オブジェクト４としてのカーリングのストーンが氷上を平行移動するため、高さ方向をＺ軸としてＺ＝０と設定する。これにより、第一の固定カメラ１０Ａによって撮影された２次元座標系におけるオブジェクト４の位置から、オブジェクト４の三次元位置を算出できる。この射影変換において、射影変換行列Ｈは、未知の射影変換パラメータｈ１，…，ｈ８を用いて、以下の式（６）で表される。８つの射影変換パラメータｈ１，…ｈ８は、変換前後の画像間の４点以上の対応関係に基づいて算出可能である。

ここで、第一の変換部５２ａは、図６（ａ）に示すように、第一の固定カメラ１０Ａによって撮影された画像を表示部４０に表示させる。すると、オペレータは、操作部３０を操作し、表示部４０に表示された画像上で４点（例えば、カーリングシート２の四隅２ａ～２ｄ）を指定する。すると、第一の変換部５２ａは、オペレータが指定した４点の座標を変換前の座標として取得し、前記した手順により射影変換行列Ｈを生成し、図６（ｂ）に示すように真上視点座標系への射影変換を行う。

＜＜第二の変換部＞＞
第二の変換部５２ｂは、後記する補正部５３ｃから補正後のオブジェクト位置群Ｐ_ｆ ^Ｔ´が入力された場合、真上視点座標系のオブジェクト位置群Ｐ_ｆ ^Ｔ´を、他の固定カメラ１０に対応したカメラ座標系へ射影変換する。ここで、第二の変換部５２ｂは、第一の変換部５２ａと同様の手順で射影変換を行い、他の固定カメラ１０に対応したカメラ座標系のオブジェクト位置群Ｐ_ｆ ^Ｃ´を軌跡生成部５４に出力する。

なお、カーリングは１０エンドまで行われ、奇数エンド（１，３，５，７，９）と偶数エンド（２，４，６，８，１０）とでハウス３Ａ，３Ｂの位置が交互に入れ替えられる。そのため、奇数エンドでの投石（オブジェクト４の軌跡Ｔ）と偶数エンドの投石とは逆方向となり、一方の第一の固定カメラ１０Ａによるオブジェクト位置群を他方の第二の固定カメラ１０Ｂによる画像に単に合成し、奇数エンド及び偶数エンドの軌跡Ｔを同時に表示しようとすると、逆方向の軌跡Ｔが混在することとなる。そこで、射影変換部５２は、奇数エンド及び偶数エンドの一方のオブジェクト位置群を点対象に１８０°回転させることによって、奇数エンド及び偶数エンドの両方の軌跡Ｔを同一方向にしてもよい。この手法は、特開２０１８－２０６２８５号公報に記載されているため、詳細な説明を省略する。

＜位置補正部＞
位置補正部５３は、後記する識別器５３ｄにより、射影変換部５２が算出したオブジェクト位置群Ｐ_ｆ ^Ｔを補正し、補正後のオブジェクト位置群Ｐ_ｆ ^Ｔ´を射影変換部５２に出力する。図５に示すように、位置補正部５３は、誤差特徴量算出部５３ａと、学習部５３ｂと、補正部５３ｃと、識別器５３ｄとを備える。

真上視点座標系のオブジェクト位置群Ｐ_ｆ ^Ｔには位置ずれが生じていることが多く、その結果、オブジェクト４の軌跡Ｔが自然な放物軌道から逸れてしまう場合がある。この場合、オペレータが軌跡Ｔの代表点（オブジェクト４の位置）を補正しているが、どの代表点を補正するかはオペレータの判断に依存する。スウィーピングにより軌跡Ｔの後半が放物軌道とならないことも多く、補正の要否は代表点の位置と平滑化曲線との誤差に基づいて、オペレータが人手で判断している。そこで、この人手による判定を機械学習することで、修正作業の自動化を図る。

以下、誤差特徴量の算出と識別器５３ｄの学習手順を説明する。まず、真上視点座標系のオブジェクト位置群Ｐ_ｆ ^Ｔを用いて、オブジェクト位置群Ｐ_ｆ ^Ｔの平滑化曲線を真上視点座標系で算出する。平滑化曲線は、スプライン曲線、ベジェ曲線などの任意の曲線である。続いて、カメラ座標系のオブジェクト位置群Ｐ_ｆ ^Ｃを用いて、オブジェクト位置群Ｐ_ｆ ^Ｃの平滑化曲線をカメラ座標系で算出する。そして、真上視点座標系において、オブジェクト位置群Ｐ_ｆ ^Ｔに含まれる各オブジェクト位置Ｐ_ｆ ^Ｔ（ｉ）から平滑化曲線までの距離Ｒ_ｆ ^Ｔ（ｉ）を算出する。さらに、カメラ座標系において、オブジェクト位置群Ｐ_ｆ ^Ｃに含まれる各オブジェクト位置Ｐ_ｆ ^Ｃ（ｉ）から平滑化曲線までの距離Ｒ_ｆ ^Ｃ（ｉ）を算出する。その後、オブジェクト４の軌跡先頭から各位置までの長さを求め、オブジェクト４の軌跡Ｔ全長に対する各位置までの長さの割合Ｌを算出する。

そして、以下の式（７）で定義される誤差特徴量を算出する。この式（７）には、真上視点座標系の各オブジェクト位置Ｐ_ｆ ^Ｔ（ｉ）、真上視点座標系での距離Ｒ_ｆ ^Ｔ（ｉ）、カメラ座標系の各オブジェクト位置Ｐ_ｆ ^Ｃ（ｉ）、カメラ座標系での距離Ｒ_ｆ ^Ｃ（ｉ）、割合Ｌが含まれる。なお、オブジェクト４の位置ｉにおいて、ｘが水平座標（Ｘ座標）であり、ｙが垂直座標（Ｙ座標）である。また、Ｌは、軌跡Ｔの全長に対する点ｉの位置の割合（０．０～１．０）である。

学習時において、オペレータが補正したオブジェクト位置の誤差特徴量を正例、及び、オペレータが補正しなかったオブジェクト位置の誤差特徴量を負例として機械学習することで、識別器５３ｄを生成する。識別時において、固定カメラ画像から求めたオブジェクト位置群Ｐ_ｆ ^Ｔ，Ｐ_ｆ ^Ｃの誤差特徴量を識別器５３ｄに入力することで、補正の要否を判定する。補正が必要と判断された場合、補正が必要なオブジェクト位置Ｐ_ｆ ^Ｔ（ｉ）を真上視点座標系の平滑化曲線上で補正する。そして、補正後のオブジェクト位置群Ｐ_ｆ ^Ｔ´を用いて、誤差特徴量を再度算出する。このように、位置補正部５３は、全オブジェクト位置で補正が必要ないと判定されるまで前記処理を繰り返し、補正後のオブジェクト位置群Ｐ_ｆ ^Ｔ´を求める。

＜＜誤差特徴量算出部＞＞
学習時において、誤差特徴量算出部５３ａは、オペレータが補正したオブジェクト位置（正例）、及び、オペレータが補正しなかったオブジェクト位置（負例）が入力される。誤差特徴量算出部５３ａは、前記式（７）を用いて、オペレータが補正したオブジェクト位置の誤差特徴量を正例、及び、オペレータが補正しなかったオブジェクト位置の誤差特徴量を負例として算出する。そして、誤差特徴量算出部５３ａは、正例及び負例の誤差特徴量を学習部５３ｂに出力する。

識別時において、誤差特徴量算出部５３ａは、前記式（７）を用いて、第一の変換部５２ａから入力されたオブジェクト位置群Ｐ_ｆ ^Ｔ，Ｐ_ｆ ^Ｃの誤差特徴量を算出する。そして、誤差特徴量算出部５３ａは、算出した誤差特徴量を補正部５３ｃに出力する。

＜＜学習部＞＞
学習時において、学習部５３ｂは、誤差特徴量算出部５３ａから入力された正例及び負例の誤差特徴量を機械学習することで、識別器５３ｄを生成する。本実施形態では、学習部５３ｂは、サポートベクターマシン、ランダムフォレスト（Random Forest）、アダブースト（Adaboost）等の機械学習を用いて、識別器５３ｄを生成する。

＜＜補正部＞＞
識別時において、補正部５３ｃは、識別器５３ｄにより、射影変換部５２が算出したオブジェクト位置群Ｐ_ｆ ^Ｔの補正の要否を判定し、補正が必要な場合、オブジェクトの位置Ｐ_ｆ ^Ｔ（ｉ）を平滑化曲線上に補正する。

具体的には、補正部５３ｃは、誤差特徴量算出部５３ａが算出した誤差特徴量を識別器５３ｄに入力し、オブジェクト位置群Ｐ_ｆ ^Ｔに含まれる各オブジェクト位置Ｐ_ｆ ^Ｔ（ｉ）の補正の要否を判定する。以下、そのオブジェクト位置Ｐ_ｆ ^Ｔ（ｉ）の補正が必要な場合について説明する。図７に示すように、補正部５３ｃは、真上視点座標系において、そのオブジェクト位置Ｐ_ｆ ^Ｔ（ｉ）から最短距離となる平滑化曲線ＣＶ上の１点を補正後のオブジェクト位置Ｐ_ｆ ^Ｔ（ｉ）´として求める。

ここで、補正部５３ｃは、全オブジェクト位置Ｐ_ｆ ^Ｔ（ｉ）で補正が必要ないと判定されるまで、前記した補正を繰り返す。例えば、補正部５３ｃは、全オブジェクト位置Ｐ_ｆ ^Ｔ（ｉ）の誤差特徴量を合計し、その合計値が予め設定した閾値以下であるか否かを判定する。

合計値が閾値以下の場合、補正部５３ｃは、全オブジェクト位置Ｐ_ｆ ^Ｔ（ｉ）で補正が必要ないと判定し、補正後のオブジェクト位置群Ｐ_ｆ ^Ｔ´を第二の変換部５２ｂに出力する。
合計値が閾値未満の場合、補正部５３ｃは、何れかのオブジェクト位置Ｐ_ｆ ^Ｔ（ｉ）で補正が必要と判定する。この場合、補正部５３ｃは、全オブジェクト位置Ｐ_ｆ ^Ｔ（ｉ）で補正が必要ないと判定されるまで、オブジェクト位置Ｐ_ｆ ^Ｔ（ｉ）の補正を繰り返す。

＜＜識別器＞＞
識別器５３ｄは、オペレータによるオブジェクト位置群の補正結果を予め機械学習したものである。この識別器５３ｄは、学習部５３ｂによって生成され、補正部５３ｃによって参照される。

＜軌跡生成部＞
軌跡生成部５４は、第二の変換部５２ｂから入力されたオブジェクト位置群Ｐ_ｆ ^Ｃ´に基づいて、オブジェクト４の軌跡Ｔを生成する。すなわち、軌跡生成部５４は、得られたオブジェクト位置群Ｐ_ｆ ^Ｃ´を用いて、オブジェクト４の軌跡Ｔを生成し、生成した軌跡Ｔを記憶部５５に記憶させる。ここで、検出された全てのフレームにおけるオブジェクト位置Ｐ_ｆ ^Ｃ（ｉ）´を繋ぐと、誤検出や検出漏れが発生するため、滑らかな軌跡を描画することは困難である。このため、軌跡生成部５４は、オブジェクト位置Ｐ_ｆ ^Ｃ（ｉ）´の数点をサンプリングし、サンプリングされたオブジェクト位置Ｐ_ｆ ^Ｃ（ｉ）´にスプライン補間を行う。これにより、滑らかなオブジェクト４の軌跡Ｔを生成できる。

スプライン補間は、与えられた点群の全てを用いて関数を決定するのではなく、局所的な数点のみを用いて局所の関数（曲線）を決定し、かつ、決定された複数の曲線が全体として滑らかに接続される手法である。スプライン補間は、点群の全てから単一の多項式を決定するのではなく、各区間を比較的低い次元の多項式で近似する。軌跡生成部５４は、以下の式（８）で表される３次スプライン補間により、オブジェクト４の軌跡Ｔを生成する。

式（８）において、ｚは、スプライン補間によって得られる軌跡を示す関数である。また、式（８）において、軌跡ｚは、水平座標（Ｘ座標）、垂直座標（Ｙ座標）に分けて記述されている。スプライン補間は、与えられた全ての点（ｘ_ｉ，ｙ_ｉ）を必ず通過し、微係数の値が全ての点（ｘ_ｉ，ｙ_ｉ）で一致するように、係数ｐ_ｉ，ｑ_ｉ，ｒ_ｉ，ｓ_ｉを予め設定する（但し、係数ｒ_０＝ｒ_ｎ－１＝０）。

＜記憶部及び軌跡出力部＞
記憶部５５は、軌跡生成部５４が生成した軌跡Ｔを記憶するメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの記憶装置である。
軌跡出力部５６は、オペレータによる操作部３０の操作結果に基づいて、記憶部５５に記憶された軌跡Ｔを読み出し、読み出した軌跡Ｔをインサータ６０へ出力する。

以上より、オブジェクト軌跡生成装置５０は、実軌跡に近いオブジェクト４の軌跡Ｔを生成することができる。図８に示すように、オブジェクト軌跡生成装置５０が生成した軌跡Ｔは、図２に比べて、蛇行が少なく、自然な放物軌道となっている。

［オブジェクト軌跡生成装置の動作］
図９を参照し、オブジェクト軌跡生成装置５０の動作ついて説明する。なお、図９では、識別器５３ｄが学習済みであることとする。

図９に示すように、ステップＳ１において、オブジェクト追跡部５１は、固定カメラ映像に含まれるオブジェクト４の位置を映像内において追跡する。オブジェクト候補画像生成部５１ａは、固定カメラ映像を構成するフレームである固定カメラ画像から、オブジェクト候補画像を生成する。追跡部５１ｂは、オブジェクト候補画像生成部５１ａから入力されたオブジェクト候補画像に逐次学習型の追跡手法を施し、オブジェクト候補画像に含まれるオブジェクト４の位置を追跡する。

ステップＳ２において、射影変換部５２は、ステップＳ１で追跡したオブジェクト４の位置群を射影変換する。第一の変換部５２ａは、追跡部５１ｂから入力されたオブジェクト位置群を真上視点座標系へ射影変換する。

ステップＳ３において、位置補正部５３は、識別器５３ｄにより、ステップＳ２で算出したオブジェクト位置群を補正する。このステップＳ３の詳細は、後記する。

ステップＳ４において、射影変換部５２は、ステップＳ３で補正したオブジェクト位置群を射影変換する。第二の変換部５２ｂは、補正部５３ｃから入力されたオブジェクト位置群を、他の固定カメラ１０に対応したカメラ座標系へ射影変換する。

ステップＳ５において、軌跡生成部５４は、ステップＳ４で射影変換されたオブジェクト位置群に基づいて、オブジェクト４の軌跡Ｔを生成し、記憶部５５に記憶させる。軌跡出力部５６は、オペレータによる操作部３０の操作結果に基づいて、記憶部５５に記憶された軌跡Ｔを読み出し、読み出した軌跡Ｔをインサータ６０へ出力する。

＜オブジェクト位置群の補正＞
図１０を参照し、図９のオブジェクト位置群の補正処理について説明する。
図１０に示すように、ステップＳ３０において、誤差特徴量算出部５３ａは、真上視点座標系でオブジェクト位置群から平滑化曲線を算出し、オブジェクト４の各位置から平滑化曲線までの距離を算出する。
ステップＳ３１において、誤差特徴量算出部５３ａは、カメラ座標系でオブジェクト位置群から平滑化曲線を算出し、オブジェクト４の各位置から平滑化曲線までの距離を算出する。
ステップＳ３２において、誤差特徴量算出部５３ａは、前記式（７）を用いて、誤差特徴量を算出する。

ステップＳ３３において、補正部５３ｃは、ステップＳ３２で算出した各オブジェクト位置の誤差特徴量を識別器５３ｄに入力し、そのオブジェクト位置の補正の要否を判定する。例えば、補正部５３ｃは、全オブジェクト位置で誤差特徴量を合計し、その合計値が閾値以下であるか否かを閾値判定する。

補正が必要ない場合（ステップＳ３３でＮｏ）、補正部５３ｃは、補正後のオブジェクト位置群を射影変換部５２に出力し、処理を終了する。
補正が必要な場合（ステップＳ３３でＹｅｓ）、補正部５３ｃは、ステップＳ３４の処理に進む。
ステップＳ３４において、補正部５３ｃは、オブジェクトの位置群を平滑化曲線上に補正し、ステップＳ３０の処理に戻る。

［作用・効果］
以上のように、オブジェクト軌跡生成装置５０は、人手による軌跡Ｔの補正結果を学習した識別器５３ｄを用いるので、その補正結果が軌跡Ｔに反映され、実軌跡に近い軌跡Ｔを自動的に生成することができる。例えば、カーリングの試合において、オブジェクト軌跡生成装置５０は、オブジェクト４の軌跡Ｔの補正作業に要する労力を軽減することができる。

さらに、オブジェクト軌跡生成装置５０は、変換用の座標系である真上視点座標系を介して射影変換を行うので、オブジェクト４の位置群を異なる視点の座標系へ精度よく変換することができる。
さらに、オブジェクト軌跡生成装置５０は、正例及び負例の誤差特徴量を機械学習するので、高精度な識別器５３ｄを生成することができる。

さらに、オブジェクト軌跡生成装置５０は、カーリングのストーンなどのオブジェクト４の軌跡Ｔを可視化することが可能である。これにより、オブジェクト軌跡生成装置５０は、カーリング競技において、カメラ映像だけでは伝えきれない各チームの戦術やカーリングシート２の状態など、解説コメントを交えて分かりやすく伝えることができる。

（変形例）
以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、平滑化曲線がスプライン曲線であることとして説明したが、これに限定されない。例えば、平滑化曲線は、ベジェ曲線等の任意の曲線でもよい。

前記した実施形態では、カーリング競技において、ストーンの軌跡を生成することとして説明したが、これに限定されない。例えば、オブジェクト軌跡生成装置は、図１１に示すように、ゴルフのパッティングにおいて、ゴルフボールの軌跡を生成及び表示することもできる。ゴルフのパッティングでは、グリーンのアンジュレーション（地面の凹凸）により、ゴルフボールの軌跡が自然な放物軌道にならないため、オブジェクト軌跡生成装置が有効である。このように、オブジェクト軌跡生成装置は、カーリングのみならず、地面に接地したオブジェクトの軌跡を生成することができる。さらに、オブジェクト軌跡生成装置は、追跡したオブジェクト位置に誤差が含まれることが多く、その補正を行えるため、カーリング、ゴルフ以外にも汎用的に利用できる。

前記した実施形態では、オブジェクト軌跡生成装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記したオブジェクト軌跡生成装置として協調動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ－ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

本発明は、スポーツ映像解析技術に関し、自動審判、スポーツ番組の放送、スポーツデータ生成・配信、コーチングなどのサービスに利用することができる。さらに、本発明は、スポーツ以外でも情報番組、ドラマ・映画での映像制作、ゲームなどのエンターテイメントといった幅広い演出にも利用することができる。

１ オブジェクト軌跡生成システム
１０ 固定カメラ
１０Ａ 第一の固定カメラ
１０Ｂ 第二の固定カメラ
１０Ｃ 第三の固定カメラ
２０ スイッチャ
３０ 操作部
４０ 表示部
５０ オブジェクト軌跡生成装置
５１ オブジェクト追跡部
５１ａ オブジェクト候補画像生成部
５１ｂ 追跡部
５２ 射影変換部
５２ａ 第一の変換部
５２ｂ 第二の変換部
５３ 位置補正部
５３ａ 誤差特徴量算出部
５３ｂ 学習部
５３ｃ 補正部
５３ｄ 識別器
５４ 軌跡生成部
５５ 記憶部
５６ 軌跡出力部
６０ インサータ

Claims (4)

1. 固定カメラ映像に含まれるオブジェクトの軌跡を生成するオブジェクト軌跡生成装置であって、
   移動する前記オブジェクトの位置を追跡する追跡部と、
   前記追跡部によって追跡された前記オブジェクトの位置群を射影変換する射影変換部と、
   前記オブジェクトの位置群の補正結果を予め機械学習した識別器により、前記射影変換部が算出したオブジェクトの位置群を補正する位置補正部と、
   前記位置補正部が補正したオブジェクトの位置群に基づいて、前記オブジェクトの軌跡を生成する軌跡生成部と、
   を備え、
   前記射影変換部は、
   前記固定カメラ映像に含まれる前記オブジェクトの位置群を、固定カメラの撮影空間を上から見た変換用座標系に射影変換し、
   前記変換用座標系に変換された前記オブジェクトの位置群を、前記固定カメラ映像と異なる視点の座標系に射影変換し、
   前記位置補正部は、
   前記固定カメラの座標系及び前記変換用座標系において、前記オブジェクトの各位置と、前記オブジェクトの各位置から前記オブジェクトの位置群の平滑化曲線までの距離と、前記オブジェクトの軌跡全長に対する前記オブジェクトの軌跡先頭から各位置までの長さの割合とが含まれる誤差特徴量を算出する誤差特徴量算出部と、
   前記オブジェクトの位置が補正されたときの前記誤差特徴量を正例、及び、前記オブジェクトの位置が補正されなかったときの前記誤差特徴量を負例として予め機械学習した前記識別器により、前記射影変換部が算出したオブジェクトの位置群を前記平滑化曲線上に補正する補正部と、
   を備えることを特徴とするオブジェクト軌跡生成装置。
2. 前記位置補正部は、正例及び負例の前記誤差特徴量を機械学習することで、前記識別器を生成する学習部、を備えることを特徴とする請求項１に記載のオブジェクト軌跡生成装置。
3. 前記オブジェクトは、カーリングのストーンであることを特徴とする請求項１又は請求項２に記載のオブジェクト軌跡生成装置。
4. コンピュータを、請求項１から請求項３の何れか一項に記載のオブジェクト軌跡生成装置として機能させるためのプログラム。

Images