JP7253969B2

JP7253969B2 - 幾何パラメータ推定装置、幾何パラメータ推定システム、幾何パラメータ推定方法及びコンピュータプログラム

Info

Publication number: JP7253969B2
Application number: JP2019084632A
Authority: JP
Inventors: 周平田良島; 啓仁野村; 和彦太田
Original assignee: NTT Communications Corp
Current assignee: NTT Communications Corp
Priority date: 2019-04-25
Filing date: 2019-04-25
Publication date: 2023-04-07
Anticipated expiration: 2039-04-25
Also published as: JP2020181417A

Description

本発明は、幾何パラメータを推定する技術に関する。

従来、サッカー・ラグビー・バスケットボール・アイスホッケー等の集団スポーツ映像を解析してチームの戦術や各選手のパフォーマンスを分析することは戦術の立案や将来性の高い選手のリクルーティングにつながる。
また、視聴体験の観点においても、解析結果を映像と同時に視聴者に提示したり、あるいは映像に重畳表示したりすることで、視聴者の試合に対する理解を深め、視聴体験の質を向上させることが期待できる。スポーツ映像解析の産業応用の素地は広く、その価値は極めて高いと考えられる。

通常、スポーツ映像は、スポーツの競技フィールド側面に配置されたカメラによって選手に追従して撮影されることが多い。スポーツ映像から分析されうる代表的な統計値として、選手の活動量（例えば、試合中の選手の走行距離）や選手の移動軌跡が挙げられる。しかしながら、映像中の選手を検出・追跡するのみでは、上記の統計値を取得するには不十分である。上記の統計値を取得するには、映像を構成する複数の映像フレームの中にフィールドがどのように映っているかが明らかであり、映像フレームを上記の統計値が取得できるよう適切に変換できる必要がある。これは一般的に幾何パラメータを用いて画像変換によって実現される。ここで、幾何パラメータは、各フレームに写り込む競技空間を、真上から（正面から）見た状態に射影する数値列である。

多くの場合、競技空間は平面であるため、幾何パラメータは３×３の行列Ｈ∈Ｒ^{（３×３）}で定義される。映像各フレームの幾何パラメータを推定する最も単純な方法として、各フレームと正面化された競技空間との間で同一位置を捉えた対応点を人手で対応付け、その対応関係から幾何パラメータの推定を行う方法が挙げられる。競技空間が平面であれば、人手で４つの対応点を指定することで、非特許文献１に開示されているＤＬＴ（Direct Linear Transform）を用いて射影変換行列Ｈ∈Ｒ^{（３×３）}を推定することができる。

非特許文献１に開示されている方法では、特に映像を取得するカメラが試合状況に応じて動く場合、全ての映像フレームに人手で対応点を与えるコストが高く、また高いリアルタイム性を求められるアプリケーションにも向かないという問題がある。
上記の問題は、連続するフレーム間から抽出された局所特徴の対応付け結果や、あるいはオプティカルフローの推定によって推定された対応付け結果を用いることで部分的に自動化することが可能である。しかしながら、これらの方法は競技空間とは独立して動く人物やボールの動きに影響を受けやすく、また十分なテクスチャのない競技空間では対応点が正確に求まらないことが多いため、幾何パラメータ推定の性能は総じて低い。

非特許文献２には、各フレームからハフ変換により検出された競技空間中のラインやサークルを処理の中間出力として推定し、それらの対応付け結果から幾何パラメータを推定する方法が開示されている。前述した局所特徴点・オプティカルフローに基づく方法に比べ、非特許文献２で開示されている方法は動物体の影響を受けにくい。しかしながら、フレームからのライン・サークル検出性能に幾何パラメータ推定精度が大きく依存し、ライン・サークルが小さく又は細く写り込んでいる場合や、白飛び等でライン・サークルの境界が判然としない場合に幾何パラメータ推定精度が大きく低下してしまうという問題がある。なお、非特許文献２で開示されている方法も部分的な自動化にとどまっており、映像中のいくつかフレームについては人手での対応点を事前に指定しなくてはならず、よってリアルタイムアプリケーションへの応用は難しい。

非特許文献３には、事前に学習したニューラルネットワークモデルを用いてフレーム中のライン群を中間出力として検出し、それらから平行線の消失点を推定することを通じて幾何パラメータを算出する方法が開示されている。非特許文献３において、様々な撮影条件で取得された映像フレームを学習データとして用いることで、非特許文献２に比べて照明条件やスケール変化に対するライン検出の頑健性が向上する。しかし、多くの場合、学習データに含まれるラインに属するピクセルの割合と、それには属さないピクセルとの割合には大きく隔たりがある。

一般的に、このような学習データ中のクラス間のインバランス性は、モデルの学習を困難にし、多くの学習データを準備する必要が生じたり、学習経過の中でパラメータを精緻に調整する必要が生じるという問題がある。また、非特許文献３におけるライン群検出処理とそれを用いた幾何パラメータ推定処理は個々に独立して最適化される。そのため、処理全体としての性能が必ずしも最適化されているとは限らないという問題がある。

Richard Hartley, Andrew Zisserman, "Multiple View Geometry in Computer Vision", 2004. Ankur Gupta, James J. Little, Robert J. Woodham, "Using Line and Ellipse Features for Rectification of Broadcast Hockey Video", Computer and Robot Vision (CRV), 2011 Canadian Conference on Namdar Homayounfar, Sanja Fidler, Raquel Urtasun, "Sports Field Localization via Deep Structured Models", In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, p.5212-5220

処理全体をエンドツーエンドに最適化を実現する方法として、検出されたライン群から幾何パラメータを推定する処理をニューラルネットワークで置換するといった方法が考えられる。しかしながら、この場合、幾何パラメータ推定モデルを学習するための学習データを事前に容易しておく必要があり、そのコストは無視できないほど高いという問題がある。

以上のように、映像フレーム中の競技空間を認識する従来の方法は、幾何パラメータを推定するための中間出力を推定するモデルの学習が困難であり、また処理全体をエンドツーエンドに最適化することができない。そのため、幾何パラメータを精度よく推定することができないという問題があった。
上記事情に鑑み、本発明は、幾何パラメータを精度よく推定することができる技術の提供を目的としている。

本発明の一態様は、入力されたフレームに撮像されている所定の空間を区分けするラベルが付与されたマスク情報を出力するように学習された領域分割モデルにより得られたマスク情報を用いて、前記フレームを特定の方向から見た画像に変換するための幾何パラメータを推定する幾何パラメータ推定部、を備える幾何パラメータ推定装置である。

本発明の一態様は、上記の幾何パラメータ推定装置であって、前記領域分割モデルを学習する領域分割モデル学習部をさらに備え、前記領域分割モデル学習部は、所定の空間が撮像されたフレームと、前記所定の空間が撮像されたフレームから得られるマスク情報と、前記マスク情報に含まれる各ラベルの隣接関係を表した領域隣接関係行列とを入力として、入力された前記フレームに基づいて前記領域分割モデルが出力する出力マスク情報と、入力された前記マスク情報との差異、及び、入力された前記フレームに基づいて前記領域分割モデルがさらに出力する出力領域隣接関係行列と、入力された前記領域隣接関係行列との差異を最小化するように前記領域分割モデルを学習する。

本発明の一態様は、上記の幾何パラメータ推定装置であって、前記幾何パラメータ推定部は、前記領域分割モデルが出力するマスク情報を入力として前記幾何パラメータを出力する幾何パラメータ推定モデルを用いて前記幾何パラメータを推定する。

本発明の一態様は、上記の幾何パラメータ推定装置であって、前記領域分割モデルと、前記幾何パラメータ推定モデルとを同時に学習するモデル同時学習部をさらに備え、前記モデル同時学習部は、所定の空間が撮像されたフレームと、前記所定の空間が撮像されたフレームから得られるマスク情報と、前記マスク情報に含まれる各ラベルの隣接関係を表した領域隣接関係行列と、前記所定の空間が撮像されたフレームから予め求められた幾何パラメータとを入力として、入力された前記フレームに基づいて前記領域分割モデルと、前記幾何パラメータ推定モデルとを一つのモデルとして、入力された前記フレームに基づいて前記領域分割モデルが出力する出力マスク情報と、入力された前記マスク情報との差異、入力された前記フレームに基づいて前記領域分割モデルが出力する出力領域隣接関係行列と、入力された前記領域隣接関係行列との差異、及び、前記出力マスク情報に基づいて前記幾何パラメータ推定モデルが出力する出力幾何パラメータと、入力された前記幾何パラメータとの差異を同時に最小化するように前記領域分割モデルと、前記幾何パラメータ推定モデルとを学習する。

本発明の一態様は、上記の幾何パラメータ推定装置であって、幾何パラメータ推定モデルで利用する学習データを生成する学習データ生成部をさらに備え、前記学習データ生成部は、予め幾何パラメータの値を変更して、変更後の幾何パラメータと、特定の方向から見た領域マスクとを用いて、新たな領域マスクを学習データとして生成する。

本発明の一態様は、入力されたフレームに撮像されている所定の空間を区分けするラベルが付与されたマスク情報を出力するように学習された領域分割モデルにより得られたマスク情報を用いて、前記フレームを特定の方向から見た画像に変換するための幾何パラメータを推定する幾何パラメータ推定部、を備える幾何パラメータ推定システムである。

本発明の一態様は、入力されたフレームに撮像されている所定の空間を区分けするラベルが付与されたマスク情報を出力するように学習された領域分割モデルにより得られたマスク情報を用いて、前記フレームを特定の方向から見た画像に変換するための幾何パラメータを推定する幾何パラメータ推定ステップ、を有する幾何パラメータ推定方法である。

本発明の一態様は、入力されたフレームに撮像されている所定の空間を区分けするラベルが付与されたマスク情報を出力するように学習された領域分割モデルにより得られたマスク情報を用いて、前記フレームを特定の方向から見た画像に変換するための幾何パラメータを推定する幾何パラメータ推定ステップ、をコンピュータに実行させるためのコンピュータプログラムである。

本発明により、幾何パラメータを精度よく推定することが可能となる。

第１の実施形態における幾何パラメータ推定装置の機能構成を表す概略ブロック図である。本実施形態における画像と領域マスクの一例を示す図である。本実施形態における領域隣接関係行列を生成する元となる領域マスクの一例を示す図である。図３に示す領域マスクにおける領域隣接関係行列の一例を示す図である。本実施形態における領域隣接関係行列を生成する元となる領域マスクの別例を示す図である。図５に示す領域マスクにおける領域隣接関係行列の一例を示す図である。学習データ生成部による学習データの生成方法を説明するための図である。第１の実施形態における幾何パラメータ推定装置が行う学習処理の流れを示すフローチャートである。第１の実施形態における幾何パラメータ推定装置が行う幾何パラメータ推定処理の流れを示すフローチャートである。第２の実施形態における幾何パラメータ推定装置の機能構成を表す概略ブロック図である。第３の実施形態における幾何パラメータ推定システムのシステム構成を示す図である。

以下、本発明の一実施形態を、図面を参照しながら説明する。
（第１の実施形態）
図１は、第１の実施形態における幾何パラメータ推定装置１０の機能構成を表す概略ブロック図である。
幾何パラメータ推定装置１０は、所定の空間が撮像されたフレームに基づいて、入力したフレームの画像変換を行うために用いる幾何パラメータを推定する。ここで、所定の空間とは、バスケットボール、サッカー、ラグビー、アイスホッケー等のスポーツが行われる競技場である。フレームとは、映像を構成する１コマの画像である。以下の説明では、所定の空間がバスケットボールの競技場である場合を例に説明する。

次に、幾何パラメータ推定装置１０の具体的な構成について説明する。
幾何パラメータ推定装置１０は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、幾何パラメータ推定プログラムを実行する。幾何パラメータ推定プログラムの実行によって、幾何パラメータ推定装置１０は、記憶部１１、領域分割モデル学習部１２、学習データ生成部１３、幾何パラメータ推定モデル学習部１４、幾何パラメータ推定部１５を備える装置として機能する。なお、幾何パラメータ推定装置１０の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）やＧＰＵ(Graphics Processing Unit)等のハードウェアを用いて実現されてもよい。また、幾何パラメータ推定プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、幾何パラメータ推定プログラムは、電気通信回線を介して送受信されてもよい。

記憶部１１は、各種情報を記憶する。記憶部１１は、学習データ１６、領域分割部モデル１７、幾何パラメータ推定モデル１８及びテスト画像１９を記憶する。記憶部１１は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。

学習データ１６は、領域分割モデル学習部１２及び幾何パラメータ推定モデル学習部１４による学習及び学習データ生成部１３による学習データの生成に利用されるデータである。学習データ１６は、例えば画像１６１、領域マスク１６２、領域隣接関係行列１６３、幾何パラメータ１６４、正面領域マスク１６５、生成幾何パラメータ１６６及び生成領域マスク１６７である。

画像１６１は、所定の空間（例えば、バスケットボールの競技場）が撮像された複数のフレームである。
領域マスク１６２は、画像１６１に撮像されている競技場の空間に対して領域を区分けするラベルが付与されたマスク画像である。より具体的には、領域マスク１６２は、画像１６１に撮像されている競技場の空間を、所定の条件に従って分割して、分割後の各領域に対して同一の領域に同一のラベルが付与されたマスク画像である。領域マスク１６２の例を図２に示す。

図２は、本実施形態における画像１６１と領域マスク１６２の一例を示す図である。図２（Ａ）は画像１６１の一例を示し、図２（Ｂ）は領域マスク１６２の一例を示す。図２（Ｂ）に示す例では、画像１６１に撮像されている競技場の空間が７分割されている。ここで、領域マスク１６２の生成方法について説明する。まず、対象競技空間を、競技空間の規格から容易に定義可能な部分領域に分割する。例えば、バスケットコートを規格化されたラインやサークルに基づいて７つの領域に分割する。なお、図２（Ｂ）の例では、対象競技空間を、７つの領域に分割した例を示しているが、例えばコート中央に存在するこが多いセンターサークルに含まれる部分領域を独立して定義したり、あるいは３ポイントライン内の領域を一つの部分領域でまとめるなどしてもよい。また、実際の映像フレームには競技空間には含まれない領域、例えばコート外の領域や同物体領域も含まれる可能性が高い。そのため、これらの領域に対応するラベルもあらかじめ定義しておくものとする。そして、同一の領域には同一色のラベル（例えば、ラベル２０１～２０７）を割り当てる。領域マスク１６２は、画像１６１毎に人手であらかじめ作成される。

図１に戻って説明を続ける。領域隣接関係行列１６３は、領域マスク１６２に含まれる各ラベルの隣接関係が表された行列である。ここで、領域マスク１６２に含まれるラベルとは、領域マスク１６２の各画素に割り当てられたラベルを表す。領域隣接関係行列１６３において、隣接関係のあるラベルは１で表され、隣接関係のないラベルは０で表される。隣接関係の有無は、領域マスク１６２に含まれる各ラベル同士が隣り合っているか否かで判定される。例えば、領域マスク１６２に含まれていて、かつ、隣り合っているラベルは、隣接関係があると判定される。一方、領域マスク１６２に含まれているが、隣り合っていないラベルは、隣接関係がないと判定される。領域隣接関係行列１６３の例と、領域隣接関係行列１６３を生成する元となる領域マスク１６２の例を図３～図６に示す。

図３は、領域隣接関係行列１６３を生成する元となる領域マスク１６２の一例を示す図である。図４は、図３に示す領域マスク１６２における領域隣接関係行列１６３の一例を示す図である。図３には、事前に規定された分割ルールに基づいて領域分割され、分割された各領域に対して９つの異なるラベルが付与された領域マスク１６２を示している。図４に示すように、領域隣接関係行列１６３における各行及び各列は、分割された各領域に対応している。図３に示した領域マスク１６２には全てのラベル（例えば、９つのラベル）の領域が出現しているため、領域隣接関係行列１６３のうち対角成分は全て１となる。

また、ラベル２０８の領域とラベル２１５の領域とは領域マスク１６２内で隣接しているため、領域隣接関係行列１６３の１行目８列目の要素には１が代入される。一方、ラベル２０８の領域とラベル２１１の領域とは領域マスク１６２内で隣接していないため、領域隣接関係行列１６３の１行目４列目の要素には０が代入される。このような処理を各ラベルに対して行うことによって、図４のような領域隣接関係行列１６３が生成される。

次に図５及び図６を用いて領域隣接関係行列１６３の別例について説明する。図５は、領域隣接関係行列１６３を生成する元となる領域マスク１６２の別例を示す図である。図６は、図５に示す領域マスク１６２における領域隣接関係行列１６３の一例を示す図である。図５には、事前に規定された分割ルールに基づいて領域分割され、分割された各領域に対して６つの異なるラベルが付与された領域マスク１６２を示している。図６に示すように、領域隣接関係行列１６３における各行及び各列は、分割された各領域に対応している。図５に示した領域マスク１６２には６つのラベルの領域が出現しているため、領域隣接関係行列１６３のうち６つのラベル（図５では、ラベル２０８、２０９、２１０、２１１、２１５及び２１６）の対角成分は１となり、領域マスク１６２に表れていないラベル（図５では、ラベル２１２、２１３及び２１４）の対角成分は０となる。図３及び図４で説明したように、隣接関係があるラベルの行列には１が代入され、隣接関係がないラベルの行列には０が代入される。

図４及び図６に示した領域隣接関係行列１６３は、領域マスク１６２毎に人手であらかじめ作成される。

図１に戻って説明を続ける。幾何パラメータ１６４は、画像１６１毎に予め推定された幾何パラメータである。
正面領域マスク１６５は、幾何パラメータ１６４により、真上から（正面から）見た状態に変換された領域マスク１６２である。例えば、正面領域マスク１６５は、図２（Ｂ）の画像である。正面領域マスク１６５は、割り当て対象のラベルが４つ以上を付与された領域マスク１６２である。正面領域マスク１６５は、１枚あればよい。

生成幾何パラメータ１６６は、幾何パラメータ１６４と、正面領域マスク１６５とに基づいて、学習データ生成部１３によって新たに生成された幾何パラメータである。
生成領域マスク１６７は、幾何パラメータ１６４と、正面領域マスク１６５とに基づいて、学習データ生成部１３によって新たに生成された領域マスクである。

上述した画像１６１、領域マスク１６２、領域隣接関係行列１６３及び幾何パラメータ１６４は、フレーム毎に得られるものである。そのため、どの画像１６１を基に得られた領域マスク１６２、領域隣接関係行列１６３及び幾何パラメータ１６４であるのか対応付けられている。

領域分割部モデル１７は、フレーム（例えば、画像１６１やテスト画像１９）を入力として、事前に定義した所定の空間の分割ルールに基づいた領域マスクを出力するモデルである。領域分割部モデル１７は、領域分割モデル学習部１２による学習に応じて最適化される。

幾何パラメータ推定モデル１８は、領域分割部モデル１７にフレーム（例えば、画像１６１やテスト画像１９）を入力して得られる領域マスクを入力として幾何パラメータを推定するモデルである。幾何パラメータ推定モデル１８は、領域分割モデル学習部１２による学習に応じて最適化される。

テスト画像１９は、領域分割部モデル１７及び幾何パラメータ推定モデル１８のテストに利用されるフレームである。
領域分割モデル学習部１２は、画像１６１、領域マスク１６２、領域隣接関係行列１６３及び生成領域マスク１６７に基づいて、領域分割部モデル１７を学習する。

学習データ生成部１３は、幾何パラメータ１６４と、正面領域マスク１６５とに基づいて、生成幾何パラメータ１６６及び生成領域マスク１６７を生成する。学習データ生成部１３は、生成した生成幾何パラメータ１６６及び生成領域マスク１６７を学習データとして記憶部１１に記憶させる。

図７は、学習データ生成部１３による学習データの生成方法を説明するための図である。図７に示すように、学習データ生成部１３は、学習データに含まれる幾何パラメータＨ_ｉの各要素に適当な異なる乱数を足し合わせ、得られた幾何パラメータの最終要素で各値を正規化するなどして、変更後の幾何パラメータ（例えば、Ｈ_ｉ１）を生成する。そして、学習データ生成部１３は、生成した変更後の幾何パラメータを、正面領域マスク１６５に適用することによって生成領域マスク１６７を生成する。

具体的には、学習データ生成部１３は、変更後の幾何パラメータ（例えば、Ｈ_ｉ１）で正面領域マスク１６５の画像を逆射影変換する。学習データ生成部１３は、幾何パラメータ１６４の値を少しずつ変更する度に、上記処理を実行することによって１つの幾何パラメータ１６４から複数の生成幾何パラメータ１６６及び生成領域マスク１６７を生成する。そして、学習データ生成部１３は、同様の処理を、他の幾何パラメータ１６４を用いて実行することによってより多くの学習データを生成する。

図１に戻って説明を続ける。
幾何パラメータ推定モデル学習部１４は、領域分割モデル学習部１２から出力される領域マスクと、幾何パラメータ１６４、正面領域マスク１６５及び生成幾何パラメータ１６６とに基づいて、幾何パラメータ推定モデル１８を学習する。
幾何パラメータ推定部１５は、領域分割部モデル１７、幾何パラメータ推定モデル１８及びテスト画像１９を用いて、領域マスク及び幾何パラメータを推定する。具体的には、まず幾何パラメータ推定部１５は、テスト画像１９を領域分割部モデル１７に入力することによって領域マスクを出力させる。そして、幾何パラメータ推定部１５は、出力された領域マスクを幾何パラメータ推定モデル１８に入力することによって幾何パラメータを出力させる。このように、幾何パラメータ推定部１５は、幾何パラメータを推定する。

図８は、第１の実施形態における幾何パラメータ推定装置１０が行う学習処理の流れを示すフローチャートである。
領域分割モデル学習部１２は、画像１６１、領域マスク１６２、領域隣接関係行列１６３及び生成領域マスク１６７に基づいて、領域分割部モデル１７を学習する（ステップＳ１０１）。領域分割モデルを学習するアルゴリズムは任意であり、例えばｍｏｍｅｎｔｕｍ－ＳＧＤやＡＤＡＭを用いることができる。領域分割モデルの学習は、領域分割モデルが出力する領域マスクと正解領域マスクとの差異と、領域分割モデルが出力する領域マスクに含まれる各ラベルの隣接関係を表した領域隣接関係行列と正解領域隣接関係行列との差異を同時に最小化することで実施される。正解領域マスクは、入力される画像１６１に対応する領域マスク１６２である。また、正解領域隣接関係行列は、入力される画像１６１から得られた領域マスク１６２に対応する領域隣接関係行列１６３である。

上記のように、領域分割モデル学習部１２は、画像１６１と、画像１６１から得られる領域マスク１６２と、領域マスク１６２に含まれる各ラベルの隣接関係を表した領域隣接関係行列１６３とを入力として、入力された画像１６１に基づいて領域分割部モデル１７が出力する領域マスクと、入力された領域マスク１６２との差異、及び、入力された画像１６１に基づいて領域分割部モデル１７が出力する領域隣接関係行列と、入力された領域隣接関係行列１６３との差異を最小化するように領域分割部モデル１７を学習する。

領域分割モデルが出力する領域マスクと、正解領域マスクとの差異は、例えば領域マスク中の各ピクセルのクロスエントロピーの和で評価すればよい。
領域分割部モデル１７が出力する領域隣接関係行列と、正解領域隣接関係行列との差異は、行列の各要素のバイナリクロスエントロピーの和で評価すればよい。ここで、領域隣接関係行列は明らかに対称行列となるため、誤差評価に用いる行列要素は、領域隣接関係行列の右上部あるいは左下部のみとする。なお、領域マスクと領域隣接関係行列を出力する領域分割モデルは任意の構成をとることが可能であり、例えば参考文献１で開示されているモデルを用いることができる。領域分割モデル学習部１２は、学習により得られた
（参考文献１：Hang Zhang, Kristin Dana, Jianping Shi, Zhongyue Zhang, Xiaogang Wang, Ambrish Tyagi, Amit Agrawal, “Context Encoding for Semantic Segmentation”, in Proc. CVPR, 2018.）

次に、幾何パラメータ推定モデル学習部１４は、領域分割モデル学習部１２で学習された幾何パラメータ推定モデル１８に画像１６１を入力して得られる領域マスクと、幾何パラメータ１６４、正面領域マスク１６５及び生成幾何パラメータ１６６とに基づいて、幾何パラメータ推定モデル１８を学習する（ステップＳ１０２）。モデルを学習するアルゴリズムもまた任意であり、例えばｍｏｍｅｎｔｕｍ－ＳＧＤやＡＤＡＭを用いることができる。幾何パラメータ推定モデルは、例えば入力サイズがｈ´×ｗ´×ｃ´、出力が３×３＝９次元の畳み込みニューラルネットワークで定義すればよい。

領域の分割ルールに則る場合、所定の空間外の領域と同物体領域を含めｃ´＝９である。幾何パラメータ推定モデル学習部１４は、幾何パラメータ推定モデル１８から得られた領域マスクを幾何パラメータ推定モデル１８に入力して得られた幾何パラメータと、正解幾何パラメータ（例えば、幾何パラメータ１６４及び生成幾何パラメータ１６６）との差異が最小となるよう学習する。幾何パラメータ推定モデル１８の出力と正解幾何パラメータとの差異を評価する方法は任意であり、例えばＬ２ノルムを用いることができる。

図９は、第１の実施形態における幾何パラメータ推定装置１０が行う幾何パラメータ推定処理の流れを示すフローチャートである。
幾何パラメータ推定部１５は、記憶部１１に記憶されているテスト画像１９を読み出し、読み出したテスト画像１９を領域分割部モデル１７に入力する（ステップＳ２０１）。幾何パラメータ推定部１５は、テスト画像１９を領域分割部モデル１７に入力することによって、入力したテスト画像１７に対応する領域マスクを領域分割部モデル１７から出力させる（ステップＳ２０２）。そして、幾何パラメータ推定部１４は、領域分割部モデル１７から出力された領域マスクを幾何パラメータ推定モデル１８に入力する（ステップＳ２０３）。幾何パラメータ推定部１４は、領域分割部モデル１７から出力された領域マスクを幾何パラメータ推定モデル１８に入力することによって、入力した領域マスクに対応する幾何パラメータを幾何パラメータ推定モデル１８から出力させる。幾何パラメータ推定モデル１８では、入力された領域マスクを、所定の座標系（例えば、画像に撮像されている空間を真上から（正面から）見た状態）に変換するための幾何パラメータを出力する。この処理により、幾何パラメータ推定部１４は、幾何パラメータを推定する（ステップＳ２０４）。

以上のように構成された幾何パラメータ推定装置１０によれば、幾何パラメータを精度よく推定することが可能になる。具体的には、幾何パラメータ推定装置１０は、入力された画像１６１の領域マスクを推定し、推定した領域マスクと正解領域マスクとの差異と、推定した領域マスクから得られる領域隣接関係行列と正解領域隣接関係行列との差異とを同時に最小化するように、領域分割モデルのパラメータを学習する。これにより、非特許文献２や非特許文献３のようにフレーム中のラインやサークルを推定するのに比べてより簡便に推定することができる。また、各ラベルがフレーム中に含まれる割合のバランスが改善され、より容易に領域分割部モデル１７を学習することができる。また、競技空間を構成する各領域の空間的な関係性（動物体は除き）は一般に固定である。そのため、領域隣接関係行列の差異を考慮して領域分割部モデル１７を学習することで、入力フレームに写る各対象領域をより正確に推定することができる。そして、幾何パラメータ推定装置１０は、学習した領域分割部モデル１７から出力される領域マスクを用いて幾何パラメータを推定する。領域マスクにおいて、特徴なる領域が精度よく得られているため、幾何パラメータを精度よく推定することが可能になる。

また、幾何パラメータ推定装置１０は、幾何パラメータ１６４の各要素に適当な異なる乱数を足し合わせて新たな幾何パラメータを生成するとともに、新たに生成した幾何パラメータから領域マスクを新たに生成する。このように、学習データを容易に大量に生成することができる。そのため、学習データを集めるためのコストと時間を削減することが可能になる。

＜変形例＞
幾何パラメータ推定装置１０がクラウド上に設けられて、ネットワークを介して他の装置からの要求に応じて、領域分割部モデル１７、幾何パラメータ推定モデル１８の学習及び幾何パラメータの推定を行うように構成されてもよい。

（第２の実施形態）
第２の実施形態では、幾何パラメータ推定装置が、領域分割モデルと、幾何パラメータ推定モデルとを、幾何パラメータを推定する一つのモデルとして、学習データを用いてその全体のパラメータを最適化する構成について説明する。

図１０は、第２の実施形態における幾何パラメータ推定装置１０ａの機能構成を表す概略ブロック図である。
幾何パラメータ推定装置１０ａは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、幾何パラメータ推定プログラムを実行する。幾何パラメータ推定プログラムの実行によって、幾何パラメータ推定装置１０ａは、記憶部１１、領域分割モデル学習部１２、学習データ生成部１３、幾何パラメータ推定モデル学習部１４、幾何パラメータ推定部１５、モデル同時学習部２０を備える装置として機能する。なお、幾何パラメータ推定装置１０ａの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡやＧＰＵ等のハードウェアを用いて実現されてもよい。また、幾何パラメータ推定プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、幾何パラメータ推定プログラムは、電気通信回線を介して送受信されてもよい。

幾何パラメータ推定装置１０ａは、モデル同時学習部２０を新たに備える点で幾何パラメータ推定装置１０と構成が異なる。幾何パラメータ推定装置１０ａは、他の構成については幾何パラメータ推定装置１０と同様である。そのため、幾何パラメータ推定装置１０ａ全体の説明は省略し、モデル同時学習部２０について説明する。

モデル同時学習部２０は、領域分割モデルと、幾何パラメータ推定モデルとを、幾何パラメータを推定する一つのモデルとして、学習データを用いてその全体のパラメータを最適化する。具体的には、モデル同時学習部２０は、記憶部１１に記憶された画像１６１、領域マスク１６２、領域隣接関係行列１６３、幾何パラメータ１６４を学習データとして使用して領域分割部モデル１７が出力する領域マスクと正解領域マスクとの差異及び領域隣接関係行列と正解領域隣接関係行列との差異、さらに幾何パラメータ推定モデル１８が出力する幾何パラメータと正解幾何パラメータとの差異を同時に最小化する。モデルを学習するアルゴリズムは任意であり、例えばｍｏｍｅｎｔｕｍ－ＳＧＤやＡＤＡＭを用いればよい。

上記のように、モデル同時学習部２０は、画像１６１と、画像１６１から得られる領域マスク１６２と、領域マスク１６２に含まれる各ラベルの隣接関係を表した領域隣接関係行列１６３と、画像１６１毎に予め推定された幾何パラメータ１６４とを入力として、入力された画像１６１に基づいて領域分割部モデル１７が出力する領域マスクと、入力された領域マスク１６２との差異、及び、入力された画像１６１に基づいて領域分割部モデル１７が出力する領域隣接関係行列と、入力された領域隣接関係行列１６３との差異と、領域分割部モデル１７が出力する領域マスクを入力して幾何パラメータ推定モデル１８が出力する幾何パラメータと、入力された幾何パラメータ１６４とを同時に最小化するように領域分割部モデル１７及び幾何パラメータ推定モデル１８を同時に学習する。

以上のように構成された幾何パラメータ推定装置１０ａでは、第１の実施形態に示した方法で学習された領域分割部モデル１７及び幾何パラメータ推定モデル１８を１つのモデルとして、学習データを用いて同時に最適化する。このように、入力から出力までをエンドツーエンドに学習することで、要素処理毎に異なった指標で最適化されていた公知の方法に比べ、より正確に幾何パラメータを推定することができる。

＜変形例＞
幾何パラメータ推定装置１０ａがクラウド上に設けられて、ネットワークを介して他の装置からの要求に応じてモデルの学習及び幾何パラメータの推定を行うように構成されてもよい。

（第３の実施形態）
第３の実施形態では、幾何パラメータ推定装置１０が備える一部又は全ての機能部が、クラウド上のサーバに実装され、クラウド上のサーバでモデルの学習を行う構成について説明する。
図１１は、第３の実施形態における幾何パラメータ推定システム１００のシステム構成を示す図である。幾何パラメータ推定システム１００は、幾何パラメータ推定装置１０ｂ及びモデル学習装置３００を備える。幾何パラメータ推定装置１０ｂ及びモデル学習装置３００及びは、ネットワーク３０を介して通信可能に接続される。ネットワーク３０は、例えばインターネットである。

モデル学習装置３００は、領域分割部モデル１７及び幾何パラメータ推定モデル１８の学習を行う。モデル学習装置３００は、クラウド上のサーバとして構成される。
幾何パラメータ推定装置１０ｂは、モデル学習装置３００により学習されたモデルを用いて幾何パラメータを推定する。

次に、幾何パラメータ推定装置１０ｂ及びモデル学習装置３００の具体的な機能構成について説明する。
まずモデル学習装置３００の機能構成について説明する。モデル学習装置３００は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、学習プログラムを実行する。学習プログラムの実行によって、モデル学習装置３００は、記憶部１１、領域分割モデル学習部１２、学習データ生成部１３、幾何パラメータ推定モデル学習部１４、幾何パラメータ推定部１５を備える装置として機能する。なお、幾何パラメータ推定装置１０ｂの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡやＧＰＵ等のハードウェアを用いて実現されてもよい。また、学習プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、学習プログラムは、電気通信回線を介して送受信されてもよい。

モデル学習装置３００において、記憶部１１、領域分割モデル学習部１２、学習データ生成部１３、幾何パラメータ推定モデル学習部１４は、第１の実施形態における同名の機能部と同様の処理を行うため説明を省略する。
通信部３０１は、幾何パラメータ推定装置１０ｂに対して領域分割部モデル１７及び幾何パラメータ推定モデル１８を送信する。

次に、幾何パラメータ推定装置１０ｂの機能構成について説明する。幾何パラメータ推定装置１０ｂは、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、幾何パラメータ推定プログラムを実行する。幾何パラメータ推定プログラムの実行によって、幾何パラメータ推定装置１０ｂは、幾何パラメータ推定部１５及び通信部４０１を備える装置として機能する。なお、幾何パラメータ推定装置１０ｂの各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡやＧＰＵ等のハードウェアを用いて実現されてもよい。また、幾何パラメータ推定プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、幾何パラメータ推定プログラムは、電気通信回線を介して送受信されてもよい。

通信部４０１は、モデル学習装置３００から送信された領域分割部モデル１７及び幾何パラメータ推定モデル１８を受信する。
幾何パラメータ推定部１５は、第１の実施形態における同名の機能部と同様に幾何パラメータを推定する。

以上のように構成された幾何パラメータ推定システム１００では、モデルの学習を行う装置（モデル学習装置３００）と、幾何パラメータの推定を行う装置（幾何パラメータ推定装置１０ｂ）とを別の筐体としている。また、モデル学習装置３００をクラウド上のサーバとして設けている。これにより、幾何パラメータを推定したいユーザは、クラウド上に設けられたモデル学習装置３００にアクセスすることによって、容易に幾何パラメータを推定することができる。

＜変形例＞
モデル学習装置３００が備える一部の機能部は、他の装置（例えば、幾何パラメータ推定装置１０ｂ）に実装されてもよい。
モデル学習装置３００は、第２の実施形態における幾何パラメータ推定装置１０と同様に、モデル同時学習部２０を備えるように構成されてもよい。

＜第１の実施形態から第３の実施形態に共通する変形例＞
上記の各実施形態では、所定の空間を区分けするラベルが付与されたマスク画像（領域マスク）を領域分割モデルから出力させる構成を示したが、領域分割モデルから区分けした空間毎の位置関係を示す情報をマスク情報として出力させてもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１０、１０ａ、１０ｂ…幾何パラメータ推定装置，１１…記憶部，１２…領域分割モデル学習部，１３…学習データ生成部，１４…幾何パラメータ推定モデル学習部，１５…幾何パラメータ推定部，２０…モデル同時学習部，３００…モデル学習装置，３０１…通信部，４０１…通信部

Claims

入力されたフレームに撮像されている所定の空間を区分けするラベルが付与されたマスク情報を出力するように学習された領域分割モデルにより得られたマスク情報を用いて、前記フレームを特定の方向から見た画像に変換するための幾何パラメータを推定する幾何パラメータ推定部と、
前記領域分割モデルと、前記幾何パラメータ推定モデルとを同時に学習するモデル同時学習部と、
を備え、
前記幾何パラメータ推定部は、前記領域分割モデルが出力するマスク情報を入力として前記幾何パラメータを出力する幾何パラメータ推定モデルを用いて前記幾何パラメータを推定し、
前記モデル同時学習部は、所定の空間が撮像されたフレームと、前記所定の空間が撮像されたフレームから得られるマスク情報と、前記マスク情報に含まれる各ラベルの隣接関係を表した領域隣接関係行列と、前記所定の空間が撮像されたフレームから予め求められた幾何パラメータとを入力として、入力された前記フレームに基づいて前記領域分割モデルと、前記幾何パラメータ推定モデルとを一つのモデルとして、入力された前記フレームに基づいて前記領域分割モデルが出力する出力マスク情報と、入力された前記マスク情報との差異、入力された前記フレームに基づいて前記領域分割モデルが出力する出力領域隣接関係行列と、入力された前記領域隣接関係行列との差異、及び、前記出力マスク情報に基づいて前記幾何パラメータ推定モデルが出力する出力幾何パラメータと、入力された前記幾何パラメータとの差異を同時に最小化するように前記領域分割モデルと、前記幾何パラメータ推定モデルとを学習する幾何パラメータ推定装置。
前記領域分割モデルを学習する領域分割モデル学習部をさらに備え、
前記領域分割モデル学習部は、所定の空間が撮像されたフレームと、前記所定の空間が撮像されたフレームから得られるマスク情報と、前記マスク情報に含まれる各ラベルの隣接関係を表した領域隣接関係行列とを入力として、入力された前記フレームに基づいて前記領域分割モデルが出力する出力マスク情報と、入力された前記マスク情報との差異、及び、入力された前記フレームに基づいて前記領域分割モデルがさらに出力する出力領域隣接関係行列と、入力された前記領域隣接関係行列との差異を最小化するように前記領域分割モデルを学習する、請求項１に記載の幾何パラメータ推定装置。
幾何パラメータ推定モデルで利用する学習データを生成する学習データ生成部をさらに備え、
前記学習データ生成部は、予め幾何パラメータの値を変更して、変更後の幾何パラメータと、特定の方向から見たマスク情報とを用いて、新たなマスク情報を学習データとして生成する、請求項１又は２に記載の幾何パラメータ推定装置。
入力されたフレームに撮像されている所定の空間を区分けするラベルが付与されたマスク情報を出力するように学習された領域分割モデルにより得られたマスク情報を用いて、前記フレームを特定の方向から見た画像に変換するための幾何パラメータを推定する幾何パラメータ推定部と、
前記領域分割モデルと、前記幾何パラメータ推定モデルとを同時に学習するモデル同時学習部と、
を備え、
前記幾何パラメータ推定部は、前記領域分割モデルが出力するマスク情報を入力として前記幾何パラメータを出力する幾何パラメータ推定モデルを用いて前記幾何パラメータを推定し、
前記モデル同時学習部は、所定の空間が撮像されたフレームと、前記所定の空間が撮像されたフレームから得られるマスク情報と、前記マスク情報に含まれる各ラベルの隣接関係を表した領域隣接関係行列と、前記所定の空間が撮像されたフレームから予め求められた幾何パラメータとを入力として、入力された前記フレームに基づいて前記領域分割モデルと、前記幾何パラメータ推定モデルとを一つのモデルとして、入力された前記フレームに基づいて前記領域分割モデルが出力する出力マスク情報と、入力された前記マスク情報との差異、入力された前記フレームに基づいて前記領域分割モデルが出力する出力領域隣接関係行列と、入力された前記領域隣接関係行列との差異、及び、前記出力マスク情報に基づいて前記幾何パラメータ推定モデルが出力する出力幾何パラメータと、入力された前記幾何パラメータとの差異を同時に最小化するように前記領域分割モデルと、前記幾何パラメータ推定モデルとを学習する幾何パラメータ推定システム。
コンピュータが、
入力されたフレームに撮像されている所定の空間を区分けするラベルが付与されたマスク情報を出力するように学習された領域分割モデルにより得られたマスク情報を用いて、前記フレームを特定の方向から見た画像に変換するための幾何パラメータを推定する幾何パラメータ推定ステップと、
前記領域分割モデルと、前記幾何パラメータ推定モデルとを同時に学習するモデル同時学習ステップと、
を有し、
前記幾何パラメータ推定ステップにおいて、前記領域分割モデルが出力するマスク情報を入力として前記幾何パラメータを出力する幾何パラメータ推定モデルを用いて前記幾何パラメータを推定し、
前記モデル同時学習ステップにおいて、所定の空間が撮像されたフレームと、前記所定の空間が撮像されたフレームから得られるマスク情報と、前記マスク情報に含まれる各ラベルの隣接関係を表した領域隣接関係行列と、前記所定の空間が撮像されたフレームから予め求められた幾何パラメータとを入力として、入力された前記フレームに基づいて前記領域分割モデルと、前記幾何パラメータ推定モデルとを一つのモデルとして、入力された前記フレームに基づいて前記領域分割モデルが出力する出力マスク情報と、入力された前記マスク情報との差異、入力された前記フレームに基づいて前記領域分割モデルが出力する出力領域隣接関係行列と、入力された前記領域隣接関係行列との差異、及び、前記出力マスク情報に基づいて前記幾何パラメータ推定モデルが出力する出力幾何パラメータと、入力された前記幾何パラメータとの差異を同時に最小化するように前記領域分割モデルと、前記幾何パラメータ推定モデルとを学習する幾何パラメータ推定方法。
入力されたフレームに撮像されている所定の空間を区分けするラベルが付与されたマスク情報を出力するように学習された領域分割モデルにより得られたマスク情報を用いて、前記フレームを特定の方向から見た画像に変換するための幾何パラメータを推定する幾何パラメータ推定ステップと、
前記領域分割モデルと、前記幾何パラメータ推定モデルとを同時に学習するモデル同時学習ステップと、
をコンピュータに実行させ、
前記幾何パラメータ推定ステップにおいて、前記領域分割モデルが出力するマスク情報を入力として前記幾何パラメータを出力する幾何パラメータ推定モデルを用いて前記幾何パラメータを推定し、
前記モデル同時学習ステップにおいて、所定の空間が撮像されたフレームと、前記所定の空間が撮像されたフレームから得られるマスク情報と、前記マスク情報に含まれる各ラベルの隣接関係を表した領域隣接関係行列と、前記所定の空間が撮像されたフレームから予め求められた幾何パラメータとを入力として、入力された前記フレームに基づいて前記領域分割モデルと、前記幾何パラメータ推定モデルとを一つのモデルとして、入力された前記フレームに基づいて前記領域分割モデルが出力する出力マスク情報と、入力された前記マスク情報との差異、入力された前記フレームに基づいて前記領域分割モデルが出力する出力領域隣接関係行列と、入力された前記領域隣接関係行列との差異、及び、前記出力マスク情報に基づいて前記幾何パラメータ推定モデルが出力する出力幾何パラメータと、入力された前記幾何パラメータとの差異を同時に最小化するように前記領域分割モデルと、前記幾何パラメータ推定モデルとを学習させるためのコンピュータプログラム。