JP7442089B2 - 球技映像解析装置、球技映像解析方法、及び、コンピュータプログラム - Google Patents

Description

本開示は、球技映像解析装置、球技映像解析方法、及び、コンピュータプログラムに関する。

従来、バレーボール分析ソフトウェアとして「Ｄａｔａ Ｖｏｌｌｅｙ」が知られている。Ｄａｔａ Ｖｏｌｌｅｙは、このソフトウェアに精通したアナリストによって使用され、当該アナリストが主観的判断に基づいて、バレーボールの選手のプレイに関する情報をＤａｔａ Ｖｏｌｌｅｙに入力する。

また、特許文献１には、コートを見下ろす四隅にそれぞれ設置された４台のカメラを同期させて選手のプレイを撮影し、４つの撮影画像を解析して、３次元空間におけるボールの移動軌跡を自動的に特定する球技映像解析装置が開示されている。

国際公開第２０１９／２２５４１５号

特許文献１に開示の球技映像解析装置は、所定の画像解析技術を用いて撮影画像の中から、球技に用いられる移動体の一例であるボールの画像を検出し、その検出したボールの画像の位置の時間変化に基づいて、ボールの移動軌跡を特定している。

しかしながら、撮影画像の中に、プレイに用いられているボールとは異なるボールの画像が含まれる場合がある。例えば、バレーボールにおいて、撮影画像の中に、ボールパーソンが持っているボールの画像が含まれる場合がある。あるいは、撮影画像の中に、画像解析技術においてボールと誤検出され得る画像が含まれる場合がある。このような場合、特許文献１に開示の球技映像解析装置は、撮影画像の中から、プレイに用いられているボールとは異なるボールの画像又はボールに類似する画像を誤って検出し、その誤って検出した画像に基づいて、誤ったボールの移動軌跡を特定してしまうおそれがある。

本開示の目的は、球技に係るプレイの撮影画像の中から、当該プレイに用いられている移動体の画像とは異なる画像を誤って検出してしまうことを防止することにある。

本開示に係る球技映像解析装置は、球技を撮影できる互いに異なる位置に設置された複数のカメラからそれぞれ撮影画像を受信する受信部と、前記撮影画像に対応させてユーザによって入力された領域にマスク領域を設定するマスク設定部と、前記撮影画像内の前記マスク領域を含まない領域から前記球技用の移動体の画像を検出し、少なくとも２つの前記撮影画像から検出した前記移動体の画像の位置に基づいて、前記移動体の３次元位置を特定する解析部と、を備え、前記マスク設定部は、２つの前記撮影画像から前記移動体の画像が検出できなくなる領域を含む前記マスク領域がユーザによって入力された場合、その入力にかかる前記マスク領域の設定を受け付けない制御を行う構成とする。

本開示に係る球技映像解析方法は、情報処理装置によって、球技を撮影できる互いに異なる位置に設置された複数のカメラからそれぞれ撮影画像を受信し、前記撮影画像に対応させてユーザによって入力された領域にマスク領域を設定し、前記撮影画像内の前記マスク領域を含まない領域から前記球技用の移動体の画像を検出し、少なくとも２つの前記撮影画像から検出した前記移動体の画像の位置に基づいて、前記移動体の３次元位置を特定するものであり、前記マスク領域を設定する際、２つの前記撮影画像から前記移動体の画像が検出できなくなる領域を含む前記マスク領域がユーザによって入力された場合、その入力にかかる前記マスク領域の設定を受け付けない制御を行う構成とする。

本開示に係るコンピュータプログラムは、球技を撮影できる互いに異なる位置に設置された複数のカメラからそれぞれ撮影画像を受信し、前記撮影画像に対応させてユーザによって入力された領域にマスク領域を設定し、前記撮影画像内の前記マスク領域を含まない領域から前記球技用の移動体の画像を検出し、少なくとも２つの前記撮影画像から検出した前記移動体の画像の位置に基づいて、前記移動体の３次元位置を特定するものであり、前記マスク領域を設定する際、２つの前記撮影画像から前記移動体の画像が検出できなくなる領域を含む前記マスク領域がユーザによって入力された場合、その入力にかかる前記マスク領域の設定を受け付けない処理をコンピュータに実行させる構成とする。

本開示に係る球技映像解析装置は、球技を撮影できる互いに異なる位置に設置された複数のカメラからそれぞれ撮影画像を受信する受信部と、前記撮影画像内から前記球技用の移動体と推定される画像である移動体推定画像を検出する画像検出部と、前記撮影画像に対応させて前記移動体推定画像にマスク領域の設定を推奨するマスク推奨領域を設定し、ユーザによって選択された前記マスク推奨領域を前記マスク領域に設定するマスク設定部と、前記撮影画像内の前記マスク領域を含まない領域から前記移動体の画像を検出し、少なくとも２つの前記撮影画像から検出した前記移動体の画像の位置に基づいて、前記移動体の３次元位置を特定する解析部と、を備え、前記マスク設定部は、２つの前記撮影画像から前記移動体の画像が検出できなくなる領域を含む前記マスク領域がユーザによって入力された場合、その入力にかかる前記マスク領域の設定を受け付けない制御を行う構成とする。

なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示によれば、球技に係るプレイの撮影画像の中から、当該プレイに用いられている移動体の画像とは異なる画像を誤って検出してしまうことを防止できる。

実施の形態１に係る球技映像解析システムの構成例を示す図 実施の形態１に係る球技映像解析装置の構成例を示すブロック図 マスク領域とマスク禁止領域の関係を説明するための図 実施の形態１に係るマスク領域の設定処理の一例を示すフローチャート カメラ３Ａの撮影画像を表示したマスク用ＵＩ（User Interface）の例を示す図 カメラ３Ｂの撮影画像を表示したマスク用ＵＩの一例を示す図 カメラ３Ｃの撮影画像を表示したマスク用ＵＩの一例を示す図 実施の形態２に係る球技映像解析装置の構成例を示すブロック図 実施の形態２に係るマスク領域の設定処理の一例を示すフローチャート 操作端末及び球技映像解析装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図

以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。

（実施の形態１）
＜球技映像解析システムの構成＞
図１は、実施の形態１に係る球技映像解析システム１の構成例を示す図である。

球技映像解析システム１は、球技のプレイを撮影した画像（以下「撮影画像」という）を解析し、当該球技に用いられる移動体の移動軌跡を解析するシステムである。本実施の形態では、球技の１つであるバレーボールを例に説明する。ただし、球技映像解析システム１は、バレーボールに限らず、サッカー、野球、卓球、バスケットボール、テニス、ラグビー、アメリカンフットボール、ラクロス、バドミントン、又はアイスホッケー等、様々な球技に適用可能である。また、球技映像解析システム１が対象とする移動体は、典型的にはボールである。ただし、球技映像解析システム１が対象とする移動体は、ボールに限られず、例えばバドミントンのシャトル又はアイスホッケーのパックといった「球」の概念に当てはまらない形状のものであってもよい。

球技映像解析システム１は、複数のカメラ３（３Ａ、３Ｂ、３Ｃ、３Ｄ）、操作端末２０、及び、球技映像解析装置１００を含む。各カメラ３は、例えば有線ＬＡＮ（Local Area Network）又は無線ＬＡＮといった通信ネットワークを通じて、球技映像解析装置１００と接続される。操作端末２０は、例えば有線ＬＡＮ又は無線ＬＡＮといった通信ネットワークを通じて、球技映像解析装置１００と接続される。なお、球技映像解析装置１００は、インターネット網を介して接続された、いわゆるクラウド上のサーバであってもよい。

図１に示すように、カメラ３Ａ、３Ｂ、３Ｃ、３Ｄは、それぞれ、コートの四隅の方向から、コートを見下ろす視点（画角）で、選手のプレイを撮影できる位置に設置される。なお、カメラ３の台数は、３台であってもよいし、４台よりも多くてもよい。

各カメラ３は、球技のプレイを撮影し、撮影画像２００（図２参照）を球技映像解析装置１００へ送信する。撮影画像２００は、動画データを構成するフレーム画像であってよい。動画データのフォーマットは、例えば、ＭＰＥＧ４、ＴＳファイル、Ｈ．２６４、又は、Ｈ．２６５である。

操作端末２０は、ディスプレイ、キーボード、マウス等を含み、球技映像解析装置１００から出力されたＵＩ（User Interface）を表示すると共に、当該ＵＩを通じてユーザからの入力を受け付ける。そして、操作端末２０は、ＵＩを通じてユーザから入力された入力情報を、球技映像解析装置１００に送信する。なお、操作端末２０に表示されるＵＩの詳細については後述する。また、操作端末２０の別例は、モバイルＰＣ、タブレット端末、又は、スマートフォン等である。

球技映像解析装置１００は、カメラ３Ａ、３Ｂ、３Ｃ、３Ｄから撮影画像２００を受信する。球技映像解析装置１００は、少なくとも２つのカメラ３から受信した撮影画像２００に含まれるボールの画像の位置に基づいて、ボールの３次元位置を特定する。例えば、球技映像解析装置１００は、次のＳ１～Ｓ４の処理によって、ボールの３次元位置を特定する。
（Ｓ１）球技映像解析装置１００は、カメラ３Ａ、３Ｂ、３Ｃ、３Ｄから撮影画像２００Ａ、２００Ｂ、２００Ｃ、２００Ｄ（図２参照）を受信し、その受信した４つの撮影画像２００Ａ、２００Ｂ、２００Ｃ、２００Ｄから、それぞれ、ボール画像を検出する。
（Ｓ２）球技映像解析装置１００は、ボール画像を検出できた少なくとも２つの撮影画像２００を選択する。
（Ｓ３）球技映像解析装置１００は、その選択した２つの撮影画像２００から、それぞれ、検出したボール画像の位置を特定する。
（Ｓ４）球技映像解析装置１００は、その特定した２つのボール画像の位置に基づいて、ボールの３次元位置を特定する。

球技映像解析装置１００は、上記Ｓ１の処理において、例えば特許文献１に開示された画像解析技術を用いて、撮影画像２００の中からボール画像を検出する。球技映像解析装置１００は、パターンマッチングによって撮影画像２００からボール画像を検出してよい。あるいは、球技映像解析装置１００は、ボール画像の検出用に予め学習されたディープラーニングを用いて、撮影画像２００からボール画像を検出してよい。

実際の試合会場にてプレイを撮影した撮影画像２００には、プレイで実際に用いられているボール（以下「真ボール」という）の画像に加えて、プレイで用いられているボールとは別のボールの画像、及び／又は、画像解析技術においてボールと誤検出され得る画像等が含まれ得る。プレイで用いられているボールとは別のボールの例は、ボールパーソンが持っているボール、又は、床に置かれているボール等である。画像解析技術においてボールと誤検出され得る画像の例は、観客の衣服の模様が偶然ボールのように見える画像、又は、会場に設置されたポスターの絵が偶然ボールのように見える画像等である。以下、このように、真ボールの画像以外のボールと認識され得る画像を、便宜的に、偽ボールの画像という。

球技映像解析装置１００は、偽ボールの画像を認識してしまうと、その偽ボールの画像を追跡して、真ボールの画像を正しく追跡できない場合がある。そこで、本実施の形態では、ボール画像の認識処理において偽ボールの画像が認識されることを防止する技術について説明する。

＜球技映像解析装置の構成＞
図２は、実施の形態１に係る球技映像解析装置１００の構成例を示すブロック図である。

球技映像解析装置１００は、画像受信部１０１、マスク設定部１０２、及び、解析部１０３を備える。なお、これらの構成要素１０１～１０３は、球技映像解析装置１００が備えるＣＰＵ１００３（図１０参照）によって実現されてよい。

画像受信部１０１は、カメラ３Ａ、３Ｂ、３Ｃ、３Ｄからそれぞれ撮影画像２００Ａ、２００Ｂ、２００Ｃ、２００Ｄを受信する。

マスク設定部１０２は、ユーザが、撮影画像２００に対してマスク領域３０１（図３、図５～図７参照）を入力するためのＵＩ（以下「マスク用ＵＩ」という）３００（図３、図５～図７参照）を生成し、操作端末２０に出力する。マスク領域３０１は、撮影画像２００内においてボール画像の検出が行われない領域を示す。例えば、ユーザは、マスク用ＵＩ３００を通じて、偽ボールの画像を囲むようにマスク領域３０１を入力する。マスク設定部１０２は、撮影画像２００にマスク領域３０１が設定された場合、当該撮影画像２００を撮影したカメラ３の識別情報と、設定されたマスク領域３０１の位置及びサイズ等を示すマスク情報とを対応付けて、マスク領域設定情報２１０に書き込む。なお、マスク用ＵＩ３００の詳細については後述する（図５～図７参照）。

また、マスク設定部１０２は、カメラ３Ａ、３Ｂ、３Ｃ、３Ｄのうちの１つのカメラ（以下「第１のカメラ」という）の撮影画像２００に対して第１のマスク領域３０１が入力され、カメラ３Ａ、３Ｂ、３Ｃ、３Ｄのうちの別の１つのカメラ（以下「第２のカメラ」という）の撮影画像２００に対して第２のマスク領域３０１が入力された場合、カメラ３Ａ、３Ｂ、３Ｃ、３Ｄのうちのさらに別の１つのカメラ（以下「第３のカメラ」という）の撮影画像２００における、第１のマスク領域３０１及び第２のマスク領域３０１に関連する領域に対して、マスク領域３０１の設定を禁止するマスク禁止領域３０２（図３、図７参照）を設定する。なお、マスク領域３０１とマスク禁止領域３０２の関係の詳細については後述する（図３参照）。

解析部１０３は、上述したＳ１～Ｓ４の処理によって、ボールの３次元位置を特定する。ただし、解析部１０３は、上述したＳ１の処理において、各カメラ３の撮影画像２００からボール画像を検出する際、マスク領域設定情報２１０を参照して、各カメラ３の撮影画像２００にマスク領域３０１を設定する。すなわち、解析部１０３は、上述したＳ１の処理において、撮影画像２００内のマスク領域３０１を含まない領域からボール画像を検出する。これにより、解析部１０３が、撮影画像２００から偽ボールの画像を検出してしまうことを防止できる。

解析部１０３は、特定したボールの３次元位置を時系列に並べることにより、ボールの移動軌跡を特定する。解析部１０３は、特定したボールの移動軌跡を示す解析情報２２０を生成する。

＜マスク領域とマスク禁止領域の関係＞
図３は、マスク領域３０１とマスク禁止領域３０２の関係を説明するための図である。

例えば、図３に示すように、カメラ３Ａの撮影画像２００Ａに含まれる偽ボールＱ１の画像にマスク領域３０１Ａが入力され、カメラ３Ｂの撮影画像２００Ｂに含まれる偽ボールＱ２の画像にマスク領域３０１Ｂが入力されたとする。以下、カメラ３Ａの位置からマスク領域３０１Ａへ伸ばしたベクトルＶ１と、カメラ３Ｂの位置からマスク領域３０１Ｂへ伸ばしたベクトルＶ２とが交差する場合、その交差する３次元空間を、交差空間Ｐと表現する。

仮に、カメラ３Ｃの撮影画像２００Ｃにおける交差空間Ｐが写像された領域にマスク領域３０１Ｃが設定された場合、次のような問題が生じる。すなわち、図３に示すように、交差空間Ｐに真ボールが位置する場合、解析部１０３は、カメラ３Ｄの撮影画像２００Ｄからは真ボールの画像を認識できるものの、カメラ３Ａ、３Ｂ、３Ｃの撮影画像２００Ａ、２００Ｂ、２００Ｃからはマスク領域３０１Ａ、３０１Ｂ、３０１Ｃが設定されているために、真ボールの画像を認識できない。よって、解析部１０３は、２つの撮影画像２００から真ボールの画像を検出できないために、ボールの３次元位置を特定できないという問題が生じる。

そこで、マスク設定部１０２は、カメラ３Ａの撮影画像２００Ａにマスク領域３０１Ａが入力され、カメラ３Ｂの撮影画像２００Ｂにマスク領域３０１Ｂが入力された場合、カメラ３Ｃ及びカメラ３Ｄの撮影画像２００Ｃにおける交差空間Ｐが写像された領域にマスク禁止領域３０２を設定する。

これにより、解析部１０３が、２つの撮影画像２００から真ボールの画像を検出できずに、ボールの３次元位置を特定できないといった問題が生じることを防止できる。

＜マスク用ＵＩの詳細＞
図４は、実施の形態１に係るマスク領域３０１の設定処理の一例を示すフローチャートである。図５は、カメラ３Ａの撮影画像２００Ａを表示したマスク用ＵＩ３００の一例を示す図である。図６は、カメラ３Ｂの撮影画像２００Ｂを表示したマスク用ＵＩ３００の一例を示す図である。図７は、カメラ３Ｃの撮影画像２００Ｃを表示したマスク用ＵＩ３００の一例を示す図である。以下、図４～図７を参照して、マスク用ＵＩ３００の詳細について説明する。

マスク設定部１０２は、マスク用ＵＩ３００を操作端末２０に出力する（Ｓ１０１）。

次に、ユーザは、例えば、マスク用ＵＩ３００を操作してカメラ３Ａの撮影画像２００Ａを表示させる。そして、ユーザは、図５に示すように、カメラ３Ａの撮影画像２００Ａ内における偽ボールの画像を方形又は円形の枠で囲むことにより、マスク領域３０１Ａを入力する（Ｓ１０２）。このとき、マスク設定部１０２は、カメラ３Ａの撮影画像２００Ａにおけるマスク領域３０１Ａの近傍（例えばマスク領域３０１Ａから所定の半径以内）に、入力されたマスク領域３０１Ａのマスク識別情報３０３Ａを表示してよい。

次に、ユーザは、例えば、マスク用ＵＩ３００を操作してカメラ３Ｂの撮影画像２００Ｂを表示させる。そして、ユーザは、図６に示すように、カメラ３Ｂの撮影画像２００Ｂ内における偽ボールの画像を方形又は円形の枠で囲むことにより、マスク領域３０１Ｂを入力する（Ｓ１０３）。このとき、マスク設定部１０２は、カメラ３Ｂの撮影画像２００Ｂ内におけるマスク領域３０１Ｂの近傍に、入力されたマスク領域３０１Ｂのマスク識別情報３０３Ｂを表示してよい。

次に、マスク設定部１０２は、カメラ３Ｃの撮影画像２００Ｃ及びカメラ３Ｄの撮影画像２００Ｄにおける、マスク領域３０１Ａ及びマスク領域３０１Ｂから特定される交差空間が写像された領域に、マスク禁止領域３０２を設定する（Ｓ１０４）。

次に、ユーザは、例えば、マスク用ＵＩ３００を操作してカメラ３Ｃの撮影画像２００Ｃの表示を指示する（Ｓ１０５）。

次に、マスク設定部１０２は、図７に示すように、Ｓ１０４にて設定したマスク禁止領域３０２を重畳したカメラ３Ｃの撮影画像２００Ｃを表示する（Ｓ１０６）。

ここで、ユーザが、例えば、カメラ３Ｃの撮影画像２００Ｃに、マスク禁止領域３０２の少なくとも一部に重なるマスク領域３０１Ｃを入力しようとした場合、マスク設定部１０２は、当該マスク領域３０１の入力を受け付けなくてよい。この場合、マスク設定部１０２は、マスク用ＵＩ３００を構成する所定のバー３１０を、通常とは異なる色（例えば赤色）又は模様に変更し、当該マスク領域３０１の入力ができないことをユーザに知らせてもよい。あるいは、マスク設定部１０２は、当該マスク領域３０１の入力ができないことを示す情報をポップアップにて表示してもよい。

また、マスク設定部１０２は、マスク禁止領域３０２の近傍に、当該マスク禁止領域３０２に関連するマスク禁止領域関連情報３０４Ａ、３０４Ｂを表示してよい。マスク禁止領域関連情報３０４Ａ、３０４Ｂは、マスク禁止領域３０２の設定の原因となったマスク領域３０１が設定されたカメラ３の識別情報と、当該カメラ３に設定されたマスク領域３０１の識別情報（以下「マスク識別情報」という）とを含んでよい。例えば、マスク設定部１０２は、図７に示すように、カメラ３Ａの識別情報及びマスク領域３０１Ａのマスク識別情報を含むマスク禁止領域関連情報３０４Ａ（図７では「３Ａ－１」と表現）と、カメラ３Ｂの識別情報及びマスク領域３０１Ｂのマスク識別情報を含むマスク禁止領域関連情報３０４Ｂ（図７では「３Ｂ－１」と表現）とを、カメラ３Ｃの撮影画像２００Ｃのマスク禁止領域３０２の近傍に表示する。

また、ユーザがマスク用ＵＩ３００を通じてマスク禁止領域３０２を選択した場合、マスク設定部１０２は、その選択されたマスク禁止領域３０２のマスク禁止領域関連情報３０４Ａ、３０４Ｂが示すカメラ３Ａ、３Ｂの撮影画像２００Ａ、２００Ｂを表示してもよい。この場合、マスク設定部１０２は、表示した撮影画像２００Ａ、２００Ｂにおいて、そのマスク禁止領域関連情報３０４Ａ、３０４Ｂが示すマスク領域３０１Ａ、３０１Ｂをフォーカス表示（例えば点滅）してもよい。これにより、ユーザは、マスク領域３０１Ａ、３０１Ｂを変更して、当該マスク領域３０１Ａ、３０１Ｂに関連するマスク禁止領域３０２の位置及びサイズを簡単に修正できる。

（実施の形態２）
実施の形態１では、ユーザがマスク領域３０１を入力する例を説明した。実施の形態２では、マスク領域３０１を半自動的に設定する例について説明する。なお、実施の形態２では、実施の形態１にて説明済みの構成要素については、共通の参照符号を付し、説明を省略する場合がある。

図８は、実施の形態２に係る球技映像解析装置１００の構成例を示すブロック図である。

球技映像解析装置１００は、画像受信部１０１、ボール推定画像検出部１０４、マスク設定部１０２、及び、解析部１０３を備える。

ボール推定画像検出部１０４は、公知の画像解析技術を用いて、撮影画像２００から、球技のプレイに用いられるボールと推定される画像（以下「ボール推定画像」という）を検出する。なお、ここで用いられる画像解析技術は、解析部１０３にて用いられる画像解析技術と同じものであってもよいし、異なるものであってもよい。

マスク設定部１０２は、撮影画像２００内に、ボール推定画像検出部１０４によって検出されたボール推定画像が含まれる場合、そのボール推定画像にマスク推奨領域を設定する。マスク推奨領域は、マスク領域３０１の設定を推奨する領域を示す。例えば、マスク設定部１０２は、ボール推定画像を方形又は円形で囲むようにマスク推奨領域を設定する。

なお、マスク設定部１０２は、カメラ３Ａ、３Ｂ、３Ｃ、３Ｄのうちの１つのカメラ（以下「第１のカメラ」という）の撮影画像２００に第１のマスク推奨領域が設定され、カメラ３Ａ、３Ｂ、３Ｃ、３Ｄのうちの別の１つのカメラ（以下「第２のカメラ」という）の撮影画像２００に第２のマスク推奨領域が設定された場合、カメラ３Ａ、３Ｂ、３Ｃ、３Ｄのうちのさらに別の１つのカメラ（以下「第３のカメラ」という）の撮影画像２００における、第１のマスク推奨領域及び第２のマスク推奨領域に関連する領域に、マスク推奨領域の設定を禁止するマスク禁止領域を設定してよい。この場合、マスク設定部１０２は、第３のカメラの撮影画像２００には、マスク禁止領域に少なくとも一部が重なるマスク推奨領域を設定しなくてよい。

マスク設定部１０２は、マスク推奨領域を重畳した撮影画像２００と、マスク用ＵＩ３００とを、操作端末２０に出力する。そして、マスク設定部１０２は、マスク用ＵＩ３００を通じてユーザによって選択されたマスク推奨領域を、マスク領域３０１に設定し、マスク領域設定情報２１０に書き込む。

図９は、実施の形態２に係るマスク領域３０１の設定処理の一例を示すフローチャートである。

ボール推定画像検出部１０４は、カメラ３Ａ、３Ｂ、３Ｃ、３Ｄから受信した撮影画像２００Ａ、２００Ｂ、２００Ｃ、２００Ｄの中から、ボール推定画像を検出する（Ｓ２０１）。

次に、マスク設定部１０２は、撮影画像２００内に、Ｓ２０１にて検出されたボール推定画像が含まれる場合、その撮影画像２００内のボール推定画像にマスク推奨領域を設定する（Ｓ２０２）。

次に、マスク設定部１０２は、マスク用ＵＩ３００を操作端末２０に出力する（Ｓ２０３）。

次に、ユーザは、例えば、マスク用ＵＩ３００を操作して、あるカメラ３の撮影画像２００の表示を指示する（Ｓ２０４）。マスク設定部１０２は、その表示する撮影画像２００にマスク推奨領域が含まれる場合、マスク推奨領域を重畳した撮影画像２００を表示する（Ｓ２０５）。

次に、ユーザは、例えば、マスク用ＵＩ３００を操作して、表示されたマスク推奨領域の中から、マスク領域３０１に設定するマスク推奨領域を選択する（Ｓ２０６）。例えば、ユーザは、偽ボールの画像に設定されたマスク推奨領域を選択し、真ボールの画像に設定されたマスク推奨領域を選択しない。

次に、マスク設定部１０２は、Ｓ２０６にて選択されたマスク推奨領域を、マスク領域３０１に設定し、マスク領域設定情報２１０に書き込む（Ｓ２０７）。

なお、上記Ｓ２０４～２０７の処理は、カメラ３Ａ、３Ｂ、３Ｃ、３Ｄのそれぞれの撮影画像２００Ａ、２００Ｂ、２００Ｃ、２００Ｄに対して実行されてよい。

以上の処理によれば、ユーザは、自動的に設定されたマスク推奨領域の中から、偽ボールの画像に設定されたマスク推奨領域を選択すればよいので、効率的にマスク領域３０１を設定できる。

なお、マスク設定部１０２は、時間的に連続する所定数（例えば５つ）の撮影画像２００（フレーム画像）のすべてから共通のボール推定画像が検出された場合に、その撮影画像２００を撮影したカメラ３に、その検出されたボール推定画像に対応するマスク推奨領域を設定してもよい。

あるいは、マスク設定部１０２は、所定間隔（例えば１０フレーム間隔）で抽出した複数枚（例えば４枚）の撮影画像２００（フレーム画像）のすべてから共通のボール推定画像が検出された場合に、その撮影画像２００を撮影したカメラ３に、その検出されたボール推定画像に対応するマスク推奨領域を設定してもよい。

これにより、一瞬だけボール推定画像と検出された領域がマスク推奨領域に設定されることを回避できるので、マスク推奨領域の設定の安定性が向上する。

＜ハードウェア構成＞
以上、本開示に係る実施形態について図面を参照して詳述した。なお、上述した操作端末２０、及び、球技映像解析装置１００の機能は、コンピュータプログラムにより実現され得る。

図１０は、操作端末２０、及び、球技映像解析装置１００の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。

このコンピュータ１０００は、キーボード又はマウス、タッチパッドなどの入力装置１００１、ディスプレイ又はスピーカーなどの出力装置１００２、ＣＰＵ（Central Processing Unit）１００３、ＧＰＵ（Graphics Processing Unit）１００４、ＲＯＭ（Read Only Memory）１００５、ＲＡＭ（Random Access Memory）１００６、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）又はフラッシュメモリなどの記憶装置１００７、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）又はＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置１００８、通信ネットワークを介して有線又は無線にて通信を行う送受信装置１００９を備え、各部は、バス１０１０により接続される。

そして、読取装置１００８は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置１００７に記憶させる。あるいは、送受信装置１００９が、通信ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置１００７に記憶させる。

そして、ＣＰＵ１００３が、記憶装置１００７に記憶されたプログラムをＲＡＭ１００６にコピーし、そのプログラムに含まれる命令をＲＡＭ１００６から順次読み出して実行することにより、上記各装置の機能が実現される。

上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。

（本開示のまとめ）
本開示に係る球技映像解析装置（１００）は、球技を撮影できる互いに異なる位置に設置された複数のカメラ（３）からそれぞれ撮影画像（２００）を受信する受信部（１０１）と、撮影画像内におけるユーザによって入力された領域にマスク領域（３０１）を設定するマスク設定部（１０２）と、撮影画像内のマスク領域を含まない領域から球技用の移動体の一例であるボールの画像を検出し、少なくとも２つの撮影画像から検出したボールの画像の位置に基づいて、ボールの３次元位置を特定する解析部（１０３）とを備える。

この構成によれば、ユーザが撮影画像内の偽ボールの画像に対してマスク領域を設定することにより、解析部が、偽ボールの画像を検出して、球技のプレイに用いられているボールとは別のボールの３次元位置を特定してしまうことを防止できる。

また、マスク設定部は、複数のカメラのうちの第１のカメラの撮影画像に第１のマスク領域が入力され、複数のカメラのうちの第２のカメラの撮影画像に第２のマスク領域が入力された場合、複数のカメラのうちの第３のカメラの撮影画像における、第１のマスク領域及び第２のマスク領域に関連する領域に、マスク領域の設定を禁止するマスク禁止領域（３０２）を設定してよい。

この構成によれば、ユーザは、マスク禁止領域にマスク領域を設定できない。よって、解析部が、少なくとも２つの撮影画像から真ボールの画像を検出できずに、ボールの３次元位置を特定できないという問題が生じることを防止できる。

また、マスク設定部は、マスク禁止領域を示す情報を、第３の撮影画像に重畳して表示してよい。

この構成によれば、ユーザは、第３の撮影映像におけるマスク禁止領域を視覚的に認識できる。

また、マスク設定部は、マスク禁止領域を示す情報と共に、マスク禁止領域に関連する第１のマスク領域が設定された第１のカメラの識別情報と、マスク禁止領域に関連する第２のマスク領域が設定された第２のカメラの識別情報とを表示してよい。

この構成によれば、ユーザは、マスク禁止領域が設定される原因となったマスク領域が設定されているカメラを視覚的に認識できる。

また、マスク設定部は、ユーザがマスク禁止領域を選択した場合、当該選択されたマスク禁止領域に関連する第１のマスク領域が設定された第１のカメラの撮影画像、又は、当該選択されたマスク禁止領域に関連する第２のマスク領域が設定された第２のカメラの撮影画像を表示してよい。

この構成によれば、ユーザは、マスク禁止領域が設定される原因となったマスク領域が設定されている撮影画像を簡単に表示させることができる。

また、マスク設定部は、マスク禁止領域に少なくとも一部が重なるマスク領域が入力された場合、当該マスク領域を設定できないことを示す情報を表示してよい。

この構成によれば、ユーザは、マスク禁止領域に少なくとも一部が重なるマスク領域を入力できないことを、視覚的に認識できる。

また、本開示に係る球技映像解析装置（１００）は、球技を撮影できる互いに異なる位置に設置された複数のカメラ（３）からそれぞれ撮影画像（２００）を受信する受信部（１０１）と、撮影画像内から球技に用いられる移動体の一例であるボールと推定される画像であるボール推定画像を検出する画像検出部（１０４）と、撮影画像内のボール推定画像にマスク領域（３０１）の設定を推奨するマスク推奨領域を設定し、ユーザによって選択されたマスク推奨領域をマスク領域に設定するマスク設定部（１０２）と、撮影画像内のマスク領域を含まない領域からボールの画像を検出し、少なくとも２つの撮影画像から検出したボールの画像の位置に基づいて、ボールの３次元位置を特定する解析部と、を備える。

この構成によれば、ユーザが、自動的に設定されたマスク推奨領域の中から、偽ボールの画像に対して設定されたマスク推奨領域を選択することにより、解析部が、偽ボールの画像を検出して、球技のプレイに用いられているボールとは別のボールの３次元位置を特定してしまうことを防止できる。すなわち、ユーザは、効率的にマスク領域を設定できる。

以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。

本開示の技術は、移動体を用いたスポーツの解析に利用可能である。

１ 球技映像解析システム
３、３Ａ、３Ｂ、３Ｃ、３Ｄ カメラ
２０ 操作端末
１００ 球技映像解析装置
１０１ 画像受信部
１０２ マスク設定部
１０３ 解析部
１０４ ボール推定画像検出部
２００、２００Ａ、２００Ｂ、２００Ｃ、２００Ｄ 撮影画像
２１０ マスク領域設定情報
２２０ 解析情報
３０１、３０１Ａ、３０１Ｂ、３０１Ｃ マスク領域
３０２ マスク禁止領域
３０３Ａ、３０３Ｂ マスク識別情報
３０４Ａ、３０４Ｂ マスク禁止領域関連情報
３１０ バー
１０００ コンピュータ
１００１ 入力装置
１００２ 出力装置
１００３ ＣＰＵ
１００４ ＧＰＵ
１００５ ＲＯＭ
１００６ ＲＡＭ
１００７ 記憶装置
１００８ 読取装置
１００９ 送受信装置
１０１０ バス

Claims (9)

1. 球技を撮影できる互いに異なる位置に設置された複数のカメラからそれぞれ撮影画像を受信する受信部と、
   前記撮影画像に対応させてユーザによって入力された領域にマスク領域を設定するマスク設定部と、
   前記撮影画像内の前記マスク領域を含まない領域から前記球技用の移動体の画像を検出し、少なくとも２つの前記撮影画像から検出した前記移動体の画像の位置に基づいて、前記移動体の３次元位置を特定する解析部と、を備え、
   前記マスク設定部は、２つの前記撮影画像から前記移動体の画像が検出できなくなる領域を含む前記マスク領域がユーザによって入力された場合、その入力にかかる前記マスク領域の設定を受け付けない制御を行う、
   球技映像解析装置。
2. 前記マスク設定部は、前記複数のカメラのうちの第１のカメラの撮影画像に第１のマスク領域が入力され、前記複数のカメラのうちの第２のカメラの撮影画像に第２のマスク領域が入力された場合、前記複数のカメラのうちの第３のカメラの撮影画像における、前記第１のマスク領域及び前記第２のマスク領域に関連する領域に、前記マスク領域の設定を禁止するマスク禁止領域を設定する、
   請求項１に記載の球技映像解析装置。
3. 前記マスク設定部は、前記マスク禁止領域を示す情報を、前記第３のカメラの撮影画像に重畳して表示する、
   請求項２に記載の球技映像解析装置。
4. 前記マスク設定部は、前記マスク禁止領域を示す情報と共に、前記マスク禁止領域に関連する前記第１のマスク領域が設定された前記第１のカメラの識別情報と、前記マスク禁止領域に関連する前記第２のマスク領域が設定された前記第２のカメラの識別情報とを表示する、
   請求項３に記載の球技映像解析装置。
5. 前記マスク設定部は、ユーザが前記マスク禁止領域を選択した場合、当該選択された前記マスク禁止領域に関連する前記第１のマスク領域が設定された前記第１のカメラの撮影画像、又は、当該選択された前記マスク禁止領域に関連する前記第２のマスク領域が設定された前記第２のカメラの撮影画像を表示する、
   請求項４に記載の球技映像解析装置。
6. 前記マスク設定部は、前記マスク禁止領域に少なくとも一部が重なるマスク領域が入力された場合、当該マスク領域を設定できないことを示す情報を表示する、
   請求項３又は４に記載の球技映像解析装置。
7. 情報処理装置によって、
   球技を撮影できる互いに異なる位置に設置された複数のカメラからそれぞれ撮影画像を受信し、
   前記撮影画像に対応させてユーザによって入力された領域にマスク領域を設定し、
   前記撮影画像内の前記マスク領域を含まない領域から前記球技用の移動体の画像を検出し、少なくとも２つの前記撮影画像から検出した前記移動体の画像の位置に基づいて、前記移動体の３次元位置を特定するものであり、
   前記マスク領域を設定する際、２つの前記撮影画像から前記移動体の画像が検出できなくなる領域を含む前記マスク領域がユーザによって入力された場合、その入力にかかる前記マスク領域の設定を受け付けない制御を行う、
   球技映像解析方法。
8. 球技を撮影できる互いに異なる位置に設置された複数のカメラからそれぞれ撮影画像を受信し、
   前記撮影画像に対応させてユーザによって入力された領域にマスク領域を設定し、
   前記撮影画像内の前記マスク領域を含まない領域から前記球技用の移動体の画像を検出し、少なくとも２つの前記撮影画像から検出した前記移動体の画像の位置に基づいて、前記移動体の３次元位置を特定するものであり、
   前記マスク領域を設定する際、２つの前記撮影画像から前記移動体の画像が検出できなくなる領域を含む前記マスク領域がユーザによって入力された場合、その入力にかかる前記マスク領域の設定を受け付けない処理をコンピュータに実行させる、
   コンピュータプログラム。
9. 球技を撮影できる互いに異なる位置に設置された複数のカメラからそれぞれ撮影画像を受信する受信部と、
   前記撮影画像内から前記球技用の移動体と推定される画像である移動体推定画像を検出する画像検出部と、
   前記撮影画像に対応させて前記移動体推定画像にマスク領域の設定を推奨するマスク推奨領域を設定し、ユーザによって選択された前記マスク推奨領域を前記マスク領域に設定するマスク設定部と、
   前記撮影画像内の前記マスク領域を含まない領域から前記移動体の画像を検出し、少なくとも２つの前記撮影画像から検出した前記移動体の画像の位置に基づいて、前記移動体の３次元位置を特定する解析部と、を備え、
   前記マスク設定部は、２つの前記撮影画像から前記移動体の画像が検出できなくなる領域を含む前記マスク領域がユーザによって入力された場合、その入力にかかる前記マスク領域の設定を受け付けない制御を行う、
   球技映像解析装置。

Images