JP6484858B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本開示は、画像処理装置及び画像処理方法に関する。

画像に含まれている所定の対象物を精度良く検出することを目的とした技術が開示されている（例えば特許文献１等参照）。特許文献１には、追跡対象の運動特性が変化しても、適応的かつ効率的に追跡を続行することが出来るようにすることを目的とした技術が開示されている。

特開２００７−３２８７４６号公報

画像を解析する際には、例えば、解析対象の物体を決定し、その物体が画像の各フレームでどの位置に存在しているかを解析することになる。しかし、例えば解析対象の物体が球技におけるボールのような動きの激しい物体である場合、各フレームの画像全体を解析対象とすると処理負荷が高くなり、また物体の誤検出による処理性能の低下が考えられる。従って、画像に含まれている所定の対象物を、より効率よく、また精度よく、検出することが求められる。

そこで本開示では、画像データと同じタイミングで取得されるセンシングデータを用いることで画像処理負荷の低減及び画像処理性能の向上が可能な、新規かつ改良された画像処理装置及び画像処理方法を提案する。

本開示によれば、動体を扱う際に用いるツールの状態をセンシングすることよってセンシングデータを出力するセンサ装置が使用されている状況が撮像された画像データを取得する取得部と、前記センサ装置により出力されたセンシングデータの解析結果に応じて、前記取得部により取得された画像データに含まれる動体の検出処理の内容を変化させる画像処理部と、を備える、画像処理装置が提供される。

また本開示によれば、動体を扱う際に用いるツールの状態をセンシングすることよってセンシングデータを出力するセンサ装置が使用されている状況が撮像された画像データを取得することと、前記センサ装置により出力されたセンシングデータの解析結果に応じて、取得された前記画像データに含まれる動体の検出処理の内容を変化させることと、を含む、画像処理方法が提供される。

以上説明したように本開示によれば、画像データと同じタイミングで取得されるセンシングデータを用いることで画像処理負荷の低減及び画像処理性能の向上が可能な、新規かつ改良された画像処理装置及び画像処理方法を提供することが出来る。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る情報処理装置が用いられる情報処理システムの概要を示す説明図である。 本開示の一実施形態に係る情報処理システムの各装置の機能構成例を示す説明図である。 本開示の一実施形態に係る画像データ解析部２４０の機能構成例を示す説明図である。 有効区間の検出例を示す説明図である。 有効区間の検出例を示す説明図である。 本開示の一実施形態に係る画像データ解析部２４０の機能構成例を示す説明図である。 テニスボールの検出処理の対象範囲の例を示す説明図である。 テニスボールの検出処理の対象範囲の例を示す説明図である。 本開示の一実施形態に係る画像データ解析部２４０の機能構成例を示す説明図である。 テニスボールの予測範囲の例を示す説明図である。 テニスボールの予測範囲の例を示す説明図である。 本開示の一実施形態に係る画像データ解析部２４０の機能構成例を示す説明図である。 本開示の一実施形態に係る画像データ解析部２４０の機能構成例を示す説明図である。 テニスラケットで打たれたテニスボールの移動特性の例を示す説明図である。 本開示の一実施形態に係る画像データ解析部２４０の機能構成例を示す説明図である。 テニスボールの予測範囲の例を示す説明図である。 テニスボールの予測範囲の例を示す説明図である。 本開示の一実施形態に係る画像データ解析部２４０の機能構成例を示す説明図である。 本開示の一実施形態に係る情報処理装置２００の動作例を示す流れ図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
＜１．本開示の一実施形態＞
［１．１．システムの概要］
［１．２．機能構成例］
［１．３．動作例］
＜２．まとめ＞

＜１．本開示の一実施形態＞
［１．１．システムの概要］
まず、図面を参照しながら本開示の一実施形態に係る情報処理装置が用いられる情報処理システムの概要について説明する。図１は、本開示の一実施形態に係る情報処理装置が用いられる情報処理システムの概要を示す説明図である。以下、図１を用いて本開示の一実施形態に係る情報処理装置が用いられる情報処理システムの概要について説明する。

図１に示した情報処理システムは、ユーザがテニスをプレーする際に、そのテニスのプレー動作を解析するシステムである。図１に示したように、情報処理システムは、本開示の動体を扱う際に用いるツール、または動体を打撃することにより当該動体の移動方向を変化させる打具の一例であるテニスラケット１０に装着されるセンサ装置１００と、センサ装置１００が取得したデータ（センシングデータ）を取得してユーザのテニスのプレー動作を解析する情報処理装置２００と、ユーザのテニスのプレー動作を撮像するカメラ３００と、を含んで構成される。

本開示の一実施形態に係るセンサ装置１００は、例えばテニスラケット１０のグリップエンド部分に装着することが出来るよう構成されており、この場合、ユーザはテニスラケットにセンサ装置１００を装着してテニスをプレーすることで、テニスラケットを用いたテニスのプレー動作をセンサ装置１００にセンシングさせることが出来る。もちろんセンサ装置１００は、テニスラケット１０に内蔵された形態であってもよい。また本開示の一実施形態に係るセンサ装置１００は、テニスラケット１０を使用するユーザの腕に巻かれるリストバンドに内蔵された形態であっても良い。

本開示の一実施形態に係るセンサ装置１００は、センサ装置１００自身の物理的挙動（位置、速度、加速度など）を示すセンシングデータを取得する。このセンシングデータには、ユーザや用具の物理的挙動が反映されうる。センサ装置１００は、例えばショックセンサとして用いられる１軸の加速度センサや、例えばモーションセンサとして用いられる３軸、６軸または９軸の加速度センサ、ジャイロセンサ、地磁気センサなどを含み得る。センサ装置１００は、これらのセンサ以外にも、例えば角速度、振動、温度、時刻、または位置（例えば緯度経度によって表される地表上の位置、またはコートなどに対する相対的な位置）などを検出する１または複数のセンサを有してもよい。センサ装置１００は、これらのセンサから得られる時系列データを情報処理装置２００に送信する。

情報処理装置２００は、本開示の画像処理装置の一例である。情報処理装置２００は、センサ装置１００から送信された時系列データを解析することによって、ユーザのテニスのプレー動作を解析する。情報処理装置２００は、ネットワーク上のサーバとして図示されているが、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサを用いた演算によってデータを解析する機能を有する情報処理装置であればどのようなものであってもよい。他の例において、情報処理装置２００は、例えばスマートフォン、タブレット端末、または各種のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）のような端末装置でありうる。情報処理装置２００が端末装置として実現される場合、情報処理装置２００は、解析されたユーザのテニスのプレー動作を示す情報を出力してもよい。あるいは、情報処理装置２００がサーバとして実現される場合、情報処理装置２００は、判定されたユーザのテニスのプレー動作を示す情報を、例えばユーザが自宅で使用する端末装置などのクライアント装置（図示せず）に送信してもよい。さらに、情報処理装置２００は、ユーザのテニスのプレー動作の解析結果に基づいて、例えばユーザがどのような動作を何回実行したかといったような統計情報を出力してもよいし、それぞれの動作におけるユーザの傾向（例えば球技の場合、用具にボールが当たる位置や、ボールに与えられたパワーまたは回転など）を示す情報を出力してもよい。

カメラ３００は、画像を撮像する装置であり、本実施形態では、センサ装置１００が装着されたテニスラケット１０を使ってテニスをプレーするユーザ（プレーヤ）の姿を被写体として撮像する。従って、カメラ３００で撮像されるプレーヤは、本開示の被写体の一例である。カメラ３００が撮像する画像は、静止画と動画とを含む。カメラ３００は、ユーザの姿を撮像した画像を情報処理装置２００に送信する。情報処理装置２００は、センサ装置１００から送信された時系列データを解析するとともに、カメラ３００から送信された画像を解析して、その解析結果を出力する。すなわち、センサ装置１００が装着されたテニスラケット１０を使ってテニスのプレーヤの姿を撮像することで、カメラ３００は、センサ装置１００が取得したセンシングデータの時間帯を含んだ時間帯の画像を撮像することが出来る。

なお、図１では、情報処理装置２００とカメラ３００とが別々の装置として存在している様子を示しているが、本開示は係る例に限定されるものではない。つまり、情報処理装置２００にカメラ３００が内蔵されており、カメラ３００が撮像した画像がそのまま情報処理装置２００に記録されるような形態であってもよい。

情報処理装置２００は、カメラ３００が撮像した画像に対して、動体、例えばテニスボールの場所を特定する等の画像処理を実行する。しかし、カメラ３００が撮像した画像に対する画像処理は負荷が大きく、特にボールの場所を誤って検出しないようにするための画像処理には大きな負荷が掛かる。

そこで本開示の一実施形態に掛かる情報処理装置２００は、カメラ３００が撮像した画像に対する画像処理を実行する際に、センサ装置１００から送信された時系列データの解析によって得られる情報を用いる。本開示の一実施形態に掛かる情報処理装置２００は、画像に対する画像処理の実行の際にセンサ装置１００から送信された時系列データの解析によって得られる情報を用いることで、画像処理の際の負荷を低減させるとともに、画像処理の際の処理性能を向上させることが出来る。

以上、図１を用いて本開示の一実施形態に係る情報処理装置が用いられる情報処理システムの概要について説明した。続いて、本開示の一実施形態に係る情報処理装置が用いられる情報処理システムの機能構成例について説明する。

［１．２．機能構成例］
（１）情報処理システムの各装置の機能構成例
図２は、本開示の一実施形態に係る情報処理システムの各装置の機能構成例を示す説明図である。以下、図２を用いて本開示の一実施形態に係る情報処理システムの各装置の機能構成例について説明する。

図２に示したように、本開示の一実施形態に係るセンサ装置１００は、センサデータ取得部１１０と、センサデータ送信部１２０と、を含んで構成される。また図２に示したように、本開示の一実施形態に係るカメラ３００は、画像データ取得部３１０と、画像データ送信部３２０と、を含んで構成される。

そして図２に示したように、本開示の一実施形態に係る情報処理装置２００は、センサデータ受信部２１０と、画像データ受信部２２０と、センサデータ解析部２３０と、画像データ解析部２４０と、データ表示部２５０と、を含んで構成される。

センサデータ取得部１１０は、センサ装置１００自身の物理的挙動（位置、速度、加速度など）を示すセンシングデータを、センサ装置１００の内部に備えられたセンサ（図示せず）から取得する。センサデータ取得部１１０は、センシングデータをセンサから取得すると、取得したセンシングデータをセンサデータ送信部１２０に送る。

センサデータ送信部１２０は、センサデータ取得部１１０から送られてきたセンシングデータを、情報処理装置２００へ向けて送信する。なおセンサデータ送信部１２０は、送信の前処理として、例えば、センシングデータの増幅や、閾値以下のセンシングデータのフィルタリングなどを実行してもよい。センサデータ送信部１２０によるセンシングデータの送信には、例えばＢｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などが用いられてもよい。なお、センシングデータは必ずしもリアルタイムで情報処理装置２００に送信されなくてもよいため、センシングデータは、例えばプレーヤが一連のプレーを終了した後に有線または無線通信によってセンサデータ送信部１２０から情報処理装置２００に送信されてもよい。

画像データ取得部３１０は、カメラ３００が撮像した画像データを取得する。上述したように、カメラ３００が撮像する画像データには、静止画と動画とが含まれる。画像データ取得部３１０は、取得した画像データを画像データ送信部３２０に送る。

画像データ送信部３２０は、画像データ取得部３１０から送られてきた画像データを、情報処理装置２００へ向けて送信する、画像データ送信部１２０による画像データの送信には、例えばＢｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などが用いられてもよい。また画像データは、例えばプレーヤが一連のプレーを終了した後に有線または無線通信によって画像データ送信部３２０から情報処理装置２００に送信されてもよい。

センサデータ受信部２１０は、センサデータ送信部１２０が送信したセンシングデータを受信する。センサデータ受信部２１０は、センサデータ送信部１２０から送信されたセンシングデータを受信すると、その受信したセンシングデータをセンサデータ解析部２３０へ送る。

画像データ受信部２２０は、画像データ送信部３２０が送信した画像データを受信する。画像データ受信部２２０は、画像データ送信部３２０から送信された画像データを受信すると、その受信した画像データｍ１を画像データ解析部２４０及びデータ表示部２５０に送る。

図２では、センサデータ受信部２１０と画像データ受信部２２０とは別々のブロックで示したが、本開示は係る例に限定されるものではない。センサデータ受信部２１０と画像データ受信部２２０が同一のブロックで構成されていても構わない。

センサデータ解析部２３０は、センシングデータの解析処理を実行する。センサデータ解析部２３０は、例えば国際公開第２０１３／０６９４４７号公報で開示されているような技術を用いてセンシングデータを解析する。センサデータ解析部２３０は、センサ装置１００が送信したセンシングデータを解析することで、センサ装置１００が装着されているテニスラケット１０や、テニスボール１０によって打ち返されたテニスボールに関する種々の情報を得ることが出来る。センサデータ解析部２３０がセンシングデータを解析することで得られる情報には、例えば、テニスラケット１０にテニスボールが当たった時刻であるインパクト時刻、テニスラケット１０のスイングのタイプ、テニスラケット１０のスイングスピード、テニスラケット１０が打ったテニスボールのボールスピード、テニスラケット１０が打ったテニスボールのスピン量、テニスラケット１０のラケット面上のインパクトスポット（テニスボールの衝突位置）、などが含まれ得る。

センサデータ解析部２３０は、テニスラケット１０のスイングのタイプを、例えば、センシングデータから得られるテニスラケット１０の速度、テニスラケット１０の傾き、テニスラケット１０の回転量等の情報に基づいて取得する。またセンサデータ解析部２３０は、例えば、テニスボールが衝突する部分とは異なる部分に装着されたセンサ装置１００によってテニスラケット１０にテニスボールが衝突したときの振動を検出した振動データに基づいて、振動データの振動特性と、テニスラケット１０のテニスボールが衝突する位置ごとの振動特性とを比較することによって、テニスラケット１０のラケット面上のインパクトスポットを特定し得る。

またセンサデータ解析部２３０は、センサ装置１００の取付位置における衝突時のテニスラケット１０の速度を、例えばモーションセンサによって検出されるテニスラケット１０の加速度変化に基づいて推定する。さらに、センサデータ解析部２３０は、例えばモーションセンサによって検出されるテニスラケット１０の回転に基づいて、センサ装置１００の取付位置における速度を、テニスボールの衝突位置におけるテニスラケット１０の速度に変換する。

センサデータ解析部２３０は、このように、センシングデータの解析によって得られた、センサ装置１００が装着されているテニスラケット１０や、テニスボール１０によって打ち返されたテニスボールに関する種々の情報が含まれるセンサ解析結果ｉ１を、画像データ解析部２４０及びデータ表示部２５０に送る。

画像データ解析部２４０は、本開示の画像処理部の一例である。画像データ解析部２４０は、画像データ受信部２２０が受信した画像データｍ１に対する画像解析処理を実行する。画像データ解析部２４０が画像データｍ１を解析することによって、プレーヤのプレー内容に関する種々の情報を得ることが出来る。画像データ解析部２４０が画像データｍ１を解析することによって得られる情報としては、例えばボールの位置、スピード、軌跡、スピン量、コートへの落下地点、人の位置、移動スピード、移動距離、などが含まれ得る。ボールの位置や人の位置は画像データの解析によって、スピードや軌跡は、画像データの解析から得られる情報を微分や積分する等によって、スピン量や落下地点などは、画像データの解析から得られる情報に事前知識を活用すること等によって、それぞれ得ることが出来る。画像データ解析部２４０は、画像データの解析によって得られる画像解析結果ｉ２をデータ表示部２５０に送る。この画像解析結果ｉ２には、上述のボールの位置、スピード、軌跡、スピン量、コートへの落下地点、人の位置、移動スピード、移動距離、などが含まれ得る。

本実施形態では、画像データ解析部２４０は、画像データｍ１の解析に際して、センサデータ解析部２３０から送られてくる、センシングデータの解析によって得られたセンサ解析結果ｉ１を用いる。センシングデータの解析によって得られたセンサ解析結果ｉ１を用いて画像データｍ１を解析することで、画像データ解析部２４０は、画像データｍ１を効率よく、また負荷を低減させて解析することができるとともに、画像データｍ１の解析性能を向上させることができる。

データ表示部２５０は、画像データ受信部２２０から送られてくる画像データｍ１を表示する。データ表示部２５０は、画像データｍ１の表示に際し、センサデータ解析部２３０から送られてくるセンサ解析結果ｉ１と、画像データ解析部２４０から送られてくる画像解析結果ｉ２とを用いて、これらの解析結果を画像データｍ１に重畳させて表示し得る。

上述したように、本開示においては、情報処理装置２００にカメラ３００が内蔵されており、カメラ３００が撮像した画像がそのまま情報処理装置２００に記録されるような形態であってもよい。

以上、図２を用いて本開示の一実施形態に係る情報処理システムの各装置の機能構成例について説明した。続いて、本開示の一実施形態に係る情報処理装置２００に含まれる、画像データ解析部２４０の機能構成例について説明する。

（２）画像データ解析部の機能構成例（その１）
画像データ解析部２４０で画像データｍ１を解析する際に、プレーヤがテニスラケット１０で打球していない区間を解析の対象から除外することで、画像データ解析部２４０の解析処理量を削減させて、解析性能を向上させることが出来る。テニスラケット１０で打球していない区間は、センサ解析結果ｉ１に含まれるインパクト時刻の情報から把握できるので、画像データ解析部２４０は、インパクト時刻の情報を用いて画像データの解析処理を実行する区間を決定することが出来る。以下、インパクト時刻の情報を用いて画像データの解析処理を実行する区間を決定する場合の、画像データ解析部２４０の機能構成例について説明する。

図３は、本開示の一実施形態に係る画像データ解析部２４０の機能構成例を示す説明図である。図３に示したのは、インパクト時刻の情報を用いて画像データの解析処理を実行する区間を決定する場合の、画像データ解析部２４０の機能構成例である。以下、図３を用いて本開示の一実施形態に係る画像データ解析部２４０の機能構成例について説明する。

図３に示したように、本開示の一実施形態に係る画像データ解析部２４０は、インパクトフレーム番号計算部２４０１と、有効区間検出部２４０２と、ボール検出部２４０３と、を含んで構成される。

インパクトフレーム番号計算部２４０１は、画像データｍ１の先頭時刻と、センサデータ解析部２３０から送られるセンシングデータの解析によって得られたインパクト時刻ｉ１１と、の情報を用いて、センサ装置１００が装着されたテニスラケット１０にインパクトのあった画像データｍ１のフレーム番号を計算する。インパクトフレーム番号計算部２４０１は、インパクトフレーム番号ｉ１０１を有効区間検出部２４０２に送る。

有効区間検出部２４０２は、インパクトフレーム番号計算部２４０１から送られるインパクトフレーム番号ｉ１０１を用いて、解析対象とする画像データｍ１の有効区間を検出する。有効区間検出部２４０２は、解析対象とする画像データｍ１の有効区間ｉ１０２を検出すると、その有効区間ｉ１０２をボール検出部２４０３に送る。

有効区間検出部２４０２は、例えば、インパクトフレーム番号ｉ１０１の情報を参照し、インパクト間隔が所定値以内（例えば画像データｍ１が秒間３０フレームで、インパクト間隔が３０フレーム以内）の区間は、画像データｍ１の解析対象とする有効区間として検出し、インパクト間隔が所定値を超える区間は、画像データｍ１の解析対象としない無効区間として検出する。これは、例えばテニスでラリーが続いている区間のみを有効区間とし、その有効区間以外の区間を無効区間とすることで、後段のボール検出部２４０３の処理負荷を低減させることに繋がるものである。

図４は、有効区間検出部２４０２による有効区間の検出例を示す説明図である。図４の縦の線はテニスラケット１０にインパクトがあった時刻を示している。また符号ｖ１〜ｖ４で示した区間は、有効区間検出部２４０２が検出する有効区間である。このように、有効区間検出部２４０２は、インパクト間隔が所定値以内の区間を、画像データｍ１の解析対象とする有効区間として検出することが出来る。

有効区間検出部２４０２は、また例えば、インパクトフレーム番号ｉ１０１の情報を参照し、そのインパクトフレーム番号ｉ１０１の前後の所定区間を、画像データｍ１の解析対象とする有効区間として検出する。これは、例えばサーブ等の特定の打球のみを検出する場合に、サーブの一連の動作が行われる区間のみを有効区間とし、その有効区間以外の区間を無効区間とすることで、後段のボール検出部２４０３の処理負荷を低減させることに繋がるものである。

図５は、有効区間検出部２４０２による有効区間の検出例を示す説明図である。図５に示したのは、センサ装置１００が装着されているテニスラケット１０でプレーヤがサーブを打つ場面を例にした、有効区間検出部２４０２による有効区間の検出例である。例えば、時刻ｔ１１でプレーヤがラケットを構えたことがセンシングデータの解析によって得られたとする。しかし、この時点ではテニスラケット１０がサーブを打つまでにまだ時間があるので、有効区間検出部２４０２は時刻ｔ１１の時点を有効区間として検出しない。

その後、時刻ｔ１３でプレーヤがサーブを打ったことが、センシングデータの解析によってそれぞれ得られたとする。有効区間検出部２４０２は、時刻ｔ１３の所定時間前の時刻ｔ１２でプレーヤがボールをトスし、時刻ｔ１３の所定時間後の時刻ｔ１４でプレーヤがサーブのフォロースルーを終えたと判断し、時刻ｔ１３の前後の所定時間を有効区間として検出する。このように、有効区間検出部２４０２は、インパクト時刻の前後の所定時間の区間を、画像データｍ１の解析対象とする有効区間として検出することが出来る。

ボール検出部２４０３は、画像データｍ１におけるテニスボールの位置をフレームごとに検出する処理を実行する。ボール検出部２４０３は、テニスボールの位置を検出した結果得られる、各フレーム画像上でのテニスボールの座標ｉ２１を出力する。なお、ボール検出部２４０３が実行するテニスボールの検出処理は、特定の技術に限定されるものではなく、例えば予め指定されたパターンとの比較を行なうパターンマッチング、機械学習、背景差分等の中から任意の技術が用いられ得る。

そしてボール検出部２４０３は、画像データｍ１におけるテニスボールの位置を検出する処理の実行に際し、有効区間検出部２４０２が検出した有効区間ｉ１０２を用いる。つまりボール検出部２４０３は、有効区間検出部２４０２が検出した有効区間ｉ１０２の間だけ、画像データｍ１におけるテニスボールの位置を検出する処理を実行する。ボール検出部２４０３は、有効区間ｉ１０２の間だけ、テニスボールの位置を検出する処理を実行するので、全ての区間で処理を実行しなくて済む。

本実施形態では、インパクトフレーム番号計算部２４０１でインパクトフレーム番号を求め、有効区間検出部２４０２でそのインパクトフレーム番号を用いて画像処理の対象とする有効区間を検出しているが、本開示は係る例に限定されるものではない。例えば画像データ解析部２４０は、センサデータ解析部２３０から送られるセンシングデータの解析によって得られた情報から、プレーヤによる特定の動作が行われたタイミングを検出し、そのタイミングを用いて有効区間検出部２４０２で有効区間ｉ１０２を検出しても良い。特定の動作としては、例えば、プレーヤによるテニスラケット１０のスイング動作、テニスラケット１０によるテニスボールのインパクト、テニスラケット１０のフォロースルーの完了等が含まれ得る。

（３）画像データ解析部の機能構成例（その２）
画像データ解析部２４０は、画像データｍ１を解析する際には、各フレームの画像全体を解析対象とするが、センシングデータの解析によって得られたセンサ解析結果ｉ１を用いることで、解析対象の範囲を動的に変化させることができる。例えば、テニスラケット１０がテニスボールを打ったインパクトの瞬間は、テニスボールは人間の近くにある。従って画像データ解析部２４０は、インパクトのタイミング及びその近傍のタイミングでは、人間の近くの範囲に解析対象の範囲を絞る。範囲を絞ることで、画像データ解析部２４０は、テニスボールの位置の検出の際の処理負荷を軽減させるとともに、検出性能を向上させることができる。以下、インパクト時刻の情報を用いて画像データの解析処理の対象範囲を決定する場合の、画像データ解析部２４０の機能構成例について説明する。

図６は、本開示の一実施形態に係る画像データ解析部２４０の機能構成例を示す説明図である。図６に示したのは、インパクト時刻の情報を用いて画像データの解析処理の対象範囲を決定する場合の、画像データ解析部２４０の機能構成例である。以下、図６を用いて本開示の一実施形態に係る画像データ解析部２４０の機能構成例について説明する。

図６に示したように、本開示の一実施形態に係る画像データ解析部２４０は、インパクトフレーム番号計算部２４０１と、ボール検出部２４０３と、人検出部２４０４と、検出対象範囲計算部２４０５と、を含んで構成される。

インパクトフレーム番号計算部２４０１は、図３の説明と同様に、センサ装置１００が装着されたテニスラケット１０にインパクトのあった画像データｍ１のフレーム番号を計算する。インパクトフレーム番号計算部２４０１は、インパクトフレーム番号ｉ１０１を検出対象範囲計算部２４０５に送る。

ボール検出部２４０３は、図３の説明と同様に、画像データｍ１におけるテニスボールの位置をフレームごとに検出する処理を実行する。ボール検出部２４０３は、テニスボールの位置を検出した結果得られる、各フレーム画像上でのテニスボールの座標ｉ２１を出力する。なお、ボール検出部２４０３が実行するテニスボールの検出処理は、特定の技術に限定されるものではなく、例えば予め指定されたパターンとの比較を行なうパターンマッチング、機械学習、背景差分等の中から任意の技術が用いられ得る。

人検出部２４０４は、画像データｍ１における人間の位置をフレームごとに検出する処理を実行する。人検出部２４０４は、人間の位置を検出した結果得られる、各フレーム画像上での人間の座標ｉ１０３を出力する。なお、人検出部２４０４が実行する人間の検出処理は、ボール検出部２４０３と同様に特定の技術に限定されるものではなく、例えば予め指定されたパターンとの比較を行なうパターンマッチング、機械学習、背景差分等の中から任意の技術が用いられ得る。

検出可能範囲計算部２４０５は、インパクトフレーム番号計算部２４０１から送られるインパクトフレーム番号ｉ１０１と、人検出部２４０４から送られる人間の座標ｉ１０３とを用いて、ボール検出部２４０３でのテニスボールの検出処理の対象範囲をフレームごとに決定する。検出可能範囲計算部２４０５は、決定した検出対象範囲ｉ１０４をボール検出部２４０３に送る。

検出可能範囲計算部２４０５は、画像データｍ１における、インパクトフレーム番号ｉ１０１、またその近傍のフレーム番号ではないフレーム番号のフレームは、ボール検出部２４０３でのテニスボールの検出処理の対象範囲を、テニスボールが移動しうる範囲全体に広げる。一方、検出可能範囲計算部２４０５は、画像データｍ１における、インパクトフレーム番号ｉ１０１、及びその近傍のフレーム番号のフレーム番号のフレームは、ボール検出部２４０３でのテニスボールの検出処理の対象範囲を、テニスラケット１０を使用する人間の近傍の範囲に狭める。

図７及び図８は、検出可能範囲計算部２４０５によって決定される、ボール検出部２４０３でのテニスボールの検出処理の対象範囲の例を示す説明図である。図７は、画像データｍ１における、インパクトフレーム番号ｉ１０１、またその近傍のフレーム番号ではない、あるフレーム番号におけるフレームの画像の例である。また図８は、画像データｍ１における、インパクトフレーム番号ｉ１０１のフレームの近傍の、あるフレーム番号におけるフレームの画像の例である。

図７のように、プレーヤによるインパクトが検出されていないフレームでは、検出可能範囲計算部２４０５は、ボール検出部２４０３でのテニスボールの検出処理の対象範囲を、範囲ａ１に決定する。この範囲ａ１は、例えば画像データｍ１におけるテニスボールが移動しうる範囲であり、予め設定される範囲であってもよく、ボール検出部２４０３でのテニスボールの検出処理の結果を用いた機械学習によって設定される範囲であってもよい。なお、図７に示した符号ｔ１は、ボール検出部２４０３で検出されたテニスボールの位置を含んだ所定の領域を示し、符号ｈ１、ｈ２は、人検出部２４０４で検出された人の位置を含んだ所定の領域を示しており、ここでは符号ｈ１で示した領域に存在する人間が、センサ装置１００が装着されたテニスラケット１０を使用しているとする。

一方、図８のように、プレーヤによるインパクトが検出されたフレーム及びそのフレームの近傍、例えばインパクトが検出されたフレームの前後１０フレーム以内では、検出可能範囲計算部２４０５は、ボール検出部２４０３でのテニスボールの検出処理の対象範囲を、範囲ａ１より狭い範囲ａ２に決定する。なお、図８に示した符号ｔ２は、ボール検出部２４０３で検出されたテニスボールの位置を含んだ所定の領域を示している。

この範囲ａ２を決定するに際し、検出可能範囲計算部２４０５は、人間の向きも考慮に入れても良い。例えば、テニスのプレー中は、プレーヤが空振りしない限り、テニスボールがプレーヤの背後に位置することはない。従って検出可能範囲計算部２４０５は、図８に示したように、人間の背後はボール検出部２４０３でのテニスボールの検出処理の対象範囲から除外しても良い。

ボール検出部２４０３は、画像データｍ１におけるテニスボールの位置を検出する処理の実行に際し、検出可能範囲計算部２４０５が決定した検出対象範囲ｉ１０４を用いる。つまりボール検出部２４０３は、検出可能範囲計算部２４０５が決定した検出対象範囲ｉ１０４についてだけ、画像データｍ１におけるテニスボールの位置を検出する処理を実行する。ボール検出部２４０３は、画像のすべての範囲ではなく、検出対象範囲ｉ１０４についてだけ、テニスボールの位置を検出する処理を実行するので、検出処理の際の負荷の低減及び検出性能の向上が可能となる。

（４）画像データ解析部の機能構成例（その３）
画像データ解析部２４０は、画像データｍ１を解析する際には、対象物の移動方向を予測して探索範囲を狭めることで、対象物の検出効率を上げることができる。例えば画像データｍ１からテニスボールの位置を検出する場合、画像データ解析部２４０は、検出対象のフレーム以前のフレームにおけるテニスボールの位置を考慮して、検出対象のフレームにおけるテニスボールの大凡の位置を予測して探索範囲を狭めることで、テニスボールの検出効率を上げることができる。

しかし、プレーヤがテニスラケットでテニスボールを打ち返すと、そのタイミングでテニスボールの移動方向が変化する。画像データ解析部２４０は、プレーヤがテニスラケットでテニスボールを打ち返したにも関わらず、打ち返す前のテニスボールの移動方向と同じ方向でテニスボールが移動していると判断してしまうと、予測した位置にテニスボールが存在せず、改めて探索し直さなければならない。従って、画像データ解析部２４０は、単純にテニスボールの移動方向だけで探索範囲を決めてしまうと、テニスボールの場所を見つけるのに時間が掛かる可能性がある。

そこで画像データ解析部２４０は、インパクトのタイミングの前後ではテニスボールが移動すると予測される方向（以下「予測方向」とも称する）を切り替え、その切り替えた予測方向に基づいて予測範囲を設定する。インパクトのタイミングの前後でテニスボールの予測方向を切り替えることで、画像データ解析部２４０は、テニスボールの位置の検出の際の処理負荷を軽減させるとともに、検出性能を向上させることができる。以下、インパクト時刻の情報を用いてテニスボールの予測方向を切り替える場合の、画像データ解析部２４０の機能構成例について説明する。

図９は、本開示の一実施形態に係る画像データ解析部２４０の機能構成例を示す説明図である。図９に示したのは、インパクト時刻の情報を用いてテニスボールの予測方向及び予測範囲を設定する場合の、画像データ解析部２４０の機能構成例である。以下、図９を用いて本開示の一実施形態に係る画像データ解析部２４０の機能構成例について説明する。

図９に示したように、本開示の一実施形態に係る画像データ解析部２４０は、インパクトフレーム番号計算部２４０１と、ボール検出部２４０３と、予測方向設定部２４０６と、移動量検出部２４０７と、予測範囲設定部２４０８と、を含んで構成される。

インパクトフレーム番号計算部２４０１は、図３の説明と同様に、センサ装置１００が装着されたテニスラケット１０にインパクトのあった画像データｍ１のフレーム番号を計算する。インパクトフレーム番号計算部２４０１は、インパクトフレーム番号ｉ１０１を予測方向設定部２４０６に送る。

ボール検出部２４０３は、図３、図６の説明と同様に、画像データｍ１におけるテニスボールの位置をフレームごとに検出する処理を実行する。ボール検出部２４０３は、テニスボールの位置を検出した結果得られる、各フレーム画像上でのテニスボールの座標ｉ２１を出力する。各フレーム画像上でのテニスボールの座標ｉ２１は、移動量検出部２４０７にも送られる。なお、ボール検出部２４０３が実行するテニスボールの検出処理は、特定の技術に限定されるものではなく、例えば予め指定されたパターンとの比較を行なうパターンマッチング、機械学習、背景差分等の中から任意の技術が用いられ得る。図９に示した構成例では、ボール検出部２４０３は、後述の予測範囲設定部２４０８から送られる予測範囲ｉ１０６に基づいて、画像データｍ１におけるテニスボールの位置を検出する。

移動量検出部２４０７は、ボール検出部２４０３から送られてくる各フレーム画像上でのテニスボールの座標ｉ２１を用いて、画像データｍ１におけるテニスボールの移動量を検出する。具体的には、移動量検出部２４０７は、現在フレームのテニスボールの座標と１フレーム前のフレームのテニスボールの座標とを比較することで、画像データｍ１におけるテニスボールの移動量を検出する。移動量検出部２４０７は、検出したテニスボールの移動量ｉ１０７を予測方向設定部２４０６に送る。なお、移動量検出部２４０７が検出するテニスボールの移動量ｉ１０７は、方向の情報を含んだベクトル量である。

予測方向設定部２４０６は、インパクトフレーム番号計算部２４０１から送られるインパクトフレーム番号ｉ１０１と、移動量検出部２４０７から送られるテニスボールの移動量ｉ１０７と、を用いて、テニスボールが次のフレームで移動しそうな方向を設定する。予測方向設定部２４０６は、テニスボールの予測方向ｉ１０５を予測範囲設定部２４０８に送る。

予測方向設定部２４０６は、次のフレームがインパクトフレーム番号ｉ１０１の次のフレーム番号のフレームでなければ、テニスボールの移動量ｉ１０７から得られる移動方向と同じ方向に、テニスボールが次のフレームで移動しそうな方向を設定する。一方、予測方向設定部２４０６は、次のフレームがインパクトフレーム番号ｉ１０１の次のフレーム番号のフレームであれば、テニスボールの移動量ｉ１０７から得られる移動方向とは逆の方向に、テニスボールが次のフレームで移動しそうな方向を設定する。

予測範囲設定部２４０８は、予測方向設定部２４０６が設定したテニスボールの予測方向ｉ１０５に基づいて、テニスボールが次のフレームで移動しそうな範囲を予測し、予測範囲を設定する。予測範囲設定部２４０８は、設定した予測範囲ｉ１０６をボール検出部２４０３に送る。予測範囲ｉ１０６には、予測範囲のフレーム画像における左上の座標、幅、高さが含まれ得る。

図１０及び図１１は、予測方向設定部２４０６によって設定されたテニスボールの予測方向に基づき、予測範囲設定部２４０８が設定するテニスボールの予測範囲の例を示す説明図である。図１０に示したのは、インパクトタイミングではない場面での予測範囲設定部２４０８によるテニスボールの予測範囲の設定例である。また図１１は、インパクトタイミングの場面での、予測範囲設定部２４０８によるテニスボールの予測範囲の設定例である。図１０及び図１１において、符号ｔｂ１は、テニスボールの予測範囲の設定対象となるフレームの２フレーム前のテニスボールの位置を示し、符号ｔｂ２は、テニスボールの予測範囲の設定対象となるフレームの１フレーム前のテニスボールの位置を示している。

インパクトタイミングではない場面では、予測方向設定部２４０６は、テニスボールは同一の方向（順方向）に移動すると判断して、テニスボールの予測方向ｉ１０５を設定する。そして予測範囲設定部２４０８は、予測方向設定部２４０６が設定したテニスボールの予測方向ｉ１０５に基づいて、予測範囲ｉ１０６を設定する。図１０の符号ｐ１は、インパクトタイミングではない場面で、予測範囲設定部２４０８が設定した予測範囲の例である。

一方、インパクトタイミングの場面では、予測方向設定部２４０６は、テニスボールは今までの移動方向とは反対の方向（逆方向）に移動すると判断して、テニスボールの予測方向ｉ１０５を設定する。そして予測範囲設定部２４０８は、予測方向設定部２４０６が設定したテニスボールの予測方向ｉ１０５に基づいて、予測範囲ｉ１０６を設定する。図１１の符号ｐ２は、インパクトタイミングの場面で、予測範囲設定部２４０８が設定した予測範囲の例である。

このように、インパクトタイミングか否かでテニスボールの予測方向を変化させることで、画像データ解析部２４０は、テニスボールの位置の検出の際の処理負荷を軽減させるとともに、検出性能を向上させることができる。

なお、プレーヤがテニスボールをテニスラケットで打った際に、テニスボールが完全に逆方向に飛ぶとは限らない。プレーヤのミスショット等によってテニスボールが上に飛んだり、また下に飛んだりする可能性もある。従って予測範囲設定部２４０８は、インパクトタイミングの場面では、インパクトタイミングではない場面よりも予測範囲を広く設定してもよい。

また予測範囲設定部２４０８は、インパクトタイミングのフレーム及びそのインパクトタイミングの前後のフレームでは、テニスボールの予測範囲を、順方向及び逆方向の両方向に設定してもよい。そして予測範囲設定部２４０８は、インパクトタイミングの前のフレームでは、順方向の重みを大きくし、インパクトタイミングの後のフレームでは、逆方向の重みを大きくするように、予測の重みを切り換えても良い。つまりボール検出部２４０３は、テニスボールらしきものを順方向及び逆方向の両方で検出した場合、インパクトタイミングの前であれば、予測範囲設定部２４０８によって順方向の方に重みが大きく設定されているので、順方向の方で検出したものをテニスボールと判定してもよい。

センサ装置１００から送信されるセンシングデータと、カメラ３００から送信される画像データとで、完全に時刻の同期が取れていれば、上述のインパクトタイミングか否かでテニスボールの予測方向を変化させる手法を用いると、画像データ解析部２４０でのテニスボールの位置の検出の際の処理負荷の軽減や、検出性能の向上に寄与できる。しかし、センシングデータの取得時刻の遅延や、センシングデータと画像データとで完全に時刻の同期が取れていない場合など、インパクトタイミングが正確に定まらない場合が考えられ得る。そのような場合を考慮して、画像データ解析部２４０は、センサデータ解析部２３０から、インパクト区間の情報を取得し、このインパクト区間ではテニスボールの予測方向を順方向及び逆方向の両方向に設定してもよい。インパクト区間ではテニスボールの予測方向を両方向に設定することで、画像データ解析部２４０は、インパクトタイミングが正確に定まらない場合でも、テニスボールの位置を正確に検出することが可能になる。

図１２は、本開示の一実施形態に係る画像データ解析部２４０の機能構成例を示す説明図である。図１２に示したのは、インパクト区間の情報を用いてテニスボールの予測方向及び予測範囲を設定する場合の、画像データ解析部２４０の機能構成例である。以下、図１２を用いて本開示の一実施形態に係る画像データ解析部２４０の機能構成例について説明する。

図１２に示したように、本開示の一実施形態に係る画像データ解析部２４０は、インパクト区間計算部２４０１’と、ボール検出部２４０３と、予測方向設定部２４０６と、移動量検出部２４０７と、予測範囲設定部２４０８と、を含んで構成される。

インパクト区間計算部２４０１’は、センサ装置１００が装着されたテニスラケット１０にインパクトのあった、画像データｍ１のフレームの区間を計算する。インパクト区間計算部２４０１’は、インパクトのあった区間の計算に際しては、センサデータ解析部２３０から送られるインパクト時刻及びインパクト誤差ｉ１１’を用いる。インパクト誤差１１’は、例えばセンシングデータの取得時刻の遅延時間、センシングデータと画像データとの間の時間差等から得られ得る。インパクト区間計算部２４０１’は、インパクト時刻及びインパクト誤差１１’から、インパクトのあった区間を計算できる。インパクト区間計算部２４０１’は、計算したインパクト区間ｉ１０１’を予測方向設定部２４０６に送る。

予測方向設定部２４０６は、次のフレームがインパクト区間か否かによって、テニスボールの予測方向を設定する。インパクト区間で無ければ、予測方向設定部２４０６は、テニスボールは順方向に移動すると判断して、テニスボールの予測方向ｉ１０５を設定する。一方インパクト区間であれば、予測方向設定部２４０６は、テニスボールは逆方向に移動すると判断して、テニスボールの予測方向ｉ１０５を設定する。

このようにインパクト区間を計算し、そのインパクト区間に応じてテニスボールの予測方向を設定することで、画像データ解析部２４０は、インパクトタイミングが正確に定まらない場合でも、テニスボールの位置を正確に検出することが可能になる。

（５）画像データ解析部の機能構成例（その４）
上述したように、画像データ解析部２４０は、画像データｍ１を解析する際には、対象物の移動方向を予測して探索範囲を狭めることで、対象物の検出効率を上げることができる。例えばテニスでは、プレーヤによるテニスラケットのスイングタイプや、テニスボールへのスピンの掛け方等によって、テニスラケットで打たれたボールの移動の特性が変化する。

従って、このスイングタイプの情報を参照して、テニスボールの予測範囲を調整することで、画像データ解析部２４０でのテニスボールの検出処理を削減させたり、検出性能を向上させたりすることが出来る。以下、ボールの移動の特性を用いてテニスボールの予測範囲を調整する場合の、画像データ解析部２４０の機能構成例について説明する。

図１３は、本開示の一実施形態に係る画像データ解析部２４０の機能構成例を示す説明図である。図１３に示したのは、ボールの移動の特性を用いてテニスボールの予測範囲を調整する場合の、画像データ解析部２４０の機能構成例である。以下、図１３を用いて本開示の一実施形態に係る画像データ解析部２４０の機能構成例について説明する。

図１３に示したように、本開示の一実施形態に係る画像データ解析部２４０は、ボール検出部２４０３と、予測範囲設定部２４０８と、予測範囲補正部２４０９と、を含んで構成される。

ボール検出部２４０３は、図３、図６、図９の説明と同様に、画像データｍ１におけるテニスボールの位置をフレームごとに検出する処理を実行する。ボール検出部２４０３は、後述の予測範囲補正部２４０９から送られる補正後予測範囲ｉ１０８に基づいて、画像データｍ１におけるテニスボールの位置を検出する。

予測範囲設定部２４０８は、図９の説明と同様に、予測方向設定部２４０６（図１３には図示せず）が設定したテニスボールの予測方向ｉ１０５（図１３には図示せず）に基づいて、テニスボールが次のフレームで移動しそうな範囲を予測し、予測範囲を設定する。予測範囲設定部２４０８は、設定した予測範囲ｉ１０６を予測範囲補正部２４０９に送る。予測範囲ｉ１０６には、予測範囲のフレーム画像における左上の座標、幅、高さが含まれ得る。

予測範囲補正部２４０９は、センサデータ解析部２３０から送られてくる、スイングタイプ及びスピン量ｉ１２を用いて、予測範囲設定部２４０８から送られてくる予測範囲ｉ１０６を補正する。予測範囲補正部２４０９は、予測範囲設定部２４０８から送られてくる予測範囲ｉ１０６を補正した補正後予測範囲ｉ１０８をボール検出部２４０３に送る。補正後予測範囲ｉ１０８には、予測範囲のフレーム画像における左上の座標、幅、高さが含まれ得る。

図１４は、テニスラケットで打たれたテニスボールの移動特性の例を示す説明図である。図１４のａの軌道は、テニスボールが伸びるようにプレーヤが打った場合の軌道、ｂの軌道は、通常の打ち方でプレーヤが打った場合の軌道、ｃの軌道は、テニスボールが伸びずに落ちるようにプレーヤが打った場合の軌道の例である。符号ｔｂ１ａ、ｔｂ１ｂ、ｔｂ１ｃは、それぞれａ、ｂ、ｃの軌道上のある時刻でのテニスボールの位置、符号ｔｂ２ａ、ｔｂ２ｂ、ｔｂ２ｃは、それぞれａ、ｂ、ｃの軌道上の別のある時刻でのテニスボールの位置を示す。プレーヤによるスイングタイプや、テニスボールへのスピンの掛け方によって軌道が決まる。またそのスイングタイプやスピンの掛け方は、センサデータ解析部２３０によるセンシングデータの解析で得られる。

例えば図１４のａのような軌道でテニスボールが飛んでいることが、スイングタイプ及びスピン量ｉ１２から解ると、予測範囲補正部２４０９は、例えば図１４のａのような軌道でテニスボールが飛んでいることが、スイングタイプ及びスピン量ｉ１２から解ると、予測範囲設定部２４０８が設定した予測範囲ｉ１０６を画像の高さ方向で上側に移動させる。また例えば、図１４のｃのような軌道でテニスボールが飛んでいることが、スイングタイプ及びスピン量ｉ１２から解ると、予測範囲補正部２４０９は、予測範囲設定部２４０８が設定した予測範囲ｉ１０６を画像の高さ方向で下側に移動させる。

このようにスイングタイプ及びスピン量ｉ１２の情報を用いて予測範囲ｉ１０６を補正することで、画像データ解析部２４０は、テニスボールの位置の検出の際の処理負荷を軽減させるとともに、検出性能を向上させることができる。

（６）画像データ解析部の機能構成例（その５）
上述したように、画像データ解析部２４０は、画像データｍ１を解析する際には、対象物の移動方向を予測して探索範囲を狭めることで、対象物の検出効率を上げることができる。この際に、対象物の移動速度が事前に分かれば、対象物の移動方向に加えて、その対象物の移動速度を考慮することで、画像データ解析部２４０でのテニスボールの検出処理を削減させたり、検出性能を向上させたりすることが出来る。以下、ボールの移動速度を用いてテニスボールの予測範囲を調整する場合の、画像データ解析部２４０の機能構成例について説明する。

図１５は、本開示の一実施形態に係る画像データ解析部２４０の機能構成例を示す説明図である。図１５に示したのは、ボールの移動速度を用いてテニスボールの予測範囲を調整する場合の、画像データ解析部２４０の機能構成例である。以下、図１５を用いて本開示の一実施形態に係る画像データ解析部２４０の機能構成例について説明する。

図１５に示したように、本開示の一実施形態に係る画像データ解析部２４０は、ボール検出部２４０３と、予測範囲設定部２４０８と、を含んで構成される。

ボール検出部２４０３は、図３、図６、図９、図１３の説明と同様に、画像データｍ１におけるテニスボールの位置をフレームごとに検出する処理を実行する。ボール検出部２４０３は、後述の予測範囲設定部２４０８から送られる予測範囲ｉ１０６に基づいて、画像データｍ１におけるテニスボールの位置を検出する。

予測範囲設定部２４０８は、図９の説明と同様に、予測方向設定部２４０６（図１３には図示せず）が設定したテニスボールの予測方向ｉ１０５（図１３には図示せず）に基づいて、テニスボールが次のフレームで移動しそうな範囲を予測し、予測範囲を設定する。図１５に示した構成例では、予測範囲設定部２４０８は、センサデータ解析部２３０でのセンシングデータの解析によって得られ、センサデータ解析部２３０から送られてくるボールスピードｉ１３を用いてテニスボールが次のフレームで移動しそうな範囲を予測する。

図１６及び図１７は、予測範囲設定部２４０８によるボールスピードｉ１３を用いたテニスボールの予測範囲の設定例を示す説明図である。図１６及び図１７の符号ｔｂ１は、ある時刻でのテニスボールの位置を示し、図中の矢印はテニスボールの速度、すなわち１フレーム間でのテニスボールの移動量を示し、符号ｐ３、ｐ４はそれぞれ、予測範囲設定部２４０８が設定する、テニスボールが次のフレームで移動しそうな範囲を示す。

このように、テニスボールの移動速度を用いてテニスボールの予測範囲を調整することで、画像データ解析部２４０は、テニスボールの位置の検出の際の処理負荷を軽減させるとともに、検出性能を向上させることができる。

ボール検出部２４０３は、テニスボールの移動速度に応じて、テニスボールの位置の検出の際の検出手法を変化させても良い。例えば、テニスボールの移動速度が所定値より速い場合は、ボール検出部２４０３は、テンプレートマッチングによってテニスボールの位置を検出し、所定値以下の場合は、ボール検出部２４０３は、勾配法によってテニスボールの位置を検出してもよい。

以上、５つの例を挙げて画像データ解析部２４０の機能構成例を示した。画像データ解析部２４０は、上述の処理を組み合わせることで、さらなるテニスボールの位置の検出の際の処理負荷の軽減や、検出性能の向上が期待できる。続いて、上述の５つの機能構成例を組み合わせた際の画像データ解析部２４０の機能構成例について説明する。

図１８は、本開示の一実施形態に係る画像データ解析部２４０の機能構成例を示す説明図である。図１８に示したのは、上述の５つの機能構成例を組み合わせた際の画像データ解析部２４０の機能構成例である。従って、上述の説明と重複する部分については説明を割愛する。

図１８に示した画像データ解析部２４０は、ボール検出部２４０３での処理の結果得られる各フレーム画像上でのテニスボールの座標ｉ２１と、人検出部２４０４での処理の結果得られる各フレーム画像上での人座標ｉ１０３と、を用いて、種々のデータ処理、例えばボールスピードの計算処理や、ボールや人間の移動量の計算処理を実行してもよい。そして画像データ解析部２４０は、種々のデータ処理の結果を画像解析結果ｉ２として出力する。上述したように、画像解析結果ｉ２には、上述のボールの位置、スピード、軌跡、スピン量、コートへの落下地点、人の位置、移動スピード、移動距離、などが含まれ得る。

以上、本開示の一実施形態に係る画像データ解析部２４０の機能構成例について説明した。本開示の一実施形態に係る画像データ解析部２４０は、図１８のような構成を有することで、センシングデータの解析結果を用いた、低負荷で、かつ高性能のボール検出処理を行なうことが出来る。続いて、本開示の一実施形態に係る情報処理装置２００の動作例について説明する。

［１．３．動作例］
図１９は、本開示の一実施形態に係る情報処理装置２００の動作例を示す流れ図である。図１９に示したのは、センシングデータの解析結果を用いて、画像データｍ１に対するテニスボールの検出処理を実行する際の、情報処理装置２００の動作例である。以下、図１９を用いて本開示の一実施形態に係る情報処理装置２００の動作例について説明する。

画像データｍ１に対するテニスボールの検出処理を実行する際には、情報処理装置２００は、まず画像データｍ１におけるインパクトフレーム番号を計算する（ステップＳ１０１）。このステップＳ１０１のインパクトフレーム番号の計算は、インパクトフレーム番号計算部２４０１が、インパクト時刻ｉ１１を用いて計算する。

ステップＳ１０１で画像データｍ１におけるインパクトフレーム番号を計算すると、続いて情報処理装置２００は、画像データｍ１の全てのフレームに対して、以下の一連の処理を実行する。情報処理装置２００は、上記ステップＳ１０１で計算したインパクトフレーム番号を用いて、テニスボールの検出処理の対象となる有効区間を検出する（ステップＳ１０２）。このステップＳ１０２の有効区間の検出処理は、有効区間検出部２４０２が実行する。

ステップＳ１０２でテニスボールの検出処理の対象となる有効区間を検出すると、続いて情報処理装置２００は、処理対象のフレームが有効区間に入っているかどうかを判断する（ステップＳ１０３）。このステップＳ１０３の判断処理は、例えばボール検出部２４０３が実行する。

ステップＳ１０３の判断の結果、処理対象のフレームが有効区間に入っていなければ（ステップＳ１０３、Ｎｏ）、そのフレームはテニスボールの検出処理の対象とはならないので、情報処理装置２００はステップＳ１０２に戻って次のフレームの処理に移る。一方、ステップＳ１０３の判断の結果、処理対象のフレームが有効区間に入っていれば（ステップＳ１０３、Ｙｅｓ）、続いて情報処理装置２００は、当該フレームの画像に対して人検出処理を実行する（ステップＳ１０４）。このステップＳ１０４の人検出処理は、人検出部２４０４が実行する。

続いて情報処理装置２００は、当該フレームがインパクトフレームか否かを判断する（ステップＳ１０５）。ここでは、インパクトフレームか否かは、例えば検出対象範囲計算部２４０５が、インパクトフレーム番号の情報を用いて判断する。

ステップＳ１０５の判断の結果、当該フレームがインパクトフレームであれば（ステップＳ１０５、Ｙｅｓ）、続いて情報処理装置２００は、処理対象のフレームに対して、テニスボールの検出対象範囲を計算する（ステップＳ１０６）。このステップＳ１０６の計算処理は、検出対象範囲計算部２４０５が実行する。一方ステップＳ１０５の判断の結果、当該フレームがインパクトフレームでなければ（ステップＳ１０５、Ｎｏ）、情報処理装置２００はこのステップＳ１０６の処理をスキップする。

続いて情報処理装置２００は、直近のフレームのテニスボールの検出結果からテニスボールの移動量が計算できるかどうかを判断する（ステップＳ１０７）。このテニスボールの移動量が計算できるかどうかは、例えば移動量検出部２４０７が、１つ前のフレーム、及び２つ前のフレームでテニスボールの位置がボール検出部２４０３で検出できているかどうかで判断する。

ステップＳ１０７の判断の結果、直近のフレームのテニスボールの検出結果からテニスボールの移動量が計算できる場合は（ステップＳ１０７、Ｙｅｓ）、続いて情報処理装置２００は、直近のフレームのテニスボールの検出結果からテニスボールの移動量を検出する（ステップＳ１０８）。このステップＳ１０８の検出処理は、移動量検出部２４０７が実行する。一方、ステップＳ１０７の判断の結果、直近のフレームのテニスボールの検出結果からテニスボールの移動量が計算できない場合は（ステップＳ１０７、Ｎｏ）、情報処理装置２００はこのステップＳ１０８の処理をスキップする。

続いて情報処理装置２００は、当該フレームがインパクトフレームか否かを判断する（ステップＳ１０９）。ここでは、インパクトフレームか否かは、例えば予測方向設定部２４０６が、インパクトフレーム番号の情報を用いて判断する。

ステップＳ１０９の判断の結果、当該フレームがインパクトフレームであれば（ステップＳ１０９、Ｙｅｓ）、続いて情報処理装置２００は、処理対象のフレームに対して、テニスボールの予測方向を今までテニスボールが移動していた方向とは逆方向に設定する（ステップＳ１１０）。一方、ステップＳ１０９の判断の結果、当該フレームがインパクトフレームでなければ（ステップＳ１０９、Ｎｏ）、続いて情報処理装置２００は、処理対象のフレームに対して、テニスボールの予測方向を今までテニスボールが移動していた方向と同じ順方向に設定する（ステップＳ１１１）。テニスボールの予測方向は、予測方向設定部２４０６が設定する。

続いて情報処理装置２００は、処理対象のフレームに対して、テニスボールの予測範囲を設定する（ステップＳ１１２）。テニスボールの予測範囲は、予測範囲設定部２４０８が設定する。予測範囲設定部２４０８は、テニスボールの予測範囲の設定の際に、テニスボールの予測方向を用いても良い。

続いて情報処理装置２００は、処理対象のフレームに対して、テニスボールの予測範囲を補正する（ステップＳ１１３）。テニスボールの予測範囲は、予測範囲補正部２４０９が、スイングタイプ及びスピン量ｉ１２を用いて補正する。

続いて情報処理装置２００は、処理対象のフレームに対して、テニスボールの検出処理を実行する（ステップＳ１１４）。テニスボールの検出処理は、ボール検出部２４０３が実行する。ボール検出部２４０３は、テニスボールの検出処理の実行に際し、上記ステップＳ１１２で設定され、上記ステップＳ１１３で補正されたテニスボールの予測範囲に対して実行しても良い。

情報処理装置２００は、上記ステップＳ１０２からステップＳ１１４までの一連の処理を、画像データｍ１の全てのフレームに対して実行する。画像データｍ１の全てのフレームに対して一連の処理を実行すると、情報処理装置２００は処理を終了する。

情報処理装置２００は、図１９に示した処理を実行することで、センシングデータの解析結果を用いた、低負荷で、かつ高性能のボール検出処理を行なうことが出来る。

なお、上述してきた一連の処理は、センサ装置１００が装着されたテニスラケット１０を複数人が使用している場合も同様に実行可能である。センサ装置１００から送信されるセンシングデータに、センサ装置１００を識別する情報が含まれていれば、情報処理装置２００は、どのセンサ装置１００から送信されたセンシングデータから識別することが可能である。従って、情報処理装置２００は、センシングデータの識別結果と、画像データの解析結果とを照らし合わせることで、上述したようなボール検出処理を可能にする。

＜２．まとめ＞
以上説明したように本開示の一実施形態によれば、カメラ３００での画像データの取得と同じタイミングで、センサ装置１００において取得されるセンシングデータの解析結果を用いることで、カメラ３００から送信される画像データを効率よく解析する情報処理装置２００が提供される。

本開示の一実施形態に係る情報処理装置２００は、センサ装置１００において取得されるセンシングデータの解析結果を用いることで、画像データの解析処理を実行する有効区間の設定、画像データの解析処理の対象となる検出対象範囲の設定、検出の対象物の移動方向や移動場所の効果的な予測が可能になる。すなわち、本開示の一実施形態に係る情報処理装置２００は、センサ装置１００において取得されるセンシングデータの解析結果から得られる、インパクト時刻、ボールスピード、ボールの軌道等の情報を用いて、画像データの解析処理を実行する有効区間の設定、画像データの解析処理の対象となる検出対象範囲の設定、検出の対象物の移動方向や移動場所を効果的に予測することが出来る。

従って、本開示の一実施形態に係る情報処理装置２００は、センサ装置１００において取得されるセンシングデータの解析結果を用いることで、低負荷で、かつ高性能のボール検出処理を行なうことが出来る。

本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、センサ装置１００がテニスラケット１０に装着されて、テニスをプレーするプレーヤの姿が撮像された画像データに対する画像処理が実行される例を示したが、本開示は係る例に限定されるものではない。本開示は、動体と、動体を扱うツールの移動パターンとに着目して、画像処理の内容を変更することで、画像処理を効率化するものである。動体や、動体を扱うツールの移動パターンに、あるパターンが存在するものであれば、本開示に係る技術を適用可能である。

例えば、被写体としてサッカーをプレーするプレーヤを撮像する場合、ツールとして、そのプレーヤのスパイク、ストッキング、シンガード（脛当て）等にセンサ装置１０を装着させた上で、ボールを蹴るプレーヤの姿を撮像して得られる画像データに対する画像処理にも、本開示に係る技術を適用可能である。

また例えば、被写体としてゴルフをプレーするプレーヤを撮像する場合、ツールとして、そのプレーヤのゴルフクラブやリストバンド等にセンサ装置１０を装着させた上で、ゴルフクラブでボールを打つプレーヤの姿を撮像して得られる画像データに対する画像処理にも、本開示に係る技術を適用可能である。

また例えば、被写体として野球をプレーするプレーヤを撮像する場合、ツールとして、そのプレーヤのバットやリストバンド等にセンサ装置１０を装着させた上で、バットでボールを打つプレーヤの姿を撮像して得られる画像データに対する画像処理にも、本開示に係る技術を適用可能である。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
動体を扱う際に用いるツールの状態をセンシングすることよってセンシングデータを出力するセンサ装置が使用されている状況が撮像された画像データを取得する取得部と、
前記センサ装置により出力されたセンシングデータの解析結果に応じて、前記取得部により取得された画像データに含まれる動体の検出処理の内容を変化させる画像処理部と、
を備える、画像処理装置。
（２）
前記画像処理部は、前記センサ装置が出力するセンシングデータが所定の条件を満たす区間において前記検出処理を実行する、前記（１）に記載の画像処理装置。
（３）
前記画像処理部は、前記センサ装置により出力されたセンシングデータの解析結果から、前記センサ装置が前記動体から衝撃を与えられたことに応じたセンシングデータの出力が所定の条件を満たす区間を検出する、前記（２）に記載の画像処理装置。
（４）
前記画像処理部は、前記センサ装置が出力するセンシングデータが所定の条件を満たす時点の前後の所定区間において、前記検出処理を実行する、前記（１）〜（３）のいずれかに記載の画像処理装置。
（５）
前記画像処理部は、前記センサ装置により出力されたセンシングデータの解析結果から、前記センサ装置が前記動体から衝撃を与えられたことに応じたセンシングデータの出力時点を検出する、前記（１）〜（４）のいずれかに記載の画像処理装置。
（６）
前記画像処理部は、前記センサ装置が出力するセンシングデータが所定の条件を満たす時点と前記時点の前後とで前記検出処理を行う際の対象範囲を変化させる、前記（１）〜（５）のいずれかに記載の画像処理装置。
（７）
前記画像処理部は、前記検出処理の際の対象範囲を、前記ツールを扱う被写体の位置の周囲の所定範囲に狭める、前記（６）に記載の画像処理装置。
（８）
前記画像処理部は、前記検出処理の際の対象範囲を、前記被写体の前方の所定範囲に狭める、前記（７）に記載の画像処理装置。
（９）
前記画像処理部は、前記センサ装置が出力するセンシングデータが所定の条件を満たす時点と前記時点の後とで、前記動体の移動が予測される予測方向を変化させる、前記（１）〜（８）のいずれかに記載の画像処理装置。
（１０）
前記画像処理部は、前記時点と前記時点の後とで、前記動体の移動が予測される予測範囲の大きさを変化させる、前記（９）に記載の画像処理装置。
（１１）
前記画像処理部は、前記センサ装置が出力するセンシングデータの解析結果から、前記動体の移動する軌道を予測して、予測した前記軌道に応じて前記動体の移動が予測される予測範囲を設定する、前記（１）〜（１０）のいずれかに記載の画像処理装置。
（１２）
前記画像処理部は、前記センサ装置が出力するセンシングデータの解析結果から、前記動体の移動速度を予測して、予測した前記移動速度に応じて前記動体の移動が予測される予測範囲を設定する、前記（１）〜（１１）のいずれかに記載の画像処理装置。
（１３）
前記ツールは、前記動体を打撃することにより前記動体の移動方向を変える打具であり、
前記取得部は、前記センサ装置が装着された打具によって前記動体が打撃される状況が撮像された画像データを取得し、
前記画像処理部は、前記打具により移動方向が変化した動体を、前記画像データから検出する、前記（１）〜（１２）のいずれかに記載の画像処理装置。
（１４）
前記ツールは、スポーツを行う際に用いるツールであり、
前記動体は、スポーツを行う際に用いるボールである、前記（１３）に記載の画像処理装置。
（１５）
前記ツールは、テニスラケットであり、
前記動体は、テニスボールである、前記（１４）に記載の画像処理装置。
（１６）
動体を扱う際に用いるツールの状態をセンシングすることよってセンシングデータを出力するセンサ装置が使用されている状況が撮像された画像データを取得することと、
前記センサ装置により出力されたセンシングデータの解析結果に応じて、取得された前記画像データに含まれる動体の検出処理の内容を変化させることと、
を含む、画像処理方法。

１０ テニスラケット
１００ センサ装置
１１０ センサデータ取得部
１２０ センサデータ送信部
２００ 情報処理装置
２１０ センサデータ受信部
２２０ 画像データ受信部
２３０ センサデータ解析部
２４０ 画像データ解析部
２５０ データ表示部
３００ カメラ
３１０ 画像データ取得部
３２０ 画像データ送信部

Claims (15)

1. 動体を扱う際に用いるツールの状態をセンシングすることよってセンシングデータを出力するセンサ装置が使用されている状況が撮像された画像データを取得する取得部と、
   前記センサ装置により出力されたセンシングデータの解析結果に応じて、前記取得部により取得された画像データに含まれる動体の検出処理の内容を変化させる画像処理部と、
   を備え、
   前記画像処理部は、前記センサ装置が出力するセンシングデータが所定の条件を満たす時点と前記時点の前後とで前記検出処理を行う際の対象範囲を変化させる、画像処理装置。
2. 前記画像処理部は、前記センサ装置が出力するセンシングデータが所定の条件を満たす区間において前記検出処理を実行する、請求項１に記載の情報処理装置。
3. 前記画像処理部は、前記センサ装置により出力されたセンシングデータの解析結果から、前記センサ装置が前記動体から衝撃を与えられたことに応じたセンシングデータの出力が所定の条件を満たす区間を検出する、請求項２に記載の画像処理装置。
4. 前記画像処理部は、前記センサ装置が出力するセンシングデータが所定の条件を満たす時点の前後の所定区間において、前記検出処理を実行する、請求項１に記載の画像処理装置。
5. 前記画像処理部は、前記センサ装置により出力されたセンシングデータの解析結果から、前記センサ装置が前記動体から衝撃を与えられたことに応じたセンシングデータの出力時点を検出する、請求項１に記載の画像処理装置。
6. 前記画像処理部は、前記検出処理の際の対象範囲を、前記ツールを扱う被写体の位置の周囲の所定範囲に狭める、請求項１に記載の画像処理装置。
7. 前記画像処理部は、前記検出処理の際の対象範囲を、前記被写体の前方の所定範囲に狭める、請求項６に記載の画像処理装置。
8. 前記画像処理部は、前記センサ装置が出力するセンシングデータが所定の条件を満たす時点と前記時点の後とで、前記動体の移動が予測される予測方向を変化させる、請求項１に記載の画像処理装置。
9. 前記画像処理部は、前記時点と前記時点の後とで、前記動体の移動が予測される予測範囲の大きさを変化させる、請求項８に記載の画像処理装置。
10. 前記画像処理部は、前記センサ装置が出力するセンシングデータの解析結果から、前記動体の移動する軌道を予測して、予測した前記軌道に応じて前記動体の移動が予測される予測範囲を設定する、請求項１に記載の画像処理装置。
11. 前記画像処理部は、前記センサ装置が出力するセンシングデータの解析結果から、前記動体の移動速度を予測して、予測した前記移動速度に応じて前記動体の移動が予測される予測範囲を設定する、請求項１に記載の画像処理装置。
12. 前記ツールは、前記動体を打撃することにより前記動体の移動方向を変える打具であり、
    前記取得部は、前記センサ装置が装着された打具によって前記動体が打撃される状況が撮像された画像データを取得し、
    前記画像処理部は、前記打具により移動方向が変化した動体を、前記画像データから検出する、請求項１に記載の画像処理装置。
13. 前記ツールは、スポーツを行う際に用いるツールであり、
    前記動体は、スポーツを行う際に用いるボールである、請求項１２に記載の画像処理装置。
14. 前記ツールは、テニスラケットであり、
    前記動体は、テニスボールである、請求項１３に記載の画像処理装置。
15. 動体を扱う際に用いるツールの状態をセンシングすることよってセンシングデータを出力するセンサ装置が使用されている状況が撮像された画像データを取得することと、
    前記センサ装置により出力されたセンシングデータの解析結果に応じて、取得された前記画像データに含まれる動体の検出処理の内容を変化させることと、
    前記センサ装置が出力するセンシングデータが所定の条件を満たす時点と前記時点の前後とで前記検出処理を行う際の対象範囲を変化させることと、
    を含む、画像処理方法。
    

Images