JP6663848B2 - 移動体追跡方法および移動体追跡装置 - Google Patents

Description

本開示は、移動体追跡方法および移動体追跡装置に関する。

従来から、映像において移動体を追跡する移動体追跡装置が知られている。例えば、特許文献１に記載の技術では、過去のフレームにおける移動体の位置情報に基づき今回のフレームにおける移動体の予測位置を求める。そして、今回のフレームにおける画像データから移動体に特有の所定の特徴を持つ候補物体を抽出し、抽出された候補物体のうち予測位置により近い候補物体を移動体として割り当てる。

特開２００４−４６６４７号公報

しかしながら、上記特許文献１に記載の技術では、追跡対象の移動体を他の移動体と間違えて追跡してしまう場合があるという問題があった。例えば、サッカーゲームなどのようなボール（移動体）を用いるスポーツ競技において、ボールを追跡することは選手の追跡に比べて難しい。すなわち、ボールの色や形が選手の足（靴）と似ているため、ボールが選手の足に近づくと誤追跡してしまう。また、ボールは選手によって隠蔽される場合があり、この場合においてボールを正しく追跡することは難しい。

本開示の目的は、映像において移動体を高精度に追跡することが可能な移動体追跡方法および移動体追跡装置を提供することである。

本開示に係る移動体追跡方法では、映像を構成する複数のフレーム画像の各々において移動体の第１の位置を検出する。そして、これら複数のフレーム画像を用いて得られた画像に基づいて前記第１の位置から独立して算出される移動体の軌跡を検出する。さらに、検出された第１の位置と、検出された軌跡から得られる移動体の第２の位置との差が所定値以上である場合に、前記検出された第２の位置を、複数のフレーム画像の各々における移動体の最終的な位置として決定し、当該決定した最終的な位置を出力する。

本開示に係る移動体追跡装置では、プロセッサが、映像を構成する複数のフレーム画像の各々において、移動体の第１の位置を検出する。そして、これら複数のフレーム画像を用いて得られた画像に基づいて前記第１の位置から独立して算出される移動体の軌跡を検出する。さらに、検出された第１の移動体の位置と、検出された移動体の軌跡から得られる移動体の第２の位置との差が所定値以上である場合に、前記検出された第２の位置を、複数のフレーム画像の各々における移動体の最終的な位置として決定し、当該決定した最終的な位置を出力する。

本開示によれば、映像において移動体を高精度に追跡することができる。

図１は、本実施の形態における移動体追跡装置の機能構成を示す図である。 図２は、本実施の形態における移動体追跡装置の全体動作例を示すフローチャートである。 図３は、本実施の形態におけるボール軌跡検出用画像生成動作を示すフローチャートである。 図４は、本実施の形態におけるボール軌跡検出動作を示すフローチャートである。 図５Ａは、フローベクトルの最大箇所を重畳した画像を示す図である。 図５Ｂは、フローベクトルの最大箇所を重畳した画像を示す図である。 図６は、本実施の形態におけるボール候補検出動作を示すフローチャートである。 図７は、本実施の形態におけるボール軌跡検出用画像生成動作の変形例を示すフローチャートである。 図８は、本実施の形態におけるボール軌跡検出動作の変形例を示すフローチャートである。 図９Ａは、前景画像を重畳した画像を示す図である。 図９Ｂは、前景画像を重畳した画像を示す図である。 図１０は、本実施の形態における移動体追跡装置の構成の変形例を示す図である。

以下、本実施の形態を図面に基づいて詳細に説明する。図１は、本開示の実施の形態に係る移動体追跡装置１００の機能構成を示す図である。移動体追跡装置１００は、入力した映像中において移動体を追跡する装置である。本実施の形態では、移動体追跡装置１００は、スポーツ競技の一つであるサッカーの試合が撮影されたスポーツ映像中において、当該サッカーの試合で使用されるボール（移動体）を追跡する。

移動体追跡装置１００は、映像入力部１１０、ボール候補検出部１２０、位置検出部として機能するボール追跡部１３０、ボール軌跡検出用画像生成部１４０、軌跡検出部として機能するボール軌跡検出部１５０、選手領域検出部１６０および位置出力部として機能するボール位置出力部１７０を有する。

なお、移動体追跡装置１００は、図示しないが、例えば、プロセッサとしてのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、制御プログラムを格納したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶媒体、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の作業用メモリ、および通信回路を有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

映像入力部１１０は、複数のフレーム画像から構成される映像を入力する。そして、映像入力部１１０は、入力した映像をボール候補検出部１２０、ボール軌跡検出用画像生成部１４０および選手領域検出部１６０に出力する。

ボール候補検出部１２０は、映像入力部１１０から出力された映像を構成する複数のフレーム画像の各々において、サッカーの試合で使用されるボールが存在する可能性の高い領域をボール候補領域として検出する。そして、ボール候補検出部１２０は、検出したボール候補領域のフレーム画像における位置、および、当該フレーム画像をボール追跡部１３０に出力する。なお、ボール候補領域を検出する具体的な処理については、後述する。

ボール追跡部１３０は、ボール候補検出部１２０から出力されたフレーム画像において、ボール候補領域の特徴量に基づくボール尤度を算出する。ここで、ボール尤度とは、ボール候補領域が、どれくらい実際にボールが存在する領域に対して尤もらしいかを定量的に示す指標である。ボール追跡部１３０は、ボール候補領域のボール尤度が所定の閾値以上であるか否かについて判定し、所定の閾値以上である場合には当該ボール候補領域の位置を第１ボール位置として検出する。ボール追跡部１３０は、ボール候補検出部１２０から出力されたフレーム画像において複数のボール候補領域が存在する場合、複数のボール候補領域の各々についてボール尤度を算出し、所定の閾値以上であり、かつ、最もボール尤度の高いボール候補領域の位置を第１ボール位置として検出する。ボール追跡部１３０は、検出した第１ボール位置をボール位置出力部１７０に出力する。

選手領域検出部１６０は、映像入力部１１０から出力された映像を構成する複数のフレーム画像の各々において、サッカーの試合に出場している選手が存在する可能性の高い領域を選手候補領域として検出する。そして、選手領域検出部１６０は、検出した選手候補領域の特徴量に基づく選手尤度を算出する。ここで、選手尤度とは、選手候補領域が、どれくらい実際に選手が存在する領域に対して尤もらしいかを定量的に示す指標である。選手領域検出部１６０は、選手候補領域の選手尤度が所定の閾値以上であるか否かについて判定し、所定の閾値以上である場合には当該選手候補領域の位置を選手領域としてボール軌跡検出部１５０に出力する。

ボール軌跡検出用画像生成部１４０は、映像入力部１１０から出力された映像を入力し、複数のフレーム画像単位でボールの軌跡を検出するためのボール軌跡検出用画像を生成する。そして、ボール軌跡検出用画像生成部１４０は、生成したボール軌跡検出用画像をボール軌跡検出部１５０に出力する。なお、ボール軌跡検出用画像を生成する具体的な処理については、後述する。

ボール軌跡検出部１５０は、ボール軌跡検出用画像生成部１４０から出力されたボール軌跡検出用画像と、選手領域検出部１６０から出力された選手領域とに基づいて複数のフレーム画像単位におけるボールの軌跡を検出する。そして、ボール軌跡検出部１５０は、検出したボールの軌跡上に存在する位置であって、当該ボールの軌跡を検出するために用いた複数のフレーム画像のうち最後のフレーム画像におけるボールの位置を第２ボール位置としてボール位置出力部１７０に出力する。なお、ボールの軌跡を検出する具体的な処理については、後述する。

ボール位置出力部１７０は、複数のフレーム画像の各々について、１つのフレーム画像ごとにボール追跡部１３０から出力された第１ボール位置と、複数のフレーム画像ごとにボール軌跡検出部１５０から出力された第２ボール位置とに基づいて、ボールの最終的な位置を決定し、当該決定した位置をボール位置情報として出力する。具体的には、ボール位置出力部１７０は、あるフレーム画像についてボール追跡部１３０から出力された第１ボール位置と、ボール軌跡検出部１５０から出力された第２ボール位置との両方が存在する場合には、当該第１および第２ボール位置に基づいて、ボールの最終的な位置を決定し、当該決定した位置をボール位置情報として出力する。一方、ボール位置出力部１７０は、あるフレーム画像についてボール追跡部１３０から出力された第１ボール位置のみが存在する場合には、当該第１ボール位置をボールの最終的な位置として決定し、当該決定した位置をボール位置情報として出力する。

図２は、本実施の形態における移動体追跡装置１００の全体動作を示すフローチャートである。ステップＳ１００およびＳ１２０の処理は、映像入力部１１０からボール候補検出部１２０、ボール軌跡検出用画像生成部１４０および選手領域検出部１６０に映像が出力されることによって開始する。図２に示す各処理は、映像入力部１１０から映像を構成する全てのフレーム画像が出力されている間、実行される。

まず、ボール軌跡検出用画像生成部１４０は、映像入力部１１０から出力された映像を入力し、複数（本実施の形態では、自然数であるＮ）のフレーム画像単位でボールの軌跡を検出するためのボール軌跡検出用画像を生成する（ステップＳ１００）。図３は、ステップＳ１００の詳細動作、すなわちボール軌跡検出用画像生成動作を示すフローチャートである。

まず、ボール軌跡検出用画像生成部１４０は、映像入力部１１０から出力されたフレーム画像（ｔ）を入力する（ステップＳ２２０）。ここで、フレーム画像（ｔ）は、フレーム番号がｔであるフレーム画像を表す。

次に、ボール軌跡検出用画像生成部１４０は、ボール軌跡検出用画像を初期化する（ステップＳ２２２）。具体的には、ボール軌跡検出用画像生成部１４０は、ステップＳ２２０にて入力したフレーム画像（ｔ）と同じサイズの画像を用意し、その画像を構成する全ての画素値を全て０（黒）に設定する。

次に、ボール軌跡検出用画像生成部１４０は、ボール軌跡検出用画像生成動作で使用する変数ｉの値に１を設定する（ステップＳ２２４）。次に、ボール軌跡検出用画像生成部１４０は、映像入力部１１０から出力されたフレーム画像（ｔ＋ｉ）を入力する（ステップＳ２２６）。

次に、ボール軌跡検出用画像生成部１４０は、ステップＳ２２６にて入力したフレーム画像（例えばフレーム画像（ｔ＋１）、以下「第２フレーム画像」と言う）と、その一つ前に入力したフレーム画像（例えばフレーム画像（ｔ）、以下「第１フレーム画像」と言う）とを用いて、オプティカルフローを算出する（ステップＳ２２８）。具体的には、ボール軌跡検出用画像生成部１４０は、第１フレーム画像の各画素が第２フレーム画像のどの画素に移動したのか、すなわちフローベクトルを求める。

次に、ボール軌跡検出用画像生成部１４０は、ステップＳ２２８の算出結果に基づいて、多くのフローベクトルの中から移動量が最大であるフローベクトルを検出する（ステップＳ２３０）。次に、ボール軌跡検出用画像生成部１４０は、ステップＳ２３０にて検出したフローベクトルに対応する画素の位置（箇所）を示す画像をボール軌跡検出用画像に重畳する（ステップＳ２３２）。具体的には、ボール軌跡検出用画像生成部１４０は、ボール軌跡検出用画像において、ステップＳ２３０にて検出したフローベクトルに対応する画素の位置周辺の画素値を２５５（白）に設定する。例えば、フローベクトルに対応する画素の位置周辺に５×５ピクセルの矩形領域や、直径５ピクセルの円領域を設定し、それらの領域を構成する画素の値を２５５に設定する。

次に、ボール軌跡検出用画像生成部１４０は、変数ｉの値に１を加算する（ステップＳ２３４）。次に、ボール軌跡検出用画像生成部１４０は、変数ｉの値がＮに等しいか否かについて判定する（ステップＳ２３６）。この判定の結果、変数ｉの値がＮに等しくない場合（ステップＳ２３６、ＮＯ）、処理はステップＳ２２６の前に戻る。

一方、変数ｉの値がＮに等しい場合（ステップＳ２３６、ＹＥＳ）、ボール軌跡検出用画像生成部１４０は、ボール軌跡検出用画像、および、フレーム画像（ｔ＋Ｎ−１）において移動量が最大となるフローベクトルの位置をボール軌跡検出部１５０に出力する（ステップＳ２３８）。出力されるボール軌跡検出用画像には、移動量が最大となるフローベクトルに対応する画像がＮのフレーム画像分だけ重畳されている。ステップＳ２３８の処理が完了することによって、ボール軌跡検出用画像生成部１４０は、図３における処理を終了する。

図２のフローチャートに戻り、ボール軌跡検出部１５０は、ボール軌跡検出用画像生成部１４０から出力されたボール軌跡検出用画像と、選手領域検出部１６０から出力された選手領域とに基づいてＮのフレーム画像単位におけるボールの軌跡を検出する（ステップＳ１１０）。ステップＳ１１０の処理が完了すると、処理はステップＳ１００の前に戻る。図４は、本実施の形態におけるボール軌跡検出動作を示すフローチャートである。

まず、ボール軌跡検出部１５０は、ボール軌跡検出用画像生成部１４０から出力されたボール軌跡検出用画像に対してラベリング処理を実施する（ステップＳ２４０）。ここで、ラベリング処理とは、画素値が２５５（白）である部分が連続した画素に同じ番号を割り振る処理である。

次に、ボール軌跡検出部１５０は、ラベリング処理を実施した結果、ラベリング数が１であるか否かについて判定する（ステップＳ２４２）。図５Ａは、ラベリング数が１である場合のボール軌跡検出用画像を示す。図５Ａに示すように、ラベリング数が１である場合には、ボール軌跡検出用画像上において、白い部分すなわち移動量が最大となる画素の位置が時系列に連結されたように表され、その連結部分はボールの軌跡のように綺麗な軌跡を描いている。図５Ｂは、ラベリング数が３である場合のボール軌跡検出用画像を示す。この判定の結果、ラベリング数が１でない場合（ステップＳ２４２、ＮＯ）、ボール軌跡検出部１５０は、図４における処理を終了する。

一方、ラベリング数が１である場合（ステップＳ２４２、ＹＥＳ）、ボール軌跡検出部１５０は、ボール軌跡検出用画像生成部１４０から出力されたフローベクトルの位置が、選手領域検出部１６０から出力された選手領域に含まれるか否かについて判定する（ステップＳ２４４）。この判定は、早く走っている選手がボールの軌跡として誤検出されることを防止するために行われる。なお、ボール軌跡検出用画像生成部１４０から出力されたフローベクトルの位置が、選手領域に含まれるか否かの判定は、上記方法に限らない。例えば、前景画像を取得し、ボール軌跡検出用画像生成部１４０から出力されたフローベクトルの位置に存在する前景領域のサイズ（例えば、領域幅、領域高さ、ピクセル数など）から、その領域が選手領域か、ボール領域か判断するとしてもよい。その場合、図１における選手領域検出部１６０は無くてもよい。なお、前景画像を生成する具体的な方法については後述する。

判定の結果、ボール軌跡検出用画像生成部１４０から出力されたフローベクトルの位置が選手領域に含まれる場合（ステップＳ２４４、ＹＥＳ）、ボール軌跡検出部１５０は、図４における処理を終了する。一方、ボール軌跡検出用画像生成部１４０から出力されたフローベクトルの位置が選手領域に含まれない場合、すなわちボールの軌跡を検出した場合（ステップＳ２４４、ＮＯ）、ボール軌跡検出部１５０は、ボール軌跡検出用画像生成部１４０から出力されたフローベクトルの位置を第２ボール位置としてボール位置出力部１７０に出力する（ステップＳ２４６）。ステップＳ２４６の処理が完了することによって、ボール軌跡検出部１５０は、図４における処理を終了する。

図２のフローチャートに戻り、ステップＳ１２０では、ボール候補検出部１２０は、映像入力部１１０から出力された映像を構成する複数のフレーム画像の各々において、サッカーの試合で使用されるボール候補の領域をボール候補領域として検出する。図６は、本実施の形態におけるボール候補検出動作を示すフローチャートである。

まず、ボール候補検出部１２０は、映像入力部１１０から出力されたフレーム画像から、その前景画像を生成する（ステップＳ２１０）。ここで、前景画像は、背景部分を構成する画素の画素値が０（黒）に設定され、前景部分を構成する画素の画素値が２５５（白）に設定された二値化画像である。前景画像の生成方法としては、公知の背景差分法、フレーム間差分法等が挙げられる。

次に、ボール候補検出部１２０は、生成した前景画像の中で、ボール候補の領域を検出する検出対象領域を設定する（ステップＳ２１２）。具体的には、ボール候補検出部１２０は、１つ前のフレーム画像についてボール位置出力部１７０から出力されたボール位置情報に基づいてボールの移動予測位置を算出し、その移動予測位置を中心とした一定サイズの領域を検出対象領域として設定する。検出対象領域を設定することにより、前景画像の全領域を検出対象領域として設定する場合と比べて、ボール候補検出動作の処理負荷を低減させることができる。

次に、ボール候補検出部１２０は、前景画像の中で検出対象領域に設定された領域に対して、ラベリング処理を実行する（ステップＳ２１４）。最後に、ボール候補検出部１２０は、ラベリング処理の実行結果から、同じ番号が割り振られている画素領域のサイズ（例えば、領域幅、領域高さ、縦横比率または領域内の前景比率など）を取得し、その取得したサイズが所定の条件を満たす画素領域をボール候補領域として検出する（ステップＳ２１６）。所定の条件とは、例えば領域幅および領域高さの上限下限、縦横比率の上限下限または領域内の前景比率の下限などである。ボール候補検出部１２０は、検出したボール候補領域のフレーム画像における位置、領域幅、領域高さ、および、当該フレーム画像をボール追跡部１３０に出力する。ステップＳ２１６の処理が完了することによって、ボール候補検出部１２０は、図６における処理を終了する。なお、検出対象領域の設定（ステップＳ２１２）は必須ではなく、前景画像全体に以降の処理を行うとしてもよい。その場合、ボールの移動予測位置に誤りがあっても正しいボール候補を得ることができ、処理負荷は増加するけれども以降の処理を例えば並列化することにより処理時間の増加は防ぐことができる。

図２のフローチャートに戻り、ボール追跡部１３０は、ボール候補検出部１２０から出力されたフレーム画像において、ボール候補領域の特徴量に基づくボール尤度を算出する（ステップＳ１３０）。特徴量はボール候補検出部１２０から出力されたボール候補領域のフレーム画像における位置、領域幅、領域高さに基づいて算出される。特徴量はフレーム画像の光学的特徴量を用いたもの使用しても良いし、あるいは左記に掲げた要素と光学的特徴量とを併用しても良い。次に、ボール追跡部１３０は、算出したボール尤度が所定の閾値以上であるか否かについて判定する（ステップＳ１４０）。この判定の結果、ボール尤度が所定の閾値以上でない場合（ステップＳ１４０、ＮＯ）、処理はステップＳ１２０の前に戻る。

一方、ボール尤度が所定の閾値以上である場合（ステップＳ１４０、ＹＥＳ）、ボール追跡部１３０は、ボール候補領域の位置を第１ボール位置として検出し、ボール位置出力部１７０に出力する。次に、ボール位置出力部１７０は、ボール軌跡検出部１５０から第２ボール位置が出力されたか否かについて判定する（ステップＳ１５０）。この判定の結果、第２ボール位置が出力されていない場合（ステップＳ１５０、ＮＯ）、ボール位置出力部１７０は、ボール追跡部１３０から出力された第１ボール位置をボールの最終的な位置として決定し、当該決定した位置をボール位置情報として出力する（ステップＳ１８０）。なお、ボール追跡部１３０は、ボール候補検出部１２０から出力されたフレーム画像において複数のボール候補領域が存在する場合、複数のボール候補領域の各々についてボール尤度を算出し、所定の閾値以上であり、かつ、最もボール尤度の高いボール候補領域の位置を第１ボール位置として検出し、出力する。その後、処理はステップＳ１２０の前に戻る。

一方、第２ボール位置が出力された場合（ステップＳ１５０、ＹＥＳ）、ボール位置出力部１７０は、ボール追跡部１３０から出力された第１ボール位置と、ボール軌跡検出部１５０から出力された第２ボール位置との差分が所定値（例えば、３ピクセル）以上であるか否かについて判定する（ステップＳ１６０）。第１ボール位置と第２ボール位置との差分は、第１ボール位置および第２ボール位置の位置座標をそれぞれ（Ｘ１、Ｙ１）、（Ｘ２、Ｙ２）とした場合に、次の式（１）により算出される。

差分＝ＳＱＲ（（Ｘ２−Ｘ１）^２＋（Ｙ２−Ｙ１）^２）・・・（１）
判定の結果、第１ボール位置と第２ボール位置との差分が所定値以上でない場合（ステップＳ１６０、ＮＯ）、処理はステップＳ１８０に遷移する。一方、第１ボール位置と第２ボール位置との差分が所定値以上である場合（ステップＳ１６０、ＹＥＳ）、ボール位置出力部１７０は、ボール軌跡検出部１５０から出力された第２ボール位置をボールの最終的な位置として決定し、当該決定した位置をボール位置情報として出力する（ステップＳ１７０）。その後、処理はステップＳ１２０の前に戻る。

以上詳しく説明したように、本実施の形態では、プロセッサは、映像を構成する複数のフレーム画像の各々においてボールの位置を検出し、複数のフレーム画像を用いて得られた画像に基づいてボールの軌跡を検出し、検出された位置と、検出された軌跡から得られるボールの位置とに基づいて複数のフレーム画像の各々におけるボールの最終的な位置を決定し、当該決定した位置を出力する。

このように構成した本実施の形態によれば、追跡対象のボールを他の移動体と間違えて追跡してしまう場合でも、検出されたボール軌跡から得られるボールの位置を用いて一定間隔毎に、正しいボール位置に自動で修正することができる。そのため、映像においてボールを高精度に追跡することができる。

なお、上記実施の形態では、第１ボール位置を検出するための構成であるボール候補検出部１２０およびボール追跡部１３０と、第２ボール位置を検出するための構成であるボール軌跡検出用画像生成部１４０およびボール軌跡検出部１５０とが１つの装置で一体化されている例について説明したが、別々の装置で別体化されていても良い。

また、上記実施の形態では、第１ボール位置と第２ボール位置との差分が所定値以上でない場合、ボール追跡部１３０から出力された第１ボール位置をボール位置情報として出力する例について説明したが、ボール軌跡検出部１５０から出力された第２ボール位置をボール位置情報として出力しても良い。

また、上記実施の形態では、複数のフレーム画像間における画素の移動量を検出し、移動量が最大となる画素の位置を時系列に連結することによってボールの軌跡を検出する例について説明したが、本開示はこれに限定されない。例えば、図７，８のフローチャートに示すように、複数のフレーム画像の各々から生成された前景画像を重畳し、重畳された画像から所定形状を有する輪郭を抽出することによってボールの軌跡を検出しても良い。

図７は、図２のステップＳ１００の変形例、すなわちボール軌跡検出用画像生成動作の変形例を示すフローチャートである。図８は、図２のステップＳ１１０の変形例、すなわちボール軌跡検出動作の変形例を示すフローチャートである。

図７のフローチャートに示すボール軌跡検出用画像生成動作について説明する。まず、ボール軌跡検出用画像生成部１４０は、ボール軌跡検出用画像を初期化する（ステップＳ２５０）。具体的には、ボール軌跡検出用画像生成部１４０は、映像入力部１１０から出力されたフレーム画像（ｔ）と同じサイズの画像を用意し、その画像を構成する全ての画素値を全て０（黒）に設定する。

次に、ボール軌跡検出用画像生成部１４０は、ボール軌跡検出用画像生成動作で使用する変数ｉの値に０を設定する（ステップＳ２５２）。次に、ボール軌跡検出用画像生成部１４０は、映像入力部１１０から出力されたフレーム画像（ｔ＋ｉ）から、その前景画像（ｔ＋ｉ）を生成する（ステップＳ２５４）。

次に、ボール軌跡検出用画像生成部１４０は、ボール軌跡検出用画像に前景画像（ｔ＋ｉ）を重畳する（ステップＳ２５６）。なお、前景画像（ｔ＋ｉ）を重畳する前に、前景画像（ｔ＋ｉ）に対して収縮・膨張処理を行うことによってノイズを除去しても良い。

次に、ボール軌跡検出用画像生成部１４０は、変数ｉの値に１を加算する（ステップＳ２５８）。次に、ボール軌跡検出用画像生成部１４０は、変数ｉの値がＮに等しいか否かについて判定する（ステップＳ２６０）。この判定の結果、変数ｉの値がＮに等しくない場合（ステップＳ２６０、ＮＯ）、処理はステップＳ２５４の前に戻る。

一方、変数ｉの値がＮに等しい場合（ステップＳ２６０、ＹＥＳ）、ボール軌跡検出用画像生成部１４０は、ボール軌跡検出用画像および前景画像（ｔ＋Ｎ−１）をボール軌跡検出部１５０に出力する（ステップＳ２６２）。出力されるボール軌跡検出用画像には、フレーム画像から生成された前景画像がＮ枚分だけ重畳されている。ステップＳ２６２の処理が完了することによって、ボール軌跡検出用画像生成部１４０は、図７における処理を終了する。

次に、図８のフローチャートに示すボール軌跡検出動作について説明する。まず、ボール軌跡検出部１５０は、ボール軌跡検出用画像生成部１４０から出力されたボール軌跡検出用画像に輪郭抽出処理を実施して、当該ボール軌跡検出用画像中の輪郭線を抽出する（ステップＳ２７０）。

次に、ボール軌跡検出部１５０は、抽出した輪郭線に公知の楕円フィッティング処理を実施して楕円形状の輪郭線を検出する（ステップＳ２７２）。次に、ボール軌跡検出部１５０は、ボール軌跡検出動作で使用する変数ｉの値に０を設定する（ステップＳ２７４）。

次に、ボール軌跡検出部１５０は、ステップＳ２７２にて検出した楕円形状の輪郭線のサイズが指定範囲（例えば、Ｌ１≦長径≦Ｌ２かつＳ１≦短径≦Ｓ２）内であるか否かについて判定する（ステップＳ２７６）。この指定範囲は細長い楕円（短径に対する長径の比率が著しく高い）であることが望ましい。一般的に前景画像には選手とボールが含まれる。選手を重畳すると円に近い楕円がフィッティングされ、ボールを重畳すると細長い楕円がフィッティングされる傾向にあるからである。具体的な短径と長径の比率としては１：αＮ（α：ボール速度の関数、Ｎ：フレーム数）のようにフレーム数に基づいて定めた値の周囲を含めることが好ましい。この判定の結果、指定範囲内でない場合（ステップＳ２７６、ＮＯ）、処理はステップＳ２８２に遷移する。

一方、指定範囲内である場合（ステップＳ２７６、ＹＥＳ）、ボール軌跡検出部１５０は、ボール軌跡検出用画像生成部１４０から出力された前景画像（ｔ＋Ｎ−１）において、楕円形状の輪郭線で囲まれる楕円領域に含まれる前景領域の位置座標を算出する（ステップＳ２７８）。

次に、ボール軌跡検出部１５０は、算出した位置座標が、選手領域検出部１６０から出力された選手領域に含まれるか否かについて判定する（ステップＳ２８０）。この判定の結果、選手領域に含まれない場合（ステップＳ２８０、ＮＯ）、ボール軌跡検出部１５０は、直前のステップＳ２７８にて算出した位置座標を第２ボール位置としてボール位置出力部１７０に出力する（ステップＳ２８６）。ステップＳ２８６の処理が完了することによって、ボール軌跡検出部１５０は、図８における処理を終了する。図９Ａは、ボール軌跡検出用画像生成部１４０から出力されたボール軌跡検出用画像を示す。図９Ａにおいて白い領域は前景画像が重畳された領域である。図９Ａには楕円フィッティングを精度良く行うために前景画像を膨張する処理が加えられている。このように前景画像を膨張させるとボールの速度が速い場合であっても、前景画像が途切れ難くなるため、一つの領域として楕円フィッティングを行い易くなる。図９Ａを拡大した図９Ｂに示されるように、前景画像の輪郭に対して楕円フィッティングを行った結果、図９Ｂ中下部の楕円が、ボールの軌跡を表している可能性が高い細長い楕円であることがわかる（ステップＳ２７６でＹＥＳ）。ボール軌跡検出部１５０は、この細長い楕円についてステップＳ２７８以降の処理を実行する。

一方、選手領域に含まれる場合（ステップＳ２８０、ＹＥＳ）、ボール軌跡検出部１５０は、変数ｉの値に１を加算する（ステップＳ２８２）。次に、ボール軌跡検出部１５０は、変数ｉの値が、楕円フィッティング処理によって検出された楕円形状の輪郭線の数（楕円の数）に等しいか否かを判定する（ステップＳ２８４）。この判定の結果、変数ｉの値が楕円形状の輪郭線の数に等しくない場合（ステップＳ２８４、ＮＯ）、処理はステップＳ２７６の前に戻る。一方、変数ｉの値が楕円形状の輪郭線の数に等しい場合（ステップＳ２８４、ＹＥＳ）、ボール軌跡検出部１５０は、図８における処理を終了する。図９Ａ、図９Ｂは、ボール軌跡検出用画像生成部１４０から出力されたボール軌跡検出用画像を示す。図９Ａ、図９Ｂにおいて、丸い枠で囲まれた部分に、ボールの軌跡を表している可能性が高い細長い楕円に類似する部分が存在している。ボール軌跡検出部１５０は、この楕円部分の輪郭線を含む輪郭線を抽出し、上述の楕円フィッティング等の処理を行い、ボール軌跡検出用画像生成部１４０から出力された前景画像（ｔ＋Ｎ−１）において、当該細長い楕円に類似する領域に含まれる前景領域の位置座標を算出する。

なお、算出した位置座標が、選手領域検出部１６０から出力された選手領域に含まれるか否かの判定は、上記方法に限らない。例えば、楕円形状の輪郭線で囲まれる楕円領域に含まれる前景領域の位置座標を算出する（ステップＳ２７８）する際に、楕円領域に含まれる前景領域のサイズを算出し、算出したサイズから、その領域が選手領域か、ボール領域か判断するとしてもよい。その場合、ボール軌跡検出用画像生成部１４０から出力された前景画像（ｔ＋Ｎ−１）に対して膨張する処理を加えるよい。これは、高速に動く選手の手足など身体の一部が分離することを防ぐためである。

また、上記実施の形態において、移動体追跡装置１００は、図１０に示す機能構成であっても良い。なお、この図１０において、図１に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。

ボール候補検出部１２０Ａは、映像入力部１１０から出力された映像を構成する複数のフレーム画像の各々において、例えばサイズや色等を用いて、サッカーの試合で使用されるボール候補の領域をボール候補領域として検出する。ボール候補検出部１２０Ａによって複数のボール候補領域が検出される。そして、ボール候補検出部１２０Ａは、検出した複数のボール候補領域のフレーム画像における位置をボール追跡部１３０Ａに出力する。

ボール追跡部１３０Ａは、ボール候補検出部１２０から出力された複数のボール候補領域の位置を用いて、追跡対象である複数のボール候補領域の位置を更新する。具体的には、ボール追跡部１３０Ａは、例えば移動距離を用い、過去（１つ前）のフレーム画像と、今回のフレーム画像との間で同じボール候補領域であるか否かを判定し、同じボール候補領域である第１ボール位置をフレーム画像間で対応付ける。ボール追跡部１３０Ａは、更新された複数のボール候補領域の位置を複数の第１ボール位置としてボール位置特定部１８０に出力する。

ボール軌跡検出部１５０Ａは、ボール軌跡検出用画像生成部１４０から出力されたボール軌跡検出用画像と、選手領域検出部１６０から出力された選手領域とに基づいて複数のフレーム画像単位におけるボールの軌跡を検出する。そして、ボール軌跡検出部１５０Ａは、検出したボールの軌跡上に存在する位置であって、当該ボールの軌跡を検出するために用いた複数のフレーム画像のうち最後のフレーム画像におけるボールの位置を第２ボール位置としてボール位置特定部１８０に出力する。

ボール位置特定部１８０は、ボール追跡部１３０Ａから出力された複数の第１ボール位置のうち、ボールの位置とは明らかに判定できない第１ボール位置を求める。例えば、所定数のフレーム画像上において位置が更新されていない第１ボール位置や、毎フレーム画像で移動方向が変化している、すなわちボールらしくない動きをしている第１ボール位置を、ボールの位置とは明らかに判定できない第１ボール位置として求める。そして、ボール位置特定部１８０は、ボールの位置とは明らかに判定できない第１ボール位置を除いた第１ボール位置をボール位置出力部１７０Ａに出力する。また、ボール位置特定部１８０は、ボール軌跡検出部１５０から第２ボール位置が出力された場合には、ボール追跡部１３０Ａから出力された複数の第１ボール位置のうち、当該第２ボール位置との差が最も小さい第１ボール位置をボール位置出力部１７０Ａに出力する。

ボール位置出力部１７０Ａは、ボール位置特定部１８０から出力された第１ボール位置を、ボールの最終的な位置として決定し、当該決定した位置をボール位置情報として出力する。図１０に示す移動体追跡装置１００の構成によれば、追跡対象のボール位置が複数検出された場合でも、ボール軌跡の検出結果を用いて、正しいボール位置を自動で決定することができる。そのため、映像中においてボールを高精度に追跡することができる。

また、上記実施の形態では、移動体追跡装置１００は、サッカーの試合が撮影されたスポーツ映像中においてボールを追跡する例について説明したが、他のスポーツ競技の試合が撮影されたスポーツ映像中において、当該試合で使用される移動体を追跡しても良い。また、移動体追跡装置１００は、スポーツ映像以外の映像中において移動体を追跡しても良い。

また、上記実施の形態は、何れも本開示を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本開示の技術的範囲が限定的に解釈されてはならないものである。すなわち、本開示はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本開示は、映像において移動体を高精度に追跡することが可能な移動体追跡方法および移動体追跡装置として有用である。

１００ 移動体追跡装置
１１０ 映像入力部
１２０，１２０Ａ ボール候補検出部
１３０，１３０Ａ ボール追跡部
１４０ ボール軌跡検出用画像生成部
１５０，１５０Ａ ボール軌跡検出部
１６０ 選手領域検出部
１７０，１７０Ａ ボール位置出力部
１８０ ボール位置特定部

Claims (12)

1. プロセッサが、
   映像を構成する複数のフレーム画像の各々において移動体の第１の位置を検出し、前記複数のフレーム画像を用いて得られた画像に基づいて前記第１の位置から独立して算出される前記移動体の軌跡を検出し、
   前記検出された第１の位置と、前記検出された軌跡から得られる前記移動体の第２の位置との差が所定値以上である場合に、前記検出された第２の位置を前記複数のフレーム画像の各々における前記移動体の最終的な位置として決定し、
   当該決定した最終的な位置を出力する、
   移動体追跡方法。
2. 前記移動体の軌跡を検出する時間間隔は、前記移動体の第１の位置を検出する時間間隔より大きい、
   請求項１に記載の移動体追跡方法。
3. 前記プロセッサは、前記差が前記所定値未満である場合に、前記検出された第１の位置を前記移動体の最終的な位置として決定する、
   請求項１に記載の移動体追跡方法。
4. 前記プロセッサは、前記複数のフレーム画像間における画素の移動量を検出し、移動量が最大となる画素の位置を示す画像を重畳することによって前記軌跡を検出する、
   請求項１に記載の移動体追跡方法。
5. 前記プロセッサは、前記複数のフレーム画像の各々から生成された前景画像を重畳し、重畳された画像から所定形状を有する輪郭を抽出することによって前記軌跡を検出する、
   請求項１に記載の移動体追跡方法。
6. 前記映像は、スポーツの試合が撮影されたスポーツ映像であり、
   前記移動体は、前記スポーツの試合で使用されるボールである、
   請求項１に記載の移動体追跡方法。
7. プロセッサを有する移動体追跡装置であって、
   前記プロセッサは、
   映像を構成する複数のフレーム画像の各々において、移動体の第１の位置を検出し、
   前記複数のフレーム画像を用いて得られた画像に基づいて前記第１の位置から独立して算出される前記移動体の軌跡を検出し、
   検出された前記移動体の第１の位置と、検出された前記移動体の軌跡から得られる前記移動体の第２の位置との差が所定値以上である場合に、前記検出された第２の位置を前記複数のフレーム画像の各々における前記移動体の最終的な位置として決定し、
   当該決定した最終的な位置を出力する、
   移動体追跡装置。
8. 前記移動体の軌跡を検出する時間間隔は、前記移動体の第１の位置を検出する時間間隔より大きい、
   請求項７に記載の移動体追跡装置。
9. 前記プロセッサは、前記差が前記所定値未満である場合に、前記検出された第１の位置を前記移動体の最終的な位置として決定する、
   請求項７に記載の移動体追跡装置。
10. 前記プロセッサは、前記複数のフレーム画像間における画素の移動量を検出し、移動量が最大となる画素の位置を示す画像を重畳することによって前記軌跡を検出する、
    請求項７に記載の移動体追跡装置。
11. 前記プロセッサは、前記複数のフレーム画像の各々から生成された前景画像を重畳し、重畳された画像から所定形状を有する輪郭を抽出することによって前記軌跡を検出する、
    請求項７に記載の移動体追跡装置。
12. 前記映像は、スポーツの試合が撮影されたスポーツ映像であり、
    前記移動体は、前記スポーツの試合で使用されるボールである、
    請求項７に記載の移動体追跡装置。

Images