JP6706577B2 - 修正確認方法および修正確認装置 - Google Patents

Description

本開示は、修正確認方法および修正確認装置に関する。

従来から、映像において移動体を追跡する移動体追跡装置が知られている。例えば、特許文献１に記載の技術では、過去のフレーム画像における移動体の位置情報に基づき今回のフレーム画像における移動体の予測位置を求める。そして、今回のフレーム画像における画像データから移動体に特有の所定の特徴を持つ候補物体を抽出し、抽出された候補物体のうち予測位置により近い候補物体を移動体として割り当てる。

特開２００４−４６６４７号公報

しかしながら、上記特許文献１に記載の技術では、追跡対象の移動体を他の移動体と間違えて追跡してしまう場合があるという問題があった。例えば、サッカーゲームなどのようなボール（移動体）を用いるスポーツ競技において、ボールを追跡することは選手の追跡に比べて難しい。すなわち、ボールの色や形が選手の足（靴）と似ているため、ボールが選手の足に近づくと誤追跡してしまう。また、ボールは選手によって隠蔽される場合があり、この場合においてボールを正しく追跡することは難しい。したがって、ユーザーは、各フレーム画像において追跡対象の移動体が正しく追跡されているかについて確認し、間違えて追跡されている場合には修正しなくてはならず、この確認および修正作業に時間と手間がかかる。

本開示の目的は、フレーム画像における追跡対象の移動体の位置を確認および修正する際の作業負荷を軽減することが可能な修正確認方法および修正確認装置を提供することである。

本開示に係る他の修正確認方法は、プロセッサが、映像を構成する複数のフレーム画像の各々における移動体の追跡結果に基づいて、特定のフレーム画像を確認対象フレーム画像として表示する修正確認方法であって、プロセッサは、移動体が別の移動体を中心とした一定サイズの領域に含まれない場合、移動体の位置を正常に検出できたと判定する一方、移動体が領域に含まれる場合、移動体の位置を正常に検出できなかったと判定し、移動体の位置を正常に検出できなかったと判定したフレーム画像を確認対象フレーム画像として表示する。そして、ユーザーの修正指示を受け付けた場合にこの確認対象フレーム画像における移動体の位置を修正する。

本開示に係る他の修正確認装置は、映像を構成する複数のフレーム画像の各々における移動体の追跡結果に基づいて、特定のフレーム画像を確認対象フレーム画像として表示させるプロセッサを有する修正確認装置であって、プロセッサは、移動体が別の移動体を中心とした一定サイズの領域に含まれない場合、移動体の位置を正常に検出できたと判定する一方、移動体が領域に含まれる場合、移動体の位置を正常に検出できなかったと判定し、移動体の位置を正常に検出できなかったと判定したフレーム画像を確認対象フレーム画像として表示させる。そして、ユーザーの修正指示を受け付け、操作受付部により修正指示が受け付けられた場合に、この確認対象フレーム画像における移動体の位置を修正する。

本開示によれば、フレーム画像における追跡対象の移動体の位置を確認および修正する際の作業負荷を軽減することができる。

図１は、本実施の形態における修正確認装置の機能構成を示す図である。 図２は、本実施の形態におけるボール候補検出動作を示すフローチャートである。 図３は、本実施の形態におけるボール軌跡検出用画像生成動作を示すフローチャートである。 図４は、本実施の形態におけるボール軌跡検出動作を示すフローチャートである。 図５Ａは、フローベクトルの最大箇所を重畳した画像を示す図である。 図５Ｂは、フローベクトルの最大箇所を重畳した画像を示す図である。 図６は、本実施の形態における追跡結果情報を示す図である。 図７は、本実施の形態における修正確認動作を示すフローチャートである。 図８は、本実施の形態における検索画面を示す図である。 図９は、本実施の形態における検索結果画面を示す図である。 図１０は、本実施の形態における検索結果画面を示す図である。 図１１は、本実施の形態における検索結果画面を示す図である。 図１２は、本実施の形態における検索結果画面を示す図である。

以下、本実施の形態を図面に基づいて詳細に説明する。図１は、本開示の実施の形態に係る修正確認装置１００の機能構成を示す図である。修正確認装置１００は、外部から入力した映像においてボール（移動体）を追跡し、すなわち映像を構成する複数のフレーム画像の各々におけるボールの位置を検出し、その位置検出結果に基づいて当該複数のフレーム画像からボールの位置検出結果を確認することが望ましいフレーム画像（以下、「確認対象フレーム画像」ともいう）を検索して表示する。また、修正確認装置１００は、ユーザーの修正指示を受け付けた場合に確認対象フレーム画像におけるボールの位置検出結果を修正する。本実施の形態では、修正確認装置１００は、スポーツ競技の一つであるサッカーの試合が撮影されたスポーツ映像において、当該サッカーの試合で使用されるボールを追跡する。

修正確認装置１００は、映像入力部１１０、ボール候補検出部１２０、ボール追跡部１３０、ボール軌跡検出用画像生成部１４０、ボール軌跡検出部１５０、選手領域検出部１６０、ボール位置演算出力部１７０、追跡結果情報記憶部１８０、操作受付部１９０、検索部２００、表示部２１０および修正部２２０を有する。

なお、修正確認装置１００は、図示しないが、例えば、プロセッサとしてのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、制御プログラムを格納したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶媒体、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の作業用メモリ、および通信回路を有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

映像入力部１１０は、例えば外部装置（コンピューター）から、複数のフレーム画像から構成されるスポーツ映像を入力する。そして、映像入力部１１０は、入力したスポーツ映像をボール候補検出部１２０、ボール軌跡検出用画像生成部１４０、選手領域検出部１６０、検索部２００および表示部２１０に出力する。

ボール候補検出部１２０は、映像入力部１１０から出力されたスポーツ映像を構成する複数のフレーム画像の各々において、サッカーの試合で使用されるボールが存在する可能性の高い領域をボール候補領域として検出する。そして、ボール候補検出部１２０は、検出したボール候補領域のフレーム画像における位置、および、当該フレーム画像をボール追跡部１３０に出力する。

次に、ボール候補検出部１２０による具体的なボール候補検出動作について説明する。図２は、本実施の形態におけるボール候補検出動作を示すフローチャートである。

まず、ボール候補検出部１２０は、映像入力部１１０から出力されたスポーツ映像を構成するフレーム画像から、その前景画像を生成する（ステップＳ１００）。ここで、前景画像は、フレーム画像のうち背景部分を構成する画素の画素値が０（黒）に設定され、前景部分を構成する画素の画素値が２５５（白）に設定された二値化画像である。前景画像の生成方法としては種々あるが、例えば背景差分法、フレーム間差分法等が挙げられる。

次に、ボール候補検出部１２０は、生成した前景画像の中で、ボール候補の領域を検出する検出対象領域を設定する（ステップＳ１１０）。具体的には、ボール候補検出部１２０は、１つ前のフレーム画像においてボール位置演算出力部１７０により出力されたボール位置に基づいて、前景画像におけるボールの移動予測位置を算出し、その移動予測位置を中心とした一定サイズの領域を検出対象領域として設定する。検出対象領域を設定する処理は必ずしも必須ではないが、当該処理を実行することにより、前景画像の全領域を検出対象領域として設定する場合と比べて、ボール候補検出動作の処理負荷を低減させることができるので好ましい。

次に、ボール候補検出部１２０は、前景画像において設定された検出対象領域に対して、ラベリング処理を実行する（ステップＳ１２０）。ここで、ラベリング処理とは、画素値が２５５（白）である部分が連続した画素に同じ番号を割り振る処理である。

最後に、ボール候補検出部１２０は、ラベリング処理の実行結果から、同じ番号が割り振られている画素領域のサイズ（例えば、領域幅、領域高さ、縦横比率または画素領域に外接する矩形内の前景比率など）を取得し、その取得したサイズが所定の条件を満たす画素領域をボール候補領域として検出する（ステップＳ１３０）。ここで、所定の条件とは、例えば領域幅および領域高さの上限下限、縦横比率の上限下限または画素領域内に外接する矩形の前景比率の下限等である。ボール候補検出部１２０は、検出したボール候補領域のフレーム画像における位置（Ｘ座標、Ｙ座標）、領域幅、領域高さ、および、当該フレーム画像をボール追跡部１３０に出力する。ステップＳ１３０の処理が完了することによって、ボール候補検出部１２０は、図２における処理を終了する。

選手領域検出部１６０は、映像入力部１１０から出力されたスポーツ映像を構成する複数のフレーム画像の各々において、サッカーの試合に出場している選手が存在する可能性の高い領域を選手候補領域として検出する。そして、選手領域検出部１６０は、検出した選手候補領域の特徴量に基づく選手尤度を算出する。ここで、選手尤度とは、選手候補領域が、どれくらい実際に選手が存在する領域に対して尤もらしいかを定量的に示す指標である。選手領域検出部１６０は、選手候補領域の選手尤度が所定の閾値以上であるか否かについて判定し、所定の閾値以上である場合には当該選手候補領域の範囲を選手領域としてボール追跡部１３０、ボール軌跡検出部１５０および表示部２１０に出力する。

ボール追跡部１３０は、ボール候補検出部１２０から出力されたフレーム画像において、ボール候補領域の特徴量に基づくボール尤度を算出する。ここで、ボール尤度とは、ボール候補領域が、どれくらい実際にボールが存在する領域に対して尤もらしいかを定量的に示す指標である。特徴量は、ボール候補検出部１２０から出力されたボール候補領域のフレーム画像における位置、領域幅、領域高さに基づいて算出される。特徴量はフレーム画像の光学的特徴量を用いたものでも良い。ボール追跡部１３０は、ボール候補領域のボール尤度が所定の閾値以上であるか否かについて判定し、所定の閾値以上である場合には当該ボール候補領域の位置を第１ボール位置として検出する。ボール追跡部１３０は、ボール候補検出部１２０から出力されたフレーム画像において複数のボール候補領域が存在する場合、複数のボール候補領域の各々についてボール尤度を算出し、所定の閾値以上であり、かつ、最もボール尤度の高いボール候補領域の位置を第１ボール位置として検出する。ボール追跡部１３０は、フレーム画像のフレーム番号、第１ボール位置、ボール尤度、ボール候補領域の領域幅および領域高さをボール位置演算出力部１７０に出力する。

また、ボール追跡部１３０は、算出したボール尤度が所定の閾値未満であった場合、フレーム画像のフレーム番号、ボール候補領域の領域幅および領域高さ、第１ボール位置を検出できなかった旨をボール位置演算出力部１７０に出力する。

また、ボール追跡部１３０は、フレーム画像におけるボール候補領域の位置が選手領域検出部１６０から出力された選手領域の外側に設定されたオーバーラップ判定領域に含まれる場合、すなわちボールが選手の周辺に位置する場合、フレーム画像のフレーム番号、ボール候補領域の領域幅および領域高さ、選手によるボールの遮蔽（オーバーラップ）が発生している旨をボール位置演算出力部１７０に出力する。オーバーラップ判定領域の領域幅および領域高さはそれぞれ、選手領域の領域幅および領域高さの例えば１．５倍である。

また、ボール追跡部１３０は、１つ前のフレーム画像におけるボール候補領域の位置がオーバーラップ判定領域に含まれ、かつ、今回のフレーム画像におけるボール候補領域の位置がオーバーラップ判定領域の外側に設定された再検出判定領域に含まれる場合、フレーム画像のフレーム番号、ボール候補領域の位置、領域幅および領域高さ、ボール候補領域の位置が再検出判定領域に含まれる旨をボール位置演算出力部１７０に出力する。再検出判定領域の領域幅および領域高さは例えば、選手領域の領域幅および領域高さの２倍である。

ボール軌跡検出用画像生成部１４０は、映像入力部１１０から出力されたスポーツ映像を入力し、複数（本実施の形態では、自然数であるＮ）のフレーム画像単位でボールの軌跡を検出するためのボール軌跡検出用画像を生成する。そして、ボール軌跡検出用画像生成部１４０は、生成したボール軌跡検出用画像をボール軌跡検出部１５０に出力する。

次に、ボール軌跡検出用画像生成部１４０による具体的なボール軌跡検出用画像生成動作について説明する。図３は、本実施の形態におけるボール軌跡検出用画像生成動作を示すフローチャートである。

まず、ボール軌跡検出用画像生成部１４０は、映像入力部１１０から出力されたスポーツ映像を構成するフレーム画像（ｔ）を入力する（ステップＳ２００）。ここで、フレーム画像（ｔ）は、フレーム番号がｔであるフレーム画像である。

次に、ボール軌跡検出用画像生成部１４０は、ボール軌跡検出用画像を初期化する（ステップＳ２１０）。具体的には、ボール軌跡検出用画像生成部１４０は、ステップＳ２００にて入力したフレーム画像（ｔ）と同じサイズの画像を用意し、その画像を構成する全ての画素値を全て０（黒）に設定する。

次に、ボール軌跡検出用画像生成部１４０は、ボール軌跡検出用画像生成動作で使用する変数ｉの値に１を設定する（ステップＳ２２０）。次に、ボール軌跡検出用画像生成部１４０は、映像入力部１１０から出力されたスポーツ映像を構成するフレーム画像（ｔ＋ｉ）を入力する（ステップＳ２３０）。

次に、ボール軌跡検出用画像生成部１４０は、ステップＳ２３０にて入力したフレーム画像（例えばフレーム画像（ｔ＋１）、以下「第２フレーム画像」と言う）と、その一つ前に入力したフレーム画像（例えばフレーム画像（ｔ）、以下「第１フレーム画像」と言う）とを用いて、オプティカルフローを算出する（ステップＳ２４０）。具体的には、ボール軌跡検出用画像生成部１４０は、第１フレーム画像の各画素が第２フレーム画像のどの画素に移動したのか、すなわちフローベクトルを求める。

次に、ボール軌跡検出用画像生成部１４０は、ステップＳ２４０の算出結果に基づいて、多くのフローベクトルの中から移動量が最大となるフローベクトルを検出する（ステップＳ２５０）。次に、ボール軌跡検出用画像生成部１４０は、ステップＳ２５０にて検出したフローベクトルに対応する画素の位置（箇所）を示す画像をボール軌跡検出用画像に重畳する（ステップＳ２６０）。具体的には、ボール軌跡検出用画像生成部１４０は、ボール軌跡検出用画像において、ステップＳ２５０にて検出したフローベクトルに対応する画素の位置周辺の画素値を２５５（白）に設定する。例えば、フローベクトルに対応する画素の位置周辺に５×５ピクセルの矩形領域や、直径５ピクセルの円領域を設定し、設定した領域を構成する画素の値を２５５に設定する。

次に、ボール軌跡検出用画像生成部１４０は、変数ｉの値に１を加算する（ステップＳ２７０）。次に、ボール軌跡検出用画像生成部１４０は、変数ｉの値がＮに等しいか否かについて判定する（ステップＳ２８０）。この判定の結果、変数ｉの値がＮに等しくない場合（ステップＳ２８０、ＮＯ）、処理はステップＳ２３０の前に戻る。

一方、変数ｉの値がＮに等しい場合（ステップＳ２８０、ＹＥＳ）、ボール軌跡検出用画像生成部１４０は、ボール軌跡検出用画像、および、フレーム画像（ｔ＋Ｎ−２）とフレーム画像（ｔ＋Ｎ−１）との間において移動量が最大となるフローベクトルの位置をボール軌跡検出部１５０に出力する（ステップＳ２９０）。出力されるボール軌跡検出用画像には、移動量が最大となるフローベクトルに対応する画素の位置を示す画像がＮのフレーム画像分だけ重畳されている。ステップＳ２９０の処理が完了することによって、ボール軌跡検出用画像生成部１４０は、図３における処理を終了する。

ボール軌跡検出部１５０は、ボール軌跡検出用画像生成部１４０から出力されたボール軌跡検出用画像と選手領域検出部１６０から出力された選手領域とに基づいて、複数（本実施の形態では、自然数であるＮ）のフレーム画像単位におけるボールの軌跡を検出する。そして、ボール軌跡検出部１５０は、ボール軌跡検出用画像生成部１４０から出力されたフローベクトルの位置を第２ボール位置としてボール位置演算出力部１７０に出力する。

次に、ボール軌跡検出部１５０による具体的なボール軌跡検出動作について説明する。図４は、本実施の形態におけるボール軌跡検出動作を示すフローチャートである。

まず、ボール軌跡検出部１５０は、ボール軌跡検出用画像生成部１４０から出力されたボール軌跡検出用画像に対してラベリング処理を実施する（ステップＳ３００）。次に、ボール軌跡検出部１５０は、ラベリング処理を実施した結果、ボール軌跡検出用画像におけるラベリング数が１であるか否かについて判定する（ステップＳ３１０）。図５Ａは、ラベリング数が１である場合のボール軌跡検出用画像を示す。図５Ａに示すように、ラベリング数が１である場合には、ボール軌跡検出用画像上において、白い部分すなわち移動量が最大となるフローベクトルに対応する画素の位置を示す画像の位置が時系列に連結されたように表され、その連結部分はボールの軌跡のように綺麗な軌跡を描いている。図５Ｂは、ラベリング数が３である場合のボール軌跡検出用画像を示す。判定の結果、ボール軌跡検出用画像におけるラベリング数が１でない場合（ステップＳ３１０、ＮＯ）、ボール軌跡検出部１５０は、図４における処理を終了する。

一方、ボール軌跡検出用画像におけるラベリング数が１である場合（ステップＳ３１０、ＹＥＳ）、ボール軌跡検出部１５０は、ボール軌跡検出用画像生成部１４０から出力されたフローベクトルの位置が、選手領域検出部１６０から出力された選手領域に含まれるか否かについて判定する（ステップＳ３２０）。ステップＳ３２０の判定処理は、早く走っている選手がボールの軌跡として誤って検出されることを防止するために行われる。

ステップＳ３２０における判定の結果、ボール軌跡検出用画像生成部１４０から出力されたフローベクトルの位置が選手領域に含まれる場合（ステップＳ３２０、ＹＥＳ）、ボール軌跡検出部１５０は、ボールの軌跡を検出できなかったと判断して、図４における処理を終了する。一方、ボール軌跡検出用画像生成部１４０から出力されたフローベクトルの位置が選手領域に含まれない場合（ステップＳ３２０、ＮＯ）、ボール軌跡検出部１５０は、ボールの軌跡を検出できたと判断して、ボール軌跡検出用画像生成部１４０から出力されたフローベクトルの位置（Ｘ座標、Ｙ座標）を第２ボール位置としてボール位置演算出力部１７０に出力する（ステップＳ３３０）。ステップＳ３３０の処理が完了することによって、図４における処理を終了する。

ボール位置演算出力部１７０は、ボール追跡部１３０およびボール軌跡検出部１５０から出力された情報に基づいて、スポーツ映像を構成する各フレーム画像においてボールを検出した結果を示す追跡結果情報（本開示の「検出結果情報」に対応）を生成し、生成した追跡結果情報を追跡結果情報記憶部１８０に記録する。図６に示すように、追跡結果情報は、各フレーム画像について、フレーム番号、ボール候補領域の領域幅および領域高さ、ボール位置（Ｘ座標、Ｙ座標）、追跡状態を項目情報として含む。ボール候補検出部１２０は、各フレーム画像におけるボール位置をボール候補検出部１２０に出力する。

ボール位置演算出力部１７０は、あるフレーム番号のフレーム画像について、ボール追跡部１３０から出力された第１ボール位置と、ボール軌跡検出部１５０から出力された第２ボール位置との両方が存在する場合、第１ボール位置と第２ボール位置との差分が所定値（例えば、３ピクセル）以上であるか否かについて判定する。第１ボール位置と第２ボール位置との差分は、第１ボール位置および第２ボール位置の位置座標をそれぞれ（Ｘ１、Ｙ１）、（Ｘ２、Ｙ２）とした場合に、次の式（１）により算出される。

差分＝ＳＱＲ（（Ｘ２−Ｘ１）^２＋（Ｙ２−Ｙ１）^２）・・・（１）
判定の結果、第１ボール位置と第２ボール位置との差分が所定値未満である場合、ボール位置演算出力部１７０は、追跡結果情報に含まれるボール位置に第１ボール位置の位置座標を設定するとともに、追跡状態にボール追跡部１３０から出力されたボール尤度を設定する。その一方、第１ボール位置と第２ボール位置との差分が所定値以上である場合、ボール位置演算出力部１７０は、追跡結果情報に含まれるボール位置に第２ボール位置の位置座標を設定するとともに、追跡状態に文字列「ＴＲＡＪＥＣＴＯＲＹ」を設定する。

ボール位置演算出力部１７０は、あるフレーム番号のフレーム画像について、ボール追跡部１３０から出力された第１ボール位置のみが存在する場合、追跡結果情報に含まれるボール位置に第１ボール位置の位置座標を設定するとともに、追跡状態にボール追跡部１３０から出力されたボール尤度を設定する。

ボール位置演算出力部１７０は、あるフレーム番号のフレーム画像について、オーバーラップが発生している旨がボール追跡部１３０から出力された場合、当該フレーム番号より小さく、追跡状態にボール尤度を設定されている直近のフレーム画像におけるボール位置の位置座標を、追跡結果情報に含まれるボール位置に設定するとともに、追跡状態に文字列「ＯＶＥＲＬＡＰ」を設定する。

ボール位置演算出力部１７０は、あるフレーム番号のフレーム画像について、ボール候補領域の位置が再検出判定領域に含まれる旨がボール追跡部１３０から出力された場合、ボール追跡部１３０から出力されたボール候補領域の位置を、追跡結果情報に含まれるボール位置に設定するとともに、追跡状態に文字列「再検出判定」を設定する。

ボール位置演算出力部１７０は、あるフレーム番号のフレーム画像について、第１ボール位置を検出できなかった旨がボール追跡部１３０から出力された場合、追跡結果情報に含まれるボール位置に値を設定せず、追跡状態に文字列「未検出」を設定する。

本実施の形態では、ボール位置演算出力部１７０は、追跡結果情報を参照する。そして、追跡状態に文字列「ＯＶＥＲＬＡＰ」が設定されている１以上のフレーム画像（確認対象フレーム画像）の後に、追跡状態に文字列「再検出判定」が設定されているフレーム画像が続く部分が存在する場合、確認対象フレーム画像の前後のフレーム画像におけるボール位置を用いた補間処理により当該確認対象フレーム画像におけるボール位置を算出する。そして、その算出結果を追跡結果情報に反映する。図６の例では、フレーム番号が２０３１〜２０３８であるフレーム画像における追跡状態に文字列「ＯＶＥＲＬＡＰ」が設定されていたが、フレーム番号が２０３０であるフレーム画像におけるボール位置と、フレーム番号が２０３９であるフレーム画像におけるボール位置とを用いた補間処理により、フレーム番号が２０３１〜２０３８であるフレーム画像におけるボール位置がそれぞれ算出されて設定されている。そして、ボール位置演算出力部１７０は、補間処理によりボール位置が算出されたフレーム画像における追跡状態を文字列「ＯＶＥＲＬＡＰ」から文字列「ＡＵＴＯ」に再設定する。なお、追跡状態に文字列「ＯＶＥＲＬＡＰ」が設定されているフレーム画像にも第１ボール位置は算出されている。よって、第１ボール位置と第２ボール位置との差が所定値以上である場合は、上述したように、ボール位置演算出力部１７０によって追跡状態が文字列「ＯＶＥＲＬＡＰ」又は「ＡＵＴＯ」から「ＴＲＡＪＥＣＴＯＲＹ」に再設定される場合もある。

また、ボール位置演算出力部１７０は、追跡結果情報を参照し、追跡状態に文字列「未検出」が設定されている１以上のフレーム画像（確認対象フレーム画像）の後に、追跡状態にボール尤度が設定されているフレーム画像が続く部分が存在する場合、確認対象フレーム画像の前後のフレーム画像におけるボール位置を用いた補間処理により当該確認対象フレーム画像におけるボール位置を算出し、その算出結果を追跡結果情報に反映する。図６の例では、フレーム番号が２０４３のフレーム画像における追跡状態に文字列「未検出」が設定されていたが、フレーム番号が２０４２であるフレーム画像におけるボール位置と、フレーム番号が２０４４のフレーム画像におけるボール位置とを用いた補間処理により、フレーム番号が２０４３のフレーム画像におけるボール位置が算出されて設定されている。そして、ボール位置演算出力部１７０は、補間処理によりボール位置が算出されたフレーム画像における追跡状態を文字列「未検出」から文字列「ＡＵＴＯ」に再設定する。なお、追跡状態に文字列「未検出」が設定されているフレーム画像にも、以前のフレーム画像で最後に検出された第１ボール位置と同じ座標で第１ボール位置が設定されている。よって、第１ボール位置と第２ボール位置との差が所定値以上の場合は、上述したように、ボール位置演算出力部１７０によって追跡状態が文字列「未検出」又は「ＡＵＴＯ」から「ＴＲＡＪＥＣＴＯＲＹ」に再設定される場合もある。

操作受付部１９０は、テンキー、スタートキー等の操作キーを有し、スポーツ映像を構成する複数のフレーム画像の中から確認対象フレーム画像を検索して表示し、ユーザーの修正指示に応じてボール位置を修正する際における各種の入力操作を受け付ける。操作受付部１９０は、入力操作を受け付けた場合、その入力操作に対応する操作信号をボール候補検出部１２０、検索部２００、表示部２１０および修正部２２０に出力する。

検索部２００は、操作受付部１９０から出力された操作信号に応じて、追跡結果情報記憶部１８０に記憶される追跡結果情報を参照し、映像入力部１１０から出力されたスポーツ映像を構成する複数のフレーム画像の中から確認対象フレーム画像を検索する。そして、検索部２００は、検索した確認対象フレーム画像のフレーム番号を表示部２１０に出力する。

表示部２１０は、操作受付部１９０から出力された操作信号に応じて、確認対象フレーム画像を検索するための検索画面をモニター（図示せず）に表示する。また、表示部２１０は、検索部２００からフレーム番号が出力された場合、そのフレーム番号に対応する確認対象フレーム画像を含む検索結果画面をモニターに表示する。

修正部２２０は、表示部２１０により検索結果画面が表示されている場合、操作受付部１９０から出力された操作信号に応じて、検索結果画面に含まれる確認対象フレーム画像におけるボール位置を修正する。そして、修正部２２０は、修正後のボール位置を用いて、追跡結果情報記憶部１８０に記憶される追跡結果情報に含まれるボール位置を更新する。

次に、ユーザーの修正指示に応じて確認対象フレーム画像におけるボール位置を修正する修正確認動作について説明する。図７は、本実施の形態における修正確認動作を示すフローチャートである。ステップＳ４００の処理は、操作受付部１９０が、検索画面を表示することを指示する検索画面表示操作の入力を受け付けることにより開始する。

まず、表示部２１０は、操作受付部１９０から出力された検索画面表示操作信号を入力し、確認対象フレーム画像を検索するための検索画面をモニターに表示する（ステップＳ４００）。図８は、本実施の形態における検索画面を示す図である。

検索画面は、映像入力部１１０から出力されたスポーツ映像を再生表示する表示領域３００と、確認対象フレーム画像を検索するための検索条件を設定する検索条件設定領域３１０とを含む。検索条件設定領域３１０には、チェックボックス３２０〜３２４，３２８〜３３２、入力ボックス３２６，３３４，３３６、検索ボタン３３８、実行ボタン３４０等が配置されている。

チェックボックス３２０は、確認対象フレーム画像を検索する検索種別として「ＡＵＴＯ」を選択するためのチェックボックスである。チェックボックス３２２は、検索種別として「ＯＶＥＲＬＡＰ」を選択するためのチェックボックスである。チェックボックス３２４は、検索種別として「ＴＲＡＪＥＣＴＯＲＹ」を選択するためのチェックボックスである。検索ボタン３３８は、何れかの検索種別を選択した上で、確認対象フレーム画像の検索を実行することを指示するボタンである。

図７のフローチャートに説明を戻し、操作受付部１９０は、「ＡＵＴＯ」、「ＯＶＥＲＬＡＰ」または「ＴＲＡＪＥＣＴＯＲＹ」の何れかを検索種別として選択する検索種別選択操作の入力を受け付ける（ステップＳ４１０）。そして、操作受付部１９０は、選択された検索種別（例えば、「ＡＵＴＯ」）を含む操作信号を検索部２００に出力する。

次に、検索部２００は、追跡結果情報記憶部１８０に記憶される追跡結果情報を参照し、操作受付部１９０から出力された操作信号に含まれる検索種別（例えば、「ＡＵＴＯ」）と追跡状態の設定値が一致するフレーム番号を検索する（ステップＳ４２０）。図８に示す検索画面において入力ボックス３２６に値（例えば、５）が入力された場合には、検索部２００は、検索画面の入力ボックス３２６に入力された値の数だけ連続して、検索種別（例えば、「ＡＵＴＯ」）と追跡状態の設定値が一致するフレーム番号を検索する。そして、検索部２００は、検索したフレーム番号を表示部２１０に出力する。

次に、表示部２１０は、映像入力部１１０から出力されたスポーツ映像を構成する複数のフレーム画像のうち、検索部２００から出力されたフレーム番号に対応するフレーム画像を含む検索結果画面を検索画面の表示領域３００に表示する（ステップＳ４３０）。

図９は、検索種別が「ＡＵＴＯ」である場合における検索結果画面を示す図である。検索結果画面３５０では、追跡状態の設定値が「ＡＵＴＯ」である先頭のフレーム画像（以下、「先頭フレーム画像」と言う）の所定領域３５２と、追跡状態の設定値が「ＡＵＴＯ」である最後のフレーム画像の次のフレーム画像（以下、「終了後フレーム画像」と言う）の所定領域３６０とが拡大して表示されている。これらに加えて、先頭フレーム画像と終了後フレーム画像との間に存在する確認対象フレーム画像の一部が間引かれた３つの確認対象フレーム画像の所定領域３５４〜３５８が拡大して表示されている。本実施の形態では、ユーザーは、検索画面のチェックボックス３２８（間引き表示）にチェックを入れることによって、検索された確認対象フレーム画像の一部を間引いて表示する設定を行うことができる。

間引く間隔は、例えば確認対象フレーム画像が３０フレーム以下なら、図９に示すように間の３フレームを表示するように間引く。その一方、確認対象フレーム画像が３０フレームより多いならば、例えば１０フレームに１つの確認対象フレーム画像を表示するように間引く。また、確認対象フレーム画像の数が多い場合は、１度に５つの確認対象フレーム画像を表示し、検索結果画面３５０に配置されたＮＥＸＴボタン（図示せず）が操作されることによって次の５つの確認対象フレーム画像を表示しても良い。本実施の形態では、ユーザーは、検索画面の入力ボックス３３４（表示数）に任意の値（例えば、５）を入力することによって、その入力した値の数だけ１度に確認対象フレーム画像を表示する設定を行うことができる。

所定領域３５２〜３６０は、追跡結果情報に含まれるボール位置を中心とした一定サイズの領域である。確認対象フレーム画像の所定領域３５４〜３５８には、選手、当該選手の選手領域を表す選手領域枠、追跡結果情報に含まれるボール位置を表すボール枠３６４、ボール３６６が表示されている。

表示部２１０により検索結果画面が表示されている際、ユーザーは、当該検索結果画面に含まれる確認対象フレーム画像の所定領域３５４〜３５８においてボール枠３６４の中にボール３６６が入っているかについて確認する。もし、ボール枠３６４の中にボール３６６が入っていれば、ボール３６６の位置は正しく検出され、確認対象フレーム画像におけるボール位置を修正する必要はないので、ユーザーは、検索結果画面３５０に配置されているＯＫボタン３６２を押下する。その一方、ボール枠３６４の中にボール３６６が入っていなければ、ボール３６６の位置は誤って検出され、確認対象フレーム画像におけるボール位置を修正する必要がある。図９に示す例では、所定領域３５４〜３５８の何れにおいてもボール枠３６４の中にボール３６６が入っていないため、ボール位置を修正する必要がある。この場合、ユーザーは、所定領域３５４〜３５８内において、正しいボール位置をクリック操作する。

修正部２２０は、操作受付部１９０から出力されたクリック操作信号に応じて、確認対象フレーム画像におけるボール位置を修正する。表示部２１０は、検索結果画面３５０に含まれる所定領域３５４〜３５８において、ボール枠３６４の位置を修正後のボール位置つまりクリック操作された位置に変更して表示する。図９の下方に示す検索結果画面３５０では、ユーザーによるボール位置の修正操作が行われた結果、所定領域３５４〜３５８の何れにおいてもボール枠３６４の中にボール３６６が入っている。ユーザーは、ボール枠３６４の中にボール３６６が入っていることを確認して、検索結果画面３５０に配置されているＯＫボタン３６２を押下する。その結果、修正部２２０は、所定領域３５４〜３５８に対応する確認対象フレーム画像について、追跡結果情報に含まれるボール位置を修正後のボール位置に更新する。

図７のフローチャートに説明を戻し、操作受付部１９０は、確認対象フレーム画像におけるボール位置を修正することを指示する修正指示操作の入力を受け付けたか否かについて判定する（ステップＳ４４０）。この判定の結果、修正指示操作の入力を受け付けていない場合（ステップＳ４４０、ＮＯ）、修正確認装置１００は、図７における処理を終了する。一方、修正指示操作の入力を受け付けた場合（ステップＳ４４０、ＹＥＳ）、修正部２２０は、修正指示操作を受け付けた確認対象フレーム画像について、追跡結果情報に含まれるボール位置を修正後のボール位置に更新する（ステップＳ４５０）。ステップＳ４５０においては、修正部２２０は、検索された確認対象フレーム画像のうち、修正指示操作を受け付けた確認対象フレーム画像の前後に位置し、間引き表示の結果表示されなかった確認対象フレーム画像におけるボール位置を、修正指示操作を受け付けた確認対象フレーム画像の前後に位置しボール位置が修正されなかった確認対象フレーム画像におけるボール位置と、修正されたボール位置とを用いた補間処理により算出する。そして、算出したボール位置を用いて、当該間引き表示の結果表示されなかった確認対象フレーム画像について、追跡結果情報に含まれるボール位置を更新する。さらに、修正部２２０は、ボール位置が更新された確認対象フレーム画像について、追跡結果情報に含まれる追跡状態に文字列「ＥＤＩＴ」を設定する。ステップＳ４５０の処理が完了することによって、修正確認装置１００は、図７における処理を終了する。

なお、検索結果画面３５０には、図１０に示すように、間引いて表示している確認対象フレーム画像の間に、＋ボタン（プラスボタン）３７０〜３７６が配置されても良い。例えば、ユーザーが＋ボタン３７４を押下する操作を行った場合、表示部２１０は、所定領域３５６に対応する確認対象フレーム画像と、所定領域３５８に対応する確認対象フレーム画像との間に存在する確認対象フレーム画像の所定領域３８２〜３８６を含む詳細表示画面３８０を表示する。表示部２１０は、押下された＋ボタン３７４を−ボタン（マイナスボタン）に変更する。ユーザーは、表示部２１０により表示された詳細表示画面３８０を確認することによって、複数の選手がボール３６６に接しており、ボール３６６の動きが複雑である場合でもボール３６６の正しい位置を把握することができる。ユーザーは、詳細表示画面３８０に含まれる確認対象フレーム画像の所定領域３８２〜３８６を確認し、上述したように、ボール位置の修正を行うことができる。すなわち、ユーザーは、所定領域３８２〜３８６内において、正しいボール位置をクリック操作する。そして、ユーザーが＋ボタン３７４から変更されている−ボタンを押下する操作を行った場合、表示部２１０は、詳細表示画面３８０の表示を終了する。表示部２１０は、−ボタンを＋ボタン３７４に変更する。

また、表示部２１０は、検索結果画面３５０を表示する際、間引いて表示している確認対象フレーム画像の間に存在する全ての確認対象フレーム画像を検索結果画面３５０に含めて表示しても良いし、当該全ての確認対象フレーム画像を動画像として再生することができる。ユーザーは、間引いて表示している確認対象フレーム画像の間に存在する全ての確認対象フレーム画像を動画像として再生させる場合には、検索画面のチェックボックス３３０（自動再生）にチェックを入れて、実行ボタン３４０を押下する操作を行う。その際に、ユーザーは、検索画面の入力ボックス３３６（スキップ）に任意の値（例えば、２）を入力することによって、入力した値の数だけ確認対象フレーム画像を飛ばしながら、動画像を再生させることもできる。

また、表示部２１０は、検索種別が「ＡＵＴＯ」である場合における検索結果画面に含まれる確認対象フレーム画像においてボールに接した可能性がある選手が複数存在する場合には、図１１に示すように、複数の選手３９０〜３９４を全て含む一定サイズの領域を所定領域３５４〜３５８として表示しても良い。表示部２１０は、選手領域検出部１６０から出力された選手領域に基づいて、検索結果画面に含まれる確認対象フレーム画像において選手間で選手領域が重なったかを判断し、重なったと判断した複数の選手３９０〜３９４を、ボール３６６に接した可能性がある複数の選手として特定する。

以上、検索種別が「ＡＵＴＯ」である場合、確認対象フレーム画像を検索して表示し、ユーザーの修正指示に応じてボール位置を修正する例について説明した。以下、検索種別が「ＴＲＡＪＥＣＴＯＲＹ」または「ＯＶＥＲＬＡＰ」である場合、確認対象フレーム画像を検索して表示し、ユーザーの修正指示に応じてボール位置を修正する例について説明する。

まず、操作受付部１９０が、「ＴＲＡＪＥＣＴＯＲＹ」を検索種別として選択する選択操作の入力を受け付けた場合について説明する。この場合、操作受付部１９０は、選択された検索種別（「ＴＲＡＪＥＣＴＯＲＹ」）を含む操作信号を検索部２００に出力する。

検索部２００は、追跡結果情報記憶部１８０に記憶される追跡結果情報を参照し、操作受付部１９０から出力された操作信号に含まれる検索種別（「ＴＲＡＪＥＣＴＯＲＹ」）と追跡状態の設定値が一致するフレーム番号を検索する。そして、検索部２００は、検索したフレーム番号を表示部２１０に出力する。

表示部２１０は、映像入力部１１０から出力されたスポーツ映像を構成する複数のフレーム画像のうち、検索部２００から出力されたフレーム番号に対応するフレーム画像を含む検索結果画面を検索画面の表示領域３００に表示する。検索結果画面には、検索部２００から出力されたフレーム番号に対応するフレーム画像より前のフレーム画像（確認対象フレーム画像）の所定領域が数フレーム間隔で含まれる。所定領域には、確認対象フレーム画像におけるボール位置、すなわち追跡結果情報に含まれるボール位置を表すボール枠が表示される。

表示部２１０により検索結果画面が表示されている際、ユーザーは、当該検索結果画面に含まれる確認対象フレーム画像の所定領域においてボール枠の中にボールが入っているかについて確認する。もし、ボール枠の中にボールが入っていれば、ボールの位置は正しく検出され、確認対象フレーム画像におけるボール位置を修正する必要はないので、ユーザーは、検索結果画面に配置されているＯＫボタンを押下する。その一方、ボール枠の中にボールが入っていなければ、ボールの位置は誤って検出され、確認対象フレーム画像におけるボール位置を修正する必要がある。この場合、ユーザーは、所定領域内において、正しいボール位置をクリック操作する。

修正部２２０は、操作受付部１９０から出力されたクリック操作信号に応じて、確認対象フレーム画像におけるボール位置を修正する。すなわち、修正部２２０は、所定領域に対応する確認対象フレーム画像について、追跡結果情報に含まれるボール位置を修正後のボール位置に更新する。

また、図８に示す検索画面のチェックボックス３３２（逆追跡）にチェックが入れられ、かつ、実行ボタン３４０が押下された場合、ボール候補検出部１２０およびボール追跡部１３０は、検索部２００から出力されたフレーム番号に対応するフレーム画像におけるボール位置に基づいて、当該フレーム番号以前のフレーム番号に対応するフレーム画像（確認対象フレーム画像）におけるボール候補領域の位置（第１ボール位置）を再検出する。このようにすると、再検出された第１ボール位置の精度は比較的高くなることが期待できる。追跡状態が「ＴＲＡＪＥＣＴＯＲＹ」であるフレーム画像はその時点での第１ボール位置の位置が正しくない可能性が高い。すると追跡状態が「ＴＲＡＪＥＣＴＯＲＹ」であるフレーム画像以前のフレーム画像も同じく第１ボール位置の位置が正しくない可能性が高い。ここで追跡状態が「ＴＲＡＪＥＣＴＯＲＹ」であるフレーム画像はその時点での第２ボール位置の位置は正しい可能性が高い。よって、当該第２ボール位置の位置を基準に逆向きにボール候補領域の位置（第１ボール位置）を再検出することで、正しい第１ボール位置を設定することができる可能性が高くなる。そして、表示部２１０は、図１２に示すように、第１ボール位置が再検出された複数の確認対象フレーム画像のうち、任意のフレーム間隔（例えば、ａ）で選択された所定数（例えば、５）の確認対象フレーム画像の所定領域４０２〜４１０を含む検索結果画面４００を表示する。所定領域４０２〜４１０には、再検出された第１ボール位置を表すボール枠４５０とボール４６０とが表示されている。

表示部２１０により検索結果画面４００が表示されている際、ユーザーは、検索結果画面４００に含まれる確認対象フレーム画像の所定領域４０２〜４１０においてボール枠４５０の中にボール４６０が入っているかについて確認する。もし、ボール枠４５０の中にボール４６０が入っていれば、ボール４６０の位置は正しく再検出され、確認対象フレーム画像におけるボール位置を修正する必要はないので、ユーザーは、検索結果画面４００に配置されているＯＫボタン４４０を押下する。修正部２２０は、所定領域４０２〜４１０に対応する確認対象フレーム画像について、追跡結果情報に含まれるボール位置を再検出された第１ボール位置に更新する。図１２に示す例では、所定領域４０２〜４１０の何れにおいてもボール枠４５０の中にボール４６０が入っているため、ボール位置を修正する必要はない。

その一方、ボール枠４５０の中にボール４６０が入っていなければ、ボール４６０の位置は誤って検出され、確認対象フレーム画像におけるボール位置を修正する必要がある。この場合、ユーザーは、所定領域４０２〜４１０内において、正しいボール位置をクリック操作する。修正部２２０は、操作受付部１９０から出力されたクリック操作信号に応じて、確認対象フレーム画像におけるボール位置を修正する。表示部２１０は、検索結果画面４００に含まれる所定領域４０２〜４１０において、ボール枠４５０の位置を修正後のボール位置つまりクリック操作された位置に変更して表示する。ユーザーは、ボール枠４５０の中にボール４６０が入っていることを確認して、検索結果画面４００に配置されているＯＫボタン４４０を押下する。修正部２２０は、所定領域４０２〜４１０に対応する確認対象フレーム画像について、追跡結果情報に含まれるボール位置を修正後のボール位置に更新する。

また、ユーザーは、検索結果画面４００に配置されているＰｒｅｖボタン４３０を押下することによって、所定領域４０２〜４１０に対応する確認対象フレーム画像よりフレーム番号が小さい確認対象フレーム画像の所定領域４１２〜４２０が含まれる検索結果画面４００を表示させることができる。図１２の下方の検索結果画面４００に示すように、所定領域４１８，４２０には、再検出された第１ボール位置を表すボール枠４５０およびボール４６０に加えて、最初に検出された第１ボール位置を表すボール枠４７０が表示されている。つまり、ユーザーは、所定領域４１８，４２０では最初に検出された第１ボール位置と再検出された第１ボール位置が異なっていることを確認し、どちらの検出結果が正しいかを判断し、必要があればステップＳ４４０で述べたように修正指示を行うことができる。所定領域４１６，４１４，４１２のように最初に検出された第１ボール位置と再検出された第１ボール位置が重なるフレーム画像が所定の枚数引き続いたことを確認すると、それ以前の最初に検出された第１ボール位置はある程度確からしいことが明らかであると推定されるのでユーザーはＯＫボタン４４０を押下して検索結果画面４００の表示を終了する。ここで、最初に検出された第１ボール位置と再検出された第１ボール位置が所定の範囲内にあるか否かはボール位置演算出力部１７０が判断するようにして、所定の範囲外にあるフレーム画像のみを表示するようにしてもよい。

次に、操作受付部１９０が、「ＯＶＥＲＬＡＰ」を検索種別として選択する選択操作の入力を受け付けた場合について説明する。この場合、操作受付部１９０は、選択された検索種別（「ＯＶＥＲＬＡＰ」）を含む操作信号を検索部２００に出力する。

検索部２００は、追跡結果情報記憶部１８０に記憶される追跡結果情報を参照し、操作受付部１９０から出力された操作信号に含まれる検索種別（「ＯＶＥＲＬＡＰ」）と追跡状態の設定値が一致するフレーム番号を検索する。そして、検索部２００は、検索したフレーム番号を表示部２１０に出力する。

表示部２１０は、映像入力部１１０から出力されたスポーツ映像を構成する複数のフレーム画像のうち、検索部２００から出力されたフレーム番号に対応するフレーム画像を含む検索結果画面を検索画面の表示領域３００に表示する。検索結果画面には、検索部２００から出力されたフレーム番号に対応するフレーム画像より後ろ、かつ、追跡状態の設定値が「ＯＶＥＲＬＡＰ」であるフレーム画像（確認対象フレーム画像）の所定領域が含まれる。所定領域には、確認対象フレーム画像におけるボール位置、すなわち追跡結果情報に含まれるボール位置を表すボール枠が表示される。

表示部２１０により検索結果画面が表示されている際、ユーザーは、当該検索結果画面に含まれる確認対象フレーム画像の所定領域においてボール枠の中にボールが入っているかについて確認する。もし、ボール枠の中にボールが入っていれば、確認対象フレーム画像におけるボール位置を修正する必要はないので、ユーザーは、検索結果画面に配置されているＯＫボタンを押下する。その一方、ボール枠の中にボールが入っていなければ、確認対象フレーム画像におけるボール位置を修正する必要がある。この場合、ユーザーは、所定領域内において、正しいボール位置をクリック操作する。

修正部２２０は、操作受付部１９０から出力されたクリック操作信号に応じて、確認対象フレーム画像におけるボール位置を修正する。すなわち、修正部２２０は、所定領域に対応する確認対象フレーム画像について、追跡結果情報に含まれるボール位置を修正後のボール位置に更新する。

なお、ボール位置演算出力部１７０が追跡結果情報記憶部１８０に出力した追跡結果情報においては、追跡状態が「ＯＶＥＲＬＡＰ」であるフレーム画像より後ろに追跡状態が「ＴＲＡＪＥＣＴＯＲＹ」であるフレーム画像が存在する可能性が高い。なぜならば追跡状態が「ＯＶＥＲＬＡＰ」である場合はその後のフレーム画像で第２ボール位置による修正がされている可能性が高く、その場合は追跡状態が「ＴＲＡＪＥＣＴＯＲＹ」となるからである。そのため、ユーザーが修正処理を行う場合においては、検索種別に「ＯＶＥＲＬＡＰ」を選択して修正処理を行うよりも、検索種別に「ＴＲＡＪＥＣＴＯＲＹ」を選択して修正処理を行う方が効率的である可能性が高い。

以上詳しく説明したように、本実施の形態では、プロセッサが、映像を構成する複数のフレーム画像の各々における移動体の追跡結果に基づいて、特定のフレーム画像を確認対象フレーム画像として表示し、ユーザーの修正指示を受け付けた場合に確認対象フレーム画像における移動体の位置を修正する。

このように構成した本実施の形態によれば、ユーザーは、全てのフレーム画像について追跡対象のボールが正しく追跡されているかについて確認することなく、追跡結果情報に基づいて検索表示された確認対象フレーム画像だけ確認し、必要に応じてボールの位置を修正することができる。そのため、フレーム画像における追跡対象のボールの位置を確認および修正する際の作業負荷を軽減することができる。

なお、上記実施の形態において、検索種別として「ＥＤＩＴ（ボールの位置が修正されたフレーム画像）」を選択するためのチェックボックスを検索画面の検索条件設定領域３１０にさらに設けても良い。また、表示中の検索結果画面に含まれる確認対象フレーム画像を基準として、選択された検索種別（例えば、「ＡＵＴＯ」）と追跡状態の設定値が一致するフレーム画像を前方検索または後方検索して表示させるための前方検索ボタン、後方検索ボタンを検索画面の検索条件設定領域３１０にさらに設けても良い。

また、上記実施の形態において、検索種別として何れか１つの種別を選択して確認および修正する方法について説明したが、検索種別を２つ以上選択して、時系列に２つ以上の検索種別を同時に確認および修正しても良い。

また、上記実施の形態において、ＯＫボタン、検索ボタン、実行ボタン、Ｐｒｅｖボタン等を画面上に配置し、ボタンを押し下げると説明したが、各種機能をそれぞれキーボードのキー、例えばファンクションキーに割り振るとしてもよい。

また、上記実施の形態では、映像を構成する複数のフレーム画像の各々におけるボールの位置を検出するための構成と、確認対象フレーム画像を検索して表示し、ユーザーの修正指示を受け付けた場合に確認対象フレーム画像におけるボールの位置検出結果を修正するための構成とが１つの装置で一体化されている例について説明したが、別々の装置で別体化されていても良い。

また、上記実施の形態では、修正確認装置１００は、サッカーの試合が撮影されたスポーツ映像においてボールを追跡する例について説明したが、他のスポーツ競技の試合が撮影されたスポーツ映像において、当該試合で使用される移動体を追跡しても良い。また、修正確認装置１００は、スポーツ映像以外の映像において移動体を追跡しても良い。

また、上記実施の形態は、何れも本開示を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本開示の技術的範囲が限定的に解釈されてはならないものである。すなわち、本開示はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本開示は、フレーム画像における追跡対象の移動体の位置を確認および修正する際の作業負荷を軽減することが可能な修正確認方法および修正確認装置として有用である。

１００ 修正確認装置
１１０ 映像入力部
１２０ ボール候補検出部
１３０ ボール追跡部
１４０ ボール軌跡検出用画像生成部
１５０ ボール軌跡検出部
１６０ 選手領域検出部
１７０ ボール位置演算出力部
１８０ 追跡結果情報記憶部
１９０ 操作受付部
２００ 検索部
２１０ 表示部
２２０ 修正部
３００ 表示領域
３１０ 検索条件設定領域
３２０，３２２，３２４，３２８，３３０，３３２ チェックボックス
３２６，３３４，３３６ 入力ボックス
３３８ 検索ボタン
３４０ 実行ボタン
３５０，４００ 検索結果画面
３５２，３５４，３５６，３５８，３６０，３８２，３８４，３８６，４０２，４０４，４０６，４０８，４１０，４１２，４１４，４１６，４１８，４２０ 所定領域
３６２，４４０ ＯＫボタン
３６４，４５０，４７０ ボール枠
３６６，４６０ ボール
３７０，３７２，３７４，３７６ ＋ボタン（プラスボタン）
３９０，３９２，３９４ 選手
４３０ Ｐｒｅｖボタン

Claims (16)

1. プロセッサが、映像を構成する複数のフレーム画像の各々における移動体の追跡結果に基づいて、特定のフレーム画像を確認対象フレーム画像として表示する修正確認方法であって、
   前記プロセッサは、前記移動体が別の移動体を中心とした一定サイズの領域に含まれない場合、前記移動体の位置を正常に検出できたと判定する一方、前記移動体が前記領域に含まれる場合、前記移動体の位置を正常に検出できなかったと判定し、
   前記移動体の位置を正常に検出できなかったと判定したフレーム画像を前記確認対象フレーム画像として表示し、
   ユーザーの修正指示を受け付けた場合に前記確認対象フレーム画像における前記移動体の位置を修正する、
   修正確認方法。
2. 前記映像は、スポーツの試合が撮影されたスポーツ映像であり、
   前記移動体は、前記スポーツの試合で使用されるボールであり、
   前記別の移動体は、前記スポーツの選手である、
   請求項１に記載の修正確認方法。
3. 前記プロセッサは、前記確認対象フレーム画像の一部であって、前記移動体の位置を含む領域を拡大して表示する、
   請求項１または請求項２に記載の修正確認方法。
4. 前記プロセッサは、前記確認対象フレーム画像の前後のフレーム画像を表示する、
   請求項１または請求項２に記載の修正確認方法。
5. 前記プロセッサは、前記確認対象フレーム画像以外のフレーム画像における前記移動体の位置検出結果を用いた補間処理により前記確認対象フレーム画像における前記移動体の位置を算出し、その算出結果を用いて前記移動体の位置を修正する、
   請求項１または請求項２に記載の修正確認方法。
6. 前記プロセッサは、前記確認対象フレーム画像が複数存在する場合、少なくとも１以上の前記確認対象フレーム画像を間引いて表示する、
   請求項１または請求項２に記載の修正確認方法。
7. 前記プロセッサは、前記確認対象フレーム画像が複数存在し、ユーザーの指示を受け付けた場合、少なくとも１以上の前記確認対象フレーム画像を間引いて表示する、
   請求項１または請求項２に記載の修正確認方法。
8. 前記プロセッサは、前記確認対象フレーム画像における修正前の前記移動体の位置を表示する、
   請求項１または請求項２に記載の修正確認方法。
9. 映像を構成する複数のフレーム画像の各々における移動体の追跡結果に基づいて、特定のフレーム画像を確認対象フレーム画像として表示させるプロセッサを有する修正確認装置であって、
   前記プロセッサは、
   前記移動体が別の移動体を中心とした一定サイズの領域に含まれない場合、前記移動体の位置を正常に検出できたと判定する一方、前記移動体が前記領域に含まれる場合、前記移動体の位置を正常に検出できなかったと判定し、
   前記移動体の位置を正常に検出できなかったと判定したフレーム画像を前記確認対象フ
   レーム画像として表示部に表示させ、
   ユーザーの修正指示を受け付け、
   操作受付部により前記修正指示が受け付けられた場合に、前記確認対象フレーム画像における前記移動体の位置を修正する、
   修正確認装置。
10. 前記映像は、スポーツの試合が撮影されたスポーツ映像であり、
    前記移動体は、前記スポーツの試合で使用されるボールであり、
    前記別の移動体は、前記スポーツの選手である、
    請求項９に記載の修正確認装置。
11. 前記プロセッサは、前記確認対象フレーム画像の一部であって、前記移動体の位置を含む領域を拡大して表示部に表示させる、
    請求項９または請求項１０に記載の修正確認装置。
12. 前記プロセッサは、前記確認対象フレーム画像の前後のフレーム画像を表示部に表示させる、
    請求項９または請求項１０に記載の修正確認装置。
13. 前記プロセッサは、前記確認対象フレーム画像以外のフレーム画像における前記移動体の位置検出結果を用いた補間処理により前記確認対象フレーム画像における前記移動体の位置を算出し、その算出結果を用いて前記移動体の位置を修正する、
    請求項９または請求項１０に記載の修正確認装置。
14. 前記プロセッサは、前記確認対象フレーム画像が複数存在する場合、少なくとも１以上の前記確認対象フレーム画像を間引いて表示部に表示させる、
    請求項９または請求項１０に記載の修正確認装置。
15. 前記プロセッサは、前記確認対象フレーム画像が複数存在し、ユーザーの指示を受け付けた場合、少なくとも１以上の前記確認対象フレーム画像を間引いて表示部に表示させる、
    請求項９または請求項１０に記載の修正確認装置。
16. 前記プロセッサは、前記確認対象フレーム画像における修正前の前記移動体の位置を表
    示部に表示させる、
    請求項９または請求項１０に記載の修正確認装置。

Images