JP7083332B2

JP7083332B2 - 画像処理装置、画像処理方法、及びプログラム

Info

Publication number: JP7083332B2
Application number: JP2019239185A
Authority: JP
Inventors: 竜志岩屋; 哲渡辺; 拓未梅村; 敬悟土屋
Original assignee: Rakuten Group Inc
Current assignee: Rakuten Group Inc
Priority date: 2019-12-27
Filing date: 2019-12-27
Publication date: 2022-06-10
Anticipated expiration: 2039-12-27
Also published as: JP2021108015A

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

近年、ゴルフなど、ボールを利用したスポーツのプレイ中に、スマートフォン等の携帯端末で、プレーヤーがボールを打ち出す際の動画を撮像して、プレーヤーのフォームを確認するなどといったことが広く行われている。

特開２００８－１５８９８４号公報

しかしながら、こうした動画からは、フォームを確認することはできても、ボールの軌道などを表示することは行われていないのが現状であり、娯楽性に乏しい。

本発明は上記実情に鑑みて為されたもので、簡便な操作で、ゴルフボール等、ボールの飛翔軌跡の合成表示等を可能として、娯楽性を向上できる画像処理装置、画像処理方法、及びプログラムを提供することを、その目的の一つとする。

上記従来例の問題点を解決するための本発明の一態様は、画像処理装置であって、プレーヤーによるボールのショットを撮像した一連のＮ個の静止画像データを含む動画像データを取得する手段と、前記取得した動画像データに含まれる静止画像データからボールの検出を試行する検出手段と、前記試行により検出されたボールの、前記動画像データ中の移動軌跡の情報を、所定の処理に供する処理手段と、を含むものである。

本発明によると、簡便な操作で、ボールの飛翔軌跡の合成表示等を可能として、娯楽性を向上できる。

本発明の実施の形態に係る画像処理装置の構成例を表すブロック図である。本発明の実施の形態に係る画像処理装置の例を表す機能ブロック図である。本発明の実施の形態の一態様に係る画像処理装置の動作例を表す説明図である。本発明の実施の形態の一態様に係る画像処理装置の画像前処理部の例を表す機能ブロック図である。本発明の実施の形態の一態様に係る画像処理装置の動作例を表すフローチャート図である。本発明の実施の形態のもう一つの態様に係る画像処理装置の画像前処理部の例を表す機能ブロック図である。本発明の実施の形態のもう一つの態様に係る画像処理装置の動作例を表すフローチャート図である。本発明の実施の形態のもう一つの態様に係る画像処理装置の動作例を表す説明図である。本発明の実施の形態の一態様に係る画像処理装置の表示情報生成部の例を表す機能ブロック図である。本発明の実施の形態に係る画像処理装置の一態様における、仰角の推定方法の例を表す説明図である。本発明の実施の形態に係る画像処理装置の一態様における、飛距離の算出方法の例を表す説明図である。本発明の実施の形態に係る画像処理装置の一態様における、飛距離の算出方法の例を表すもう一つの説明図である。本発明の実施の形態に係る画像処理装置の一態様における、飛距離の算出方法の例を表すさらにもう一つの説明図である。本発明の実施の形態の別の態様に係る画像処理装置の表示情報生成部の例を表す機能ブロック図である。本発明の実施の形態の別の態様に係る画像処理装置でのミート率の推定方法の例を表す説明図である。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置１０の一例は、図１に例示するように、制御部１１と、記憶部１２と、操作部１３と、表示部１４と、撮像部１５と、通信部１６とを備えたスマートフォンなどの携帯端末である。

ここで制御部１１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態のある例では、この制御部１１は、撮像部１５を制御して動画像データを撮像させる。また制御部１１は、撮像されたゴルフのショットなど、ボールを使ったスポーツプレイ中の、プレーヤーのショットの動画像データの入力を、撮像部１５から受け入れる。さらに、制御部１１は、当該入力された動画像データからボールの位置を検出し、当該検出したボールの位置の情報を所定の処理に供する。制御部１１の詳しい動作の内容については、後に述べる。

記憶部１２は、メモリデバイス等であり、制御部１１によって実行されるプログラムを保持する。また記憶部１２は、制御部１１のワークメモリとしても動作する。

操作部１３は、例えばタッチパネルやボタン等であり、ユーザの操作に基づき当該操作の内容を制御部１１に出力する。表示部１４は、タッチパネルに重ね合わせて配されたディスプレイ等を含む。表示部１４は、制御部１１から入力される指示に従って画像を表示する。

撮像部１５は、カメラであり、制御部１１から入力される指示に従って画像データを撮像する。本実施の形態の一例では、撮像部１５は、所定のタイミングごとに連続して複数フレーム分の静止画像データを撮像し、当該複数フレーム分の静止画像データを含むデータを、動画像データとして出力する。

通信部１６は、携帯電話通信網やネットワーク等の通信回線との間で情報を送受するインタフェース等である。通信部は１６、制御部１１から入力される指示に従って通信回線を介してデータを送出し、通信回線を通じて受信したデータを制御部１１に出力する。

次に、制御部１１の動作例について説明する。本実施の形態の一例に係る制御部１１は、記憶部１２に格納されたプログラムを実行することで、図２に例示するように、撮像制御部２１と、画像前処理部２２と、検出前処理部２３と、検出処理部２４と、表示情報生成部２５と、表示制御部２６とを機能的に含む構成を実現する。

［実施形態の第１の態様］
撮像制御部２１は、ユーザの指示を受信すると、撮像部１５を制御し動画像データを撮像させる。なお、以下の説明では、スポーツとしてゴルフを例とする。また、ユーザは、ゴルフのプレーヤーの後方に画像処理装置１０を置き、ショットの時点を含む前後の複数フレーム分の静止画像データを撮像させることとする。ここでプレーヤーの後方とは、プレーヤーの位置に対し、ボールを飛ばそうとする方向とは反対側をいう。そのため、撮像される画像データは例えば図３（ａ）に例示するように、プレーヤーが右利きの場合、フレーム内の中心よりやや左側にプレーヤーが位置する。また、フレームの中心の下辺近傍に当初ボールが位置し、ショットの後は、ボールがフレーム上方へ移動して撮像される状態となるものである。なお、ショット後も、ボールがフレームから出ないよう、画角等が調整されているものとする。

画像前処理部２２は、撮像部１５によって撮像された動画像データの処理を実行する。

本発明の実施の形態に係る画像処理装置１０の第１の態様では、画像前処理部２２が、図４に例示するように、補正部３１と、変換部３２とを含む。

補正部３１は、動画像データに含まれる複数フレーム分の静止画像データのそれぞれに対して、いわゆる手振れ補正処理を行う。この処理は、広く知られた方法を採用して行うことができるので、ここでの詳しい説明は省略する。

変換部３２は、複数フレーム分の静止画像データのそれぞれを、グレースケールの画像データに変換し、平滑化処理を行う。ここでは複数フレーム分の静止画像データのそれぞれに対して所定サイズのブロックごとにブロック内の画素値の平均を求めて、ブロック内の画素のすべてを当該平均の値として設定した平滑化画像を生成する処理を行えばよい。なお、所定サイズは、例えば、比較的近くにあるゴルフボールが撮像される際の、当該撮像されたゴルフボールの画素数よりも十分小さいサイズであってもよい。平滑化の処理では、ゴルフボールが撮像された画素を失うものでなければ、他の広く知られた種々の方法を採用できる。

本実施の形態のこの態様では、この変換部３２が出力する、変換後の複数フレーム分の静止画像データを処理対象データとして出力する（図３（ｂ））。

検出前処理部２３は、画像前処理部２２が出力した処理対象データ、例えば、変換後の複数フレーム分の静止画像データについて、次の処理を行う。なお、ここでは処理対象データには、Ｎ個もしくはＮフレームの静止画像データが含まれるものとする。

検出前処理部２３は、ｉ番目のフレームの静止画像データと、ｉ＋１番目のフレームの静止画像データとの差分画像データを生成する。ここでｉはＮ－２以下の自然数とする。なお、以下の説明では撮像された時刻が早い順に、静止画像データのフレームに１，２，…Ｎまでの番号を付して説明する。この差分画像データは、処理対象データに含まれる静止画像データと同じサイズの画像データである。

検出前処理部２３は、ｉ番目の差分画像データの各画素を順次、注目画素として選択し、当該注目画素に対応するｉ番目のフレームの静止画像データ内の画素とｉ＋１番目のフレームの静止画像データ内の画素とが、互いに同じ画素値である、もしくは画素値の差が予め定めたしきい値を下回るときは「０」、そうでなければ「１」とする。

検出前処理部２３は、上記処理を繰り返して、第１番目と第２番目のフレームの静止画像データ間の差分画像データ、第２番目と第３番目のフレームの静止画像データ間の差分画像データ…、第Ｎ－１番目と第Ｎ番目のフレームの静止画像データ間の差分画像データの、Ｎ－１フレーム分の差分画像データを生成する（図３（ｃ））。

なお、図３（ｃ）の例では、差分画像データを、その画素値が「０」である画素、言い換えると差のない画素を黒色、画素値が「１」である画素、言い換えると、差のある画素、すなわち有意画素を白色とした二値化画像データとして表している。

また検出前処理部２３は、生成した各差分画像データに対してモルフォロジー変換処理、具体的には、差のある画素が白色である場合はオープニング処理、差のある画素が黒色である場合はクロージング処理を適用して、所定の画素数未満の有意画素の塊をノイズとして除去してもよい。なお、予定の画素数は、比較的近くにあるゴルフボールが撮像される際の、当該撮像されたゴルフボールの画素数よりも十分小さいサイズとする。

検出処理部２４は、検出前処理部２３が処理した差分画像データの各々から、ボールが撮像されている位置の検出処理を実行する。図５に検出処理部２４の処理の一例を示す。検出処理部２４は、ｋ＝１，２，…Ｎ－２として各ｋの値について、以下に説明する処理Ｓ２からＳ６の繰り返し処理を開始する（Ｓ１）。また、検出処理部２４は、ｋ番目の差分画像データと、ｋ＋１番目の差分画像データとのそれぞれについて、ボールが撮像されると想定される検出対象領域を設定する（Ｓ２）。なお、本実施形態では、ｋ番目の差分画像をｋ番目のフレームとｋ＋１番目のフレームとの差分画像データとし、ｋ＋１番目の差分画像データをｋ＋１番目のフレームとｋ＋２番目のフレームとの差分画像データとする。

具体的には、検出処理部２４は、連続する有意画素の塊のうち、予め定めた画素数より大きい画素数の画素を含む有意画素の塊をプレーヤーが撮像されている範囲として検出する。そして検出処理部２４は、プレーヤーがフレームの中心より左側に存在するときにはプレーヤーとして検出した画素塊の外接矩形の右側辺よりも右側の範囲を検出対象領域と識別する。図３（ｃ）では、この検出対象領域を符号Ｒで示している。また、プレーヤーがフレームの中心より右側に存在する場合、検出処理部２４は、プレーヤーとして検出した画素塊の外接矩形の左側辺よりも左側の範囲を検出対象領域と識別する。

なお、一つ前の、処理Ｓ２からＳ６までの繰り返し処理においてｋ番目の差分画像データについて領域Ｒを特定していれば、この処理Ｓ２ではｋ＋１番目の差分画像データについてのみ処理してもよい。

検出処理部２４は、ｋ番目及びｋ＋１番目の差分画像データから、それぞれ処理Ｓ２で定めた領域Ｒ内にある有意画素の塊を抽出する。そして検出処理部２４は、当該抽出した有意画素の塊のうち、予め定めた画素数の範囲の有意画素を含む有意画素の塊を、仮のボール候補として検出する（Ｓ３）。

検出処理部２４は、ｋ番目の差分画像データで仮のボール候補とした有意画素の塊のそれぞれについて、当該有意画素の塊の位置の情報を抽出する（Ｓ４）。また、検出処理部２４は、当該取り出した位置の情報で特定されるｋ＋１番目の差分画像データ内の位置に、仮のボール候補となるｋ番目で抽出した有意画素の塊に対応する有意画素の塊があるか否かを判断する（Ｓ５）。以下、この仮のボール候補となるｋ番目で抽出した有意画素の塊に対応する有意画素の塊を、対応有意画素塊という。

この処理Ｓ５で対応有意画素塊があると判断されると（Ｓ５：Ｙｅｓ）、検出処理部２４は、当該有意画素塊の位置、言い換えるとその有意画素塊の外接矩形を特定する座標情報を、ｋ番目の差分画像データにおけるボール候補の位置とする（Ｓ６）。なお、処理Ｓ４で対応有意画素塊がないと判断されると（Ｓ５：Ｎｏ）、検出処理部２４はｋ番目の差分画像データにボール候補がないものとして処理を続ける。

検出処理部２４は、処理Ｓ２からＳ６の処理を、ｋ＝１，２，…Ｎ－２について繰り返し実行する。そして検出処理部２４は、ｋ＝１，２，…Ｎ－２番目の差分画像データのそれぞれからボール候補となる有意画素の塊を検出する。

検出処理部２４は、ｋ＝１，２，…Ｎ－２番目のフレームの静止画像データについて、次の処理を繰り返す（Ｓ７）。この繰り返し処理において検出処理部２４は、ｋ番目の差分画像データで新たにボール候補となったボール候補を、ｋ番目のフレームの静止画像データにおけるゴルフボールの位置として、フレームを特定する情報、すなわちｋの値に関連付けて当該ゴルフボールの位置を記憶部１２に格納する（Ｓ８）。なお、検出処理部２４は、ｋ番目の差分画像データで新たにボール候補がなければ、ｋ番目のフレームの静止画像データについては、ゴルフボールは検出できなかったものとして、位置の情報がない旨の情報を、記憶部１２に格納する。

これにより検出処理部２４は、ゴルフボールと推定される有意画素の塊が検出されたフレームの静止画像データについて、そのゴルフボールの位置を表す情報を生成する。なお、ゴルフボールの位置を表す情報は、ゴルフボールとして検出された有意画素の塊の外接矩形を特定する座標情報の組でよい。

表示情報生成部２５は、撮像制御部２１が取得したｉ番目のフレームの静止画像データの少なくとも一部について、ｉ－１番目以前のフレームの静止画像データで検出したゴルフボールの位置、言い換えると対応する画素塊の外接矩形の中心と、ｉ番目のフレームの静止画像データで検出したゴルフボールの位置を結んだ線分を、ｉ番目のフレームの静止画像データに係る表示情報として生成する。なお、ここではｉ＝２，３，…Ｎ－１とする。

また、表示情報生成部２５は、ｉ番目のフレームの静止画像データでゴルフボールが検出できなかった場合は、ｉ－１番目以前のフレームの静止画像データで検出したゴルフボールの位置から外挿してｉ番目のフレームの静止画像データでのゴルフボールの位置を推定してもよい。この場合、表示情報生成部２５は、ｉ－１番目以前のフレームの静止画像データで検出したゴルフボールの位置と当該推定した位置とを結んだ線分を、ｉ番目のフレームの静止画像データに係る表示情報として生成する。

あるいは、ｉ番目のフレームの静止画像データでゴルフボールが検出できなかった場合、表示情報生成部２５は、ｉ－１番目以前のフレームの静止画像データと、ｉ＋１番目以降のフレームの静止画像データとのそれぞれで検出したゴルフボールの位置から内挿してｉ番目のフレームの静止画像データでのゴルフボールの位置を推定してもよい。

表示制御部２６は、ユーザの再生指示に応じて、撮像制御部２１が取得した各フレームの静止画像データを順次表示する。また、表示制御部２６は、再生中もしくは表示中のフレームの静止画像データに係る表示情報が生成された場合、当該表示情報を、静止画像データに重ね合わせて表示する。これにより、図３（ｄ）に例示するように、ゴルフのショットの画像に、ゴルフボールの飛翔の軌跡を表す図形もしくは線分Ａが重ね合わせて表示されることとなる。

［第１の態様における検出処理の変形例］
またこの検出処理部２４の処理Ｓ６の処理において、ｋ番目の差分画像データでボール候補となっている有意画素の塊が複数ある場合、検出処理部２４は、次の処理をさらに行ってボール候補を絞り込んでもよい。ここではｋ＞２とする。

すなわち検出処理部２４は、各ゴルフボールから一つずつ検出された場合、ｋ－２番目とｋ－１番目との静止画像データのそれぞれのゴルフボールの位置を表す点、例えばゴルフボールとして検出された画素塊の中心点を、各静止画像データにおいて検出したゴルフボールの位置を表す複数の点とする。検出処理部２４は、これらのゴルフボールの位置を表すとされた点を結んだ延長線の情報を取得する。そして検出処理部２４は、ｋ番目の差分画像データ内で、当該情報で特定される延長線上に存在するボール候補の有意画素の塊をｋ番目の静止画像データのゴルフボールの位置とする。

なお、上記に記載以外でもｋ番目の静止画像データ以外であって、２以上の静止画像データにおいて検出したゴルフボールの位置を表す点を結ぶ線分または当該線分の延長線上を特定する情報を得てもよい。この場合も、ｋ番目の差分画像データ内で、当該情報で特定される延長線上に存在するボール候補の有意画素の塊をｋ番目の静止画像データのゴルフボールの位置とする。

［実施形態の第２の態様］
次に、本発明の実施の形態に係る画像処理装置１０の第２の態様について説明する。この第２の態様では、制御部１１が機能的に図２に例示した構成を実現することは第１の態様と同様であるが、各部の動作において相違がある。

撮像制御部２１は、第１の態様と同様、ユーザの指示を受けて、撮像部１５を制御し動画像データを撮像させる。ユーザは、ボールの飛ぶ方向の反対側であるゴルフのプレーヤーの後方に画像処理装置１０を置き、ショットの時点を含む前後の複数フレーム分の静止画像データを撮像させることとする。撮像される画像データは例えば図３（ａ）に例示したように、プレーヤーが右利きの場合、フレーム内の中心よりやや左側にプレーヤーが位置することとなる。また、この画像データでは、フレームの中心の下辺近傍に当初ボールが位置し、ショットの後は、ボールがフレーム上方へ移動して撮像される。なお、ショット後も、ボールがフレームから出ないよう、画角等が調整されているものとする。

この第２の態様では、画像前処理部２２は、図６に例示するように、補正部４１と、プレーヤー領域特定部４２と、変換部４３とを含む。補正部４１は、動画像データに含まれる複数フレーム分の静止画像データのそれぞれに対して、いわゆる手振れ補正処理を行う。この処理は、広く知られた方法を採用して行うことができるので、ここでの詳しい説明は省略する。

プレーヤー領域特定部４２は、各フレームの静止画像データからプレーヤーが撮像されている領域を特定する。この処理は、例えばディープラーニングを用いた、segnet；https://arxiv.org/pdf/1511.00561.pdf等のセグメンテーションネットワーク、YOLO；https://arxiv.org/abs/1506.02640等のオブジェクト検出ネットワークを用いて行うこととしてもよい。また、この他にも画像データから所定の特徴を有する対象を抽出できる方法であればいかなる方法を採用してもよい。

プレーヤー領域特定部４２は、各フレームの静止画像データにおいてプレーヤーが撮像されている領域を特定する。なお、プレーヤーが撮像されている領域は、プレーヤーとして認識される画素群に外接する矩形状の領域であってもよい。

変換部４３は、複数フレーム分の静止画像データのそれぞれに対して所定サイズのブロックごとにブロック内の画素値の平均を求めて、ブロック内の画素のすべてを当該平均の値として設定した平滑化画像を生成する処理を行う。変換部４３の平滑化の処理は、ゴルフボールが撮像された画素を失うものでなければ、他の広く知られた種々の方法を採用できる。なお、所定のサイズは、比較的近くにあるゴルフボールが撮像される際の、当該撮像されたゴルフボールの画素数よりも十分小さいサイズであってもよい。

検出前処理部２３は、画像前処理部２２の変換部４３が出力した処理対象データ、例えば、平滑化処理後の複数フレーム分の静止画像データについて、次の処理を行う。なお、ここでは処理対象データには、Ｎ個もしくはＮフレーム分の平滑化画像の静止画像データが含まれるものとする。

検出前処理部２３は、ｉ番目のフレームの静止画像データに対応する平滑化画像を取得する。なお、ｉはＮ－２以下の自然数とし、以下では、ｉ番目のフレームの静止画像データに対応する平滑化画像を、ｉ番目の平滑化画像と呼ぶ。以下の説明では撮像された時刻が早い順に、静止画像データのフレームに１，２，…Ｎまでの番号を付して説明する。

検出前処理部２３は、Ｎ－２個の平滑化画像のうち、ｐは予め定めた２以上の整数として、ｉ＞ｐとした場合、ｉ－ｐ番目からｉ番目までのｐ＋１個のフレームの静止画像データの平均を算出し平均画像データを生成する。

そして平均画像とｉ＋１番目のフレームの静止画像データに対応する平滑化画像、つまりｉ＋１番目の平滑化画像との差分画像データを生成する。差分画像データは、撮像された静止画像データと同じサイズの画像データであって、その各画素を次の処理を実行し特定したものである。

すなわち検出前処理部２３は、平均画像の各画素を順次選択する。以下では、選択した画素を、説明のため「注目画素」と呼ぶ。そして検出前処理部２３は、当該注目画素に対応する平均画像の画素とｉ＋１番目の平滑化画像の画素とが、互いに同じ画素値、あるいは画素値の差が予め定めたしきい値を下回る場合は「０」、そうでなければ「１」とする。ここでは例えば差分画像データを、その画素値が「０」である画素、言い換えれば、差のない画素を黒色、画素値が「１」である画素、言い換えれば、差のある画素、すなわち有意画素を白色とした二値化画像データとして表す。

検出前処理部２３は、この処理を繰り返して、第１番目から第ｐ－１番目までの平均画像と第ｐ番目の平滑化画像との間における差分画像データ、すなわちｐ番目の差分画像データと、第２番目から第ｐ番目までの平均画像と第ｐ＋１番目の平滑化画像との間の差分画像データ、すなわちｐ＋１番目の差分画像データ、…、第Ｎ－ｐ番目から第Ｎ－１番目までの平均画像と第Ｎ番目の平滑化画像との間の各差分画像データを取得する。

なお、検出前処理部２３は、平均画像の代わりに、ｋ番目の平滑化画像においてゴルフボールが撮像される際の画素数より大きいサイズの画素塊であって、周辺画素と色の異なる画素塊を検出して、当該画素塊を周辺画素の色で埋める処理、すなわちノイズ除去処理を実行して、実質的に背景となる画像を取得もよい。この場合、検出前処理部２３は、当該実質的に背景となる画像と、ｋ＋１番目の平滑化画像との差分画像データを取得することとなる。

検出前処理部２３は、取得した各差分画像データに対してモルフォロジー変換処理、具体的には、差のある画素が白色である場合、オープニング処理または差のある画素が黒色である場合、クロージング処理の処理を適用する。また、検出処理前処理部２３は、所定の画素数未満の有意画素の塊をノイズとして除去してもよい。なお、所定の画素数は、比較的近くにあるゴルフボールが撮像される際の、当該撮像されたゴルフボールの画素数よりも十分小さいサイズとしてもよい。

検出処理部２４は、検出前処理部２３が取得差分画像データの各々から、ボールが撮像されている位置の検出処理を実行する。本実施の形態のこの態様では、検出処理部２４は、第１の態様の図５に例示した処理に代えて、図７に示す処理を実行する。

図７に示す処理を実行する際、検出処理部２４は、プレーヤー領域特定部４２で特定した領域が差分画像データの中心より左側に存在するときには当該領域よりも右側の範囲を検出対象領域と識別する。また、プレーヤー領域特定部４２で特定した領域が差分画像データの中心より右側に存在するときには当該領域よりも左側の範囲を検出対象領域と識別する。

検出処理部２４は、各差分画像データから、上記検出対象領域内にある有意画素の塊を抽出する。そして検出処理部２４は、各差分画像データにおいて当該抽出した有意画素の塊のうち、予め定めた画素数の範囲の数だけの有意画素を含む有意画素の塊を、ボール候補として検出する（Ｓ１１）。

検出処理部２４は、各差分画像データから検出した各ボール候補の位置、例えば、ボール候補となった有意画素塊に外接する矩形を特定する座標情報を、検出した差分画像データに対応するフレームの静止画像データを特定する情報に関連付けて、ｋ番目の静止画像データにおいてゴルフボールが撮像されていると推定される位置の候補、言い換えるとボール位置候補として記録する（Ｓ１２）。なお、検出処理部２４は、ｋ番目の差分画像データであれば、数値ｋをそのまま用いて処理を実行してもよい。

これにより、ｋ番目の差分画像データを特定する情報に関連付けて記録したボール候補の位置は、ｋ番目の静止画像データにおいてゴルフボールが撮像されていると推定される位置の候補を表すものとなる。以下では説明のため、ｋ番目の静止画像データにおいてゴルフボールが撮像されていると推定される位置の候補を、Ｂk_1，Ｂk_2…とする。ここで推定される位置の候補を、以下では、ボール位置候補と呼ぶ。

検出処理部２４は、ｋ－１番目の静止画像データにおけるボール位置候補と、ｋ番目の静止画像データにおけるボール位置候補と、ｋ＋１番目の静止画像データにおけるボール位置候補とのそれぞれから１つずつボール位置候補を取り出して得られる可能な順列を列挙する（Ｓ１３）。ここでｋは２以上、Ｎ－１以下の自然数、つまりｋ＝２，３…Ｎ－１とする。つまり、この処理Ｓ１３ではボール位置候補の順列列挙が行われる。なお、上記の説明では、３つ静止画像データを用いる例を挙げるが、３以上であればいくつの静止画像データを用いてもよい。

例えば、図８では、ｋ－１番目の静止画像データにおけるボール位置候補がＢk-1_1，Ｂk-1_2，Ｂk-1_3の３つあり、ｋ番目の静止画像データにおけるボール位置候補がＢk_1，Ｂk_2の２つあり、ｋ＋１番目の静止画像データにおけるボール位置候補がＢk+1_1，Ｂk+1_2，Ｂk+1_3の３つある場合を示す。なお、図８では、ｋ番目の静止画像データにはＢk-1_1，Ｂk-1_2，Ｂk-1_3のボール位置候補を破線で示しており、ｋ＋１番目の静止画像データには、Ｂk-1_1，Ｂk-1_2，Ｂk-1_3のボール位置候補と、Ｂk_1，Ｂk_2のボール位置候補とを破線で示している。

この場合、それぞれから一つずつ取り出す可能な時系列順の順列は、
Ｂk-1_1→Ｂk_1→Ｂk+1_1
Ｂk-1_1→Ｂk_1→Ｂk+1_2
Ｂk-1_1→Ｂk_1→Ｂk+1_3
Ｂk-1_1→Ｂk_2→Ｂk+1_1
Ｂk-1_1→Ｂk_2→Ｂk+1_2
Ｂk-1_1→Ｂk_2→Ｂk+1_3
Ｂk-1_2→Ｂk_1→Ｂk+1_1
…
Ｂk-1_3→Ｂk_2→Ｂk+1_2
Ｂk-1_3→Ｂk_2→Ｂk+1_3
の１８通りある。検出処理部２４は、処理Ｓ１３で、この順列を列挙する。この順列は、それぞれが、ボールの移動軌跡候補となる。

なお、処理Ｓ１３では必ずしもすべての可能な順列を列挙する必要はなく、例えば順列に隣接して含まれるボール位置候補の差が予め定めたしきい値より大きい順列は、列挙から排除してもよい。なお、ボール位置候補の差は、例えば、Ｘ軸またはＹ軸のいずれかの方向の差などであってもよい。

検出処理部２４は、各移動軌跡候補のうち、予め定めた条件に最もよく適合する移動軌跡候補を選択する（Ｓ１４）。つまり、この処理Ｓ１４では、条件に適合する移動軌跡候補を選択することが行われる。

ここで条件は、例えば移動軌跡候補に含まれるボール位置候補が表す位置に係る条件である。以下の例では静止画像データの縦方向をＹ軸、横方向をＸ軸とする。ここで、Ｙ軸は、鉛直下方を正の方向とし、Ｘ軸は右方を正の方向とする。このとき、具体的な条件は、例えば：
（１）時系列順に隣接する３つのボール位置候補Ｂi-1_a→Ｂi_b→Ｂi+1_cにおいて、Ｂi+1_bより後の時間のボール位置候補のＹ座標が、Ｂi_bより前の時間のボール位置候補のＹ座標より小さいとき、Ｂi_bのＹ座標の値からＢi-1_aのＹ座標の値を引いた値ΔＹiよりも、Ｂi+1_cのＹ座標の値からＢi_bのＹ座標の値を引いた値ΔＹi+1の値が小さい
（２）時系列順に隣接する３つのボール位置候補Ｂi-1_a→Ｂi_b→Ｂi+1_cにおいて、Ｂi+1_b、つまり、より後の時間のボール位置候補のＹ座標が、Ｂi_b、つまり、より前の時間のボール位置候補のＹ座標より大きいとき、Ｂi_bのＹ座標の値からＢi-1_aのＹ座標の値を引いた値ΔＹiよりも、Ｂi+1_cのＹ座標の値からＢi_bのＹ座標の値を引いた値ΔＹi+1の値が大きい
（３）時系列順に隣接する３つのボール位置候補Ｂi-1_a→Ｂi_b→Ｂi+1_cにおいて、Ｂi_bより後の時間のボール位置候補のＸ座標の値からＢi-1_aのＸ座標の値を引いた値ΔＸiと、Ｂi+1_cのＸ座標の値からＢi_bのＸ座標の値を引いた値ΔＸi+1の値とが正または負である同じ符号であって、Ｘ軸方向の変化量の差の絶対値である｜ΔＸi+1－ΔＸi｜ができるだけ小さい。
との条件とする。言い換えれば、（１）は減速している場合を示し、（２）は加速している場合を示す。

図８の例では、検出処理部２４の処理により、例えば
・Ｂk-1_1→Ｂk_1→Ｂk+1_1では、上記条件（１）の条件を満足しており、また（３）Ｘ軸方向の変化量の差の絶対値が比較的小さいので、移動軌跡として適切であると判断される。
・Ｂk-1_1→Ｂk_1→Ｂk+1_2では、上昇中であるのに、ΔＹk+1がΔＹkより大きい、つまり加速しているため、（１）の条件を満足せず、またＸ軸方向の変化量の符号が変わっているので、（３）の条件も満足しない。従って移動軌跡として適切でないと判断される。
・Ｂk-1_1→Ｂk_1→Ｂk+1_3も、Ｂk-1_1→Ｂk_1→Ｂk+1_2の例と同じく（３）の条件を満足しない。
…
・Ｂk-1_2→Ｂk_1→Ｂk+1_1は、（１）、（３）の条件を満足するが、Ｘ軸方向の変化量の差の絶対値が、Ｂk-1_1→Ｂk_1→Ｂk+1_1のものより大きいので、移動軌跡として適切でないと判断される。
…
上記のように各移動軌跡候補が移動軌跡として適切か否かが判断される。

図８の例では、以上の例のように、Ｂk-1_1→Ｂk_1→Ｂk+1_1が最も適切な移動軌跡として判断されることとなる。

検出処理部２４は、最も適切な移動軌跡に含まれるボール位置候補の位置を特定する情報を、対応するフレームの静止画像データにおける、ゴルフボールの位置、言い換えると、ゴルフボールが撮像されている位置を表す情報として出力する。

表示情報生成部２５は、撮像制御部２１が取得したｉ番目のフレームの静止画像データの少なくとも一部についてのゴルフボールの位置と、ｉ－１番目以前のフレームの静止画像データで検出したゴルフボールの位置とを結んだ線分を、ｉ番目のフレームの静止画像データに係る表示情報として生成する。ここではｉ＝２，３，…Ｎ－１とする。なお、ゴルフボールの位置は、それぞれ対応する画素塊の外接矩形の中心であってもよい。

表示制御部２６は、ユーザの再生指示に応じて、撮像制御部２１が取得した各フレームの静止画像データを順次表示するとともに、再生中もしくは表示中のフレームの静止画像データに係る表示情報が生成されていたときには、当該表示情報を、静止画像データに重ね合わせて表示する。これにより、図３（ｄ）に例示したものと同様に、ゴルフのショットの画像に、ゴルフボールの飛翔の軌跡を表す図形もしくは線分が重ね合わせて表示されることとなる。

［表示情報に関する例］
前述の実施形態の画像処理装置１０は、撮像して得られた動画像データの各フレームにおいてゴルフボールが撮像されている位置を推定し、当該推定した位置を結ぶ線分を描画して、ゴルフボールの飛翔軌跡を表示するものであった。しかし、本実施の形態の画像処理装置１０は、これだけに限らず、ゴルフのショットに関する種々の情報を推定して表示するようにしてもよい。

［ヘッドスピードの推定］
本実施の形態のある態様では、画像処理装置１０の制御部１１は、表示情報生成部２５の処理においてプレーヤーのゴルフクラブのヘッドが撮像されている範囲を、各静止画像データ中から検出する。このゴルフクラブのヘッド部分の検出は、YOLO；https://arxiv.org/abs/1506.02640等の一般的なオブジェクト検出ネットワークを利用する方法など、広く知られている方法を採用できるので、ここでの詳しい説明は省略する。また以下の例では前述の通り静止画像データの縦方向をＹ軸、横方向をＸ軸とする。

表示情報生成部２５は、プレーヤーの撮像されている領域の検出の結果を用いて、画素数と実際の長さ、特に本実施形態ではメートル単位との比率を算出する。既に述べた第１の態様では、差分画像データ中にある有意画素の塊のうち、予め定めた画素数より大きい画素数の画素を含む有意画素塊をプレーヤーが撮像されている範囲として検出する。そのため、表示情報生成部２５は、この有意画素の塊に外接する矩形の高さであって、画素単位をプレーヤーの身長の画素数とする。

また第２の態様では、プレーヤー領域特定部４２が特定した領域の高さを画素単位で表した値を、プレーヤーの身長の画素数とする。そして表示情報生成部２５は、予め定めたプレーヤーの身長を、このプレーヤーの身長の画素数で除して比率ｒを求める。なお、プレーヤーの身長は、大人の身長の平均値でもよいし、ユーザにプレーヤーの身長の情報の入力を要求してもよい。

表示情報生成部２５は、各フレームから検出したゴルフクラブのヘッドの位置のうち、Ｙ軸の値が最小となったときのフレームと、Ｙ軸の値が最大となったときのフレームとの間のフレームの数を抽出する。例えばゴルフクラブのヘッドの位置のうち、Ｙ軸の値が最小となったときのフレームがｉ番目のフレームであり、Ｙ軸の値が最大となったときのフレームがｊ番目のフレームであれば、表示情報生成部２５は、これらの間のフレーム数として（ｊ－ｉ）を抽出する。そして表示情報生成部２５は、フレーム間の撮像間隔を、ここで求めたフレームの数に乗じて、ゴルフクラブが最も高い位置から最も低い位置まで振り降ろされる間の時間ｔを、秒の単位で求める。なお、検出されたゴルフクラブのヘッドの位置は、ヘッドが撮影されている部分に外接する矩形の中心の位置であってもよい。フレーム間の撮像間隔は、例えばフレーム速度が１／３０秒であれば、１／３０となる。

また、表示情報生成部２５は、ｉ番目のフレームのゴルフクラブのヘッドの位置における座標情報（ｘi，ｙi）と、ｊ番目のフレームのゴルフクラブのヘッドの位置における座標情報（ｘj，ｙj）との静止画像データ上での画素単位でユークリッド距離Ｄを算出する。さらに、表示情報生成部２５は、距離Ｄに予め算出した比ｒを乗じ、上記求めた時間ｔで除してヘッドスピードｓを算出する。式は以下のとおりである。：
ｓ＝Ｄ・ｒ／ｔ

画像処理装置１０は、上記の手法に基づき算出したヘッドスピードの情報を、ゴルフボールの移動軌跡とともに表示してもよい。

［初期位置の推定］
表示情報生成部２５は、プレーヤーの撮像されている領域の検出結果を用い、当該領域の下辺を延長した線分と、ゴルフボールの飛翔の軌跡を表す直線であって、静止画像データのＹ軸正の方向に延長した線分との交差する位置を、ゴルフボールの初期位置として推定してもよい。

表示制御部２６は、ユーザの再生指示に応じて、撮像制御部２１が取得した各フレームの静止画像データを順次表示する際、静止画像データの初期位置にゴルフのショットが行われたことを表す図形を重ね合わせて配し、インパクトがあったことを強調して表示してもよい。なお、表示制御部２６が表示する図形は、丸形であっても、四角であっても、その他多角形であってもよい。

表示情報生成部２５は、この初期位置の情報を、次の処理において利用してもよい。

［飛距離の推定（第１の方法）］
本実施の形態のある態様では、表示情報生成部２５は、図９に例示するようにヘッドスピード推定部５１と、初期位置推定部５２と、仮飛距離演算部５３と、仰角推定部５４と、ミート率推定部５５と、飛距離推定部５６とを含んで構成される。

ヘッドスピード推定部５１は、既に述べたように、ｉ番目のフレームのゴルフクラブのヘッドの位置における座標情報（ｘi，ｙi）と、ｊ番目のフレームのゴルフクラブのヘッドの位置における座標情報（ｘj，ｙj）との静止画像データ上での画素単位でユークリッド距離Ｄを算出する。さらに、表示情報生成部２５は、距離Ｄに予め算出した比ｒを乗じ、上記求めた時間ｔで除してヘッドスピードｓ＝Ｄ・ｒ／ｔを推定する。初期位置推定部５２は、上述の方法で初期位置を推定する。なお、本実施の形態のここでの例では、初期位置推定部５２は、さらにゴルフボールを検出したフレームの撮像時刻と、当該検出位置との情報を用いて、位置に応じた時刻の外挿を行い、先に推定した初期位置にボールがあった最後の時点であって、インパクトの時点の時刻ｔ０を、フレーム単位で推定する。

本実施の形態では、ミート率を仮に定めて仮の飛距離である仮飛距離を求める。この仮飛距離の値は、後に、ミート率を推定する処理に用いられる。このために、仮飛距離演算部５３は、仮のミート率を１．２５として、ヘッドスピード推定部５１が推定したヘッドスピードｓを用い、ボールスピードｂｓ＝１．２５×ｓを算出する。なお、ミート率は、ボール初速をヘッドスピードで除した比率を意味する。そして仮飛距離演算部５３は、ボールスピードｂｓを４倍した値を仮の飛距離とする。

［仰角の推定］
仰角推定部５４は、図１０に例示する処理により、ボールの打ち出し時の仰角を推定する。仰角推定部５４は、図１１に例示するように、プレーヤーの撮像されている領域Ｆの検出結果を用いて、当該領域Ｆの高さＨを算出する。そして仰角推定部５４は、当該領域Ｆの下辺から、当該領域Ｆの高さＨに対して所定比率（図１１では０．９とする）の位置にあるＸ軸に平行な仮想的な線分λを設定する（Ｓ２１）。以下の処理では、この線分λが、撮像部１５の高さにある、地面に平行な線分と仮定する。

仰角推定部５４は、ゴルフボールを検出した位置Ｂを通過し、Ｘ軸に平行な仮想線分λ′を設定する（Ｓ２２）。ここで、位置Ｂは、どの時点のものでもよいが、図１１では最初にゴルフボールを検出した位置としている。そして仰角推定部５４は、ここまでに設定した仮想線分λとλ′との間の距離ｈを算出する（Ｓ２３）。なお、仮想線分λとλ′との間の距離ｈは、λのＹ座標の値と、λ′のＹ座標の値との差の絶対値であって、単位は画素である。

仰角推定部５４は、既に述べた、プレーヤーの身長に関する情報とプレーヤーの撮像されている領域Ｆの高さＨとの比に基づいて画素に対する長さの比ｒを算出する（Ｓ２４）。また、仰角推定部５４は、上記距離ｈにこの比ｒを乗じてメートル単位での長さの情報ｈ′＝ｒ×ｈを算出する（Ｓ２５）。

図１２に、撮像する場合、特に打ち出されたゴルフボールの進行方向が右となる状態を示す。撮像部１５の位置Ｃとゴルフボールの位置Ｂとを結ぶ線分ＣＢとすると、この長さｈ′は、撮像部１５の位置Ｃとプレーヤーの正中線との交差する点Ｐと、当該正中線と線分ＣＢとの交点Ｑとの間の長さＰＱに相当することとなる。

ここでゴルフボールの初期位置Ｅが上記正中線と地面との交点であるとし、線分ＣＢを延長した線分と、地面との交点をＬとする。また線分ＥＬの長さをｄ２とし、線分ＥＢの長さをｄ１とする。求める仰角をαと置き、線分ＣＬと地面とのなす角をβとすると、図１２に例示するように、地面を平面と仮定したときには、平行線に関する定理から角ＬＣＰもまたβとなる。従って三角形ＣＰＱと、三角形ＬＥＱとは相似形となっている。

さらに正弦定理より、

が成立するので、これをαについて整理して、

を得る。

一方、撮像部１５の画角の情報から、プレーヤーの身長が画素数Ｈで撮像される場合の被写体までの距離Ｄは推定できるので、上記相似の関係から、Ｄ／ｈ＝ｄ２／０．９Ｈ－ｈが成り立ち、

と書くことができる。

またｄ１は推定したボールの初速に、ゴルフボールが初期位置Ｅから点Ｂまで移動するのに要した時間を乗じて求めることができる。この時間は、先に求めたｔ０を用いて、点Ｂにあったときのフレームがｋ番目のフレームであれば（ｋ－ｔ０）にフレーム間の時間fps（例えば１／３０秒であれば１／３０）を乗じて、
（ｋ－ｔ０）・fps
と求めることができるため、

となる。

なお、角βは、

と表すことができる。

仰角推定部５４は、（２），（３），（４）式により、既知の値となっているＤ，Ｈ，ｈ′，ｒ（画素に対する現実の長さ（メートル）の比），ｋ，ｔ０，ｆｐｓ，ｂｓからｄ１，ｄ２，及びβを求める（Ｓ２６）。そして（１）式に、当該求めた値を代入して仰角の推定値αを求める（Ｓ２７）。

なお、身長に対するカメラの高さの比率を０．９以外とする場合は、（２）式における定数０．９もそれに合わせて変更する。

［ミート率の推定（第１の方法）］
ミート率推定部５５は、次のようにしてミート率を推定する。なお、以下の説明でも図１２を参照する。また図１２において、撮像部１５の位置Ｃから鉛直下方に下ろした線と地面との交点をＯとする。既に述べたように、この線分ＣＯの長さは０．９Ｈ（身長に対するカメラの高さの比率を０．９とする場合。異なる値とするときには、その値とする）である。

ミート率推定部５５は、仮飛距離演算部５３が求めた仮の飛距離ｍ′＝４・ｂｓを用い、この飛距離の位置で、ゴルフボールが地面上の点Ｂ′にあるとして、撮像部１５の位置Ｃからこの点Ｂ′を見るときの角度β′として、

を求める。なお、ここでは地面は平面と仮定する。そしてミート率推定部５５は、この位置Ｂ′に対応する静止画像データ上での画素のＹ座標の値を、プレーヤーの撮像されている領域Ｆの上辺から

だけ下がった、つまりこの値だけＹ軸正の方向に移動した位置ｙとする。以下、この位置ｙを通り、Ｘ軸に平行な仮想的な線分をλ″とする。

またミート率推定部５５は、ゴルフボールの位置Ｂ′のＸ座標の値を、次のように求める。以下の説明では図１３を参照する。図１３において図１１と同じ点には、同じ符号を付している。図１３において線分ＥＢとＹ軸とのなす角を打ち出し角度φとする。また各フレームの静止画像データから検出したゴルフボールの位置のうち、その座標のＹ軸の値が最小となる位置Ｇと、点Ｂとを結ぶ線分を考えるとき、線分ＢＧとＸ軸とのなす角をθとする。

ミート率推定部５５は、点Ｇを通り、Ｘ軸とのなす角がθであるようなもう一つの仮想的な線分を設定し、この線分と上述のλ″との交点をＢ′とする。そしてミート率推定部５５は、角ＢＥＢ′を曲がり角度ψとして、この曲がり角度ψと、上述の打ち出し角度φとの和の余弦に、先に求めた仰角αの所定の関数を乗じてミート率Ｍを演算する。ここでは、

とする。なお、ここで角度αは、円周を３６０度とする角度単位であるディグリーで表すものとし、｜ｚ｜は、ｚの絶対値を表すものとする。また定数である１．３３や、０．０１は経験的に定められている。

飛距離推定部５６は、ミート率推定部５５が求めたミート率Ｍと、先に求めたヘッドスピードｓを用いてボールの初速をＭ・ｓとして、飛距離ｅを、
ｅ＝４・Ｍ・ｓ
と推定する。

表示制御部２６は、ユーザの再生指示に応じて、撮像制御部２１が取得した各フレームの静止画像データを順次表示する際、ここで得られた飛距離の値ｅやミート率を併せて表示してもよい。

［飛距離の推定（第２の方法）］
本実施の形態のもう一つの態様では、飛距離の推定を次のようにして行う。この態様では、表示情報生成部２５は、図１４に例示するようにヘッドスピード推定部６１と、ミート率推定部６２と、飛距離推定部６３とを含んで構成される。ここでヘッドスピード推定部６１は、既に述べた方法によりヘッドスピードｓを推定する。

［ミート率の推定（第２の方法）］
またミート率推定部６２は、図１５に例示するように、プレーヤーの撮像されている領域Ｆの左端から、この領域の幅の所定数倍、例えば５倍の幅を有する領域Ｕを確定し、Ｘ軸方向に当該領域Ｕを所定の横分割数に分ける。またミート率推定部６２は、例えばプレーヤーの撮像されている領域Ｆの下辺から、当該領域Ｆの高さの例えば０．８倍の高さの位置にＸ軸に平行な第１の判定ラインＤＬ１を設定する。さらにミート率推定部６２は、領域Ｆの下辺から、当該領域Ｆの高さの例えば１．２倍の高さの位置にＸ軸に平行な第２の判定ラインＤＬ２を設定…のように複数の判定ラインを設定し、領域ＵをＹ軸方向にも複数に分割する。

そしてミート率推定部６２は、領域Ｕを分割して得られる小領域ごとに、予めミート率を設定しておく。図１５の例では、３×３の９個に分割された小領域ごとに、第１行の左から右へ順に、１．１５，１．２，１．１５と設定している。また第２行についても同様に、１．３５，１．４２，１．３５と設定し、第３行についても、１．１，１．２，１．１と設定する。

ミート率推定部６２は、各フレームの静止画像データのうち、ゴルフボールの位置を最後に検出したフレームにおける、当該ゴルフボールの位置が、上記小領域のどこに属するかを判断する。そして、ミート率推定部６２は、当該判断の結果、最後に検出したゴルフボールの位置が属する小領域に関連して、予め設定されているミート率の値を、ミート率の推定値Ｍ′として出力する。

飛距離推定部６３は、ミート率推定部６２が求めたミート率Ｍ′と、先に求めたヘッドスピードｓを用いて（従ってボールの初速をＭ′・ｓとして）、飛距離ｅ′を、
ｅ′＝４・Ｍ′・ｓ
と推定する。

そしてこの例では、表示制御部２６は、ユーザの再生指示に応じて、撮像制御部２１が取得した各フレームの静止画像データを順次表示する際、ここで得られた飛距離の値ｅ′やミート率を併せて表示する。

［実施形態の効果］
本発明の実施の形態によると、ゴルフのショット時の動画像を、プレーヤーの後ろ側から画像処理装置１０の撮像部１５で撮像すれば、当該撮像された動画像データに含まれる一連の静止画像データのフレームからゴルフボールの位置を検出し、動画像データの再生時にゴルフボールの移動軌跡を表す線分を重ね合わせて表示できる。

このようにユーザは簡便な操作で、ゴルフボールの飛翔軌跡を合成した動画像を視聴でき、ゴルフのショット画像の娯楽性を向上できる。

また本実施の形態のある態様では、上述のように、ショットの初期位置を合成して表示でき、ゴルフのショット画像の娯楽性をさらに向上できる。

さらに本実施の形態のいくつかの態様では、インパクト時のヘッドスピードを推定し、またミート率を推定して飛距離を推定でき、この推定したミート率や飛距離の情報等を併せて表示するので、ユーザは簡便な操作で、おおまかな飛距離の情報など、ショットに関する情報を得ることができ、プレーヤーのショットの診断を簡便に行うことができる。

また、当該推定したミート率や飛距離に基づき、これらが所定のしきい値を超えたときに、「ナイスショット！」などといった文字の画像など、演出用の画像を合わせて表示することとすると、さらにゴルフのショット画像の娯楽性を向上でき、また、プレーヤーのショットの診断を簡便に行うことができる。

［ゴルフ以外のスポーツへの適用］
本実施の形態の画像処理装置１０は、ゴルフ以外のスポーツにおいても利用できる。例えば野球やバッティングセンターなどでの打撃であれば、バッターの後方側、いわゆるバックネット裏から撮像した画像を用いることで、画像処理装置１０は、ボールを検出し始めてからバッターが打撃を行うまでの時間と、バッターからマウンドまでの距離ｄである約１８ｍの情報とを用いて、投球速度を推定する。

すなわち、ボールが検出されるのは、ピッチャーの手からボールが離れた時点であるので、バッターが打撃を行うまでの時間Ｔで、上記距離ｄを除することで投球速度を判定できる。

また野球では、バットのスイング速度と、バットがボールを打ち出すときのインパクト位置が、上記の投球速度に加えて打球速度に影響する。そこで画像処理装置１０は、既に述べたゴルフクラブを検出した方法と同様の方法でバットの位置を検出し、そのスイングの速度と、打撃前のボールの最後の検出位置とバットを検出した領域が画像データ中で占める範囲とに基づいてインパクト位置を推定する。

そして画像処理装置１０は、ボールの反発係数を定数として、以上で求めた投球速度とバットのスイング速度とインパクト位置とに基づいて打球速度を推定する。さらに画像処理装置１０は、バットの領域の検出結果から、打撃後のフレームを特定し、当該打撃後のフレームから、打撃後のボールの位置を検出して、打球の角度を推定する。この推定方法は、既に述べたゴルフボールの打ち上げ角度の推定方法と同様の方法を採用できる。

そして画像処理装置１０は、以上の打撃速度と打球の角度とに基づいて打球の飛距離を推定して表示する。

さらに他のボールを用いたスポーツにおいても本実施の形態の画像処理装置１０を利用して、プレーヤーが投げた、打ち出した、蹴り出した、つまりプレーヤーがショットしたボールの軌跡を推定して、その情報を、プレーヤーとボールとを撮像した画像に重畳して表示するなどの処理に供することができる。

１０画像処理装置、１１制御部、１２記憶部、１３操作部、１４表示部、１５撮像部、１６通信部、２１撮像制御部、２２画像前処理部、２３検出前処理部、２４検出処理部、２５表示情報生成部、２６表示制御部、３１，４１補正部、３２，４３変換部、４２プレーヤー領域特定部、５１，６１ヘッドスピード推定部、５２初期位置推定部、５３仮飛距離演算部、５４仰角推定部、５５，６２ミート率推定部、５６，６３飛距離推定部。

Claims

プレーヤーによるボールのショットを、前記ボールの打ち出し方向に実質的に平行な方向から撮像した一連のＮ個の静止画像データを含む動画像データを取得する手段と、
前記取得した動画像データに含まれる静止画像データからボールの検出を試行する検出手段と、
前記試行により検出されたボールの、前記動画像データ中の移動軌跡の情報を、所定の処理に供する処理手段と、
を含み、
前記処理手段は、前記動画像データに含まれる静止画像データにおける前記プレーヤーの撮像されている領域の下辺を延長した線分と、前記ボールの移動軌跡を延長した線分との交差する位置を、前記ボールの初期位置として推定する画像処理装置。
請求項１に記載の画像処理装置であって、
前記検出手段は、ｉ＋１番目（ｉはＮ－２以下の自然数）の静止画像データからボールの検出を試行する際には、前記取得した動画像データに含まれるｉ番目の静止画像データと、ｉ＋１番目の静止画像データとの差分画像、及び、ｉ＋１番目の静止画像データと、ｉ＋２番目の静止画像データとの差分画像との双方に含まれる差分画像のうち、サイズに関する所定の条件を満足する画素塊を、ｉ＋１番目の静止画像データ内のボールとして検出する画像処理装置。
請求項２に記載の画像処理装置であって、
前記検出手段は、前記画素塊が複数ある場合は、当該画素塊のうち、ｉ－１番目の静止画像データと、ｉ番目の静止画像データとのそれぞれで検出したボールの位置を表す複数の点を結ぶ延長線上にある画素塊を、ｉ＋１番目の静止画像データ内のボールとして検出する画像処理装置。
請求項１から３のいずれか一項に記載の画像処理装置であって、
前記処理手段は、前記動画像データの再生時に、前記試行により検出されたボールの軌跡を重ね合わせて表示する画像処理装置。
請求項１から４のいずれか一項に記載の画像処理装置であって、
前記検出したボールの画像部分の位置の情報を用いて飛距離を推定する飛距離推定手段をさらに含む画像処理装置。
コンピュータを用い、
取得手段が、プレーヤーによるボールのショットを、前記ボールの打ち出し方向に実質的に平行な方向から撮像した一連のＮ個の静止画像データを含む動画像データを取得し、
検出手段が、前記取得した動画像データに含まれる静止画像データからボールの検出を試行し、
処理手段が、前記試行により検出されたボールの、前記動画像データ中の移動軌跡の情報を、所定の処理に供し、
当該処理手段が、前記動画像データに含まれる静止画像データにおける前記プレーヤーの撮像されている領域の下辺を延長した線分と、前記ボールの移動軌跡を延長した線分との交差する位置を、前記ボールの初期位置として推定する画像処理方法。
コンピュータを、
プレーヤーによるボールのショットを、前記ボールの打ち出し方向に実質的に平行な方向から撮像した一連のＮ個の静止画像データを含む動画像データを取得する手段と、
前記取得した動画像データに含まれる静止画像データからボールの検出を試行する検出手段と、
前記試行により検出されたボールの、前記動画像データ中の移動軌跡の情報を、所定の処理に供する処理手段と、
として機能させ、
前記処理手段として機能させる際は、コンピュータに、前記動画像データに含まれる静止画像データにおける前記プレーヤーの撮像されている領域の下辺を延長した線分と、前記ボールの移動軌跡を延長した線分との交差する位置を、前記ボールの初期位置として推定させるプログラム。