JP7165375B1 - 算出装置、算出システム、算出方法、算出プログラム - Google Patents

Abstract

ゴルフなどの運動競技において、ゴルフクラブなどの用具で打ち上げられたボールなど目標とする動体の軌道や飛距離を、撮像した画像から算出するニーズがある。特に、近年、スマートフォンなど簡便な撮影機材の普及により分解能の低い単眼カメラによって撮像された画像から目標とする物体の軌道や飛距離を精度高く算出することが求められている。本願に係る算出装置、算出システム、算出方法、算出プログラムによれば、ゴルフなどの運動競技において、ゴルフクラブなどの用具で打ち上げられたボールなど目標とする動体の初速度と打ち出し角度を、背景から目標とする動体の検出が容易な上方向から撮像した複数の画像フレームの情報から算出することができる。これにより、分解能の低い単眼カメラによって撮像された画像からであっても、目標とする物体の軌道や飛距離を精度高く算出することができる。

Description

本開示は、算出装置、算出システム、算出方法、算出プログラムに関するものである。

ゴルフなどの運動競技において、ゴルフクラブなどの用具で打ち上げられたボールなど、目標とする動体の軌道や飛距離を、撮像した画像から算出するニーズがある。特に、近年、スマートフォンなど簡便な撮影機材の普及により分解能の低い単眼カメラによって撮像された画像から目標とする物体の軌道や飛距離を精度高く算出することが求められている。

このニーズに対して目標とする物体の軌道を横方向（ゴルフの例では、ゴルファーの正面）から単眼カメラによって撮像した画像から軌道や飛距離を算出する技術が開示されている。例えば、特許文献１に記載の技術などである。

また、物体が打ち出される向きに単眼カメラを向けて（ゴルフの例では、ゴルファーの側面方向であってボールが打ち出される向きとは逆の側にカメラを設置して）撮像した画像から目標とする物体の軌道や飛距離を算出する技術が開示されている。例えば、特許文献２に記載の技術などである。

特開２０２１－０９３９３１号公報 特開２０２１－１０８０１５号公報

しかしながら、先行技術による方法では、目標とする物体の検出が困難との課題がある。具体的にゴルフを例にとって説明すると、特許文献１に記載の技術のようなゴルファーの正面から撮像した画像を用いる技術の場合、背景に木々や観客などが写り込む場合が多く、この背景を含む画像から小さな白いボールを検出する必要がある。また、特許文献２に記載の技術のようなゴルファーの側面であってボールが打ち出される向きとは逆の側にカメラを設置して撮像した画像を用いる技術の場合、背景に木々や観客などが写り込むことに加えて、遠方に飛んでいくボールは時刻の経過に従ってカメラから遠ざかり、像が小さくなっていくことで更に検出が困難となる。

一方、物体の上方向（天頂から地表面に向かう方向）から撮像すれば、ゴルフの例では、背景は地表面（多くの場合は芝生）となって、目標とする物体である小さな白いボールであっても検出は容易である。分解能の低い単眼カメラによって撮像された画像からでも、高度な検出技術を用いなくとも、目標とする動体の検出は容易である。また、物体の上方向から撮像した画像から目標とする物体の軌道や飛距離を直接的に求めることの困難性は高くなるが、目標とする物体が射出された際の初速度と打ち出し角度（仰角）が算出できれば、これらから物理法則に基づいて容易に目標とする物体の軌道や飛距離を求めることができる。

そこで、本発明は、物体の上方向から単眼カメラで撮像された画像を用いて射出された目標とする物体の初速度と打ち出し角度を算出する装置、方法、プログラム、システムを提供することを目的とする。

本発明の一態様である算出装置は、単眼カメラで上方向から撮像した複数の画像フレームの情報から、射出された目標とする動体の初速度と打ち出し角度を算出する算出装置であって、画像フレームの情報から目標とする動体を検出する検出部と、検出部が検出した目標とする動体の三次元位置を算出する位置算出部と、位置算出部が算出した目標とする動体の三次元位置と、画像フレームの情報と、から目標とする動体の初速度を算出する初速度算出部と、位置算出部が算出した目標とする動体の三次元位置と、画像フレームの情報と、から目標とする動体の打ち出し角度を算出する打ち出し角度算出部と、を備えることを特徴とする。

本発明の一態様である算出装置は、複数の画像フレームは、一定の時間間隔で撮像された連続する複数の画像フレームであって、位置算出部は、目標とする動体の運動を等速直線運動と近似することで算出する、ことを特徴とする。

本発明の一態様である算出装置は、位置算出部は、画像フレームに撮像された目標とする動体の像についての三次元位置と、単眼カメラのレンズの光学中心の三次元位置と、を結んだ存在直線を算出する存在直線算出部と、目標とする動体が存在する可能性のある存在面を算出する存在面算出部と、を備え、存在直線算出部が算出した存在直線と、存在面算出部が算出した存在面と、が交わる点の三次元位置を、目標とする動体の三次元位置として算出する、ことを特徴とする。

本発明の一態様である算出装置は、位置算出部は、目標とする動体が存在する可能性のある複数の三次元位置の候補から探索アルゴリズムによって目標とする動体が存在する可能性が最も高い三次元位置の候補を目標とする動体の三次元位置として算出する、ことを特徴とする。

本発明の一態様である算出装置は、位置算出部は、探索アルゴリズムは、画像フレームに撮像された目標とする動体が存在する可能性のある三次元位置の候補の三次元距離から求めた評価値を評価することによって、目標とする動体が存在する可能性が最も高い三次元位置の候補を探索する、ことを特徴とする。

本発明の一態様である算出装置は、初速度算出部が算出した目標とする動体の初速度と、打ち出し角度算出部が算出した目標とする動体の打ち出し角度と、から目標とする動体の三次元での軌道を算出する軌道算出部を備える、ことを特徴とする。

本発明の一態様である算出装置は、初速度算出部が算出した目標とする動体の初速度と、打ち出し角度算出部が算出した目標とする動体の打ち出し角度と、から目標とする動体の飛距離を算出する飛距離算出部を備える、ことを特徴とする。

本発明の一態様である算出システムは、目標とする動体を上方向から撮像する位置に配置された単眼カメラと、算出装置と、からなることを特徴とする。

本発明の一態様である算出方法は、単眼カメラで上方向から撮像した複数の画像フレームの情報から、射出された目標とする動体の初速度と打ち出し角度を算出する算出方法であって、画像フレームの情報から目標とする動体を検出する検出ステップと、検出ステップで検出した目標とする動体の三次元位置を算出する位置算出ステップと、位置算出ステップで算出した目標とする動体の三次元位置と、画像フレームの情報と、から目標とする動体の初速度を算出する初速度算出ステップと、位置算出ステップで算出した目標とする動体の三次元位置と、画像フレームの情報と、から目標とする動体の打ち出し角度を算出する打ち出し角度算出ステップと、を備えることを特徴とする。

本発明の一態様である算出プログラムは、単眼カメラで上方向から撮像した複数の画像フレームの情報から、射出された目標とする動体の初速度と打ち出し角度を、コンピュータに算出させる算出プログラムであって、画像フレームの情報から目標とする動体を検出する検出ステップと、検出ステップで検出した目標とする動体の三次元位置を算出する位置算出ステップと、位置算出ステップで算出した前記目標とする動体の三次元位置と、画像フレームの情報と、から目標とする動体の初速度を算出する初速度算出ステップと、位置算出ステップで算出した目標とする動体の三次元位置と、画像フレームの情報と、から目標とする動体の打ち出し角度を算出する打ち出し角度算出ステップと、をコンピュータに実行させることを特徴とする。

本発明の一態様である算出プログラムを記録するコンピュータ読取り可能な記録媒体は、単眼カメラで上方向から撮像した複数の画像フレームの情報から、射出された目標とする動体の初速度と打ち出し角度を、コンピュータに算出させる算出プログラムを記録するコンピュータ読取り可能な記録媒体であって、算出プログラムは、画像フレームの情報から目標とする動体を検出する検出ステップと、検出ステップで検出した目標とする動体の三次元位置を算出する位置算出ステップと、位置算出ステップで算出した目標とする動体の三次元位置と、画像フレームの情報と、から目標とする動体の初速度を算出する初速度算出ステップと、位置算出ステップで算出した目標とする動体の三次元位置と、画像フレームの情報と、から目標とする動体の打ち出し角度を算出する打ち出し角度算出ステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、ゴルフなどの運動競技において、ゴルフクラブなどの用具で打ち上げられたボールなど目標とする動体の初速度と打ち出し角度を、上方向から撮像した複数の画像フレームの情報から算出することによって、分解能の低い単眼カメラによって撮像された画像からであっても、精度高く算出することができる。

算出装置のブロック図である。 算出装置のハードウェア構成図である。 実三次元空間での三次元直交座標系ΣＸＹＺを示す図である。 射出された目標とする動体を単眼カメラで上方向から撮像した一定の時間間隔で撮像された連続する複数の画像フレームを重畳した様子を示す図である。 一定の時間間隔で撮像された連続する複数の画像フレームに撮像された互いに隣り合った目標とする動体の像の二次元での距離が、時刻の経過とともに大きくなっていくことを説明するための図である。 各座標系について相互の関連を説明する図である。 算出装置の動作を示すフローチャートである。 位置算出処理の概要を説明するための簡略化された模式図である。 位置算出処理を説明するための図である。 位置算出処理を説明するための図である。 位置算出処理を説明するための図である。 位置算出処理を説明するための図である。 位置算出処理を説明するための図である。 算出装置のブロック図である。 算出装置のブロック図である。 位置算出処理のフローチャートである。 位置算出処理の一部を説明するための図である。 存在直線と軌道がねじれの位置にある状況を説明するための図である。 算出装置のブロック図である。

本発明の実施例について図面を参照して説明する。なお、重複する説明は省略し、各図面において同一又は相当部分には同一の符号を付す。

本発明の実施例において、算出装置、算出方法、算出プログラム、算出システムは、例えば、ゴルフなどの運動競技において、ゴルフクラブなどの用具で打ち上げられたボールなど目標とする動体の初速度と打ち出し角度を、上方向から撮像した複数の画像フレームの情報から算出することによって、分解能の低い単眼カメラによって撮像された画像からであっても、精度高く算出することができる。なお、上方向については後述する。

本発明について、実施例では、説明理解の容易性を考慮して、ゴルフにおいて射出されたゴルフボールを目標とする動体とし、その三次元での初速度と打ち出し角度を単眼カメラで上方向から撮像した複数の画像フレームの情報から算出する例をとって説明する。なお、これは例示であって、ゴルフのみに本発明の適用を限るものではない。

本発明の実施例１として開示する、算出装置、算出方法、算出プログラム、算出システムは、目標とする動体の三次元位置を単眼カメラで上方向から撮像した複数の画像フレームの情報から直接的に算出する例を開示する。あわせて、実施例１では、目標とする動体の三次元位置として算出について、目標とする動体の運動を等速直線運動と近似して算出する例を開示する。

まず、算出装置について説明する。図１は、算出装置のブロック図である。算出装置１は、単独で装置として構成される形態のみならず、他の装置に組み込まれて使用される形態であってもよい。算出装置１を組み込む他の装置は、例えば、スマートフォン、情報携帯端末、デジタルカメラ、ゲーム端末、テレビ等の電化製品であってもよい。算出装置１は、図２に示すように、物理的には、中央演算装置（ＣＰＵ）２０１、入力装置２０２、出力装置２０３、主記憶装置（ＲＡＭ／ＲＯＭ）２０４、補助記憶装置２０５を含むコンピュータとして構成される。

算出装置１の各機能は、図２に示す中央演算装置（ＣＰＵ）２０１、主記憶装置（ＲＡＭ／ＲＯＭ）２０４等に、単眼カメラで上方向から撮像した複数の画像フレームの情報から射出された目標とする動体の初速度と打ち出し角度をコンピュータに算出させる算出プログラムを読み込ませることにより、中央演算装置（ＣＰＵ）２０１の制御により入力装置２０２、出力装置２０３を動作させるとともに、主記憶装置（ＲＡＭ／ＲＯＭ）２０４、補助記憶装置２０５とデータの読み書きを行うことで実現される。

図１に示すように、算出装置１は、検出部１０１、位置算出部１０２、初速度算出部１０３及び打ち出し角度算出部１０４を備えている。算出装置１には、外部から入力として、単眼カメラで上方向から撮像した複数の画像フレームの情報が与えられる。画像フレームの情報には、撮像された順序と各々の画像フレームが撮像された時間間隔を算出するための情報を備えている。具体的には、撮像された順序を示すフレーム番号や撮像された時刻などである。また、算出装置１は、目標とする動体の初速度と打ち出し角度についての情報を外部へ出力する。

図１のブロック図に従って、算出装置１の各ブロックの機能を説明する。なお、各ブロックの詳細な動作については後述する。

検出部１０１は、外部から入力された単眼カメラで上方向から撮像した複数の画像フレームの情報から目標とする動体を検出する。

位置算出部１０２は、検出部１０１が検出した目標とする動体の三次元位置を算出する。具体的な算出処理については後述する。

初速度算出部１０３は、位置算出部１０２が算出した目標とする動体の三次元位置と、画像フレームの情報と、から目標とする動体の初速度を算出する。

打ち出し角度算出部１０４は、位置算出部１０２が算出した目標とする動体の三次元位置と、画像フレームの情報と、から目標とする動体の打ち出し角度を算出する。

次に、本実施例の説明で使用する座標系等について説明する。

図３は、本実施例の説明において使用する実三次元空間での三次元直交座標系である座標系ΣＸＹＺを示す図である。地表面に置かれたゴルフボール３０１と、ゴルフボール３０１を打つゴルファー３０２を示している。座標系ΣＸＹＺは、図３に示す通り原点Ｏを、ゴルフボール３０１と地表面の接点にとる。原点Ｏから天頂の向きを正とするＺ軸を、ゴルフボール３０１が射出される側を正とした向きにＸ軸を、ゴルファー３０２の正面から背面に向かう向きを正としたＹ軸を、三軸が直交するように設定する。ＸＹ平面が地表面である。なお、本実施例では、説明理解の容易性を考慮して、座標系ΣＸＹＺを上述の通りとして説明するが、本発明において、実三次元空間での目標とする動体（ゴルフボール）の三次元位置を特定できれば、座標系ΣＸＹＺは他の設定でも構わない。例えば、原点Ｏをゴルフボール３０１の中心として座標系ΣＸＹＺを設定することもできる。また、ゴルフボール３０１がティーアップされている場合には、原点Ｏをゴルフボール３０１の直下でティーと地表面の接点にとる、原点Ｏをゴルフボール３０１とティーの接点にとる、原点Ｏをゴルフボール３０１の中心にとるなどでもよい。さらに、原点Ｏをゴルフボール３０１とは無関係の既知の固定位置として座標系ΣＸＹＺを設定してもよい。

図４は、射出された目標とする動体（ゴルフボール）を単眼カメラで上方向から一定の時間間隔で撮像された連続する複数の画像フレームを重畳した様子を示す図である。座標系Σｕｖは、画像フレーム４０１に設定される二次元直交座標系である。座標系Σｕｖの原点Ｑは、単眼カメラのレンズの光軸と画像フレーム４０１の交点である。単眼カメラのレンズの光軸は画像フレーム４０１と直交する。４０２は、時刻０での目標とする動体（ゴルフボール）の像である。画像フレーム４０１は、目標とする動体（ゴルフボール）を位置が固定された単眼カメラで上方向から撮像している。ここで、上方向から撮像とは、目標に対して天頂側から撮像することをいう。理想的には、図３に示すＺ軸と単眼カメラのレンズの光軸が一致するように目標とする動体（ゴルフボール）の上方に単眼カメラを設置することが望ましいが、目標に対して天頂側から撮像されていれば、図３に示すＺ軸と単眼カメラのレンズの光軸が一致していなくとも上方向からの撮像である。すなわち、図３に示すＺ軸と単眼カメラのレンズの光軸が一致する理想的な場合には、画像フレーム４０１で、時刻０における目標とする動体（ゴルフボール）の像４０２の位置は座標系Σｕｖの原点Ｑとなるが、図４で示すように時刻０での目標とする動体（ゴルフボール）の像４０２が座標系Σｕｖの原点Ｑと位置が一致しないことを妨げるものではない。

図４で、鎖線矢印４０３は、射出された目標とする動体（ゴルフボール）の像が画像フレーム４０１上を移動する方向を示している。鎖線矢印４０３の上に示す黒丸は、一定の時間間隔で撮像された連続する複数の画像フレームに撮像された目標とする動体（ゴルフボール）の像を重畳したものである。連続する複数の画像フレームであることから、互いに隣り合った目標とする動体（ゴルフボール）の像が撮像された時間間隔はいずれも同じである。すなわち、フレームレートが一定（１／Ｔ）である。図４に示すように、画像フレーム４０１に重畳された、一定の時間間隔で撮像された連続する複数の画像フレームに撮像された互いに隣り合った目標とする動体（ゴルフボール）の像の画像フレーム４０１上の二次元での距離は、時刻の経過とともに大きくなっていく。

図５は、画像フレーム４０１に重畳された、一定の時間間隔で撮像された連続する複数の画像フレームに撮像された互いに隣り合った目標とする動体（ゴルフボール）の像の画像フレーム４０１上の二次元での距離が、時刻の経過とともに大きくなっていくことを説明するための図である。射出された目標とする動体（ゴルフボール）が放物運動をすると考えると、射出直後には水平方向（座標系ΣＸＹＺにおけるＸＹ平面と平行な方向）については等速度運動と考えられるため、同じ時間間隔であれば、水平方向の移動距離は同じである。一方、射出された目標とする動体（ゴルフボール）を単眼カメラで上方向から撮像する場合、目標とする動体（ゴルフボール）は、垂直方向には撮像している単眼カメラのレンズに近づく方向に移動する。水平方向の移動距離が同じであっても、画角の関係でレンズに近い方が画像フレーム上での移動距離は大きく、レンズから遠い方が画像フレーム上での移動距離は小さくなる。図５で、矢印５０１と矢印５０２は同じ長さであるが、単眼カメラ５０３で撮像した場合、画像フレーム上での二次元距離は矢印５０１に対して矢印５０２が長くなる。単眼カメラ５０３のレンズの光学中心５０４からの距離が矢印５０１に対して矢印５０２がより近くなるからである。

図６は、本実施例で使用する各座標系について相互の関連を説明する図である。座標系ΣＸＹＺは、図３を用いて説明した実三次元空間での三次元直交座標系である。原点Ｏの三次元座標をＯ（０，０，０）とする。座標系Σｕｖは、図４を用いて説明した画像フレーム４０１に設定される二次元直交座標系である。原点Ｑの二次元座標をＱ（ｕ０，ｖ０）とする。座標系Σｘｙｚは、単眼カメラのレンズの光学中心に原点Ｐｃを持つ三次元直交座標系である。原点Ｐｃの座標系ΣＸＹＺにおける三次元座標をＰｃ（Ｘ０，Ｙ０，Ｚ０）とする。本実施例では、単眼カメラのレンズの光学中心の実三次元空間での位置（座標系ΣＸＹＺにおける原点Ｐｃの座標）は既知であるとして説明する。単眼カメラの位置が固定されてレンズの光学中心の実三次元空間での座標があらかじめ与えられていてもよいし、撮像された画像情報と単眼カメラの外部パラメーターからレンズの光学中心の実三次元空間での座標を算出して決定してもよい。座標系Σｕｖは、座標系Σｘｙｚを平行移動した座標系で、ｘ軸とｕ軸、ｙ軸とｖ軸は、それぞれ互いに平行である。また、座標系Σｘｙｚのｚ軸と画像フレーム４０１の交点が座標系Σｕｖの原点Ｑとなる。座標系Σｘｙｚのｚ軸は単眼カメラのレンズの光軸にあたる。座標系Σｘｙｚのｚ軸は画像フレーム４０１と直交する。画像フレーム４０１上のＰ’は、目標とする動体（ゴルフボール）Ｐの像である。Ｐ及びＰ’について詳しくは後述する。また、図６に示す平面６０１については、実施例２において後述する。

次に、本実施例に係る算出装置１の動作について説明する。図７は、本実施例に係る算出装置１の動作を示すフローチャートである。図７のフローチャートに従って本実施例に係る算出装置１の動作を説明する。

算出装置１には、処理の対象となる単眼カメラで上方向から撮像した複数の画像フレームの情報が外部から入力される。算出装置１は、処理の対象となる情報が入力された後に動作を開始する。動作の開始は、情報の入力後に自動的であっても、明示的な命令によるものであってもよい。算出装置１は、入力された毎々の画像フレームの情報を読み込んで図７のフローチャートの処理を行う。

画像フレームの情報には、撮像された目標とする動体（ゴルフボール）の画像情報に加えて、初速度の算出に必要な情報を含む。例えば、撮像された時刻、フレーム番号、フレームレートなどである。ここにあげた情報の例は、初速度の算出に必要な情報であって、初速度の算出ができれば、情報の種別は問わない。本実施例では、処理の対象となる複数の画像フレームは、連続して撮像されたものであって、フレームレートが一定（１／Ｔ）であり、撮像された順に連続したフレーム番号を情報として持つとして説明する。

算出装置１は、動作を開始すると、検出部１０１が検出処理（Ｓ７０１）を実行する。検出処理（Ｓ７０１）では、入力された画像フレームの情報から目標とする動体（ゴルフボール）を検出する。

画像フレームの情報からの目標とする動体（ゴルフボール）の検出については、目標とする動体（ゴルフボール）の画像フレームでの二次元座標が決定できれば方法は問わない。例えば、テンプレートマッチングなどの画像検出の手法による。前述の通り、ゴルフにおいては、上方向から撮像すれば、背景は地表面（多くの場合は芝生）となって一様であるため、小さな白いゴルフボールであってもテンプレートマッチングなど簡便な手法でも検出は容易である。

検出部１０１は、入力された毎々の画像フレームの情報から、目標とする動体（ゴルフボール）を検出して、画像フレームでの二次元座標を決定すると、検出処理（Ｓ７０１）を終了する。検出処理（Ｓ７０１）が終了すると、位置算出部１０２が、位置算出処理（Ｓ７０２）を開始する。

図８は、位置算出処理（Ｓ７０２）の概要を説明するための簡略化された模式図である。図８は、地表面８０１に接して置かれた目標とする動体（ゴルフボール）８０２が射出された様子を、上方向に設置された単眼カメラから撮像する状況を示している。地表面８０１に接して置かれた目標とする動体（ゴルフボール）８０２と地表面８０１の接点が実三次元空間での三次元直交座標系である座標系ΣＸＹＺの原点Ｏとなる。地表面８０１はＸＹ平面にあたり、Ｚ軸は地表面８０１に対して垂直に上方に向かう。

図８では、地表面８０１に接して置かれた目標とする動体（ゴルフボール）８０２が射出された軌道８０３の軌道面での様子を模式的に示す。本実施例において、軌道面とは、目標とする動体（ゴルフボール）が射出された軌道と単眼カメラのレンズの光学中心の位置がその上に存在する平面を指す。本実施例では、地表面８０１に接して置かれた目標とする動体（ゴルフボール）８０２の中心を基準点と記述する。ゴルフボールの半径の値はｒとすると座標系ΣＸＹＺでの基準点の座標は、（０，０，ｒ）となる。

位置算出処理に使用する情報は射出直後の短時間に撮像された画像フレームの情報であることから、本実施例における位置算出処理（Ｓ７０２）では目標とする動体（ゴルフボール）の運動を等速直線運動と近似することで算出する。よって、図８に示す軌道８０３は、直線となる。位置８０４は単眼カメラのレンズの光学中心の位置Ｐｃである。Ｐｃから引かれた２本の破線は、単眼カメラの撮像の範囲を示す。２本の破線が成す角度が単眼カメラのレンズの画角となる。軌道８０３上に示す黒丸は、連続して撮像された各時刻における目標とする動体（ゴルフボール）の位置を示す。位置８０４に固定された単眼カメラの画像フレームには、地表面８０１に接して置かれた目標とする動体（ゴルフボール）８０２から、射出されて軌道８０３上を移動する目標とする動体（ゴルフボール）８０５までが撮像される。

本実施例の説明では、単眼カメラの画像フレームに連続して撮像された目標とする動体（ゴルフボール）のうち、地表面８０１に接して置かれた目標とする動体（ゴルフボール）８０２を除いて、撮像された時刻が最も早いものを始点、最も遅いものを終点と記述する。図８では、８０６（ゴルフボールの中心の位置）が始点、８０５（ゴルフボールの中心の位置）が終点となる。また、目標とする動体（ゴルフボール）に始点を１とした連続した番号ｎを付与する。終点の番号ｎをＮとする。図８の場合、Ｎ＝４となる。前述の通り、本実施例では目標とする動体（ゴルフボール）の運動を等速直線運動と近似するから、始点から終点までにおいて隣接する撮像された目標とする動体（ゴルフボール）の距離はいずれも等しい。連続して撮像されたものであって、フレームレートが一定（１／Ｔ）だからである。一方、地表面８０１に接して置かれた目標とする動体（ゴルフボール）８０２の位置と始点の位置８０６の距離は、他の隣接する撮像された目標とする動体（ゴルフボール）の距離よりも短くなる。地表面８０１に接して置かれた目標とする動体（ゴルフボール）８０２が射出された時刻と撮像された時刻は一致せず、射出された時刻は撮像された時刻よりも後となるからである。

本実施例に係る位置算出処理（Ｓ７０２）は、目標とする動体（ゴルフボール）について、始点から終点まで各点の実三次元空間での三次元位置を、検出処理（Ｓ７０１）で決定された画像フレームでの各点の二次元座標から、算出する。以下、図８における終点８０５の実三次元空間での三次元位置の算出を例にとって位置算出処理（Ｓ７０２）を説明する。

図９から図１３は、終点８０５の実三次元空間での三次元位置の算出を例にとって位置算出処理（Ｓ７０２）を説明するための図である。図９から図１３を説明することで、図８における終点８０５の実三次元空間での三次元位置の算出での位置算出処理（Ｓ７０２）を説明する。

図９は、終点８０５の実三次元空間での三次元位置の算出を例にとって位置算出処理（Ｓ７０２）を説明するために図８に追記した図である。図９は、図８と同様に、地表面８０１に接して置かれた目標とする動体（ゴルフボール）８０２が射出された軌道８０３の軌道面での様子を示している。軌道８０３上のＰ０からＰ４は各々連続して撮像された各時刻における目標とする動体（ゴルフボール）を示す。Ｐ０が基準点８０２、Ｐ１が始点８０６、Ｐ４が終点８０５である。４０１は画像フレームであって、Ｐ’０はＰ０の、Ｐ’２はＰ２の、Ｐ’３はＰ３の、Ｐ’４はＰ４の各々画像フレーム４０１上の像を示す。Ｐ’０からＰ’４の各点を結ぶ直線が軌道８０３の画像フレーム４０１上の像である。Ｑ’は、単眼カメラのレンズの光学中心の位置Ｐｃから軌道８０３の画像フレーム４０１上の像への垂線の足である。

図１０は、図９における画像フレーム４０１を示した図である。直線１００１は、軌道８０３の画像フレーム４０１上の像であって、Ｐ’０からＰ’４の各点は直線１００１上にある。前述の図９での説明の通り、Ｑ’は、単眼カメラのレンズの光学中心の位置Ｐｃから軌道８０３の画像フレーム４０１上の像１００１への垂線の足である。ここで、単眼カメラのレンズの光学中心の位置ＰｃとＱ’の距離をｆ’とする。次に、Ｑは、図６の説明において前述した画像フレーム４０１上の二次元座標系Σｕｖの原点であって、単眼カメラのレンズの光学中心の位置Ｐｃから画像フレーム４０１への垂線の足となる。また、単眼カメラのレンズの光学中心の位置ＰｃとＱの距離ｆは、単眼カメラのレンズの焦点距離である。さらに、ＱとＱ’を結ぶ直線と、直線１００１は直交する。

図１０で、ｅは、ＱとＱ’の距離である。画像フレーム４０１上の目標とする動体（ゴルフボール）の像であるＰ’０からＰ’４の各点の二次元座標系Σｕｖでの座標は画像フレーム情報から求めることができて、これらから画像フレーム４０１上の直線１００１を求めることができる。Ｑ’は、二次元座標系Σｕｖの原点Ｑから直線１００１への垂線の足であって、幾何学的に二次元座標系ΣｕｖでのＱ’座標を求めることができることからｈを求めることができる。焦点距離ｆは単眼カメラのレンズ固有の値であって既知とすると次の式（数式１）が成り立つ。

（ｆ’）^２＝ｅ^２＋ｆ^２

この式（数式１）によってｆ’を求めることができる。

図１１は、図９から画像フレーム４０１上の目標とする動体（ゴルフボール）の像に関する部分を抽出し、記号等を追記した図である。ＰｃとＰ’４を結ぶ直線とＰｃとＰ’３を結ぶ直線が成す角をα、ＰｃとＰ’４を結ぶ直線とＰｃとＰ’２を結ぶ直線が成す角をβ、ＰｃとＰ’４を結ぶ直線とＰｃとＰ’０を結ぶ直線が成す角をγとする。ＰｃとＱ’を結ぶ直線とＰｃとＰ’４を結ぶ直線が成す角をＡ、ＰｃとＱ’を結ぶ直線とＰｃとＰ’３を結ぶ直線が成す角をＢ、ＰｃとＱ’を結ぶ直線とＰｃとＰ’２を結ぶ直線が成す角をＣ、ＰｃとＱ’を結ぶ直線とＰｃとＰ’０を結ぶ直線が成す角をＤとする。Ｑ’とＰ’４の距離をａ、Ｑ’とＰ’３の距離をｂ、Ｑ’とＰ’２の距離をｃ、Ｑ’とＰ’０の距離をｄとする。なお、画像フレーム４０１上の目標とする動体（ゴルフボール）の像であるＰ’０からＰ’４の各点の二次元座標系Σｕｖでの座標は画像フレーム情報から求めることができ、これら座標からａ、ｂ、ｃ、ｄは算出することができる。。

図１１に基づいて、ａ、ｂ、ｃ、ｄと、前述の数式１によって求められるｆ’（単眼カメラのレンズの光学中心の位置ＰｃとＱ’の距離）から、ｔａｎαとｔａｎβの導出について説明する。以下に、ｔａｎαとｔａｎβの導出を数式で示す。

図１１から次の一連の関係式が導かれる。

Ａ＝ａｒｃｔａｎ（ａ／ｆ’）
Ｂ＝ａｒｃｔａｎ（ｂ／ｆ’）
Ｃ＝ａｒｃｔａｎ（ｃ／ｆ’）
Ｄ＝ａｒｃｔａｎ（ｄ／ｆ’）

さらに、図１１から次の一連の関係式が導かれる。

α＝Ａ－Ｂ
β＝Ａ＋Ｃ
γ＝Ａ＋Ｄ

上述の関係式と正接加法定理から次のとおりｔａｎαを導出する。

ｔａｎα＝ｔａｎ（Ａ－Ｂ）
ｔａｎα＝（ｔａｎＡ－ｔａｎＢ）／（１＋ｔａｎＡ・ｔａｎＢ）
ｔａｎα＝（ａ／ｆ’－ｂ／ｆ’）／（１＋ａ・ｂ／（ｆ’）^２）
ｔａｎα＝（ａ－ｂ）／（ｆ’＋ａ・ｂ／ｆ’）

ここで導出されたｔａｎαの式を数式２とする。

同様にして、ｔａｎβを次の式（数式３）として導出する。

ｔａｎβ＝（ａ＋ｃ）／（ｆ’－ａ・ｃ／ｆ’）

図１２は、図９から実三次元空間での目標とする動体（ゴルフボール）に関する部分を抽出し、記号等を追記した図である。図１２で、破線で示す直線１２０１は、Ｐｃから軌道８０３への垂線であって、この直線１２０１とＰｃとＰ４を結ぶ直線が成す角をδとする。また、軌道８０３とＰｃとＰ４を結ぶ直線が成す角をθとする。本実施例において、目標とする動体（ゴルフボール）は等速直線運動を行うとされることから、Ｐ２とＰ３の距離とＰ３とＰ４の距離は等しく、これをｇとする。

図１２に基づいて、角度θの導出について説明する。角度θをｔａｎαとｔａｎβによって表記する。以下に、角度θの導出を数式で示す。

図１２において次の関係式が成立する。

２・（ｔａｎδ＋ｔａｎ（α－δ））＝ｔａｎδ＋ｔａｎ（β－δ）＝２・ｄ

この関係式に正接加法定理を適用した後に、ｔａｎδの３次式に展開して整理をする。

ｔａｎδ＋２・（ｔａｎα－ｔａｎδ）／（１＋ｔａｎα・ｔａｎδ）－（ｔａｎβ－ｔａｎδ）／（１＋ｔａｎβ・ｔａｎδ）＝０
ｔａｎα・ｔａｎβ・（ｔａｎδ）^３＋（２・ｔａｎα－ｔａｎβ）・（ｔａｎδ）^２＋ｔａｎα・ｔａｎβ・ｔａｎδ＋２・ｔａｎα－ｔａｎβ＝０
（ｔａｎα・ｔａｎβ・ｔａｎδ＋２・ｔａｎα－ｔａｎβ）（（ｔａｎα）^２＋１）＝０

ここで、（ｔａｎα）^２＋１は常に正であるから、

ｔａｎα・ｔａｎβ・ｔａｎδ＋２・ｔａｎα－ｔａｎβ＝０
ｔａｎδ＝１／ｔａｎα－２／ｔａｎβ
δ＝ａｒｃｔａｎ（１／ｔａｎα－２／ｔａｎβ）

三角形の内角の和はπであるので、角度θは次の式（数式４）で表される。また、ｔａｎαとｔａｎβは、前出の数式２と数式３で求められる。

θ＝π／２－δ＝π／２－ａｒｃｔａｎ（１／ｔａｎα－２／ｔａｎβ）

図１３は、終点８０５の実三次元空間での三次元位置の算出を説明するために、図９から部分を抽出し、記号等を追記した図である。図１３において、軌道８０３とＰｃとＰ０を結ぶ直線が成す角をφとする。また、ＰｃとＰ０の距離をｈと、ＰｃとＰ４の距離をｗとする。

図１３において次の関係式（数式５）が成立する。

ｗ・ｓｉｎθ＝ｈ・ｓｉｎφ
ｗ＝ｈ・ｓｉｎφ／ｓｉｎθ

ここで、単眼カメラのレンズの光学中心Ｐｃと地表面８０１に接して置かれた目標とする動体（ゴルフボール）Ｐ０の実三次元空間での三次元位置は既知であるので、ＰｃとＰ０の距離ｈは算出できる。ｓｉｎφとｓｉｎθが求まれば、数式５によってＰｃとＰ４の距離ｗを算出できる。前出の数式４によってθが算出されるので、ｓｉｎθが求まる。

φについて次の関係式が成立する。

φ＝π－γ－θ

θは、前出の数式４によって算出される。γは、図１１での説明の通り、次の式で算出される。

γ＝Ａ＋Ｄ＝ａｒｃｔａｎ（ａ／ｆ’）＋ａｒｃｔａｎ（ｄ／ｆ’）

数式５によってＰｃとＰ４の距離ｗが求まることで、Ｐ４（終点８０５）の実三次元空間での三次元位置を次のようにベクトル表記（数式６）することができる。

Ｐ４＝Ｐｃ＋ｗ・（Ｐ’４－Ｐｃ）／｜Ｐ’４－Ｐｃ｜

本実施例において、位置算出部１０２は、位置算出処理（Ｓ７０２）として、上述の図８から図１３による説明の処理を行って、目標とする動体（ゴルフボール）の三次元位置を算出する。なお、ここで開示した処理は例示であってこれに限るものではない。検出処理（Ｓ７０１）で検出された目標とする動体の三次元位置を算出できれば処理の方法は問わない。

図７に戻り、位置算出処理（Ｓ７０２）が終了すると、初速度算出部１０３が初速度算出処理（Ｓ７０３）を、打ち出し角度算出部１０４が打ち出し角度算出処理（Ｓ７０４）を、それぞれ実行する。初速度算出処理（Ｓ７０３）では、位置算出処理（Ｓ７０２）で算出された目標とする動体（ゴルフボール）の三次元座標から算出した互いに隣り合った目標とする動体（ゴルフボール）の間の距離の平均値を求め、この値にフレームレート（１／Ｔ）を乗じた値を初速度として算出する。打ち出し角度算出処理（Ｓ７０４）では、位置算出処理（Ｓ７０２）で算出された目標とする動体（ゴルフボール）の三次元座標から始点と終点を結ぶ直線を算出し、この直線と地表面（座標系ΣＸＹＺにおけるＸＹ平面）のなす角を打ち出し角度として算出する。

算出装置１は、初速度算出部１０３が初速度算出処理（Ｓ７０３）で算出した初速度と、打ち出し角度算出部１０４が打ち出し角度算出処理（Ｓ７０４）で算出した打ち出し角度を出力する。

算出装置１は、図１２に示すように、軌道算出部１０５、飛距離算出部１０６を備えてもよい。軌道算出部１０５は、初速度算出部１０３が算出した目標とする動体の初速度と、打ち出し角度算出部１０４が算出した目標とする動体の打ち出し角度と、から目標とする動体の三次元での軌道を算出する。目標とする動体は、自然法則に従って放物運動をするとして軌道を算出する。また、飛距離算出部１０６は、初速度算出部１０３が算出した目標とする動体の初速度と、打ち出し角度算出部１０４が算出した目標とする動体の打ち出し角度と、から目標とする動体の飛距離を算出する。軌道算出部１０５が算出する軌道と地表面（座標系ΣＸＹＺでのＸＹ平面）との交点である着地点を求めることで飛距離を算出する。

以上が、算出装置についての説明である。

次に、算出システムについて説明する。算出システムは、目標とする動体を上方向から撮像する位置に配置された単眼カメラと、上述の算出装置と、からなる。単眼カメラと算出装置は、互いに分離していてもよいし、一体としてシステムを構成してもよい。単眼カメラと算出装置が互いに分離しているシステムでは、単眼カメラと算出装置が有線又は無線による通信ネットワークによって接続されて撮像データを逐次又は一旦蓄積した後に受け渡すことでもよいし、単眼カメラで撮像した撮像データを記憶媒体等に保管してから算出装置に受け渡すことでもよい。また、単眼カメラと算出装置を一体としたシステムでは、例えば、単眼カメラを内蔵したスマートフォンなどの情報機器に後述の算出プログラムをアプリケーションとして提供して算出装置として機能させることで単眼カメラと算出装置を一体としたシステムを構成するなどがある。

次に、コンピュータを算出装置として機能させるための算出プログラムについて説明する。コンピュータの構成は、図２に示す通りである。

算出プログラムは、メインモジュール、入出力モジュール及び演算処理モジュールを備える。メインモジュールは、処理を統括的に制御する部分である。入出力モジュールは、画像データなどの入力情報をコンピュータに取得させ、算出した情報を数値や画像でコンピュータに出力させる。演算処理モジュールは、検出モジュール、位置算出モジュール、初速度算出モジュール、打ち出し角度算出モジュール、存在直線算出モジュール、存在面算出モジュール、軌道算出モジュール及び飛距離算出モジュールを備える。メインモジュール、入出力モジュール及び演算処理モジュールを実行させることにより実現される機能は、算出装置１の検出部１０１、位置算出部１０２、初速度算出部１０３、打ち出し角度算出部１０４、軌道算出部１０５及び飛距離算出部１０６の機能とそれぞれ同様である。

算出プログラムは、例えば、ＲＯＭ等の記憶媒体又は半導体メモリによって提供される。また、算出プログラムは、ネットワークを介して提供されてもよい。

以上が、実施例１の説明である。

本発明の実施例２として開示する、算出装置、算出方法、算出プログラム、算出システムは、目標とする動体の三次元位置を単眼カメラで上方向から撮像した画像フレームの情報から、画像フレームに撮像された目標とする動体の像についての三次元位置と単眼カメラのレンズの光学中心の三次元位置を結んだ存在直線を算出し、目標とする動体が存在する可能性のある存在面を算出する存在面を算出し、存在直線と存在面が交わる点の三次元位置を目標とする動体の三次元位置として算出する例を開示する。あわせて、実施例２では、目標とする動体の三次元位置として算出について、目標とする動体が存在する可能性のある複数の三次元位置の候補から探索アルゴリズムによって目標とする動体が存在する可能性が最も高い三次元位置の候補を目標とする動体の三次元位置として算出する例を開示する。

まず、算出装置について説明する。図１５は、算出装置のブロック図である。図１５に示すように、本実施例に係る算出装置１は、検出部１０１、位置算出部１０２、初速度算出部１０３及び打ち出し角度算出部１０４を備えている。これらは、実施例１と同様である。本実施例に係る算出装置１は、さらに、位置算出部１０２は、その内部に存在直線算出部１０７及び存在面算出部１０８を備えている。この点、実施例１と構成が異なる。

本実施例に係る算出装置１には、外部から入力として、単眼カメラで上方向から撮像した複数の画像フレームの情報が与えられる。画像フレームの情報には、撮像された順序と各々の画像フレームが撮像された時間間隔を算出するための情報を備えている。具体的には、撮像された順序を示すフレーム番号や撮像された時刻などである。また、算出装置１は、目標とする動体の初速度と打ち出し角度についての情報を外部へ出力する。これらは、実施例１と同様である。

本実施例に係る算出装置１は、単独で装置として構成される形態のみならず、他の装置に組み込まれて使用される形態であってもよく、算出装置１を組み込む他の装置は、例えば、スマートフォン、情報携帯端末、デジタルカメラ、ゲーム端末、テレビ等の電化製品であってもよい。算出装置１は、図２に示すように、物理的には、中央演算装置（ＣＰＵ）２０１、入力装置２０２、出力装置２０３、主記憶装置（ＲＡＭ／ＲＯＭ）２０４、補助記憶装置２０５を含むコンピュータとして構成される。これらは、実施例１と同様である。

本実施例に係る算出装置１の各機能は、図２に示す中央演算装置（ＣＰＵ）２０１、主記憶装置（ＲＡＭ／ＲＯＭ）２０４等に、単眼カメラで上方向から撮像した複数の画像フレームの情報から射出された目標とする動体の初速度と打ち出し角度をコンピュータに算出させる算出プログラムを読み込ませることにより、中央演算装置（ＣＰＵ）２０１の制御により入力装置２０２、出力装置２０３を動作させるとともに、主記憶装置（ＲＡＭ／ＲＯＭ）２０４、補助記憶装置２０５とデータの読み書きを行うことで実現される。これらは、実施例１と同様である。

図１５のブロック図に従って、本実施例に係る算出装置１の各ブロックの機能を説明する。なお、各ブロックの詳細な動作については後述する。

検出部１０１、初速度算出部１０３及び打ち出し角度算出部１０４の機能は、実施例１と同様である。そのため説明を割愛する。

位置算出部１０２は、検出部１０１が検出した目標とする動体の三次元位置を算出する。位置算出部１０２は、画像フレームに撮像された目標とする動体の像についての三次元位置と、単眼カメラのレンズの光学中心の三次元位置と、を結んだ存在直線を算出する存在直線算出部１０７と、目標とする動体が存在する可能性のある存在面を算出する存在面算出部１０８と、を備える。位置算出部１０２は、存在直線算出部１０７が算出した存在直線と、存在面算出部１０８が算出した存在面と、が交わる点の三次元位置を、目標とする動体の三次元位置として算出する。なお、具体的な算出処理については後述する。

次に、本実施例の説明で使用する座標系等について説明する。図３、図４、図５及び図６を用いて実施例１で説明した実三次元空間での三次元直交座標系ΣＸＹＺ、画像フレーム上の二次元直交座標系Σｕｖ及び単眼カメラのレンズの光学中心に原点Ｐｃを持つ三次元直交座標系Σｘｙｚを本実施例の説明でも使用する。説明の重複を避けるため、図３、図４、図５及び図６による座標系等についての詳細な説明は割愛する。なお、図６に示す平面６０１については、本実施例の説明において後述する。

次に、本実施例に係る算出装置１の動作について説明する。図７は、本実施例に係る算出装置１の動作を示すフローチャートである。図７のフローチャートに従って本実施例に係る算出装置１の動作を説明する。

算出装置１には、処理の対象となる単眼カメラで上方向から撮像した複数の画像フレームの情報が外部から入力される。算出装置１は、処理の対象となる情報が入力された後に動作を開始する。動作の開始は、情報の入力後に自動的であっても、明示的な命令によるものであってもよい。算出装置１は、入力された毎々の画像フレームの情報を読み込んで図７のフローチャートの処理を行う。

画像フレームの情報については、実施例１と同様である。画像フレームの情報には、撮像された目標とする動体（ゴルフボール）の画像情報に加えて、初速度の算出に必要な情報を含む。本実施例では、処理の対象となる複数の画像フレームは、連続して撮像されたものであって、フレームレートが一定（１／Ｔ）であり、撮像された順に連続したフレーム番号を情報としてもつとして説明する。

算出装置１は、動作を開始すると、検出部１０１が検出処理（Ｓ７０１）を実行する。検出処理（Ｓ７０１）では、入力された画像フレームの情報から目標とする動体（ゴルフボール）を検出する。

検出処理（Ｓ７０１）については、実施例１と同様である。画像フレームの情報からの目標とする動体（ゴルフボール）の検出については、目標とする動体（ゴルフボール）の画像フレームでの二次元座標が決定できれば方法は問わない。

検出部１０１は、入力された毎々の画像フレームの情報から、目標とする動体（ゴルフボール）を検出して、画像フレームでの二次元座標を決定すると、検出処理（Ｓ７０１）を終了する。検出処理（Ｓ７０１）が終了すると、位置算出部１０２が、位置算出処理（Ｓ７０２）を開始する。

本実施例は、位置算出処理（Ｓ７０２）において実施例１と異なる。本実施例における位置算出処理（Ｓ７０２）では、目標とする動体の三次元位置を単眼カメラで上方向から撮像した画像フレームの情報から、画像フレームに撮像された目標とする動体の像についての三次元位置と単眼カメラのレンズの光学中心の三次元位置を結んだ存在直線を算出し、目標とする動体が存在する可能性のある存在面を算出する存在面を算出し、存在直線と存在面が交わる点の三次元位置を目標とする動体の三次元位置として算出する。あわせて、本実施例では、目標とする動体の三次元位置として算出について、目標とする動体が存在する可能性のある複数の三次元位置の候補から探索アルゴリズムによって目標とする動体が存在する可能性が最も高い三次元位置の候補を目標とする動体の三次元位置として算出する。

本実施例に係る位置算出処理（Ｓ７０２）は、目標とする動体（ゴルフボール）について、始点から終点まで各点の実三次元空間での三次元位置を、検出処理（Ｓ７０１）で決定された画像フレームでの各点の二次元座標から、算出する。なお、ここで、始点及び終点とは、実施例１の説明で使用した始点及び終点と同義である。また、実施例１の説明で使用した基準点についても本実施例において同義で使用する。

図８は、位置算出処理（Ｓ７０２）の概要を説明するための簡略化された模式図である。図８については、本実施例においても実施例１と同様である。説明の重複を避けるため、図８についての詳細な説明は割愛する。なお、本実施例における位置算出処理（Ｓ７０２）においても実施例１と同様に目標とする動体（ゴルフボール）の運動を等速直線運動と近似することで算出する。以下、図８における目標とする動体（ゴルフボール）の実三次元空間での三次元位置の算出を例にとって位置算出処理（Ｓ７０２）を説明する。

図１６は、本実施例に係る位置算出処理（Ｓ７０２）のフローチャートである。図１６のフローチャートに従って位置算出処理（Ｓ７０２）を説明する。

位置算出部１０２が、位置算出処理（Ｓ７０２）を開始すると、Ｓ１６０１の処理である初期値設定を行う。位置算出処理（Ｓ７０２）は、探索アルゴリズムによって、軌道上にある始点から終点までの各目標とする動体（ゴルフボール）について、実三次元空間での三次元位置を算出する。本実施例に係る位置算出処理（Ｓ７０２）では、代表的な探索アルゴリズムである二分探索による目標とする動体（ゴルフボール）の実三次元空間での三次元位置を算出について開示する。なお、二分探索は例示であって、本願発明において探索アルゴリズムを二分探索に限るものではない。線形探索や内挿探索など他の探索アルゴリズムによっても構わない。

本実施例において、二分探索では、高さ（座標系ΣＸＹＺでのＺ要素の値）をパラメーターとして用いる。位置算出処理（Ｓ７０２）の説明において、二分探索を行う際の高さの下限値をＺｍｉｎと、上限値をＺｍａｘと表記する。本実施例に係るＳ１６０１の処理では、二分探索のパラメーターの初期値としてＺｍｉｎ、Ｚｍａｘを設定する。本実施例では、Ｚｍｉｎをゴルフボールの半径の値ｒとする。ｒは、地表面８０１に接して置かれた目標とする動体（ゴルフボール）８０２の中心である基準点の高さである。また、Ｚｍａｘを単眼カメラのレンズの光学中心の位置の地表面からの高さとする。本実施例では、単眼カメラの位置は固定されており、座標系ΣＸＹＺでの単眼カメラのレンズの光学中心の位置の座標が分かっているとする。この場合、Ｚｍａｘは、単眼カメラのレンズの光学中心の位置の座標のＺ要素となる。なお、この下限値をＺｍｉｎ、上限値をＺｍａｘの決定は例示であって、本願発明においてこれに限るものではない。例えば、下限値Ｚｍｉｎを地表面の高さ（Ｚｍｉｎ＝０）とするなどでもよい。また、本実施例に係るＳ１６０１の処理では、二分探索の探索回数を示すカウンター（ｉ）の値を初期値０と設定する。パラメーターの初期値が設定されるとＳ１６０１の処理は終了し、Ｓ１６０２の処理が開始される。

Ｓ１６０２の処理では、始点の三次元座標を存在直線と存在面の交点から算出する。ここで、存在直線とは、画像フレームに撮像された目標とする動体の像と、単眼カメラのレンズの光学中心と、を結んだ三次元直線をいう。目標とする動体は、存在直線上に位置する。また、ここで、存在面とは、目標とする動体が存在する可能性のある三次元平面または曲面をいう。

図６を用いて、本実施例での存在直線と存在面の関係を説明する。目標とする動体（ゴルフボール）Ｐの画像フレーム４０１に撮像された像は、Ｐ’である。単眼カメラのレンズの光学中心は、Ｐｃである。よって、図６で、存在直線は、Ｐ’とＰｃを結ぶ三次元直線であり、この直線上に目標とする動体（ゴルフボール）Ｐが位置する。また、図６では、座標系ΣＸＹＺのＸＹ平面に平行であって目標とする動体（ゴルフボール）Ｐが存在する平面を存在面６０１として設定する。このとき、存在直線と存在面の交点に目標とする動体（ゴルフボール）Ｐが位置する。

目標とする動体（ゴルフボール）についての存在直線の算出は、存在直線算出部１０７が存在直線算出処理（Ｓ１６０３）を実行して算出する。また、目標とする動体（ゴルフボール）についての存在面の算出は、存在面算出部１０８が存在面算出処理（Ｓ１６０４）を実行して算出する。

図６を用いて、存在直線算出処理（Ｓ１６０３）が行う目標とする動体（ゴルフボール）についての存在直線の算出について説明する。

図６は、目標とする動体（ゴルフボール）Ｐを単眼カメラで撮像した様子を表す。三次元直交座標系ΣＸＹＺにおける目標とする動体（ゴルフボール）Ｐの三次元位置を、Ｐ（Ｘ，Ｙ，Ｚ）とする。目標とする動体（ゴルフボール）は、単眼カメラのレンズの光学中心を三次元直交座標系Σｘｙｚの原点Ｐｃにもつ単眼カメラで画像フレーム４０１に像Ｐ’として撮像される。画像フレーム４０１での二次元直交座標系Σｕｖにおける像Ｐ’の二次元位置をＰ’（ｕ，ｖ）とする。

図６において、単眼カメラのレンズの光学中心について、三次元直交座標系ΣＸＹＺにおける三次元位置をＰｃ（Ｘ０，Ｙ０，Ｚ０）とする。単眼カメラのレンズの光学中心を原点Ｐｃとする三次元直交座標系Σｘｙｚのｚ軸が光軸にあたる。光軸は、画像フレーム４０１と直交し、その交点は画像フレームでの二次元直交座標系Σｕｖの原点Ｑとなる。原点Ｑの二次元位置をＱ（ｕ０，ｖ０）とする。三次元直交座標系Σｘｙｚの原点と二次元直交座標系Σｕｖの原点の距離が焦点距離であって、長さをｆとする。

図６において、単眼カメラのレンズの光学中心を原点Ｐｃとする三次元直交座標系Σｘｙｚからみた像Ｐ’の位置は、Ｐ’（ｕ－ｕ０，ｖ－ｖ０，ｆ）となる。ここで、比例定数をｋ、単眼カメラのレンズの光学中心を原点Ｐｃとする三次元直交座標系Σｘｙｚから三次元空間における三次元直交座標系ΣＸＹＺへの座標変換行列をＲとする。本実施例では三次元空間における三次元直交座標系ΣＸＹＺにおけるカメラの位置座標とローテーションが与えられれば、座標変換行列Ｒを決定することができる。

ローテーションとは、いわゆるレンズの外部パラメーターであって、図６において座標系Σｘｙｚから座標系ΣＸＹＺに座標変換する際の三軸の回転角度パラメーターである。本実施例では、本願に係る算出プログラムが、いわゆるスマートフォンなど加速度センサーを備える機器に実装されることで本願に係る算出装置を構成するとして、加速度センサーによる計測値からローテーションの値が決定されるとして説明する。ローテーションの値が決定することで、レンズの光軸が定まる。図６において、座標系Σｘｙｚのｚ軸が光軸である。

また、本実施例においては、いわゆるレンズの内部パラメーター（焦点距離、レンズのひずみ、レンズの光学中心のずれ）は既知とする。前述の通り、図６において単眼カメラのレンズの光学中心（座標系Σｘｙｚの原点）と座標系Σｕｖの原点の距離が焦点距離であって、長さをｆとする。また、レンズのひずみ及びレンズの光学中心のずれは無いものとする。

単眼カメラのレンズの光学中心を原点Ｐｃとする三次元直交座標系Σｘｙｚにおいて、単眼カメラのレンズの光学中心と像Ｐ’と目標とする動体（ゴルフボール）Ｐは同じ直線上にあることから次の式（数式７）が成り立つ。

Ｐ（Ｘ，Ｙ，Ｚ）＝Ｐｃ（Ｘ０，Ｙ０，Ｚ０）＋ｋＲＰ’（ｕ－ｕ０，ｖ－ｖ０，ｆ）

なお、本実施例では、Ｐ’のＸ要素及びＹ要素であるｕ－ｕ０及びｖ－ｖ０は検出部１０１が位置算出部１０２に引き渡す二次元位置の座標から求めることができ、ｆは焦点距離であって既知である。

前式（数式７）は、三次元直交座標系Σｘｙｚにおける単眼カメラのレンズの光学中心と像Ｐ’と目標とする動体（ゴルフボール）Ｐを結ぶ三次元直交座標系ΣＸＹＺにおける直線の式である。この数式７で示される直線が存在直線である。三次元直交座標系Σｘｙｚの原点にレンズの光学中心を備えた単眼カメラで目標とする動体（ゴルフボール）Ｐを撮像したときに、画像フレーム４０１の像Ｐ’の二次元直交座標系Σｕｖでの二次元座標を決定できれば、数式７が算出でき、三次元直交座標系ΣＸＹＺにおいて数式７で示される直線上に目標とする標とする動体（ゴルフボール）Ｐが存在する。

存在直線算出部１０７は、上述の存在直線算出処理（Ｓ１６０３）が行うことで、目標とする動体（ゴルフボール）についての数式７で示す存在直線を算出する。

次に、図６を用いて、存在面算出処理（Ｓ１６０４）が行う目標とする動体（ゴルフボール）についての存在面の算出について説明する。存在面算出部１０８が行う、存在面算出処理（Ｓ１６０４）では、パラメーターとして与えられた高さ（座標系ΣＸＹＺでのＺ要素の値）がＨのとき、三次元直交座標系ΣＸＹＺでのＸＹ平面に平行な平面であって、Ｚ＝Ｈとなる平面を存在面として出力する。

図６では、目標とする動体（ゴルフボール）Ｐについて座標系ΣＸＹＺでの三次元座標をＰ（Ｘ１，Ｙ１，Ｈ）とする。この場合、座標系ΣＸＹＺでのＸＹ平面に平行な平面であって、Ｚ＝Ｈとなる平面が目標とする動体（ゴルフボール）Ｐについての存在面６０１となる。

このとき、目標とする動体（ゴルフボール）Ｐについての座標系ΣＸＹＺでのＺ要素の値Ｈが、実三次元空間での実体としての目標とする動体（ゴルフボール）Ｐについての座標系ΣＸＹＺでのＺ要素の値として正しい値であれば、目標とする動体（ゴルフボール）Ｐについての存在面６０１と、数式７で表される目標とする動体（ゴルフボール）Ｐについての存在直線との交点が目標とする動体（ゴルフボール）Ｐの実三次元空間での正しい三次元位置となる。

前述の通り、本実施例では、位置算出部１０２が実行する位置算出処理（Ｓ７０２）は、目標とする動体（ゴルフボール）の高さ（座標系ΣＸＹＺでのＺ要素の値）をパラメーターとして用いた二分探索によって、目標とする動体（ゴルフボール）の実三次元空間での三次元位置を算出する。図６を用いた上述の説明を受けて、あらためて本実施例における位置算出部１０２が実行する位置算出処理（Ｓ７０２）について説明すると、位置算出部１０２が実行する位置算出処理（Ｓ７０２）は、目標とする動体（ゴルフボール）の高さ（座標系ΣＸＹＺでのＺ要素の値）をパラメーターとして、存在面算出部１０８が存在面算出処理（Ｓ１６０４）によって算出したパラメーターとして与えられる高さでの存在面と、存在直線算出部１０７が存在直線算出処理（Ｓ１６０３）によって算出した存在直線の交点が、目標とする動体（ゴルフボール）の実三次元空間での正しい三次元位置とみなせる高さ（座標系ΣＸＹＺでのＺ要素の値）を、二分探索によって、探索することで、目標とする動体（ゴルフボール）の実三次元空間での三次元位置を算出する。

図１６によるＳ１６０２の処理の説明に戻る。Ｓ１６０２の処理では、基準点の三次元座標を存在直線と存在面の交点から算出する。本実施例では、前述の通り、基準点の位置の高さ（座標系ΣＸＹＺでのＺ要素の値）はゴルフボールの半径の値ｒであって、Ｓ１６０１の処理において二分探索を行う際の高さの下限値をＺｍｉｎの初期値として設定されている。Ｓ１６０２の処理では、基準点の位置の高さ（座標系ΣＸＹＺでのＺ要素の値）である下限値Ｚｍｉｎを、算出に必要な他の情報（画像フレーム上の二次元直交座標系Σｕｖのおける始点の像の二次元座標、始点付与された番号１、など）とともに存在直線算出部１０７と存在面算出部１０８に受け渡し、存在直線算出処理（Ｓ１６０３）と存在面算出処理（Ｓ１６０４）を実行して、算出された存在直線と存在面の交点の三次元座標を決定する。また、図３によって説明した通り、本実施例において座標系ΣＸＹＺは、原点Ｏを、ゴルフボールと地表面の接点にとることから、基準点の位置の座標は（０，０，ｒ）である。このことから、算出された存在直線と存在面の交点の三次元座標と、座標系ΣＸＹＺの定義から定まる始点の位置の座標（０，０，ｒ）を対比して補正することで算出精度を上げる処理を行ってもよい。Ｓ１６０２の処理で、基準点の三次元座標が算出されるとＳ１６０２の処理は終了し、Ｓ１６０５の処理が開始される。

Ｓ１６０５からＳ１６１３の処理までが、二分探索となる。位置算出部１０２は、位置算出処理（Ｓ７０２）によって、目標とする動体（ゴルフボール）が存在する可能性のある複数の三次元位置の候補から、二分探索によって、目標とする動体（ゴルフボール）が存在する可能性が最も高い三次元位置の候補を目標とする動体（ゴルフボール）の三次元位置として算出する。

Ｓ１６０５の処理では、二分探索の探索回数を示すカウンター（ｉ）の値に１を加算してカウントアップする。次に、Ｓ１６０６の処理では、探索する目標とする動体（ゴルフボール）の実三次元空間での三次元位置の高さＺｉと（座標系ΣＸＹＺでのＺ要素の値）を、Ｚｉ＝（Ｚｍａｘ＋Ｚｍｉｎ）／２と設定する。Ｚｉの添え字ｉは、二分探索の探索回数を示す。二分探索の初期値においては、Ｚｉは、単眼カメラのレンズの光学中心の高さと、地表面に接地したゴルフボールの中心の高さ（ｒ）との中点の値となる。

Ｓ１６０７の処理では、終点の実三次元空間での三次元位置の高さ（座標系ΣＸＹＺでのＺ要素の値）がＺｉであるとして、存在直線と存在面の交点の三次元座標を算出する。これを仮終点とする。Ｓ１６０７の処理では、仮終点の位置の高さ（座標系ΣＸＹＺでのＺ要素の値）であるＺｉ＝（Ｚｍａｘ＋Ｚｍｉｎ）／２を、算出に必要な他の情報（画像フレーム上の二次元直交座標系Σｕｖのおける終点の像の二次元座標、終点に付与された番号Ｎ、など）とともに存在直線算出部１０７と存在面算出部１０８に受け渡し、存在直線算出処理（Ｓ１６０３）と存在面算出処理（Ｓ１６０４）を実行して、算出された存在直線と存在面の交点の三次元座標を決定する。Ｓ１６０７処理で、仮終点の三次元座標が算出されるとＳ１６０７の処理は終了し、Ｓ１６０８の処理が開始される。

図１７は、Ｓ１６０８からＳ１６１１の処理を説明するための図である。図１７で、Ｌ０は、目標とする動体（ゴルフボール）の実三次元空間での軌道である。軌道Ｌ０は、放物線の一部であるが、射出直後の短時間であることから位置算出処理（Ｓ７０２）では直線と近似して処理を行う。Ｐ０は、実三次元空間での基準点であり、Ｐ１は、実三次元空間での実際の始点であり、ＰＮは、実三次元空間での実際の終点である。Ｐｘは、ｘ番目（ｘは、２以上、Ｎ－１以下の自然数）の画像フレームに撮像された実三次元空間での目標とする動体（ゴルフボール）である。

図１７で、Ｐ’０は、画像フレーム４０１上の基準点Ｐ０の像であり、Ｐ’１は、画像フレーム４０１上の始点Ｐ１の像であり、Ｐ’Ｎは、画像フレーム４０１上の終点ＰＮの像である。Ｐ’ｘは、画像フレーム４０１上のｘ番目の目標とする動体（ゴルフボール）Ｐｘの像である。

図１７で、Ｐｃは、単眼カメラのレンズの光学中心であって、画像フレーム４０１上のｘ番目の目標とする動体（ゴルフボール）Ｐｘの像Ｐ’ｘについての存在直線がＬｘである。

図１７で、Ｐ”Ｎは、座標系ΣＸＹＺでのＺ要素の値がＺｉ＝（Ｚｍａｘ＋Ｚｍｉｎ）／２である仮終点である。図１６で、Ｓ１６０８の処理では、始点Ｐ１と仮終点Ｐ”Ｎを結ぶ直線Ｌを算出する。図１７で、仮終点Ｐ”Ｎと実三次元空間での実際の終点ＰＮの三次元位置が一致していれば、直線Ｌ０と直線Ｌも一致するため、ｘ番目の目標とする動体（ゴルフボール）Ｐｘも直線Ｌ上に位置する。一方、仮終点Ｐ”Ｎと実三次元空間での実際の終点ＰＮの三次元位置が一致していなければ、直線Ｌ０と直線Ｌも一致しないため、ｘ番目の目標とする動体（ゴルフボール）Ｐｘも直線Ｌ上に位置しない。

図１６に戻り、Ｓ１６０９の処理では、図１７に示す画像フレーム４０１上の基準点Ｐ’０と終点Ｐ’Ｎ以外の目標とする動体（ゴルフボール）Ｐｘの像Ｐ’ｘについての存在直線Ｌｘを、存在直線算出処理（Ｓ１６０３）を実行して、算出する。前述の通り、仮終点Ｐ”Ｎと実三次元空間での実際の終点ＰＮの三次元位置が一致していなければ、直線Ｌ０と直線Ｌも一致しないため、ｘ番目の目標とする動体（ゴルフボール）Ｐｘも直線Ｌ上に位置しない。すなわち、Ｓ１６０９の処理で算出した存在直線Ｌｘと、直線Ｌとは、実三次元空間で互いにねじれの位置にあって交わらない。図１８は、この状態を表した図である。

Ｓ１６１０の処理では、直線Ｌが目標とする動体（ゴルフボール）の軌道であると仮定して、直線Ｌ上に画像フレーム４０１上の基準点Ｐ’０と終点Ｐ’Ｎ以外の目標とする動体（ゴルフボール）Ｐｘの像Ｐ’ｘについて対応する点である仮存在点Ｐ”ｘの三次元座標を算出する。仮存在点Ｐ”ｘの三次元座標は、直線Ｌと存在直線Ｌｘの距離が最小となる直線Ｌ上の点、すなわち、図１８に示すように、直線Ｌ上の仮存在点Ｐ”ｘと存在直線Ｌｘ上の点Ａが相互に垂線の足となるように仮存在点Ｐ”ｘの位置を決定して三次元座標を算出する。Ｘ＝１からＸ＝Ｎ－１までの仮存在点Ｐ”ｘの位置が算出されるとＳ１６１０の処理を終了し、Ｓ１６１１の処理に移る。

Ｓ１６１１とＳ１６１２が評価及び判定処理である。仮存在点Ｐ”ｘからなる直線Ｌと、目標とする動体（ゴルフボール）の実三次元空間での軌道である直線Ｌ０との一致度を評価して、仮存在点Ｐ”ｘを目標とする動体（ゴルフボール）の実際の三次元位置Ｐｘとみなせるか判定する。

Ｓ１６１１の処理では、直線Ｌ上に位置する、基準点Ｐ０の三次元座標、仮終点Ｐ”Ｎの三次元座標、仮存在点Ｐ”ｘ（ｘは、１以上、Ｎ－１以下の自然数）の三次元座標から、直線Ｌと、目標とする動体（ゴルフボール）の実際の軌道Ｌ０の一致度を評価する評価値を算出する。本実施例においては、仮存在点Ｐ”１から仮存在点Ｐ”Ｎ―１までの各仮存在点についての互いに隣り合った仮存在点の距離の平均値を評価値として算出する。

本実施例において、Ｓ１６１２の処理では、Ｓ１６１１の処理で算出した評価値と、仮存在点Ｐ”Ｎ―１と仮終点Ｐ”Ｎの距離を比較して判定する。具体的には、本実施例では、次の式（数式８）が成立した場合に、仮存在点Ｐ”ｘからなる直線Ｌと、目標とする動体（ゴルフボール）の実三次元空間での実際の軌道である直線Ｌ０との一致度が高いと判定する。なお、式（数式８）では、仮存在点Ｐ”Ｎ―１と仮終点Ｐ”Ｎの距離を「仮終点距離」と記述している。

｜（仮終点距離―評価値）／仮終点距離｜×１００＜１

Ｓ１６１２の処理で、直線Ｌと、目標とする動体（ゴルフボール）の実際の軌道Ｌ０の一致度が高いと判定された場合、仮存在点Ｐ”ｘの三次元座標を、対応する目標とする動体（ゴルフボール）Ｐｘの三次元座標として算出し、位置算出処理（Ｓ７０２）を終了する。一方、直線Ｌと、目標とする動体（ゴルフボール）の実際の軌道Ｌ０の一致度が高くないと判定された場合、Ｓ１６１３の処理が開始される。

Ｓ１６１３の処理では、Ｓ１６１２の処理での評価値の評価に基づいて、二分探索を行う際の高さの上限値Ｚｍａｘ、又は、高さの下限値Ｚｍｉｎの値を変更する。仮存在点Ｐ”Ｎ―１と仮終点Ｐ”Ｎの距離（仮終点距離）が、評価値（仮存在点Ｐ”１から仮存在点Ｐ”Ｎ―１までの各仮存在点についての互いに隣り合った仮存在点の距離の平均値）より小さいことで、一致度が高くないと判定された場合は、高さの上限値Ｚｍａｘの値を仮終点の高さ（座標系ΣＸＹＺでのＺ要素の値）Ｚｉの値に変更する。一方、仮終点距離が、評価値より大きいことで、一致度が高くないと判定された場合は、高さの下限値Ｚｍｉｎの値を仮終点の高さ（座標系ΣＸＹＺでのＺ要素の値）Ｚｉの値に変更する。

Ｓ１６１３の処理で、二分探索を行う際の高さの上限値Ｚｍａｘ、又は、高さの下限値Ｚｍｉｎの値を変更されると、Ｓ１６１３の処理は終了し、Ｓ１６０５の処理から二分探索を引き続き実行する。

なお、ここで開示したＳ１６１１からＳ１６１３の評価及び判定の処理は例示であって、適切な評価及び判定が可能であれば他の方法でもよく、本願発明においてこれに限るものではない。

図７に戻り、位置算出処理（Ｓ７０２）が終了すると、初速度算出部１０３が初速度算出処理（Ｓ７０３）を、打ち出し角度算出部１０４が打ち出し角度算出処理（Ｓ７０４）を、それぞれ実行する。初速度算出処理（Ｓ７０３）と打ち出し角度算出処理（Ｓ７０４）は実施例１と同様であるため説明を割愛する。

算出装置１は、初速度算出部１０３が初速度算出処理（Ｓ７０３）で算出した初速度と、打ち出し角度算出部１０４が打ち出し角度算出処理（Ｓ７０４）で算出した打ち出し角度を出力する。

算出装置１は、図１９に示すように、軌道算出部１０７、飛距離算出部１０８を備えてもよい。軌道算出部１０７と飛距離算出部１０８の機能は実施例１と同様であるため説明を割愛する。

以上が、算出装置についての説明である。

次に、算出システムについて説明する。算出システムは、目標とする動体を上方向から撮像する位置に配置された単眼カメラと、上述の算出装置と、からなる。単眼カメラと算出装置は、互いに分離していてもよいし、一体としてシステムを構成してもよい。単眼カメラと算出装置が互いに分離しているシステムでは、単眼カメラと算出装置が有線又は無線による通信ネットワークによって接続されて撮像データを逐次又は一旦蓄積した後に受け渡すことでもよいし、単眼カメラで撮像した撮像データを記憶媒体等に保管してから算出装置に受け渡すことでもよい。また、単眼カメラと算出装置を一体としたシステムでは、例えば、単眼カメラを内蔵したスマートフォンなどの情報機器に後述の算出プログラムをアプリケーションとして提供して算出装置として機能させることで単眼カメラと算出装置を一体としたシステムを構成するなどがある。

次に、コンピュータを算出装置として機能させるための算出プログラムについて説明する。コンピュータの構成は、図２に示す通りである。

算出プログラムは、メインモジュール、入出力モジュール及び演算処理モジュールを備える。メインモジュールは、処理を統括的に制御する部分である。入出力モジュールは、画像データなどの入力情報をコンピュータに取得させ、算出した情報を数値や画像でコンピュータに出力させる。演算処理モジュールは、検出モジュール、位置算出モジュール、初速度算出モジュール、打ち出し角度算出モジュール、軌道算出モジュール、飛距離算出モジュール、存在直線算出モジュール及び存在面算出モジュールを備える。メインモジュール、入出力モジュール及び演算処理モジュールを実行させることにより実現される機能は、算出装置１の検出部１０１、位置算出部１０２、初速度算出部１０３、打ち出し角度算出部１０４、軌道算出部１０５及び飛距離算出部１０６に加え、存在直線算出部１０７及び存在面算出部１０８の機能とそれぞれ同様である。

算出プログラムは、例えば、ＲＯＭ等の記憶媒体又は半導体メモリによって提供される。また、算出プログラムは、ネットワークを介して提供されてもよい。

以上が、実施例２の説明である。

以上、本願に係る算出装置、算出システム、算出方法及び算出プログラムによれば、ゴルフなどの運動競技において、ゴルフクラブなどの用具で打ち上げられたボールなど目標とする動体の初速度と打ち出し角度を、背景から目標とする動体の検出が容易な上方向から撮像した複数の画像フレームの情報から算出することができる。これにより、分解能の低い単眼カメラによって撮像された画像からであっても、目標とする物体の軌道や飛距離を精度高く算出することができる。

１ 算出装置
１０１ 検出部
１０２ 位置算出部
１０３ 初速度算出部
１０４ 打ち上げ角度算出部
１０５ 軌道算出部
１０６ 飛距離算出部
１０７ 存在直線算出部
１０８ 存在面算出部
２０１ 中央演算装置（ＣＰＵ）
２０２ 入力装置
２０３ 出力装置
２０４ 主記憶装置（ＲＡＭ／ＲＯＭ）
２０５ 補助記憶装置
３０１ 地表面に接しているゴルフボール
３０２ ゴルファー
４０１ 画像フレーム
４０２ 時刻０での目標とする動体の像
４０３ 射出された目標とする動体の像が画像フレーム上を移動する方向
５０１ 矢印５０２と対比する矢印
５０２ 矢印５０１と対比する矢印
５０３ 単眼カメラ
５０４ 単眼カメラのレンズの光学中心
６０１ 存在平面
８０１ 地表面
８０２ 地表面に接して置かれた目標とする動体（基準点）
８０３ 地表面に接して置かれた目標とする動体が射出された軌道
８０４ 単眼カメラのレンズの光学中心
８０５ 終点
８０６ 始点
１２０１ 単眼カメラのレンズの光学中心から目標とする動体の軌道への垂線

Claims (11)

1. 単眼カメラで上方向から一定の時間間隔で撮像した連続する複数の画像フレームの情報から、射出された目標とする動体の初速度と打ち出し角度を算出する算出装置であって、
   前記画像フレームの情報から目標とする動体を検出する検出部と、
   前記目標とする動体の運動を等速直線運動と近似して、前記単眼カメラのレンズの光学中心の三次元位置と、各画像フレーム内の前記検出部によって検出された目標とする動体の各像の二次元位置と、から前記目標とする動体の三次元位置を算出する位置算出部と、
   前記位置算出部が算出した前記目標とする動体の三次元位置と、画像フレームの情報と、から前記目標とする動体の初速度を算出する初速度算出部と、
   前記位置算出部が算出した前記目標とする動体の三次元位置と、画像フレームの情報と、から前記目標とする動体の打ち出し角度を算出する打ち出し角度算出部と、
   を備えることを特徴とする算出装置。
2. 前記位置算出部は、
   前記各画像フレームに撮像された前記目標とする動体の各像についての三次元位置と、前記単眼カメラのレンズの光学中心の三次元位置と、を結んだ存在直線を算出する存在直線算出部と、
   前記目標とする動体が存在する可能性のある存在面を算出する存在面算出部と、
   を備え、
   前記存在直線算出部が算出した前記存在直線と、前記存在面算出部が算出した前記存在面と、が交わる点の三次元位置を、前記目標とする動体の三次元位置として算出する、
   ことを特徴とする請求項１に記載の算出装置。
3. 前記位置算出部は、
   前記目標とする動体が存在する可能性のある複数の三次元位置の候補から探索アルゴリズムによって前記目標とする動体が存在する可能性が最も高い三次元位置の候補を前記目標とする動体の三次元位置として算出する、
   ことを特徴とする請求項２に記載の算出装置。
4. 前記位置算出部は、
   前記探索アルゴリズムは、前記画像フレームに撮像された前記目標とする動体が存在する可能性のある三次元位置の候補の三次元距離から求めた評価値を評価することによって、前記目標とする動体が存在する可能性が最も高い三次元位置の候補を探索する、
   ことを特徴とする請求項３に記載の算出装置。
5. 前記初速度算出部が算出した前記目標とする動体の初速度と、前記打ち出し角度算出部が算出した前記目標とする動体の打ち出し角度と、から前記目標とする動体の三次元での軌道を算出する軌道算出部を備える、
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の算出装置。
6. 前記初速度算出部が算出した前記目標とする動体の初速度と、前記打ち出し角度算出部が算出した前記目標とする動体の打ち出し角度と、から前記目標とする動体の飛距離を算出する飛距離算出部を備える、
   ことを特徴とする請求項１から請求項４のいずれか１項に記載の算出装置。
7. 目標とする動体を上方向から撮像する位置に配置された単眼カメラと、
   請求項１から請求項４のいずれか１項に記載の算出装置と、
   からなることを特徴とする算出システム。
8. 目標とする動体を上方向から撮像する位置に配置された単眼カメラと、
   請求項５に記載の算出装置と、
   からなることを特徴とする算出システム。
9. 目標とする動体を上方向から撮像する位置に配置された単眼カメラと、
   請求項６に記載の算出装置と、
   からなることを特徴とする算出システム。
10. 単眼カメラで上方向から一定の時間間隔で撮像した連続する複数の画像フレームの情報から、射出された目標とする動体の初速度と打ち出し角度を算出する算出方法であって、
    前記画像フレームの情報から目標とする動体を検出する検出ステップと、
    前記目標とする動体の運動を等速直線運動と近似して、前記単眼カメラのレンズの光学中心の三次元位置と、各画像フレーム内の前記検出ステップによって検出された目標とする動体の各像の二次元位置と、から前記目標とする動体の三次元位置を算出する位置算出ステップと、
    前記位置算出ステップで算出した前記目標とする動体の三次元位置と、画像フレームの情報と、から前記目標とする動体の初速度を算出する初速度算出ステップと、
    前記位置算出ステップで算出した前記目標とする動体の三次元位置と、画像フレームの情報と、から前記目標とする動体の打ち出し角度を算出する打ち出し角度算出部ステップと、
    を備えることを特徴とする算出方法。
11. 単眼カメラで上方向から一定の時間間隔で撮像した連続する複数の画像フレームの情報から、射出された目標とする動体の初速度と打ち出し角度を算出する算出プログラムであって、
    前記画像フレームの情報から目標とする動体を検出する検出ステップと、
    前記目標とする動体の運動を等速直線運動と近似して、前記単眼カメラのレンズの光学中心の三次元位置と、各画像フレーム内の前記検出ステップによって検出された目標とする動体の各像の二次元位置と、から前記目標とする動体の三次元位置を算出する位置算出ステップと、
    前記位置算出ステップで算出した前記目標とする動体の三次元位置と、画像フレームの情報と、から前記目標とする動体の初速度を算出する初速度算出ステップと、
    前記位置算出ステップで算出した前記目標とする動体の三次元位置と、画像フレームの情報と、から前記目標とする動体の打ち出し角度を算出する打ち出し角度算出部ステップと、
    をコンピュータに実行させることを特徴とする算出プログラム。

Images