JP7115376B2 - 回転状態推定装置、方法及びプログラム - Google Patents

Description

本発明は、飛翔するボール等の対象物の回転状態を推定するに関する。

対象物の回転状態を推定する技術として、非特許文献１に記載された技術が知られている。

図４を用いて非特許文献１の技術及びより詳細な説明をする。図４(a)は、ボール５の模様を分かりやすく簡易化した図である。図４(b)は、ボール５がカメラ６に対して真っすぐに飛翔する様子を示した図である。図４(c)は、ボール５がカメラ６に対して斜めに飛翔する様子を示した図である。

非特許文献１の技術では、まず外見の類似に基づいて、周期Tが求められる。周期Tに対応するフレームは、ボール回転数と撮影フレームレートにも依存するが、25フレーム程度先となる。例えば、ボールの回転数が2000RPM、撮影フレームレートが960FPSの場合、28.8フレームでボールが１回転する。

このようにして、非特許文献１の技術では、あるフレームｔにおけるボールの外見（アピアランス）が再び現れる時刻t+Tを検出することで、周期Tが求められる。そして、非特許文献１の技術では、求まった周期Tからボールの回転数が推定される。また、非特許文献１の技術では、推定された回転数から、映像１フレームの間での回転量を求めることで回転軸が更に推定される。

Takashi Ijiri, Atsushi Nakamura, Akira Hirabayashi, Wataru Sakai, Takeshi Miyazaki, Ryutaro Himeno, "Automatic spin measurements for pitched Baseballs via consumer-grade high-speed cameras", Signal, Image and Video Processing, Vol.11, Issue 7, 2017.

非特許文献１の技術では、ボールを観察することができる時間が短い場合、言い換えれば一周期分の映像が得られていない場合には、回転状態を推定することができない。

本発明は、一周期分の映像が得られていない場合であっても、対象物の回転状態を推定することができる回転状態推定装置、方法及びプログラムを提供することを目的とする。

この発明の一態様による回転状態推定装置は、入力された映像から、対象物の画像である対象物画像を生成する対象物画像生成部と、t_cを所定の１以上の整数として、時刻tの対象物画像と、時刻t+t_cの対象物画像とを用いて、ある時刻の対象物画像中の対象物を回転状態の仮説に基づいてt_c単位時間だけ回転させた対象物の画像の尤度が高くなる回転状態の仮説を複数の回転状態の仮説の中から選択することで、対象物の回転状態を推定する回転状態推定部と、を備えている。

一周期分の映像が得られていない場合であっても、対象物の回転状態を推定することができる。

図１は、回転状態推定装置の機能構成の例を示す図である。 図２は、回転状態推定方法の処理手続きの例を示す図である。 図３は、ステップＳ３の処理手続きの例を示す図である。 図４(a)は、ボール５の模様を分かりやすく簡易化した図である。図４(b)は、ボール５がカメラ６に対して真っすぐに飛翔する様子を示した図である。図４(c)は、ボール５がカメラ６に対して斜めに飛翔する様子を示した図である。 図５は、対象物の奥行zの計算の例を説明するための図。 図６(a)及び図６(b)は、ボールの位置が変化すると、照明環境に応じて、ボールに異なる影ができることを示す図。 図７(a)及び図７(b)は、対象物のテクスチャの例を示す図。 図８(a)及び図８(b)は、対象物のテクスチャにより、尤度の分布の幅が異なることを示す図。 図９は、複数フレームを用いた場合に、尤度の分布の幅が狭くなることを示す図。

[実施形態]
以下、本発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

回転状態推定装置は、図１に示すように、対象物画像生成部１及び回転状態推定部３を例えば備えている。

回転状態推定方法は、回転状態推定装置の各構成部が、以下に説明する及び図２に示すステップＳ１及びステップＳ３の処理を行うことにより例えば実現される。

以下、回転状態推定装置の各構成部について説明する。

<対象物画像生成部１>
対象物画像生成部１には、対象物の映像が入力される。対象物とは、回転状態の推定の対象となる物体のことである。対象物の例は、ボールである。以下、対象物が、野球のボールである場合を例に挙げて説明する。もちろん、対象物は、野球のボールに限られない。回転状態とは、対象物の回転数及び回転軸の少なくとも一方である。

対象物画像生成部１は、入力された映像から、対象物の画像である対象物画像を生成する（ステップＳ１）。対象物画像は、例えば、対象物の中心を画像の中心として、対象物の全体が含まれるように切り出された、入力された映像中の１フレーム画像中の部分領域である。対象物画像生成部１は、対象物の全体を含み、周辺に既知のサイズの余白を含むサイズの矩形となるように、入力された映像中の１フレーム画像中から部分領域を切り出して、対象物画像とする。既知のサイズの余白の例として、対象物の半径の0.5倍とすることができる。すなわち、対象物の左側の余白（対象物の半径の0.5倍）、対象物（半径の2倍の直径）、対象物の左側の余白で合計対象物の半径の3倍の長さを持つ正方形とすることが考えられる。

生成された対象物画像は、回転状態推定部３に出力される。

対象物画像生成部１は、対象物画像の生成の前に、対象物の検出をする必要がある。対象物画像生成部１は、対象物の検出には既存の対象物の検出方法を用いればよい。例えば対象物が野球のボールである場合には、対象物画像生成部１は、ボールテンプレートとのマッチング、Hough変換による円の検出等によりボールの検出を行うことができる。なお、円の検出には既存の円の検出方法を用いればよい。

必要に応じて、対象物画像生成部１は、対象物の大きさが各フレーム画像に対応する複数の対象物画像中で同一になるように対象物画像をリサイズする。例えば対象物が野球のボールである場合には、対象物画像生成部１は、ボールの直径が各フレーム画像に対応する複数の対象物画像中で同一になるように対象物画像をリサイズする。

<回転状態推定部３>
回転状態推定部３には、対象物画像生成部１で生成された対象物画像が入力される。

回転状態推定部３は、時刻tの対象物画像と、時刻t+t_cの対象物画像とを用いて、ある時刻の対象物画像中の対象物を回転状態の仮説に基づいてt_c単位時間だけ回転させた対象物の画像の尤度が高くなる回転状態の仮説を複数の回転状態の仮説の中から選択することで、対象物の回転状態を推定する（ステップＳ３）。

言い換えれば、回転状態推定部３は、ある時刻の対象物画像中の対象物を回転状態の仮説に基づいてt_c単位時間だけ回転させた対象物の画像とそのある時刻よりもt_c単位時間だけ後の時刻の対象物画像とが近い回転状態の仮説を複数の回転状態の仮説の中から選択することで、対象物の回転状態を推定する。

t_cは、所定の１以上の整数である。例えば、t_c=1である。t_cは、対象物の想定される回転の周期Tよりも小さくてもよい。単位時間の例として、１フレームでの経過時間を利用する。ただし、２フレームでの経過時間を単位時間とすることもできる。

例えば、回転状態推定部３は、推定される回転状態が収束するまで、以下に説明するステップＳ３１からステップＳ３２の処理を繰り返す。

ステップＳ３１は、回転状態推定部３による、回転状態の仮説を複数生成する処理である。

ステップＳ３２は、回転状態推定部３による、仮説の評価を行う処理である。

以下では、時刻tの対象物画像と、時刻t+t_cの対象物画像とを用いて回転状態を推定する例を挙げて、回転状態推定部３のステップＳ３１及びステップＳ３２の処理を説明する。

まず、回転状態推定部３は、回転状態の仮説を複数生成する（ステップＳ３１）。例えば、回転状態推定部３は、事前に与えられた確率分布に基づいて複数の仮説を生成する。なお、初期状態においては、一般に事前情報が存在しないため、一様分布の確率分布に基づいて複数の仮説を生成する。

そして、回転状態推定部３は、時刻tの対象物画像中の対象物を各回転状態の仮説に基づいてt_c単位時間だけ回転させた対象物の画像を生成する。

例えば、対象物が、野球のボールであり、球状であり、対象物画像にはボールの半球分が見えているとする。この場合、図５に示すように、球であるボールの半径をRとして、ボールの中心を原点に取ったときに、任意の座標(x,y)に対応する奥行zは、z=(R²-x²-y²)^(1/2)となる。これにより、ボールの領域の各ピクセルについての三次元位置（x,y,z)を求めることができる。なお、単位として、対象物の実際の大きさが既知であれば実際の長さの単位を用いても構わないし、ピクセル数を単位として用いてもよい。

回転状態推定部３は、三次元位置（x,y,z)を回転する。例えば、ロドリゲス回転公式を適用することで回転することができる。ロドリゲス回転公式によれば、長さ１となる回転軸（n_x,n_y,n_z)を中心に右まわりにθ回転した時の回転の回転行列が、

で定義できる。

回転状態推定部３は、時刻tの対象物画像中の対象物を各回転状態の仮説に基づいてt_c単位時間だけ回転させた対象物の画像と、実際の時刻t+t_cの対象物画像とを比較することで、各仮説の尤もらしさを検証する。

より詳細には、回転状態推定部３は、実際の時刻t+t_cの対象物画像と、時刻tの対象物画像中の対象物をある回転状態の仮説に基づいてt_c単位時間だけ回転させた対象物の画像との間の類似度を計算して、そのある仮説の尤度とする（ステップＳ３２）。ここで、２個の画像の類似度とは、例えば２個の画像の中の対応するサンプルのユークリッド距離を所定の非増加関数に入力したときの出力値である。所定の非増加関数の例はf(x)=1/xである。回転状態推定部３は、この仮説の尤度の計算を、生成された複数の仮説のそれぞれについて行う（ステップＳ３２）。

回転状態推定部３は、計算された仮説の尤度が所定の収束条件を満たしているか判断する（ステップＳ３３）。所定の収束条件の例は、前回計算された仮説の尤度の最大値と、今回計算された仮説の尤度の最大値との差の大きさが、所定の閾値以下であるかである。

計算された仮説の尤度が所定の収束条件を満たしている場合には、回転状態推定部３は、例えば、今回計算された仮説の尤度の最大値に対応する仮説を選択し、選択された仮説の回転状態を、対象物の回転状態の推定結果として出力する。

計算された仮説の尤度が所定の収束条件を満たしていない場合には、回転状態推定部３は、ステップＳ３２で計算された尤度によって定まる仮説の確率分布に基づくランダムサンプリングにより、複数の仮説を新たに生成する（ステップＳ３１）。

言い換えれば、回転状態推定部３は、今回計算された尤度が大きい仮説ほど高い確率で決定されるように、今回生成された複数の仮説の中から仮説を決定し、決定された仮説の回転状態の値に乱数を加えた値の回転状態を新たな仮説とする処理を複数回繰り返すことで、複数の仮説を新たに生成する。

例えば、今回生成された仮説の数はN個であり、仮説をi(i=1,…,N)とする。i=1,…,Nとして、今回計算された仮説iの尤度をx_iとする。回転状態推定部３は、今回計算された仮説iの尤度x_iの総和S=Σ_i=1 ^Nx_iを計算する。そして、回転状態推定部３は、区間[0,S)の一様乱数xを発生させる。そして、回転状態推定部３は、(x-Σ_i=1 ^I-1x_i)>0≧(x-Σ_i=1 ^Ix_i)の関係を満たす仮説Iを決定する。回転状態推定部３は、仮説Iの回転状態の各値に対して乱数を加えた値の回転状態を新たな仮説とする。例えば、仮説Iの回転状態が回転軸(r_x(I),r_y(I),r_z(I))と回転数θ(I)で構成されており、乱数はガウスノイズn_x,n_y,n_z,n_θであるとする。この場合、新たな仮説の回転状態は、(r_x(I)+n_x,r_y(I)+n_y,r_z(I)+n_z,θ(I)+n_θ)となる。回転状態推定部３は、この処理を複数回（例えばN回）繰り返すことで、複数の仮説を新たに生成する。

その後、回転状態推定部３は、新たに生成された複数の仮説に基づいて、ステップＳ３２の処理を行う。

このようにして、回転状態推定部３は、計算された仮説の尤度が所定の収束条件を満たすまで、ステップＳ３１及びステップＳ３２の処理を繰り返し行う。

以上のように、回転状態推定部３は、複数の回転状態の仮説のそれぞれについて、時刻tの対象物画像中の対象物を回転状態の仮説に基づいてt_c単位時間だけ回転させた対象物の画像の尤度を計算する処理と、計算された尤度に基づいて尤もらしい複数の回転状態の仮説を新たに生成する処理と、を繰り返し行うことで、対象物の回転状態を推定する。

背景技術に記載された技術では、対象物の回転状態を推定するためには、一周期分の映像が必要であった。これに対して、上記の実施形態によれば、時刻tの対象物画像と、時刻t+t_cの対象物画像とを用いて、対象物の回転状態を推定することができる。ここで、t_cは、周期Tよりも小さくてもよい。このため、上記の実施形態によれば、一周期分の映像が得られていない場合であっても、対象物の回転状態を推定することができる。

なお、対象物の外見の変化の要因には、対象物の姿勢の変化以外にも、位置の変化がある。例えば、図４(c)のように対象物がカメラに対して斜めに飛翔する等の場合には、対象物の位置の変化は、対象物の外見の変化の要因となっている。t_cが周期Tよりも小さい場合には、上記の実施形態は、背景技術に記載された技術よりも短い時間間隔の画像を用いて対象物の回転状態を推定できるため、対象物の位置の変化による外見の変化の影響を低減することができる。このため、図４(c)のように対象物がカメラに対して斜めに飛翔する等の場合にも、上記の実施形態により、背景技術に記載された技術よりも高い精度で、対象物の回転状態を推定できる。

[変形例]
<変形例１>
回転状態推定装置は、対象物画像を用いて、対象物の特徴が強調された特徴強調対象物画像を生成する特徴強調対象物画像生成部２を更に備えていてもよい。特徴強調対象物画像生成部２は、図１で破線で示されている。

この場合、対象物画像生成部１で生成された対象物画像は、特徴強調対象物画像生成部２に入力される。

そして、特徴強調対象物画像生成部２は、対象物画像を用いて、対象物の特徴が強調された特徴強調対象物画像を生成する（ステップＳ２）。

生成された特徴強調対象物画像は、回転状態推定部３に出力される。

例えば、特徴強調対象物画像生成部２は、対象物画像に対してエッジ抽出を行うことで、特徴強調対象物画像を生成する。これにより、対象物の特徴を強調することができる。

対象物の例である野球のボールには、多くの場合、マークが付与され、縫い目が存在する。また、図６(a)及び図６(b)に例示するように、ボールの位置が変化すると、照明環境に応じて、ボールに異なる影ができることもある。

特徴強調対象物画像生成部２が、例えばエッジ処理等の特徴を強調する処理を行うことにより、照明環境の影響をなるべく取り除き、対象物の外見を明確にすることができる。具体的には、ボールのシーム（縫い目）が分かりやすくなる。

この場合、回転状態推定部３は、対象物画像に代えて、特徴強調対象物画像を用いて、ステップＳ３１からステップＳ３２の処理、及び、後述する変形例２から変形例４の処理を行う。言い換えれば、回転状態推定部３が回転状態を推定するために用いる対象物画像は、特徴強調対象物画像であってもよい。

特徴強調対象物画像生成部２が対象物の特徴を強調する処理を行うことにより、後続の回転状態推定部３の処理の精度が高まるというメリットがある。

<変形例２>
回転状態推定部３は、ステップＳ３２において、２個の画像の中の所定の領域のみを考慮して、仮説の尤度を計算してもよい。例えば、回転状態推定部３は、対象物画像の、対象物が表示されている領域に含まれる各ピクセルについて、当該ピクセルの位置における対象物の法線方向を計算し、カメラに向かう方向のピクセルのみを利用する方法や、カメラの画像平面に対して奥行き方向の位置を利用して、所定の閾値よりもカメラ側に位置するピクセルのみを利用して、仮説の尤度を計算してもよい。

<変形例３>
上記の手法は、時刻t、時刻t+t_cの２フレーム分の対象物画像により実行可能な手法であった。

これに対して、尤度に基づく推定を複数フレーム分に跨って行ってもよい。言い換えれば、回転状態推定部３は、時刻t₁,t₂,…,t_Kの対象物画像と、時刻t₁+t_c,t₂+t_c,…,t_K+t_cの対象物画像とを用いて、時刻t₁,t₂,…,t_Kの対象物画像中の対象物を回転状態の仮説に基づいてt_c単位時間だけ回転させた対象物の画像の尤度が高くなる回転状態の仮説を複数の回転状態の仮説の中から選択することで、対象物の回転状態を推定してもよい。

なお、回転数の最大値が2800程度の野球のボールが対象物であり、960fpsで撮影された場合、経験的にk=10程度で回転状態の推定の精度が安定する。

対象物に外見の特徴が少ない場合には、時刻t、時刻t+t_cの２フレーム分の対象物画像を考慮しただけでは、対象物の回転状態を適切に推定ができない場合がある。これは、対象物に外見の特徴が少ない場合には、対象物の姿勢の変化による外見の変化も少なくなるためである。

例えば、対象物のテクスチャが図７(a)である場合、時刻tの画像と、時刻t+t_cの画像において、対応点（この例では、３点の対応点）を定めることは容易である。この場合、時刻tとt+t_cの間だけの回転を用いた尤度計算によって、図８(a)のような尤度分布となることが期待される。図８(a)の横軸は姿勢であり、縦軸は尤度である。このように、対応点の指定が容易なケースでは、尤度の分布の幅は狭い。

これに対して、例えば、対象物のテクスチャが図７(b)である場合で、対象物が縦方向に回転（図７(b)の左右方向（水平方向）を軸とする回転）を有する場合には、対応点を定めることは困難である。この場合、時刻tとt+t_cの間だけの回転を用いた尤度計算によって、図８(b)のような尤度分布となることが期待される。図８(a)の横軸は姿勢であり、縦軸は尤度である。このように、対応点の指定が困難なケースでは、尤度の分布の幅は広い。

図７(b)及び図８(b)の場合、対象物画像は画像中で垂直方向に延びるエッジ成分から構成されるため、回転量による尤度の変化が小さくなる。このため、１組のフレームを用いた場合には、精度低下の主な要因となる。

これに対して、複数組のフレームを用いることで、図９のような分布になることが期待される。すなわち、ひとつひとつのフレームの組においては姿勢に対する尤度の分布の幅は広いが、複数組のフレームを考慮することで尤度の分布の幅は狭くなり、姿勢をより適切に推定することができると考えられる。

対象物が、野球のボールのように縫い目など滑らかに変化するシームしか特徴がみられない物体である場合に、変形例３は有効である。

<変形例４>
回転状態推定部３は、ステップＳ３２の繰り返し処理において、前回のステップＳ３２の処理で用いたt_cと、今回のステップＳ３２の処理で用いるt_cの値を変えてもよい。

例えば、回転状態推定部３は、最初のN回のステップＳ３２の処理においてはt_c=1として処理を行い、その後のステップＳ３２の処理においてはt_c=2として処理を行ってもよい。

これにより、生成される仮説の回転状態の値の変化量が大きくなり、回転状態の推定を安定して行うことができる。

<変形例５>
上記の実施形態により推定される回転状態の回転軸は、カメラ座標系での回転軸であり、カメラを置く位置及び姿勢により変化してしまう。このため、対象物が野球のボールである場合には、事前にカメラの位置及び姿勢の推定を行い較正を行うことで、野球場の座標系におけるボールの回転軸を求めてもよい。

対象物が野球のボールである場合には、例えば以下のステップa)からf)の処理を行ってもよい。

a) カメラをもっともワイドに撮影する状態とする。

b) その状態でカメラの内部パラメータを推定する。カメラの内部パラメータとは、カメラのレンズの歪みなどを含み、参考文献１の手法などで求めることができる。

〔参考特許文献１〕Zhengyou Zhang, "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000.

なお、カメラの内部パラメータについては、参考文献２に詳しい。

〔参考文献２〕Ryo Komiyama、"カメラの内部パラメータ、外部パラメータ、歪み、復習用"、［online］、［平成31年03月14日検索］、インターネット〈URL：https://qiita.com/ryokomy/items/fee2105c3e9bfccde3a3〉

c) 撮影位置から、ホーム、１～３塁ベース及びピッチャープレートが観察可能なように撮影する。

d) 野球場において位置が既知であるホーム、１～３塁ベースを用いてPNP（perspective n-point problem）を解くことで、野球場の座標系におけるカメラの位置及び姿勢を求める。なお、PNPについては、参考文献３に詳しい。参考文献３では、P3Pとして解を求めることを想定している。

〔参考文献３〕"カメラの位置・姿勢推定２ PNP問題 理論編"、［online］、［平成31年03月14日検索］、インターネット〈URL：http://daily-tech.hatenablog.com/entry/2018/01/21/185633〉

e) 必要に応じてズームして、上記の実施形態によりボール画像を取得して、カメラ座標系におけるボールの回転軸を求める。

f) ステップe)で求まった回転軸とステップd)で求めたカメラの姿勢とから野球場の座標系におけるボールの回転軸が得られる。

以上、本発明の実施形態及び変形例について説明したが、具体的な構成は、これらの実施形態及び変形例に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、本発明に含まれることはいうまでもない。

例えば、上記の変形例は、適宜組み合わせてもよい。

また、回転状態推定装置の構成部間のデータのやり取りは直接行われてもよいし、図示していない記憶部を介して行われてもよい。

さらに、実施形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

[プログラム、記録媒体]
上記説明した回転状態推定装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

１ 対象物画像生成部
２ 特徴強調対象物画像生成部
３ 回転状態推定部

Claims (6)

1. 入力された映像から、対象物の画像である対象物画像を生成する対象物画像生成部と、
   t_cを所定の１以上の整数として、時刻tの前記対象物画像と、時刻t+t_cの前記対象物画像とを用いて、前記ある時刻の前記対象物画像中の対象物を回転状態の仮説に基づいてt_c単位時間だけ回転させた対象物の画像の尤度が高くなる回転状態の仮説を複数の回転状態の仮説の中から選択することで、前記対象物の回転状態を推定する回転状態推定部と、
   を含む回転状態推定装置。
2. 請求項１の回転状態推定装置であって、
   前記回転状態推定部は、時刻t₁,t₂,…,t_Kの前記対象物画像と、時刻t₁+t_c,t₂+t_c,…,t_K+t_cの前記対象物画像とを用いて、時刻t₁,t₂,…,t_Kの前記対象物画像中の対象物を回転状態の仮説に基づいてt_c単位時間だけ回転させた対象物の画像の尤度が高くなる回転状態の仮説を複数の回転状態の仮説の中から選択することで、前記対象物の回転状態を推定する、
   回転状態推定装置。
3. 請求項１又は２の回転状態推定装置であって、
   前記回転状態推定部は、複数の回転状態の仮説のそれぞれについて、前記時刻t又は前記時刻t₁,t₂,…,t_Kの前記対象物画像中の対象物を回転状態の仮説に基づいてt_c単位時間だけ回転させた対象物の画像の尤度を計算する処理と、計算された尤度に基づいて尤もらしい複数の回転状態の仮説を新たに生成する処理と、を繰り返し行う、
   回転状態推定装置。
4. 請求項３の回転状態推定装置であって、
   前記回転状態推定部の、計算された尤度に基づいて尤もらしい複数の回転状態の仮説を新たに生成する処理は、前記計算された尤度が大きい仮説ほど高い確率で決定されるように、前記複数の回転状態の仮説の中から仮説を決定し、前記決定された仮説の回転状態の値に乱数を加えた値の回転状態を新たな仮説とする処理を複数回繰り返すことで、複数の仮説を新たに生成する処理である、
   回転状態推定装置。
5. 対象物画像生成部が、入力された映像から、対象物の画像である対象物画像を生成する対象物画像生成ステップと、
   回転状態推定部が、t_cを所定の１以上の整数として、時刻tの前記対象物画像と、時刻t+t_cの前記対象物画像とを用いて、前記ある時刻の前記対象物画像中の対象物を回転状態の仮説に基づいてt_c単位時間だけ回転させた対象物の画像の尤度が高くなる回転状態の仮説を複数の回転状態の仮説の中から選択することで、前記対象物の回転状態を推定する回転状態推定ステップと、
   を含む回転状態推定方法。
6. 請求項１から４の何れかの回転状態推定装置の各部としてコンピュータを機能させるためのプログラム。

Images