JP5240328B2 - 撮像装置及びプログラム - Google Patents
撮像装置及びプログラム Download PDFInfo
- Publication number
- JP5240328B2 JP5240328B2 JP2011172877A JP2011172877A JP5240328B2 JP 5240328 B2 JP5240328 B2 JP 5240328B2 JP 2011172877 A JP2011172877 A JP 2011172877A JP 2011172877 A JP2011172877 A JP 2011172877A JP 5240328 B2 JP5240328 B2 JP 5240328B2
- Authority
- JP
- Japan
- Prior art keywords
- ball
- image
- calculating
- frame
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
- G06T2207/30224—Ball; Puck
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Description
このスピードガンは、例えば、ボールによる反射波のドップラー効果を測定して、ボールの速度を推定するようになっていることから、ボールの運動方向に沿ってスピードガンを設置する必要があるため、ボールとの衝突のリスクが高いという問題がある。さらに、運動するボールのどの時点での測定結果であるのかといった正確性の検証が困難であるといった問題もある。
ローリングシャッター方式の撮像手段と、
前記撮像手段により連続撮像されることによって、ボール像が楕円形に歪んだ状態で含まれる少なくとも2つのフレーム画像を取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレーム画像を、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターで、フィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となったときの中心位置、長径、短径及び傾斜角を、前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された少なくとも2つのフレーム画像の前記ボール像の各推定値に基づいて、前記ボールの運動の状態量を算出する状態量算出手段と、
を備える。
ローリングシャッター方式の撮像手段と、
前記撮像手段により撮像されることによって、ボール像が楕円形に歪んだ状態で含まれるフレーム画像を取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレーム画像を、水平ラインに対して長径が傾斜した楕円形の内領域と、その内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターで、フィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となったときの中心位置、長径、短径及び傾斜角を、前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された中心位置、長径、短径及び傾斜角によって規定される楕円と、それに接する水平な二本の接線との交点の位置を算出する第1の交点算出手段と、
前記推定手段によって推定された中心位置を通る水平線と前記楕円との交点を算出する第2の交点算出手段と、
前記第1の交点算出手段及び前記第2の交点算出手段によって算出された交点の位置と、前記撮像手段のローリングシャッターにおける水平ライン間の遅延時間と、前記ボールの実サイズとに基づき、前記ボールの速度を算出する速度算出手段と、
を備える
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも2つのフレーム画像を、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターで、フィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となったときの中心位置、長径、短径及び傾斜角を、前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された少なくとも2つのフレーム画像の前記ボール像の各推定値に基づいて、前記ボールの運動の状態量を算出する状態量算出手段、
として機能させる。
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により撮像されることによってそのボール像が楕円形に歪んだ状態で含まれるフレーム画像を、水平ラインに対して長径が傾斜した楕円形の内領域と、その内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターで、フィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となったときの中心位置、長径、短径及び傾斜角を、前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された中心位置、長径、短径及び傾斜角によって規定される楕円と、それに接する水平な二本の接線との交点の位置を算出する第1の交点算出手段、
前記推定手段によって推定された中心位置を通る水平線と前記楕円との交点を算出する第2の交点算出手段、
前記第1の交点算出手段及び前記第2の交点算出手段によって算出された交点の位置と、前記撮像手段のローリングシャッターにおける水平ライン間の遅延時間と、前記ボールの実サイズとに基づき、前記ボールの速度を算出する速度算出手段、
として機能させる。
図1は、本発明を適用した一実施形態の撮像装置100の使用状態を示した上面図である。図1に示すように、撮像装置100の撮像方向Dを略水平にし、撮像装置100の撮像範囲Eの周辺部において打撃者201が撮像方向Dに対してほぼ直交する方向Fに球状のボール202を打撃する。打撃時のボール202が撮像装置100の撮像範囲に入るようにし、ボール202が打撃前に静止した状態から打撃後に高速で移動する状態をそのボール202が画像に含まれるように撮像装置100で連続して撮像する。撮像装置100は、連続して撮像された複数の画像に基づいてボール202のスピード、打撃方向及び回転状態等を解析するものである。
具体的には、撮像制御部5は、TG(Timing Generator)、電子撮像部3を駆動するドライバ等(何れも図示略)を備え、TGを介してドライバやユニット回路4の動作タイミングを制御する。即ち、中央制御部14が、プログラムメモリ13から読み出したプログラム13aに従ってシャッタースピードを設定すると、撮像制御部5のTGは、当該シャッタースピードに対応する電荷蓄積時間をシャッターパルスとしてドライバに出力し、ドライバからの駆動パルス信号に従って電子撮像部3をローリングシャッター方式で動作させて電荷蓄積時間(露光時間)を制御する。これにより、1フレームの画像が電子撮像部3によって撮像される。そのため、連続撮像の際には、中央制御部14がフレームレートを設定すると、撮像制御部5がそのフレームレートに従って電子撮像部3をローリングシャッター方式で繰り返し動作させることで、電子撮像部3が連続撮像を行う。
プログラムメモリ13には、当該撮像装置100の機能に係るプログラム13aやデータが格納されている。このプログラム13aは、中央制御部14及び画像処理部7にとって読み取り可能なプログラムである。
まず、画像処理部7は、図8に示すステップS26において特定したN1番目の候補フレームの2Nフレーム前のフレーム(N1−2N番目のフレーム)を記憶部11から読み出し(ステップS31)、そのフレームの領域Wをテンプレートとする(ステップS32)。
まず、画像処理部7は、楕円分離度フィルターの中心位置(x,y)、長径L、短径S及び傾斜角θを所定の初期値に設定する。なお、ボール202が移動する際のボール像の歪みが予めおおよそ特定されているので、その歪みに基づいて傾斜角θの初期値が設定される。
次に、画像処理部7は、画像estImgTを楕円分離度フィルターによってフィルタリング処理することによって、内領域A3と外領域A4の各画素の分離度を算出する。
次に、画像処理部7は、画素ごとの分離度の分布に対して補間処理を行うことによって、画素間のサブピクセル単位で分離度を算出する。
その後、画像処理部7は、傾斜角θを一定に保った状態で楕円分離度フィルターの中心位置(x,y)、長径L及び短径Sを所定幅だけずらしながら、同様なフィルタリング処理及び補間処理を繰り返す。傾斜角θを一定に保った状態としたので、処理の繰り返し回数が減り、計算処理の負担軽減が図れる。長径L及び短径Sを所定幅ずらす際に、長径Lと短径Sの比率を一定とすることが好ましい。そうすれば、内領域A3の外縁の楕円形状が外領域A4の外縁の楕円形状と相似形を保つ。但し、長径L及び短径Sを所定幅ずらす際に、長径L及び短径Sの比率が一定でなくてもよい。
以下、以上のようにして推定された長径をL2、短径をS2、中心位置の座標を(x2,y2)とする。推定された長径L2、短径S2及び中心位置(x2,y2)は、画像処理部7及びリーダー・ライター10によって記憶部11に記録される。
まず、画像処理部7は、楕円分離度フィルターの中心位置(x,y)、長径L及び短径Sを(x2,y2)、L2、S2に設定する。更に、画像処理部7は、傾斜角θを所定の初期値に設定する。
次に、画像処理部7は、画像estImgTを楕円分離度フィルターによってフィルタリング処理することによって、内領域A3と外領域A4の各画素の分離度を算出する。
次に、画像処理部7は、画素ごとの分離度の分布に対して補間処理を行うことによって、画素間のサブピクセル単位で分離度を算出する。
その後、画像処理部7は、楕円分離度フィルターの中心位置(x,y)、長径L及び短径Sを(x2,y2)、L2、S2に保った状態で楕円分離度フィルターの傾斜角θを所定幅だけずらしながら、同様なフィルタリング処理及び補間処理を繰り返す。中心位置(x,y)、長径L及び短径Sを一定に保った状態としたので、処理の繰り返し回数が減り、計算処理の負担軽減が図れる。
そして、画像処理部7は、打撃後の2つのフレームの中の円形に補正されたボール像に基づいて、ボールの回転角を推定する(ステップS92)。
図23に示すように、画像処理部7がプログラム13aによってずれ量算出手段7iとして機能させられることによって、その画像処理部7は、打撃後のフレームとその次のフレームとにおけるボール像の中心のx座標の差に基づいて、補正係数を算出する(ステップS101)。具体的には、画像処理部7は、次式から補正係数を算出する。
具体的には、まず、画像処理部7は、次式に示す回転行列Irotを所定の初期値に設定する(ステップS113)。つまり、画像処理部7は、次式に示す回転角度θr、θy、θpを所定の初期値に設定する。
また、楕円形に歪んだボールの像を円形に補正したので、バックスピン速度及びサイドスピン速度をより正確に算出することができる。
図27は、本発明の第2実施形態に係る撮像装置100Aの概略構成を示すブロック図である。第2実施形態に係る撮像装置100Aと、第1実施形態に係る撮像装置100との間で互いに対応する部分には、同一の符号を付す。
まず、中央制御部14がプログラム13bによって入力制御手段14gとして機能することで、その中央制御部14が操作入力部8を通じて入力されたデータをバッファメモリ12等に格納する。具体的には、ユーザーが操作入力部8を操作することで、実際のボール202の直径又は半径を入力すると、中央制御部14が入力された直径をバッファメモリ12に格納するか、入力された半径の2倍をバッファメモリ12に格納する(ステップS121)。なお、直径が予め記憶部11又はプログラムメモリ13等に記録されていてもよいし、プログラム13bに組み込まれていてもよい。
次に、画像処理部7がプログラム13bによって平滑化手段7f、楕円分離度算出手段7g及び推定手段7hとして機能させられ、画像処理部7は読み出したフレームの中のボール像の中心位置、長径、短径及び傾斜角を検出する(ステップS124)。ステップS124における処理は、第1実施形態におけるステップS6における処理と同様である。図29に示すように、ステップS124の処理において、最大の分離度をとる長径、短径、中心位置及び傾斜角をそれぞれL4、S4、(x4,y4)及びθ4とする。また、長径L4、短径S4、中心位置(x4,y4)及び傾斜角θ4から規定される楕円を最適楕円という。なお、ステップS124の処理の前に、第1実施形態の場合と同様に、画像処理部7が打撃時のフレームを検出してもよい(図4のステップS3、図7、図8、図12等参照)。
次に、画像処理部7がプログラム13bによって第2の交点算出手段7wとして機能させられることによって、その画像処理部7は、中心位置(x4,y4)を通る水平線H3と最適楕円との2つの交点の座標(x7,y7)、(x8,y8)を算出する。
仮に上方へ移動する円形ボールを撮像すれば、その円形ボールの像が上下に圧縮される。そのため、圧縮されたラインの量をライン間時間で除して得られた値が速度と考えられる。
なお、本発明を適用可能な実施形態は、上述した実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
<請求項1>
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも2つのフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された少なくとも2つのフレームの前記ボール像の中心位置の差分とフレーム間のフレーム数とフレームレートとから、前記ボールの速度を算出する速度算出手段と、を備えることを特徴とする撮像装置。
<請求項2>
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも2つのフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された少なくとも2つのフレームの前記ボール像の中心位置の差分から、水平面を基準とした前記ボールの上下方向への射出角を算出する垂直射出角算出手段と、を備えることを特徴とする撮像装置。
<請求項3>
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも2つのフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された少なくとも2つのフレームの前記ボール像の長径又は短径と前記撮像手段の水平画角と前記フレームの中心座標と前記フレームの垂直ライン数とから、前記撮像手段の撮像方向に直交する面を基準とした前記ボールの左右方向への射出角を算出する水平射出角算出手段と、を備えることを特徴とする撮像装置。
<請求項4>
前記推定手段は、前記内領域の傾斜角を一定にした状態で前記内領域の中心位置、長径及び短径を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径及び短径を前記ボール像の中心位置、長径及び短径として推定し、その推定した中心位置、長径及び短径に前記内領域の中心位置、長径及び短径を一定にした状態で前記内領域の傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる傾斜角を前記ボール像の傾斜角として推定することを特徴とする請求項1から3の何れか一項に記載の撮像装置。
<請求項5>
前記推定手段によって推定された中心位置のフレーム間における水平方向の差分から、隣り合う水平ラインの間にローリングシャッターによって生じる水平方向のずれ量を算出するずれ量算出手段と、
前記ずれ量に基づき前記フレームのボール像に生じた歪みを円形に補正する歪み補正手段と、
前記歪み補正手段によって補正されたボール像を三次元球体モデルの表面に座標変換する座標変換手段と、
前記座標変換手段によって座標変換されたボール像のフレーム間における回転角を推定する回転角推定手段と、
前記回転角推定手段によって推定された回転角とフレームレートとから、前記ボールのスピン速度を算出するスピン速度算出手段と、を備えることを特徴とする請求項1から4の何れか一項に記載の撮像装置。
<請求項6>
被写体を撮像するローリングシャッター方式の撮像手段と、
前記撮像手段により撮像されることによってそのボール像が楕円形に歪んだ状態で含まれるフレームを取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレームを水平ラインに対して長径が傾斜した楕円形の内領域とその内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された中心位置、長径、短径及び傾斜角によって規定される楕円とそれに接する水平な二本の接線との交点の位置を算出する第1の交点算出手段と、
前記推定手段によって推定された中心位置を通る水平線と前記楕円との交点を算出する第2の交点算出手段と、
前記第1の交点算出手段及び前記第2の交点算出手段によって算出された交点の位置と、前記撮像手段のローリングシャッターにおける水平ライン間の遅延時間と、前記ボールの実サイズとに基づき前記ボールの速度を算出する速度算出手段と、を備えることを特徴とする撮像装置。
<請求項7>
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも2つのフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された少なくとも2つのフレームの前記ボール像の中心位置の差分とフレーム間のフレーム数とフレームレートとから、前記ボールの速度を算出する速度算出手段、
として機能させることを特徴とするプログラム。
<請求項8>
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも2つのフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された少なくとも2つのフレームの前記ボール像の中心位置の差分から、水平面を基準とした前記ボールの上下方向への射出角を算出する垂直射出角算出手段、
として機能させることを特徴とするプログラム。
<請求項9>
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも2つのフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された少なくとも2つのフレームの前記ボール像の長径又は短径と前記撮像手段の水平画角と前記フレームの中心座標と前記フレームの垂直ライン数とから、前記撮像手段の撮像方向に直交する面を基準とした前記ボールの左右方向への射出角を算出する水平射出角算出手段、
として機能させることを特徴とするプログラム。
<請求項10>
コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により撮像されることによってそのボール像が楕円形に歪んだ状態で含まれるフレームを、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターによってフィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となる中心位置、長径、短径及び傾斜角を前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された中心位置、長径、短径及び傾斜角によって規定される楕円とそれに接する水平な二本の接線との交点の位置を算出する第1の交点算出手段、
前記推定手段によって推定された中心位置を通る水平線と前記楕円との交点を算出する第2の交点算出手段、
前記第1の交点算出手段及び前記第2の交点算出手段によって算出された交点の位置と、前記撮像手段のローリングシャッターにおける水平ライン間の遅延時間と、前記ボールの実サイズとに基づき前記ボールの速度を算出する速度算出手段、
として機能させることを特徴とするプログラム。
7g 楕円分離度算出手段
7h 推定手段
7i ずれ量算出手段
7k 歪み補正手段
7m 座標変換手段
7n 回転角推定手段
7p 速度算出手段
7s 垂直射出角算出手段
7t スピン速度算出手段
7u 水平射出角算出手段
7v 第1の交点算出手段
7w 第2の交点算出手段
7x 速度算出手段
7y 垂直射出角算出手段
13a、13b プログラム
14 中央制御部
100、100A 撮像装置
Claims (9)
- ローリングシャッター方式の撮像手段と、
前記撮像手段により連続撮像されることによって、ボール像が楕円形に歪んだ状態で含まれる少なくとも2つのフレーム画像を取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレーム画像を、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターで、フィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となったときの中心位置、長径、短径及び傾斜角を、前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された少なくとも2つのフレーム画像の前記ボール像の各推定値に基づいて、前記ボールの運動の状態量を算出する状態量算出手段と、
を備えることを特徴とする撮像装置。 - 前記状態量算出手段は、前記推定手段によって推定された少なくとも2つのフレーム画像のボール像の中心位置の差分と、フレーム画像間のフレーム数と、フレームレートとから、前記ボールの速度を算出する速度算出手段を含む、
ことを特徴とする請求項1に記載の撮像装置。 - 前記状態量算出手段は、前記推定手段によって推定された少なくとも2つのフレーム画像のボール像の中心位置の差分から、水平面を基準とした前記ボールの上下方向への射出角を算出する垂直射出角算出手段を含む、
ことを特徴とする請求項1に記載の撮像装置。 - 前記状態量算出手段は、前記推定手段によって推定された少なくとも2つのフレーム画像のボール像の長径又は短径と、前記撮像手段の水平画角と、前記フレーム画像の中心座標と、前記フレーム画像の垂直ライン数とから、前記撮像手段の撮像方向に直交する面を基準とした前記ボールの左右方向への射出角を算出する水平射出角算出手段を含む、
ことを特徴とする請求項1に記載の撮像装置。 - 前記推定手段は、前記内領域の傾斜角を一定にした状態で前記内領域の中心位置、長径及び短径を変更しながら前記分離度算出手段によって算出される分離度が最大となったときの中心位置、長径及び短径を、前記ボール像の中心位置、長径及び短径として推定し、その推定した中心位置、長径及び短径に前記内領域の中心位置、長径及び短径を一定にした状態で前記内領域の傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となったときの傾斜角を、前記ボール像の傾斜角として推定する、
ことを特徴とする請求項1から4の何れか一項に記載の撮像装置。 - 前記推定手段によって推定された中心位置のフレーム画像間における水平方向の差分から、隣り合う水平ラインの間でローリングシャッターによって生じる水平方向のずれ量を、算出するずれ量算出手段と、
前記ずれ量に基づき、前記フレーム画像のボール像に生じた歪みを、円形に補正する歪み補正手段と、
前記歪み補正手段によって補正されたボール像を、三次元球体モデルの表面に座標変換する座標変換手段と、
前記座標変換手段によって座標変換されたボール像のフレーム画像間における回転角を、推定する回転角推定手段と、
前記回転角推定手段によって推定された回転角とフレームレートとから、前記ボールのスピン速度を算出するスピン速度算出手段と、
を更に備えることを特徴とする請求項1から5の何れか一項に記載の撮像装置。 - ローリングシャッター方式の撮像手段と、
前記撮像手段により撮像されることによって、ボール像が楕円形に歪んだ状態で含まれるフレーム画像を取得する撮像制御手段と、
前記撮像制御手段により取得した前記フレーム画像を、水平ラインに対して長径が傾斜した楕円形の内領域と、その内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターで、フィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段と、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となったときの中心位置、長径、短径及び傾斜角を、前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段と、
前記推定手段によって推定された中心位置、長径、短径及び傾斜角によって規定される楕円と、それに接する水平な二本の接線との交点の位置を算出する第1の交点算出手段と、
前記推定手段によって推定された中心位置を通る水平線と前記楕円との交点を算出する第2の交点算出手段と、
前記第1の交点算出手段及び前記第2の交点算出手段によって算出された交点の位置と、前記撮像手段のローリングシャッターにおける水平ライン間の遅延時間と、前記ボールの実サイズとに基づき、前記ボールの速度を算出する速度算出手段と、
を備えることを特徴とする撮像装置。 - コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により連続撮像されることによってそのボール像が楕円形に歪んだ状態で含まれる少なくとも2つのフレーム画像を、水平ラインに対して長径が傾斜した楕円形の内領域とその内領域に隣接する外領域とを有する楕円分離度フィルターで、フィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となったときの中心位置、長径、短径及び傾斜角を、前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された少なくとも2つのフレーム画像の前記ボール像の各推定値に基づいて、前記ボールの運動の状態量を算出する状態量算出手段、
として機能させることを特徴とするプログラム。 - コンピュータに、
移動するボールがローリングシャッター方式の撮像手段により撮像されることによってそのボール像が楕円形に歪んだ状態で含まれるフレーム画像を、水平ラインに対して長径が傾斜した楕円形の内領域と、その内領域と同心状であってその内領域の外側においてその内領域に隣接する外領域とを有する楕円分離度フィルターで、フィルタリング処理することによって、前記内領域と前記外領域の画素の分離度を算出する分離度算出手段、
前記内領域の中心位置、長径、短径及び傾斜角を変更しながら前記分離度算出手段によって算出される分離度が最大となったときの中心位置、長径、短径及び傾斜角を、前記ボール像の中心位置、長径、短径及び傾斜角として推定する推定手段、
前記推定手段によって推定された中心位置、長径、短径及び傾斜角によって規定される楕円と、それに接する水平な二本の接線との交点の位置を算出する第1の交点算出手段、
前記推定手段によって推定された中心位置を通る水平線と前記楕円との交点を算出する第2の交点算出手段、
前記第1の交点算出手段及び前記第2の交点算出手段によって算出された交点の位置と、前記撮像手段のローリングシャッターにおける水平ライン間の遅延時間と、前記ボールの実サイズとに基づき、前記ボールの速度を算出する速度算出手段、
として機能させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011172877A JP5240328B2 (ja) | 2011-08-08 | 2011-08-08 | 撮像装置及びプログラム |
US13/565,031 US8704888B2 (en) | 2011-08-08 | 2012-08-02 | Imaging device and image analysis method |
CN201210277308.1A CN102932591B (zh) | 2011-08-08 | 2012-08-06 | 摄像装置及图像解析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011172877A JP5240328B2 (ja) | 2011-08-08 | 2011-08-08 | 撮像装置及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013036846A JP2013036846A (ja) | 2013-02-21 |
JP2013036846A5 JP2013036846A5 (ja) | 2013-04-04 |
JP5240328B2 true JP5240328B2 (ja) | 2013-07-17 |
Family
ID=47647280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011172877A Active JP5240328B2 (ja) | 2011-08-08 | 2011-08-08 | 撮像装置及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8704888B2 (ja) |
JP (1) | JP5240328B2 (ja) |
CN (1) | CN102932591B (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8976241B1 (en) * | 2012-09-27 | 2015-03-10 | The United States Of America As Represented By The Secretary Of The Navy | Surface deformation image analyzer |
JP6024547B2 (ja) * | 2013-03-22 | 2016-11-16 | カシオ計算機株式会社 | 状態解析装置、状態解析システム、状態解析方法及びプログラム |
ES2427489B1 (es) * | 2013-04-17 | 2014-07-08 | Foxtenn Bgreen, S. L. | Método y sistema para juzgar si un elemento esférico bota dentro o fuera de unas zonas de juego |
US10441866B2 (en) | 2013-04-17 | 2019-10-15 | Foxtenn Bgreen, S.L. | Method and system for determining whether a spherical element impacts with a component of a playing field, or arranged on or proximate thereto |
US20170069103A1 (en) * | 2015-09-08 | 2017-03-09 | Microsoft Technology Licensing, Llc | Kinematic quantity measurement from an image |
CN105721758A (zh) * | 2016-04-29 | 2016-06-29 | 广东能飞航空科技发展有限公司 | 一种无人机用紫外双光拍摄系统 |
JP6645949B2 (ja) * | 2016-11-01 | 2020-02-14 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、および情報処理方法 |
JP6236600B1 (ja) * | 2017-06-02 | 2017-11-29 | 株式会社Gpro | 飛行パラメータ測定装置及び飛行パラメータ測定方法 |
CN109001484B (zh) * | 2018-04-18 | 2021-04-02 | 广州视源电子科技股份有限公司 | 旋转速度的检测方法和装置 |
JP2019211223A (ja) * | 2018-05-31 | 2019-12-12 | コニカミノルタ株式会社 | 画像処理装置、過積載検出装置、過積載検出システム及びプログラム |
CN108960172B (zh) * | 2018-07-12 | 2021-12-07 | 南京工程学院 | 一种识别gpr图像病害类型的方法 |
CA3119999A1 (en) | 2018-11-20 | 2020-05-28 | Laser Technology, Inc. | Handheld laser -based vehicle speed measurement device incorporating an automatic number plate recognition (anpr) function |
RU2749492C1 (ru) * | 2020-08-21 | 2021-06-11 | Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации | Способ определения координат центра тяжести оптического изображения |
KR20230108724A (ko) * | 2022-01-10 | 2023-07-18 | 컨셉 주식회사 | 산출 장치, 산출 시스템, 산출 방법, 산출 프로그램 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5189711A (en) * | 1989-11-24 | 1993-02-23 | Isaac Weiss | Automatic detection of elliptical shapes |
JP2810320B2 (ja) | 1994-04-18 | 1998-10-15 | 住友ゴム工業株式会社 | 球体の回転量測定装置及び測定方法 |
JP3279913B2 (ja) * | 1996-03-18 | 2002-04-30 | 株式会社東芝 | 人物認証装置、特徴点抽出装置及び特徴点抽出方法 |
JP3187748B2 (ja) | 1996-10-30 | 2001-07-11 | ブリヂストンスポーツ株式会社 | ゴルフボールの運動測定方法 |
JP2001264016A (ja) | 2000-03-15 | 2001-09-26 | Sumitomo Rubber Ind Ltd | ボールの運動測定装置 |
US7292711B2 (en) * | 2002-06-06 | 2007-11-06 | Wintriss Engineering Corporation | Flight parameter measurement system |
JP3904988B2 (ja) * | 2002-06-27 | 2007-04-11 | 株式会社東芝 | 画像処理装置およびその方法 |
JP2004096504A (ja) | 2002-08-30 | 2004-03-25 | Mitsubishi Heavy Ind Ltd | 移動物体撮影装置 |
JP2005291824A (ja) | 2004-03-31 | 2005-10-20 | Yokohama National Univ | 飛翔体の飛翔挙動測定装置および飛翔体の飛翔挙動測定方法 |
JP4752685B2 (ja) | 2006-08-31 | 2011-08-17 | カシオ計算機株式会社 | 撮像装置及びプログラム |
JP4743048B2 (ja) | 2006-08-31 | 2011-08-10 | カシオ計算機株式会社 | 撮像装置及びプログラム |
JP2008058221A (ja) | 2006-09-01 | 2008-03-13 | Kobe Univ | 高速移動物体の速度・位置の推定方法、推定プログラムおよび推定システム |
JP4930900B2 (ja) * | 2006-09-27 | 2012-05-16 | カシオ計算機株式会社 | 撮像装置 |
JP4940968B2 (ja) | 2007-01-31 | 2012-05-30 | カシオ計算機株式会社 | 画像記録装置及びプログラム |
JP4784538B2 (ja) * | 2007-03-19 | 2011-10-05 | カシオ計算機株式会社 | ダイジェスト画像表示装置、ダイジェスト画像表示方法及びプログラム |
US8698908B2 (en) | 2008-02-11 | 2014-04-15 | Nvidia Corporation | Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera |
JP5067323B2 (ja) * | 2008-09-09 | 2012-11-07 | カシオ計算機株式会社 | 撮影装置、及びプログラム |
JP2010118039A (ja) * | 2008-10-16 | 2010-05-27 | Mitsubishi Electric Corp | 移動体検出装置 |
-
2011
- 2011-08-08 JP JP2011172877A patent/JP5240328B2/ja active Active
-
2012
- 2012-08-02 US US13/565,031 patent/US8704888B2/en active Active
- 2012-08-06 CN CN201210277308.1A patent/CN102932591B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US8704888B2 (en) | 2014-04-22 |
CN102932591B (zh) | 2015-04-15 |
CN102932591A (zh) | 2013-02-13 |
US20130038718A1 (en) | 2013-02-14 |
JP2013036846A (ja) | 2013-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5240328B2 (ja) | 撮像装置及びプログラム | |
JP2013036846A5 (ja) | ||
US8593533B2 (en) | Image processing apparatus, image-pickup apparatus, and image processing method | |
JP4755490B2 (ja) | ブレ補正方法および撮像装置 | |
JP6395506B2 (ja) | 画像処理装置および方法、プログラム、並びに撮像装置 | |
JP5935779B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US10382704B2 (en) | Image processing device that generates a composite image | |
JP5842807B2 (ja) | 画像解析装置、情報報知装置、画像解析方法、情報報知方法、及びプログラム | |
JP2011029735A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP2011029735A5 (ja) | ||
KR101558659B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 기록 매체 | |
US10275917B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
US10013632B2 (en) | Object tracking apparatus, control method therefor and storage medium | |
US20120249593A1 (en) | Image processing apparatus, image processing method, and recording medium capable of identifying subject motion | |
JP2011066827A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4779491B2 (ja) | 複数画像合成方法及び撮像装置 | |
JP5884759B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2017174094A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6168127B2 (ja) | 画像解析装置、画像解析方法、及びプログラム | |
JP7200002B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体 | |
JP2008060974A (ja) | 撮像装置及びプログラム | |
TWI811048B (zh) | 追蹤擴展現實的輸入手勢的方法和使用其的系統 | |
JP5707268B2 (ja) | 画像処理装置およびこの画像処理装置を備える電子カメラおよび画像再生装置 | |
JP7346021B2 (ja) | 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体 | |
JP6060585B2 (ja) | 画像特定装置、画像特定方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130206 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130206 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20130212 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20130222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130318 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160412 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5240328 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |