JP7083333B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7083333B2 JP7083333B2 JP2019239186A JP2019239186A JP7083333B2 JP 7083333 B2 JP7083333 B2 JP 7083333B2 JP 2019239186 A JP2019239186 A JP 2019239186A JP 2019239186 A JP2019239186 A JP 2019239186A JP 7083333 B2 JP7083333 B2 JP 7083333B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- ball
- still image
- unit
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
撮像制御部21は、ユーザの指示を受信すると、撮像部15を制御し動画像データを撮像させる。なお、以下の説明では、スポーツとしてゴルフを例とする。また、ユーザは、ゴルフのプレーヤーの後方に画像処理装置10を置き、ショットの時点を含む前後の複数フレーム分の静止画像データを撮像させることとする。ここでプレーヤーの後方とは、プレーヤーの位置に対し、ボールを飛ばそうとする方向とは反対側をいう。そのため、撮像される画像データは例えば図3(a)に例示するように、プレーヤーが右利きの場合、フレーム内の中心よりやや左側にプレーヤーが位置する。また、フレームの中心の下辺近傍に当初ボールが位置し、ショットの後は、ボールがフレーム上方へ移動して撮像される状態となるものである。なお、ショット後も、ボールがフレームから出ないよう、画角等が調整されているものとする。
またこの検出処理部24の処理S6の処理において、k番目の差分画像データでボール候補となっている有意画素の塊が複数ある場合、検出処理部24は、次の処理をさらに行ってボール候補を絞り込んでもよい。ここではk>2とする。
次に、本発明の実施の形態に係る画像処理装置10の第2の態様について説明する。この第2の態様では、制御部11が機能的に図2に例示した構成を実現することは第1の態様と同様であるが、各部の動作において相違がある。
Bk-1_1→Bk_1→Bk+1_1
Bk-1_1→Bk_1→Bk+1_2
Bk-1_1→Bk_1→Bk+1_3
Bk-1_1→Bk_2→Bk+1_1
Bk-1_1→Bk_2→Bk+1_2
Bk-1_1→Bk_2→Bk+1_3
Bk-1_2→Bk_1→Bk+1_1
…
Bk-1_3→Bk_2→Bk+1_2
Bk-1_3→Bk_2→Bk+1_3
の18通りある。検出処理部24は、処理S13で、この順列を列挙する。この順列は、それぞれが、ボールの移動軌跡候補となる。
(1)時系列順に隣接する3つのボール位置候補Bi-1_a→Bi_b→Bi+1_cにおいて、Bi+1_bより後の時間のボール位置候補のY座標が、Bi_bより前の時間のボール位置候補のY座標より小さいとき、Bi_bのY座標の値からBi-1_aのY座標の値を引いた値ΔYiよりも、Bi+1_cのY座標の値からBi_bのY座標の値を引いた値ΔYi+1の値が小さい
(2)時系列順に隣接する3つのボール位置候補Bi-1_a→Bi_b→Bi+1_cにおいて、Bi+1_b、つまり、より後の時間のボール位置候補のY座標が、Bi_b、つまり、より前の時間のボール位置候補のY座標より大きいとき、Bi_bのY座標の値からBi-1_aのY座標の値を引いた値ΔYiよりも、Bi+1_cのY座標の値からBi_bのY座標の値を引いた値ΔYi+1の値が大きい
(3)時系列順に隣接する3つのボール位置候補Bi-1_a→Bi_b→Bi+1_cにおいて、Bi_bより後の時間のボール位置候補のX座標の値からBi-1_aのX座標の値を引いた値ΔXiと、Bi+1_cのX座標の値からBi_bのX座標の値を引いた値ΔXi+1の値とが正または負である同じ符号であって、X軸方向の変化量の差の絶対値である|ΔXi+1-ΔXi|ができるだけ小さい。
との条件とする。言い換えれば、(1)は減速している場合を示し、(2)は加速している場合を示す。
・Bk-1_1→Bk_1→Bk+1_1では、上記条件(1)の条件を満足しており、また(3)X軸方向の変化量の差の絶対値が比較的小さいので、移動軌跡として適切であると判断される。
・Bk-1_1→Bk_1→Bk+1_2では、上昇中であるのに、ΔYk+1がΔYkより大きい、つまり加速しているため、(1)の条件を満足せず、またX軸方向の変化量の符号が変わっているので、(3)の条件も満足しない。従って移動軌跡として適切でないと判断される。
・Bk-1_1→Bk_1→Bk+1_3も、Bk-1_1→Bk_1→Bk+1_2の例と同じく(3)の条件を満足しない。
…
・Bk-1_2→Bk_1→Bk+1_1は、(1)、(3)の条件を満足するが、X軸方向の変化量の差の絶対値が、Bk-1_1→Bk_1→Bk+1_1のものより大きいので、移動軌跡として適切でないと判断される。
…
上記のように各移動軌跡候補が移動軌跡として適切か否かが判断される。
前述の実施形態の画像処理装置10は、撮像して得られた動画像データの各フレームにおいてゴルフボールが撮像されている位置を推定し、当該推定した位置を結ぶ線分を描画して、ゴルフボールの飛翔軌跡を表示するものであった。しかし、本実施の形態の画像処理装置10は、これだけに限らず、ゴルフのショットに関する種々の情報を推定して表示するようにしてもよい。
本実施の形態のある態様では、画像処理装置10の制御部11は、表示情報生成部25の処理においてプレーヤーのゴルフクラブのヘッドが撮像されている範囲を、各静止画像データ中から検出する。このゴルフクラブのヘッド部分の検出は、YOLO;https://arxiv.org/abs/1506.02640等の一般的なオブジェクト検出ネットワークを利用する方法など、広く知られている方法を採用できるので、ここでの詳しい説明は省略する。また以下の例では前述の通り静止画像データの縦方向をY軸、横方向をX軸とする。
s=D・r/t
表示情報生成部25は、プレーヤーの撮像されている領域の検出結果を用い、当該領域の下辺を延長した線分と、ゴルフボールの飛翔の軌跡を表す直線であって、静止画像データのY軸正の方向に延長した線分との交差する位置を、ゴルフボールの初期位置として推定してもよい。
本実施の形態のある態様では、表示情報生成部25は、図9に例示するようにヘッドスピード推定部51と、初期位置推定部52と、仮飛距離演算部53と、仰角推定部54と、ミート率推定部55と、飛距離推定部56とを含んで構成される。
仰角推定部54は、図10に例示する処理により、ボールの打ち出し時の仰角を推定する。仰角推定部54は、図11に例示するように、プレーヤーの撮像されている領域Fの検出結果を用いて、当該領域Fの高さHを算出する。そして仰角推定部54は、当該領域Fの下辺から、当該領域Fの高さHに対して所定比率(図11では0.9とする)の位置にあるX軸に平行な仮想的な線分λを設定する(S21)。以下の処理では、この線分λが、撮像部15の高さにある、地面に平行な線分と仮定する。
(k-t0)・fps
と求めることができるため、
ミート率推定部55は、次のようにしてミート率を推定する。なお、以下の説明でも図12を参照する。また図12において、撮像部15の位置Cから鉛直下方に下ろした線と地面との交点をOとする。既に述べたように、この線分COの長さは0.9H(身長に対するカメラの高さの比率を0.9とする場合。異なる値とするときには、その値とする)である。
e=4・M・s
と推定する。
本実施の形態のもう一つの態様では、飛距離の推定を次のようにして行う。この態様では、表示情報生成部25は、図14に例示するようにヘッドスピード推定部61と、ミート率推定部62と、飛距離推定部63とを含んで構成される。ここでヘッドスピード推定部61は、既に述べた方法によりヘッドスピードsを推定する。
またミート率推定部62は、図15に例示するように、プレーヤーの撮像されている領域Fの左端から、この領域の幅の所定数倍、例えば5倍の幅を有する領域Uを確定し、X軸方向に当該領域Uを所定の横分割数に分ける。またミート率推定部62は、例えばプレーヤーの撮像されている領域Fの下辺から、当該領域Fの高さの例えば0.8倍の高さの位置にX軸に平行な第1の判定ラインDL1を設定する。さらにミート率推定部62は、領域Fの下辺から、当該領域Fの高さの例えば1.2倍の高さの位置にX軸に平行な第2の判定ラインDL2を設定…のように複数の判定ラインを設定し、領域UをY軸方向にも複数に分割する。
e′=4・M′・s
と推定する。
本発明の実施の形態によると、ゴルフのショット時の動画像を、プレーヤーの後ろ側から画像処理装置10の撮像部15で撮像すれば、当該撮像された動画像データに含まれる一連の静止画像データのフレームからゴルフボールの位置を検出し、動画像データの再生時にゴルフボールの移動軌跡を表す線分を重ね合わせて表示できる。
本実施の形態の画像処理装置10は、ゴルフ以外のスポーツにおいても利用できる。例えば野球やバッティングセンターなどでの打撃であれば、バッターの後方側、いわゆるバックネット裏から撮像した画像を用いることで、画像処理装置10は、ボールを検出し始めてからバッターが打撃を行うまでの時間と、バッターからマウンドまでの距離dである約18mの情報とを用いて、投球速度を推定する。
Claims (6)
- プレーヤーによるボールのショットを、前記ボールの打ち出し方向に実質的に平行な方向から撮像した一連のN個の静止画像データを含む動画像データを取得する手段と、
前記取得した動画像データに含まれる静止画像データのそれぞれからボールの候補となる画像部分の検出を試行する検出手段と、
各静止画像データについて、前記検出した画像部分と、当該静止画像データの前または後の少なくとも一方に撮像された静止画像データにおいて検出した前記画像部分とのそれぞれの位置の情報に基づき、ボールが撮像されている位置を特定するボール位置特定手段と、
前記特定されたボールの位置の情報を、所定の処理に供する処理手段と、
を含み、
前記ボール位置特定手段は、前記各静止画像データとして撮像された前記ボールの打ち出し方向に実質的に垂直な面内に座標系を設定し、いずれかの静止画像データ内の、前記検出した画像部分と、当該静止画像データの前または後の少なくとも一方に撮像された静止画像データにおいて検出した前記画像部分との、前記ボールの打ち出し方向に実質的に垂直な面内に設定した座標系の所定座標軸方向の変化量に基づいて、前記ボールが撮像されている位置を特定する画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記ボール位置特定手段は、少なくともi-1番目の静止画像データ(iは2以上、N-1以下の自然数)とi番目の静止画像データと、i+1番目の静止画像データと、のそれぞれから1つずつ、当該静止画像データ中で検出した前記画像部分を選択し、当該選択した各画像部分を結んで得られるボールの移動軌跡候補のうち、予め定めた条件に最も適合する移動軌跡候補上の各画像部分の位置を、それぞれボールが撮像されている位置として特定する画像処理装置。 - 請求項1または2に記載の画像処理装置であって、
前記ボール位置特定手段は、少なくともi-1番目の静止画像データとi番目の静止画像データと、i+1番目の静止画像データと、のそれぞれから1つずつ、当該静止画像データ中で検出した前記画像部分を選択して得られる画像部分の可能な順列のすべてについて、各順列に係る画像部分を結んで得られるボールの移動軌跡候補のうち、予め定めた条件に最も適合する移動軌跡候補上の各画像部分の位置を、それぞれボールが撮像されている位置として特定する画像処理装置。 - 請求項1から3のいずれか一項に記載の画像処理装置であって、
前記検出手段は、j+1番目(jは3以上N-2以下の自然数)の静止画像データからボールの検出を試行する際には、前記取得した動画像データに含まれるj番目以前の複数の静止画像データを平均化した平均画像と、j+1番目の静止画像データとの差分画像のうち、サイズに関する所定の条件を満足する画素塊を、j+1番目の静止画像データ内のボールの候補となる画像部分として検出する画像処理装置。 - コンピュータを用い、
取得手段が、プレーヤーによるボールのショットを、前記ボールの打ち出し方向に実質的に平行な方向から撮像した一連のN個の静止画像データを含む動画像データを取得し、
検出手段が、前記取得した動画像データに含まれる静止画像データのそれぞれからボールの候補となる画像部分の検出を試行し、
ボール位置特定手段が、各静止画像データについて、前記検出した画像部分と、当該静止画像データの前または後の少なくとも一方に撮像された静止画像データにおいて検出した前記画像部分とのそれぞれの位置の情報に基づき、ボールが撮像されている位置を特定し、
処理手段が、前記特定されたボールの位置の情報を、所定の処理に供する画像処理方法であって、
前記ボール位置特定手段は、前記各静止画像データとして撮像された前記ボールの打ち出し方向に実質的に垂直な面内に座標系を設定し、いずれかの静止画像データ内の、前記検出した画像部分と、当該静止画像データの前または後の少なくとも一方に撮像された静止画像データにおいて検出した前記画像部分との、前記ボールの打ち出し方向に実質的に垂直な面内に設定した座標系の所定座標軸方向の変化量に基づいて、前記ボールが撮像されている位置を特定する画像処理方法。 - コンピュータを、
プレーヤーによるボールのショットを、前記ボールの打ち出し方向に実質的に平行な方向から撮像した一連のN個の静止画像データを含む動画像データを取得する手段と、
前記取得した動画像データに含まれる静止画像データのそれぞれからボールの候補となる画像部分の検出を試行する検出手段と、
各静止画像データについて、前記検出した画像部分と、当該静止画像データの前または後の少なくとも一方に撮像された静止画像データにおいて検出した前記画像部分とのそれぞれの位置の情報に基づき、ボールが撮像されている位置を特定するボール位置特定手段と、
前記特定されたボールの位置の情報を、所定の処理に供する処理手段と、
として機能させ、
前記ボール位置特定手段として機能させる際は、コンピュータに、前記各静止画像データとして撮像された前記ボールの打ち出し方向に実質的に垂直な面内に座標系を設定させ、いずれかの静止画像データ内の、前記検出した画像部分と、当該静止画像データの前または後の少なくとも一方に撮像された静止画像データにおいて検出した前記画像部分との、前記ボールの打ち出し方向に実質的に垂直な面内に設定した座標系の所定座標軸方向の変化量に基づいて、前記ボールが撮像されている位置を特定させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019239186A JP7083333B2 (ja) | 2019-12-27 | 2019-12-27 | 画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019239186A JP7083333B2 (ja) | 2019-12-27 | 2019-12-27 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021108016A JP2021108016A (ja) | 2021-07-29 |
JP7083333B2 true JP7083333B2 (ja) | 2022-06-10 |
Family
ID=76968219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019239186A Active JP7083333B2 (ja) | 2019-12-27 | 2019-12-27 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7083333B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008219489A (ja) | 2007-03-05 | 2008-09-18 | Nippon Hoso Kyokai <Nhk> | 映像オブジェクトの軌跡画像合成装置およびそのプログラム |
WO2009074189A1 (en) | 2007-12-12 | 2009-06-18 | Rangetainment Gmbh | A golf diagnosis apparatus and a method of performing golf diagnosis |
CN107007994A (zh) | 2016-01-15 | 2017-08-04 | 精工爱普生株式会社 | 显示方法、挥击分析装置、挥击分析系统以及记录介质 |
US20190147219A1 (en) | 2017-11-16 | 2019-05-16 | Blast Motion Inc. | Method for estimating a 3d trajectory of a projectile from 2d camera images |
-
2019
- 2019-12-27 JP JP2019239186A patent/JP7083333B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008219489A (ja) | 2007-03-05 | 2008-09-18 | Nippon Hoso Kyokai <Nhk> | 映像オブジェクトの軌跡画像合成装置およびそのプログラム |
WO2009074189A1 (en) | 2007-12-12 | 2009-06-18 | Rangetainment Gmbh | A golf diagnosis apparatus and a method of performing golf diagnosis |
CN107007994A (zh) | 2016-01-15 | 2017-08-04 | 精工爱普生株式会社 | 显示方法、挥击分析装置、挥击分析系统以及记录介质 |
US20190147219A1 (en) | 2017-11-16 | 2019-05-16 | Blast Motion Inc. | Method for estimating a 3d trajectory of a projectile from 2d camera images |
Also Published As
Publication number | Publication date |
---|---|
JP2021108016A (ja) | 2021-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11998819B2 (en) | Virtual environment construction apparatus, video presentation apparatus, model learning apparatus, optimal depth decision apparatus, methods for the same, and program | |
CN106780620B (zh) | 一种乒乓球运动轨迹识别定位与跟踪系统及方法 | |
US9846805B2 (en) | Tracking of handheld sporting implements using computer vision | |
WO2010073432A1 (ja) | 画像処理装置および画像処理方法 | |
EP2707837A1 (en) | Method of analysing a video of sports motion | |
JP5595655B2 (ja) | 画像処理装置および画像処理方法 | |
CN111369629B (zh) | 一种基于挥拍击球动作双目视觉感知的回球轨迹预测方法 | |
CN109684919B (zh) | 一种基于机器视觉的羽毛球发球违例判别方法 | |
CN109101911A (zh) | 一种对足球比赛阵型变化及人员流动的可视分析方法 | |
JP2018078431A (ja) | オブジェクト追跡装置及びそのプログラム | |
JP7083332B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7198661B2 (ja) | オブジェクト追跡装置及びそのプログラム | |
JP5468773B2 (ja) | 画像処理装置および画像処理方法 | |
CN110377033B (zh) | 一种基于rgbd信息的小型足球机器人识别与追踪抓取方法 | |
JP7083333B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7083334B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
KR101703316B1 (ko) | 영상을 기반으로 속도를 측정하는 방법 및 장치 | |
CN113763432B (zh) | 基于图像清晰度与跟踪稳定性条件的目标检测跟踪方法 | |
CN111738093B (zh) | 一种基于梯度特征的冰壶球自动测速方法 | |
US20210322852A1 (en) | Determining trajectory of a ball from two-dimensional media-content using computer vision | |
Liwei | Research on classification and recognition of badminton batting action based on machine learning | |
Malawski | Real-time first person perspective tracking and feedback system for weapon practice support in fencing | |
Širmenis et al. | Tracking basketball shots–preliminary results | |
CN114612522B (zh) | 乒乓球运动参数检测方法、装置及乒乓球训练辅助系统 | |
WO2020115520A1 (en) | Ball tracking in sport events |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200828 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220531 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7083333 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |