JP4283145B2 - Golf swing measurement system - Google Patents
Golf swing measurement system Download PDFInfo
- Publication number
- JP4283145B2 JP4283145B2 JP2004090788A JP2004090788A JP4283145B2 JP 4283145 B2 JP4283145 B2 JP 4283145B2 JP 2004090788 A JP2004090788 A JP 2004090788A JP 2004090788 A JP2004090788 A JP 2004090788A JP 4283145 B2 JP4283145 B2 JP 4283145B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- shaft
- color
- golfer
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、ゴルフスウィング計測システムに関し、詳しくは、ゴルファーのスウィング時の関節等の動きを撮影された画像から効率良く自動抽出するものに関する。 The present invention relates to a golf swing measurement system, and more particularly to an apparatus that efficiently and automatically extracts a motion of a joint or the like of a golfer from a photographed image.
従来、ゴルファーの打撃時のスウィングを撮影し、打球の飛距離や軌道等の各種情報をコンピュータで自動的に算出してゴルファーに表示可能とする装置が各種提供されている。これら装置によりゴルファーは自己の飛球の良し悪しを検討することが可能となるが、肝心のフォームを改善するための有用な情報を提供することはあまりできない問題があった。 2. Description of the Related Art Conventionally, various devices have been provided that can capture a swing when a golfer is hit, and automatically calculate various information such as a flying distance and a trajectory of the hit ball and display it on a golfer. Although these devices allow golfers to examine the quality of their own flying balls, there is a problem that it is not possible to provide useful information for improving the essential form.
そこで、特開2003−117045号公報に開示されたスイングフォーム診断装置では、ゴルファーがスイングする画像を撮影してスイングフォームの診断のために重要な特定動作点の画像のみを抽出するようにしている。詳しくは、撮影された被験者の動画の中からスイング動作に関わるフレームを抽出し、各フレームと基準画像との差分画像における移動部分画像の解析結果に応じてスイング動作中の特定動作点を判定し、その特定動作点毎に対応するフレームを抽出して画像表示している。 Therefore, in the swing form diagnostic apparatus disclosed in Japanese Patent Application Laid-Open No. 2003-117045, an image of a golfer swinging is taken and only an image of a specific operating point important for swing form diagnosis is extracted. . Specifically, a frame related to the swing motion is extracted from the photographed subject's video, and a specific motion point during the swing motion is determined according to the analysis result of the moving partial image in the difference image between each frame and the reference image. The frame corresponding to each specific operating point is extracted and displayed as an image.
しかしながら、スウィング動作中の特定動作点に対応するフレームを抽出しても、その抽出画像をただ見るだけでは、ゴルファーはスウィング中の自己の体(関節など)の動きを具体的に提供してもらうことはできず、自己のフォームの何処が欠点で何を直すべきが分かり難い問題がある。 However, even if a frame corresponding to a specific operating point during the swing motion is extracted, the golfer will be specifically provided with the motion of his / her body (joint, etc.) during the swing simply by looking at the extracted image. I can't do it, and there are problems that I can't figure out what should be fixed in my form.
そこで、特許第2794018号で開示された動作診断装置では、ゴルフクラブヘッドおよび被診断者の体に複数の動作ポイントを設け、スウィング動画像中の動作ポイントの座標を取得してスウィング診断を行っている。しかしながら、前記装置では被診断者の体にマーク等の動作ポイントを取り付けなければ画像上での体の動きを把握することができず、被診断者であるユーザには診断を受ける準備作業に煩わしさを与えてしまう欠点がある。また、スウィング動画像の全コマについて多数の動作ポイントの座標を抽出する計算を行わねばならず、計算量が膨大になると共に動作ポイントの位置座標の誤認率も増大する問題がある。
本発明は、前記問題に鑑みてなされたもので、マーク等をゴルファーに付さずに画像上における体の注目点の抽出を行うと共に、計算時間および誤認率の低減を図ることを課題としている。 The present invention has been made in view of the above problems, and it is an object of the present invention to extract the attention point of the body on the image without attaching a mark or the like to the golfer, and to reduce the calculation time and the misidentification rate. .
前記課題を解決するため、本発明は、ゴルフクラブを把持してスウィングするゴルファーを撮影したカラー動画像を取り込むコンピュータを備え、
前記コンピュータは、前記カラー動画像を構成する複数の静止画像から、アドレス、テイクバックシャフト8時、テイクバックシャフト9時、テイクバック非利き腕水平、トップ、ダウンスウィング非利き腕水平、ダウンスウィングシャフト9時、インパクト、フォローシャフト3時、フィニッシュから選択される少なくとも1つ以上のスウィング姿勢の画像をチェックポイント画像として抽出し、
前記チェックポイント画像上において、上記ゴルファーの肌の色と同一色であるとみなすことのできる許容範囲である色範囲を設定し、前記色範囲内にあるピクセルを前記ゴルファーの肘、顔あるいは手首を含む肌色領域とみなして肌抽出を行い、
この抽出された肌色領域の輪郭を抽出し、該輪郭のうち曲率が−10°〜10°の範囲内のピクセルが所定の個数以上連続している箇所を直線部とし、この直線部を用いて前記ゴルファーの肘、首あるいは手首からなる体の注目点の位置座標を特定していることを特徴とするゴルフスウィング計測システムを提供している。
In order to solve the above problems, the present invention includes a computer that captures a color moving image obtained by photographing a golfer who holds a golf club and swings.
From the plurality of still images constituting the color moving image , the computer calculates the address, takeback shaft at 8 o'clock, takeback shaft at 9 o'clock, takeback non-dominant arm horizontal, top, down swing non-dominant arm horizontal, down swing shaft at 9 o'clock. , Impact, follow
On said check point image, allowed to set the color range in the range, elbow before Symbol the golfer a pixel within the color range that can be regarded as the same color as the color of the skin of the golfer, the face or the wrist Extract the skin as a skin color area including
A contour of the extracted skin color region is extracted, and a portion where a predetermined number or more of pixels having a curvature within a range of −10 ° to 10 ° is continuous is defined as a straight portion, and the straight portion is used. There is provided a golf swing measurement system characterized by specifying position coordinates of a point of interest of a body consisting of the golfer's elbow, neck or wrist .
前記構成とすると、前記カラー動画像を構成する静止画像上でゴルファーの体の注目点を認識する際にゴルファーにマーク等が付されてなくても、ゴルファーの体の肌色領域を抽出することで、画像上におけるゴルファーの体の注目点の位置座標を導き出すことができる。したがって、スイング計測を行う被診断者であるゴルファーは計測用器具等を装着するなどの手間を省くことができ利便性が向上する。 With the above configuration, by recognizing the golfer's body attention point on the still image constituting the color moving image, even if the golfer's body is not marked, the skin color region of the golfer's body is extracted. The position coordinates of the attention point of the golfer's body on the image can be derived. Therefore, a golfer who is a person to be diagnosed who performs swing measurement can save the trouble of wearing a measuring instrument and the like, and convenience is improved.
前記肌抽出される肌色領域は前記ゴルファーの肘、顔あるいは手首を含み、前記注目点として前記ゴルファーの肘、首あるいは手首の位置座標を取得している。
即ち、ゴルファーが半袖上着を着用した場合に肌が露出する肘や首や手首を前記注目点とすることで、上記した肌抽出により位置座標を取得することができる。
Skin color area to be the skin extract includes elbows, face or wrists of the golfer, elbows of the golfer as the point of interest, that have acquired the position coordinates of the neck or wrist.
That is, when the golfer wears a short-sleeve jacket, the position coordinates can be acquired by the above-described skin extraction by setting the elbow, neck, and wrist from which the skin is exposed as the attention point.
前記静止画像上に前記肌色領域が存在すると予測される領域である探索範囲を設定し、この探索範囲内で前記肌抽出の処理を行う。 A search range that is an area where the skin color area is predicted to exist on the still image is set, and the skin extraction process is performed within the search range.
前記構成とすると、前記肌抽出を行うために前記色範囲内であるか否かを判断する領域を全画面とせずに前記探索範囲内だけで判断しているので、ゴルファーの体とは別の場所に肌色と近似した色が静止画像中に含まれていても排除して誤認識を防止することができると共に計算時間も短縮化することができる。かつ、静止画像の探索範囲内のピクセルについて前記背景画像との差分処理を行って背景画像を排除すれば、探索範囲内の背景画像中に肌色と近似した色が存在しても排除してさらに誤認識を防止することができる。 With the above configuration, the area for determining whether or not it is within the color range for performing the skin extraction is determined only within the search range instead of the full screen. Even if a color similar to the skin color is included in the place, it can be eliminated to prevent misrecognition, and the calculation time can be shortened. In addition , if the background image is excluded by performing a difference process on the pixels in the search range of the still image with the background image, even if a color similar to the skin color exists in the background image in the search range, the pixel is further excluded. Misrecognition can be prevented.
前記肌色領域の輪郭を抽出し、この輪郭上の所定のピクセルを前記注目点の位置座標として特定している。
即ち、輪郭上のピクセルを注目点の位置座標の候補とすることで注目点の特定が行いやすくなる。
The contour of the skin color region is extracted, and a predetermined pixel on the contour is specified as the position coordinate of the attention point.
That is, the point of interest can be easily identified by using the pixel on the contour as a candidate for the position coordinate of the point of interest.
前記肌色領域の輪郭を抽出し、この輪郭のうち曲率が−10°〜10°の範囲内のピクセルが所定の個数以上連続している箇所を直線部とし、この直線部を用いて上記注目点の位置座標を特定している。 A contour of the skin color region is extracted, and a portion where a predetermined number or more of the pixels having a curvature within a range of −10 ° to 10 ° are continuous is defined as a straight portion, and the attention point is obtained using the straight portion. The position coordinates of are specified.
前記構成とすると、例えば、あまり屈曲されてない関節の位置座標を抽出するのに有効である。なお、直線部の判定基準となる前記曲率の数値範囲は−5°〜5°とすれば、抽出精度上より好ましい。 The above configuration is effective, for example, for extracting the position coordinates of a joint that is not so bent. In addition, it is more preferable in terms of extraction accuracy if the numerical value range of the curvature, which is a criterion for determining the straight portion, is -5 ° to 5 °.
前記のように、前記カラー動画像を構成する複数の静止画像から、アドレス、テイクバックシャフト8時、テイクバックシャフト9時、テイクバック非利き腕水平、トップ、ダウンスウィング非利き腕水平、ダウンスウィングシャフト9時、インパクト、フォローシャフト3時、フィニッシュから選択される少なくとも1つ以上のスウィング姿勢の画像をチェックポイント画像として抽出し、該チェックポイント画像上において前記肌色領域の抽出処理を行って前記注目点の位置座標を取得している。
As described above , from the plurality of still images constituting the color moving image, the address,
前記構成とすると、ゴルフスウィング診断に有用な静止画像(チェックポイント画像)を選択的に抽出した上で、ゴルファーの注目点の位置座標を取得する手順としているので、撮影されたスウィング動画像の全コマ(静止画像)についてゴルファーの注目点の位置座標を取得する必要が無くなり計算コストを低減できる。また、計算対象とする静止画像をチェックポイント画像だけに絞ることで、注目点の誤認率の低減にも貢献する。 With the above-described configuration, a procedure for acquiring the position coordinates of the golfer's attention point after selectively extracting a still image (checkpoint image) useful for golf swing diagnosis is used. It is not necessary to acquire the position coordinates of the golfer's attention point for the frame (still image), and the calculation cost can be reduced. In addition, by limiting the still image to be calculated to only the checkpoint image, it contributes to a reduction in the misidentification rate of the attention point.
以上の説明より明らかなように、本発明によれば、静止画像上でゴルファーの体の肌色領域を抽出することで、画像上におけるゴルファーの体の注目点の位置座標を導き出すことができる。よって、スイング計測を行う被診断者であるゴルファーはマークや計測用器具等を装着する必要がなく利便性が大幅に向上する。 As is clear from the above description, according to the present invention, the position coordinates of the attention point of the golfer's body on the image can be derived by extracting the skin color region of the golfer's body on the still image. Therefore, a golfer who is a subject to be subjected to swing measurement does not need to wear a mark, a measuring instrument, or the like, and convenience is greatly improved.
本発明の実施形態を図面を参照して説明する。
図1はゴルフスウィング計測システムの概略図を示し、コンピュータ16と、該コンピュータ16に接続された表示手段であるモニター17と、コンピュータ16に接続された入力手段であるキーボード18およびマウス19と、コンピュータ16に接続されゴルファー11の正面位置および飛球線後方(側面)位置に設置されたカラーCCDカメラ14、15とを備えている。
Embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a schematic diagram of a golf swing measurement system. A
被診断者となるゴルファー11(右利きとする)は半袖上着12を着用している。
ゴルファー11の把持するゴルフクラブ13のシャフト13aには間隔をあけて3つの色付マークM1、M2、M3が取り付けられている。色付マークM1〜M3は、グリップ側からヘッド側にかけて等間隔に取り付けており、グリップに最も近い色付マークM1は黄色とし、真ん中に配置された色付マークM2はピンク色とし、ヘッド13b側に配置された色付マークM3は黄色として隣り合うマークが異なる色となるようにしている。本実施形態では、各色付マークM1〜M3の間の距離は250mmとすると共に、グリップ端と色付マークM1との距離は250mmとする。
A golfer 11 (assumed to be right-handed) who is a person to be diagnosed wears a short-sleeved
Three colored marks M1, M2, and M3 are attached to the
2つのカラーCCDカメラ14、15はコンピュータ16で撮影タイミングを同期させており、高速度デジタルCCDカメラを用いる場合には、1秒間あたりのコマ数が30コマ以上で、好ましくは60コマ以上、シャッタースピードは1/500s、好ましくは1/1000s以下とする。
The two
スウィングを撮影する空間(縦3×横3×高さ2m)の明るさはできるだけ明るい空間であることが好ましいが、極端に明るい箇所が生じるとハレーションが生じる可能性があるので、3000ルクスを超えない範囲内で均一の明るさをスウィング環境として設定することが好ましい。また、スウィングを撮影する空間の背景20は、ゴルファー11や色付マークM1〜M3を抽出しやすいように、極力、異なる色とすることが好ましい。
The space for shooting the swing (length 3 x width 3 x height 2m) is preferably as bright as possible. However, if an extremely bright spot occurs, halation may occur. It is preferable to set a uniform brightness as a swing environment within a range that does not exist. In addition, it is preferable that the
コンピュータ16は、カラーCCDカメラ14、15とLANケーブルやIEEE1394やCameraLink規格等を用いてオンライン接続されており、カラーCCDカメラ14、15で撮影されたスウィング動画像(複数の静止画像)をコンピュータ16のハードディスクやコンピュータ16上のメモリやボード上のメモリに保存している。また、コンピュータ16には、後述するように、静止画像の各ピクセルについて色情報に関する特定の閾値で二値化処理を行って閾値を満たすピクセルを色付マークM1〜M3の位置として座標データを取得する手段と、色付マークM1〜M3の座標データを基にしてシャフト13aの動きを認識する手段と、ゴルファーの腕の動きを認識する手段と、シャフト13aの動作データに基づいてスウィング計測に必要な静止画像を選択的に抽出する手段とを備えたプログラムを内蔵している。
The
次に、ゴルファー11の体の注目点の位置座標の取得について説明する。
先ず、カラーCCDカメラ14、15でゴルファー11が存在しない状態の背景20のみを撮影した背景画像を読み込み、また、カラーCCDカメラ14、15からスウィング動画像の各コマ毎の静止画像をコンピュータ16に取り込んでハードディスクあるいはコンピュータ16内のメモリあるいはボード上のメモリに保存する。
Next, the acquisition of the position coordinates of the attention point of the body of the
First, a background image obtained by photographing only the
次に、スウィング動画像を構成する多数の静止画像からスウィング診断に有用となるスウィング姿勢であるアドレス画像、テイクバックシャフト8時画像、テイクバックシャフト9時画像、テイクバック左腕水平画像、トップ画像、ダウンスウィング左腕水平画像、ダウンスウィングシャフト9時画像、インパクト前画像、インパクト画像、インパクト後画像、フォローシャフト3時画像、フィニッシュ画像の各チェックポイント画像を自動抽出する。
前記のようにスウィング動画像の多数の静止画像から前記チェックポイント画像を抽出することで、後工程において肌抽出処理等を用いてゴルファー11の体の注目点の位置座標を抽出する計算を前記チェックポイント画像についてのみ行えばよい利点がある。
Next, an address image which is a swing posture useful for swing diagnosis from a large number of still images constituting a swing moving image, an image at the
By extracting the checkpoint image from a large number of still images of the swing moving image as described above, the calculation for extracting the position coordinates of the attention point of the body of the
以下、各チェックポイント画像の自動抽出方法について分説する。
(アドレス画像)
先ず、アドレス画像の抽出方法について説明する。なお、アドレス画像とは、ゴルファー11がアドレス姿勢をしている状態の静止画像である。
スウィング動画像の撮影をアドレス状態から開始した場合は、初期画像をアドレス画像とする。しかし、インパクト時の打球音やインパクトセンサをトリガ信号として取得し、その前後ある一定時間内の動画像を取得した場合には、例えば、初期画像がワッグル(アドレス前に予備動作としてヘッドを前後に揺らす動作)等を含むことで、初期画像が必ずしもアドレス画像とならない。そこで、この場合には、各フレーム(静止画像)間で差分処理を実施し、差分が最小となるフレームがゴルファー11が静止している状態と考えてアドレス画像とみなす。
Hereinafter, a method for automatically extracting each checkpoint image will be described.
(Address image)
First, an address image extraction method will be described. The address image is a still image in a state where the
When shooting of the swing moving image is started from the address state, the initial image is set as the address image. However, when a hitting sound at impact or an impact sensor is acquired as a trigger signal and a moving image within a certain time is acquired before and after that, for example, the initial image is waggle (the head is moved back and forth as a preliminary operation before addressing). The initial image is not necessarily an address image. Therefore, in this case, difference processing is performed between the frames (still images), and the frame with the smallest difference is considered as an address image, assuming that the
次に、テイクバックシャフト9時画像、トップ画像、ダウンスウィングシャフト9時画像、インパクト前画像、インパクト画像、インパクト後画像、フォローシャフト3時画像、フィニッシュ画像の抽出方法について説明する。
Next, a method for extracting the
ここで、テイクバックシャフト9時画像とは、テイクバック時にシャフトを時計の針に見立てた場合に9時位置にある状態の静止画像である。トップ画像とは、テイクバックからダウンスウィングに移行するトップポジションの状態の静止画像である。ダウンスウィングシャフト9時画像とは、ダウンスウィング時にシャフトを時計の針に見立てた場合に9時位置にある状態の静止画像である。インパクト前画像とは、インパクト直前の状態の静止画像である。インパクト画像とは、ゴルフクラブのヘッドがボールと衝突した瞬間の静止画像である。インパクト後画像とは、インパクト直後の状態の静止画像である。フォローシャフト3時画像とは、フォロースルー時にシャフトを時計の針に見立てた場合に3時位置にある状態の静止画像である。フィニッシュ画像とは、スウィングが終了しゴルフクラブの動きが停止した状態の静止画像である。
Here, the take-
これらチェックポイント画像は、基本的には各フレームにおける色付マークM1〜M3の座標を追跡することで判定されるので、先ず、色付マークM1〜M3の自動追尾方法について説明する。 Since these checkpoint images are basically determined by tracking the coordinates of the colored marks M1 to M3 in each frame, first, an automatic tracking method for the colored marks M1 to M3 will be described.
アドレス画像において色付マークM1〜M3を自動認識するための二値化処理を行う。なお、二値化処理の対象は本実施形態ではフレーム全体としているが、ゴルファー11が画像中心付近に撮影されるように限定しておいた場合には、図2に示すように、ゴルフシャフト13aが存在すると考えられる領域Sのみで二値化処理してもよい。なお、領域Sの設定は具体的には、画像の幅をW、高さをHとすると、1/3W〜2/3Wの範囲を領域Sの幅とすると共に、1/2H〜4/5Hの範囲を領域Sの高さとしている。
二値化処理の方法としては、RGB値やYIQ値を用いてもよいが、本実施形態では色付マークM1〜M3の色を最も認識しやすい色相・彩度・明度を利用している。具体的には、フレーム上の各ピクセル毎のRGB値を取得し、
As a binarization processing method, RGB values or YIQ values may be used, but in the present embodiment, hue, saturation, and brightness that make it easy to recognize the colors of the colored marks M1 to M3 are used. Specifically, the RGB value for each pixel on the frame is acquired,
色相θは、以下の数式3および数式4で算出される。
彩度Sは、以下の数式5で算出される。
明度Vは、以下の数式6で算出される。
前記数式3〜6で算出されたピクセルの色相、彩度および明度の値(ピクセル色情報)が所定の条件(基準色情報)を満たさないピクセルは0とし、該条件を満たすピクセルは色付マークM1〜M3と同一の色であるとみなして1とする二値化処理を行い、1のピクセルを順にラベリング処理する。
ここで、色相、彩度および明度の条件としては、例えば、黄色の色付マークM1、M3であれば色相θ=30〜60°、彩度S≧0.5、明度V≧100という閾値を設定しており、ピンク色の色付マークM2であれば色相θ=320°〜360°または0°〜10°、彩度S=0.3〜0.6、明度V≧80という閾値を設定することにより該条件を満たすピクセルをマークと同色とみなしている。
Pixels whose hue, saturation, and lightness values (pixel color information) calculated by
Here, as conditions for hue, saturation, and lightness, for example, for yellow colored marks M1 and M3, threshold values of hue θ = 30 to 60 °, saturation S ≧ 0.5, and lightness V ≧ 100 are set. In the case of the pink colored mark M2, the threshold values of hue θ = 320 ° to 360 ° or 0 ° to 10 °, saturation S = 0.3 to 0.6, and lightness V ≧ 80 are set. As a result, the pixel satisfying the condition is regarded as the same color as the mark.
ここで、例えばピンク色の色付マークM2は現実には1つしかないが、画像中に関係のないピンク色が存在した場合には2つ以上の領域が抽出される恐れがある。そのような場合を考慮して、予めマークの面積範囲を設定しておき、その設定範囲外の面積を有する領域は色付マークM2ではないと判断し、設定範囲内の面積を有する領域を色付マークM2であると認識する。本実施形態では色付マークM1〜M3として認識する面積範囲は5〜60若しくは5〜200ピクセルとしている。 Here, for example, there is actually only one pink colored mark M2, but if there is an unrelated pink color in the image, two or more regions may be extracted. In consideration of such a case, an area range of the mark is set in advance, it is determined that the area having an area outside the setting range is not the colored mark M2, and the area having the area within the setting range is colored. It is recognized that the mark is M2. In this embodiment, the area range recognized as the colored marks M1 to M3 is 5 to 60 or 5 to 200 pixels.
前記のようにして色付マークM1〜M3と認識したピクセルを各マークM1〜M3のラベリングにより1、2、3とした場合、各数字のピクセルからマーク色情報と重心座標を得る。ここで、マーク色情報とは、領域内の各ピクセルの平均色と、各ピクセルのRGBの最大値・最小値と、その変動幅を含む情報のことである。
以上のような処理を行うことで、ゴルフクラブ13のシャフト13aに付された色付マークM1〜M3を精度良く自動抽出することができる。
When the pixels recognized as the colored marks M1 to M3 as described above are set to 1, 2, and 3 by labeling the marks M1 to M3, the mark color information and the barycentric coordinates are obtained from the pixels of the respective numbers. Here, the mark color information is information including the average color of each pixel in the region, the maximum / minimum RGB values of each pixel, and the fluctuation range thereof.
By performing the processing as described above, the colored marks M1 to M3 attached to the
次に、アドレス画像で自動抽出された色付マークM1〜M3をアドレス画像取得後の2、3枚目の画像について自動追尾する処理を行う。
図3に示すように、色付マークM1〜M3には、色付マークM1〜M3を中心として四角形の探索範囲S1〜S3を設定する。ここで、探索範囲S1〜S3とは、色付マークM1〜M3の検出処理を行う計算対象となる画像上の範囲のことを言う。探索範囲S1〜S3の概念を導入すれば、画像上の探索範囲S1〜S3外に色付マークM1〜M3と色が近似している箇所があっても、色付マークM1〜M3の検出処理を探索範囲S1〜S3内しか行わないため誤認識が防止できると共に、フレーム内の全ピクセルを処理対象とする場合に比べ計算時間も大幅に短縮することが可能となる。本実施形態では、探索範囲S1〜S3は色付マークM1〜M3を中心としてデフォルトで縦横(YX)範囲を10×10ピクセルとしている。なお、画像上では横方向をX軸、縦方向をY軸としていると共に、画像上の右向きがX座標の正方向、下向きがY座標の正方向としている。また、前記自動追尾中の探索範囲S1〜S3の配置決定は、アドレス画像取得後の2、3枚目の画像においてはシャフト13aは殆ど動かないので、1つ前の時刻の画像で自動認識した色付マークM1〜M3を中心位置として設定している。
Next, a process for automatically tracking the colored marks M1 to M3 automatically extracted from the address image for the second and third images after the acquisition of the address image is performed.
As shown in FIG. 3, rectangular search ranges S1 to S3 are set for the colored marks M1 to M3 with the colored marks M1 to M3 as the center. Here, the search ranges S1 to S3 refer to ranges on the image to be calculated for performing the detection processing of the colored marks M1 to M3. If the concept of the search range S1 to S3 is introduced, the detection process of the colored marks M1 to M3 is performed even if there is a place where the color is similar to the colored marks M1 to M3 outside the search range S1 to S3 on the image. Is performed only in the search range S1 to S3, so that misrecognition can be prevented and the calculation time can be greatly shortened compared to the case where all pixels in the frame are processed. In the present embodiment, the search ranges S1 to S3 have a vertical and horizontal (YX) range of 10 × 10 pixels by default with the colored marks M1 to M3 as the center. In the image, the horizontal direction is the X axis and the vertical direction is the Y axis, the right direction on the image is the positive direction of the X coordinate, and the downward direction is the positive direction of the Y coordinate. In addition, the determination of the arrangement of the search ranges S1 to S3 during the automatic tracking is automatically recognized from the image at the previous time because the
次いで、色範囲を設定する。
色範囲とは、色付マークM1〜M3を認識する際に、画像上の対象ピクセルの色情報が色付マークM1〜M3の色(基準色情報)と同一であるとみなす誤差の許容範囲をいい、本実施形態では、上述のアドレス画像で取得されたマーク色情報のR(赤)G(緑)B(青)のそれぞれについて平均値を中心として最大最小幅の半分の数値範囲を色範囲として設定している。
Next, a color range is set.
The color range is an allowable range of error that the color information of the target pixel on the image is considered to be the same as the color (reference color information) of the colored marks M1 to M3 when recognizing the colored marks M1 to M3. In the present embodiment, for each of R (red), G (green), and B (blue) of the mark color information acquired from the above-described address image, a numerical range that is half of the maximum and minimum width centered on the average value is used as the color range It is set as.
以下の自動追尾処理は、スウィング中の移動速度の遅いグリップ近くに配された色付マークM1から順にM2、M3と追尾していくこととする。
まず、探索範囲S1内の差分ピクセルのRGBそれぞれについて前記色範囲内であるか否かを判定し、色範囲内であるピクセルを色付マークM1を表示するピクセルとみなし、その色抽出されたピクセル群の重心位置を取得する。もし、この色範囲を用いた方法により追尾できない場合には、色情報(色相、彩度、明度)を利用して色抽出を行い追尾してもよい。これらの処理を各色付マークM1〜M3の探索範囲S1〜S3について行う。
もし、探索範囲内で複数のマーク候補領域が抽出された時には、色付マークM1について探索範囲S1内で背景画像との差分処理を行う。これにより、探索範囲S1内で背景画像が取り除かれ、後工程での色付マークM1の認識の際に、背景画像等に色付マークM1と近似した色が存在しても誤認しなくなる。
In the following automatic tracking processing, tracking is performed sequentially with M2 and M3 from the colored mark M1 arranged near the grip having a slow moving speed during the swing.
First, it is determined whether or not each of the difference pixels RGB within the search range S1 is within the color range, and the pixel within the color range is regarded as a pixel displaying the colored mark M1, and the color extracted pixel Get the center of gravity position of the group. If tracking cannot be performed by a method using this color range, color extraction may be performed using color information (hue, saturation, brightness). These processes are performed for the search ranges S1 to S3 of the colored marks M1 to M3.
If a plurality of mark candidate areas are extracted within the search range, the difference between the colored mark M1 and the background image is performed within the search range S1. As a result, the background image is removed within the search range S1, and even when a color similar to the colored mark M1 exists in the background image or the like when the colored mark M1 is recognized in a later process, there is no misidentification.
次に、アドレス画像から4枚目以降のフレームにおける色付マークM1〜M3の探索範囲S1〜S3の中心位置の設定方法について説明する。先ず、最もグリップに近い色付マークM1の場合については、例えば、4枚目のフレームに関しては、1枚目(アドレス)−2枚目間の移動ベクトル量V1と、2枚目−3枚目間の移動ベクトル量V2とを求めて、その増加量(V2−V1)を考慮して3枚目−4枚目間の移動ベクトル量{V2+(V2−V1)}を予測する。1つ前の時刻の探索範囲S1中心位置からその移動ベクトル量{V2+(V2−V1)}だけオフセット移動させた位置を現画像(4枚目)の探索範囲S2の中心として設定している。(5枚目以降のフレームについても同様の手順) Next, a method for setting the center positions of the search ranges S1 to S3 of the colored marks M1 to M3 in the fourth and subsequent frames from the address image will be described. First, in the case of the colored mark M1 closest to the grip, for example, with respect to the fourth frame, the movement vector amount V1 between the first (address) and second sheets and the second and third sheets. The movement vector amount V2 is obtained, and the movement vector amount {V2 + (V2-V1)} between the third and fourth sheets is predicted in consideration of the increase amount (V2-V1). The position shifted by the movement vector amount {V2 + (V2−V1)} from the center position of the search range S1 at the previous time is set as the center of the search range S2 of the current image (fourth image). (Same procedure for the fifth and subsequent frames)
色付マークM2、M3の探索範囲S2、S3の中心位置については、例えば4枚目のフレームに関しては、前記で位置が決定した色付マークM1を利用して求めた移動ベクトル量{V2+(V2−V1)}だけ1つ前の時刻の探索範囲S2、S3中心位置からオフセットさせると共に、1枚目−2枚目間のシャフト角度D1と、2枚目−3枚目間のシャフト角度D2とを求めて、その増加量(D2−D1)を考慮して3枚目−4枚目間のシャフト角度{D2+(D2−D1)}を予測し、4枚目のフレームの色付マークM1を回転支点として角度{D2+(D2−D1)}だけ回転させる。(5枚目以降のフレームについても同様の手順)
このように、オフセット移動と回転移動とを組み合せて探索範囲S2、S3の中心位置を決定することで、ダウンスウィングのようなシャフト13aの移動が速い場合でも、シャフト位置をかなり正確に予測することができ、探索範囲S2、S3の面積を追尾中に増加させる必要がなくなる。なお、図4に示すように、探索範囲S2、S3の面積は、20×20ピクセルとしている。
もし、探索範囲S1内で複数のマーク候補領域が抽出された時には、色付マークM1について探索範囲内で背景画像との差分処理を行う。これにより、探索範囲S1内で背景画像が取り除かれ、後工程での色付マークM1の認識の際に、背景画像等に色付マークM1と近似した色が存在しても誤認しなくなる。
With respect to the center position of the search ranges S2 and S3 of the colored marks M2 and M3, for example, for the fourth frame, the movement vector amount {V2 + (V2) obtained using the colored mark M1 whose position has been determined above. −V1)} is offset from the center position of the search ranges S2 and S3 of the previous time, and the shaft angle D1 between the first and second sheets and the shaft angle D2 between the second and third sheets The shaft angle {D2 + (D2-D1)} between the third and fourth sheets is predicted in consideration of the increase amount (D2-D1), and the colored mark M1 of the fourth frame is determined. Rotate by an angle {D2 + (D2-D1)} as a rotation fulcrum. (Same procedure for the fifth and subsequent frames)
Thus, by determining the center position of the search ranges S2 and S3 by combining the offset movement and the rotational movement, the shaft position can be predicted fairly accurately even when the movement of the
If a plurality of candidate mark areas are extracted in the search range S1, the difference between the colored mark M1 and the background image is performed in the search range. As a result, the background image is removed within the search range S1, and even when a color similar to the colored mark M1 exists in the background image or the like when the colored mark M1 is recognized in a later process, there is no misidentification.
前記方法によっても色付マークM1〜M3を追尾できなかった場合は、アドレス画像で色付マークM1〜M3を自動抽出した方法と同様にして再二値化処理を実施する。即ち、アドレス画像で決定した色範囲で色付マークM1〜M3が発見できない主な理由は、アドレス画像に比べて暗い領域に存在する色付マークM1〜M3を追尾しようとすることが考えられるため、色付マークM1〜M3の彩度と明度の閾値を小さくする変更をして二値化処理を再実施することとする。 If the colored marks M1 to M3 cannot be tracked even by the above method, the rebinarization process is performed in the same manner as the method of automatically extracting the colored marks M1 to M3 from the address image. In other words, the main reason why the colored marks M1 to M3 cannot be found in the color range determined in the address image is that the colored marks M1 to M3 existing in a darker area than the address image may be tracked. The binarization process is performed again by changing the saturation and brightness thresholds of the colored marks M1 to M3.
これでも追尾できなかった場合には、3つの色付マークM1〜M3のうち2つのマークが認識できている場合は該2つのマークに対する位置関係から残りの1つのマークを位置を算出することとする。あるいは、前記方法によってオフセットした探索範囲の中心を現在の時刻のマーク位置と仮にみなしてもよい。
以上のようにして、アドレスからフィニッシュまでのスウィング動作における色付マークM1〜M3の位置座標データが取得される。
If tracking is still impossible, if two of the three colored marks M1 to M3 are recognized, the position of the remaining one mark is calculated from the positional relationship with respect to the two marks. To do. Alternatively, the center of the search range offset by the above method may be considered temporarily as the mark position at the current time.
As described above, the position coordinate data of the colored marks M1 to M3 in the swing operation from the address to the finish is acquired.
次に、前記取得されたスウィング中の色付マークM1〜M3の座標データに基づいて各チェックポイント画像を抽出する。
(テイクバックシャフト9時画像)
テイクバックシャフト9時画像は、色付マークM1〜M3のうち2つを用いてシャフト13aの角度を算出し、シャフト13aが水平(90°)に最も近い画像を選択することで抽出する。あるいは、色付マークM1〜M3のうち1つを用いる場合は、マークの移動ベクトルのX方向成分が極小になる画像を選択することで抽出してもよい。なお、ここでいう角度はシャフト13aが6時の状態を0°として時計回りを正とする。
Next, each checkpoint image is extracted based on the acquired coordinate data of the colored marks M1 to M3 in the swing.
(
The take-
(トップ画像)
トップ画像は、各色付マークM1〜M3のうち2つを用いてシャフト13aの角度を算出し、シャフト13aの角度が最も大きくなった画像を選択することで抽出する。あるいは、色付マークM1〜M3のうち1つを用いる場合は、マークの移動ベクトルのX方向成分およびY方向成分が極小になる画像を選択することで抽出してもよい。
(Top image)
The top image is extracted by calculating the angle of the
(ダウンスウィングシャフト9時画像)
ダウンスウイングシャフト9時画像は、色付マークM1〜M3のうち2つを用いてシャフト13aの角度を算出し、シャフト13aが水平(90°)に最も近く、かつ、時刻がトップ画像よりも後である画像を選択することで抽出する。あるいは、色付マークM1〜M3のうち1つを用いる場合は、マークの移動ベクトルのX成分が極小になり、かつ、時刻がトップ画像よりも後である画像を選択することで抽出してもよい。
(Image of
For the 9 o'clock image of the downswing shaft, the angle of the
(インパクト画像)
インパクト画像は、色付マークM1〜M3のうち2つを用いてシャフト13aの角度を算出し、シャフト13aの角度が0°に最も近くなった画像を選択することで抽出する。あるいは、色付マークM1〜M3のうち1つを用いる場合は、マークの移動ベクトルのY方向成分が極小になる画像を選択することで抽出してもよい。また、インパクト画像は外部トリガー信号を用いて画像抽出を行ったり、インパクト時のヘッドとボールの打球音を利用してインパクト画像を抽出してもよい。
(Impact image)
The impact image is extracted by calculating the angle of the
(インパクト前画像)
インパクト前画像は、前記抽出されたインパクト画像より予め設定された所定時間(あるいは所定フレーム数)を巻き戻して得られる画像を選択することで抽出する。
(Image before impact)
The pre-impact image is extracted by selecting an image obtained by rewinding a predetermined time (or a predetermined number of frames) set in advance from the extracted impact image.
(インパクト後画像)
インパクト後画像は、前記抽出されたインパクト画像より予め設定された所定時間(あるいは所定フレーム数)を進めて得られる画像を選択することで抽出する。
(Image after impact)
The post-impact image is extracted by selecting an image obtained by advancing a predetermined time (or a predetermined number of frames) set in advance from the extracted impact image.
(フォローシャフト3時画像)
フォローシャフト3時画像は、色付マークM1〜M3のうち2つを用いてシャフト13aの角度を算出し、シャフト13aの角度が−90°に最も近くなった画像を選択することで抽出する。あるいは、色付マークM1〜M3のうち1つを用いる場合は、マークの移動ベクトルのX方向成分が極小になり、かつ、時刻がインパクト画像より後の画像を選択することで抽出してもよい。
(Follow
The
(フィニッシュ画像)
フィニッシュ画像は、色付マークM1〜M3のうち2つを用いてシャフト13aの角度を算出し、シャフト13aの角度が最も小さくなった画像を選択することで抽出する。あるいは、色付マークM1〜M3のうち1つを用いる場合は、マークの移動ベクトルのX方向成分およびY方向成分が極小になり、かつ、時刻がトップ画像よりも後の画像を選択することで抽出してもよい。
(Finish image)
The finish image is extracted by calculating the angle of the
次に、テイクバック左腕水平画像、ダウンスウィング左腕水平画像の抽出方法について説明する。
ここで、テイクバック左腕水平画像とは、テイクバック時に左腕の前腕部が水平状態の静止画像である。ダウンスウィング左腕水平画像とは、ダウンスウィング時に左腕の前腕部が水平状態の静止画像である。
Next, a method for extracting the takeback left arm horizontal image and the downswing left arm horizontal image will be described.
Here, the takeback left arm horizontal image is a still image in which the forearm portion of the left arm is in a horizontal state during takeback. The downswing left arm horizontal image is a still image in which the forearm portion of the left arm is in a horizontal state during downswing.
左腕が水平である画像を認識するためには、左腕を含む画像領域であるテンプレートを作成し、テンプレートマッチング処理によりマッチしたテンプレート角度が水平となる画像を左腕水平とする。
以下、静止画像中の左腕を含むテンプレートを作成するためにゴルファー11の輪郭抽出を行う。
In order to recognize an image in which the left arm is horizontal, a template which is an image region including the left arm is created, and an image in which the template angle matched by the template matching process is horizontal is set as the left arm horizontal.
Hereinafter, the contour of the
先ず、色付マークM1〜M3の座標から取得されるシャフト角度によりシャフト13aが6時状態となる画像を抽出する。グリップに最も近い色付マークM1と次に近い色付マークM2とからマーク間ベクトルを求めてグリップ位置を決定する。具体的には、
(グリップ位置)=(色付マークM1の位置)−α×(マーク間ベクトル)
によりグリップ位置を算出する。
ここで、αは、色付マークM1と色付マークM2との距離に対する色付マークM1とグリップとの実際の距離の割合を意味しており、本実施形態ではα=0.5としている。
First, an image in which the
(Grip position) = (position of colored mark M1) −α × (mark vector)
To calculate the grip position.
Here, α means the ratio of the actual distance between the colored mark M1 and the grip with respect to the distance between the colored mark M1 and the colored mark M2, and in this embodiment, α = 0.5.
次に、シャフト6時画像を背景画像(ゴルファー11が写っていない画像)で背景差分処理を行ってゴルファー11のシルエットを抽出する。詳しくは、背景画像でのRGB値をそれぞれr’、g’、b’とし、シャフト6時画像上のピクセルのRGB値をそれぞれr、g、bとすると、数式7に示すノルム(対象ピクセルでのr、g、bとr’、g’、b’との差の絶対値の2乗和の平方根)が予め設定した閾値未満であればゴルファー11のシルエットでないとみなして当該ピクセルを0とし、該閾値以上であればゴルファー11のシルエットであるとみなして1とする二値化処理を行い、1のピクセルについて順にラベリング処理を行う。なお、本実施形態でのノルムの閾値は40としている。また、色相、彩度、明度を用いて背景差分処理を行ってもよく、その場合、シルエットであるとみなしたラベリング領域のうち、5000以上もしくは10000以上の1つ或いは2つの領域をシルエットとする。
図5(A)に示すように、この二値化画像について走査処理を行って、1あるいは2のピクセルに当たったところから輪郭抽出を行う。この輪郭抽出の方法は、上記ラベリングした画像についてフレームの左上のピクセルを始点として右方向へと上から下へ走査処理を行い、1あるいは2のピクセルを探して輪郭抽出を行う。詳しくは、走査処理により初めに(4,7)のピクセルが見つかり、図5(B)に示すように、このピクセルの直前のピクセルを除いた回りの7つのピクセルを左上のピクセルから時計回りに調べ、最初に(4,7)で見つけたピクセル(1あるいは2)と同じラベルのピクセルを次の境界点とする。この処理を順々に行い、境界点が(4,7)に戻ってきた時点で輪郭抽出を終了する。この抽出された輪郭のままではノイズが残っているので、移動平均処理を輪郭全体に循環して行うことによってスムージングをかけておく。 As shown in FIG. 5A, a scanning process is performed on the binarized image, and contour extraction is performed from the point where it hits one or two pixels. In this contour extraction method, the labeled image is scanned from the top to the bottom in the right direction starting from the upper left pixel of the frame, and the contour is extracted by searching for one or two pixels. Specifically, the pixel of (4, 7) is first found by the scanning process, and as shown in FIG. 5B, the seven pixels around the pixel excluding the pixel immediately before this pixel are clockwise from the upper left pixel. The pixel having the same label as the pixel (1 or 2) first found at (4, 7) is set as the next boundary point. This process is sequentially performed, and the contour extraction is finished when the boundary point returns to (4, 7). Since noise remains in the extracted contour, smoothing is performed by circulating the moving average process over the entire contour.
なお、移動平均処理は以下の数式8で行われる。
ここで、bnd_pt(n)はn番目の輪郭の座標で、kは計算に利用する前後のピクセル数で、bnd_pt_ido(n)は移動平均後の輪郭の座標である。
ただし、ゴルファー11の輪郭が1番目からbnd_num番目(輪郭番号の最後)まで存在する場合において、移動平均を行うピクセルをn番目とすると、n<kである場合は、輪郭番号の最後の方であるbnd_num−(k−n)番目〜bnd_num番目のピクセルを利用して移動平均を行う。また、bnd_num−n<kである場合は、輪郭番号の最初の方である1番目〜k−(bnd_num−n)番目のピクセルを利用して移動平均を行っている。
Here, bnd_pt (n) is the coordinate of the nth contour, k is the number of pixels before and after the calculation, and bnd_pt_ido (n) is the coordinate of the contour after moving average.
However, in the case where the contour of the
次いで、スムージング後の輪郭データから曲率を計算してゴルファー11の左肩位置を取得する。つまり、図6に示すような輪郭データを含む画像の上から走査して初めに現れる輪郭21の大きな曲率部分を頭とし、次に現れる小さな曲率部分を首とし、その次に現れる大きな曲率部分を肩と認識する。ここで、服のしわ等を考慮して、前後±5のピクセルでそれぞれ曲率を計算してその平均値をそれらの中心のピクセルの曲率とするとよい。
Next, the curvature is calculated from the smoothed contour data, and the left shoulder position of the
以下、輪郭の曲率の計算方法について説明する。
対象となる輪郭の円弧の長さをS、角度をθとすると、曲率Cは以下の数式9で表される。
If the length of the arc of the target contour is S and the angle is θ, the curvature C is expressed by the following
この数式9は、曲率を求めたいピクセルと該ピクセルの隣接点だけで計算すると、値の変動が大きく正しい値が得られないので、曲率を求めたいピクセルの両側k個の点列を含めて以下の数式10により計算する方法が用いられる。
なお、数式10は、数式9におけるSを省略して簡素化している。本実施形態では、さらに簡単のため、図8に示すように、点列の両端を用いて以下の数式11で曲率Cを算出している。
(テイクバック左腕水平画像)
図7(A)に示すように、前記のようにして抽出された左肩22とグリップ23との間の領域において長方形のテンプレートTを設定し、該テンプレートTの長辺の長さL1は肩とグリップの間の距離の半分とし、短辺の長さL2は腕がテンプレートTの中に入る程度の長さ(本実施形態では20ピクセル)としている。
(Takeback left arm horizontal image)
As shown in FIG. 7A, a rectangular template T is set in the region between the
次の時刻の画像を読み込んでグリップ位置を取得し、グリップ位置の移動ベクトルと同じように前フレームのテンプレートTを平行移動させる。次いで、図7(B)に示すように、テンプレートTをグリップ位置を支点として時計回りに10°まで1°刻みで回転させて最もマッチングしたテンプレートの角度を計算し、テンプレート角度が90°(水平)に最も近い画像をテイクバック左腕水平画像であるとみなして抽出する。さらに、テンプレートの回転に並進を加えてマッチング処理を行ってもよい。 The image at the next time is read to acquire the grip position, and the template T of the previous frame is translated in the same manner as the grip position movement vector. Next, as shown in FIG. 7B, the template T is rotated clockwise in increments of 1 ° up to 10 ° with the grip position as a fulcrum, and the most matched template angle is calculated. The template angle is 90 ° (horizontal The image closest to) is extracted as a takeback left arm horizontal image. Further, the matching process may be performed by adding translation to the rotation of the template.
なお、前記テンプレートマッチング処理は、テンプレートT内のピクセルの色情報であるRGB値を以下の数式12により輝度Yに変換して評価する。(なお、輝度Yで評価してもよいが、RGBのノルム(数式7を参照)を用いても構わない。)
テンプレートTの位置・角度(p,q,θ)を前記条件のもと変化させてS(p,q,θ)を計算し、この値が最小となる位置・角度で最もマッチングしたとみなすこととしている。このマッチングした際の(p,q,θ)のθ値が90°に最も近くなる画像をテイクバック左腕水平画像として抽出する。 The position / angle (p, q, θ) of the template T is changed under the above conditions to calculate S (p, q, θ), and it is considered that the best matching is achieved at the position / angle at which this value is minimum. It is said. An image in which the θ value of (p, q, θ) at the time of matching is closest to 90 ° is extracted as a takeback left arm horizontal image.
(ダウンスウィング左腕水平画像)
ダウンスウィング9時画像は、前記取得されたテイクバック左腕水平画像での左腕を含むテンプレートを利用して、そのテンプレートと最もマッチングするトップ画像以降の画像をダウンスウィング左腕水平画像として抽出する。
ここで、スウィング画像の順番を考慮すればトップ画像の後にダウンスウィング左腕水平画像が抽出されること分かっているので、トップ画像からテンプレートマッチング処理を開始してもよいが、それでは時間がかかったり、あるいは、トップで腕が全部見えるとは限らないので誤認識する可能性もある。
そこで、本実施形態では、先にダウンスウィングシャフト9時画像を抽出しておいて、その後、時刻を戻しながらテンプレートマッチングを行うことによりダウンスウィング左腕水平画像を抽出することとして計算時間の短縮化と誤認識の防止を図っている。
(Down swing left arm horizontal image)
For the
Here, considering the order of the swing images, it is known that the down swing left arm horizontal image is extracted after the top image, so the template matching process may be started from the top image, but it takes time, Or, it is not always possible to see all the arms at the top, so there is a possibility of misrecognition.
Therefore, in this embodiment, the
(テイクバックシャフト8時画像)
次に、テイクバックシャフト8時画像の抽出方法について説明する。なお、テイクバックシャフト8時画像とは、テイクバック時にシャフトを時計の針に見立てた場合に8時位置にある状態の静止画像である。
上述したシャフト6時画像でのゴルファー11のシルエットを抽出することで、体の幅(スタンス幅)を取得しておき、右足側端を通過する垂線と色付マークM1が交差する時刻の画像をテイクバックシャフト8時画像として選択して抽出する。
(
Next, a method for extracting the take-
By extracting the silhouette of the
以上のようにして図9に示すような正面のチェックポイント画像(アドレス画像、テイクバックシャフト8時画像、テイクバックシャフト9時画像、テイクバック左腕水平画像、トップ画像、ダウンスウィング左腕水平画像、ダウンスウィングシャフト9時画像、インパクト前画像、インパクト画像、インパクト後画像、フォローシャフト3時画像、フィニッシュ画像)を抽出することができ、かつ、カラーCCDカメラ14、15は互いに撮影タイミングを同期させているので、正面のチェックポイント画像と同時刻のものを選らぶことで、図10に示すような飛球線後方(側面)のチェックポイント画像を抽出することができる。
以下、チェックポイント画像の夫々について、ゴルファー11のスウィング診断に必要な注目点の位置座標の取得を行う。
As described above, the front checkpoint image as shown in FIG. 9 (address image,
Hereinafter, for each of the checkpoint images, the position coordinates of the attention point necessary for the swing diagnosis of the
(右肘の位置座標)
例えば、図11はテイクバック左腕水平画像(側面)における注目点の1つである右肘の位置座標の取得を示す。
先ず、グリップ端Gの位置座標を求める。グリップに最も近い色付マークM1と次に近い色付マークM2とからマーク間ベクトルを求めてグリップ端を決定する。具体的には、
(グリップ端)=(色付マークM1の位置)−A×(マーク間ベクトル)
(グリップ中央)={(色付マークM1の位置)+(グリップ端)}/2
により算出する。
ここで、Aは、色付マークM1と色付マークM2との距離に対する色付マークM1とグリップ端Gとの実際の距離の割合である。
(Position coordinates of right elbow)
For example, FIG. 11 shows acquisition of the position coordinate of the right elbow, which is one of the points of interest in the takeback left arm horizontal image (side surface).
First, the position coordinates of the grip end G are obtained. The grip end is determined by obtaining an inter-mark vector from the colored mark M1 closest to the grip and the next colored mark M2 closest to the grip. In particular,
(Grip end) = (position of colored mark M1) −A × (mark-to-mark vector)
(Grip center) = {(position of colored mark M1) + (grip end)} / 2
Calculated by
Here, A is the ratio of the actual distance between the colored mark M1 and the grip end G to the distance between the colored mark M1 and the colored mark M2.
上記取得されたグリップ端Gを起点としてX方向に±40ピクセル、Y方向に±60ピクセルの範囲の位置に探索範囲Sを設定し、探索範囲S内のピクセルについて背景差分した後、色相θ=0〜30、R=20〜255、G=20〜180、B=180以下の条件(色範囲)を満たすピクセルの集合領域を肌色領域H1とみなす。この肌色領域H1について上述した方法で輪郭R1を取得し、グリップ端Gから最も遠い輪郭R1上のピクセルを右肘30として位置座標を取得する。
The search range S is set at a position within the range of ± 40 pixels in the X direction and ± 60 pixels in the Y direction starting from the acquired grip end G, and after performing background subtraction for the pixels in the search range S, the hue θ = A set region of pixels satisfying the conditions (color range) of 0 to 30, R = 20 to 255, G = 20 to 180, and B = 180 or less is regarded as the skin color region H1. The contour R1 is acquired by the method described above for the skin color region H1, and the position coordinate is acquired with the pixel on the contour R1 farthest from the grip end G as the
次に、図14はトップ画像(側面)における注目点の1つである右肘の位置座標の取得を示す。
なおここからは、画像上での角度については、マイナスX方向から時計回りに正角度、反時計回りに負角度としている。
まず、手首32の位置座標を求める。図12に示すように、ゴルファー11のシルエットSIの初期点I(画像左上のピクセルから順に左→右、上→下に走査した場合に見つかる最初のピクセル)を取得し、この初期点IのX座標がテイクバック左腕水平画像での後述する方法で取得された後首40のX座標よりも小さいかどうかを判定する。小さい場合には、初期点Iを仮手首として初期点Iを中心として、傾きが90°〜180°となる直線部ST1と、傾きが−90°〜−180°となる直線部ST2を抽出し、直線部ST1と直線部ST2との交点を手首32とする。これで直線部が抽出できなかった場合には初期点Iを手首とする。
一方、初期点IのX座標が後首40のX座標より大きい場合には、図13に示すように、後述する肌色抽出を行ってゴルファー11の顔H2を取得後、手の肌色抽出を実施し、手の肌色領域H3の中心を手首とする。
Next, FIG. 14 shows acquisition of the position coordinate of the right elbow, which is one of the attention points in the top image (side surface).
From here, the angle on the image is a positive angle clockwise from the minus X direction and a negative angle counterclockwise.
First, the position coordinates of the
On the other hand, when the X coordinate of the initial point I is larger than the X coordinate of the
上記取得された手首32を起点としてX方向に−60ピクセル、Y方向に+100ピクセルの範囲の位置に探索範囲Sを設定し、探索範囲S内のピクセルについて背景差分した後、色相θ=0〜30、R=20〜255、G=20〜180、B=180以下の条件(色範囲)を満たすピクセルの集合領域を肌色領域H4とみなす。この肌色領域H4について輪郭R2を取得し、手首32から最も遠い輪郭R2上のピクセルを右肘34として位置座標を取得する。
The search range S is set at a position in the range of −60 pixels in the X direction and +100 pixels in the Y direction from the acquired
(左肘の位置座標)
図15はトップ画像(側面)における注目点の1つである左肘36の位置座標の取得を示す。
上記取得された手首32を起点としてX方向に+60ピクセル、Y方向に+80ピクセルの範囲の位置に探索範囲Sを設定し、探索範囲S内のピクセルについて背景差分した後、色相θ=0〜30、R=20〜255、G=20〜180、B=180以下の条件(色範囲)を満たすピクセルの集合領域を肌色領域H5とみなす。この肌色領域H5について輪郭R3を取得し、輪郭R3のうち曲率が−10°〜10°の範囲内のピクセルが5ピクセル以上連続している箇所を直線部(図15の太線)として抽出し、これら直線部のうち傾きが0°〜90°の範囲内のものを選択して代表直線部ST3としている。
(Left elbow position coordinates)
FIG. 15 shows acquisition of position coordinates of the
The search range S is set at a position in the range of +60 pixels in the X direction and +80 pixels in the Y direction starting from the acquired
次いで、代表直線部ST3の傾きと同一の傾きを有すると共に上記各直線部の各重心位置の平均値を通過点とする直線38を取得する。また、上記取得された手首32と後述する方法で取得された左肩37とを結ぶラインの中点を通過すると共に該ライン傾きの逆数の傾きを有する直線39を取得する。これら直線38、39の交点を左肘36として位置座標を取得する。
Next, a
(後首の位置座標)
図16(A)(B)に示すように、抽出された肌色領域H6のX座標が最小の顔領域の輪郭点をOとし、点OとX座標が同一でY座標が最小の輪郭点をAとし、点OとY座標が同一でX座標が最小の輪郭点をBとすると、直線ABの傾きと垂直で点Oを通る直線を引き、この直線と輪郭との交点を後首40と特定する。
(Position coordinates of the back neck)
As shown in FIGS. 16 (A) and 16 (B), the contour point of the extracted face color region H6 having the smallest X coordinate is defined as O, and the contour point having the same X coordinate as the point O and the smallest Y coordinate is defined as O. Assuming that A is the contour point where the point O and the Y coordinate are the same and the minimum X coordinate is B, a straight line passing through the point O perpendicular to the slope of the straight line AB is drawn, and the intersection of the straight line and the contour is the
(左肩の位置座標)
図17(A)に示すように、後首40のY座標と一致する輪郭R4上のピクセルを首下41として抽出し、首下41から輪郭R4の起伏の情報を用いて左肩を決定する。具体的には、首下41から時計回りに輪郭R4を調べて最初に山(極大点)が見つかれば、首下41から時計回りに30ピクセルまでの山→この山から時計回りに30ピクセルまでの谷(極小点)→この谷から時計回りに20ピクセルまでの山を左肩37としている。
(Left shoulder position coordinates)
As shown in FIG. 17A, a pixel on the contour R4 that coincides with the Y coordinate of the
上記取得されたチェックポイント画像におけるゴルファー11の注目点の位置座標は、コンピュータ16のメモリに記憶保持され、各注目点の位置座標に基づいてゴルファー11のスウィングの診断を行う。
The position coordinates of the attention point of the
11 ゴルファー
13 ゴルフクラブ
13a シャフト
14、15 カラーCCDカメラ
16 コンピュータ
20 背景
H1〜H6 肌色領域
M1〜M3 色付マーク
S、S1〜S3 探索範囲
ST1〜ST3 直線部
R1〜R4 輪郭
T テンプレート
DESCRIPTION OF
Claims (2)
前記コンピュータは、前記カラー動画像を構成する複数の静止画像から、アドレス、テイクバックシャフト8時、テイクバックシャフト9時、テイクバック非利き腕水平、トップ、ダウンスウィング非利き腕水平、ダウンスウィングシャフト9時、インパクト、フォローシャフト3時、フィニッシュから選択される少なくとも1つ以上のスウィング姿勢の画像をチェックポイント画像として抽出し、
前記チェックポイント画像上において、上記ゴルファーの肌の色と同一色であるとみなすことのできる許容範囲である色範囲を設定し、前記色範囲内にあるピクセルを前記ゴルファーの肘、顔あるいは手首を含む肌色領域とみなして肌抽出を行い、
この抽出された肌色領域の輪郭を抽出し、該輪郭のうち曲率が−10°〜10°の範囲内のピクセルが所定の個数以上連続している箇所を直線部とし、この直線部を用いて前記ゴルファーの肘、首あるいは手首からなる体の注目点の位置座標を特定していることを特徴とするゴルフスウィング計測システム。 A computer that captures a moving color image of a golfer who holds a golf club and swings;
From the plurality of still images constituting the color moving image , the computer calculates the address, takeback shaft at 8 o'clock, takeback shaft at 9 o'clock, takeback non-dominant arm horizontal, top, down swing non-dominant arm horizontal, down swing shaft at 9 o'clock. , Impact, follow shaft 3 o'clock, at least one swing posture image selected from the finish is extracted as a checkpoint image,
On said check point image, allowed to set the color range in the range, elbow before Symbol the golfer a pixel within the color range that can be regarded as the same color as the color of the skin of the golfer, the face or the wrist Extract the skin as a skin color area including
A contour of the extracted skin color region is extracted, and a portion where a predetermined number or more of pixels having a curvature within a range of −10 ° to 10 ° is continuous is defined as a straight portion, and the straight portion is used. A golf swing measurement system characterized by specifying position coordinates of a point of interest of a body comprising the golfer's elbow, neck or wrist .
前記各チェックポイント画像で前記色付きマークを中心として探索範囲を設定し、該探索範囲内で、前記肌抽出の処理を行う請求項1に記載のゴルフスウィング計測システム。 The photographed golfer is not attached with a colored mark and the shaft gripped by the golfer is attached with a colored mark, and the shaft position is obtained by tracking the coordinates of the colored mark of the shaft by an automatic tracking method, Based on the shaft position, a still image as the checkpoint image is selectively extracted from a plurality of still images constituting the color moving image,
The golf swing measurement system according to claim 1 , wherein a search range is set around the colored mark in each checkpoint image, and the skin extraction processing is performed within the search range .
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004090788A JP4283145B2 (en) | 2004-03-26 | 2004-03-26 | Golf swing measurement system |
GB0506040A GB2414683B (en) | 2004-03-26 | 2005-03-24 | Golf swing measuring system |
AU2005201322A AU2005201322B2 (en) | 2004-03-26 | 2005-03-24 | Golf swing-measuring system |
US11/089,230 US7704157B2 (en) | 2004-03-26 | 2005-03-25 | Golf swing-measuring system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004090788A JP4283145B2 (en) | 2004-03-26 | 2004-03-26 | Golf swing measurement system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005270480A JP2005270480A (en) | 2005-10-06 |
JP4283145B2 true JP4283145B2 (en) | 2009-06-24 |
Family
ID=35170748
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004090788A Expired - Fee Related JP4283145B2 (en) | 2004-03-26 | 2004-03-26 | Golf swing measurement system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4283145B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011102607A2 (en) * | 2010-02-19 | 2011-08-25 | 다도기전 주식회사 | Motion recognition apparatus and method for correcting a golf swing tempo |
JP5917914B2 (en) * | 2011-12-29 | 2016-05-18 | ダンロップスポーツ株式会社 | Golf swing diagnosis method |
JP6127410B2 (en) * | 2012-08-24 | 2017-05-17 | カシオ計算機株式会社 | Image processing apparatus, image processing method, and program |
JP6366677B2 (en) * | 2013-03-15 | 2018-08-01 | ナイキ イノベイト シーブイ | Feedback signal from athletic performance image data |
JP6944144B2 (en) * | 2014-12-25 | 2021-10-06 | 住友ゴム工業株式会社 | Swing analyzer, method and program |
JP6544551B1 (en) * | 2018-03-25 | 2019-07-17 | 柏熊 誠治 | Swing determination device, swing determination method, and program. |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0741086B2 (en) * | 1986-08-01 | 1995-05-10 | 日本フア−ネス工業株式会社 | Motion analysis device |
JP2980769B2 (en) * | 1992-04-08 | 1999-11-22 | アルプス電気株式会社 | Position data approximation method |
JPH06210027A (en) * | 1993-01-13 | 1994-08-02 | Hitachi Chem Co Ltd | Golf club designing method |
JPH08196677A (en) * | 1995-01-30 | 1996-08-06 | Sugino Mach Ltd | Golf swing analyzing system |
JP2921660B2 (en) * | 1995-10-07 | 1999-07-19 | 川崎重工業株式会社 | Article shape measuring method and device |
JP3372419B2 (en) * | 1996-02-26 | 2003-02-04 | 松下電工株式会社 | Object recognition method |
JPH09237348A (en) * | 1996-02-29 | 1997-09-09 | Sanyo Electric Co Ltd | Method for estimating posture of human body |
JPH1163927A (en) * | 1997-08-27 | 1999-03-05 | Mitsubishi Heavy Ind Ltd | Head position and posture measuring device, and operation monitoring device |
JP2001012912A (en) * | 1999-06-29 | 2001-01-19 | Fuji Photo Film Co Ltd | Parallax image pickup device, parallax image-processing device, parallax image pickup method, and parallax image-processing method |
JP2001330882A (en) * | 2000-05-24 | 2001-11-30 | Canon Inc | Camera with subject recognizing function |
JP2003058892A (en) * | 2001-08-09 | 2003-02-28 | Techno Scope:Kk | Device and method for processing animation |
JP2003117045A (en) * | 2001-10-18 | 2003-04-22 | Takasago Electric Ind Co Ltd | Swing form diagnosing device |
-
2004
- 2004-03-26 JP JP2004090788A patent/JP4283145B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005270480A (en) | 2005-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7704157B2 (en) | Golf swing-measuring system | |
JP4494837B2 (en) | Golf swing diagnostic system | |
AU2004201603C1 (en) | Golf swing diagnosis system | |
US20050215336A1 (en) | Golf swing-diagnosing system | |
US20080175441A1 (en) | Image analysis method, apparatus and program | |
JP4256289B2 (en) | Golf swing diagnostic system | |
JP4279079B2 (en) | Automatic golf swing tracking method | |
JP2009020897A (en) | Image analysis method, image analysis apparatus, image analysis program | |
JP2003117045A (en) | Swing form diagnosing device | |
JP4256290B2 (en) | Golf swing diagnostic system | |
JP4283145B2 (en) | Golf swing measurement system | |
JP4283147B2 (en) | Golf swing measurement method | |
JP4283146B2 (en) | Swing measurement clothes | |
JP2009095631A (en) | Golf swing measuring system | |
KR102534463B1 (en) | Golf lesson system using a joint of human body and a golf club based on AI | |
JP7083334B2 (en) | Image processing equipment, image processing methods, and programs | |
JP7083333B2 (en) | Image processing equipment, image processing methods, and programs | |
JP2002301172A (en) | System for measuring blow angle when golf club is swung | |
JP2024002227A (en) | Information processing device, information processing method, recording medium and program | |
JP2024049242A (en) | Image processing device, image processing method, image processing system and program | |
JP2004208785A (en) | Body motion diagnostic apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20050817 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050817 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050817 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051028 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20051031 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080930 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090317 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090318 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4283145 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130327 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130327 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140327 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |