JP2893052B2 - 三次元特徴点座標抽出方法 - Google Patents

三次元特徴点座標抽出方法

Info

Publication number
JP2893052B2
JP2893052B2 JP2201195A JP20119590A JP2893052B2 JP 2893052 B2 JP2893052 B2 JP 2893052B2 JP 2201195 A JP2201195 A JP 2201195A JP 20119590 A JP20119590 A JP 20119590A JP 2893052 B2 JP2893052 B2 JP 2893052B2
Authority
JP
Japan
Prior art keywords
feature point
dimensional
marker
feature points
extraction method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2201195A
Other languages
English (en)
Other versions
JPH0486958A (ja
Inventor
和彦 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Efu Efu Shii Kk
Fuji Electric Co Ltd
Original Assignee
Efu Efu Shii Kk
Fuji Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Efu Efu Shii Kk, Fuji Electric Co Ltd filed Critical Efu Efu Shii Kk
Priority to JP2201195A priority Critical patent/JP2893052B2/ja
Publication of JPH0486958A publication Critical patent/JPH0486958A/ja
Application granted granted Critical
Publication of JP2893052B2 publication Critical patent/JP2893052B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、スポーツをする人の動作(挙動ともい
う)などをITV(工業用テレビジョン)カメラ等のセン
サにより撮像し、対象物の動作軌跡を解析,表示するた
めの三次元特徴点座標抽出方法に関する。
〔従来の技術〕
従来、運動生理学やスポーツ理論の発展により、スポ
ーツにおける人間の動作をビデオカメラ等により動作解
析し、スポーツ能力の向上を図る試みがなされている。
この種の解析システムには、次のようなものがある。
.ビデオテープの動画再生(スロー再生などを含
む)。
.ビデオ画面分割による模範動作との比較。
.各コマ単位の画面分割表示による動作の時系列的解
析。なお、コマとは一連の動画像の各フレーム画像の1
つ1つを云う。
以上は、単なるビデオテープの制御に過ぎないもので
あり、通常はコンピュータは介在していない。これに対
し、コンピュータが介在するものとしては、次のような
ものがある。
.予め作成した理想的なスウィングパターンをコンピ
ュータに入力しておき、実際に撮像した対象(練習)フ
ォームの画像を基準位置で合わせた後、グラフィック画
面にスーパーインポーズ表示する。
.ビデオテープに格納した一連の動作を各コマ単位で
静止画像表示し、各コマの画像における動作上の特徴点
をマニュアルで画面入力し、各コマ画像の特徴点群を時
系列に連結し、各特徴点列の軌跡をCRT上にグラフィッ
ク表示する。
これらの特徴点の場合は、従来、運動生理学ではいわ
ゆる「スティックピクチャ」呼ばれているものであり、
スポーツの科学的解析やトレーニングまたはリハビリテ
ーションなどい用いられている。
〔発明が解決しようとする課題〕
上記〜の例では、運動動作における「動き」の解
析を全て人間の判断に委ねているため、動作の空間的ず
れや時間的なタイミングずれなどが捉え難いという問題
がある。また、上記の例では動作を客観的に捉えられ
るものの、特徴点列の入力を全てマニュアルで行なうた
め、スティックピクチャ画像の作成に莫大な時間が掛か
って実用性に乏しく、その結果、ごく一部の研究用とし
て用いられているに過ぎない。
したがって、この発明の課題は動画像の処理を迅速か
つ正確になし得るようにすることにある。
〔課題を解決するための手段〕
複数の特徴点にそれぞれマーカーが予め付与された対
象物を複数の方向から撮像する1つまたは複数の撮像手
段と、撮像のタイミングを検知するタイミングセンサ
と、対象物を照明する照明手段とにより、前記対象物の
挙動を連続したフレームで一定期間撮像したのち、処理
手段にて各フレーム毎に対象物の二次元特徴点座標を抽
出し、これを標準のモデルパターンを用いて計測した特
徴点と照合してフレーム間で対応する特徴点を時系列に
連結したのち、前記二次元特徴点座標を標準の三次元格
子状モデルを用いて三次元空間座標に変換する。
〔作用〕
対象物の挙動を1つまたは複数のテレビカメラで複数
方向から撮像した動画像を各コマ単位でコンピュータに
入力し、各コマの画像における特徴点群を抽出し、標準
の動作モデルを用いて隠れた点を複数のカメラ画像を用
いて補間し、抽出した特徴点群を三次元格子状モデルを
用いて時系列に連結し、三次元空間座標系に変換するこ
とにより、その結果をグラフィック表示したり、さらに
は原画像との重ね合わせや各特徴点群の位置,重心,移
動方向などを高速かつ正確に計測できるようにする。
〔実施例〕
第1図はこの発明の実施例を示す概要図で、ゴルフス
ウィングの動作解析に適用した例である。なお、これ以
外のスポーツ(テニス,野球など)のフォーム解析にも
適用可能である。
同図において、1はVTRシステム、2は画像処理用コ
ンピュータ、3は表示ディスプレイ、4はテレビカメ
ラ、5は照明器、6はタイミングセンサ、7A,7Bはスト
ロボ、8はゴルフボール、9はゴルフクラブ、10は赤外
反射テープをそれぞれ示す。
これは、人間を含む対象物の各特徴点に例えば近赤外
光を反射するマーカーを付与し、照明器5からの近赤外
光をストロボ7A,7Bにより一定間隔で点滅させ、近赤外
通過フィルタを装着した1台のカメラ4により順次その
位置(フロント,サイド,トップ等の各位置)をずらし
て対象物の一連のゴルフスウィング動作(挙動)を撮像
するものである。このとき、カメラ位置は特徴点マーカ
ーが極力隠れてしなわないように選ぶことが望ましい。
また、この近赤外反射マーカーは一般の蛍光灯照明下で
も、これを付与した部分と付与しない部分とではカメラ
の入力信号レベルにかなりの差が生じるので、このこと
を利用してマーカー付与部分を抽出できるようにしてい
る。さらに、プレーヤの後ろの壁には近赤外反射テープ
10を放射状に貼り付け、上記マーカーの位置決め用とし
て利用するようにしているが、これは必ずしも必要と言
うわけではない。また、近赤外発光ストロボ7A,7Bも場
合によっては省略しても差し支えない。
近赤外反射マーカーの代えて付与した部分と、そうで
ない部分との区別が明らかになるカラーマーカーを利用
することもでき、そのためのカメラとしては対応するカ
ラーフィルタを備えたものが用いられる。このとき、カ
ラー濃淡信号(R,G,B各8ビット)の濃度による影響を
なくすため、次式の如く色相信号に変換して用いても良
い。
色相R'=k1R/(R+G+B) 色相G'=k2G/(R+G+B) 色相B'=k3B/(R+G+B) (ただし、R,G,Bはカラー濃淡信号を示す。) このようにすれば、各特徴点を一定色相周波数のスラ
イスレベルにて切り出すことができる。色相周波数とス
ライスレベルの一例を第2図に示す。SL1,SL2がスライ
スレベルである。
マーカーの形状としては、点状または線状のものが考
えられる。第3図に点状マーカーの例を、また第4図に
線状マーカーの例を示す。ゴルフスウィングの場合の特
徴点としては例えば人体に10数箇所、ゴルフクラブヘッ
ドには1箇所程度とし、人体の各特徴点に第3図の如く
点状マーカー21を付与するか、または第4図の如く線状
マーカー22を付与する。線状のものは抽出後、細線化す
ることにより特徴分割のベクトル化が可能である。
このような条件でゴルフの一連のスウィング動作(セ
ットアップからフォロースルーまで)を撮像し、フレー
ムメモリまたはVTR(Video Tape Recorder)システムに
動画として格納する。VTRシステムとしての例を第5図
に示す。
これは、タイムコードを発生するタイムコードジェネ
レータ1A、画像信号を記憶するVTR1B、時間軸の補正を
行なうタイムベースコレクタ1C、合成信号VBSからRGBの
カラー信号を抽出するカラーデコーダ1DおよびVTRイン
タフェース1E等からなる公知のもので、この構成自体に
特に意味はないので、詳細は省略する。ただし、各コマ
に基準の時刻信号となるタイムコードを挿入し、コンピ
ュータ2によるコマの制御が可能なようにしておくこと
が必要である。なお、同図の20は画像ファイルを示す。
また、画像解析時に開始フレーム(開始時刻)を認識さ
せるために、スウィングの通過ラインにタイミングセン
サ6を配置しておき、このタイミングセンサ通過時刻の
前後の一定フレームを画像解析の対象とする。
一連の撮像過程が終了すると、コンピュータによる画
像解析過程に移行する。画像解析の対象は上記タイミン
グセンサの時刻を基準にした一定範囲の画像群であり、
特徴点の切り出し(2値化)は、上記マーカーにより周
囲の背景と輝度レベルに差があること、または色相周波
数に差があることを利用して、各コマ毎に行なわれる。
各コマには複数の特徴点が含まれるのが普通なので、各
特徴点を区別するために各点に次のようなラベル付けを
する。すなわち、人体の体格等により対象の動作パター
ンの範囲を想定した「動作モデル」をコンピュータ内に
予め作成しておき、この動作モデルと上記の如く抽出さ
れた特徴点位置とを照合することにより、特徴点位置の
ラベル付けを行なう。モデルは各フレームにおいて、対
象フォームの動作範囲を標準パターンとして持ってお
り、また前のフレームの特徴点位置との相関関係をパタ
ーンとしてテーブル化したものである。
第6図に動作モデルとその特徴点位置データテーブル
の例を示す。なお、同図(イ)は動作モデルで、丸印が
特徴点のモデル位置を示す。また、同図(ロ)の直前特
徴点とは特徴点番号が1つ前の特徴点を示し、直後特徴
点とは特徴点番号が1つ後の特徴点を示すものとする。
こうして、最初のコマでラベル付けされた各特徴点
は、以降のコマにおいて、上記動作モデルと照合するこ
とにより、各コマ間で対応する特徴点同士に同じラベル
を付すことができる。つまり、最初のフレームで2値化
により切り出された特徴点群に、上記動作モデルとの照
合により動作モデルの特徴点ラベルと同じラベルが付け
られる。以下、同様にして次のフレーム以降の画像にお
ける特徴点群が抽出されてラベル付けされ、最終のフレ
ームまで処理したら終了する。このラベル付けに当たっ
ては、各特徴点毎に色相周波数を変えることにより、特
徴点が互いに交わる場合でも正確にラベル付けを行なう
ことが可能となる。また、各フレームの特徴点は時間の
経過とともに移動するが、その移動範囲が動作モデルの
計測によって予め分かるので、その範囲をウインドウに
より指定してラベル付けを行なうことができる。ウイン
ドウの例を第7図に示す。符号23がウインドウである。
その結果抽出された特徴点群は、各カメラ座標毎に第
8A図に示すような特徴点ファイルにまとめられる。な
お、検出出来ない特徴点(不可視特徴点)は第8B図に示
す動作モデルの特徴点座標テーブルから、補間等の手法
により推定するものとする。推定した点は第8A図ではあ
みかけにより示している。
次に、以上の如き特徴点ファイルをその抽出過程と交
差する方向(時間軸方向)に操作することにより、特徴
点単位での時間軸方向への並べなおし、および特徴点の
連結ファイルの作成を行なう。そして、標準カメラ座標
系での座標値ファイルを三次元の基準座標系に変換す
る。その概念を説明するのが第9図で、同図(イ)に示
す格子状模型Mの各格子点に予めマークを付けておいて
その各格子点を、基準となるカメラ4(基準カメラ)に
より計測しておきことにより、これから抽出される特徴
点を三次元座標化するものである。なお、同図(ロ)は
基準カメラと三次元座標系との変換テーブルを示してい
る。
変換された三次元座標群はグラフィックディスプレイ
等の表示装置に与えられ、所要の表示が行なわれる。表
示の方法は利用目的に応じて任意になされ、1つの特徴
点軌跡のみの表示、特徴点と原画像との合成表示、練習
フォームスティックピピクチャと模範フォームスティッ
クピピクチャと重ね合わせ表示、スティックピクチャの
計測(位置,重心,移動方向など)など、多くの形態が
考えられる。第10図にゴルフスウィングの場合のスティ
ックピクチャ例を示す。
第11図はこの発明の他の実施例を示す概要図である。
これは、複数(ここでは3台)のカメラ4A,4B,4Cにより
互いに同期をとって複数方向から対象物の挙動を撮像す
る点で第1図と異なるが、その後の処理やマーカーの種
別,形状等については第1図の考え方をそのまま適用す
ることができるので、詳細は省略する。
〔発明の効果〕
この発明によれば、従来のものでは解析出来なかった
か、または解析のためにかなり手間のかかるスポーツに
おける動作解析等の動画像処理を比較的高速かつ正確に
行なうことが可能になる。
【図面の簡単な説明】
第1図はこの発明の実施例を示す概要図、第2図は色相
周波数による特徴点の分離方法を説明するための説明
図、第3図はゴルフスウィング解析のための点状マーカ
ーの例を説明するための説明図、第4図は第3図とおな
じく線状マーカーの例を説明するための説明図、第5図
は公知のVTRシステムの一例を示すブロック図、第6図
は動作モデルとその特徴点位置データテーブルを説明す
るための説明図、第7図は特徴点抽出用ウインドウの例
を説明するための説明図、第8A図および第8B図は特徴点
ファイルおよび動作モデルの特徴点座標テーブルを説明
するための説明図、第9図は基準カメラ座標系と基準の
三次元座標系との変換の概念を説明するための説明図、
第10図はスティックピクチャの例を説明するための説明
図、第11図はこの発明の他の実施例を示す概要図であ
る。 1……VTRシステム、1A……タイムコードジェネレー
タ、1B……VTR、1C……タイムベースコレクタ、1D……
カラーデコーダ、1EVTRインタフェース、2……コンピ
ュータ、3……表示ディスプレイ、4,4A,4B,4C……テレ
ビカメラ、5……近赤外光照明器、6……タイミングセ
ンサ、7A,7B……ストロボ、8……ボール、9ゴルフク
ラブ、10……赤外反射テープ、20……画像ファイル、21
……点状マーカー、22……線状マーカー、23……ウイン
ドウ。
フロントページの続き (58)調査した分野(Int.Cl.6,DB名) G06T 7/00 A63B 69/36 A63B 69/00

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項1】複数の特徴点にそれぞれマーカーが予め付
    与された対象物を複数の方向から撮像する撮像手段と、
    撮像のタイミングを検知するタイミングセンサと、対象
    物を照明する照明手段とにより、前記対象物の挙動を連
    続したフレームで一定期間撮像したのち、処理手段にて
    各フレーム毎に対象物の二次元特徴点座標を抽出し、こ
    れを標準のモデルパターンを用いて計測した特徴点と照
    合してフレーム間で対応する特徴点を時系列に連結した
    のち、前記二次元特徴点座標を標準の三次元格子状モデ
    ルを用いて三次元空間座標に変換することを特徴とする
    三次元特徴点座標抽出方法。
  2. 【請求項2】複数の特徴点にそれぞれマーカーが予め付
    与された対象物を複数の方向から撮像する複数の撮像手
    段と、各撮像手段の撮像タイミングを検知するタイミン
    グセンサと、対象物を照明する照明手段とにより、前記
    対象物の挙動を各撮像手段で互いに同期をとって連続し
    たフレームで一定期間撮像したのち、処理手段にて各フ
    レーム毎に対象物の二次元特徴点座標を抽出し、これを
    標準のモデルパターンを用いて計測した特徴点と照合し
    てフレーム間で対応する特徴点を時系列に連結したの
    ち、前記二次元特徴点座標を標準の三次元格子状モデル
    を用いて三次元空間座標に変換することを特徴とする三
    次元特徴点座標抽出方法。
  3. 【請求項3】前記方向別の二次元特徴点座標として検出
    出来ない不可視特徴点の座標を、前記モデルパターンと
    の照合により補間することを特徴とする請求項1)また
    は2)に記載の三次元特徴点座標抽出方法。
  4. 【請求項4】前記マーカーを近赤外光成分で反射する近
    赤外光反射テープで構成することを特徴とする請求項
    1)または2)に記載の三次元特徴点座標抽出方法。
  5. 【請求項5】前記マーカーをカラーマーカーとし背景の
    色とは色相が反対方向にある色で形成することを特徴と
    する請求項1)または2)に記載の三次元特徴点座標抽
    出方法。
  6. 【請求項6】前記マーカーは点状または線状とすること
    を特徴とする請求項1)または2)に記載の三次元特徴
    点座標抽出方法。
JP2201195A 1990-07-31 1990-07-31 三次元特徴点座標抽出方法 Expired - Lifetime JP2893052B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2201195A JP2893052B2 (ja) 1990-07-31 1990-07-31 三次元特徴点座標抽出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2201195A JP2893052B2 (ja) 1990-07-31 1990-07-31 三次元特徴点座標抽出方法

Publications (2)

Publication Number Publication Date
JPH0486958A JPH0486958A (ja) 1992-03-19
JP2893052B2 true JP2893052B2 (ja) 1999-05-17

Family

ID=16436922

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2201195A Expired - Lifetime JP2893052B2 (ja) 1990-07-31 1990-07-31 三次元特徴点座標抽出方法

Country Status (1)

Country Link
JP (1) JP2893052B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2641829B2 (ja) * 1992-11-10 1997-08-20 株式会社小松製作所 曲げ加工機における曲げ角度検出装置
JP2826697B2 (ja) * 1994-02-17 1998-11-18 株式会社アシックス ゴルフクラブヘッドの運動計測装置
JP5109221B2 (ja) * 2002-06-27 2012-12-26 新世代株式会社 ストロボスコープを使った入力システムを備える情報処理装置
JP4494837B2 (ja) * 2003-12-26 2010-06-30 Sriスポーツ株式会社 ゴルフスウィング診断システム
US8698899B2 (en) 2005-04-15 2014-04-15 The University Of Tokyo Motion capture system and method for three-dimensional reconfiguring of characteristic point in motion capture system
US20080170750A1 (en) * 2006-11-01 2008-07-17 Demian Gordon Segment tracking in motion picture
JP2019011980A (ja) * 2017-06-29 2019-01-24 株式会社東横エルメス 変位測定システムおよびそれを用いた変位測定方法

Also Published As

Publication number Publication date
JPH0486958A (ja) 1992-03-19

Similar Documents

Publication Publication Date Title
JP4615715B2 (ja) 対象物認識機能及びデータ出力を有するカメラ
US8675021B2 (en) Coordination and combination of video sequences with spatial and temporal normalization
US9094615B2 (en) Automatic event videoing, tracking and content generation
US20150297949A1 (en) Automatic sports broadcasting system
US7928976B2 (en) Telestrator system
US20060132487A1 (en) Method of analyzing moving objects using a vanishing point algorithm
US20070064975A1 (en) Moving object measuring apparatus, moving object measuring system, and moving object measurement
JPH06510893A (ja) パターン・キー挿入を用いたビデオ合併
EP1907076A1 (en) A method for analyzing the motion of a person during an activity
JP2804949B2 (ja) 動画像の処理方法
JP2893052B2 (ja) 三次元特徴点座標抽出方法
JP7078577B2 (ja) 動作類似度評価装置、方法およびプログラム
JPH08182786A (ja) 運動体の画像解析装置
JPH07162744A (ja) 動画像処理装置
KR20040041297A (ko) 여러 대의 카메라 영상을 이용하여 운동물체의 위치 및움직임을 추적하고 표시하는 방법
JPH10222668A (ja) モーションキャプチャ方法およびシステム
KR20020028578A (ko) 모션 게임 장치의 모션 데이터 디스플레이 방법 및 평가방법
CN114302234B (zh) 一种空中技巧快速包装方法
KR100279681B1 (ko) 스포츠 영상효과 처리장치
KR101932525B1 (ko) 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법
US11229824B2 (en) Determining golf club head location in an image using line detection and contour separation
JP2002223405A (ja) 映像記録再生装置、及び映像記録再生プログラム
CN110969133B (zh) 一种乒乓球比赛视频的智能数据采集方法
JP2002236913A (ja) 自動人物特定装置
JP2784163B2 (ja) 位置認識方法および装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080305

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090305

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090305

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100305

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110305

Year of fee payment: 12

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110305

Year of fee payment: 12