JP2893052B2 - 三次元特徴点座標抽出方法 - Google Patents
三次元特徴点座標抽出方法Info
- Publication number
- JP2893052B2 JP2893052B2 JP2201195A JP20119590A JP2893052B2 JP 2893052 B2 JP2893052 B2 JP 2893052B2 JP 2201195 A JP2201195 A JP 2201195A JP 20119590 A JP20119590 A JP 20119590A JP 2893052 B2 JP2893052 B2 JP 2893052B2
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- dimensional
- marker
- feature points
- extraction method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
う)などをITV(工業用テレビジョン)カメラ等のセン
サにより撮像し、対象物の動作軌跡を解析,表示するた
めの三次元特徴点座標抽出方法に関する。
ーツにおける人間の動作をビデオカメラ等により動作解
析し、スポーツ能力の向上を図る試みがなされている。
む)。
析。なお、コマとは一連の動画像の各フレーム画像の1
つ1つを云う。
あり、通常はコンピュータは介在していない。これに対
し、コンピュータが介在するものとしては、次のような
ものがある。
ュータに入力しておき、実際に撮像した対象(練習)フ
ォームの画像を基準位置で合わせた後、グラフィック画
面にスーパーインポーズ表示する。
静止画像表示し、各コマの画像における動作上の特徴点
をマニュアルで画面入力し、各コマ画像の特徴点群を時
系列に連結し、各特徴点列の軌跡をCRT上にグラフィッ
ク表示する。
ゆる「スティックピクチャ」呼ばれているものであり、
スポーツの科学的解析やトレーニングまたはリハビリテ
ーションなどい用いられている。
析を全て人間の判断に委ねているため、動作の空間的ず
れや時間的なタイミングずれなどが捉え難いという問題
がある。また、上記の例では動作を客観的に捉えられ
るものの、特徴点列の入力を全てマニュアルで行なうた
め、スティックピクチャ画像の作成に莫大な時間が掛か
って実用性に乏しく、その結果、ごく一部の研究用とし
て用いられているに過ぎない。
つ正確になし得るようにすることにある。
象物を複数の方向から撮像する1つまたは複数の撮像手
段と、撮像のタイミングを検知するタイミングセンサ
と、対象物を照明する照明手段とにより、前記対象物の
挙動を連続したフレームで一定期間撮像したのち、処理
手段にて各フレーム毎に対象物の二次元特徴点座標を抽
出し、これを標準のモデルパターンを用いて計測した特
徴点と照合してフレーム間で対応する特徴点を時系列に
連結したのち、前記二次元特徴点座標を標準の三次元格
子状モデルを用いて三次元空間座標に変換する。
方向から撮像した動画像を各コマ単位でコンピュータに
入力し、各コマの画像における特徴点群を抽出し、標準
の動作モデルを用いて隠れた点を複数のカメラ画像を用
いて補間し、抽出した特徴点群を三次元格子状モデルを
用いて時系列に連結し、三次元空間座標系に変換するこ
とにより、その結果をグラフィック表示したり、さらに
は原画像との重ね合わせや各特徴点群の位置,重心,移
動方向などを高速かつ正確に計測できるようにする。
ウィングの動作解析に適用した例である。なお、これ以
外のスポーツ(テニス,野球など)のフォーム解析にも
適用可能である。
ンピュータ、3は表示ディスプレイ、4はテレビカメ
ラ、5は照明器、6はタイミングセンサ、7A,7Bはスト
ロボ、8はゴルフボール、9はゴルフクラブ、10は赤外
反射テープをそれぞれ示す。
光を反射するマーカーを付与し、照明器5からの近赤外
光をストロボ7A,7Bにより一定間隔で点滅させ、近赤外
通過フィルタを装着した1台のカメラ4により順次その
位置(フロント,サイド,トップ等の各位置)をずらし
て対象物の一連のゴルフスウィング動作(挙動)を撮像
するものである。このとき、カメラ位置は特徴点マーカ
ーが極力隠れてしなわないように選ぶことが望ましい。
また、この近赤外反射マーカーは一般の蛍光灯照明下で
も、これを付与した部分と付与しない部分とではカメラ
の入力信号レベルにかなりの差が生じるので、このこと
を利用してマーカー付与部分を抽出できるようにしてい
る。さらに、プレーヤの後ろの壁には近赤外反射テープ
10を放射状に貼り付け、上記マーカーの位置決め用とし
て利用するようにしているが、これは必ずしも必要と言
うわけではない。また、近赤外発光ストロボ7A,7Bも場
合によっては省略しても差し支えない。
ない部分との区別が明らかになるカラーマーカーを利用
することもでき、そのためのカメラとしては対応するカ
ラーフィルタを備えたものが用いられる。このとき、カ
ラー濃淡信号(R,G,B各8ビット)の濃度による影響を
なくすため、次式の如く色相信号に変換して用いても良
い。
イスレベルにて切り出すことができる。色相周波数とス
ライスレベルの一例を第2図に示す。SL1,SL2がスライ
スレベルである。
えられる。第3図に点状マーカーの例を、また第4図に
線状マーカーの例を示す。ゴルフスウィングの場合の特
徴点としては例えば人体に10数箇所、ゴルフクラブヘッ
ドには1箇所程度とし、人体の各特徴点に第3図の如く
点状マーカー21を付与するか、または第4図の如く線状
マーカー22を付与する。線状のものは抽出後、細線化す
ることにより特徴分割のベクトル化が可能である。
ットアップからフォロースルーまで)を撮像し、フレー
ムメモリまたはVTR(Video Tape Recorder)システムに
動画として格納する。VTRシステムとしての例を第5図
に示す。
レータ1A、画像信号を記憶するVTR1B、時間軸の補正を
行なうタイムベースコレクタ1C、合成信号VBSからRGBの
カラー信号を抽出するカラーデコーダ1DおよびVTRイン
タフェース1E等からなる公知のもので、この構成自体に
特に意味はないので、詳細は省略する。ただし、各コマ
に基準の時刻信号となるタイムコードを挿入し、コンピ
ュータ2によるコマの制御が可能なようにしておくこと
が必要である。なお、同図の20は画像ファイルを示す。
また、画像解析時に開始フレーム(開始時刻)を認識さ
せるために、スウィングの通過ラインにタイミングセン
サ6を配置しておき、このタイミングセンサ通過時刻の
前後の一定フレームを画像解析の対象とする。
像解析過程に移行する。画像解析の対象は上記タイミン
グセンサの時刻を基準にした一定範囲の画像群であり、
特徴点の切り出し(2値化)は、上記マーカーにより周
囲の背景と輝度レベルに差があること、または色相周波
数に差があることを利用して、各コマ毎に行なわれる。
各コマには複数の特徴点が含まれるのが普通なので、各
特徴点を区別するために各点に次のようなラベル付けを
する。すなわち、人体の体格等により対象の動作パター
ンの範囲を想定した「動作モデル」をコンピュータ内に
予め作成しておき、この動作モデルと上記の如く抽出さ
れた特徴点位置とを照合することにより、特徴点位置の
ラベル付けを行なう。モデルは各フレームにおいて、対
象フォームの動作範囲を標準パターンとして持ってお
り、また前のフレームの特徴点位置との相関関係をパタ
ーンとしてテーブル化したものである。
の例を示す。なお、同図(イ)は動作モデルで、丸印が
特徴点のモデル位置を示す。また、同図(ロ)の直前特
徴点とは特徴点番号が1つ前の特徴点を示し、直後特徴
点とは特徴点番号が1つ後の特徴点を示すものとする。
は、以降のコマにおいて、上記動作モデルと照合するこ
とにより、各コマ間で対応する特徴点同士に同じラベル
を付すことができる。つまり、最初のフレームで2値化
により切り出された特徴点群に、上記動作モデルとの照
合により動作モデルの特徴点ラベルと同じラベルが付け
られる。以下、同様にして次のフレーム以降の画像にお
ける特徴点群が抽出されてラベル付けされ、最終のフレ
ームまで処理したら終了する。このラベル付けに当たっ
ては、各特徴点毎に色相周波数を変えることにより、特
徴点が互いに交わる場合でも正確にラベル付けを行なう
ことが可能となる。また、各フレームの特徴点は時間の
経過とともに移動するが、その移動範囲が動作モデルの
計測によって予め分かるので、その範囲をウインドウに
より指定してラベル付けを行なうことができる。ウイン
ドウの例を第7図に示す。符号23がウインドウである。
8A図に示すような特徴点ファイルにまとめられる。な
お、検出出来ない特徴点(不可視特徴点)は第8B図に示
す動作モデルの特徴点座標テーブルから、補間等の手法
により推定するものとする。推定した点は第8A図ではあ
みかけにより示している。
差する方向(時間軸方向)に操作することにより、特徴
点単位での時間軸方向への並べなおし、および特徴点の
連結ファイルの作成を行なう。そして、標準カメラ座標
系での座標値ファイルを三次元の基準座標系に変換す
る。その概念を説明するのが第9図で、同図(イ)に示
す格子状模型Mの各格子点に予めマークを付けておいて
その各格子点を、基準となるカメラ4(基準カメラ)に
より計測しておきことにより、これから抽出される特徴
点を三次元座標化するものである。なお、同図(ロ)は
基準カメラと三次元座標系との変換テーブルを示してい
る。
等の表示装置に与えられ、所要の表示が行なわれる。表
示の方法は利用目的に応じて任意になされ、1つの特徴
点軌跡のみの表示、特徴点と原画像との合成表示、練習
フォームスティックピピクチャと模範フォームスティッ
クピピクチャと重ね合わせ表示、スティックピクチャの
計測(位置,重心,移動方向など)など、多くの形態が
考えられる。第10図にゴルフスウィングの場合のスティ
ックピクチャ例を示す。
これは、複数(ここでは3台)のカメラ4A,4B,4Cにより
互いに同期をとって複数方向から対象物の挙動を撮像す
る点で第1図と異なるが、その後の処理やマーカーの種
別,形状等については第1図の考え方をそのまま適用す
ることができるので、詳細は省略する。
か、または解析のためにかなり手間のかかるスポーツに
おける動作解析等の動画像処理を比較的高速かつ正確に
行なうことが可能になる。
周波数による特徴点の分離方法を説明するための説明
図、第3図はゴルフスウィング解析のための点状マーカ
ーの例を説明するための説明図、第4図は第3図とおな
じく線状マーカーの例を説明するための説明図、第5図
は公知のVTRシステムの一例を示すブロック図、第6図
は動作モデルとその特徴点位置データテーブルを説明す
るための説明図、第7図は特徴点抽出用ウインドウの例
を説明するための説明図、第8A図および第8B図は特徴点
ファイルおよび動作モデルの特徴点座標テーブルを説明
するための説明図、第9図は基準カメラ座標系と基準の
三次元座標系との変換の概念を説明するための説明図、
第10図はスティックピクチャの例を説明するための説明
図、第11図はこの発明の他の実施例を示す概要図であ
る。 1……VTRシステム、1A……タイムコードジェネレー
タ、1B……VTR、1C……タイムベースコレクタ、1D……
カラーデコーダ、1EVTRインタフェース、2……コンピ
ュータ、3……表示ディスプレイ、4,4A,4B,4C……テレ
ビカメラ、5……近赤外光照明器、6……タイミングセ
ンサ、7A,7B……ストロボ、8……ボール、9ゴルフク
ラブ、10……赤外反射テープ、20……画像ファイル、21
……点状マーカー、22……線状マーカー、23……ウイン
ドウ。
Claims (6)
- 【請求項1】複数の特徴点にそれぞれマーカーが予め付
与された対象物を複数の方向から撮像する撮像手段と、
撮像のタイミングを検知するタイミングセンサと、対象
物を照明する照明手段とにより、前記対象物の挙動を連
続したフレームで一定期間撮像したのち、処理手段にて
各フレーム毎に対象物の二次元特徴点座標を抽出し、こ
れを標準のモデルパターンを用いて計測した特徴点と照
合してフレーム間で対応する特徴点を時系列に連結した
のち、前記二次元特徴点座標を標準の三次元格子状モデ
ルを用いて三次元空間座標に変換することを特徴とする
三次元特徴点座標抽出方法。 - 【請求項2】複数の特徴点にそれぞれマーカーが予め付
与された対象物を複数の方向から撮像する複数の撮像手
段と、各撮像手段の撮像タイミングを検知するタイミン
グセンサと、対象物を照明する照明手段とにより、前記
対象物の挙動を各撮像手段で互いに同期をとって連続し
たフレームで一定期間撮像したのち、処理手段にて各フ
レーム毎に対象物の二次元特徴点座標を抽出し、これを
標準のモデルパターンを用いて計測した特徴点と照合し
てフレーム間で対応する特徴点を時系列に連結したの
ち、前記二次元特徴点座標を標準の三次元格子状モデル
を用いて三次元空間座標に変換することを特徴とする三
次元特徴点座標抽出方法。 - 【請求項3】前記方向別の二次元特徴点座標として検出
出来ない不可視特徴点の座標を、前記モデルパターンと
の照合により補間することを特徴とする請求項1)また
は2)に記載の三次元特徴点座標抽出方法。 - 【請求項4】前記マーカーを近赤外光成分で反射する近
赤外光反射テープで構成することを特徴とする請求項
1)または2)に記載の三次元特徴点座標抽出方法。 - 【請求項5】前記マーカーをカラーマーカーとし背景の
色とは色相が反対方向にある色で形成することを特徴と
する請求項1)または2)に記載の三次元特徴点座標抽
出方法。 - 【請求項6】前記マーカーは点状または線状とすること
を特徴とする請求項1)または2)に記載の三次元特徴
点座標抽出方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2201195A JP2893052B2 (ja) | 1990-07-31 | 1990-07-31 | 三次元特徴点座標抽出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2201195A JP2893052B2 (ja) | 1990-07-31 | 1990-07-31 | 三次元特徴点座標抽出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0486958A JPH0486958A (ja) | 1992-03-19 |
JP2893052B2 true JP2893052B2 (ja) | 1999-05-17 |
Family
ID=16436922
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2201195A Expired - Lifetime JP2893052B2 (ja) | 1990-07-31 | 1990-07-31 | 三次元特徴点座標抽出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2893052B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2641829B2 (ja) * | 1992-11-10 | 1997-08-20 | 株式会社小松製作所 | 曲げ加工機における曲げ角度検出装置 |
JP2826697B2 (ja) * | 1994-02-17 | 1998-11-18 | 株式会社アシックス | ゴルフクラブヘッドの運動計測装置 |
JP5109221B2 (ja) * | 2002-06-27 | 2012-12-26 | 新世代株式会社 | ストロボスコープを使った入力システムを備える情報処理装置 |
JP4494837B2 (ja) * | 2003-12-26 | 2010-06-30 | Sriスポーツ株式会社 | ゴルフスウィング診断システム |
US8698899B2 (en) | 2005-04-15 | 2014-04-15 | The University Of Tokyo | Motion capture system and method for three-dimensional reconfiguring of characteristic point in motion capture system |
US20080170750A1 (en) * | 2006-11-01 | 2008-07-17 | Demian Gordon | Segment tracking in motion picture |
JP2019011980A (ja) * | 2017-06-29 | 2019-01-24 | 株式会社東横エルメス | 変位測定システムおよびそれを用いた変位測定方法 |
-
1990
- 1990-07-31 JP JP2201195A patent/JP2893052B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH0486958A (ja) | 1992-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4615715B2 (ja) | 対象物認識機能及びデータ出力を有するカメラ | |
US8675021B2 (en) | Coordination and combination of video sequences with spatial and temporal normalization | |
US9094615B2 (en) | Automatic event videoing, tracking and content generation | |
US20150297949A1 (en) | Automatic sports broadcasting system | |
US7928976B2 (en) | Telestrator system | |
US20060132487A1 (en) | Method of analyzing moving objects using a vanishing point algorithm | |
US20070064975A1 (en) | Moving object measuring apparatus, moving object measuring system, and moving object measurement | |
JPH06510893A (ja) | パターン・キー挿入を用いたビデオ合併 | |
EP1907076A1 (en) | A method for analyzing the motion of a person during an activity | |
JP2804949B2 (ja) | 動画像の処理方法 | |
JP2893052B2 (ja) | 三次元特徴点座標抽出方法 | |
JP7078577B2 (ja) | 動作類似度評価装置、方法およびプログラム | |
JPH08182786A (ja) | 運動体の画像解析装置 | |
JPH07162744A (ja) | 動画像処理装置 | |
KR20040041297A (ko) | 여러 대의 카메라 영상을 이용하여 운동물체의 위치 및움직임을 추적하고 표시하는 방법 | |
JPH10222668A (ja) | モーションキャプチャ方法およびシステム | |
KR20020028578A (ko) | 모션 게임 장치의 모션 데이터 디스플레이 방법 및 평가방법 | |
CN114302234B (zh) | 一种空中技巧快速包装方法 | |
KR100279681B1 (ko) | 스포츠 영상효과 처리장치 | |
KR101932525B1 (ko) | 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법 | |
US11229824B2 (en) | Determining golf club head location in an image using line detection and contour separation | |
JP2002223405A (ja) | 映像記録再生装置、及び映像記録再生プログラム | |
CN110969133B (zh) | 一种乒乓球比赛视频的智能数据采集方法 | |
JP2002236913A (ja) | 自動人物特定装置 | |
JP2784163B2 (ja) | 位置認識方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080305 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090305 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090305 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100305 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110305 Year of fee payment: 12 |
|
EXPY | Cancellation because of completion of term | ||
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110305 Year of fee payment: 12 |