JPH0486958A - 三次元特徴点座標抽出方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、スポーツをする人の動作（挙動ともいう）
などをＩＴＶ（工業用テレビジョン）カメラ等のセンサ
により撮像し、対象物の動作軌跡を解析９表示するため
の三次元特徴点座標抽出方法に関する。

〔従来の技術〕

従来、運動生理学やスポーツ理論の発展により、スポー
ツにおける人間の動作をビデオカメラ等により動作解析
し、スポーツ能力の向上を図る試みがなされている。

この種の解析システムには、次のようなものがある。

■、ビデオテープの動画再生（スロー再生などを含む）
。

■、ビデオ画面分割による模範動作との比較。

■、各コマ単位の画面分割表示による動作の時系列的解
析。なお、コマとは一連の動画像の各フレーム画像の１
つ１つを云う。

以上は、単なるビデオテープの制御に過ぎないものであ
り、通常はコンピュータは介在していない。これに対し
、コンピュータが介在するものとしては、次のようなも
のがある。

■、予め作成した理想的なスウィングパターンをコンピ
ュータに入力しておき、実際に撮像した対象（練習）フ
オームの画像を基準位置で合わせた後、グラフィック画
面にスーパーインボーズ表示する。

■、ビデオテープに格納した一連の動作を各コマ単位で
静止画像表示し、各コマの画像における動作上の特徴点
をマニュアルで画面入力し、各コマ画像の特徴点群を時
系列に連結し、各特徴点列の軌跡をＣＲＴ上にグラフイ
ンク表示する。

これらの特徴点の集合は、従来、運動生理学ではいわゆ
る［スティックピクチャー１と呼ばれているものであり
、スポーツの科学的解析やトレーニングまたはリハビリ
テーションなどに用いられている。

〔発明が解決しようとする課題〕

上記■〜■の例では、運動動作における「動き」の解析
を全て人間の判断に委ねているため、動作の空間的ずれ
や時間的なタイミングずれなどが捉え難いという問題が
ある。また、上記■の例では動作を客観的に捉えられる
ものの、特徴点列の入力を全てマニュアルで行なうため
、スティックピクチャ画像の作成に真人な時間が掛かっ
て実用性に乏しく、その結果、ごく一部の研究用として
用いられているに過ぎない。

したがって、この発明の課題は動画像の処理を迅速かつ
正確になし得るようにすることにある。

〔課題を解決するための手段〕

複数の特徴点にそれぞれマーカーが予め付与された対象
物を複数の方向から撮像する１つまたは複数の撮像手段
と、撮像のタイミングを検知するタイミングセンサと、
対象物を照明する照明手段とにより、前記対象物の挙動
を連続したフレームで一定期間撮像したのち、処理手段
にて各フレーム毎に対象物の二次元特徴点座標を抽出し
、これを標準のモデルパターンを用いて計測した特徴点
と照合してフレーム間で対応する特徴点を時系列に連結
したのち、前記二次元特徴点座標を標準の三次元格子状
モデルを用いて三次元空間座標に変換する。

〔作用〕

対象物の挙動を１つまたは複数のテレビカメラで複数方
向から撮像した動画像を各コマ単位でコンピュータに入
力し、各コマの画像における特徴点群を抽出し、標準の
動作モデルを用いて隠れた点を複数のカメラ画像を用い
て補間し、抽出した特徴点群を三次元格子状モデルを用
いて時系列に連結し、三次元空間座標系に変換すること
により、その結果をグラフィック表示したり、さらには
原画像との重ね合わせや各特徴点群の位置２重心移動方
向などを高速かつ正確に計測できるようにする。

〔実施例］ 第１図はこの発明の実施例を示す概要図で、ゴルフスウ
ィングの動作解析に適用した例である。

なお、これ以外のスポーツ（テニス、野球など）のフオ
ーム解析にも適用可能である。

同図において、１はＶＴＲシステム、２は画像処理用コ
ンピュータ、３は表示デイスプレィ、４はテレビカメラ
、５は照明器、６はタイミングセンサ、７Ａ、７Ｂはス
トロボ、８はゴルフボール、９はゴルフクラブ、１０は
赤外反射テープをそれぞれ示す。

これは、人間を含む対象物の各特徴点に例えば近赤外光
を反射するマーカーを付与し、照明器５からの近赤外光
をストロボ７Ａ、７Ｂにより一定間隔で点滅させ、近赤
外通過フィルタを装着した１台のカメラ４により順次そ
の位置（フロント。

サイド、トップ等の各位置）をずらして対象物の一連の
ゴルフスウィング動作（挙動）を撮像するものである。

このとき、カメラ位置は特徴点マーカーが極力隠れてし
まわないように選ぶことが望ましい。また、この近赤外
反射マーカーは一般の蛍光灯照明下でも、これを付与し
た部分と付与しない部分とではカメラの入力信号レベル
にかなりの差が生じるので、このことを利用してマーカ
ー付与部分を抽出できるようにしている。さらに、プレ
ーヤの後ろの壁には近赤外反射テープ１０を放射状に貼
り付け、上記マーカーの位置決め用として利用するよう
にしているが、これは必ずしも必要と言うわけではない
。また、近赤外発光ストロボ７Ａ、７Ｂも場合によって
は省略しても差し支えない。

近赤外反射マーカーの代えて付与した部分と、そうでな
い部分との区別が明らかになるカラーマーカーを利用す
ることもでき、そのためのカメラとしては対応するカラ
ーフィルタを備えたものが用いられる。このとき、カラ
ー濃淡信号（Ｒ，Ｇ。

Ｂ各８ビット）の濃度による影響をなくすため、次式の
如く色相信号に変換して用いても良い。

色相Ｒ’　　＝に、Ｒ／　（Ｒ＋Ｇ＋Ｂ）色相Ｇ’　　
−に２Ｇ／　（Ｒ＋Ｇ＋Ｂ）色相Ｂ’　　＝に３Ｂ／　
（Ｒ＋Ｇ　十Ｂ）（ただし、Ｒ，Ｇ、Ｂはカラー濃淡信
号を示す。）このようにすれば、各特徴点を一定色相周
波数のスライスレベルにて切り出すことができる。色相
周波数とスライスレベルの一例を第２図に示す。

ＳＬｌ、ＳＬ２がスライスレベルである。

マーカーの形状としては、点状または線状のものが考え
られる。第３図に点状マーカーの例を、また第４図に線
状マーカーの例を示す。ゴルフスウィングの場合の特徴
点としては例えば人体に１０数箇所、ゴルフクラブヘッ
ドには１箇所程度とし、人体の各特徴点に第３図の如く
点状マーカー２１を付与するか、または第４図の如く線
状マーカー２２を付与する。線状のものは抽出後、細線
化することにより特徴部分のベクトル化が可能である。

このような条件でゴルフの一連のスウィング動作（セッ
トアツプからフォロースルーまで）を撮像し、フレーム
メモリまたはＶＴＲ（Ｖｉｄｅ。

Ｔａｐｅ　　Ｒｅｃｏｒｄｅｒ）システムに動画として
格納する。ＶＴＲシステムとしての例を第５図に示す。

これは、タイムコードを発生するタイムコードジェネレ
ータＩＡ、画像信号を記憶するＶＴＲＩＢ、時間軸の補
正を行なうタイムベースコレクタＩＣ１合成信号ＶＢＳ
からＲＧＢのカラー信号を抽出するカラーデコーダＩＤ
およびＶＴＲインタフェースＩＥ等からなる公知のもの
で、この構成自体に特に意味はないので、詳細は省略す
る。ただし、各コマに基準の時刻信号となるタイムコー
ドを挿入し、コンピュータ２によるコマの制御が可能な
ようにしておくことが必要である。なお、同図の２０は
画像ファイルを示す。また、画像解析時に開始フレーム
（開始時刻）を認識させるために、スウィングの通過ラ
インにタイミングセンサ６を配置しておき、このタイミ
ングセンサ通過時刻の前後の一定フレームを画像解析の
対象とする。

一連の撮像過程が終了すると、コンピュータによる画像
解析過程に移行する。画像解析の対象は上記タイミング
センサの時刻を基準にした一定範囲の画像群であり、特
徴点の切り出しく２値化）は、上記マーカーにより周囲
の背景と輝度レベルに差があること、または色相周波数
に差があることを利用して、各コマ毎に行なわれる。各
コマには複数の特徴点が含まれるのが普通なので、各特
徴点を区別するために各点に次のようなラベル付けをす
る。すなわち、人体の体格等により対象の動作パターン
の範囲を想定した「動作モデル」をコンピュータ内に予
め作成しておき、この動作モデルと上記の如く抽出され
た特徴点位置とを照合することにより、特徴点位置のラ
ベル付けを行なう。モデルは各フレームにおいて、対象
フオームの動作範囲を標準パターンとして持っており、
また前のフレームの特徴点位置との相関関係をパターン
としてテーブル化したものである。

第６図に動作モデルとその特徴点位置データテーブルの
例を示す。なお、同図（イ）は動作モデルで、丸印が特
徴点のモデル位置を示す。また、同図（ロ）の直前特徴
点とは特徴点番号が１つ前の特徴点を示し、直後特徴点
とは特徴点番号が１つ後の特徴点を示すものとする。

こうして、最初のコマでラベル付けされた各特徴点は、
以降のコマにおいて、上記動作モデルと照合することに
より、各コマ間で対応する特徴点同士に同じラベルを付
すことができる。つまり、最初のフレームで２値化によ
り切り出された特徴点群に、上記動作モデルとの照合に
より動作モデルの特徴点ラベルと同じラベルが付けられ
る。以下、同様にして次のフレーム以降の画像における
特徴点群が抽出されてラベル付けされ、最終のフレーム
まで処理したら終了する。このラベル付げに当たっては
、各特徴点毎に色相周波数を変えることにより、特徴点
が互いに交わる場合でも正確にラベル付けを行なうこと
が可能となる。また、各フレームの特徴点は時間の経過
とともに移動するが、その移動範囲が動作モデルの計測
によって予め分かるので、その範囲をウィンドウにより
指定してラベル付けを行なうことができる。ウィンドウ
の例を第７図に示す。符号２３がウィンドウである。

その結果抽出された特徴点群は、各カメラ座標毎に第８
Ａ図に示すような特徴点ファイルにまとめられる。なお
、検出出来ない特徴点（不可視特徴点）は第８Ｂ図に示
す動作モデルの特徴点座標テーブルから、補間等の手法
により推定するものとする。推定した点は第８Ａ図では
あみかけにより示している。

次に、以上の如き特徴点ファイルをその抽出過程と交差
する方向（時間軸方向）に操作することにより、特徴点
単位での時間軸方向への並べなおし、および特徴点の連
結ファイルの作成を行なう。

そして、標準カメラ座標系での座標値ファイルを三次元
の基準座標系に変換する。その概念を説明するのが第９
図で、同図（イ）に示す格子状模型Ｍの各格子点に予め
マークを付けておいてその各格子点を、基準となるカメ
ラ４（基準カメラ）により計測しておくことにより、こ
れから抽出される特徴点を三次元座標化するものである
。なお、同図（ロ）は基準カメラと三次元座標系との変
換テーブルを示している。

変換された三次元座標群はグラフィックデイスプレィ等
の表示装置に与えられ、所要の表示が行なわれる。表示
の方法は利用目的に応じて任意になされ、１つの特徴点
軌跡のみの表示、特徴点と原画像との合成表示、練習フ
ォームスティソクビビクチャと模範フォームスティソク
ピピクチャとの重ね合わせ表示、スティックピクチャの
計測（位置９重心、移動方向など）など、多くの形態が
考えられる。第１Ｏ図にゴルフスウィングの場合のステ
ィックピクチャ例を示す。

第１１図はこの発明の他の実施例を示す概要図である。

これは、複数（ここでは３台）のカメラ４Ａ、４Ｂ、４
Ｃにより互いに同期をとって複数方向から対象物の挙動
を撮像する点で第１図と異なるが、その後の処理やマー
カーの種別、形状等については第１図の考え方をそのま
ま適用することができるので、詳細は省略する。

〔発明の効果〕

この発明によれば、従来のものでは解析出来なかったか
、または解析のためにかなり手間のかかるスポーツにお
ける動作解析等の動画像処理を比較的高速かつ正確に行
なうことが可能になる。

【図面の簡単な説明】

第１図はこの発明の実施例を示す概要図、第２図は色相
周波数による特徴点の分離方法を説明するための説明図
、第３図はゴルフスウィング解析のための点状マーカー
の例を説明するための説明図、第４図は第３図とおなじ
く線状マーカーの例を説明するための説明図、第５図は
公知のＶＴＲシステムの一例を示すブロック図、第６図
は動作モデルとその特徴点位置データテーブルを説明す
るための説明図、第７図は特徴点抽出用ウィンドウの例
を説明するための説明図、第８Ａ図および第８Ｂ図は特
徴点ファイルおよび動作モデルの特徴点座標テーブルを
説明するための説明図、第９図は基準カメラ座標系と基
準の三次元座標系との変換の概念を説明するための説明
図、第１０図はスティックピクチャの例を説明するため
の説明図、第１１図はこの発明の他の実施例を示す概要
図である。 １・・・ＶＴＲシステム、ＩＡ・・・タイムコードジェ
ネレータ、ＩＢ・・・ＶＴＲ，ＩＣ・・・タイムベース
コレクタ、ＩＤ・・・カラーデコーダ、ｌ　ＥＶＴＲイ
ンタフェース、２・・・コンピュータ、３・・・表示デ
イスプレィ、４．４Ａ、４Ｂ、４Ｃ・・・テレビカメラ
、５・・・近赤外光照明器、６・・・タイミングセンサ
、７Ａ、７Ｂ・・・ストロボ、８・・・ボール、９ゴル
フクラブ、１０・・・赤外反射テープ、２０・・・画像
ファイル、２１・・・点状マーカー、２２・・・線状マ
ーカー、２３・・・ウィンドウ。

Claims (1)

1. 【特許請求の範囲】 １）複数の特徴点にそれぞれマーカーが予め付与された
   対象物を複数の方向から撮像する撮像手段と、撮像のタ
   イミングを検知するタイミングセンサと、対象物を照明
   する照明手段とにより、前記対象物の挙動を連続したフ
   レームで一定期間撮像したのち、処理手段にて各フレー
   ム毎に対象物の二次元特徴点座標を抽出し、これを標準
   のモデルパターンを用いて計測した特徴点と照合してフ
   レーム間で対応する特徴点を時系列に連結したのち、前
   記二次元特徴点座標を標準の三次元格子状モデルを用い
   て三次元空間座標に変換することを特徴とする三次元特
   徴点座標抽出方法。 ２）複数の特徴点にそれぞれマーカーが予め付与された
   対象物を複数の方向から撮像する複数の撮像手段と、各
   撮像手段の撮像タイミングを検知するタイミングセンサ
   と、対象物を照明する照明手段とにより、前記対象物の
   挙動を各撮像手段で互いに同期をとって連続したフレー
   ムで一定期間撮像したのち、処理手段にて各フレーム毎
   に対象物の二次元特徴点座標を抽出し、これを標準のモ
   デルパターンを用いて計測した特徴点と照合してフレー
   ム間で対応する特徴点を時系列に連結したのち、前記二
   次元特徴点座標を標準の三次元格子状モデルを用いて三
   次元空間座標に変換することを特徴とする三次元特徴点
   座標抽出方法。 ３）前記方向別の二次元特徴点座標として検出出来ない
   不可視特徴点の座標を、前記モデルパターンとの照合に
   より補間することを特徴とする請求項１）または２）に
   記載の三次元特徴点座標抽出方法。 ４）前記マーカーを近赤外光成分で反射する近赤外光反
   射テープで構成することを特徴とする請求項１）または
   ２）に記載の三次元特徴点座標抽出方法。 ５）前記マーカーをカラーマーカーとし背景の色とは色
   相が反対方向にある色で形成することを特徴とする請求
   項１）または２）に記載の三次元特徴点座標抽出方法。 ６）前記マーカーは点状または線状とすることを特徴と
   する請求項１）または２）に記載の三次元特徴点座標抽
   出方法。