JPH03224580A

JPH03224580A - 動画像の処理方法

Info

Publication number: JPH03224580A
Application number: JP2019300A
Authority: JP
Inventors: Kazuhiko Fukuda; 和彦福田; Yoshiyuki Fukushima; 慶之福島; Masaaki Ito; 伊東　正明
Original assignee: Fuji Electric Co Ltd; Fuji Facom Corp
Current assignee: Fuji Electric Co Ltd; Fuji Facom Corp
Priority date: 1990-01-31
Filing date: 1990-01-31
Publication date: 1991-10-03
Anticipated expiration: 2013-09-30
Also published as: JP2804949B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、スポーツをする人の動作などをＩＴＶ（工業
用テレビジョン）カメラ等のセンサにより撮像し、対象
物の動作、挙動を表示、解析するための処理方法に関す
る。

〔従来の技術〕

近年、運動生理学やスポーツ理論の発展により、スポー
ツにおける人間の動作（挙動）をビデオカメラ等により
動作解析し、スポーツ能力の向上を図る試みがなされて
いる。

従来、この種の解析システムには次のようなものがある
。

ｉ）ビデオテープの動画再生（スロー再生などを含む）
。

ｉｉ　）ビデオ画面分割による模範動作との比較。

ｉｉｉ　）各コマ単位の画面分割表示による動作の時系
列的解析。なお、コマとは一連の動画像の各フレーム画
像の１つ１つを云う。

以上は単なるビデオテープの制御に過ぎないものであり
、コンピュータは介在していないのが普通である。これ
に対し、コンビ二一タが介在するものとしては次のよう
なものがある。

ｉｖ）ビデオテープに格納した一連の動作を各コマ単位
で静止画像表示し、各コマの画像における動作上の特徴
点をマニュアルで画面入力し、各コマ画像の特徴点群を
時系列に連結し、各特徴点列の軌跡をＣＲＴ上にグラフ
インク表示する。

これらの各特徴点列の軌跡画像は、運動生理学では従来
からいわゆる「スティックピクチャ」と呼ばれているも
のであり、スポーツの科学的解析やトレーニングまたは
リハビリテーションに用いられている。

〔発明が解決しようとする課題〕

従来システムのｉ）〜ｉｉｉ　）の例では、運動動作に
おける「動き」の解析を全て人間の判断に委ねているた
め、動作の空間的ずれや時間的なタイミングずれなどが
捉え難いという問題がある。

また、コンビ二一夕が介在するｉｖ）の例では動作を客
観的に捉えられるものの、特徴点列の入力を全てマニュ
アルで行なうため、スティックピクチャの作成にぼう大
な時間が掛かって実用性に乏しく、その結果ごく一部の
研究にしか用いることができない。

したがって、本発明の目的は人間を含む対象物の動作を
撮像入力した動画像の処理を高速かつ正確に行ない得る
ようにすることにある。

（課題を解決するための手段〕複数の特徴点にそれぞれマーカーが予め付与された人間
を含む対象物を複数の方向からそれぞれ撮像する複数の
撮像手段と、撮像のタイミングを検知するタイミングセ
ンサと、対象物を照明する照明手段とにより前記対象物
の挙動を連続したフレームで一定期間撮像したのち、処
理手段にて各フレーム毎に対象物の三次元特徴点座標を
抽出し、対応する特徴点座標をフレーム間で連結した情
報を得てその表示、計測、解析の少なくとも１つを可能
にする。

〔作用〕

人間を含む対象物の挙動を撮像入力した動画像を各コマ
単位で処理装置（コンピュータ）に入力し、各コマの画
像における三次元の特徴点座標群を抽出し、抽出した特
徴点座標群を時系列に連結してＣＲＴ画面上にグラフィ
ック表示するか、場合によっては原画像との重ね合わせ
や重心、移動方向の計測または解析ができるようにして
高速かつ正確な処理を可能にする。

〔実施例〕

第１図は本発明の実施例を示し、ゴルフスイングに適用
した例である。

同図において、ｌはＶＴＲシステム、２はコンピュータ
、３は表示デイスプレィ、４Ａはフロント（前方）カメ
ラ、４Ｂはサイド（側方）カメラ、４Ｃはトップ（上方
）カメラ、５は照明器、６はタイミングセンサ、７はゴ
ルフボール、８はゴルフクラブを示す。

フロントカメラ４Ａ、サイドカメラ４Ｂおよびトップカ
メラ４Ｃはタイミングセンサ６からの信号により、互い
に同期をとりながらゴルフスイング動作を撮像する。カ
メラの種類は、特徴点抽出のために対象物に付与される
マーカーによって決まり、マーカーとして第２図の如き
カラーバンドマーカー２０を使用するものであれば、特
徴点の色のみを通過し背景の色はカントする色フィルタ
を装着したカメラが用いられることになる。このカラー
バンドは特徴点が背景と明確に区別できる特定の色、例
えば特徴点色と背景色とでその色相が対極にある色、赤
に対しては緑、白に対しては黒の如くなるように選ぶこ
とが望ましい。また、バンドの幅は検出精度と撮像視野
の分解能および特徴点の動作範囲等で決め、その位置お
よび数も特徴点の動作範囲等から決定し、ここでは人体
にｌＯ数箇所、ゴルフクラブヘッドに１箇所程度付与す
るものとする。

このような条件で、ゴルフの一連のスイング動作（セン
トアップからフォロースルーまで）を撮像し、フレーム
メモリまたはＶＴＲ（Ｖｉｄｅ。

Ｔａｐｅ　　Ｒｅｃｏｒｄｅｒ）システムに動画として
格納する。ＶＴＲシステムとしての例を第３図に示す。

これは、タイムコードを発生するタイムコードジェネレ
ータＩＡ、画像信号を記憶するＶＴＲＩ　Ｂ、時間軸の
補正を行なうタイムベースコレクツ１０１合成信号ＶＢ
ＳからＲＧＢのカラー信号を抽出するカラーデコーダＩ
ＤおよびＶＴＲインタフェースＩＥ等からなる公知のも
ので、この構成自体には特に意味はないので、詳細は省
略する。ただし、各コマに基準の時刻信号となるタイム
コードを挿入し、コンピュータ２によるコマの制御が可
能なようにしておくことが必要である。なお、同図の２
１は画像ファイルを示す。また、画像処理時に開始フレ
ームを認識させるために、スイングの通過ラインにタイ
ミングセンサ６を配置しておき、このタイミングセンサ
通過時刻の前後の一定コマを画像処理の対象にするもの
とする。

一連の撮像過程が終了すると、コンピュータによる画像
処理過程に移行する０画像処理の対象は上記タイミング
センサの時刻を基準にした一定範囲の画像群で、まずそ
の先頭の時刻のフレーム■において、特徴点の抽出を行
なう。撮像カメラの位置とスイング位置とは固定されて
いるので、ゴルファの体格および撮像時刻に応じて予め
用意された特徴点抽出用領域（ウィンドウ）の中で、定
輝度でのスライスレベルにより切り出しが行なわれる。

ウィンドウの例を第４図に示す。符号２２がウィンドウ
である。特徴抽出された特徴点群は、対応する特徴点抽
出用ウィンドウ群と同じ番号でラベル付けされる。すな
わち、通常のテレビの画像フレーム周期はｌ／３０秒で
あり、各コマ間での特徴点の移動方向は予め予想される
範囲にあることから、各特徴点を検索するに当たっては
最初のコマでラベル付けした各特徴点が次のコマで移動
し得る範囲を予め推定しておき、その範囲をウィンドウ
で指定することにより、各コマ間で対応する特徴点同士
を同じラベルで符号化することができる。

次のフレーム■においても、上記と同様に予め用意され
た特徴点抽出用ウィンドウ群により、特徴点の抽出が行
なわれ、抽出された特徴点は対応する特徴点抽出用ウィ
ンドウ群と同じ番号でラベル付けされる。フレーム毎の
特徴点抽出用ウィンドウ群は、スイングにおける特徴点
の移動範囲を示しているので、それぞれに付けられたウ
ィンドウ番号は一対一に対応している。以下、同様にし
てフレーム■以降の画像についても特徴点の抽出とその
ラベル付けが行なわれ、最終のフレームまで処理したら
終了する。こうして抽出された特徴点群は、例えば第３
図に符号２１で示す如きファイルに第５図の如く格納さ
れる。

第１図または第３図に示される画像処理コンピュータで
は、以上の如く生成された特徴点ファイルを抽出過程と
交差する方向（時間軸方向）に操作することにより、特
徴点群の各特徴点単位での時間軸方向への並べなおし、
および特徴点の連結ファイルの作成を行なう。また、カ
メラが１台であれば検出できない特徴点（不可視特徴点
）でも、本発明の如くカメラを複数台設けて撮像を同期
して行なうことにより、撮像方向が異なる複数の画像の
特徴点から不可視特徴点を補間することができる。

また、１つのカメラの各フレーム間でも必要に応じて補
間することができる。第６図にその例を示す。これは、
（ｎ−１）フレームと（’ｎ　＋　１　）フレームの各
特徴点からｎフレームの不可視特徴点を線形的に補間す
る例を示している。

以上のようにして生成された特徴点情報を特徴点軌跡（
すなわちスティックピクチャ）として、第１図に示す表
示デイスプレィ３上に例えば第７図の如く表示する。表
示の方法は利用目的に応じて任意であり、１つの特徴点
軌跡のみの表示、特徴点軌跡と原画像との合成表示、練
習フオームスティックピクチャと模範フオームスティッ
クピクチャとの重ね合わせ表示などが可能であり、ステ
ィックピクチャの計測（位置９重心９移動方向。

速度など）も可能である。

第８図に本発明の変形例を示す。

これは、人間を含む対象物の特徴点に近赤外光を反射す
るマーカー（近赤外反射バンド）を付与し、近赤外発光
ストロボ９Ａ、９Ｂを一定間隔で点滅させ、近赤外通過
フィルタを装着したカメラ４Ａ、４Ｂ、４Ｃにより対象
物の一連の動作を撮像するものである。近赤外反射バン
ドは近赤外光に特に反応して反射するテープを貼り付け
て構成する一方、プレーヤの後ろの壁には、近赤外マー
カーの反射点の位置決めのための近赤外反射テープｌＯ
を放射状に貼り付けておくものとする。また、照明器５
は近赤外光を照射するものとする。

なお、近赤外発光ストロボ９Ａ、９Ｂは場合によっては
省略しても良い。なお、これ以外の点は第１図と同様で
ある。

以上では、主としてゴルフの場合について説明したが、
本発明はこれと同様のスポーツ、例えばテニスのスイン
グ動作、野球のピッチング動作、さらには患者のリハビ
リテーション動作等にも適用することができる。

第９図は本発明の他の実施例を示す概要図で、ロボット
の動作を監視９表示する例を示す。

すなわち、全体の構成上は対象物が日永ツ）１１になっ
た点が第１図に示すものと相違する程度で、三次元特徴
点を抽出してこれを連結する点は第１図に示すものと同
様である。ただ、ここではこの情報に基づきロボットの
動作を監視するようにした点で相違している。つまり、
第１０図の如（ロボットにマーカー２０を付けるととも
に、ウィンドウ２２を設定して三次元特徴点を抽出して
これを連結した動作パターンが第１１図の実線の如くで
あるとすると、これを同図の点線にて示されるような標
準のパターンと比較してその結果を表示し、監視するも
のである。なお、第１１図は各カメラ毎の動作パターン
を示している。このときの表示は同図の如き標準パター
ンとの重ね合わせ表示でも良く、あるいは標準パターン
とのずれ量を数値として表示するものでも良い。

また、第９図はマーカーがカラーの場合であるが、これ
を第８図のように近赤外反射バンドとし、カメラ、照明
器およびストロボを第８図と同様にすることができるこ
と、さらにはロボット以外の対象物にも適用することが
できるのは云うまでもない。

〔発明の効果〕

本発明によれば、人間を含む対象物の挙動を撮像入力し
た動画像を各フレーム単位で処理袋ＷＬ（コンピュータ
）に入力し、各フレーム画像における三次元の特徴点座
標群を抽出し、抽出した特徴点座標群を時系列的に連結
するようにしたので、処理を正確かつ高速に実行し得る
利点がもたらされる。

【図面の簡単な説明】

第１図は本発明の実施例を示す概要図、第２図はカラー
バンドマーカーを説明するための説明図、第３図はＶＴ
Ｒシステムを示すブロック図、第４図はウィンドウを説
明するための説明図、第５図は特徴点情報を説明するた
めの説明図、第６図は不可視点の補間方法の一例を説明
するための説明図、第７図はゴルフスイングのスティッ
クピクチャ例を説明するための説明図、第８図は本発明
の変形例を示す概要図、第９図は本発明の他の実施例を
示す概要図、第１０図はロボットとそのマーカーおよび
ウィンドウの例を説明するための説明図、第１１図は本
発明による動作監視方法を説明するための説明図である
。符号説明１・・・ＶＴＲシステム、ＩＡ・・・タイムコードジェ
ネレータ、ＩＢ・・・ＶＴＲ，ＩＣ・・・タイムヘース
コレクタ、ＩＤ・・・カラーデコーダ、ＩＥ・・・ＶＴ
Ｒインタフェース、２・・・コンピュータ、３・・・表
示デイスプレィ、４．４Ａ〜４Ｃ・・・カメラ、５・・
・照明器、６・・・タイミングセンサ、７・・・ゴルフ
ボール、８・・・ゴルフクラブ、９Ａ、９Ｂ・・・スト
ロボ、ｌＯ・・・近赤外反射テープ、１１・・・ロボッ
ト、２０・・・カラーバンドマーカー、２１・・・画像
ファイル、２２・・・ウィンドウ。

Claims

【特許請求の範囲】１）複数の特徴点にそれぞれマーカーが予め付与された
人間を含む対象物を複数の方向からそれぞれ撮像する複
数の撮像手段と、撮像のタイミングを検知するタイミン
グセンサと、対象物を照明する照明手段とにより前記対
象物の挙動を連続したフレームで一定期間撮像したのち
、処理手段にて各フレーム毎に対象物の三次元特徴点座
標を抽出し、対応する特徴点座標をフレーム間で連結し
た情報を得てその表示、計測、解析の少なくとも１つを
可能にしてなることを特徴とする動画像の処理方法。２）複数の特徴点にそれぞれマーカーが予め付与された
人間を含む対象物を複数の方向からそれぞれ撮像する複
数の撮像手段と、撮像のタイミングを検知するタイミン
グセンサと、対象物を照明する照明手段とにより前記対
象物の挙動を連続したフレームで一定期間撮像したのち
、処理手段にて各フレーム毎に対象物の三次元特徴点座
標を抽出し、対応する特徴点座標をフレーム間で連結し
て動作パターンを作成し、これを基準の動作パターンと
比較してその結果を表示することを特徴とする動画像の
処理方法。３）前記複数の撮像手段の間で互いに同期をとって撮像
することにより、特徴点の補間を可能にしてなることを
特徴とする請求項１）または２）に記載の動画像の処理
方法。４）前記各特徴点が次フレームで移動可能な範囲をウィ
ンドウにて指示し、各フレーム間で対応する特徴点同士
に同じラベルを付して処理を容易にしてなることを特徴
とする請求項１）または２）に記載の動画像の処理方法
。５）前記特徴点のマーカーをカラーマーカーにするとと
もに、これを特徴点以外の色とは色相が反対の関係にあ
る色で構成し、かつ前記撮像手段に対してはカラーフィ
ルタを付加してなることを特徴とする請求項１）または
２）に記載の動画像の処理方法。６）前記マーカーを近赤外光を反射するマーカーにする
とともに、前記照明手段を近赤外光を照射する照明手段
とし、かつ前記撮像手段に対し近赤外光通過フィルタを
付加してなることを特徴とする請求項１）または２）に
記載の動画像の処理方法。７）前記マーカーの大きさ、位置または個数は特徴点の
動作範囲に応じて選択することを特徴とする求項１）ま
たは２）に記載の動画像の処理方法。