JP2804949B2 - 動画像の処理方法 - Google Patents

動画像の処理方法

Info

Publication number
JP2804949B2
JP2804949B2 JP2019300A JP1930090A JP2804949B2 JP 2804949 B2 JP2804949 B2 JP 2804949B2 JP 2019300 A JP2019300 A JP 2019300A JP 1930090 A JP1930090 A JP 1930090A JP 2804949 B2 JP2804949 B2 JP 2804949B2
Authority
JP
Japan
Prior art keywords
feature point
frame
image pickup
feature points
processing method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2019300A
Other languages
English (en)
Other versions
JPH03224580A (ja
Inventor
和彦 福田
慶之 福島
正明 伊東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Electric Co Ltd
Original Assignee
Fuji Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Electric Co Ltd filed Critical Fuji Electric Co Ltd
Priority to JP2019300A priority Critical patent/JP2804949B2/ja
Publication of JPH03224580A publication Critical patent/JPH03224580A/ja
Application granted granted Critical
Publication of JP2804949B2 publication Critical patent/JP2804949B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、スポーツをする人の動作などをITV(工業
用テレビジョン)カメラ等のセンサにより撮像し、対象
物の動作,挙動を表示,解析するための処理方法に関す
る。
〔従来の技術〕
近年、運動生理学やスポーツ理論の発展により、スポ
ーツにおける人間の動作(挙動)をビデオカメラ等によ
り動作解析し、スポーツ能力の向上を図る試みがなされ
ている。
従来、この種の解析システムには次のようなものがあ
る。
i)ビデオテープの動画再生(スロー再生などを含
む)。
ii)ビデオ画面分割による模範動作との比較。
iii)各コマ単位の画面分割表示による動作の時系列的
解析。なお、コマとは一連の動画像の各フレーム画像の
1つ1つを云う。
以上は単なるビデオテープの制御に過ぎないものであ
り、コンピュータは介在していないのが普通である。こ
れに対し、コンピュータが介在するものとしては次のよ
うなものがある。
iv)ビデオテープに格納した一連の動作を各コマ単位で
静止画像表示し、各コマの画像における動作上の特徴点
をマニュアルで画面入力し、各コマ画像の特徴点群を時
系列に連結し、各特徴点列の軌跡をCRT上にグラフィッ
ク表示する。
これらの各特徴点列の軌跡画像は、運動生理学では従
来からいわゆる「スティックピクチャ」と呼ばれている
ものであり、スポーツの科学的解析やトレーニングまた
はリハビリテーションに用いられている。
〔発明が解決しようとする課題〕
従来システムのi)〜iii)の例では、運動動作にお
ける「動き」の解析を全て人間の判断に委ねているた
め、動作の空間的ずれや時間的なタイミングずれなどが
捉え難いという問題がある。
また、コンピュータが介在するiv)の例では動作を客
観的に捉えられるものの、特徴点列の入力を全てマニュ
アルで行なうため、スティックピクチャの作成にぼう大
な時間が掛かって実用性に乏しく、その結果ごく一部の
研究にしか用いることができない。
したがって、本発明の目的は人間を含む対象物の動作
を撮影入力した動画像の処理を高速かつ正確に行ない得
るようにすることにある。
〔課題を解決するための手段〕
複数の特徴点にそれぞれマーカーが予め付与された人
間を含む対象物を複数の方向からそれぞれ撮像する複数
の撮像手段と、撮像のタイミングを検知するタイミング
センサと、対象物を照明する照明手段とにより前記対象
物の挙動を連続したフレームで一定期間撮像したのち、
処理手段にて各フレーム毎に対象物の三次元特徴点座標
を抽出し、対応する特徴点座標をフレーム間で連結した
情報を得てその表示,計測,解析の少なくとも1つを可
能にする。
〔作用〕
人間を含む対象物の挙動を撮像入力した動画像を各コ
マ単位で処理装置(コンピュータ)に入力し、各コマの
画像における三次元の特徴点座標群を抽出し、抽出した
特徴点座標群を時系列に連結してCRT画面上にグラフィ
ック表示するか、場合によっては原画像との重ね合わせ
や重心,移動方向の計測または解析ができるようにして
高速かつ正確な処理を可能にする。
〔実施例〕
第1図は本発明の実施例を示し、ゴルフスイングに適
用した例である。
同図において、1はVTRシステム、2はコンピュー
タ、3は表示ディスプレイ、4Aはフロント(前方)カメ
ラ、4Bはサイド(側方)カメラ、4Cはトップ(上方)カ
メラ、5は照明器、6はタイミングセンサ、7はゴルフ
ボール、8はゴルフクラブを示す。
フロントカメラ4A,サイドカメラ4Bおよびトップカメ
ラ4Cはタイミングセンサ6からの信号により、互いに同
期をとりながらゴルフスイング動作を撮像する。カメラ
の種類は、特徴点抽出のために対象物に付与されるマー
カーによって決まり、マーカーとして第2図の如きカラ
ーバンドマーカー20を使用するものであれば、特徴点の
色のみを通過し背景の色はカットする色フィルタを装着
したカメラが用いられることになる。このカラーバンド
は特徴点が背景と明確に区別できる特定の色、例えば特
徴色と背景色とでその色相が対極にある色、赤に対して
は緑、白に対しては黒の如くなるように選ぶことが望ま
しい。また、バンドの幅は検出精度と撮像視野の分解能
および特徴点の動作範囲等で決め、その位置および数も
特徴点の動作範囲等から決定し、ここでは人体に10数箇
所、ゴルフクラブヘッドに1箇所程度付与するものとな
る。
このような条件で、ゴルフの一連のスイング動作(セ
ットアップからフォロースルーまで)を撮像し、フレー
ムメモリまたはVTR(Video Tape Recorder)システム
に動画として格納する。VTRシステムとしての例を第3
図に示す。これは、タイムコードを発生するタイムコー
ドジェネレータ1A、画像信号を記憶するVTR1B、時間軸
の補正を行なうタイムベースコレクタ1C、合成信号VBS
からRGBのカラー信号を抽出するカラーデコーダ1Dおよ
びVTRインタフェース1E等からなる公知のもので、この
構成自体には特に意味はないので、詳細は省略する。た
だし、各コマに基準の時刻信号となるタイムコードを挿
入し、コンピュータ2によるコマの制御が可能なように
しておくことが必要である。なお、同図の21は画像ファ
イルを示す。また、画像処理時に開始フレームを認識さ
せるために、スイングの通過ラインにタイミングセンサ
6を配置しておき、このタイミングセンサ通過時刻の前
後の一定コマを画像処理の対象にするものとする。
一連の撮像過程が終了すると、コンピュータによる画
像処理過程に移行する。画像処理の対象は上記タイミン
グセンサの時刻を基準にした一定範囲の画像群で、まず
その先頭の時刻のフレームにおいて、特徴点の抽出を
行なう。撮像カメラの位置とスイング位置とは固定され
ているので、ゴルファの体格および撮像時刻に応じて予
め用意された特徴点抽出用領域(ウインドウ)の中で、
一定輝度でのスライスレベルにより切り出しが行なわれ
る。ウインドウの例を第4図に示す。符号22がウインド
ウである。特徴抽出された特徴点群は、対応する特徴点
抽出用ウインドウ群と同じ番号でラベル付けされる。す
なわち、通常のテレビの画像フレーム周期は1/30秒であ
り、各コマ間での特徴点の移動方向は予め予想される範
囲にあることから、各特徴点を検索するに当たっては最
初のコマでラベル付けした各特徴点が次のコマで移動し
得る範囲を予め推定しておき、その範囲をウインドウで
指定することにより、各コマ間で対応する特徴点同士を
同じラベルで符号化することができる。
次のフレームにおいても、上記と同様に予め用意さ
れた特徴点抽出用ウインドウ群により、特徴点の抽出が
行なわれ、抽出された特徴点は対応する特徴点抽出用ウ
インドウ群と同じ番号でラベル付けされる。フレーム毎
の特徴点抽出用ウインドウ群は、スイングにおける特徴
点の移動範囲を示しているので、それぞれに付けられた
ウインドウ番号は一対一に対応している。以下、同様に
してフレーム以降の画像についても特徴点の抽出とそ
のラベル付けが行なわれ、最終のフレームまで処理した
ら終了する。こうして抽出された特徴点群は、例えば第
3図に符号21で示す如きファイルに第5図の如く格納さ
れる。
第1図または第3図に示される画像処理コンピュータ
では、以上の如く生成された特徴点ファイルを抽出過程
と交差する方向(時間軸方向)に操作することにより、
特徴点群の各特徴点単位での時間軸方向への並べなお
し、および特徴点の連結ファイルの作成を行なう。ま
た、カメラが1台であれば検出できない特徴点(不可視
特徴点)でも、本発明の如くカメラを複数台設けて撮像
を同期して行なうことにより、撮像方向が異なる複数の
画像の特徴点から不可視特徴点を補間することができ
る。
また、1つのカメラの各フレーム間でも必要に応じて
補間することができる。第6図にその例を示す。これ
は、(n−1)フレームと(n+1)フレームの各特徴
点からnフレームの不可視特徴点を線形的に補間する例
を示している。
以上のようにして生成された特徴点情報を特徴点軌跡
(すなわちスティックピクチャ)として、第1図に示す
表示ディスプレイ3上に例えば第7図の如く表示する。
表示の方法は利用目的に応じて任意であり、1つの特徴
点軌跡のみの表示、特徴点軌跡と原画像との合成表示、
練習フォームスティックピクチャと模範フォームスティ
ックピクチャとの重ね合わせ表示などが可能であり、ス
ティックピクチャの計測(位置,重心,移動方向,速度
など)も可能である。
第8図に本発明の変形例を示す。
これは、人間を含む対象物の特徴点に近赤外光を反射
するマーカー(近赤外反射バンド)を付与し、近赤外発
光ストロボ9A,9Bを一定間隔で点滅させ、近赤外通過フ
ィルタを装着したカメラ4A,4B,4Cにより対象物の一連の
動作を撮像するものである。近赤外反射バンドは近赤外
光に特に反応して反射するテープを貼り付けて構成する
一方、プレーヤの後ろの壁には、近赤外マーカーの反射
点の位置決めのための近赤外反射テープ10を放射状に貼
り付けておくものとする。また、照明器5は近赤外光を
照射するものとする。なお、近赤外発光ストロボ9A,9B
は場合によっては省略しても良い。なお、これ以外の点
は第1図と同様である。
以上では、主としてゴルフの場合について説明した
が、本発明はこれと同様のスポーツ、例えばテニスのス
イング動作、野球のピッチング動作、さらには患者のリ
ハビリテーション動作等にも適用することができる。
第9図は本発明の他の実施例を示す概要図で、ロボッ
トの動作を監視,表示する例を示す。
すなわち、全体の構成上は対象物がロボット11になっ
た点が第1図に示すものと相違する程度で、三次元特徴
点を抽出してこれを連結する点は第1図に示すものと同
様である。ただ、ここではこの情報に基づきロボットの
動作を監視するようにした点で相違している。つまり、
第10図の如くロボットにマーカー20を付けるとともに、
ウインドウ22を設定して三次元特徴点を抽出してこれを
連結した動作パターンが第11図の実線の如くであるとす
ると、これを同図の点線にて示されるような標準のパタ
ーンと比較してその結果を表示し、監視するものであ
る。なお、第11図は各カメラ毎の動作パターンを示して
いる。このときの表示は同図の如き標準パターンとの重
ね合わせ表示でも良く、あるいは標準パターンとのずれ
量を数値として表示するものでも良い。
また、第9図はマーカーがカラーの場合であるが、こ
れを第8図のように近赤外反射バンドとし、カメラ,照
明器およびストロボを第8図と同様にすることができる
こと、さらにはロボット以外の対象物にも適用すること
ができるのは云うまでもない。
〔発明の効果〕
本発明によれば、人間を含む対象物の挙動を撮像入力
した動画像を各フレーム単位で処理装置(コンピュー
タ)に入力し、各フレーム画像における三次元の特徴点
座標群を抽出し、抽出した特徴点座標群を時系列的に連
結するようにしたので、処理を性格かつ高速に実行し得
る利点がもたらされる。
【図面の簡単な説明】
第1図は本発明の実施例を示す概要図、第2図はカラー
バンドマーカーを説明するための説明図、第3図はVTR
システムを示すブロック図、第4図はウインドウを説明
するための説明図、第5図は特徴点情報を説明するため
の説明図、第6図は不可視点の補間方法の一例を説明す
るための説明図、第7図はゴルフスイングのスティック
ピクチャ例を説明するための説明図、第8図は本発明の
変形例を示す概要図、第9図は本発明の他の実施例を示
す概要図、第10図はロボットとそのマーカーおよびウイ
ンドウの例を説明するための説明図、第11図は本発明に
よる動作監視方法を説明するための説明図である。 符号説明 1……VTRシステム、1A……タイムコードジェネレー
タ、1B……VTR、1C……タイムベースコレクタ、1D……
カラーデコーダ、1E……VTRインタフェース、2……コ
ンピュータ、3……表示ディスプレイ、4,4A〜4C……カ
メラ、5……照明器、6……タイミングセンサ、7……
ゴルフボール、8……ゴルフクラブ、9A,9B……ストロ
ボ、10……近赤外反射テープ、11……ロボット、20……
カラーバンドマーカー、21……画像ファイル、22……ウ
インドウ。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 伊東 正明 東京都日野市富士町1番地 富士ファコ ム制御株式会社内 (56)参考文献 特開 昭63−38478(JP,A) 特開 昭61−11070(JP,A) (58)調査した分野(Int.Cl.6,DB名) G06T 1/00 G06T 7/00 A63B 69/00 A63B 69/36 G01B 11/00

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】複数の特徴点にそれぞれマーカーが予め付
    与された人間を含む対象物を複数の方向からそれぞれ撮
    像する複数の撮像手段と、撮像のタイミングを検知する
    タイミングセンサと、対象物を照明する照明手段とによ
    り前記対象物の挙動を連続したフレームで一定期間撮像
    したのち、処理手段にて各フレーム毎に対象物の三次元
    特徴点座標を抽出し、対応する特徴点座標をフレーム間
    で連結した情報を得てその表示,計測,解析の少なくと
    も1つを行う動画像の処理方法において、 前記複数の撮像手段の間で互いに同期をとって撮像する
    ことにより、不可視特徴点を補間することを特徴とする
    動画像の処理方法。
  2. 【請求項2】複数の特徴点にそれぞれマーカーが予め付
    与された人間を含む対象物を複数の方向からそれぞれ撮
    像する複数の撮像手段と、撮像のタイミングを検知する
    タイミングセンサと、対象物を照明する照明手段とによ
    り前記対象物の挙動を連続したフレームで一定期間撮像
    したのち、処理手段にて各フレーム毎に対象物の三次元
    特徴点座標を抽出し、対応する特徴点座標をフレーム間
    で連結して動作パターンを作成し、これを基準の動作パ
    ターンと比較してその結果を表示する動画像の処理方法
    において、 前記複数の撮像手段の間で互いに同期をとって撮像する
    ことにより、不可視特徴点を補間することを特徴とする
    動画像の処理方法。
  3. 【請求項3】複数の特徴点にそれぞれマーカーが予め付
    与された人間を含む対象物を複数の方向からそれぞれ撮
    像する複数の撮像手段と、撮像のタイミングを検知する
    タイミングセンサと、対象物を照明する照明手段とによ
    り前記対象物の挙動を連続したフレームで一定期間撮像
    したのち、処理手段にて各フレーム毎に対象物の三次元
    特徴点座標を抽出し、対応する特徴点座標をフレーム間
    で連結した情報を得てその表示,計測,解析の少なくと
    も1つを行う動画像の処理方法において、 前記各特徴点が次フレームで移動可能な範囲をウインド
    ウにて指示し、各フレーム間で対応する特徴点同士に同
    じラベルを付すことを特徴とする動画像の処理方法。
  4. 【請求項4】複数の特徴点にそれぞれマーカーが予め付
    与された人間を含む対象物を複数の方向からそれぞれ撮
    像する複数の撮像手段と、撮像のタイミングを検知する
    タイミングセンサと、対象物を照明する照明手段とによ
    り前記対象物の挙動を連続したフレームで一定期間撮像
    したのち、処理手段にて各フレーム毎に対象物の三次元
    特徴点座標を抽出し、対応する特徴点座標をフレーム間
    で連結して動作パターンを作成し、これを基準の動作パ
    ターンと比較してその結果を表示する動画像の処理方法
    において、 前記各特徴点が次フレームで移動可能な範囲をウインド
    ウにて指示し、各フレーム間で対応する特徴点同士に同
    じラベルを付すことを特徴とする動画像の処理方法。
JP2019300A 1990-01-31 1990-01-31 動画像の処理方法 Expired - Lifetime JP2804949B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019300A JP2804949B2 (ja) 1990-01-31 1990-01-31 動画像の処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019300A JP2804949B2 (ja) 1990-01-31 1990-01-31 動画像の処理方法

Publications (2)

Publication Number Publication Date
JPH03224580A JPH03224580A (ja) 1991-10-03
JP2804949B2 true JP2804949B2 (ja) 1998-09-30

Family

ID=11995575

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019300A Expired - Lifetime JP2804949B2 (ja) 1990-01-31 1990-01-31 動画像の処理方法

Country Status (1)

Country Link
JP (1) JP2804949B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015512660A (ja) * 2012-01-25 2015-04-30 ダブリュエイダブリュジーディー インコーポレイテッド ディービーエー フォアサイト スポーツWawgd, Inc., Dba Foresight Sports ゴルフクラブヘッド測定装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08235340A (ja) * 1991-12-25 1996-09-13 Hokkaido Prefecture 特定動作骨格画像を含む時系列運動骨格画像作成法
JP2826697B2 (ja) * 1994-02-17 1998-11-18 株式会社アシックス ゴルフクラブヘッドの運動計測装置
JP4595104B2 (ja) * 1999-08-30 2010-12-08 勝義 川崎 運動障害の客観的重症度評価方法
KR100412932B1 (ko) * 2000-10-11 2003-12-31 주식회사 닷에이스 모션 게임 장치의 모션 데이터 디스플레이 방법 및 평가방법
JP4135332B2 (ja) * 2001-04-18 2008-08-20 松下電工株式会社 作業分析システム
JPWO2005096939A1 (ja) * 2004-04-07 2008-02-28 財団法人新産業創造研究機構 リハビリ支援用計測システム、及びリハビリ支援用計測方法
JP4687265B2 (ja) * 2005-06-14 2011-05-25 富士ゼロックス株式会社 画像分析装置
JP2009266155A (ja) * 2008-04-30 2009-11-12 Toshiba Corp 移動体追跡装置及びその方法
JP2013153847A (ja) * 2012-01-27 2013-08-15 Kissei Comtec Co Ltd 心臓マッサージ支援装置および心臓マッサージ支援用コンピュータプログラム
JP6999478B2 (ja) * 2018-03-30 2022-01-18 セコム株式会社 マーカ及びマーカ検出システム
JP6965844B2 (ja) * 2018-08-08 2021-11-10 オムロン株式会社 制御システム、解析装置および制御方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6111070A (ja) * 1984-06-26 1986-01-18 水上 皓夫 ゴルフ練習用ビデオ装置
JPH0741086B2 (ja) * 1986-08-01 1995-05-10 日本フア−ネス工業株式会社 運動動作解析装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015512660A (ja) * 2012-01-25 2015-04-30 ダブリュエイダブリュジーディー インコーポレイテッド ディービーエー フォアサイト スポーツWawgd, Inc., Dba Foresight Sports ゴルフクラブヘッド測定装置

Also Published As

Publication number Publication date
JPH03224580A (ja) 1991-10-03

Similar Documents

Publication Publication Date Title
JP4615715B2 (ja) 対象物認識機能及びデータ出力を有するカメラ
US7123275B2 (en) Strobe image composition method, apparatus, computer, and program product
EP1287518B1 (en) Automated stroboscoping of video sequences
US8675021B2 (en) Coordination and combination of video sequences with spatial and temporal normalization
US9094615B2 (en) Automatic event videoing, tracking and content generation
US4163941A (en) Video speed analyzer of golf club swing or the like
JP2804949B2 (ja) 動画像の処理方法
JP2002248188A (ja) マルチメディア分析システム及びその使用方法
JP2003117045A (ja) スイングフォーム診断装置
JP4279079B2 (ja) ゴルフスウィングの自動追尾方法
JP2003514298A (ja) モーション・キャプチャ・データの捕捉方法
CN111866575B (zh) 一种实时动作视频智能捕捉与反馈方法及系统
WO2022026916A1 (en) Detection of kinetic events and mechanical variables from uncalibrated video
KR101932525B1 (ko) 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법
JPH08182786A (ja) 運動体の画像解析装置
JP2893052B2 (ja) 三次元特徴点座標抽出方法
KR20040041297A (ko) 여러 대의 카메라 영상을 이용하여 운동물체의 위치 및움직임을 추적하고 표시하는 방법
JPH10222668A (ja) モーションキャプチャ方法およびシステム
KR100279681B1 (ko) 스포츠 영상효과 처리장치
CN114302234B (zh) 一种空中技巧快速包装方法
US10776929B2 (en) Method, system and non-transitory computer-readable recording medium for determining region of interest for photographing ball images
JPH1144700A (ja) 速度測定装置、該装置を用いた自動追尾システム及び予想到達位置表示システム
WO2018097612A1 (ko) 사용자의 골프샷에 대한 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법
JP2002236913A (ja) 自動人物特定装置
KR20020078707A (ko) 스포츠 동영상에서의 통계 정보 자동 추출 장치 및 방법

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080724

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080724

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090724

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090724

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100724

Year of fee payment: 12

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100724

Year of fee payment: 12