JP2804949B2 - 動画像の処理方法 - Google Patents
動画像の処理方法Info
- Publication number
- JP2804949B2 JP2804949B2 JP2019300A JP1930090A JP2804949B2 JP 2804949 B2 JP2804949 B2 JP 2804949B2 JP 2019300 A JP2019300 A JP 2019300A JP 1930090 A JP1930090 A JP 1930090A JP 2804949 B2 JP2804949 B2 JP 2804949B2
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- frame
- image pickup
- feature points
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
用テレビジョン)カメラ等のセンサにより撮像し、対象
物の動作,挙動を表示,解析するための処理方法に関す
る。
ーツにおける人間の動作(挙動)をビデオカメラ等によ
り動作解析し、スポーツ能力の向上を図る試みがなされ
ている。
る。
む)。
解析。なお、コマとは一連の動画像の各フレーム画像の
1つ1つを云う。
り、コンピュータは介在していないのが普通である。こ
れに対し、コンピュータが介在するものとしては次のよ
うなものがある。
静止画像表示し、各コマの画像における動作上の特徴点
をマニュアルで画面入力し、各コマ画像の特徴点群を時
系列に連結し、各特徴点列の軌跡をCRT上にグラフィッ
ク表示する。
来からいわゆる「スティックピクチャ」と呼ばれている
ものであり、スポーツの科学的解析やトレーニングまた
はリハビリテーションに用いられている。
ける「動き」の解析を全て人間の判断に委ねているた
め、動作の空間的ずれや時間的なタイミングずれなどが
捉え難いという問題がある。
観的に捉えられるものの、特徴点列の入力を全てマニュ
アルで行なうため、スティックピクチャの作成にぼう大
な時間が掛かって実用性に乏しく、その結果ごく一部の
研究にしか用いることができない。
を撮影入力した動画像の処理を高速かつ正確に行ない得
るようにすることにある。
間を含む対象物を複数の方向からそれぞれ撮像する複数
の撮像手段と、撮像のタイミングを検知するタイミング
センサと、対象物を照明する照明手段とにより前記対象
物の挙動を連続したフレームで一定期間撮像したのち、
処理手段にて各フレーム毎に対象物の三次元特徴点座標
を抽出し、対応する特徴点座標をフレーム間で連結した
情報を得てその表示,計測,解析の少なくとも1つを可
能にする。
マ単位で処理装置(コンピュータ)に入力し、各コマの
画像における三次元の特徴点座標群を抽出し、抽出した
特徴点座標群を時系列に連結してCRT画面上にグラフィ
ック表示するか、場合によっては原画像との重ね合わせ
や重心,移動方向の計測または解析ができるようにして
高速かつ正確な処理を可能にする。
用した例である。
タ、3は表示ディスプレイ、4Aはフロント(前方)カメ
ラ、4Bはサイド(側方)カメラ、4Cはトップ(上方)カ
メラ、5は照明器、6はタイミングセンサ、7はゴルフ
ボール、8はゴルフクラブを示す。
ラ4Cはタイミングセンサ6からの信号により、互いに同
期をとりながらゴルフスイング動作を撮像する。カメラ
の種類は、特徴点抽出のために対象物に付与されるマー
カーによって決まり、マーカーとして第2図の如きカラ
ーバンドマーカー20を使用するものであれば、特徴点の
色のみを通過し背景の色はカットする色フィルタを装着
したカメラが用いられることになる。このカラーバンド
は特徴点が背景と明確に区別できる特定の色、例えば特
徴色と背景色とでその色相が対極にある色、赤に対して
は緑、白に対しては黒の如くなるように選ぶことが望ま
しい。また、バンドの幅は検出精度と撮像視野の分解能
および特徴点の動作範囲等で決め、その位置および数も
特徴点の動作範囲等から決定し、ここでは人体に10数箇
所、ゴルフクラブヘッドに1箇所程度付与するものとな
る。
ットアップからフォロースルーまで)を撮像し、フレー
ムメモリまたはVTR(Video Tape Recorder)システム
に動画として格納する。VTRシステムとしての例を第3
図に示す。これは、タイムコードを発生するタイムコー
ドジェネレータ1A、画像信号を記憶するVTR1B、時間軸
の補正を行なうタイムベースコレクタ1C、合成信号VBS
からRGBのカラー信号を抽出するカラーデコーダ1Dおよ
びVTRインタフェース1E等からなる公知のもので、この
構成自体には特に意味はないので、詳細は省略する。た
だし、各コマに基準の時刻信号となるタイムコードを挿
入し、コンピュータ2によるコマの制御が可能なように
しておくことが必要である。なお、同図の21は画像ファ
イルを示す。また、画像処理時に開始フレームを認識さ
せるために、スイングの通過ラインにタイミングセンサ
6を配置しておき、このタイミングセンサ通過時刻の前
後の一定コマを画像処理の対象にするものとする。
像処理過程に移行する。画像処理の対象は上記タイミン
グセンサの時刻を基準にした一定範囲の画像群で、まず
その先頭の時刻のフレームにおいて、特徴点の抽出を
行なう。撮像カメラの位置とスイング位置とは固定され
ているので、ゴルファの体格および撮像時刻に応じて予
め用意された特徴点抽出用領域(ウインドウ)の中で、
一定輝度でのスライスレベルにより切り出しが行なわれ
る。ウインドウの例を第4図に示す。符号22がウインド
ウである。特徴抽出された特徴点群は、対応する特徴点
抽出用ウインドウ群と同じ番号でラベル付けされる。す
なわち、通常のテレビの画像フレーム周期は1/30秒であ
り、各コマ間での特徴点の移動方向は予め予想される範
囲にあることから、各特徴点を検索するに当たっては最
初のコマでラベル付けした各特徴点が次のコマで移動し
得る範囲を予め推定しておき、その範囲をウインドウで
指定することにより、各コマ間で対応する特徴点同士を
同じラベルで符号化することができる。
れた特徴点抽出用ウインドウ群により、特徴点の抽出が
行なわれ、抽出された特徴点は対応する特徴点抽出用ウ
インドウ群と同じ番号でラベル付けされる。フレーム毎
の特徴点抽出用ウインドウ群は、スイングにおける特徴
点の移動範囲を示しているので、それぞれに付けられた
ウインドウ番号は一対一に対応している。以下、同様に
してフレーム以降の画像についても特徴点の抽出とそ
のラベル付けが行なわれ、最終のフレームまで処理した
ら終了する。こうして抽出された特徴点群は、例えば第
3図に符号21で示す如きファイルに第5図の如く格納さ
れる。
では、以上の如く生成された特徴点ファイルを抽出過程
と交差する方向(時間軸方向)に操作することにより、
特徴点群の各特徴点単位での時間軸方向への並べなお
し、および特徴点の連結ファイルの作成を行なう。ま
た、カメラが1台であれば検出できない特徴点(不可視
特徴点)でも、本発明の如くカメラを複数台設けて撮像
を同期して行なうことにより、撮像方向が異なる複数の
画像の特徴点から不可視特徴点を補間することができ
る。
補間することができる。第6図にその例を示す。これ
は、(n−1)フレームと(n+1)フレームの各特徴
点からnフレームの不可視特徴点を線形的に補間する例
を示している。
(すなわちスティックピクチャ)として、第1図に示す
表示ディスプレイ3上に例えば第7図の如く表示する。
表示の方法は利用目的に応じて任意であり、1つの特徴
点軌跡のみの表示、特徴点軌跡と原画像との合成表示、
練習フォームスティックピクチャと模範フォームスティ
ックピクチャとの重ね合わせ表示などが可能であり、ス
ティックピクチャの計測(位置,重心,移動方向,速度
など)も可能である。
するマーカー(近赤外反射バンド)を付与し、近赤外発
光ストロボ9A,9Bを一定間隔で点滅させ、近赤外通過フ
ィルタを装着したカメラ4A,4B,4Cにより対象物の一連の
動作を撮像するものである。近赤外反射バンドは近赤外
光に特に反応して反射するテープを貼り付けて構成する
一方、プレーヤの後ろの壁には、近赤外マーカーの反射
点の位置決めのための近赤外反射テープ10を放射状に貼
り付けておくものとする。また、照明器5は近赤外光を
照射するものとする。なお、近赤外発光ストロボ9A,9B
は場合によっては省略しても良い。なお、これ以外の点
は第1図と同様である。
が、本発明はこれと同様のスポーツ、例えばテニスのス
イング動作、野球のピッチング動作、さらには患者のリ
ハビリテーション動作等にも適用することができる。
トの動作を監視,表示する例を示す。
た点が第1図に示すものと相違する程度で、三次元特徴
点を抽出してこれを連結する点は第1図に示すものと同
様である。ただ、ここではこの情報に基づきロボットの
動作を監視するようにした点で相違している。つまり、
第10図の如くロボットにマーカー20を付けるとともに、
ウインドウ22を設定して三次元特徴点を抽出してこれを
連結した動作パターンが第11図の実線の如くであるとす
ると、これを同図の点線にて示されるような標準のパタ
ーンと比較してその結果を表示し、監視するものであ
る。なお、第11図は各カメラ毎の動作パターンを示して
いる。このときの表示は同図の如き標準パターンとの重
ね合わせ表示でも良く、あるいは標準パターンとのずれ
量を数値として表示するものでも良い。
れを第8図のように近赤外反射バンドとし、カメラ,照
明器およびストロボを第8図と同様にすることができる
こと、さらにはロボット以外の対象物にも適用すること
ができるのは云うまでもない。
した動画像を各フレーム単位で処理装置(コンピュー
タ)に入力し、各フレーム画像における三次元の特徴点
座標群を抽出し、抽出した特徴点座標群を時系列的に連
結するようにしたので、処理を性格かつ高速に実行し得
る利点がもたらされる。
バンドマーカーを説明するための説明図、第3図はVTR
システムを示すブロック図、第4図はウインドウを説明
するための説明図、第5図は特徴点情報を説明するため
の説明図、第6図は不可視点の補間方法の一例を説明す
るための説明図、第7図はゴルフスイングのスティック
ピクチャ例を説明するための説明図、第8図は本発明の
変形例を示す概要図、第9図は本発明の他の実施例を示
す概要図、第10図はロボットとそのマーカーおよびウイ
ンドウの例を説明するための説明図、第11図は本発明に
よる動作監視方法を説明するための説明図である。 符号説明 1……VTRシステム、1A……タイムコードジェネレー
タ、1B……VTR、1C……タイムベースコレクタ、1D……
カラーデコーダ、1E……VTRインタフェース、2……コ
ンピュータ、3……表示ディスプレイ、4,4A〜4C……カ
メラ、5……照明器、6……タイミングセンサ、7……
ゴルフボール、8……ゴルフクラブ、9A,9B……ストロ
ボ、10……近赤外反射テープ、11……ロボット、20……
カラーバンドマーカー、21……画像ファイル、22……ウ
インドウ。
Claims (4)
- 【請求項1】複数の特徴点にそれぞれマーカーが予め付
与された人間を含む対象物を複数の方向からそれぞれ撮
像する複数の撮像手段と、撮像のタイミングを検知する
タイミングセンサと、対象物を照明する照明手段とによ
り前記対象物の挙動を連続したフレームで一定期間撮像
したのち、処理手段にて各フレーム毎に対象物の三次元
特徴点座標を抽出し、対応する特徴点座標をフレーム間
で連結した情報を得てその表示,計測,解析の少なくと
も1つを行う動画像の処理方法において、 前記複数の撮像手段の間で互いに同期をとって撮像する
ことにより、不可視特徴点を補間することを特徴とする
動画像の処理方法。 - 【請求項2】複数の特徴点にそれぞれマーカーが予め付
与された人間を含む対象物を複数の方向からそれぞれ撮
像する複数の撮像手段と、撮像のタイミングを検知する
タイミングセンサと、対象物を照明する照明手段とによ
り前記対象物の挙動を連続したフレームで一定期間撮像
したのち、処理手段にて各フレーム毎に対象物の三次元
特徴点座標を抽出し、対応する特徴点座標をフレーム間
で連結して動作パターンを作成し、これを基準の動作パ
ターンと比較してその結果を表示する動画像の処理方法
において、 前記複数の撮像手段の間で互いに同期をとって撮像する
ことにより、不可視特徴点を補間することを特徴とする
動画像の処理方法。 - 【請求項3】複数の特徴点にそれぞれマーカーが予め付
与された人間を含む対象物を複数の方向からそれぞれ撮
像する複数の撮像手段と、撮像のタイミングを検知する
タイミングセンサと、対象物を照明する照明手段とによ
り前記対象物の挙動を連続したフレームで一定期間撮像
したのち、処理手段にて各フレーム毎に対象物の三次元
特徴点座標を抽出し、対応する特徴点座標をフレーム間
で連結した情報を得てその表示,計測,解析の少なくと
も1つを行う動画像の処理方法において、 前記各特徴点が次フレームで移動可能な範囲をウインド
ウにて指示し、各フレーム間で対応する特徴点同士に同
じラベルを付すことを特徴とする動画像の処理方法。 - 【請求項4】複数の特徴点にそれぞれマーカーが予め付
与された人間を含む対象物を複数の方向からそれぞれ撮
像する複数の撮像手段と、撮像のタイミングを検知する
タイミングセンサと、対象物を照明する照明手段とによ
り前記対象物の挙動を連続したフレームで一定期間撮像
したのち、処理手段にて各フレーム毎に対象物の三次元
特徴点座標を抽出し、対応する特徴点座標をフレーム間
で連結して動作パターンを作成し、これを基準の動作パ
ターンと比較してその結果を表示する動画像の処理方法
において、 前記各特徴点が次フレームで移動可能な範囲をウインド
ウにて指示し、各フレーム間で対応する特徴点同士に同
じラベルを付すことを特徴とする動画像の処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019300A JP2804949B2 (ja) | 1990-01-31 | 1990-01-31 | 動画像の処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019300A JP2804949B2 (ja) | 1990-01-31 | 1990-01-31 | 動画像の処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH03224580A JPH03224580A (ja) | 1991-10-03 |
JP2804949B2 true JP2804949B2 (ja) | 1998-09-30 |
Family
ID=11995575
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019300A Expired - Lifetime JP2804949B2 (ja) | 1990-01-31 | 1990-01-31 | 動画像の処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2804949B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015512660A (ja) * | 2012-01-25 | 2015-04-30 | ダブリュエイダブリュジーディー インコーポレイテッド ディービーエー フォアサイト スポーツWawgd, Inc., Dba Foresight Sports | ゴルフクラブヘッド測定装置 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08235340A (ja) * | 1991-12-25 | 1996-09-13 | Hokkaido Prefecture | 特定動作骨格画像を含む時系列運動骨格画像作成法 |
JP2826697B2 (ja) * | 1994-02-17 | 1998-11-18 | 株式会社アシックス | ゴルフクラブヘッドの運動計測装置 |
JP4595104B2 (ja) * | 1999-08-30 | 2010-12-08 | 勝義 川崎 | 運動障害の客観的重症度評価方法 |
KR100412932B1 (ko) * | 2000-10-11 | 2003-12-31 | 주식회사 닷에이스 | 모션 게임 장치의 모션 데이터 디스플레이 방법 및 평가방법 |
JP4135332B2 (ja) * | 2001-04-18 | 2008-08-20 | 松下電工株式会社 | 作業分析システム |
JPWO2005096939A1 (ja) * | 2004-04-07 | 2008-02-28 | 財団法人新産業創造研究機構 | リハビリ支援用計測システム、及びリハビリ支援用計測方法 |
JP4687265B2 (ja) * | 2005-06-14 | 2011-05-25 | 富士ゼロックス株式会社 | 画像分析装置 |
JP2009266155A (ja) * | 2008-04-30 | 2009-11-12 | Toshiba Corp | 移動体追跡装置及びその方法 |
JP2013153847A (ja) * | 2012-01-27 | 2013-08-15 | Kissei Comtec Co Ltd | 心臓マッサージ支援装置および心臓マッサージ支援用コンピュータプログラム |
JP6999478B2 (ja) * | 2018-03-30 | 2022-01-18 | セコム株式会社 | マーカ及びマーカ検出システム |
JP6965844B2 (ja) * | 2018-08-08 | 2021-11-10 | オムロン株式会社 | 制御システム、解析装置および制御方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6111070A (ja) * | 1984-06-26 | 1986-01-18 | 水上 皓夫 | ゴルフ練習用ビデオ装置 |
JPH0741086B2 (ja) * | 1986-08-01 | 1995-05-10 | 日本フア−ネス工業株式会社 | 運動動作解析装置 |
-
1990
- 1990-01-31 JP JP2019300A patent/JP2804949B2/ja not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015512660A (ja) * | 2012-01-25 | 2015-04-30 | ダブリュエイダブリュジーディー インコーポレイテッド ディービーエー フォアサイト スポーツWawgd, Inc., Dba Foresight Sports | ゴルフクラブヘッド測定装置 |
Also Published As
Publication number | Publication date |
---|---|
JPH03224580A (ja) | 1991-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4615715B2 (ja) | 対象物認識機能及びデータ出力を有するカメラ | |
US7123275B2 (en) | Strobe image composition method, apparatus, computer, and program product | |
EP1287518B1 (en) | Automated stroboscoping of video sequences | |
US8675021B2 (en) | Coordination and combination of video sequences with spatial and temporal normalization | |
US9094615B2 (en) | Automatic event videoing, tracking and content generation | |
US4163941A (en) | Video speed analyzer of golf club swing or the like | |
JP2804949B2 (ja) | 動画像の処理方法 | |
US20150297949A1 (en) | Automatic sports broadcasting system | |
JP2002248188A (ja) | マルチメディア分析システム及びその使用方法 | |
JP2003117045A (ja) | スイングフォーム診断装置 | |
WO2022026916A1 (en) | Detection of kinetic events and mechanical variables from uncalibrated video | |
JP4279079B2 (ja) | ゴルフスウィングの自動追尾方法 | |
JP2003514298A (ja) | モーション・キャプチャ・データの捕捉方法 | |
CN111866575A (zh) | 一种实时动作视频智能捕捉与反馈方法及系统 | |
JPH08182786A (ja) | 運動体の画像解析装置 | |
KR20180087748A (ko) | 운동하는 객체의 위치 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법 | |
JP2893052B2 (ja) | 三次元特徴点座標抽出方法 | |
KR20040041297A (ko) | 여러 대의 카메라 영상을 이용하여 운동물체의 위치 및움직임을 추적하고 표시하는 방법 | |
JPH10222668A (ja) | モーションキャプチャ方法およびシステム | |
KR100279681B1 (ko) | 스포츠 영상효과 처리장치 | |
CN114302234B (zh) | 一种空中技巧快速包装方法 | |
US10776929B2 (en) | Method, system and non-transitory computer-readable recording medium for determining region of interest for photographing ball images | |
JPH1144700A (ja) | 速度測定装置、該装置を用いた自動追尾システム及び予想到達位置表示システム | |
WO2018097612A1 (ko) | 사용자의 골프샷에 대한 정보를 산출하기 위한 센싱장치 및 이를 이용한 센싱방법 | |
JP2002223405A (ja) | 映像記録再生装置、及び映像記録再生プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080724 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080724 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090724 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090724 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100724 Year of fee payment: 12 |
|
EXPY | Cancellation because of completion of term | ||
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100724 Year of fee payment: 12 |