JP6899105B1 - 動作表示装置、動作表示方法及び動作表示プログラム - Google Patents
動作表示装置、動作表示方法及び動作表示プログラム Download PDFInfo
- Publication number
- JP6899105B1 JP6899105B1 JP2020172529A JP2020172529A JP6899105B1 JP 6899105 B1 JP6899105 B1 JP 6899105B1 JP 2020172529 A JP2020172529 A JP 2020172529A JP 2020172529 A JP2020172529 A JP 2020172529A JP 6899105 B1 JP6899105 B1 JP 6899105B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- learner
- dimensional data
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000000605 extraction Methods 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 24
- 230000008859 change Effects 0.000 description 12
- 210000000988 bone and bone Anatomy 0.000 description 11
- 230000008901 benefit Effects 0.000 description 8
- 230000006872 improvement Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 5
- 210000002683 foot Anatomy 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 230000037237 body shape Effects 0.000 description 3
- 235000019646 color tone Nutrition 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 210000003127 knee Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000008450 motivation Effects 0.000 description 2
- 235000005156 Brassica carinata Nutrition 0.000 description 1
- 244000257790 Brassica carinata Species 0.000 description 1
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
まず、実施の形態1にかかる動作表示装置について説明する。図1に示すとおり、本実施の形態1にかかる動作改善支援装置は、学習者の動作映像を撮影するための撮影部1と、撮影された動作映像等を記録する映像データベース2と、映像データベース2に記録された動作映像等から被写体人物の特徴点を抽出する特徴点抽出部3と、当該動作映像等における特徴点の位置変動に関する情報である動作情報を生成する動作情報生成部4と、学習者に関する動作情報と指標映像(後述。特許請求の範囲における「目標とする動作態様の映像」に相当する。)における動作情報の相違点に関する情報である差分情報を生成する差分情報生成部5と、学習者の外観に関する3次元データを生成する3次元データ生成部6と、生成された差分情報に基づき、目標とする動作態様を示すモデル映像及び学習者の現実の動作態様を示す現実映像を生成する映像生成部7と、生成された映像を表示する表示部8とを備える。
次に、実施の形態2にかかる動作表示装置について、図3を参照しつつ説明する。実施の形態2において、実施の形態1と同一名称かつ同一符号を付した構成要素に関しては、特に言及しない限り、実施の形態1における構成要素と同一の機能を発揮するものとする。本実施の形態2に係る動作表示装置は、学習者の動作状況を複数回測定することを通じて、動作の改善状況についても表示する機能を有する。
次に、実施の形態3にかかる動作表示装置について説明する。実施の形態3において実施の形態1、2と同一名称又は/及び同一符号を付した構成要素に関しては、特に言及しない限り、実施の形態1、2における構成要素と同一の機能を発揮するものとする。
2、12、22 映像データベース
3、13 特徴点抽出部
4、14 動作情報生成部
5、15 差分情報生成部
6 3次元データ生成部
7、17 映像生成部
8 表示部
23 指標映像選択部
Claims (4)
- 目標とする動作態様を示すモデル映像及び学習者の現実の動作態様を示す現実映像とを表示する動作表示装置であって、
目標とする動作態様の映像における動作主体中の特徴点の位置の時間変動に関する情報を含む動作情報を生成する動作情報生成手段と、
前記動作情報生成手段によって生成された動作情報と、学習者の現実の動作態様の映像における前記学習者の特徴点の位置の時間変動に関する情報を含む動作情報とを対比し、互いに対応関係にある特徴点間の相対的な位置関係の時間変動に関する情報である差分情報を生成する差分情報生成手段と、
学習者の映像に基づき生成され、前記動作主体中の特徴点に対応した特徴点を骨格構造中に具備する3次元データを生成する3次元データ生成手段と、
前記3次元データ生成手段によって生成された3次元データに対し、前記動作情報に含まれる特徴点の位置の時間変動と整合するよう前記3次元データ中の特徴点の位置を時間変動して前記3次元データを動作させた映像として前記モデル映像を生成し、前記モデル映像における特徴点の位置の時間変動態様に前記差分情報に基づく相対的な位置関係の時間変動態様を加算した情報と整合するよう、前記3次元データ中の特徴点の位置を時間変動して前記3次元データを動作させた映像として前記現実映像を生成する映像生成手段と、
前記映像生成手段によって生成された前記モデル映像の少なくとも一部と、学習者の現実の動作態様を示す前記現実映像の少なくとも一部とを表示する表示手段と、
を備えたことを特徴とする動作表示装置。 - 前記差分情報生成手段は、前記差分情報として、対応関係にある特徴点間の距離が第1の閾値以上となった状態が第2の閾値以上の時間にわたり継続した場合に、前記第2の閾値以上の時間範囲における前記特徴点間の相対位置の時間変動に関する情報を生成することを特徴とする請求項1記載の動作表示装置。
- 目標とする動作態様を示すモデル映像及び学習者の現実の動作態様を示す現実映像とを表示する動作表示方法であって、
目標とする動作態様の映像における動作主体中の特徴点の位置の時間変動に関する情報を含む動作情報を生成する動作情報生成ステップと、
前記動作情報生成ステップにおいて生成された動作情報と、学習者の現実の動作態様の映像における前記学習者の特徴点の位置の時間変動に関する情報を含む動作情報とを対比し、互いに対応関係にある特徴点間の相対的な位置関係の時間変動に関する情報である差分情報を生成する差分情報生成ステップと、
学習者の映像に基づき生成され、前記動作主体中の特徴点に対応した特徴点を骨格構造中に具備する3次元データを生成する3次元データ生成ステップと、
前記3次元データ生成ステップにおいて生成された3次元データに対し、前記動作情報に含まれる特徴点の位置の時間変動と整合するよう前記3次元データ中の特徴点の位置を時間変動して前記3次元データを動作させた映像として前記モデル映像を生成し、前記モデル映像における特徴点の位置の時間変動態様に前記差分情報に基づく相対的な位置関係の時間変動態様を加算した情報と整合するよう、前記3次元データ中の特徴点の位置を時間変動して前記3次元データを動作させた映像として前記現実映像を生成する映像生成ステップと、
前記映像生成ステップにおいて生成された前記モデル映像の少なくとも一部と、学習者の現実の動作態様を示す前記現実映像の少なくとも一部とを表示する表示ステップと、
を含むことを特徴とする動作表示方法。 - 目標とする動作態様を示すモデル映像及び学習者の現実の動作態様を示す現実映像とをコンピュータに表示させる動作表示プログラムであって、
前記コンピュータに対し、
目標とする動作態様の映像における動作主体中の特徴点の位置の時間変動に関する情報を含む動作情報を生成する動作情報生成機能と、
前記動作情報生成機能によって生成された動作情報と、学習者の現実の動作態様の映像における前記学習者の特徴点の位置の時間変動に関する情報を含む動作情報とを対比し、互いに対応関係にある特徴点間の相対的な位置関係の時間変動に関する情報である差分情報を生成する差分情報生成機能と、
学習者の映像に基づき生成され、前記動作主体中の特徴点に対応した特徴点を骨格構造中に具備する3次元データを生成する3次元データ生成機能と、
前記3次元データ生成機能によって生成された3次元データに対し、前記動作情報に含まれる特徴点の位置の時間変動と整合するよう前記3次元データ中の特徴点の位置を時間変動して前記3次元データを動作させた映像として前記モデル映像を生成し、前記モデル映像における特徴点の位置の時間変動態様に前記差分情報に基づく相対的な位置関係の時間変動態様を加算した情報と整合するよう、前記3次元データ中の特徴点の位置を時間変動して前記3次元データを動作させた映像として前記現実映像を生成する映像生成機能と、
前記映像生成機能によって生成されたモデル映像の少なくとも一部と、学習者の現実の動作態様を示す現実映像の少なくとも一部とを表示する表示機能と、
を実現させることを特徴とする動作表示プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020172529A JP6899105B1 (ja) | 2020-10-13 | 2020-10-13 | 動作表示装置、動作表示方法及び動作表示プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020172529A JP6899105B1 (ja) | 2020-10-13 | 2020-10-13 | 動作表示装置、動作表示方法及び動作表示プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6899105B1 true JP6899105B1 (ja) | 2021-07-07 |
JP2022064038A JP2022064038A (ja) | 2022-04-25 |
Family
ID=76650055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020172529A Active JP6899105B1 (ja) | 2020-10-13 | 2020-10-13 | 動作表示装置、動作表示方法及び動作表示プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6899105B1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005198818A (ja) * | 2004-01-15 | 2005-07-28 | Ritsumeikan | 身体動作の学習支援システム及び学習支援方法 |
JP2013202096A (ja) * | 2012-03-27 | 2013-10-07 | Tenda Co Ltd | ゴルフ用装着具及びプログラム |
JP2020005192A (ja) * | 2018-06-29 | 2020-01-09 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2020144233A (ja) * | 2019-03-06 | 2020-09-10 | 株式会社日立製作所 | 学習支援システム、学習支援装置及びプログラム |
-
2020
- 2020-10-13 JP JP2020172529A patent/JP6899105B1/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005198818A (ja) * | 2004-01-15 | 2005-07-28 | Ritsumeikan | 身体動作の学習支援システム及び学習支援方法 |
JP2013202096A (ja) * | 2012-03-27 | 2013-10-07 | Tenda Co Ltd | ゴルフ用装着具及びプログラム |
JP2020005192A (ja) * | 2018-06-29 | 2020-01-09 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2020144233A (ja) * | 2019-03-06 | 2020-09-10 | 株式会社日立製作所 | 学習支援システム、学習支援装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2022064038A (ja) | 2022-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180357472A1 (en) | Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion | |
US11638853B2 (en) | Augmented cognition methods and apparatus for contemporaneous feedback in psychomotor learning | |
CN108777081B (zh) | 一种虚拟舞蹈教学方法及系统 | |
US8314840B1 (en) | Motion analysis using smart model animations | |
JP6938542B2 (ja) | 組込みセンサと外界センサとを組み合わせる多関節トラッキングのための方法およびプログラム製品 | |
Alexiadis et al. | Evaluating a dancer's performance using kinect-based skeleton tracking | |
KR101519775B1 (ko) | 오브젝트의 모션 인식 기반 애니메이션 생성 방법 및 장치 | |
US20180374383A1 (en) | Coaching feedback system and method | |
KR101979750B1 (ko) | 댄스 트레이닝 콘텐츠 저작 시스템 | |
JP5575652B2 (ja) | レンダリングされた像の表示設定を選択するための方法及びシステム | |
US12067660B2 (en) | Personalized avatar for movement analysis and coaching | |
Kurillo et al. | Real-time 3D avatars for tele-rehabilitation in virtual reality | |
Ikeda et al. | AR based Self-sports Learning System using Decayed Dynamic TimeWarping Algorithm. | |
KR20110065388A (ko) | 의료 훈련 시뮬레이션 시스템 및 방법 | |
JP2005237494A (ja) | 実技分析システム及びプログラム | |
WO2008023250A1 (en) | Motion coaching device, method and system | |
Tisserand et al. | Preservation and gamification of traditional sports | |
WO2021230101A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
Bauer et al. | Interactive visualization of muscle activity during limb movements: Towards enhanced anatomy learning | |
Ponton et al. | Fitted avatars: automatic skeleton adjustment for self-avatars in virtual reality | |
Kirmizibayrak et al. | Digital analysis and visualization of swimming motion | |
JP6899105B1 (ja) | 動作表示装置、動作表示方法及び動作表示プログラム | |
Ami-Williams et al. | Digitizing traditional dances under extreme clothing: The case study of eyo | |
Brownridge | Real-time motion capture for analysis and presentation within virtual environments | |
Liebermann et al. | Video-based technologies |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201013 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20201013 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210128 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210601 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6899105 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |