JP6679952B2 - 指導アシストシステム、および指導アシストプログラム - Google Patents

指導アシストシステム、および指導アシストプログラム Download PDF

Info

Publication number
JP6679952B2
JP6679952B2 JP2016012492A JP2016012492A JP6679952B2 JP 6679952 B2 JP6679952 B2 JP 6679952B2 JP 2016012492 A JP2016012492 A JP 2016012492A JP 2016012492 A JP2016012492 A JP 2016012492A JP 6679952 B2 JP6679952 B2 JP 6679952B2
Authority
JP
Japan
Prior art keywords
instruction
video
guidance
reproduction
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016012492A
Other languages
English (en)
Other versions
JP2017131327A5 (ja
JP2017131327A (ja
Inventor
伸啓 加嶋
伸啓 加嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2016012492A priority Critical patent/JP6679952B2/ja
Publication of JP2017131327A publication Critical patent/JP2017131327A/ja
Publication of JP2017131327A5 publication Critical patent/JP2017131327A5/ja
Application granted granted Critical
Publication of JP6679952B2 publication Critical patent/JP6679952B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、指導アシストシステム、および指導アシストプログラムに関する。
近年のデジタル画像撮影技術の進歩により、ユーザがスポーツを楽しんでいる様子をデジタル動画で容易に撮影可能となっている。更に、ユーザのスポーツの様子を映像で記録するのみならず、デジタル画像認識技術により、このスポーツにおけるユーザのフォームを診断することが試みられている。なおフォームとは、このスポーツにおけるユーザの一連の動作であり、例えばゴルフのスウィングやサッカーのシュートなどのことをいう。
例えば、特許文献1には、コンピュータを用いてゴルフスウィングの診断を精度良く行うための発明が記載されている。特許文献1の要約書の解決手段には、「クラブシャフト11aの長さ方向に間隔をあけた少なくとも2箇所と、ゴルファー15の頭・首・右肩・左肩・右肘・左肘・左手首・右手首・右腰・左腰・右膝・左膝・右足首・左足首・右足先・左足先から選ばれる少なくとも1箇所以上に色特定した基準点M1〜M17を設定し、ゴルファー15のスウィング時の動画像をカメラ13−1、13−2によって撮影し、該スウィング動画像を複数の静止画像に変換してコンピュータ14に記憶させ、複数の静止画像上の各基準点M1〜M17の座標データから、アドレスからインパクトまで間に設定した複数のスウィング姿勢でのチェックポイントを数値化し、予め入力されている理想値と比較してスウィング診断する。」と記載されている。
特開2004−313479号公報
特許文献1に記載されている発明によれば、機械的にフォームを診断して、スウィングの評価項目の診断結果を出力できる。しかし、この発明によって診断された生徒(ユーザ)にとっては、これら評価項目の診断結果に基づいて、どのように理想とするフォームに近づけてゆけばよいかは、必ずしも明確ではない。
このスポーツについて習熟しているコーチによれば、生徒は、どのように理想とするフォームに近づければよいかという指導を口頭で受けることができる。しかし、この口頭での指導を受けるには、コーチと一対一で練習する必要があり、指導の対価が高価となるおそれがある。また、生徒が口頭での指導を事後的に確認したい場合も考えられるが、口頭での指導は、必ずしも明確でないことが多い。特に、スポーツの初心者はフォームに係る用語に精通していないことが多く、せっかく口頭での指導を受けても、どのように理想とするフォームに近づけてゆけばよいかが明確ではない場合があった。
そこで、本発明は、指導アシストシステムおよび指導アシストプログラムについて、生徒が自身のフォームについて受けたコーチの指導内容を、その指導ポイントをキーにして自己学習することを課題とする。
上記目的を達成するため、本発明に係る指導アシストシステムは、ユーザのフォームを一連の動作として撮影した動画内において、当該一連の動作の中で指導者が指導ポイントとした指導内容を当該指導ポイントである動作タイミングと対応付けて記録した指導動画を取得する取得部と、前記指導動画の再生の際、前記指導動画内の一連の動作の中で前記指導ポイントに対応付けて記録された指導内容を、前記指導動画の再生に同期させて再現させる再現部と、を備え、前記再現部は、第1の表示領域に前記指導動画を再生表示させるとともに、第2の表示領域に前記動画から切り出された互いに異なるタイミングの複数の部分画像を時系列順に並べて表示させ、且つ、前記複数の部分画像のうち前記動作タイミングに対応する部分画像に対しては、再生開始位置選択ボタンを兼ねた識別マークを付して表示させる、ことを特徴とする。
また、本発明に係る指導アシストプログラムは、コンピュータを、ユーザのフォームを一連の動作として撮影した動画内において、当該一連の動作の中で指導者が指導ポイントとした指導内容を当該指導ポイントである動作タイミングと対応付けて記録した指導動画を取得する取得手段
前記指導動画の再生の際、前記指導動画内の一連の動作の中で前記指導ポイントに対応付けて記録された指導内容を、前記指導動画の再生に同期させて再現させる再現手段、として機能させ、前記再現手段は、第1の表示領域に前記指導動画を再生表示させるとともに、第2の表示領域に前記動画から切り出された互いに異なるタイミングの複数の部分画像を時系列順に並べて表示させ、且つ、前記複数の部分画像のうち前記動作タイミングに対応する部分画像に対しては、再生開始位置選択ボタンを兼ねた識別マークを付して表示させる、ことを特徴とする。
本発明によれば、生徒が自身のフォームについて受けたコーチの指導内容を、その指導ポイントをキーにして自己学習することが可能となる。
本実施形態における指導アシストシステムの概略を示す構成図である。 サーバ装置の構成を示すブロック図である。 サーバ装置のフォームデータベースに格納された理想のフォーム例を示す図である。 コーチと生徒のタブレット端末の構成を示すブロック図である。 撮影動作と指導アシスト動作と指導動画の閲覧動作とを示すシーケンス図である。 撮影動画の通常再生処理を示すフローチャートである。 指導アシスト処理を示すフローチャートである。 指導アシスト画面を示す図である。 アドレスに係る動作タイミングでの指導アシスト画面を示す図である。 トップ直前の動作タイミングでの指導アシスト画面を示す図である。 トップに係る動作タイミングでの指導アシスト画面を示す図である。 インパクトに係る動作タイミングでの指導アシスト画面を示す図である。 録画タイムチャート例を示す図である。 指導動画エンコード処理を示すフローチャートである。 生徒のタブレット端末に表示された、トップ直前における指導画面を示す図である。 生徒のタブレット端末に表示された、トップにおける指導画面を示す図である。 生徒のタブレット端末に表示された、インパクトにおける指導画面を示す図である。 再生タイムチャート例を示す図である。 指導動画の再生処理を示すフローチャートである。 変形例における指導動画の再生処理を示すフローチャートである。
以降、本発明を実施するための形態を、各図を参照して詳細に説明する。
図1は、本実施形態における指導アシストシステムSの概略を示す構成図である。
指導アシストシステムSは、例えばスポーツスクールに設置されたカメラ4と、タブレット端末2,3と、ネットワークNを介してカメラ4やタブレット端末2,3と通信可能なサーバ装置1とを含んで構成される。サーバ装置1は、所謂クラウド上に設けられた計算機資源であり、後記する図2で詳細に説明する。
タブレット端末2は、スポーツスクールにてコーチが操作する端末である。タブレット端末3は、生徒が自宅などで操作する端末である。これらタブレット端末2,3については、後記する図4(a),(b)で詳細に説明する。
スポーツスクールにて生徒がゴルフ、テニス、水泳などの各種スポーツを練習する際、コーチから指導を受ける生徒の一連の動作をカメラ4で動画撮影しておく。カメラ4はスポーツスクールの練習場に設置された固定式の撮像装置であり、ネットワークNを介してサーバ装置1に撮影した動画をストリームで送信する。
コーチが生徒に指導を行う際は、タブレット端末2上で撮影した動画を再生しながら、一連の動作の中での指導チェックポイントを選択して、その指導チェックポイントでの指導内容を入力する。タブレット端末2を介して入力された指導内容は、その指導チェックポイントでの再生タイミングに同期して、クラウド上のサーバ装置1に記憶される。
コーチによるタブレット端末2での指導後に、生徒が自宅などで事後的に指導内容の自己学習を行う。自己学習の際に、指導アシストシステムSは、生徒のタブレット端末3上に動画を再生させる。サーバ装置1は、その動画の中の一連の動作の中で、指導チェックポイントとして選択されたタイミングにおいては、そのタイミングに同期して記憶されたコーチによる指導内容を読み出し、その指導内容を生徒のタブレット端末3上に再現させる。これにより生徒は、スポーツスクールでコーチに指導を受けた内容を、その指導ポイントをキーにして自己学習することが可能となる。
図2は、サーバ装置1の構成を示すブロック図である。
サーバ装置1は、CPU(Central Processing Unit)11、RAM(Random Access Memory)12、ROM(Read Only Memory)13、通信部14、HDD(Hard Disk Drive)15を含んで構成される。
RAM12は揮発性メモリであり、CPU11により一時的な記憶領域として用いられる。ROM13は不揮発性メモリであり、例えばBIOS(Basic i/o system)などが格納される。通信部14は、ネットワークN(図1参照)を介してカメラ4やタブレット端末2,3などと通信する。
HDD15には、フォーム情報生成プログラム151、カメラ4が撮影した撮影動画152、フォームデータベース153、フォーム情報154、指導アシストサーバプログラム155、指導情報156、指導動画エンコードプログラム157、生徒が自己学習時に再生する指導動画158が格納されている。
CPU11が不図示のカメラ制御プログラムを実行すると、カメラ4が撮影した動画が撮影動画152としてHDD15に格納される。
フォーム情報生成プログラム151は、CPU11によって実行されて、撮影動画152の各フレームから生徒の画像領域を検出するプログラムである。ここで検出された生徒の画像は、フォーム情報154としてHDD15に保存される。
フォームデータベース153は、各種フォームにおける理想のフォーム例が格納されたデータベースである。このフォームデータベース153に格納される理想のフォーム例については、後記する図3で詳細に説明する。
指導アシストサーバプログラム155は、CPU11によって実行されて、タブレット端末2上に指導アシスト画面(図8参照)を表示させる。この指導アシストサーバプログラム155を実行するCPU11とタブレット端末2とが協調動作することにより、コーチがタブレット端末2を介して入力した情報が、指導情報156としてHDD15に格納される。つまり指導アシストサーバプログラム155を実行するCPU11とタブレット端末2とは、撮影動画152をタブレット端末2上に再生させ、この撮影動画152の任意の再生位置をチェックポイントとして選択可能とし、更に選択されたチェックポイントに対する指導内容を再生位置と同期して記録する。
指導動画エンコードプログラム157は、CPU11により撮影動画152と指導情報156とから、指導動画158をエンコードするためのプログラムである。ここでエンコードされた指導動画158は、不図示の配信プログラムを実行するCPU11とタブレット端末3とにより、生徒のタブレット端末3上で再生される。この指導動画エンコードプログラム157は、撮影動画152のチェックポイントとして選択された再生位置において、この位置と同期して記憶された指導内容を読み出して再現させる。
図3は、サーバ装置1のフォームデータベース153に格納された理想のフォーム例を示す図である。このフォーム例は、ゴルフのスウィングの7つの指導ポイントを示したものである。
この7つの指導ポイントは、アドレス、ハーフウェイ・バック、トップ、ハーフウェイ・ダウン、インパクト、フォロー、フィニッシュと名付けられている。コーチは、スウィングの7つの指導ポイントに着目することで、生徒に対してフォームを的確に指導することができる。
図4(a)は、コーチのタブレット端末2の構成を示すブロック図である。
タブレット端末2は、CPU21、RAM22、ROM23、通信部24、タッチパネルディスプレイ25、マイク26、フラッシュメモリ27、スピーカ28を含んで構成される。フラッシュメモリ27は、不揮発性の一時記憶装置であり、指導アシストプログラム271を格納している。
RAM22は揮発性メモリであり、CPU21により一時的な記憶領域として用いられる。ROM23は不揮発性メモリである。通信部24は、通信ネットワークN(図1参照)を介してサーバ装置1などと通信する。タッチパネルディスプレイ25は、例えば液晶パネル上にタッチパネルを積層したものであり、情報の表示と操作情報の入力とを行う。マイク26は音声を収録し、スピーカ28は音声を出力する。マイク26は、コーチの音声による指導内容を収録する。
指導アシストプログラム271は、CPU21によって実行され、サーバ装置1と協調動作することにより、このタブレット端末2上に指導アシスト画面(図8参照)を表示させる。これによりコーチは、撮影動画152(図2参照)を閲覧して、動画の任意の再生位置を指導ポイントとして選択し、選択した指導ポイントに係る指導内容を入力することができる。コーチが入力した指導内容は、サーバ装置1により指導情報156(図2参照)として格納される。
図4(b)は、生徒のタブレット端末3の構成を示すブロック図である。
タブレット端末3は、タブレット端末2と同様にCPU31、RAM32、ROM33、通信部34、タッチパネルディスプレイ35、マイク36、フラッシュメモリ37、スピーカ38を含んで構成される。フラッシュメモリ37は、不揮発性の一時記憶装置であり、指導ブラウザプログラム371を格納している。この指導ブラウザプログラム371は、CPU31によって実行され、サーバ装置1と協調動作することにより、このタブレット端末3上に指導動画158を指導ブラウザ画面(不図示)上に表示させる。これにより生徒は、コーチにより動画の指導ポイントとして選択された再生位置において、この再生位置に係る指導内容を閲覧することができる。
図5は、撮影動作と指導アシスト動作と指導動画158の閲覧動作とを示すシーケンス図であり、適宜図2を参照して説明する。
スポーツスクールにて生徒がゴルフ、テニス、水泳などの各種スポーツを練習する際の撮影動作を、シーケンスQ10〜Q13に示す。
カメラ4は、生徒のスウィングのフォームである一連の動作の前後を含んだ撮影内容をそのまま動画撮影し(シーケンスQ10)、サーバ装置1に撮影した動画をストリームで送信し(シーケンスQ11)する。サーバ装置1は、受信した動画を撮影動画152として保存する(シーケンスQ12)。なお、撮影動画152には、複数のスウィングのフォームが撮影されていてもよい。
コーチが生徒に指導を行う際の動作を、シーケンスQ20〜Q26に示す。コーチは、タブレット端末2にて指導アシストプログラム271を起動し(シーケンスQ20)、サーバ装置1から撮影動画152の配信を受けて、スウィングの前後を含む撮影内容をタブレット端末2にて通常再生する(シーケンスQ21)。ここで通常再生とは、撮影時と同様な時間軸で各フレームを再生することである。これによりコーチは、生徒のフォーム全体を把握する。
その後、サーバ装置1は、その撮影動画152の中で、スウィングそのものに関わる特定動作であるフォーム部分を画像認識で抽出する。サーバ装置1は、そのフォーム部分をコマ送りでサムネイル化し、フォーム部分の中で予め指導ポイントとされた7つのタイミングを抽出する。サーバ装置1が抽出したフォーム部分は、コーチのタブレット端末2に選択可能に表示される。
コーチがタブレット端末2上でフォーム部分を選択すると、タブレット端末2は、この選択したフォームの情報をサーバ装置1に送信する(シーケンスQ22)。その後の再生ボタン62(図8参照)のタップにより、サーバ装置1は、そのフォーム部分の一連の動作を極めてゆっくりスロー再生し(シーケンスQ23)、指導ポイントとして抽出されたタイミングでタブレット端末2に一時停止とガイダンス報知とを行わせる。
コーチは、タブレット端末2を介して、生徒のフォーム部分の一連の動作の中での指導ポイントを選択して、その指導ポイントでの指導情報を入力する。入力した指導情報は、タブレット端末2からサーバ装置1に送信される(シーケンスQ24)。コーチは、指導が終了すると、指導録画の終了を指示する。この指導録画の終了指示は、タブレット端末2からサーバ装置1に送信される。
サーバ装置1は、指導ポイントでの再生タイミングに同期して指導情報156を保存し(シーケンスQ25)、指導動画158を生成する(シーケンスQ26)。
コーチによるタブレット端末2での指導後に、生徒が自宅などで事後的に指導内容の自己学習を行う際の動作を、シーケンスQ30,Q31に示している。
生徒は、タブレット端末3にて指導ブラウザプログラム371を起動する(シーケンスQ30)。タブレット端末3は、サーバ装置1から指導動画158をストリームで受信して再生する(シーケンスQ31)。この指導動画158において、コーチにより指導ポイントとして選択されたタイミングで指導内容がタブレット端末3上に再現される。これにより生徒は、スポーツスクールでコーチに指導を受けた内容を、その指導ポイントをキーにして自己学習することが可能となる。
なお、指導動画158を予めエンコードすることなく、生徒のタブレット端末3が指導動画158を要求した際にリアルタイムで指導動画158をエンコードして配信してもよい。更に指導動画158をエンコードすることなく、撮影動画152と指導情報156とを生徒のタブレット端末3に送信して、生徒のタブレット端末3にて指導時の動画を再生してもよく、限定されない。
図6は、撮影動画152の通常再生処理を示すフローチャートである。図6の説明において、適宜図2と図5とを参照する。
この撮影動画152の通常再生処理は、タブレット端末2にて指導アシストプログラム271が起動され、撮影動画152の再生が指示されたときの処理である。この通常再生処理は、図5に示したシーケンスQ21にて、サーバ装置1のCPU11により実行される。
サーバ装置1のCPU11は、この撮影動画152をタブレット端末2上に通常再生させる(ステップS20)。
通常再生の後、サーバ装置1のCPU11は、その撮影動画152の中で、スウィングそのものに関わる特定動作であるフォーム部分を画像認識で抽出する(ステップS21)。サーバ装置1は、そのフォーム部分をコマ送りでサムネイル化し(ステップS22)、フォーム部分の中で予め指導ポイントとされた7つのタイミングを抽出する(ステップS23)。これにより、サーバ装置1が抽出したフォーム部分は、コーチのタブレット端末2の不図示のフォーム選択画面に選択可能に表示される。
図7は、指導アシスト処理を示すフローチャートである。図7の説明において、適宜図4(a)と図8とを参照する。
この指導アシスト処理は、コーチのタブレット端末2の不図示のフォーム選択画面にてフォーム部分が選択され、更に再生ボタン62(図8参照)がタップされた後に実行される。
サーバ装置1のCPU11は、再生中のフレームが指導ポイントで無いならば(ステップS30→No)、このフレームを極めてゆっくりスロー再生する(ステップS31)。CPU11は、タブレット端末2上の一時停止ボタン63がタップされていないならば(ステップS32→No)、現在のフレームを1つだけ進め(ステップS33)、選択したフォームが終了するまで(ステップS34→Yes)、これら処理を繰り返す(ステップS34→No)。
サーバ装置1のCPU11は、再生中のフレームが指導ポイントならば(ステップS30→Yes)、このタイミングでタブレット端末2に一時停止(ステップS35)とガイダンス報知(ステップS36)とを行わせ、指導情報の入力待ちとなる(ステップS37)。
このときコーチは、そのタイミングで指導を行うべきか否かを判断し、指導の必要があればチョークボード52やチョークパレット53をタップして指導情報を残す。サーバ装置1のCPU11は、一時停止ボタン63以外がタップされたならば(ステップS38→No)、指導情報を反映させ(ステップS39)、一時停止ボタン63がタップされたならば(ステップS38→Yes)、ステップS33に進んで、次のフレームの処理を行わせる。これによりコーチは、指導ポイントを見落とさす指導可能である。
図8は、指導アシスト画面5を示す図である。
この指導アシスト画面5は、コーチのタブレット端末2のCPU21が指導アシストプログラム271を実行することにより、タッチパネルディスプレイ25上に表示される。指導アシスト画面5には、アドレスからフィニッシュまでの一連の生徒サムネイル51が上部に縮小表示され、予め認識された7つの指導ポイントが識別可能に枠付きで表示される。このように、生徒のフォーム部分のみを切り出してサムネイル表示しているので、フレームをサムネイル化して表示するのに比べて、指導アシスト画面5内に、より多くの生徒サムネイル51を配置可能である。
これら生徒サムネイル51の上側には、指導ポイントを示す赤い三角形のタグ511,512が表示される。この指導ポイントを示すタグ511,512は、例えばコーチがタグ設定ボタン71をタップすることによって入力される。
生徒サムネイル51の下側には、撮影動画152(図2参照)が再生される動画領域54が配置される。動画領域54の左側には、チョークを書き込むためのチョークボード52、チョークの色を指定するチョークパレット53が配置される。コーチは、チョークボード52により文字情報や図形情報を指導内容として入力可能である。動画領域54の右側には、再生位置を制御するプレビューコントロール6と、タグを制御するタグコントロール7が配置される。
プレビューコントロール6は、指導録画の開始/終了を指示する指導録画ボタン61、再生ボタン62、一時停止ボタン63、コマ戻しボタン64、コマ送りボタン65、早戻しボタン66、早送りボタン67を含んで構成される。タグコントロール7は、タグを設定するためのタグ設定ボタン71、設定したタグ間を移動するタグ移動ボタン72,73を含んで構成される。
コーチは、その識別表示されるポイントを中心に動画チェックを行い、指導すべき点があればタグ設定ボタン71で指導ポイントを入力する。コーチは更に、タグ移動ボタン72,73のタップにより複数の指導ポイント間を移動することができる。指導時のコーチの音声やチョークの書き込みや身振り手振りで指導内容は、このタグ511,512などに紐付けされて、サーバ装置1に保存される。
なお、生徒のタブレット端末3上にも赤い三角形のタグ511,512が表示される。これらを選択することで、その前後の指導内容を再生することができる。
以下に示す図9から図12により、コーチが生徒の撮影動画152に基づいて指導する例を説明する。
図9は、アドレスに係る動作タイミングでの指導アシスト画面5を示す図である。この指導アシスト画面5は、図5に示したシーケンスQ22にて、コーチがタブレット端末2を操作して、いずれかのフォームを選択した後に、タブレット端末2上に表示される。
この指導アシスト画面5の動画領域54には、アドレスに係る動作タイミングのフレームが表示されている。
複数の生徒サムネイル51のうち、このフレームに係る生徒サムネイル51が拡大表示されている。このアドレスに係る動作タイミングは、予め定められた所定ポイントなので、その旨を示す矩形枠が生徒サムネイル51に重畳して表示されている。アドレスの他、ハーフウェイ・バック、トップ、ハーフウェイ・ダウン、インパクト、フォロー、フィニッシュの7つの指導ポイントが矩形枠によって示されている。
コーチが指導録画ボタン61をタップすると、タブレット端末2は指導録画と音声収録を開始する、更にコーチが再生ボタン62をタップすると、後記する図10の指導アシスト画面5に遷移する。
図10は、トップ直前の動作タイミングでの指導アシスト画面5を示す図である。
この指導アシスト画面5の動画領域54には、トップ直前の生徒のフレームが表示されている。複数の生徒サムネイル51は、このフレームに係る生徒サムネイル51が拡大表示されている。
図11は、トップに係る動作タイミングでの指導アシスト画面5を示す図である。
この指導アシスト画面5の動画領域54には、トップにおける生徒のフレームが表示されている。動画領域54の上側には、複数の生徒サムネイル51のうち、このフレームに係る生徒サムネイル51が拡大表示されている。また、このトップに係る動作タイミングは、予め定められた所定ポイントなので、その旨を示す矩形枠が生徒サムネイル51に重畳して表示されている。
ここでコーチは、一時停止ボタン63をタップして動画再生を一時停止させ、チョークボード52の円環ツールをタップして、生徒の膝部分に円環81を描画する。コーチは更に、タグ設定ボタン71をタップしてタグを設定しつつ、この膝の角度等について音声で指導する。この指導音声は、マイク26によって収録される。その後コーチは、一時停止ボタン63をタップして動画再生を再開させる。
図12は、インパクトに係る動作タイミングでの指導アシスト画面5を示す図である。
この指導アシスト画面5の動画領域54には、インパクトに係る動作タイミングの生徒のフレームが表示されている。
複数の生徒サムネイル51のうち、このフレームに係る生徒サムネイル51が拡大表示されている。また、このインパクトに係る動作タイミングは、予め定められた所定ポイントなので、その旨を示す矩形枠が生徒サムネイル51に重畳して表示されている。
ここでコーチは、一時停止ボタン63をタップして動画再生を一時停止させ、チョークボード52をタップして、スウィングすべき部分に矢印82を描画する。コーチは更に、タグ設定ボタン71をタップしてタグを設定しつつ、このスウィングについて音声で指導する。この音声は、マイク26によって収録される。その後コーチは、タグ移動ボタン72をタップして、タグ設定された直前のフレームに遷移する。
図13は、録画タイムチャート例を示す図である。
この録画タイムチャートの横軸は、撮影動画152における時刻を示し、縦軸は指導動画158における時刻を示している。太実線で撮影動画152に対する指導動画158の位置を示し、その脇の実線矢印で指導音声のタイミングを示している。この録画タイムチャートは、図5に示したシーケンスQ22にて、コーチがタブレット端末2を操作して、いずれかのフォームを選択した後を示している。
指導動画158の時刻t0かつ撮影動画152の0.0秒目にて、コーチは指導録画ボタン61をタップしたのち、時刻t1にて再生ボタン62をタップする。これによりサーバ装置1およびタブレット端末2は、撮影動画152をスロー再生する。以降、単に時刻と記載した場合は、指導動画158の時刻のことである。この場合の指導アシスト画面5は、図9に示している。
コーチは、撮影動画152の0.3秒近辺から、「ここまでは特に良いね」と音声で指導する。時刻t2かつ撮影動画152の0.5秒目にて、コーチは、一時停止ボタン63をタップして撮影動画152の再生を停止させ、時刻t3にてタグ付けしたのち、「トップの構えでこの辺りが…」と音声で指導しつつ、時刻t4にて指導ポイントを描画する。この場合の指導アシスト画面5は、図11に示している。時刻t3にて付与されたタグは、タグ511として指導アシスト画面5に表示される。
そしてコーチは、時刻t5にて一時停止ボタン63をタップして再生を再開させる。これにより、コーチは、生徒のフォームを指導することができる。
時刻t6かつ撮影動画152の1.1秒近辺にて、コーチは、一時停止ボタン63をタップして撮影動画152の再生を停止させる。コーチは、「インパクトからフォローに掛けては、こういうスウィングで…」と音声で指導しつつ、時刻t7にてタグ付けしたのち、時刻t8にて指導ポイントを描画する。この場合の指導アシスト画面5は、図12に示している。時刻t7にて付与されたタグは、タグ512として指導アシスト画面5に表示される。
そしてコーチは、時刻t9にてタグ移動ボタン72をタップして以前のタグに移動したのち、「トップのフォームをもう一度見ると…」と音声で指導したのち、時刻t10にてタグ移動ボタン73をタップして次のタグに移動する。その後コーチは、時刻t11にて一時停止ボタン63をタップして撮影動画152の再生を再開させる。
コーチは、時刻t12かつ撮影動画152の1.1秒近辺にて、指導録画ボタン61をタップして、指導のための録画を停止する。これにより、コーチが指導した内容は、指導情報156として保存される。これにより、コーチは、生徒のフォームを指導することができる。
図14は、指導動画エンコード処理を示すフローチャートである。
この指導動画158のエンコード処理は、コーチが撮影動画152に基づいて生徒のフォームを指導したのち、サーバ装置1が実行する処理であり、図5に示したシーケンスQ26にて実行される。
サーバ装置1は、この指導録画ボタン61がタップされてオンしたのち、再び指導録画ボタン61がタップされてオフするまでの各期間において、ステップS30〜S35の処理を順次繰り返す。
サーバ装置1は、現フレームがタグ以降の所定時間範囲ならば(ステップS31→Yes)、現フレームを指導動画158としてエンコードする(ステップS34)。
サーバ装置1は、現フレームがタグ以降の所定時間範囲でなければ(ステップS31→No)、現フレームの指導音声の音量を判定する(ステップS32)。サーバ装置1は、現フレームの指導音声の音量が所定レベル以上ならば(ステップS32→Yes)、現フレームを指導動画158にエンコードする(ステップS34)。また、現フレームの指導音声の音量が所定レベル未満ならば(ステップS32→No)、現フレームを指導動画158にエンコードせずに、次のフレームを処理する。なお、フローチャートには示していないが、指導音声は、指導動画158の音声情報としてエンコードされている。
このように、サーバ装置1は、タグと指導音声に基づいて、指導に必要な期間のみを指導動画158としてエンコードするので、エンコードの時間を短縮できると共に、指導動画158のサイズを小さくすることができる。
図15は、生徒のタブレット端末3に表示された、トップ直前における指導画面5Aを示す図である。図10に示した指導アシスト画面5と同一の要素には同一の符号を付与している。
指導画面5Aは、図10に示した指導アシスト画面5とは異なり、コーチが指導内容の記録に用いるチョークボード52、チョークパレット53、指導録画ボタン61、タグ設定ボタン71を備えていない。また指導画面5Aは、図10の指導アシスト画面5とは異なり、指導動画158を動画領域54に再生する。
この指導画面5Aには、図10に示した指導アシスト画面5と同様に、再生ボタン62、一時停止ボタン63、コマ戻しボタン64、コマ送りボタン65、早戻しボタン66、早送りボタン67、タグ移動ボタン72,73を含んでいるので、生徒自身で自由に再生できる。
また指導画面5Aには、当初から指導ポイントを示すタグ511,512が表示され、動画領域54には生徒のトップ直前に係る動作タイミングのフレームが表示されている。なお、指導動画158においてタグ511,512が設定されているフレームは、図15で動画領域54に表示されているフレームよりも後なので、タグ511,512は薄い色で表示されている。これにより、タグ511,512が次またはそれ以降のタグであることをユーザに報知することができる。
図16は、生徒のタブレット端末3に表示された、トップにおける指導画面5Aを示す図である。図11に示した指導アシスト画面5と同一の要素には同一の符号を付与している。
指導画面5Aには、当初から指導ポイントを示すタグ511,512が表示され、動画領域54には生徒のトップに係る動作タイミングのフレームが表示されている。なお、指導動画158においてタグ511が設定されているフレームは、図15で動画領域54に表示されているフレームと同一時刻なので、タグ511は濃い色で表示されている。また、タグ512が設定されているフレームは、図15で動画領域54に表示されているフレームよりも後なので、タグ511は薄い色で表示されている。
図17は、生徒のタブレット端末3に表示された、インパクトにおける指導画面5Aを示す図である。
指導画面5Aには、当初から指導ポイントを示すタグ511,512が表示され、動画領域54には生徒のトップに係る動作タイミングのフレームが表示されている。なお、指導動画158においてタグ511が設定されているフレームは、図15で動画領域54に表示されているフレーム以前なので、タグ511は濃い色で表示されている。また、タグ512が設定されているフレームは、図15で動画領域54に表示されているフレームと同一時刻なので、タグ511も濃い色で表示されている。
図18は、再生タイムチャート例を示す図である。
この再生タイムチャートは、生徒のタブレット端末3上にて再生される指導動画158を太実線で示している。なお、破線は、撮影動画152には存在するが、指導動画158としては再生されない部分を示している。太線脇の矢印は、入力された指導音声のタイミングを示している。
生徒がタブレット端末3上に表示された指導画面5Aの再生ボタン62をタップすると、時刻t20にて指導動画158が再生され、かつ指導音声「ここまでは特に良いね」が再生される。これは撮影動画152の0.3秒近辺に相当する。図15に示した指導画面5Aは、再生タイムチャートの時刻t20において表示される。
時刻t20aにて指導ポイントに近づくと、指導動画158の再生がスローとなる。
時刻t21〜t24にて撮影動画152の0.5秒目のトップに相当する指導動画158のフレームが繰り返し再生される。時刻t22にてタグ511の表示が薄い色から濃い色に変わり、このタイミングでコーチがタグを付与したことを示す。時刻t23にて指導ポイントが描画されると共に、指導音声「トップの構えでこの辺りが…」が再生される。時刻t24にて生徒が指導画面5Aの一時停止ボタン63をタップすると、指導動画158の再生が停止する。図16に示した指導画面5Aは、再生タイムチャートの時刻t24において表示される。これにより生徒は、自分が望む速度で、かつ複数の指導ポイントの中で自分が望む指導ポイントを学習することができる。
更に時刻t25にて生徒が指導画面5Aの一時停止ボタン63を再びタップすると、指導動画158の再生が再開する。これにより生徒は、自分が望むペースで指導ポイントを学習することができる。
時刻t26は指導ポイントの終了なので、指導動画158の再生が停止し、指導画面5Aには「もう一度再現させますか?」のメッセージが表示される。
時刻t27にて生徒が指導画面5Aのタグ移動ボタン72をタップすると、この指導ポイントの再生がリピートする。時刻t28にて指導ポイントが描画されると共に、指導音声「トップの構えでこの辺りが…」が再生される。指導動画158の再生中に生徒が指導画面5Aのタグ移動ボタン73をタップすると、次の指導ポイントの再生が開始する。
時刻t31は、かつ撮影動画152の1.1秒近傍のインパクトに相当し、タグ512の表示が薄い色から濃い色に変わる。時刻t32にて指導ポイントが描画され、指導音声「インパクトからフォローに掛けては、こういうスウィングで…」が再生される。図17に示した指導画面5Aは、再生タイムチャートの時刻t32において表示される。
時刻t33から時刻t34まで、撮影動画152の0.5秒近傍のトップに相当する指導動画158のフレームが繰り返し再生され、指導音声「トップのフォームをもう一度見ると…」が併せて再生される。時刻t34にて、撮影動画152の1.1秒近傍のインパクトに相当する指導動画158のフレームが繰り返し再生されたのち、時刻t35にて、指導動画158の再生が停止する。
図19は、指導動画158の再生処理を示すフローチャートである。
タブレット端末3のCPU31は、指導動画158の再生処理を実行する。
指導動画158の再生にあたり、CPU31は、現在の再生位置が指導ポイントの直前近傍ならば(ステップS40)スローで再生し(ステップS41)、現在の再生位置が指導ポイントならば(ステップS40)、再生を一時停止し(ステップS43)、それ以外ならば通常の速度で再生する(ステップS42)。
ステップS43の後、CPU31は、指導ポイントをもう一度再現させるか否かを問い合わせる(ステップS44)。CPU31は、操作入力がリピート操作ならば(ステップS45)元の指導ポイントを再生位置に設定してリピートし、操作入力が次の再生ならば(ステップS45)次の指導ポイントを再生位置に設定する。これにより生徒は、自分が望む速度で、且つ複数の指導ポイントの中で自分が望む指導ポイントを繰り返し学習することができる。
指導動画158の再生スピードは、生徒が任意に指定できる。各指導ポイントでの音声はピッチ変換され、再生スピードに関わらず原音の音高を保って再生される。
図20は、変形例における指導動画158の再生処理を示すフローチャートである。
変形例における指導動画158の再生にあたり、CPU31は、現在の再生位置が指導ポイントの直前近傍ならば(ステップS40)スローで再生し(ステップS41)、現在の再生位置が指導ポイントならば、指導動画158の再生を一時停止し(ステップS43)、それ以外ならば指導動画158を再生する(ステップS42)。更にCPU31は、ステップS41,S42の後に、現在の指導音声の音量を判定して(ステップS48)、音量が所定値よりも大きいならば(ステップS49→Yes)、ステップS43に進んで一時停止する。これにより、CPU31は、指導音声が大きい部分を指導ポイントとして一時停止し、生徒にフォームを確認させることができる。
これ以降、ステップS43〜S47の処理は、図19に示した再生処理と同様である。
(変形例)
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の(a)〜(e)のようなものがある。
(a) 上記実施形態では、ゴルフのスウィングに係るフォームで説明した。しかし、これに限られず、水泳のクロールにて手で水を掻くときのフォーム、短距離走にて肩のラインの傾きに係るフォーム、サッカーのフリーキックにてボールを蹴るときのフォーム、卓球にてラケットでボールを捉えるときのフォーム、スキーの回転競技でエッジに係るフォーム、バレーボールのレシーブに係るフォーム、野球のバッティングに係るフォームなどの任意のスポーツのフォームであってもよい。更に、スポーツのフォームに限定されず、お手本となる特定の動作パターンで複数の指導ポイントを有する特定動作であればよく、スポーツ以外に、舞踊の特定動作、神事におけるお辞儀の角度などの各種儀式での特定動作、リハビリ歩行訓練等の動作であってもよい。
(b) 上記実施形態では、一台のカメラ4が生徒の正面から撮影している。しかし、これに限られず、複数台のカメラで生徒の斜め背面方向、前方向、上方向等の複数の角度で撮影してもよい。コーチが指導する際には、複数の再生動画ビューを、正面からの再生動画ビューと並べて表示させる。複数の再生動画ビューの時間軸が同じになるように並べているので、コーチは、各角度からの指導ポイントを明確にしながら指導がしやすくなる。
(c) 上記実施形態でのコーチからの指導内容は、音声の収録やチョークボードの記録であった。しかし、これに限られず、コーチがタブレット端末2で動画を再生しながら指導する際におけるコーチの姿を指導映像として撮影してもよい。更に各指導ポイントでのコーチの身振り・手振りによる実演フォームや、コーチに直接指導を受けている生徒の指導映像を、指導ポイントに同期させて記録させてもよい。更にはコーチが生徒に直接手を触れて指導している姿を静止画または動画で撮影して、指導映像としてもよい。生徒が動画を再生する際は、生徒のフォームを撮影した動画の再生に同期して、各指導ポイントでの静止画または動画の指導映像が表示される。これにより、コーチはタブレット端末2を操作することなしに、生徒を指導することができる。
(d) コーチの実演フォームを更に発展させて、プロの動画像を再生してもよい。例えば生徒のフォームに近いプロの理想的なフォームをクラウドのサーバ装置1に格納されたフォームデータベース153との比較で抽出して、生徒の動画像と紐付けして記憶させておく。そして、生徒の撮影画像を再生してコーチが指導を行う際は、そのプロの動画像も再生され、自動的に抽出される指導ポイントあるいは任意に選択されたタグ位置で、コーチが指導した指導内容を音声やチョークボードで記録する。このようにすることで、生徒が学習のための動画像を再生する際は、生徒の画像とプロの画像が対比されて表示されると共に、その時のコーチによる指導内容が自動的に再生されるので、生徒は自己学習を効率的に行える。
(e) クラウドに設けられたサーバ装置1による記録に限定されず、例えばジムやスポーツクラブに設けられたコンピュータによる記録であってもよい。また、生徒のタブレット端末3は、指導動画をネットワーク経由で受信することに限定されず、例えば記録メディア経由で指導動画を読み込んでもよい。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
ユーザのフォームを一連の動作として撮影した動画内において、当該一連の動作の中で指導者が指導ポイントとした指導内容を当該指導ポイントである動作タイミングと対応付けて記録した指導動画を取得する取得部と、
前記指導動画の再生の際、前記指導動画内の一連の動作の中で前記指導ポイントに対応付けて記録された指導内容を、前記指導動画の再生に同期させて再現させる再現部と、
を備えることを特徴とする指導アシストシステム。
<請求項2>
前記再現部は、前記指導動画における指導ポイント、再生スピードを前記ユーザにより選択可能とし、選択された内容で前記指導動画を再生する、
ことを特徴とする請求項1に記載の指導アシストシステム。
<請求項3>
前記再現部は、前記指導動画における指導内容の繰り返し再現を前記ユーザにより選択可能とし、選択された当該指導内容を前記指導動画の再生に同期させて再現する、
ことを特徴とする請求項1または2に記載の指導アシストシステム。
<請求項4>
前記再現部は、前記動画の前記指導ポイントの前後の所定期間を再現する、
ことを特徴とする請求項2または3に記載の指導アシストシステム。
<請求項5>
前記指導内容は、文字情報、音声情報、図形情報、静止画情報、動画情報のいずれかである、
ことを特徴とする請求項1ないし4のうちいずれか1項に記載の指導アシストシステム。
<請求項6>
前記再現部は、前記指導内容としての音声情報の音量が所定値以上である領域を再現する、
ことを特徴とする請求項5に記載の指導アシストシステム。
<請求項7>
ユーザのフォームを一連の動作として撮影した動画内において、当該一連の動作の中で指導者が指導ポイントとした指導内容を当該指導ポイントである動作タイミングと対応付けて記録した指導動画を取得する取得手段、
前記指導動画の再生の際、前記指導動画内の一連の動作の中で前記動作タイミングに対応付けて記録された指導内容を、前記指導動画の再生に同期させて再現させる再現手段、
としてコンピュータを機能させるための指導アシストプログラム。
S 指導アシストシステム
1 サーバ装置
151 フォーム情報生成プログラム
152 撮影動画
153 フォームデータベース
154 フォーム情報
155 指導アシストサーバプログラム
156 指導情報
157 指導動画エンコードプログラム
158 指導動画
2 タブレット端末
271 指導アシストプログラム
3 タブレット端末
371 指導ブラウザプログラム
4 カメラ
5 指導アシスト画面
51 生徒サムネイル
511,512 タグ
52 チョークボード
53 チョークパレット
54 動画領域
6 プレビューコントロール
61 指導録画ボタン
62 再生ボタン
63 一時停止ボタン
7 タグコントロール
81 円環 (指導内容)
82 矢印 (指導内容)

Claims (7)

  1. ユーザのフォームを一連の動作として撮影した動画内において、当該一連の動作の中で指導者が指導ポイントとした指導内容を当該指導ポイントである動作タイミングと対応付けて記録した指導動画を取得する取得部と、
    前記指導動画の再生の際、前記指導動画内の一連の動作の中で前記指導ポイントに対応付けて記録された指導内容を、前記指導動画の再生に同期させて再現させる再現部と、
    を備え、
    前記再現部は、第1の表示領域に前記指導動画を再生表示させるとともに、第2の表示領域に前記動画から切り出された互いに異なるタイミングの複数の部分画像を時系列順に並べて表示させ、且つ、前記複数の部分画像のうち前記動作タイミングに対応する部分画像に対しては、再生開始位置選択ボタンを兼ねた識別マークを付して表示させる、
    ことを特徴とする指導アシストシステム。
  2. 前記再現部は、前記指導動画における指導ポイント、再生スピードを前記ユーザにより選択可能とし、選択された内容で前記指導動画を再生する、
    ことを特徴とする請求項1に記載の指導アシストシステム。
  3. 前記再現部は、前記指導動画における指導内容の繰り返し再現を前記ユーザにより選択可能とし、選択された当該指導内容を前記指導動画の再生に同期させて再現する、
    ことを特徴とする請求項1または2に記載の指導アシストシステム。
  4. 前記再現部は、前記動画の前記指導ポイントの前後の所定期間を再現する、
    ことを特徴とする請求項1ないし3のうちいずれか1項に記載の指導アシストシステム。
  5. 前記指導内容は、文字情報、音声情報、図形情報、静止画情報、動画情報のいずれかである、
    ことを特徴とする請求項1ないし4のうちいずれか1項に記載の指導アシストシステム。
  6. 前記再現部は、前記指導内容としての音声情報の音量が所定値以上である領域を再現する、
    ことを特徴とする請求項5に記載の指導アシストシステム。
  7. コンピュータを、
    ユーザのフォームを一連の動作として撮影した動画内において、当該一連の動作の中で指導者が指導ポイントとした指導内容を当該指導ポイントである動作タイミングと対応付けて記録した指導動画を取得する取得手段、
    前記指導動画の再生の際、前記指導動画内の一連の動作の中で前記指導ポイントに対応付けて記録された指導内容を、前記指導動画の再生に同期させて再現させる再現手段、
    として機能させ、
    前記再現手段は、第1の表示領域に前記指導動画を再生表示させるとともに、第2の表示領域に前記動画から切り出された互いに異なるタイミングの複数の部分画像を時系列順に並べて表示させ、且つ、前記複数の部分画像のうち前記動作タイミングに対応する部分画像に対しては、再生開始位置選択ボタンを兼ねた識別マークを付して表示させる、
    ことを特徴とする指導アシストプログラム。
JP2016012492A 2016-01-26 2016-01-26 指導アシストシステム、および指導アシストプログラム Active JP6679952B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016012492A JP6679952B2 (ja) 2016-01-26 2016-01-26 指導アシストシステム、および指導アシストプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016012492A JP6679952B2 (ja) 2016-01-26 2016-01-26 指導アシストシステム、および指導アシストプログラム

Publications (3)

Publication Number Publication Date
JP2017131327A JP2017131327A (ja) 2017-08-03
JP2017131327A5 JP2017131327A5 (ja) 2018-12-13
JP6679952B2 true JP6679952B2 (ja) 2020-04-15

Family

ID=59501825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016012492A Active JP6679952B2 (ja) 2016-01-26 2016-01-26 指導アシストシステム、および指導アシストプログラム

Country Status (1)

Country Link
JP (1) JP6679952B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7008342B2 (ja) * 2019-03-05 2022-01-25 株式会社Sportip 運動評価システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06114139A (ja) * 1992-01-29 1994-04-26 Katayama Midori ゴルフスイングが正しく成されているか否かの見極め装置とその矯正表示方法とそのビデオテープ
KR100226652B1 (ko) * 1993-08-10 1999-10-15 가타야마 미도리 신체의 동작법을 지도하기 위한방법
US6293802B1 (en) * 1998-01-29 2001-09-25 Astar, Inc. Hybrid lesson format
AU1220601A (en) * 1999-10-21 2001-04-30 Interactive Frontiers, Inc. System and method for teaching a physical skill
US20020115047A1 (en) * 2001-02-16 2002-08-22 Golftec, Inc. Method and system for marking content for physical motion analysis
JP2003015519A (ja) * 2001-07-03 2003-01-17 Golfers Garden:Kk スイングティーチングシステム及び方法
JP2004275779A (ja) * 2004-05-21 2004-10-07 A I Soft Inc 連続画像を出力するためのコンピュータプログラムを記録した記録媒体、連続画像出力装置および連続画像出力方法
JP2007244443A (ja) * 2006-03-14 2007-09-27 Shizuo Nakayama 人間の動作のレッスンシステム及びレッスン方法
JP2011250095A (ja) * 2010-05-26 2011-12-08 Sony Corp 電子機器、映像編集方法及びプログラム
JP6332830B2 (ja) * 2013-12-24 2018-05-30 カシオ計算機株式会社 運動支援システム及び運動支援方法、運動支援プログラム

Also Published As

Publication number Publication date
JP2017131327A (ja) 2017-08-03

Similar Documents

Publication Publication Date Title
US10864423B2 (en) Augmented learning system for tai-chi chuan with head-mounted display
JP4646209B2 (ja) 実技分析システム及びプログラム
US20110275045A1 (en) Video Overlay Sports Motion Analysis
US8848058B2 (en) Method for analyzing the motion of a person during an activity
US20140308640A1 (en) Method to Improve Skilled Motion Using Concurrent Video of Master and Student Performance
JP4264368B2 (ja) 実技分析システム及びプログラム
JPH06509005A (ja) スポーツ技倆のビデオ訓練装置
CN106457045A (zh) 用于在大尺寸显示系统上描绘具有用户可选图标的入口的方法和系统
US20080022348A1 (en) Interactive video display system and a method thereof
JP6165815B2 (ja) 学習システム、学習方法、プログラム、記録媒体
US20180369678A1 (en) System and Apparatus for Sports Training
WO2010085704A1 (en) Video overlay sports motion analysis
CN111445738B (zh) 一种在线运动动作辅导方法及系统
KR20150081750A (ko) 골프 스윙 분석 시스템 및 방법
JP6679952B2 (ja) 指導アシストシステム、および指導アシストプログラム
US20140118522A1 (en) Dance learning system using a computer
KR101962916B1 (ko) 골프 스윙 자세 확인 및 교정 시스템
JP6679951B2 (ja) 指導アシストシステム、および指導アシストプログラム
JP2014164644A (ja) 信号処理装置、表示装置、及びプログラム
KR20200089657A (ko) 표시 제어 장치 및 컴퓨터 프로그램
JP2017037110A (ja) 情報処理装置
US20220139253A1 (en) Guidance system and method for action postures
US20150367218A1 (en) Badminton Training and Conditioning System and Method
JP7286189B2 (ja) レッスン動画表示装置
US20210121774A1 (en) Memory puzzle system

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181030

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181030

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190903

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200302

R150 Certificate of patent or registration of utility model

Ref document number: 6679952

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150