JP4982279B2 - 学習支援装置および学習支援方法 - Google Patents

Description

本発明は、運動の学習を支援する学習支援装置および学習支援方法に関する。

従来、運動の学習において上達を図るために、コーチの指導を受けたり、上級者の運動の姿を見たり、ビデオや鏡を活用して自分の運動の姿を見るということが広く行われている。ところが、特にこれから運動を始める初心者や、なかなか上達しない初級者は、言葉や運動の姿から目標となる運動をうまくイメージできない場合が多く、このような場合には上達は難しい。

そこで、上級者の運動における手や足などの部位の軌道を提示することで、より直感的で体感可能な学習を可能にする技術が、例えば特許文献１および特許文献２に記載されている。

特許文献１記載の技術では、書道における筆の運びを学習するための教材において、上級者の筆の運びにおける筆圧の強弱や重心位置を、筆の移動経路に沿って図形で表示する。ユーザは、この教材に表示された図形を、それぞれの図形の意味に従ってなぞることにより、上級者の筆の運びをイメージしながら書道の練習を行うことができる。

特許文献２記載の技術では、描画における筆の運びを学習するための装置において、基準線を表示し、これをなぞる形でユーザにより記入された記入線とのずれを測定して、描画の巧緻性を判定する。ユーザは、巧緻性の判定結果が向上するように努力を繰り返すことにより、上級者の運動をイメージし易くなる。
特開２００４−１７０７３６号公報 特開２０００−７５７８３号公報

しかしながら、特許文献１および特許文献２記載の技術では、例えば、表示されている図形や基準線に対するユーザの位置や姿勢が上級者と異なっている場合、ユーザの運動は、上級者の運動とはかけ離れたものとなる可能性がある。すると、ワンパターンの運動の結果物を得ることを学習するにはよいが、上級者の運動の学習には必ずしも適さず、逆に運動の上達という本来の目的を達成しにくくなる可能性が高くなる。

本発明は、かかる点に鑑みてなされたものであり、運動の効果的な学習を可能にする学習支援装置および学習支援方法を提供することを目的とする。

本発明の学習支援装置は、所定の運動を学習するための学習支援装置であって、前記所定の運動における学習対象部位の動作である目標動作を示す目標動作情報を取得する目標動作取得部と、前記目標動作取得部によって取得された前記目標動作情報に基づいて、前記目標動作を、前記所定の運動を学習するユーザの視界に適合させて描画する描画部とを有する構成を採る。

本発明の学習支援方法は、所定の運動を学習するための学習支援方法であって、前記所定の運動における学習対象部位の動作である目標動作を示す目標動作情報を取得する目標動作取得ステップと、前記目標動作取得ステップで取得された前記目標動作情報に基づいて、前記目標動作の画像を、前記所定の運動を学習するユーザの視界に適合させて描画する描画ステップとを有するようにした。

本発明によれば、ユーザの視界に適合させて目標動作の画像が描画されるので、ユーザは、より正しい位置や姿勢で、所定の運動における特定部位の動作をなぞることができる。これにより、運動の結果物から間接的に運動を学習する場合に比べて、より効果的な運動の学習が可能となる。

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る学習支援装置が使用される場面の様子を示す図である。実施の形態１は、本発明を、ゴルフクラブのスィングの学習を支援する学習支援装置に適用した例である。

図１に示すように、学習支援装置１０は、ヘッドマウントディスプレイ（head mounted display：HMD）１１０、３軸加速度センサ１２０、および制御端末１３０により構成される。制御端末１３０は、ゴルフクラブのスィングを練習するユーザ１５０の近くに据え置かれている。ヘッドマウントディスプレイ１１０は、ユーザ１５０の頭部に装着されている。３軸加速度センサ１２０は、ユーザ１５０の目標となる運動を学習するにあたってユーザ１５０が着目する運動器具や体の部位（以下「学習対象」という）に着脱自在に取り付けられる。ここでは、学習対象として、ゴルフクラブのクラブヘッド１６０が選択された例を示しており、３軸加速度センサ１２０は、クラブヘッド１６０に取り付けられている。

ヘッドマウントディスプレイ１１０は、光学式シースルー型の表示装置であり、ユーザ１５０の目の前のゴルフボール１７０やクラブヘッド１６０などの実視界の画像に、制御端末１３０から送られてくる情報に基づいてコンピュータ生成された画像を光学的に重ね合わせて表示させる。

具体的には、ヘッドマウントディスプレイ１１０は、マウントディスプレイ１１０に固定された描画面に、制御端末１３０から送られてきた後述する描画情報に基づいて描画を行う。また、ヘッドマウントディスプレイ１１０は、ユーザ１５０の視線の起点である視点と、ユーザ１５０の頭の位置および姿勢を計測し、制御端末１３０に送信する。ここで、視点は、ユーザ１５０の瞳孔の位置であり、姿勢とは、物体の向きや傾きをいうものとする。

３軸加速度センサ１２０は、自己の加速度をアナログ値で計測し、計測データをディジタル値である加速度データに変換して、制御端末１３０に送信する。

制御端末１３０は、ユーザ１５０の目標となるスィングにおける、クラブヘッド１６０の目標となる軌道（以下「目標軌道」という）および目標軌道の各位置におけるヘッド面の向きなどの所定の物理量（目標軌道および所定の物理量が示す動作並びにこの動作を示す情報を、以下「目標動作」と総称する）を取得する。そして、制御端末１３０は、ヘッドマウントディスプレイ１１０からの情報に基づいて、取得した目標動作をユーザ１５０の視界に適合させて描画するための画像データである描画情報を作成し、ヘッドマウントディスプレイ１１０に送信する。

更に、制御端末１３０は、３軸加速度センサ１２０から送られてくる情報に基づいて、クラブヘッド１６０の実際の軌道（以下「実軌道」という）および実軌道の各位置におけるヘッド面の向きなどの所定の物理量（実軌道および所定の物理量が示す動作並びにこの動作を示す情報を、以下「実動作」と総称する）を取得する。そして、制御端末１３０は、実動作を目標動作と比較し、比較結果をユーザ１５０の視界に適合させて描画するための描画情報を作成して、ヘッドマウントディスプレイ１１０に送信する。

このような学習支援装置１０を用いることにより、ユーザ１５０の視界に適合した位置で、目標動作が描画される。これにより、ユーザ１５０は、スィング学習において、クラブヘッド１６０の目標動作を目で確認しながらスィング練習を行うことができるとともに、クラブヘッド１６０の実動作を目標動作との比較でチェックすることができる。このような学習支援装置１０を用いて繰り返し練習することにより、ユーザ１５０は、自身のスィング運動を目標となるスィング運動に近づけることができる。

次に、学習支援装置１０の詳細な構成について説明する。

図２は、学習支援装置１０の詳細な構成を示すブロック図である。

図２に示す学習支援装置１０において、ヘッドマウントディスプレイ１１０は、視界情報計測部１１１、位置姿勢情報計測部１１２、および画像表示部１１３を有する。３軸加速度センサ１２０は、運動情報計測部１２１を有する。制御端末１３０は、目標動作情報格納部１３１、学習対象取得部１３２、視界情報取得部１３３、位置姿勢情報取得部１３４、目標動作作成部１３５、目標動作描画部１３６、運動情報取得部１３７、および通過判定部１３８を有する。

目標動作情報格納部１３１は、それぞれ異なる部位に対応する複数のオブジェクト情報１３１ａ−１、１３１ａ−２、・・・、１３１ａ−Ｎ（Ｎは自然数）を予め格納する。オブジェクト情報１３１ａは、学習対象の目標動作を算出するための基礎情報である。具体的には、オブジェクト情報１３１ａは、学習対象の目標軌道を構成する１つまたは複数の位置に、上記した所定の物理量を視覚的に示すためのシンボルであるオブジェクトを定義する。

図３は、クラブヘッド（以下適宜「クラブ」という）に対応するオブジェクト情報１３１ａの内容の一例を示す図である。

図３に示すように、オブジェクト情報１３１ａは、部位名２０１、オブジェクト番号２０２、直前のオブジェクト番号２０３、直後のオブジェクト番号２０４、ポイント重要度２０５、位置座標２０６、大きさ２０７、加速度２０８、およびその他情報２０９から構成される。これらの情報は、部位の目標軌道を構成する位置ごとに記述される。

部位名２０１には、他の各情報がどの部位に関する情報であるかが記述される。オブジェクト番号２０２には、位置の識別情報としてオブジェクトの番号が記述される。直前のオブジェクト番号２０３には、目標軌道における直前の位置に対応する他のオブジェクトの番号が記述される。直後のオブジェクト番号２０４には、部位の目標軌道における直後の位置に対応する他のオブジェクトの番号が記述される。ポイント重要度２０５には、オブジェクトのポイントとしての重要度が記述される。位置座標２０６には、制御端末１３０に固定された座標系（以下「基準座標系」という）で位置を表した位置座標（ｘ，ｙ，ｚ）が記述される。大きさ２０７には、オブジェクトの大きさを指定する情報が記述される。加速度２０８には、対応する位置における部位の加速度が記述される。その他情報２０９には、目標となる運動に関連する加速度以外の所定の物理量や、オブジェクトを描画する際の視覚的な情報が記述される。

目標となる運動に関連する所定の物理量としては、例えば、加速度、姿勢、速度、回転速度、回転加速度、学習対象に対してユーザ１５０が掛ける力が記述されてもよい。また、オブジェクトを描画する際の視覚的な情報としては、オブジェクトの形状、解像度、色、透明度、輝度、密度、グラデーションなどの属性が記述される。

図２の学習対象取得部１３２は、オブジェクト情報１３１ａ−１、１３１ａ−２、・・・、１３１ａ−Ｎが対応するクラブヘッド１６０や手などの複数の部位を、学習対象の選択肢としてユーザ１５０に提示し、選択結果を示す学習対象情報を、目標動作作成部１３５に出力する。具体的には、学習対象取得部１３２は、液晶タッチパネル（図示せず）に、学習対象の選択を含めた各種操作を受け付けるための制御パネルを表示させて、ユーザ１５０の学習対象の選択を受け付ける。

図４は、学習対象取得部１３２が表示させる制御パネルの外観の一例を示す図である。

制御パネル２１０には、運動の学習のための処理の開始および終了、表示メニューの切り替え、音量の切り替えの操作を受け付けるためのボタンなどが配置される。図４は、学習対象を選択するためのメニューが表示されているときの制御パネル２１０の外観を示している。

制御パネル２１０では、学習レベルを選択するためのメニューなど、他の各種設定を行うための画面を更に表示するようにしてもよい。ここで、学習レベルとは、例えば、オブジェクトをなぞるべき順序で順に表示させるなどして実動作の先導を行う場合に、目標動作をなぞる速度によって区分されるレベルのことである。

なお、制御パネル２１０での選択操作ではなく、ディジタルカメラでユーザ１５０を撮影し、ユーザ１５０のジェスチャに基づいて、学習対象の選択や学習レベルの選択を受け付けるようにしてもよい。この場合には、学習対象取得部１３２は、各選択肢と特定のジェスチャとの対応付けを予め設定しておき、ディジタルカメラで撮像されたユーザ１５０の画像を解析して、予め設定されたジェスチャとのマッチングを行う。

例えば、腕組みのジェスチャをメニュー選択開始に、指差しのジェスチャを対象部位の選択に、そして再度の腕組みのジェスチャを選択終了にそれぞれ対応付けて設定することができる。この場合、ユーザ１５０は、腕組みを数秒間行ってから学習対象となる部位を指で数秒間示し、再度腕組みをするといったジェスチャを行うことによって、学習支援装置１０から離れた練習ポジションのままで、学習対象の選択や学習レベルの選択を行うことができる。

図２の視界情報計測部１１１は、光源、ミラー、および小型ディジタルカメラを備えた視点検出装置（図示せず）を有し、視点検出装置を用いて、ユーザ１５０の視点を単位時間ごとに検出する。具体的には、視界情報計測部１１１は、光源からの光を角膜に当て、反射像をミラーで反射させて小型ディジタルカメラで捉えることにより眼球運動を検出する角膜反射法を用いる。視界情報計測部１１１は、検出した視線方向をヘッドマウントディスプレイ１１０本体に固定された座標系（以下「ＨＭＤ座標系」という）で表した情報を、視界情報として取得する。そして、視界情報計測部１１１は、無線通信により、単位時間ごとの時系列データとして視界情報を制御端末１３０に送信する。

視界情報取得部１３３は、視界情報計測部１１１から送られてくる視界情報を受信し、目標動作作成部１３５に出力する。

位置姿勢情報計測部１１２は、ヘッドマウントディスプレイ１１０本体に固定された磁気センサ（図示せず）を有する。磁気センサの位置および姿勢は、位置姿勢情報取得部１３４により取得される。

位置姿勢情報取得部１３４は、位置姿勢情報計測部１１２に備えられた磁気センサの位置および姿勢を取得し、磁気センサの位置および姿勢を基準座標系で表した情報を、位置姿勢情報として目標動作作成部１３５に出力する。

なお、磁気センサはヘッドマウントディスプレイ１１０本体に固定されているため、位置姿勢情報から、基準座標系におけるヘッドマウントディスプレイ１１０の位置および姿勢とヘッドマウントディスプレイ１１０に設けられた描画面の位置とを取得することが可能である。また、ＨＭＤ座標系２４２もヘッドマウントディスプレイ１１０本体に固定されているため、視界情報および位置姿勢情報から、基準座標系におけるユーザ１５０の視線方向を取得することが可能である。各座標系の関係については、後に別図を用いて説明する。

目標動作作成部１３５は、学習対象情報が示す部位に対応するオブジェクト情報１３１ａを、目標動作情報格納部１３１から取得する。目標動作作成部１３５は、取得したオブジェクト情報１３１ａの記述内容に従い、視界情報および位置姿勢情報から、ヘッドマウントディスプレイ１１０の描画面にオブジェクトの画像により目標動作を描画するための描画情報を作成する。そして、目標動作作成部１３５は、作成した描画情報を目標動作描画部１３６に出力する。

また、目標動作作成部１３５は、取得したオブジェクト情報１３１ａを、通過判定部１３８に出力する。そして、目標動作作成部１３５は、通過判定部１３８から出力される通過判定情報に基づいて、新たな描画情報を作成して目標動作描画部１３６に出力する。通過判定情報は、学習対象の実動作と目標動作との比較結果を示す情報であり、学習対象の実軌道が学習対象の目標軌道をなぞることができたか否かを示す通過判定結果を含む。

目標動作描画部１３６は、目標動作作成部１３５で作成された描画情報を、無線通信によりヘッドマウントディスプレイ１１０の画像表示部１１３に送信する。

画像表示部１１３は、描画面（図示せず）を有し、制御端末１３０から送られてくる描画情報に基づいてオブジェクトを描画面に描画する。ユーザ１５０は、描画面に描画されたオブジェクトの画像と実視界のゴルフボール１７０やクラブヘッド１６０などを同時に見ながら、スィングの練習を行うことができる。

図５は、ヘッドマウントディスプレイ１１０における描画面の様子の一例を示す図である

図５に示すように、描画面２３０には、制御端末１３０から送られてきた描画情報に基づいて、実視界の画像２３１に重ねて、二次元画像または三次元画像であるオブジェクト画像２３２を表示する。ここでは、オブジェクトのデフォルトのシンボルが球体であり、図３に示すオブジェクト番号Ａ１〜Ａ３に対応するオブジェクト画像２３２が、大きさ２０７の記述内容に応じた大きさで描画されたときの描画面２３０を図示している。なお、ここでは、オブジェクト画像２３２の内部にオブジェクト番号を付加して図示しているが、必ずしもオブジェクト画像２３２にオブジェクト番号を付加する必要は無い。

なお、オブジェクトの描画の手法は、上記内容に限定されるものではない。例えば、実世界の映像とコンピュータ生成映像とを融合させたもの画像をディスプレィに表示するビデオ式シースルー型、低出力レーザを用いてコンピュータ生成の映像を網膜に直接描画する網膜ディスプレィ型、またはコンピュータ生成の情報を直接投影する投影型などの表示機器を用いてもよい。

運動情報計測部１２１は、３軸加速度センサ１２０で計測された３軸方向の加速度を基準座標系で表した加速度データを、運動情報として単位時間ごとに取得する。そして、運動情報計測部１２１は、無線通信により、単位時間ごとの時系列データとして運動情報を制御端末１３０に送信する。

運動情報取得部１３７は、３軸加速度センサ１２０の運動情報計測部１２１から送られてきた運動情報（加速度データ）を受信し、通過判定部１３８に出力する。

通過判定部１３８は、運動情報から、学習対象（ここではクラブヘッド１６０）の実動作を取得する。通過判定部１３８は、取得した実動作と、オブジェクト情報１３１ａに定義された学習対象の目標動作とを比較解析し、上記した通過判定結果を含む通過判定情報を作成する。そして、通過判定部１３８は、作成した通過判定情報を目標動作作成部１３５に出力する。目標動作作成部１３５では、上述したように、通過判定情報に基づいて、通過判定結果をユーザ１５０に対してフィードバックするための描画情報が作成される。

なお、学習対象の実動作の取得の仕方は、上記内容に限定されるものではない。例えば、学習対象に圧力センサを取り付けて加速度データを取得したり、学習対象に取り付けたマーカの動きをカメラで撮影し撮影画像を解析するなどしてもよい。

制御端末１３０およびヘッドマウントディスプレイ１１０は、例えば、ＣＰＵ（central processing unit）、制御プログラムを格納したＲＯＭ（read only memory）などの記憶媒体、ＲＡＭ（random access memory）などの作業用メモリ、および通信回路をそれぞれ備える。この場合、ＣＰＵが制御プログラムを実行することで、制御端末１３０およびヘッドマウントディスプレイ１１０の上記各部の機能は実現される。

ここで、学習支援装置１０における各座標系の関係およびオブジェクトの描画位置の算出の原理について説明する。

図６は、各座標系の関係およびオブジェクトの描画位置の算出の原理を示す図である。

図６において、基準座標系２４１（Ｘ_ｈ，Ｙ_ｈ，Ｚ_ｈ）は、制御端末１３０の位置および姿勢に固定された、位置姿勢情報取得部１３４を原点とする座標系である。制御端末１３０の位置姿勢情報取得部１３４は、ヘッドマウントディスプレイ１１０に固定された磁気センサの位置および姿勢を、基準座標系２４１で計測する。

ＨＭＤ座標系２４２（Ｘ_ｅ，Ｙ_ｅ，Ｚ_ｅ）は、視点検出装置１１２に固定された、ヘッドマウントディスプレイ１１０の描画面２３０上の所定の位置を原点とした座標系である。ヘッドマウントディスプレイ１１０に固定された視点検出装置１１２は、ユーザ１５０の視点２４３の位置を、ＨＭＤ座標系２４２で検出する。

なお、説明の簡便化のため、ここでは、描画面２３０上の座標系がＨＭＤ座標系２４２に一致するものとする。

ＨＭＤ座標系２４２における磁気センサ１１１ａの位置および姿勢は、予め測定される。または、ＨＭＤ座標系２４２における磁気センサ１１１ａの位置および姿勢が予め定められた位置および姿勢となるように、磁気センサ１１１ａおよび視点検出装置１１２は固定される。これにより、ＨＭＤ座標系２４２と基準座標系２４１との間で、位置座標やベクトルを変換することができる。

また、ＨＭＤ座標系２４２における描画面２３０の位置および姿勢は、予め測定される。または、ＨＭＤ座標系２４２における描画面２３０の位置および姿勢が予め定められた位置および姿勢となるように、視点検出装置１１２は固定される。これにより、ＨＭＤ座標系２４２と描画面２３０上の座標系との間で、位置座標やベクトルを変換することができる。

すなわち、ユーザ１５０の視点２４３および描画面２３０上の位置は、基準座標系２４１でも表すことができる。

更に、オブジェクト情報１３１ａに定義されているオブジェクト２５０の位置座標は、基準座標系２４１の値であり、基準座標系２４１において、視点２４３とオブジェクト２５０とを結ぶ直線２５１の描画面２３０との交点を容易に求めることができる。この交点は、ユーザ１５０が描画面２３０を通してオブジェクト２５０を見たときの、描画面２３０上のオブジェクト２５０の画像の位置である。

このように、学習支援装置１０では、基準座標系２４１と、他の座標系との幾何学的整合が取られている。

目標動作作成部１３５は、上記した各座標系の関係を用いて、ユーザ１５０の視点２４３、描画面２３０の位置、およびオブジェクト２５０の三次元的な位置に基づいて、描画面２３０上におけるオブジェクト画像２３２の描画すべき位置および姿勢を求める。これにより、学習支援装置１０は、例えば、オブジェクト情報１３１ａに基準座標系２４１で定義されているオブジェクト２５０の三次元的な目標軌道２５２を、描画面２３０におけるオブジェクト画像２３２の二次元的な目標軌道２５３に変換して、表示することができる。

但し、描画面２３０の領域は有限であるため、視点２４３からみて描画面２３０の範囲外の領域に位置するオブジェクト２５０ｂに対応して描画されるはずのオブジェクト画像２３２ｂは、実際には描画されないことになる。

また、学習支援装置１０は、オブジェクト情報１３１ａが定義する目標動作を実現する際の運動、つまり目標となる運動においてユーザ１５０が取るべき基本姿勢の立ち位置と向きを、予め記憶している。この記憶された立ち位置と向きに、基本姿勢を取るユーザ１５０の立ち位置や向きが合致するように、制御端末１３０とゴルフボール１７０の相対位置は設定されている。このような設定と、上記座標系の変換とにより、ユーザ１５０が目標となる運動を行った場合のユーザ１５０の視界における目標動作を、ユーザ１５０の視界に適合させて描画することができる。

なお、ゴルフボール１７０の初期位置に対するユーザ１５０の立ち位置は、ボールを打つべき方向との関係で定まることから、ゴルフボール１７０の初期位置を基準に基準座標系２６１（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）を設定してもよい。具体的には、例えば、ゴルフボール１７０の初期位置を原点とし、制御端末１３０からゴルフボール１７０へと向かうベクトルをＸ軸、垂直方向をＺ軸、Ｘ軸とＺ軸の外積方向をＹ軸とする座標系を、基準座標系２６１（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）とする。この場合には、地面または床面２６２上に、制御端末１３０に対して予め定められた距離および方向にゴルフボール１７０の初期位置が位置するように、制御端末１３０を設置すればよい。または、ゴルフボール１７０にマーカを取り付け、制御端末１３０に備えられたディジタルカメラの撮影画像から、マーカの位置および方向を特定するなどして、ゴルフボール１７０の初期位置を原点とする基準座標系２６１を設定してもよい。

また、ユーザ１５０の胴体などの位置および姿勢を基準に、基準座標系２６０を設定してもよい。この場合には、例えば、ユーザ１５０の体の所定の位置に磁気センサを取り付け、制御端末１３０でこの磁気センサの位置および姿勢を検出する。これにより、移動や大きな動きを伴う運動についても、ユーザ１５０の視界に適合させて目標動作を描画することができる。

次に、通過判定部１３８による通過判定の原理の一例について説明する。

図７は、通過判定部１３８による通過判定の原理の一例を示す図である。

通過判定部１３８は、３軸加速度センサ１２０からの加速度データを２重積分し、学習対象（ここではクラブヘッド１６０）の三次元位置の初期位置に対する相対変化を求めることにより、学習対象の実動作を算出する。具体的には、通過判定部１３８は、例えばクラブヘッド１６０のヘッド面をゴルフボールに沿わせた状態を学習対象の初期位置および初期姿勢として取得する。そして、通過判定部１３８は、学習対象のある時点での加速度からオイラー法などにより微小時間後の運動を求める処理を反復することにより、運動結果の時系列を逐次的に求めていく。

学習対象の実軌道２７０のどの時点の位置２７１を、どのオブジェクト２５０と比較すべきかを判断することは難しい。そこで、本実施の形態では、学習対象の実軌道２７０のうち、あるオブジェクト２５０との距離が最小となる位置２７１を、そのオブジェクト２５０と比較すべき位置とする。そして、その学習対象の位置２７１とオブジェクト２５０の位置との距離（以下「ずれ量」という）が所定の閾値より小さい場合には、成功したものと判定し、ずれ量が所定の閾値以上である場合には、失敗したものと判定する。

ここで、成功とは、学習対象の実軌道２７０が、目標軌道に位置するオブジェクト２５０を通過したことをいい、失敗とは、学習対象の実軌道２７０が、目標軌道に位置するオブジェクト２５０を通過しなかったことをいう。

通過判定部１３８は、微少時間ごとの学習対象の位置２７１を算出する。ある時間における学習対象の位置（ｘ，ｙ，ｚ）が微小時間後に位置（ｘ＋Δｘ，ｙ＋Δｙ，ｚ＋Δｚ）に変位したとする。通過判定部１３８は、変位後のずれ量ｄ'が変位前のずれ量ｄよりも大きくなった時点における変位前の位置（ｘ，ｙ，ｚ）を、オブジェクト２５０との距離が最小となる位置と判定する。

具体的には、通過判定部１３８は、まず、オブジェクト２５０の位置（ｘ_ａ，ｙ_ａ，ｚ_ａ）に対して、以下の式（１）が成立するか否かを逐次判定する。

オブジェクト２５０が多数存在する場合には、全てのオブジェクト２５０に対して上記演算を行うと処理負荷が高くなる。そこで、通過判定部１３８は、オブジェクト情報１３１ａに定義されたオブジェクトの順序に従って、１つずつ順に通過判定を行う。例えば、図７に示すように、オブジェクト番号Ａ１に対応するオブジェクト２５０−Ａ１と、次のオブジェクト番号であるオブジェクト番号Ａ２に対応するオブジェクト２５０−Ａ２が存在したとする。この場合、通過判定部１３８は、まず、オブジェクト２５０−Ａ１についてのみ式（１）を用いた判定を実行し、式（１）が成立してから、次のオブジェクト２５０−Ａ２について式（１）を用いた判定を実行すればよい。

学習対象は、図７に示す位置２７１−１〜２７１−３を、この順序で通過したものとする。オブジェクト２５０−Ａ２について式（１）の判定を実行している場合において、例えば、図７に示す位置２７１−１を（ｘ，ｙ，ｚ）と置いたとき、学習対象はオブジェクト２５０−Ａ２に近付く方向で移動しているので、式（１）は成立しない。一方、図７に示す位置２７１−２、２７１−３をそれぞれ（ｘ，ｙ，ｚ）、（ｘ＋Δｘ，ｙ＋Δｙ，ｚ＋Δｚ）と置いたとき、学習対象はオブジェクト２５０−Ａ２から遠ざかる方向で移動しているので、式（１）は成立する。

通過判定部１３８は、式（１）が成立したと判定したとき、その時点の学習対象の位置（ｘ，ｙ，ｚ）から、オブジェクト２５０の位置に対する学習対象の実軌道２７０の最小のずれ量ｄを、例えば以下の式（２）を用いて算出する。

そして、通過判定部１３８は、算出したずれ量ｄを所定の閾値と比較し、成功であるか否かを判定する。

また、通過判定部１３８は、式（１）が成立したと判定したとき、その時点の学習対象の姿勢（ここではクラブヘッド１６０のヘッド面の法線ベクトル）を、オブジェクト情報１３１ａに定義されたオブジェクトの姿勢と比較する。

具体的には、通過判定部１３８は、例えば、学習対象の姿勢を示すベクトルとオブジェクト情報１３１ａが定義するベクトルとが成す角（以下「ずれ角」という）を算出する。そして、通過判定部１３８は、ずれ角の絶対値が所定の閾値より小さい場合には、姿勢が正しいと判定し、ずれ角の絶対値が所定の閾値以上である場合には、姿勢が正しくないと判定する。

更に、通過判定部１３８は、通過判定部１３８は、式（１）が成立したと判定したとき、その時点の学習対象の加速度を、オブジェクト情報１３１ａに定義されたオブジェクト２５０の加速度と比較する。

具体的には、通過判定部１３８は、例えば、学習対象の加速度とオブジェクト情報１３１ａが定義する加速度との差を算出し、算出結果の絶対値が所定の閾値より小さい場合には、加速度が適正であると判定し、算出結果の絶対値が所定の閾値以上である場合には、加速度が適正でないと判定する。

また、あるオブジェクト２５０の位置を通過するときの加速度を基準に、他の各オブジェクト２５０の位置を通過するときの加速度の比率を算出し、比率の大きさによって加速度が適正か否かを判定してもよい。この場合には、相対的な加速度の変化を捉えながら、スローモーションの動きで目標動作をなぞる動作を行うことができる。

なお、実動作と目標動作との間で比較を行う物理量は、上記に限定されるものではない。但し、比較を行おうとする物理量を、目標動作を構成する１つの要素として、オブジェクト情報１３１ａに予め定義しておく必要がある。

次に、図２に示す構成を有する学習支援装置１０の動作について、詳細に説明する。

図８は、学習支援装置１０の動作の流れを示すフローチャートである。

まず、ステップＳ１１００で、学習対象取得部１３２は、ユーザが希望する学習対象を示す学習対象情報を取得し、取得した学習対象情報を、目標動作作成部１３５に出力する。ここでは、「クラブ」が選択されるため、クラブヘッド１６０を学習対象とする学習対象情報が出力される。

そして、ステップＳ１２００で、目標動作作成部１３５は、学習対象情報が示す部位に対応するオブジェクト情報１３１ａを、目標動作情報格納部１３１から、目標動作情報として取得する。ここでは、クラブヘッド１６０が学習対象であるため、図３に示す、部位名２０１に「クラブ」が設定されているオブジェクト情報１３１ａが取得される。また、目標動作作成部１３５は、取得したオブジェクト情報１３１ａを、通過判定部１３８に出力する。

そして、ステップＳ１３００で、目標動作作成部１３５は、取得したオブジェクト情報１３１ａに記述された位置座標２０６を、位置姿勢情報取得部１３４で取得された位置姿勢情報および視界情報取得部１３３で取得された視界情報から、ＨＭＤ座標系２４２に変換する。そして、目標動作作成部１３５は、描画対象となるオブジェクト２５０を取捨選択する描画対象計算を実施した後、目標動作を可視化して表現するための画像データ（以下単に「目標動作」という）を作成し、描画情報として目標動作描画部１３６に出力する。

例えば、学習の開始時において、描画対象がオブジェクト番号Ａ１、Ａ２、Ａ３のオブジェクト２５０であり、図３に示す位置座標Ｐ１、Ｐ２、Ｐ３をＨＭＤ座標系２４２で表した位置座標がＰ−１、Ｐ−２、Ｐ−３であるとする。この場合、目標動作作成部１３５は、オブジェクト番号Ａ１のオブジェクト２５０のオブジェクト画像２３２を、位置座標Ｐ−１に大きさＳ１で描画し、オブジェクト番号Ａ２のオブジェクト２５０のオブジェクト画像２３２を、位置Ｐ−２に大きさＳ３で描画し、オブジェクト番号Ａ３のオブジェクト２５０のオブジェクト画像２３２を、位置Ｐ−３に大きさＳ３で描画するための描画情報を作成する。

また、上記した描画対象計算の詳細は、下記の通りである。まず、目標動作作成部１３５は、オブジェクト情報１３１ａのオブジェクト番号２０２、直前のオブジェクト番号２０３、および直後のオブジェクト番号２０４から、ユーザがなぞるべきオブジェクト２５０の順序を判断する。そして、目標動作作成部１３５は、ユーザ１５０の視点２４３と各オブジェクト２５０の位置とを結ぶ直線と、画像表示部１１３の描画面２３０との交点が、描画面２３０の内部に属するか否かを、なぞる順番に従って計算により判断する。そして、目標動作作成部１３５は、上記交点が描画面２３０の内部に属さないオブジェクトが現れた段階で計算を一時停止し、上記交点が描画面２３０の内部に属するオブジェクト２５０を描画対象として選択し、目標動作描画部１３６に描画対象の描画を依頼する。

そして、ステップＳ１４００で、目標動作描画部１３６は、目標動作作成部１３５の描画指示に基づいて、図５に示すように、ヘッドマウントディスプレイ１１０の描画面２３０に目標動作を描画する。具体的には、目標動作描画部１３６は、目標動作作成部１３５から入力された描画情報を、無線通信によりヘッドマウントディスプレイ１１０の画像表示部１１３に送信する。

このように、図８のステップＳ１１００〜Ｓ１４００の処理により、学習対象の目標軌道に沿って、オブジェクト画像２３２が、描画面２３０上の対応する位置で表示される。ユーザ１５０は、オブジェクト画像２３２を見ながら、実物の学習対象（ここではクラブヘッド１６０）を目標動作になぞらせるように運動する。

図９は、オブジェクト画像２３２をなぞるように学習対象を動作させる様子を示す図である。ここでは、学習対象が手であり、オブジェクト２５０が球と円板とその他の立体図形との組み合わせによりシンボル化させている場合を図示している。

図９に示すように、学習対象である手の目標軌道に沿って、オブジェクト画像２３２−１〜２３２−３が表示される。ユーザ１５０は、自己の手２８１の手がオブジェクト画像２３２−１〜２３２−３をなぞるように運動する。例えば、円板の平面が手のひらの向き、三角錐や円柱が加速または減速およびその大きさを示している。これらのシンボルの意味を予めユーザ１５０に通知しておくことにより、ユーザ１５０は、目標軌道に加えて、手のひらの向きや力加減といった目標となる運動に関連する物理量をも確認しながら、運動することができる。

図１０は、オブジェクト２５０の具体例を示す図である。

図１０（Ａ）に示すように、オブジェクト２５０は、例えば、フェース面２８２および後続オブジェクト方向指示部２８３から成るシンボルである。フェース面２８２は、所定の大きさの平面であり、ヘッド面の位置および姿勢を表現する。後続オブジェクト方向指示部２８３は、フェース面２８２を底辺とする円錐であり、円錐の高さによってヘッド面の加速度の大きさを、フェース面２８２の中心から頂点に向かう方向によってヘッド面の移動方向を表現する。あるオブジェクト２５０−１と次のオブジェクト２５０−２が存在している場合、図１０（Ａ）に示すように、オブジェクト２５０−１の後続オブジェクト方向指示部２８３は、次のオブジェクト２５０−２の位置の方向を示す。

また、図１０（Ａ）に示すように、後続オブジェクト方向指示部２８３の円錐を縮小した相似形の円錐２８４を図示し、後続オブジェクト方向指示部２８３と円錐２８４で挟まれた部分の厚さ２８５で、クラブヘッド１６０に掛ける力加減を表現してもよい。

このようなオブジェクト２５０を用いることにより、ユーザ１５０に対して、ヘッド面の位置だけでなく、姿勢や加えるべき力の加減を、感覚的に伝えることができる。

ゴルフのスィングにおいては、ユーザ１５０の手前から奥に部位を動かす場面は無いため、図１０（Ａ）に示すシンボルで差し支え無い。ところが、格闘技のパンチのように手前から奥に手を動かす動作がある場合には、後続オブジェクト方向指示部２８３の形状を把握しづらくなる可能性がある。

そこで、このような場合には、図１０（Ｂ）に示すように、頂点の部分を切り取る形で、後続オブジェクト方向指示部２８３に穴２８６を設けるようにしてもよい。

このようなオブジェクト２５０を用いることにより、ユーザ１５０に対して、オブジェクト２５０がどのような姿勢にあっても、穴２８６の位置や大きさによって、次のオブジェクト２５０の方向や加速度などを感覚的に伝えることができる。

このように、学習シーンや学習したい内容によって、種々のシンボルをオブジェクトとして使用できる。また、サイズ、解像度、色、透明度、輝度、密度、グラデーション、形状など、各種の属性を用いることにより、より多くの種類の物理量を表現できるとともに、物理量の大きさを細かに表現することが可能となる。

図８のステップＳ１５００で、運動情報取得部１３７は、スィング動作（なぞり動作）を開始したユーザの運動情報の取得を開始する。また、通過判定部１３８は、通過判定のための演算を開始する。具体的には、運動情報取得部１３７は、運動情報計測部１２１から単位時間ごとに送られてくる加速度データを受信し、通過判定部１３８に出力する。通過判定部１３８は、加速度データから、逐次、学習対象の実動作を計測する。そして、通過判定部１３８は、オブジェクト情報１３１ａに定義されるオブジェクト２５０のうち、描画対象となっているオブジェクト２５０を順序に従って１つ選択し、２回目以降の実動作の計測が行われると、図７で説明した手順により、選択されているオブジェクト２５０に対する学習対象の実軌道２７０のずれ量ｄを求める。

そして、ステップＳ１６００で、通過判定部１３８は、図７で説明した手法を用いて、求めたずれ量ｄと所定の閾値との比較により、学習対象の目標軌道の通過を判定する。具体的には、通過判定部１３８は、学習対象の通過が成功したか否か、および学習対象の姿勢が正しいか否か、学習対象の加速度が適正か否かなどの判定を行う。ここでは、クラブヘッド１６０が正しい位置を通過したか否か、通過時のヘッド面の向きは正しいか否か、およびクラブヘッド１６０に加える力加減は適正か否かが判定される。

そして、ステップＳ１７００で、通過判定部１３８は、各判定結果を判定結果情報として目標動作作成部１３５に出力し、判定結果を蓄積するように目標動作作成部１３５に対して指示する。

そして、ステップＳ１８００で、目標動作作成部１３５は、判定結果情報の内容に応じて、選択されているオブジェクト画像２３２の属性の変更を目標動作描画部１３６に依頼し、描画面２３０にオブジェクト画像２３２を再描画させる。具体的には、例えば、目標動作作成部１３５は、学習対象が通過に成功した場合、既に目標動作描画部１３６に渡した描画情報を、該当するオブジェクト２５０の属性を変更した描画情報で差し替え、新たな描画情報に基づいた画像を描画面２３０に描画させる。

なお、目標動作作成部１３５は、学習対象の現在位置に対応して、次になぞるべきオブジェクト画像２３２を、マーカを付けたり、サイズを変更したり、点滅させるなどして、強調してユーザに通知するようにしてもよい。これにより、学習対象の動きを先導することができ、ユーザが目標軌道を直感的に捉え易くすることができる。

また、運動に伴い、ユーザの頭部の位置や姿勢は変化し、ヘッドマウントディスプレイ１１０の描画面２３０を通して見える実視界も変化する。したがって、このことを考慮して、ステップＳ１８００において上記した描画対象計算を再度行い、描画対象の取捨選択からやり直すようにしてもよい。

そして、ステップＳ１９００で、目標動作作成部１３５は、描画対象となっている全てのオブジェクト２５０について処理を終了したか否かを判断する。目標動作作成部１３５は、未処理のオブジェクト２５０が残っている場合には（Ｓ１９００：ＮＯ）、ステップＳ１５００に戻り、次の描画対象となっているオブジェクト２５０を選択し直し、以降の処理を繰り返す。ステップＳ１５００〜Ｓ１９００の処理は、予め決められた時間ごとに実行してもよいし、ユーザ１５０の視点２４３の位置やヘッドマウントディスプレイ１１０の位置変位が所定の閾値よりも大きくなったタイミングで実行するようにしてもよい。

図１１は、目標動作の再描画によりオブジェクト画像２３２のシンボルが変化する様子の一例を示す図である。ここでは、ユーザ１５０の視界に入る画像のうち、オブジェクト画像２３２−１〜２３２−３とクラブヘッド１６０のみを図示している。

ここで、目標動作作成部１３５は、ステップＳ１８００におけるオブジェクト画像２３２の属性の変更として、通過が成功したオブジェクト２５０のオブジェクト画像２３２を、一定時間経過すると消滅する爆発の画像に置き換える処理を実行するものとする。

図１１に示すように、時刻ｔ１で、オブジェクト画像２３２−１が示すオブジェクト２５０について通過が成功すると、時刻ｔ２で、オブジェクト画像２３２−１に代えて爆発の画像２９０が描画される。また、時刻ｔ３で、オブジェクト画像２３２−２が示すオブジェクト２５０について通過が成功すると、時刻ｔ４で、オブジェクト画像２３２−２に代えて爆発の画像２９０が描画される。

一方、時刻ｔ５で、オブジェクト画像２３２−３が示すオブジェクト２５０について通過が失敗した場合には、爆発の画像２９０が描画されず、オブジェクト画像２３２−３がそのまま残る。これにより、ユーザ１５０は、目標軌道に配置されたオブジェクト画像２３２を学習対象が通過したか否かを、運動をしながら、リアルタイムにかつ直感的に確認することができる。

なお、クラブヘッド１６０が、オブジェクト画像２３２−１に対応する位置を時刻ｔ１に通過するとして、次のオブジェクト画像２３２−２に対応する位置に到達する時刻ｔ２よりも前に、オブジェクト画像２３２−１についての通過の成否がユーザ１５０に通知されることが望ましい。

すなわち、クラブヘッド１６０が前後するオブジェクト画像２３２−１、２３２−２に対応する位置の近傍を時刻ｔ１、ｔ２に通過する場合、再描画の基となるクラブヘッド１６０の位置計測が行われてから再描画が完了するまでの時間（図８のステップＳ１５００〜Ｓ１８００の処理に要する時間）を△ｔとすると、以下の式（３）が成立することが望ましい。

このことから、目標動作作成部１３５は、式（３）を満たすように、描画対象の取捨選択を行ってもよい。具体的には、目標動作作成部１３５は、例えば、クラブヘッド１６０の移動速度に基づいて、またはユーザ１５０が選択した速度レベルに基づいて、オブジェクト情報１３１ａに定義されたオブジェクト２５０を間引き、予め即時の結果通知が可能なオブジェクトを優先して描画対象に選択する。

図１２は、目標動作の再描画によりオブジェクト画像２３２のシンボルが変化した後の様子の一例を示す図である。

ここで、学習対象取得部１３２は、ポイント重要度２０５が大となっているオブジェクトをポイントオブジェクトとして、ポイント重要度２０５が小となっているオブジェクトを一般オブジェクトとして、それぞれ取り扱うものとする。ポイントオブジェクトとは、正しくなぞれたか否かの通過判定結果に基づいて形状を変化させるオブジェクトである。また、一般オブジェクトとは、判定結果に関係なく形状を一定とするオブジェクトである。

また、学習対象取得部１３２は、ステップＳ１８００におけるオブジェクト画像２３２の属性の変更として、通過が失敗したオブジェクト２５０がポイントオブジェクトである場合には、オブジェクト画像２３２のサイズを大きくする処理を実行するものとする。

図３に示すように、オブジェクト番号Ａ１、Ａ４のオブジェクト２５０のポイント重要度２０５は大であり、オブジェクト番号Ａ２、Ａ３のオブジェクト２５０のポイント重要度２０５は小である。

したがって、オブジェクト番号Ａ１〜Ａ４に対応するオブジェクト２５０の全てにおいて通過が失敗した場合、図１２（Ａ）に示す目標動作２９１−１のように、ポイントオブジェクト、つまりポイント重要度２０５が大であるオブジェクト番号Ａ１、Ａ４に対応するオブジェクト画像２３２のみ、大きなサイズに変更される。このように、ポイントオブジェクトと一般オブジェクトとが混在することにより、ユーザ１５０は、意識するポイントを直感的に認識することができる。

また、例えば、図１２（Ｂ）に示す目標動作２９１−２のように、順序が隣り合うオブジェクト２５０を結ぶオブジェクト２５０の画像として、点線状のオブジェクト画像２３２を配置するようにしてもよい。このオブジェクト２５０を結ぶオブジェクト２５０も、一般オブジェクトの一種として取り扱うことができる。

なお、オブジェクト情報１３１ａのポイント重要度２０５において、大中小などより多くの段階のポイント重要度を記述し、重要度「大」をポイントオブジェクト、重要度「中」を一般オブジェクト、重要度「小」を点線で表示する一般オブジェクトとしてもよい。

また、ユーザ１５０に対して、より滑らかになぞりの動作を行わせようとする場合には、ポイントオブジェクトの間により多くの一般オブジェクトを配置すればよい。更に、目標動作作成部１３５の計算能力や目標動作描画部１３６の描画能力に応じて、これらの装置部に対する処理負荷を軽減すべく、一般オブジェクトの図示を省略するようにしてもよい。

また、図１２（Ａ）、（Ｂ）に示すオブジェクト画像２３２の表示手法を、再描画後ではなく、当初の目標動作の描画に適用してもよいことは勿論である。

目標動作作成部１３５は、図８のステップＳ１５００〜Ｓ１９００の処理を繰り返して、描画対象となっている全てのオブジェクト２５０について処理を終了した場合には（Ｓ１９００：ＹＥＳ）、ステップＳ２０００に進む。

ステップＳ２０００で、学習支援装置１０は、目標動作と実動作とを重ねて表示し、一連の処理を終了する。具体的には、通過判定部１３８は、時間経過に伴う学習対象の初期位置からの変位を、学習対象の実動作として、目標動作作成部１３５に出力する。目標動作作成部１３５は、学習対象の実動作に目標動作を重ねて表示するための描画情報を作成し、目標動作描画部１３６に出力する。

図１３は、学習対象の実動作に目標動作を重ねて表示した状態を示す図である。

図１３に示すように、ヘッドマウントディスプレイ１１０の描画面２３０には、学習対象の実軌道２９２に重ねて、実動作と目標動作との比較結果を示すオブジェクト画像２３２が表示される。ここでは、オブジェクト画像２３２に対して、ずれ方向に色が濃くなるようなグラデーションを施した例を図示している。このような比較結果の表示により、ユーザ１５０は、目標動作に対する実動作の、運動の全体的な流れの中でのずれを、即時に認識し、自己の運動の全体的な流れを効率良く改善することができる。

以上説明したように、本実施の形態によれば、学習支援装置１０は、ユーザに対し、ユーザの目標となる運動に関連する、学習対象の姿勢や加速度といった所定の物理量を、学習対象の目標軌道上の対応する位置で提示する。また、このような目標動作の提示を、三次元的に目標軌道に重ならない位置での描画によって行う。これにより、たとえば上級者の運動といった目標となる運動における学習対象の動作をなぞることができ、目標となる運動を体感しながら学習することができる。したがって、ユーザに対して、目標となる運動の確実な学習を促すことができる。

すなわち、従来のように、テキストや動画などからユーザ自身が頭の中で目標動作を空間的にイメージして、見様見真似で運動を学習する場合に比べて、短時間での運動の上達を図ることができる。特に、学習対象分野の知識が少ないユーザや、イメージ作成が苦手な初心者または初級者に対しては、目標動作を容易かつ正確に認知できることから、学習効率を著しく向上させることができる。

また、ユーザの実際の運動における学習対象の軌道や所定の物理量を計測し、目標となる運動における学習対象の軌道や所定の物理量と比較して、比較結果をフィードバックする。これにより、ユーザが自己の運動を目標となる運動に近づけるために有効な情報を得ることができ、学習効率を更に向上させることができる。

また、他人の運動における学習対象の軌道などを体感することができるので、エンターティメント性に富んだ学習支援を行うことができる。

なお、目標動作の表示の手法には、上記内容以外の様々なバリエーションを適用し得る。どのような手法を適用するかは、例えば、目標動作作成部１３５の計算能力や、目標動作描画部１３６の描画能力に応じて決定すればよい。または、目標動作作成部１３５で複数の手法を選択できるようにしておき、ユーザ１５０の学習レベルやチェックしたい内容に応じて、適用する手法を切り替えるようにしてもよい。

また、計測されたユーザの運動における学習対象の軌道および各位置における所定の物理量から、オブジェクト情報を作成して記憶しておき、このオブジェクト情報の内容を、目標となる運動の基礎情報として用いてもよい。これにより、ユーザは、自分の運動を目標となる運動として他人に提供したり、他人の任意の運動を目標となる運動として取得することができ、コミュニケーション性に富んだ学習支援をも行うことができる。すなわち、ユーザに対し、単なる運動の学習支援以上の幅広い貢献が可能である。

（実施の形態２）
実施の形態２では、学習対象の通過判定結果と、ユーザの運動の習熟度に応じて、オブジェクトの属性を変更する場合について説明する。

図１４は、本発明の実施の形態２に係る学習支援装置の詳細な構成を示すブロック図であり、実施の形態１の図２に対応するものである。図２と同一部分には同一符号を付し、これについての説明を省略する。

図１４に示すように、学習支援装置３０は、図２の制御端末１３０に代えて、制御端末３３０を有する。

制御端末３３０は、学習対象の目標動作を取得し、目標動作をヘッドマウントディスプレイ１１０の対応する位置に表示させる。また、制御端末３３０は、学習対象の実動作を計測し、目標動作と実動作との比較結果からユーザ１５０の習熟度を推定し、習熟度に応じて目標動作の表示を変化させる。

制御端末３３０は、図２の目標動作作成部１３５に代えて目標動作作成部３３５を有し、更に、習熟度推定部３３９を有する。

目標動作作成部３３５は、取得したオブジェクト情報１３１ａの記述内容に基づいて、描画情報を作成するための作成計画であるオブジェクト描画計画を作成し、作成した描画情報を目標動作描画部１３６に出力する。オブジェクト描画計画は、図３に示すオブジェクト情報１３１ａと同様の構成を有するが、ＨＭＤ座標系２４２の座標情報でオブジェクト２５０の位置座標を定義する。

また、目標動作作成部３３５は、通過判定部１３８から出力される通過判定情報を習熟度推定部３３９に出力し、習熟度推定部３３９からの指示に従って、オブジェクト描画計画を変更する。そして、目標動作作成部３３５は、変更されたオブジェクト描画計画に基づいて、目標動作の表示を変化させた新たな描画情報を作成する。

図１５は、習熟度推定部３３９に入力される通過判定情報の構成の一例を示す図である。

図１５に示すように、通過判定情報４１０は、階層構造を有する。通過判定情報４１０は、１つまたは複数の部位単位結果４１１から構成される。各部位単位結果４１１は、部位名４１２と、１つまたは複数のオブジェクト単位結果４１３とから構成される。各オブジェクト単位結果４１３は、オブジェクト番号４１４と、失敗数４１５と、１つまたは複数のずれ説明４１６とから構成される。各ずれ説明４１６は、項目名４１７、ずれ内容４１８、およびずれ差分４１９から構成される。

部位単位結果４１１は、部位ごとの目標動作と実動作との比較結果を示す。

部位名４１２は、実施の形態１の図３に示すオブジェクト情報１３１ａにおける部位名２０１に対応しており、学習対象を示す。オブジェクト単位結果４１３は、オブジェクトごとの目標動作と実動作との比較結果を示す。オブジェクト番号４１４は、オブジェクト情報１３１ａにおけるオブジェクト番号２０２に対応しており、目標動作と実動作との間でなんらかのずれが発生したオブジェクトのオブジェクト番号を示す。失敗数４１５は、目標動作と実動作との間でずれがあった項目の数を示す。ずれ説明４１６は、項目ごとのずれの内容を示し、失敗数４１５に記述された数だけ連続的に記述される。

ずれ説明４１６において、項目名４１７は、目標動作と実動作との間でずれがあった項目であって、チェックすべき項目を示す。ずれ内容４１８は、ずれの具体的内容を示す。ずれ差分４１９は、ずれの大きさを示す。ずれ内容４１８やずれ差分４１９に記述される値の単位は、項目名４１７の種別ごとに予め定められている。

図１４の習熟度推定部３３９は、入力される通過判定情報４１０が示す判定結果を蓄積し、蓄積された判定結果から、ユーザ１５０の習熟度を推定し、習熟度に応じて、目標動作作成部３３５に対してオブジェクト画像の表示の変更を指示する。具体的には、習熟度推定部３３９は、習熟度に応じた目標動作の表示の修正についてのポリシを定めた修正ポリシ情報をあらかじめ保持している。

図１６は、修正ポリシ情報の内容の一例を示す図である。

図１６に示すように、修正ポリシ情報４２０は、判定結果内容４２１、および変更依頼内容４２２から構成される。判定結果内容４２１には、通過判定情報４１０のずれ説明４１６に記述され得る内容が記述される。変更依頼内容４２２は、判定結果内容４２１に記述された内容に、通過判定情報４１０のずれ説明４１６に記述される内容が当てはまるときに、目標動作作成部３３５に対して依頼すべき目標動作の表示の変更の内容が記述される。

例えば、「ずれ内容：内側」という判定結果内容４２１に対して、「色：内側の色を濃く、大きさ：内側に拡大」という変更依頼内容４２２が記述されている。これは、通過判定情報４１０のずれ内容４１８に、実軌道が目標軌道の内側にずれている旨が記述されている場合には、オブジェクト２５０に対して、内側の色を濃くするとともに大きさを内側に拡大させる変化を与えるべきであることを示す。これにより、ユーザ１５０は、オブジェクトのグラデーションから、実軌道の修正すべき方向を直感的に捉えることができる。

また、「ずれ内容：内側または外側、かつ、ずれ差分：所定の閾値より大」という判定結果内容４２１に対して、「軌道を実軌道側に修正」という変更依頼内容４２１が記述されている。これは、通過判定情報４１０において、ずれ内容４１８に、実起動が目標方法軌道の内側または外側にずれている旨が記述されており、かつ、ずれ差分４１９に記述された値が所定の閾値よりも大きい場合には、オブジェクト２５０に対して、目標軌道を実軌道側に移動させる変化を与えるべきであることを示す。これにより、ユーザ１５０は、より到達し易い目標軌道を用いて学習を行うことができ、最終的な目標動作を段階的に学習することができる。

図１４に示す習熟度推定部３３９は、一連の実動作について計測が完了するごとに、ユーザ１５０の習熟度を推定して適宜オブジェクト画像２３２の表示の変更を依頼する習熟度推定処理を実行する。

習熟度推定処理において、習熟度推定部３３９は、習熟度が低いと推定した場合には、修正ポリシ情報４２０に従って、オブジェクト画像２３２の表示の変更の具体的内容を記述した変更依頼情報を作成し、作成した変更依頼情報を、目標動作作成部３３５に出力する。

なお、修正ポリシ情報４２０には、例えば、描画対象とするオブジェクト２５０の数の増加、輝度やグラデーションの変更といったオブジェクト２５０の属性の変更など、各種の変更依頼内容を記述できる。

図１７は、習熟度推定部３３９が作成する変更依頼情報の構成の一例を示す図である。

図１７に示すように、変更依頼情報４３０は、階層構造を有する。変更依頼情報４３０は、１つまたは複数の部位単位変更依頼４３１から構成される。各部位単位変更依頼４３１は、部位名４３２と、１つまたはオブジェクト単位変更依頼４３３とから構成される。各オブジェクト単位変更依頼４３３は、オブジェクト番号４３４と、変更依頼数４３５と、１つまたは複数の変更説明４３６から構成される。各変更説明４３６は、項目名４３７、および変更内容４３８から構成される。

各部位単位変更依頼情報４３１は、部位ごとの目標動作の変更依頼内容を示す。

部位名４３２は、実施の形態１の図３に示すオブジェクト情報１３１ａにおける部位名２０１に対応しており、変更の対象を示す。オブジェクト単位変更依頼４３３は、オブジェクトごとの変更内容を示す。オブジェクト番号４３４は、オブジェクト情報１３１ａにおけるオブジェクト番号２０２に対応しており、変更の対象となるオブジェクトのオブジェクト番号を示す。変更依頼数４３５は、変更を依頼する項目の数を示す。変更説明４３６は、項目ごとの変更を依頼する内容を示し、変更依頼数４３５に記述された数だけ連続的に記述される。

変更説明４３６において、項目名４３７は、変更を依頼する項目を示す。変更内容４３８は、変更の具体的内容を示す。変更内容４３８に記述される値の単位は、項目名４３７の種別ごとに予め定められている。

以下、習熟度推定部３３９で実行される習熟度推定処理について、詳細に説明する。

図１８は、習熟度推定部３３９が実行する習熟度推定処理の流れを示すフローチャートである。習熟度推定部３３９は、例えば、実施の形態１の図８のステップＳ２０００の直前に、以下に説明する習熟度推定処理を実行する。

まず、ステップＳ１９１０で、習熟度推定部３３９は、目標動作作成部３３５を介して、通過判定部１３８から、図１５に示す通過判定情報４１０を入力する。

図１９は、通過判定情報４１０の内容の具体例を示す図であり、図１５に対応するものである。

図１９に示すように、通過判定情報４１０ａには、「クラブ」という部位名４１２ａ、「Ａｍ」というオブジェクト番号４１４ａ、「２」という失敗数４１５ａ、「位置」という項目名４１７ａ−１に対応付けられた「内側」というずれ内容４１８ａ−１および「ａ」というずれ差分４１９ａ−１、「加速度」という項目名４１７ａ−２に対応付けられた「遅い」というずれ内容４１８ａ−２および「ｂ」というずれ差分４１９ａ−２が記述されている。これは、クラブヘッド１６０が学習対象であり、オブジェクト番号Ａｍにおいて、位置が内側にａだけずれたという失敗と、加速度がｂだけ遅いという失敗があったということを示す。

そして、図１８に示すステップＳ１９２０で、習熟度推定部３３９は、入力された通過判定情報４１０が示す判定結果を、使用可能な最大メモリ容量の範囲内で蓄積する。または、習熟度推定部３３９は、予め定められた数の通過判定情報４１０に対応する判定結果を、新しい情報を優先させて蓄積する。

そして、ステップＳ１９３０で、習熟度推定部３３９は、蓄積された判定結果から、学習対象の実動作が学習対象の目標動作を通過した確率（以下「通過確率」という）を算出する。

ここで、目標動作の通過とは、学習対象の通過の成功のみならず、学習対象の姿勢が正しいこと、学習対象の加速度が適正であることなど、目標動作を構成する各種要素ごとの目標動作に対する一致を含むものとする。

また、通過確率とは、ユーザが正しくなぞれたかを判断するための指標である。通過確率としては、過去数回分の判定結果の数に対する通過の数の比を採用してもよいし、直前の試行結果のみならず、過去何回かにおける失敗の頻度や傾向などランダム性をふまえた分析結果を採用してもよい。

そして、ステップＳ１９４０で、習熟度推定部３３９は、各オブジェクト２５０について、算出した通過確率が所定の閾値以上であるか否かを判断する。具体的には、例えば、習熟度推定部３３９は、過去１０回分の判定結果において５回以上失敗し、かつ３回以上連続して失敗しているという条件を閾値とした場合、各オブジェクト２５０について、過去１０回分の判定結果から失敗数と連続失敗数の最大値を通過確率として算出し、算出結果と閾値とを比較する。習熟度推定部３３９は、通過確率が所定の閾値以上であるオブジェクト２５０については（Ｓ１９４０：ＹＥＳ）、該当するオブジェクトをユーザ１５０が苦手なポイントと判断して、ステップＳ１９５０に進む。一方、習熟度推定部３３９は、通過確率が所定の閾値未満であるオブジェクト２５０については（Ｓ１９４０：ＮＯ）、該当するオブジェクトをユーザ１５０が苦手なポイントではないと判断して、ステップＳ１９５０には進まずに、そのまま図８のステップＳ２０００の処理に戻る。

ステップＳ１９５０で、習熟度推定部３３９は、目標動作作成部３３５に対してオブジェクト描画計画の変更を依頼し、図８のステップＳ２０００の処理に戻る。具体的には、習熟度推定部３３９は、図１６に示す修正ポリシ情報４２０を参照して、ユーザ１５０が苦手なポイントであると判断されたオブジェクト２５０に対して施すべき修正内容を取得する。そして、各オブジェクト２５０について取得した修正内容から、図１７に示す変更依頼情報４３０を作成し、作成した変更依頼情報４３０を目標動作作成部３３５に出力する。

図２０は、図１９に示す通過判定情報４１０ａから作成される変更依頼情報４３０の内容の具体例を示す図である。

通過判定情報４１０ａに記述されたずれ差分ａは小さいものとする。この場合、図１６に示す修正ポリシ情報４２０において、通過判定情報４１０ａの内容に合致する判定結果内容４２１は、「ずれ内容：内側」であり、対応する変更依頼内容４２２は、「色：内側の色を濃く、大きさ：内側に拡大」である。

したがって、図２０に示すように、変更依頼情報４３０ａには、「クラブ」という部位名４３２ａ、「Ａｍ」というオブジェクト番号４３４ａ、「２」という変更依頼数４３５ａ、「色」という項目名４３７ａ−１に対応付けられた「内側の色を濃く」という変更内容４３８ａ−１、「大きさ」という項目名４３７ａ−２に対応付けられた「内側に拡大」という変更内容４３８ａ−２が記述される。これは、クラブヘッド１６０のオブジェクト番号Ａｍのオブジェクト２５０に対して、内側の色を濃くするとともに、大きさを内側に拡大させる変化を与えることを依頼するものである。

変更依頼情報４３０を受け取った目標動作作成部３３５は、その内容に従って、オブジェクト描画計画の内容を更新する。例えば、図１９に示す通過判定情報４１０ａを受け取った場合、目標動作作成部３３５は、現状のオブジェクト描画計画のうち、クラブヘッド１６０のオブジェクト番号Ａｍのオブジェクト２５０に対して、内側の色を濃くし、大きさを内側に拡大させる変化を与える。そして、更新後のオブジェクト描画計画に基づいて描画情報を作成し、作成した描画情報を目標動作描画部１３６に出力する。

以上の習熟度推定処理の結果、図８のステップＳ２０００では、ユーザ１５０の習熟度および目標動作に対する実動作のずれの内容に応じて、属性が変化した目標動作が表示される。

このように、本実施の形態によれば、蓄積したユーザの試行結果から、ユーザの習熟度を推定し、習熟度に応じて、目標動作の表示を変更する。これにより、ユーザが苦手とするポイントの学習を補強することができる。

同じことの繰り返しや、できないことの繰り返しによる練習は、ユーザにとって飽きやすい。したがって、このような習熟度を考慮した変化のある繰り返しは、ユーザの練習意欲を増進させることができ、運動の上達に効果的である。また、ユーザは、描画された目標動作を見るだけで苦手な部分とそれ以外の部分とを明確に区別して認識することができる。これにより、ユーザに対して高い課題意識を持たせることができるだけでなく、ユーザにアドバイスを行う第三者に対してユーザの動作の特徴の把握を容易ならしめる。更に、例えば、前回の練習から長時間が経過した後の練習では、前回の練習で会得した技術は、ユーザにとって曖昧な記憶となるが、本実施の形態の学習支援装置３０を用いることにより、未習熟のポイントをより正確に認識できるため、ユーザが会得した技術の再現性を向上させることができる。

（実施の形態３）
実施の形態３では、複数の部位の運動を、これら複数の部位の関連性と併せて表示させる場合について説明する。

目標動作は、複数の部位がバランスよく連動していることが多い。つまり、部位間の位置関係、動き出すタイミングなどに狂いが生じると目的の動作を実現することが困難になる。そこで、本実施の形態に係る学習支援装置では、学習対象の動作のみならず、複数の学習対象の間の位置関係および動き出すタイミング（以下単に「関連性」という）を表示する。

図２１は、本発明の実施の形態３に係る学習支援装置の詳細な構成を示すブロック図であり、実施の形態１の図２に対応するものである。図２と同一部分には同一符号を付し、これについての説明を省略する。

図２１に示すように、学習支援装置５０は、図２の制御端末１３０に代えて、制御端末５３０を有する。制御端末５３０は、図２の目標動作作成部１３５および通過判定部１３８に代えて、関連性判定部５３９を備えた目標動作作成部５３５と、通過判定部５３８とを有する。また、本実施の形態の制御端末５３０における目標動作情報格納部１３１は、目標動作における複数のタイミングについて、どのタイミングに各オブジェクト情報１３１ａに定義されたどのオブジェクトが関連するかを記述したオブジェクト関連情報１３１ｂを、更に格納している。

図２２は、オブジェクト関連情報１３１ｂの内容の一例を示す図である。

図２２に示すように、オブジェクト関連情報１３１ｂは、「手、足、クラブ、腰、・・・」という部位名４４１のそれぞれに対応付けて、「ｔ１、ｔ２、ｔ３、・・・、ｔｎ」という複数のタイミング４４２ごとに、オブジェクト番号が記述されている。部位名４４１は、図３に示すオブジェクト情報１３１ａの部位名２０１に対応している。タイミング４４２の数は、オブジェクト情報１３１ａに定義されたオブジェクトの数に対応している。記述されているオブジェクと番号は、オブジェクト情報１３１ａのオブジェクト番号２０２に対応している。

同一のタイミング４４２に対応して記述された複数のオブジェクト番号は、該当するオブジェクト２５０のそれぞれが示す部位の動作が連動していることを示す。例えば、図２２に示すように、「ｔ１」というタイミングに対応して、「クラブ」という部位名４４１の「Ａ１」というオブジェクト番号と、「手」という部位名４４１の「Ｃ１」というオブジェクト番号とが記述されている。これは、オブジェクト番号Ａ１のオブジェクトが示すクラブヘッド１６０の動作と、オブジェクト番号Ｃ１のオブジェクトが示す手の動作とが、目標動作において同一のタイミングに実現される連動した動作であるということを示す。

このような同一のタイミングで連動しているオブジェクトの組または連動しているオブジェクトのオブジェクト番号の組を、以下、「連動オブジェクト組」という。また、例えば、オブジェクト番号Ａ１、Ｂ２、Ｃ１の各オブジェクトが連動オブジェクト組である場合に、適宜、（Ａ１、Ｂ１、Ｃ１）と表記する。

図２１の制御端末５３０は、学習対象の目標動作を取得し、目標動作をヘッドマウントディスプレイ１１０の対応する位置に表示させる。また、制御端末５３０は、複数の部位が学習対象として選択されているときには、各々の学習対象の動作およびこれらの関連性を表示させる。

目標動作作成部５３５は、取得したオブジェクト情報１３１ａの記述内容に従って描画情報を作成し、作成した描画情報を目標動作描画部１３６に出力する。また、目標動作作成部５３５は、複数の部位が学習対象として選択されたときには、関連性判定部５３９を用いて、複数の学習対象の関連性を判定する。具体的には、関連性判定部５３９において、目標動作情報格納部１３１のオブジェクト関連情報１３１ｂに基づいて複数の学習対象の関連性を判定し、連動オブジェクト組を出力する、関連性判定処理を実行する。そして、目標動作作成部５３５は、判定した関連性を示す新たなオブジェクト（以下「関連性オブジェクト」という）を追加した描画情報を作成する。

また、目標動作作成部５３５は、複数の部位が学習対象として選択されたときには、対応する複数のオブジェクト情報１３１ａと、連動オブジェクト組とを、通過判定部５３８に出力する。

通過判定部５３８は、運動情報取得部１３７を介して取得した実動作と、オブジェクト情報１３１ａに定義された学習対象の目標動作とを比較解析して、通過判定情報を作成し、作成した通過判定情報を目標動作作成部１３５に出力する。また、通過判定部５３８は、複数のオブジェクト情報１３１ａと連動オブジェクト組とを目標動作作成部１３５から受け取った場合には、複数の学習対象の動作の関係性を考慮して実動作と目標動作との比較解析を行う。

以下、関連性判定部５３９で実行される関連性判定処理について、詳細に説明する。

図２３は、関連性判定部５３９が実行する関連性判定処理の流れを示すフローチャートである。例えば、実施の形態１の図８のステップＳ１１００で、図４に示す制御パネル２１０において「手」および「クラブ」という２つの部位が学習対象として選択された場合、目標動作作成部５３５は、対応する２つのオブジェクト情報１３１ａを取得する。このように、目標動作作成部５３５で複数のオブジェクト情報１３１ａが所得された場合に、関連性判定部５３９は、例えば、図８のステップＳ１２００の直後に、以下に説明する関連性判定処理を実行する。

まず、ステップＳ１２１０で、関連性判定部５３９は、複数のオブジェクト情報１３１ａから１つを選択し、選択したオブジェクト情報１３１ａから全てのオブジェクト番号２０２を抽出する。

そして、ステップＳ１２２０で、関連性判定部５３９は、オブジェクト関連情報１３１ｂを参照し、ステップＳ１２１０で抽出した個々のオブジェクト番号２０２について、同一のタイミング４４２に対応付けられた他の部位のオブジェクト番号を抽出する。そして、関連性判定部５３９は、オブジェクト番号２０２とこれに対応して抽出された他の部位のオブジェクト番号とを、連動オブジェクト組に設定する。

そして、ステップＳ１２３０で、関連性判定部５３９は、ステップＳ１２２０で設定された連動オブジェクト組を目標動作作成部５３５に出力して、図８のステップＳ１３００の処理に戻る。

目標動作作成部５３５は、図８のステップＳ１３００で、図８のステップＳ１１００で取得した複数のオブジェクト情報１３１ａと、関連性判定部５３９から出力された連動オブジェクト組とを、通過判定部５３８に出力する。通過判定部５３８の処理については後述する。

また、目標動作作成部５３５は、連動オブジェクト組を構成する複数のオブジェクトのそれぞれについて、描画対象計算を実施する。また、関連性判定部５３９から出力される連動オブジェクト組のうち、オブジェクトの全てが描画対象となっているものを、関連性オブジェクトの描画の対象として決定する。

例えば、あるタイミングで、描画面２３０の内部に属するオブジェクト２５０のオブジェクト番号が、「クラブ」という部位名４４１に関してはオブジェクト番号Ａ２、Ａ３であり、「手」という部位名４４１に関してオブジェクト番号Ｃ１、Ｃ２、Ｃ３であったとする。この場合、連動オブジェクト組（Ａ２、Ｃ２）、（Ａ３、Ｃ３）は、全て描画対象として揃っているが、連動オブジェクト組（Ａ１、Ｃ１）は、全て描画対象として揃っていない。したがって、目標動作作成部５３５は、連動オブジェクト組（Ａ２、Ｃ２）、（Ａ３、Ｃ３）を関連性オブジェクトの描画対象として決定する。

そして、目標動作作成部５３５は、描画対象に決定されたオブジェクトおよび関連性オブジェクトを描画するための描画情報を作成し、目標動作描画部１３６に出力する。

図２４は、目標動作作成部５３５で作成される描画情報のうち、描画対象を示すデータ部分である描画対象データの内容の一例を示す図である。ここでは、関連性オブジェクトとして、オブジェクトを結ぶ線が使用される場合を例示している。

図２４に示すように描画対象データ４５０には、描画対象となるオブジェクトの、オブジェクト番号、位置座標、大きさ、および色が記述されている。オブジェクトに関して記述される情報は、元のオブジェクト情報１３１ａの記述内容に対応している。また、描画対象データ４５０には、関連性オブジェクトに関する情報が記述されている。

ここでは、描画対象のオブジェクト２５０のオブジェクト番号がＡ２、Ａ３、Ｃ１、Ｃ２、およびＣ３である場合を図示している。この場合、上述したように、関連性オブジェクトの描画対象となるのは、連動オブジェクト組（Ａ２、Ｃ２）、（Ａ３、Ｃ３）である。したがって、描画対象データ４５０には、関連性オブジェクトとして、連動オブジェクト組（Ａ２、Ｃ２）、（Ａ３、Ｃ３）を結ぶ線を描画する旨が記述されている。

なお、目標動作作成部５３５は、オブジェクト情報１３１ａの記述内容にそのまま従うのではなく、学習対象ごとに異なる色を割り当てるなど、オブジェクトの種類ごとにシンボルが異なるような描画対象データ４５０を作成してもよい。

図２５は、図２４に示す描画対象データ４５０に基づいて描画が行われたときの描画面２３０の様子の一例を示す図である。

図２５に示すように、描画面２３０には、オブジェクト番号Ａ２、Ａ３、Ｃ１、Ｃ２、Ｃ３に対応するオブジェクト画像２３２が描画される。また、描画面２３０には、連動オブジェクト組（Ａ２、Ｃ２）、（Ａ３、Ｃ３）をそれぞれ結ぶ線４６０−２、４６０−３が、関連性オブジェクトの画像として描画される。

このような関連性オブジェクトの画像を表示した描画面２３０を見ながら練習することにより、ユーザは、複数の部位の関連性を確認しながら個々の部位の動作を学習することができる。

なお、一部のオブジェクト２５０のみが描画面２３０内に存在している連動オブジェクト組に対しても、関連性オブジェクトの画像を描画するようにしてもよい。この場合には、全てのオブジェクトについて連動オブジェクト組の設定を行った後に、描画対象となるオブジェクトの取捨選択を行うとともに、設定された連動オブジェクトの画像から描画面の内部に位置する部分のみを抜き出して描画対象とするようにすればよい。

図２６は、一部のオブジェクト２５０のみが描画面２３０内に存在している連動オブジェクト組に対しても関連性オブジェクトの画像を描画した場合の描画面２３０の様子の一例を示す図であり、図２５に対応するものである。

図２６に示すように、線４６０−２、４６０−３だけでなく、一方のオブジェクト２５０が描画面２３０の外部に位置する連動オブジェクト組（Ａ１、Ｃ１）を結ぶ線４６０−１も、外部に位置するオブジェクト２５０の存在する方向に向かう形で描画される。

次に、通過判定以降の動作について説明する。

通過判定部５３８は、図８のステップＳ１６００で、各実施の形態１と同様の通過判定を行う。また、通過判定部５３８は、複数のオブジェクト情報１３１ａと連動オブジェクト組とを目標動作作成部１３５から受け取った場合には、連動オブジェクト組のそれぞれについて、オブジェクト２５０の位置を一番早く通過した部位と、その後に通過した部位との時間差を記録した時間差情報を作成する。そして、通過判定部５３８は、作成した時間差情報を、目標動作作成部６３５に出力する。

目標動作作成部６３５は、時間差情報を受け取ると、それぞれの連動オブジェクト組について、最も早く実軌道が通過したオブジェクト２５０を始点とし、他のオブジェクト２５０を終点とした矢印を、追加で描画する描画情報を作成する。そして、目標動作作成部６３５は、既に目標動作描画部１３６に渡した描画情報を、矢印を追加した描画情報で差し替え、新たな描画情報に基づいた画像を描画面２３０に描画させる。

なお、目標動作作成部６３５は、矢印の太さで時間差の大きさを表現するような描画情報を作成してもよい。これにより、複数の学習対象の動作の関係性を含めた実動作と目標動作との比較結果が、描画面２３０に表示される。

図２７は、複数の学習対象の動作の関係性を含めた実動作と目標動作との比較結果が描画されたときの描画面２３０の様子の一例を示す図であり、図２５に対応するものである。

ここでは、オブジェクト番号Ａ２、Ａ３についての実軌道の通過時刻が遅れており、かつ、オブジェクト番号Ａ２の遅れが大きい場合を例示している。この場合、図２７に示すように、オブジェクト番号Ｃ２のオブジェクト画像２３２からオブジェクト番号Ａ２のオブジェクト画像２３２に向けて太い矢印４６１−２が描画され、オブジェクト番号Ｃ３のオブジェクト画像２３２からオブジェクト番号Ａ３のオブジェクト画像２３２に向けて細い矢印４６１−３が描画される。これは、「手がクラブより先に動き、その差が縮まった」ということを示す。ユーザ１５０は、このような複数の学習対象の動作の関係性を含めた比較結果を見ることによって、目標動作における複数部位の連動のバランスと実動作における複数部位の連動のバランスとの差を直感的に捉えることができる。

このように、本実施の形態によれば、目標動作における複数の部位の関連性を表示するので、ユーザの運動時の部位間のずれに対する直感な理解を促すことができ、複数部位間のバランスを考慮した効果的な学習を実現できる。したがって、初心者や初級者は、体全体の使い方を効率的に学習できる。また、熟練者も、複数部位の連動のバランスが崩れていることにより技術の向上が停滞しているような場合に、原因を特定することができ、更なる技術の向上を図ることができる。

なお、通過判定の際、実動作と目標動作との比較の基準となる学習対象を設定し、基準に設定された学習対象以外の学習対象については、どの時点の位置をどのオブジェクトと比較すべきかの判断を、基準に設定された学習対象を基準にして決定するようにしてもよい。

具体的には、例えば、通過判定部は、学習対象に予め優先順位を設定しておき、受け取った複数のオブジェクト情報が対応する学習対象の中で最も優先順位の高いものを、上記比較の基準に設定する。そして、通過判定部は、基準に設定された学習対象のオブジェクト情報については、実施の形態１と同様の比較解析を行い、一方、他のオブジェクト情報については、基準に設定された学習対象の実動作の各計測時刻と、それぞれの実動作について比較の対象となったオブジェクトが対応する各タイミングとの間で、実動作と目標動作との比較を行うようにすればよい。

また、連動オブジェクト組は、３つ以上のオブジェクトから構成されてもよいことはもちろんである。また、オブジェクトそのものを線や棒状の形状とし、１つのオブジェクトに複数のポイントを設定して、複数の部位の関連性を単一のオブジェクトで表現し、それぞれのポイントについて実動作との比較を行うようにしてもよい。

（実施の形態４）
実施の形態４では、描画面に描画する情報量を状況に応じて最適化する場合について説明する。

例えば、目標動作をなぞるスピードが速くなったユーザ１５０にとっては、オブジェクト画像２３２や比較結果が表示するまでの時間が遅く感じられる場合がある。このような場合、描画面２３０に描画する情報量を低減することで、処理負荷を軽減し、オブジェクト画像２３２や比較結果が表示するまでの時間を短縮することができる。そこで、本実施の形態に係る学習支援装置では、オブジェクト情報１３１ａに定義されたオブジェクト２５０の一部を描画対象から除外して、描画面に描画する情報量を最適化する。

図２８は、本発明の実施の形態４に係る学習支援装置の詳細な構成を示すブロック図であり、実施の形態３の図２１に対応するものである。図２１と同一部分には同一符号を付し、これについての説明を省略する。

図２８に示すように、学習支援装置６０は、図２１の制御端末５３０に代えて、制御端末６３０を有する。制御端末６３０は、図２１の目標動作作成部５３５および通過判定部５３８に代えて、目標動作作成部６３５と、関連性判定部５３９を備えた通過判定部６３８とを有し、更に、情報量制御部６３９を有する。

目標動作作成部６３５は、取得したオブジェクト情報１３１ａの記述内容に従って、どの位置にどのようなオブジェクトを配置するかを規定するオブジェクト配置計画を作成し、作成したオブジェクト配置計画を情報量制御部６３９に出力する。そして、目標動作作成部６３５は、情報量制御部６３９から描画許可を受け取った場合には、作成したオブジェクト配置計画に沿ってそのまま描画情報を作成し、作成した描画情報を目標動作描画部１３６に出力する。一方、情報量制御部６３９からオブジェクト配置計画の修正を命令するオブジェクト配置計画修正命令を受け取った場合には、目標動作作成部６３５は、オブジェクト配置計画の内容を修正し、修正後のオブジェクト配置計画に基づいて描画情報を作成する。また目標動作作成部６３５は、受け取ったオブジェクト配置計画修正命令を、通過判定部６３８に出力する。

図２９は、オブジェクト配置計画の内容の一例を示す図である。

図２９に示すように、オブジェクト配置計画４７０は、部位名４７１、オブジェクト番号４７２、ポイント重要度４７３、位置座標４７４、大きさ４７５、その他情報４７６、およびタイミング４７７により構成される。部位名４７１、オブジェクト番号４７２、ポイント重要度４７３、位置座標４７４、大きさ４７５、およびその他情報４７６は、それぞれ、図３に示すオブジェクト情報１３１ａの、部位名２０１、オブジェクト番号２０２、ポイント重要度２０５、位置座標２０６、大きさ２０７、およびその他情報２０９にそれぞれ対応している。ただし、オブジェクト配置計画４７０の位置座標４７４には、ＨＭＤ座標系２４２の座標情報が記述される。また、タイミング４７７は、図２２に示すオブジェクト関連情報１３１ｂのタイミング４４２に対応している。

ここでは、「手」、「足」、「クラブ」という３つの部位が学習対象として選択されており、あるタイミングにおける描画対象の取捨選択が完了している場合の例を図示している。また、説明の便宜上、後述するオブジェクト配置計画修正命令の対象外となる情報には下線を付している。

情報量制御部６３９は、情報量を低減するための方針を定めた制御指示書を予め格納する。情報量制御部６３９は、目標動作作成部６３５からオブジェクト配置計画を受け取ると、オブジェクト配置計画修正命令を適宜作成して情報量の最適化を行う情報量最適化処理を実行する。

具体的には、情報量制御部６３９は、ユーザに提示される情報の情報量を示す値（以下単に「情報量」）を算出する。そして、情報量制御部６３９は、算出した情報量が所定の閾値以下である場合には、目標動作作成部６３５に描画許可を出力する。一方、算出した情報量が所定の閾値を超える場合には、情報量制御部６３９は、制御指示書に従ってオブジェクト配置計画修正命令を作成し、作成したオブジェクト配置計画修正命令を目標動作作成部６３５に出力する。情報量最適化処理の詳細については後述する。

図３０は、情報量制御部６３９が格納する制御指示書の内容の一例を示す図である。

図３０に示すように、制御指示書４８０には、情報量を減らすためにオブジェクト配置計画４７０に施すべき修正の方針が記述されている。ここでは、例えば、「１：一般オブジェクトを削除／ただし、ポイントオブジェクトの間に複数ある場合には、間引く」と記述されている。これは、原則として一般オブジェクトを削除し、オブジェクト番号４７２が示す順序においてポイントオブジェクトの間に複数の一般オブジェクトがある場合には、複数の一般オブジェクトのうち一部を削除するという方針を示す。また、「２：周辺部のオブジェクトを削除」と記述されている。これは、描画面２３０を中央付近とその周辺部とに区分したときに、周辺部に位置するオブジェクトを削除するという方針を示す。

図２８の通過判定部６３８は、運動情報取得部１３７を介して取得した実動作と、オブジェクト情報１３１ａに定義された学習対象の目標動作とを比較解析して、通過判定情報を作成し、作成した通過判定情報を目標動作作成部１３５に出力する。また、通過判定部６３８、複数のオブジェクト情報１３１ａを目標動作作成部１３５から受け取った場合には、関連性判定部５３８を用いて連動オブジェクト組を取得し、複数の学習対象の動作の関係性を考慮して実動作と目標動作との比較解析を行う。また、目標動作作成部６３５からオブジェクト配置計画修正命令を受け取った場合には、オブジェクト配置計画修正命令の内容に従って、実動作と目標動作との比較解析の対象となるオブジェクト２５０を削減する。

以下、情報量制御部６３９で実行される情報量最適化処理について、詳細に説明する。

図３１は、情報量制御部６３９が実行する情報量最適化処理の流れを示すフローチャートである。情報量制御部６３９は、例えば、図８のステップＳ１３００の直後に、目標動作作成部６３５からオブジェクト配置計画４７０を受け取った場合、以下に説明する情報量最適化処理を実行する。

まず、ステップＳ１３１０で、情報量制御部６３９は、受け取ったオブジェクト配置計画４７０からそのまま描画情報を作成した場合の情報量を算出する。ただし、後述する処理によってオブジェクト配置計画命令を既に作成している場合には、情報量制御部６３９は、作成したオブジェクト配置計画修正命令に従って描画情報を作成した場合の情報量を算出する。

情報量の定義の仕方や算出手法は、各種の定義および算出手法を採用できる。例えば、情報量は、ユーザ１５０の視界内の、オブジェクト画像２３２の総数や、視界にほぼ一致するとみなすことができる描画面２３０に対するオブジェクト画像２３２が占める面積比、オブジェクト画像２３２が集積する密度とすればよい。また、視界の中央付近に配置された画像を注視する傾向があるという人間の特性を考慮して、描画面２３０の中央付近により高い重み付けを行って、上記面積比や密度を算出し、算出結果を情報量として採用してもよい。

ここでは、全ての学習対象について重要度ごとのオブジェクト画像２３２の面積が共通であるものとし、一般オブジェクト２５０の表示面積を示す点数が「１」、ポイントオブジェクト２５０の表示面積を示す点数が「３」、関連性オブジェクトの表示面積を示す点数が「２」であるものとする。また、描画面２３０上の中央付近の所定の範囲に位置する場合の重み係数を「３」とし、その他の範囲に位置する場合の重み係数を「１」とする。情報量制御部６３９は、このようなオブジェクトに対する点数の設定と重み付けとにより、描画面２３０の状態を簡易モデル化して、情報量を算出する。

具体的には、ｋ個目のオブジェクトの点数をＰｋ、位置に対応する重み係数をＷｋと置くと、オブジェクト配置計画４７０に規定された、関連オブジェクトを含むオブジェクトの個数がｍ個のとき、情報量制御部６３９は、例えば以下の式（４）を用いて情報量Ｑを算出する。

そして、ステップＳ１３２０で、情報量制御部６３９は、ステップＳ１３３０で算出した情報量が、所定の閾値を超えるか否かを判断する。所定の閾値は、ユーザ１５０のレベルに応じて複数用意されていることが望ましい。この場合、情報量制御部６３９は、制御パネル２１０を介してレベルの入力を受け付け、入力されたレベルに対応する閾値を使用すればよい。情報量制御部６３９は、算出した情報量が所定の閾値を超えている場合には（Ｓ１３２０：ＹＥＳ）、ステップＳ１３３０に進む。

ステップＳ１３３０で、情報量制御部６３９は、図３０に示す制御指示書４８０に従い、オブジェクト配置計画修正命令を作成し、既にオブジェクト配置計画修正命令を作成している場合には、削除対象となるオブジェクトを指定する情報を追加する。そして、情報量制御部６３９は、ステップＳ１３１０に戻り、オブジェクト配置計画修正命令について情報量を算出する。ステップＳ１３１０〜Ｓ１３３０の処理は、情報量が所定の閾値以下となるまで繰り返される。これにより、オブジェクト配置計画修正命令は、最終的に、情報量を所定の閾値以下に制御する内容となる。

算出した情報量が所定の閾値以下となった場合、または元のオブジェクト配置計画４７０で情報量が所定の閾値以下であった場合には（Ｓ１３２０：ＮＯ）、ステップＳ１３４０に進む。

ステップＳ１３４０で、情報量制御部６３９は、オブジェクト配置計画修正命令が作成された場合には、オブジェクト配置計画修正命令を目標動作作成部６３５に出力し、オブジェクト配置計画修正命令が作成されなかった場合には、描画許可を目標動作作成部６３５に出力する。そして、図８のステップＳ１４００の処理に戻る。

図３２は、オブジェクト配置計画修正命令の内容の一例を示す図である。

図３２に示すように、オブジェクト配置計画修正命令４７１は、図２９に示すオブジェクト配置計画４７０と同様の構成であり、オブジェクト配置計画４７０のうち残すべき部分を示した内容となっている。

目標動作作成部６３５は、オブジェクト配置計画修正命令４７１に記述された内容をオブジェクト配置計画４７０に反映し、反映後のオブジェクト配置計画４７０基づいて、描画情報を作成する。これにより、描画面２３０に描画される情報量は削減される。

図３３は、あるオブジェクト配置計画４７０に基づいて描画が行われたときの描画面２３０の様子の一例を示す図である。

図３３に示すように、ここでは、大きい楕円で示されるポイントオブジェクトの画像２３２ａと、小さい円で示される一般オブジェクトの画像２３２ｂと、関連性オブジェクトとしてオブジェクト画像２３２を結ぶ直線で示される線４６０とが描画されている。また、高い重み付けを行う中央エリア４７２の内部に、７つのポイントオブジェクトの画像２３２ａと、４つの一般オブジェクトの画像２３２ｂと、５つの線４６０が表示され、中央エリア４７２の周辺部に、１つのポイントオブジェクトの画像２３２ａが表示されている。

このような描画面２３０の元となるオブジェクト配置計画４７０から算出される情報量は、３×（３×７＋１×４＋２×５）＋１×（３×１）＝１０８と算出される。図３１のステップＳ１３２０で使用される閾値が例えば８０の場合、算出された情報量は閾値を超えるため、情報量制御部６３９でオブジェクト配置計画修正命令が作成され、描画面２３０の情報量は削減される。

図３４は、図３３に示す描画面２３０の元となるオブジェクト配置計画４７０に対して情報量制御部６３９の命令による修正が行われたときの描画面２３０の様子の一例を示す図である。

図３３に示す描画面２３０と比較すると、図３４に示す描画面２３０では、中央エリア４７２の周辺部の１つのポイントオブジェクトの画像２３２ａと、３つの一般オブジェクトの画像２３２ｂと、２つの線４６０が削減されており、よりすっきりした画面となっている。

このような描画面２３０の元となるオブジェクト配置計画４７０から算出される情報量は、３×（３×６＋１×１＋２×３）＝７５と算出される。つまり、算出された情報量が閾値以下とすることにより、より見易い画面が表示されることが分かる。

このように、本実施の形態によれば、情報量制御部６３９が、制御指示書４８０に従ってオブジェクト配置計画を修正し、描画面に描画される情報量を削減する。これにより、処理負荷を軽減し、オブジェクト画像２３２や比較結果が表示するまでの時間を短縮することができる。また、重要度の低い情報を削減する形で情報量を削減するので、ユーザのレベルによっては、かえって必要な情報を捉え易くすることができる。

また、オブジェクトとして立体図形を用いたり、強調の効果を目的として回転、膨張、縮小などの動的変化をオブジェクトに与えるような場合には、ちらつき防止など、より高い視覚的効果を得ることができる。例えば、指や関節など、更に細分化した単位の部位について学習を行う場合には表示されるオブジェクト多くなり、情報過多となる可能性があるが、このような情報量削減により情報過多の防止と学習単位の細分化とを両立させることができる。

同時に複数の部位を学習したり、個々のオブジェクトが単なる通過点ではなく、物理量の変化などを示すなどの意味を持っていたりする場合には、ユーザがなぞる対象を探し、認識するまでの反応時間は長くなる傾向にある。反応時間に時間がかかりすぎて運動の滑らかさに支障が出ることは、運動学習として望ましくない。また、一般的に、眼球運動が高速になればなるほど視力は低下し、視野も狭くなることが知られている。特に、複数の部位をチェックするために頻繁に頭を動かす場合には、眼球運動も高速になり、表示されている情報の正確な認識が困難となる。その点、本実施の形態によれば、反応時間や情報認識の正確さに影響を与える情報量を制限することができ、より質の高い運動学習支援を行うことができる。

（実施の形態５）
実施の形態５では、描画面の外部の領域など、ユーザの死角の領域に位置する目標動作部分を、ユーザの視界内に再配置する場合について説明する。

ユーザ１５０の視界や描画面２３０の大きさには制限があることから、ユーザ１５０が運動の際に体を曲げたり、反らせたり、ねじれさせたりしても、ユーザ１５０が視認することができない領域が存在する。以下このような領域を「死角」と定義する。ここで、死角は、運動のフォームを犠牲にしなければ見られない領域や、理想とするフォームにおける望ましい視線方向（視界）では視界に入らない領域を含む。具体的には、例えば、ゴルフにおけるトップの位置にあるクラブヘッド１６０や、サッカーにおける蹴り上げ足は、死角に位置する運動動作に該当する。

このような死角に位置する目標動作部分（以下「死角動作」という）の情報についても、動作の流れや方向を感覚的に習得するために、描画面２３０に描画することが望ましい。ところが、このような死角動作は、学習対象の目標動作の本来表示すべき位置とは異なる位置に描画されることになり、そのまま描画を行うと、本来の位置なのか否かについてユーザ１５０の混乱を招く。

そこで、本実施の形態の学習支援装置７０は、死角動作をユーザの視界内に擬似的に表示するとともに、死角動作の画像には、死角動作に関する画像であることを示す情報を併せて表示する。

図３５は、本発明の実施の形態５に係る学習支援装置の詳細な構成を示すブロック図であり、実施の形態１の図２に対応するものである。図２と同一部分には同一符号を付し、これについての説明を省略する。

図３５に示すように、学習支援装置７０は、図２の制御端末１３０に代えて、制御端末７３０を有する。制御端末７３０は、図２の目標動作作成部１３５に代えて、死角描画指示書７３９を予め格納した目標動作作成部７３５を有する。また、本実施の形態の制御端末７３０における目標動作情報格納部１３１は、目標動作のどの部分が死角動作であるかを示す死角情報を含むオブジェクト情報１３１ｃを格納している。

図３６は、オブジェクト情報１３１ｃの内容の一例を示す図である。

図３６に示すように、オブジェクト情報１３１ｃは、実施の形態１の図３に示すオブジェクト情報１３１ａと同様の構成を有し、更に、死角に関連する各位置に該当するか否かを示す死角情報４８１を有する。死角情報４８１には、オブジェクト番号２０２に対応付けて、「死角開始直前点」、「死角開始点」、「死角点」、および「死角終了点」などの情報が記述されている。

ここで、死角開始直前点は、目標動作が死角に入る直前のオブジェクト２５０の位置である。死角開始点は、死角に入る最初のオブジェクト２５０の位置である。死角点は、死角に入っているオブジェクト２５０の位置である。そして、死角終了点は、死角から出る最初のオブジェクトの位置である。また、死角開始点から死角終了点までの目標動作部分、つまり死角動作における学習対象の軌跡を、「死角軌跡」というものとする。

ここでは、図３６に示すように、オブジェクト番号Ａ３のオブジェクト２５０が、目標動作が死角に入る直前のオブジェクト２５０であり、オブジェクト番号Ａ４のオブジェクト２５０が、視界に入る最初のオブジェクト２５０である。また、オブジェクト番号Ａ５〜Ａ７までのオブジェクト２５０が、死角に入っているオブジェクト２５０であり、オブジェクト番号Ａ８のオブジェクト２５０が、死角から出る最初のオブジェクト２５０である。

図３５の目標動作作成部７３５は、オブジェクト情報１３１ｃの記述内容に従って、例えば実施の形態４の図２９に示すオブジェクト配置計画４７０と同様の構成を有するオブジェクト描画計画を作成し、作成した描画情報を目標動作描画部１３６に出力する。このとき、目標動作作成部７３５は、死角描画指示書７３９に従って、オブジェクト情報１３１ｃの死角情報４８１に基づいて、死角動作を描画面２３０内に描画するとともに死角動作の画像であることを示す各種情報を描画する描画情報を作成する。ここでは、目標動作作成部７３５は、各オブジェクト２５０をオブジェクト情報１３１ｃに規定された順序に従って順に表示させるように描画情報を作成するものとする。また、目標動作作成部７３５は、通過判定部１３８から入力される通過判定情報に基づいて、実軌道が通過したオブジェクト２５０のオブジェクト画像２３２を、逐次、描画面２３０から消去させる。

図３７は、死角描画指示書７３９の内容の一例を示す図である。

死角描画指示書７３９には、死角動作の描画や、死角動作の画像であることを示す各種情報の描画に関する条件４８２と描画に関する指示内容４８３とが規定されている。

ここでは、死角動作の画像であることを示す情報として、予め定められた死角開始情報および死角終了情報を用いる。死角開始情報は、死角開始点および死角点のオブジェクト画像２３２をどの領域に描画するかを示す情報である。死角終了情報は、死角終了点をどの領域に描画するかを示す情報である。

ここでは、死角描画指示書７３９には、例えば、「死角開始直前点より２個前のオブジェクトを実軌道が通過したタイミングから死角開始点より２個後のオブジェクトを実軌道が通過したタイミングまで」という条件４８２に対応して、「所定の位置に死角開始情報を描画する」という指示内容４８３が記述されている。また、「死角開始直前点より１個前のオブジェクトを実軌道が通過したタイミングから、死角終了点より１個前のオブジェクトを実軌道が通過したタイミングまで」という条件４８２に対応して、「所定の位置に、死角動作と、死角動作をなぞる順序を示す矢印とを描画する」という指示内容４８３が記述されている。また、「死角終了点より３個前のオブジェクトを実軌道が通過したタイミングから、死角終了点のオブジェクトを実軌道が通過したタイミングまで」という条件４８２に対応して、「所定の位置に、死角終了情報を描画する」という指示内容４８３が記述されている。なお、他にも、例えば、「死角開始直前点から所定の距離の範囲内に実軌道が入ったタイミングから、死角終了点より１個後のオブジェクトの位置から所定の距離の範囲内に実軌道が入ったタイミングまで」という条件に対応して、「所定の位置に死角動作を描画する」という指示内容を記述してもよい。

なお、死角動作が複数のオブジェクト画像２３２で表示される場合には、目標動作作成部７３５は、これら複数のオブジェクト画像２３２の相対位置を、本来の目的動作における相対位置に対応させる。また、目標動作作成部７３５は、死角開始情報を描画する所定位置を、死角開始点のオブジェクト画像２３２の近傍とし、死角終了情報を描画する所定位置を、死角終了点のオブジェクト画像２３２の近傍とする。

図３８は、図３６に示すオブジェクト情報１３１ｃから図３７に示す死角描画指示書７３９に基づいて描画が行われたときの描画面２３０の様子の一例を示す図である。

図３８（Ａ）は、実軌道がオブジェクト番号Ａ１のオブジェクト２５０を通過するタイミングにおける描画面２３０の様子を示す。この場合、死角描画指示書７３９の「死角開始直前点より２個前のオブジェクトを実軌道が通過したタイミングから死角開始点より２個後のオブジェクトを実軌道が通過したタイミングまで」という条件４８２に該当する。したがって、図３８（Ａ）に示すように、死角開始情報４８４が、死角開始点の近傍に描画される。ここでは、死角開始情報４８４として、矢印と「死角開始」の文字列とが描画される場合を図示している。

図３８（Ｂ）は、実軌道がオブジェクト番号Ａ２のオブジェクト２５０を通過するタイミングにおける描画面２３０の様子を示す。この場合、死角描画指示書７３９の「死角開始直前点より１個前のオブジェクトを実軌道が通過したタイミングから、死角終了点より１個前のオブジェクトを実軌道が通過したタイミングまで」という条件４８２に該当する。したがって、図３８（Ｂ）に示すように、死角開始情報４８４と、死角動作のオブジェクト画像２３２と、死角動作をなぞる順序を示す矢印４８５とが描画される。

死角動作では、目標動作における本来の位置とは異なる位置にオブジェクト画像２３２を配置することになるため、本来の位置をイメージしにくい。したがって、上記した矢印４８５を表示することで、ユーザ１５０が本来の軌跡をイメージするのを助けることができる。

図３８（Ｃ）は、実軌道がオブジェクト番号Ａ６のオブジェクト２５０を通過するタイミングにおける描画面２３０の様子を示す。この場合、死角描画指示書７３９の「死角終了点より３個前のオブジェクトを実軌道が通過したタイミングから、死角終了点のオブジェクトを実軌道が通過したタイミングまで」という条件４８２に該当する。したがって、図（Ｃ）に示すように、死角終了情報４８６が、死角終了点の近傍に描画される。ここでは、死角終了情報４８６として、矢印と「死角終了」の文字列とが描画される場合を図示している。

図３８（Ｄ）は、実軌道がオブジェクト番号Ａ７のオブジェクト２５０を通過するタイミングにおける描画面２３０の様子を示す。この場合も、死角描画指示書７３９の「死角終了点より３個前のオブジェクトを実軌道が通過したタイミングから、死角終了点のオブジェクトを実軌道が通過したタイミングまで」という条件４８２に該当するため、死角終了情報４８６が描画されたままの状態となる。

このように、本実施の形態によれば、死角動作の画像を、死角動作に関する画像であることを示す情報と併せて、描画面に表示する。これにより、ユーザに対して、死角動作における学習対象の軌跡の動きや所定の物理量を、本来の軌跡の位置とは区別して提示することができる。したがって、ユーザは、必要以上に無理に体を動かして目標動作を視界に入れる努力をすることなく、目標動作の学習ができる。これにより、従来、勘に頼らざるを得なかった見えない部分のトレーニングを、より正確に行うことができる。

なお、各実施の形態では、目標動作や比較結果を、ヘッドマウントディスプレイを利用して擬似的に表示する場合について説明したが、これに限定されるものではない。３Ｄ（dimension）ホログラムなどの立体映像技術や、空間中にレーザ光によりプラズマ化した輝点を連続して生成し三次元映像を描画する立体描画技術を、目標動作や比較結果の表示に用いてもよい。このような技術を活用した場合には、描画対象の制約が少なくなり、目標動作のより多くの部分を表示することが可能となる。

また、各実施の形態では、本発明をゴルフクラブのスィングの学習に適用した場合について説明したが、体の一部や運動器具などの部位の動作を定義または計測できる各種の運動の学習に適用できることは勿論である。例えば、本発明は、テニス、格闘技、野球などの各種スポーツだけでなく、楽器演奏、リハビリテーションなど、様々な分野における運動の学習にも適用できる。更に、本発明を、学習目的ではなく、他人や自分の運動をなぞって楽しむゲームなど、エンターティメント目的の用途に適用してもよい。

本発明に係る学習支援装置および学習支援方法は、各種スポーツや楽器演奏、リハビリテーションなど、様々な分野における運動の効果的な学習に有用である。

本発明の実施の形態１に係る学習支援装置が使用される場面の様子を示す説明図 実施の形態１に係る学習支援装置の詳細な構成を示すブロック図 実施の形態１におけるオブジェクト情報の内容の一例を示す説明図 実施の形態１における制御パネルの外観の一例を示す平面図 実施の形態１における描画面の様子の一例を示す平面図 実施の形態１における各座標系の関係およびオブジェクトの描画位置の算出の原理を示す説明図 実施の形態１における通過判定の原理の一例を示す説明図 実施の形態１に係る学習支援装置の動作の流れを示すフローチャート 実施の形態１における学習対象を動作させる様子を示す説明図 実施の形態１におけるオブジェクトの具体例を示す説明図 実施の形態１におけるオブジェクト画像のシンボルが変化する様子の一例を示す説明図 実施の形態１におけるオブジェクト画像のシンボルが変化した後の様子の一例を示す説明図 実施の形態１における学習対象の実動作に目標動作を重ねて表示した状態を示す説明図 本発明の実施の形態２に係る学習支援装置の詳細な構成を示すブロック図 実施の形態２における通過判定情報の構成の一例を示す説明図 実施の形態２における修正ポリシ情報の内容の一例を示す説明図 実施の形態２における変更依頼情報の構成の一例を示す説明図 実施の形態２における習熟度推定処理の流れを示すフローチャート 実施の形態２における通過判定情報の内容の具体例を示す説明図 実施の形態２における図１９に示す通過判定情報から作成される変更依頼情報の内容の具体例を示す説明図 本発明の実施の形態３に係る学習支援装置の詳細な構成を示すブロック図 実施の形態３におけるオブジェクト関連情報の内容の一例を示す説明図 実施の形態３における関連性判定処理の流れを示すフローチャート 実施の形態３における描画対象データの内容の一例を示す説明図 実施の形態３における図２３に示す描画対象データに基づいて描画が行われたときの描画面の様子の一例を示す平面図 実施の形態３における一部のオブジェクトのみが描画面内に存在している場合の描画面の様子の一例を示す平面図 実施の形態３における複数の学習対象の動作の関係性が描画されたときの描画面の様子の一例を示す平面図 本発明の実施の形態４に係る学習支援装置の詳細な構成を示すブロック図 実施の形態４におけるオブジェクト配置計画の内容の一例を示す説明図 実施の形態４における制御指示書の内容の一例を示す説明図 実施の形態４における情報量最適化処理の流れを示すフローチャート 実施の形態４におけるオブジェクト配置計画修正命令の内容の一例を示す説明図 実施の形態４におけるオブジェクト配置計画に基づいて描画が行われたときの描画面の様子の一例を示す平面図 実施の形態４におけるオブジェクト配置計画に対して修正が行われたときの描画面の様子の一例を示す平面図 本発明の実施の形態５に係る学習支援装置の詳細な構成を示すブロック図 実施の形態５におけるオブジェクト情報の内容の一例を示す説明図 実施の形態５における死角描画指示書の内容の一例を示す説明図 実施の形態５における死角描画指示書に基づいて描画が行われたときの描画面の様子の一例を示す平面図

符号の説明

１０、３０、５０、６０、７０ 学習支援装置
１１０ ヘッドマウントディスプレイ
１１１ 視界情報計測部
１１２ 位置姿勢情報計測部
１１３ 画像表示部
１２０ ３軸加速度センサ
１２１ 運動情報計測部
１３０、３３０、５３０、６３０、７３０ 制御端末
１３１ 目標動作情報格納部
１３２ 学習対象取得部
１３３ 視界情報取得部
１３４ 位置姿勢情報取得部
１３５、３３５、５３５、６３５、７３５ 目標動作作成部
１３６ 目標動作描画部
１３７ 運動情報取得部
１３８、５３８、６３８ 通過判定部
２１０ 制御パネル
３３９ 習熟度推定部
５３９ 関連性判定部
６３９ 情報量制御部

Claims (11)

1. 所定の運動を学習するための学習支援装置であって、
   前記所定の運動における学習対象部位の目標軌道と所定の物理量とを含む目標動作を示す目標動作情報を取得する目標動作取得部と、
   前記目標動作取得部によって取得された前記目標動作情報に基づいて、前記目標動作を、前記所定の運動を学習するユーザの視界に適合させて描画し、前記所定の物理量が方向成分を含む場合に、該方向を法線とする面または該方向に向けて突出した突出部を視覚的に示すオブジェクトを対応する位置に配置して描画する描画部と、
   を備え、
   前記所定の物理量は、前記目標軌道を構成する位置における前記学習対象部位の姿勢、速度、加速度、回転速度、回転加速度、および前記学習対象部位に対して掛ける力の少なくとも１つを含む、
   学習支援装置。
2. 前記ユーザの実際の運動における前記学習対象部位の動作である実動作を計測し、前記実動作を示す情報を生成する計測部と、
   前記目標動作取得部によって取得された前記目標動作情報と、前記計測部により生成された前記実動作を示す情報と、を比較する比較部と、
   を更に有し、
   前記描画部は、前記比較部における比較結果を示す情報を前記ユーザの視界に適合させて描画する、
   請求項１記載の学習支援装置。
3. 前記描画部は、前記オブジェクトを対応する位置に配置して描画し、前記比較部における比較結果に応じて、前記オブジェクトの画像のサイズ、解像度、色、透明度、輝度、密度、グラデーション、および描画の有無の少なくとも１つを含む属性を変更する、
   請求項２記載の学習支援装置。
4. 前記比較部は、前記目標動作情報と前記実動作を示す情報との比較を前記オブジェクトごとに行い、
   前記描画部は、前記オブジェクトごとの比較結果を示す情報を、前記学習対象部位が次のオブジェクトの位置に到達する前に描画する、
   請求項３記載の学習支援装置。
5. 前記目標動作情報は、前記オブジェクトごとの重要度を更に含み、
   前記描画部は、前記重要度に応じて、前記オブジェクトの画像のサイズ、解像度、色、透明度、輝度、密度、グラデーション、および描画の有無の少なくとも１つを含む属性を変更する、
   請求項１記載の学習支援装置。
6. 前記比較部による比較結果に基づいて、前記所定の運動に対する前記ユーザの習熟度を判定する習熟度判定部を更に有し、
   前記描画部は、前記習熟度判定部による判定結果に応じて、前記オブジェクトの画像のサイズ、解像度、色、透明度、輝度、密度、グラデーション、および描画の有無の少なくとも１つを含む属性を変更する、
   請求項２記載の学習支援装置。
7. 前記学習対象部位の動作は、第１の部位の軌道と、前記第１の部位の軌道を構成する位置に前記第１の部位が位置するときの第２の部位の位置とを含み、
   前記描画部は、前記第１の部位の軌道を構成する位置と、その位置に前記第１の部位が位置するときの前記第２の部位の位置とを関連付けて描画する、
   請求項１記載の学習支援装置。
8. 前記ユーザの視界に描画される情報量を算出し、算出された情報量が予め定められた閾値を超えている場合には、描画の対象となるオブジェクトを削減する情報量制御部を更に有する、
   請求項１記載の学習支援装置。
9. 前記目標軌道のうち、前記ユーザの視界の死角に位置する死角軌道を判別する死角軌道判別部を更に有し、
   前記描画部は、前記死角軌道における前記目標動作を、前記ユーザの視界の死角における前記目標動作の画像である旨を通知して、前記ユーザの視界内に描画する、
   請求項１記載の学習支援装置。
10. 前記描画部は、
    入力される画像データに基づいて画像を表示する画像表示部を有し、
    前記ユーザの頭部の位置および姿勢を取得する位置姿勢取得部と、
    前記ユーザの視点の位置を取得する視点取得部と、
    前記位置姿勢取得部により取得された前記ユーザの頭部の位置および姿勢と、前記視点取得部により取得された前記ユーザの視点の位置とに基づいて前記ユーザの視界を算出し、算出した前記ユーザの視界と前記画像表示部の画像表示位置とに基づいて、前記ユーザが前記所定の運動を行った場合の前記ユーザの視界における前記目標動作の画像を表示するための画像データを生成し、生成した画像データを前記描画部に出力する目標動作生成部と、
    を更に有する請求項１記載の学習支援装置。
11. 所定の運動を学習するための学習支援方法であって、
    前記所定の運動における学習対象部位の目標軌道と所定の物理量とを含む目標動作を示す目標動作情報を取得する目標動作取得ステップと、
    前記目標動作取得ステップにおいて取得された前記目標動作情報に基づいて、前記目標動作を、前記所定の運動を学習するユーザの視界に適合させて描画し、前記所定の物理量が方向成分を含む場合に、該方向を法線とする面または該方向に向けて突出した突出部を視覚的に示すオブジェクトを対応する位置に配置して描画する描画ステップと、
    を有し、
    前記所定の物理量は、前記目標軌道を構成する位置における前記学習対象部位の姿勢、速度、加速度、回転速度、回転加速度、および前記学習対象部位に対して掛ける力の少なくとも１つを含む、
    学習支援方法。
    

Images