JP5704313B2 - 映像表示装置及び映像表示方法 - Google Patents

Description

本発明は、映像表示装置及び映像表示方法に関する。

スポーツが上達するには、よいコーチやトレーナーによる指導が早道と言われる。例えば、ゴルフではレッスンプロと呼ばれる指導者に直接レッスンを受けるサービスや自分のプレイの映像を送ってアドバイスしてもらうというサービスもある。しかし、一般のスポーツ愛好家は、コーチのために費用や時間を費やすことが難しい。そこで、自分自身で上達するための練習装置が考案され、市販されている。多くの練習装置は、指導をパソコンや携帯機器などの画面で行う。パソコンの場合、体から離れており、携帯機器では画面を見るときに手で持ち変えるなどの動作が必要であるため、本来のフォームが崩れるという問題がある。そこで、眼に直接映像を見せることができるＨＭＤ（Head Mounted Display：ヘッドマウントディスプレイ）などを頭部に装着し、特別な操作なしで、本来の運動の姿勢を崩さずに運動練習の指導を受けられる機器が考案されている（特許文献１、２）。

ところで、映像や画像を鑑賞する場合、乗り物酔いに似た「映像酔い」が生じる場合があることが知られている。映像酔いは、三半規管など体の平衡感覚と視覚から入る映像の平衡（揺れているとか水平でないなど）のずれから生ずる違和感が原因といわれる。例えば、ビデオカメラで撮影するとき、手振れなどで画面は揺れているが、撮影者自身も同じように揺れるので、ファインダーの揺れと平衡感覚の差が無く、映像酔いは生じない。しかし、手振れの大きな映像を鑑賞する場合、映像は大きく揺れても、鑑賞する者は静止していて自身が揺れている感覚がないので、見たものと平衡感覚の差が大きく、その不一致から酔いが生ずる。

ＨＭＤで映像や画像を鑑賞する場合、ＨＭＤは頭部に装着されるため、頭や体が動くことで水平でなく常に揺れている。しかし、ＨＭＤで見せる映像が固定したカメラで撮影した映像やＣＧなどで生成した映像である場合、水平が保たれているし揺れもない。したがって、体は動いているという感覚があるのに、揺れが無い映像との違和感が生じ、映像酔いを感じる場合が多い。特に、スポーツのように体の動きが大きい場合、ＨＭＤで情報を見ながら練習すると、ゲームのように体の動きが小さい場合よりも映像酔いのような症状が生ずる危険性が高いと考えられる。

これまでに、ＨＭＤで映像酔いを抑制する方法がいくつか提案されている。例えば、特許文献３のヘッドマウントディスプレイ装置は、左右の眼に頭の動きをキャンセルするように画像を表示し、特許文献４のヘッドマウントディスプレイ装置は、背景画像により見ている画像があたかも静止しているように見せることで映像酔いを防止する。しかし、特許文献３の手法では装置が大掛かりになり、装着してスポーツをするのに適さない。また、特許文献４のヘッドマウントディスプレイ装置は、背景を人工映像で覆うので、シースルーで背景が見える状態（複合現実）のＨＭＤでは使えない。そのため、例えば、フィールドでゴルフをする場合には使えない。

そこで、一般的には、特許文献５、６のように、ＨＭＤの装着者が動いても映像が水平になるように手ぶれ補正の要領で映像をフレームごとに補正する方法により、映像酔いを抑制することが多い。

特開２００５−３４１９５号公報 特開２００９−１２５５０７号公報 特開２００３−２７９８８２号公報 特開平８−２２０４７０号公報 特開２００８−２５６９４６号公報 特開２００６−１３５８８４号公報

映像酔いは、平衡感覚と映像との間の揺れ、非水平の食い違いから生じ、食い違い量が大きいほど感じる酔いも強い。特に、スポーツは動きが大きいだけでなく、時間的な動きの変化も大きい。そのため、例えば、映像がある時間は水平で次の瞬間に水平でなくなったとき、特許文献５、６の手法で即座に映像を水平に見えるように戻すと、平衡感覚としては水平から大きくはずれたので映像も水平に見えないだろうという予測に反することになり、かえって酔いを誘発する可能性が考えられる。

つまり、時間的な揺れの変化が小さく揺れ量自体がそれほどでない場合は、揺れが生じたら即座に水平に戻していくことで酔いを抑制することができるが、あまりにも急激な揺れがあったにもかかわらず映像が即座に水平に戻るのは、生理的に違和感が生ずる可能性がある。例えば、ビデオカメラで撮影中に少し手振れがあるくらいであれば問題なく撮影を続行できるが、手が大きく動いてしまったり、カメラの重さで手が大きく震えてしまったときは、不快でファインダーを見ることができずに眼をそらしたり、撮影を止めてしまうことが多い。

したがって、大きな急激な揺れがあった場合は単純に映像を水平に見えるように戻すだけでは映像酔いを効果的に抑止できない可能性が高い。

本発明は、以上のような問題点に鑑みてなされたものであり、本発明のいくつかの態様によれば、大きな急激な揺れがあった場合にも映像酔いを効果的に低減させることができる映像表示装置及び映像表示方法を提供することができる。

（１）本発明は、使用者の頭部に装着される表示部と、前記表示部および前記使用者の頭部の少なくとも一方の動きを解析し、解析結果に基づいて水平面に対する前記表示部の傾き量を算出する傾き量算出部と、前記使用者の所定部位及び前記使用者が使用する道具の少なくとも一方の動きを解析し、解析結果に基づいて前記所定部位及び前記道具の少なくとも一方の所定時間における動き量を算出する動き量算出部と、前記傾き量算出部が算出した前記傾き量に応じて、前記表示部に表示させる映像の前記水平面に対する傾きを補正する映像補正部と、を含み、前記映像補正部は、前記動き量算出部が算出した前記動き量を第１の閾値と比較し、前記動き量が前記第１の閾値を超えた場合は、複数のフレームをかけて前記映像が水平に表示されるように補正する、映像表示装置である。

所定部位は、頭部であってもよいし、例えば、肩、腰、肘、手首、膝、踝などの頭部以外の部位であってもよく、目的に応じて適切な部位を選択すればよい。また、道具は、例えば、スポーツにおける用具やリハビリにおける補助器具などである。

動き量算出部は、複数の所定部位や道具の複数個所の各々に対して動き量を算出するようにしてもよい。

本発明によれば、使用者の体や道具の所定時間における動き量が第１の閾値を超えたら映像をすぐに水平に戻さずに、数フレームをかけて徐々に水平に戻す。従って、大きな急激な揺れがあった場合に、使用者の平衡感覚と視覚から入る映像の平衡のずれが小さくなり、映像酔いを効果的に低減させることができる。

（２）この映像表示装置において、前記映像補正部は、前記動き量が前記第１の閾値を超えた場合は、前記動き量が大きいほど、前記映像が水平に表示されるまでの各フレームでの傾きの補正量を小さくするようにしてもよい。

このようにすれば、使用者の体や道具の動きが大きいほど映像の傾き補正がゆっくりと行われるので、動きが大きくなっても使用者の平衡感覚と視覚から入る映像の平衡のずれが小さく保たれ、映像酔いを効果的に低減させることができる。

（３）この映像表示装置において、前記映像補正部は、前記動き量を前記第１の閾値以下の第２の閾値と比較し、前記動き量が前記第２の閾値よりも小さい場合は、前記映像が水平に表示されるように前記傾き量だけ補正するようにしてもよい。

このようにすれば、使用者の体や道具の動きが小さい場合は、映像が水平に保たれるので、映像酔いを効果的に低減させることができる。

（４）この映像表示装置において、前記映像補正部は、前記動き量が前記第１の閾値および前記第２の閾値の少なくとも一方を超えた直後のフレームでは前記映像の水平面に対する傾きを補正せずに表示させるようにしてもよい。

このようにすれば、使用者の体や道具の動きが比較的大きくなった直後のフレームでは映像の傾き補正が行われないので、使用者の平衡感覚と視覚から入る映像の平衡のずれが小さくなり、映像酔いを効果的に低減させることができる。

（５）この映像表示装置において、前記映像補正部は、前記動き量が前記第２の閾値を超えた後、前記第１の閾値を超えるまでは、前記第２の閾値を超えた直後のフレームを除いて前記映像が水平に表示されるように前記傾き量だけ補正するようにしてもよい。

このようにすれば、使用者の体や道具の動きが比較的大きい程度であれば、映像の傾き補正が１フレームだけ行われずに次のフレームで水平に戻されるので、使用者の平衡感覚と視覚から入る映像の平衡のずれが小さくなり、映像酔いを効果的に低減させることができる。

（６）この映像表示装置は、前記所定部位および前記道具の少なくとも一方に装着され、当該所定部位および当該道具の少なくとも一方の動きを検出する第１の慣性センサーを含み、前記動き量算出部は、前記第１の慣性センサーの検出結果に基づいて前記動き量を算出するようにしてもよい。

このようにすれば、使用者の体の所定部位や道具の動きをカメラで撮影した映像で解析するような大掛かりな装置が不要になり、コンパクトな構成で映像酔いを効果的に低減させることができる。

（７）この映像表示装置は、前記使用者の頭部および前記表示部の少なくとも一方に装着され、当該使用者の頭部および当該表示部の少なくとも一方の動きを検出する第２の慣性センサーを含み、前記傾き量算出部は、前記第２の慣性センサーの検出結果に基づいて前記傾き量を算出するようにしてもよい。

このようにすれば、表示部の傾きをカメラで撮影した映像で解析するような大掛かりな装置が不要になり、コンパクトな構成で映像酔いを効果的に低減させることができる。

（８）この映像表示装置は、前記動き量に基づいて、前記使用者の運動パターンを解析する運動解析部をさらに含み、前記表示部は、前記映像として前記運動解析部の解析結果に応じた運動指導映像を表示するようにしてもよい。

運動指導は、例えば、スポーツにおけるフォームの指導やリハビリの運動指導であってもよい。

このようにすれば、運動中に体を大きく動かすことで使用者の頭が急に傾いた場合でも、運動指導映像の傾き補正を徐々に行うことで、頭が急に傾いたという使用者の意識と眼に映る映像の差を小さくすることができる。従って、映像酔いを効果的に低減させながら長時間にわたり快適に運動指導を受けられる映像表示装置（運動指導装置）を提供することができる。

（９）この映像表示装置は、複数の運動指導映像を記憶する映像記憶部と、前記運動解析部の解析結果に応じて、前記映像記憶部に記憶された前記複数の運動指導映像から前記表示部に表示させる運動指導映像を選択する映像選択部と、を含むようにしてもよい。

（１０）本発明は、使用者の頭部に表示部を装着するステップと、前記使用者の頭部の動きを解析し、解析結果に基づいて前記表示部の水平面に対する傾き量を算出する傾き量算出ステップと、前記使用者の所定部位及び前記使用者が使用する道具の少なくとも一方の動きを解析し、解析結果に基づいて前記所定部位及び前記道具の少なくとも一方の所定時間における動き量を算出する動き量算出ステップと、前記傾き量算出ステップで算出した前記傾き量に応じて、前記表示部に表示させる映像の水平面に対する傾きを補正する映像補正ステップと、を含み、前記映像補正ステップにおいて、前記動き量算出ステップで算出した前記動き量を第１の閾値と比較し、前記動き量が前記第１の閾値を超えた場合は、複数のフレームをかけて前記映像が水平に表示されるように補正する、映像表示方法である。

本実施形態の映像表示装置の機能ブロック図。 本実施形態の運動指導装置の構成例を示す図。 運動指導装置の構成要素の配置例を示す図。 アドバイス画像の傾き補正処理について説明するための図。 モーションセンサーから得られるデータの一例を示す図。 モーションセンサーから得られるデータの一例を示す図。 モーションセンサーから得られるデータの一例を示す図。 加速度の大きさの評価について説明するための図。 アドバイス画像の傾きを補正する関数の一例を示す図。 アドバイス画像の傾きを補正する処理の一例を示すフローチャート図。 アドバイス画像の傾き補正の具体例について説明するための図。

以下、本発明の好適な実施形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成の全てが本発明の必須構成要件であるとは限らない。

図１は、本実施形態の映像表示装置の機能ブロック図である。

本実施形態の映像表示装置１は、動き量算出部１０、傾き量算出部２０、映像補正部３０、使用者の頭部に装着される表示部４０を含んで構成されている。動き量算出部１０は、使用者の所定部位及び使用者が使用する道具の少なくとも一方の動きを解析し、解析結果に基づいて当該所定部位及び道具の少なくとも一方の所定時間における動き量を算出する。傾き量算出部２０は、表示部４０および使用者の頭部の少なくとも一方の動きを解析し、解析結果に基づいて水平面に対する表示部４０の傾き量を算出する。映像補正部３０は、傾き量算出部２０が算出した傾き量に応じて、表示部４０に表示させる映像の水平面に対する傾きを補正する。特に、映像補正部３０は、動き量算出部１０が算出した動き量を第１の閾値と比較し、動き量が第１の閾値を超えた場合は、複数のフレームをかけて映像が水平に表示されるように補正する。

また、本実施形態の映像表示装置１は、使用者の所定部位又は使用者が使用する道具に装着され、当該所定部位又は当該道具の動きを検出する、加速度センサーや角速度センサーなどの第１の慣性センサー５０を含み、動き量算出部１０が第１の慣性センサー５０の検出結果に基づいて動き量を算出するように構成してもよい。

また、本実施形態の映像表示装置１は、使用者の頭部又は表示部４０に装着され、使用者の頭部又は表示部４０の動きを検出する、加速度センサーや角速度センサーなどの第２の慣性センサー６０を含み、傾き量算出部２０が第２の慣性センサー６０の検出結果に基づいて傾き量を算出するように構成してもよい。

本実施形態の映像表示装置１の一例として、ＨＭＤを頭部に装着して映像を鑑賞する映像鑑賞装置が挙げられる。

また、本実施形態の映像表示装置１の一例として、頭部に装着したＨＭＤに表示される指導映像を見ながらスポーツやリハビリを行うことができる運動指導装置などが挙げられる。本実施形態の映像表示装置１が運動指導装置である場合、運動解析部７０、映像選択部８０、映像記憶部９０の少なくとも一部を含むように構成してもよい。例えば、運動解析部７０が、動き量算出部１０が算出した動き量に基づいて、使用者の運動パターンを解析し、解析結果に応じた運動指導映像が表示部４０に表示されるようにしてもよい。さらに、映像選択部８０が、運動解析部７０の解析結果に応じて、映像記憶部９０に記憶された複数の運動指導映像９２から表示部４０に表示させる運動指導映像を選択するようにしてもよい。

以下、運動指導装置を例に挙げて具体的な構成例について説明する。

［運動指導装置の構成］
図２は、本実施形態の運動指導装置の構成例を示す図である。また、図３は、運動指導装置の構成要素の配置例を示す図である。なお、本実施形態では、ゴルフの指導を行う運動指導装置を例に挙げて説明するが、テニスや野球等の種々のスポーツの指導やリハビリ指導などにも応用することができる。

本実施形態の運動指導装置１００は、ＨＭＤ３００の動きを検出する少なくとも１つのモーションセンサー１１０ａ、プレイヤーの体の動きを検出する少なくとも１つのモーションセンサー１１０ｂ、道具の動きを検出する少なくとも１つのモーションセンサー１１０ｃ、コントローラー２００、ＨＭＤ３００、スピーカー３１０を含んで構成されている。

モーションセンサー１１０ａ、１１０ｂ、１１０ｃは、３軸方向の動きや位置を検出するセンサーであり、例えば、加速度センサー、角速度センサー、方位センサー、傾斜センサーなどである。モーションセンサー１１０ａ、１１０ｂ、１１０ｃは、複数種類のセンサーを組み合わせて構成してもよく、例えば、３軸加速度センサーと３軸角速度センサーを含むセンサーモジュールとしてもよい。

モーションセンサー１１０ａは、ＨＭＤ３００の動きを検出可能な位置に配置される。例えば、図３に示すように、モーションセンサー１１０ａは、プレイヤーの頭部に装着されていてもよいし、ＨＭＤ３００に接着させてもよい。あるいは、ＨＭＤ３００にモーションセンサー１１０ａが内蔵されていてもよい。

モーションセンサー１１０ｂは、プレイヤーの体の関節部を中心にプレイヤーの体の動きを検出可能な位置に配置される。例えば、図３に示すように、モーションセンサー１１０ｂは、肩、腰、肘、手首、膝、踝などに装着される。

モーションセンサー１１０ｃ、道具の動きの支点や力点など、道具の動きを検出可能な位置に配置される。例えば、図３に示すように、モーションセンサー１１０ｃは、ゴルフクラブ１２０のグリップやシャフトなどに装着される。なお、ゴルフクラブ１２０にモーションセンサー１１０ｃが内蔵されていてもよい。

プレイヤーがゴルフクラブ１２０を持ってスイングをすると、モーションセンサー１１０ａ、１１０ｂ、１１０ｃがそれぞれ、ＨＭＤ３００、体、道具の動きや位置を検出し、検出された情報は、コントローラー２００に無線又は有線で送信される。

コントローラー２００は、モーションセンサー１１０ａ、１１０ｂ、１１０ｃからのデータを解析してプレイヤーのスイング動作を改善するための適切なアドバイスコーチング情報を生成する。このアドバイスコーチング情報は、映像や音声としてＨＭＤ３００やスピーカー３１０に無線又は有線で送信される。

本実施形態のコントローラー２００は、第１解析部２１０、水平補正量検出部２２０、第２解析部２３０、急変部検出部２４０、アドバイスコーチング情報生成部２５０、コーチングデータベース２６０、アドバイスコーチング情報出力部２７０を含んで構成される。コントローラー２００は、例えば、図３に示すように、プレイヤーの腰などに装着してもよいし、プレイヤーから離れた位置にあってもよい。

第１解析部２１０は、モーションセンサー１１０ａの検出情報に基づいてＨＭＤの動きや位置を解析する処理を行う。

水平補正量検出部２２０は、第１解析部２１０の解析結果に基づいてＨＭＤの画面の水平面に対する傾きを計算する処理を行う。

第２解析部２３０は、モーションセンサー１１０ｂの検出情報に基づいてプレイヤーの体の動きや位置を解析するとともに、モーションセンサー１１０ｃの検出情報に基づいて道具（ゴルフクラブ）の動きや位置を解析する処理を行う。

急変部検出部２４０は、第１解析部２１０の解析結果と第２解析部２３０の解析結果に基づいて、急激な動き（例えば、加速度や角速度の急激な変化）を検知する。具体的には、急変部検出部２４０は、例えば、すべてのモーションセンサーのうちの少なくとも１つの検出値の変化量が閾値を上回った場合に、急激な動きと判定するようにしてもよい。この閾値は、センサーの位置に応じてセンサー毎に別個に設定するようにしてもよい。

アドバイスコーチング情報生成部２５０は、第２解析部２３０の解析結果（プレイヤーの体や道具の位置・動き）に基づいてプレイヤーの運動状態を判断し、コーチングデータベース２６０に記憶されたコーチング情報２６２に基づいて、あるべき動きやプロのアドバイスなどの知見をもとに、今後どのように運動したらよいか、よいフォームになっているか、違う場合はどこを改善したらいいかなど、コーチが行うようなアドバイス情報（アドバイスコーチング情報）を生成する。

生成されたアドバイスコーチング情報は、図、映像、文章、音声などでプレイヤーに提供される。アドバイスコーチング情報出力部２７０は、水平補正量検出部２２０の計算結果、急変部検出部２４０の検知結果に基づいて、アドバイスコーチング情報の画像（以下「アドバイス画像」という）が水平に見えるように補正してＨＭＤ３００に表示させる。アドバイスコーチング情報出力部２７０は、さらに、アドバイスコーチング情報の音声をスピーカー３１０から出力させるようにしてもよい。

例えば、コーチングデータベース２６０に、複数の手本となるスイングパターンの映像が複数のコーチング情報２６２として記憶されており、アドバイスコーチング情報生成部２５０は、プレイヤーのスイングパターンに近い映像を選択するとともに、スイングの改善方法の情報を生成する。そして、アドバイスコーチング情報出力部２７０は、アドバイスコーチング情報生成部２５０が選択した映像が水平になるように傾きを補正してＨＭＤ３００に表示するとともに、アドバイスコーチング情報生成部２５０が生成したスイングの改善方法の情報を、文章として映像と重ねてＨＭＤ３００に表示させたり、音声としてスピーカー３１０から出力させる。

なお、第１解析部２１０と第２解析部２３０と急変部検出部２４０は、図１の動き量算出部１０として機能する。また、第１解析部２１０と水平補正量検出部２２０は、図１の傾き量算出部２０として機能する。また、第２解析部２３０は、図１の運動解析部７０としても機能する。また、アドバイスコーチング情報出力部２７０、ＨＭＤ３００、アドバイスコーチング情報出力部２５０、コーチングデータベース２６０は、それぞれ、図１の映像補正部３０、表示部４０、映像選択部８０、映像記憶部９０として機能する。

ところで、ゴルフなどのスポーツをする場合、視野全体を人工的な画像で覆ってしまうと、地面がどこかなど空間内の位置を掴むのが難しく、動きながらプレイをすることが困難になる。そのため、本実施形態では、フィールドでのプレイに支障が出ないように、ＨＭＤ３００が透明になっており、プレイヤーの周囲の実際の景色（山や芝など）が見えるようになっている。これにより、背後の山々や芝生の手前にゴルフのスイングのアドバイス画像が見えるイメージになっている。

図４（Ａ）に示すように、プレイヤーの頭部が傾いていなければ、ＨＭＤ３００の表示枠３０２は水平になっている。そのため、アドバイス画像の傾きを補正せずに表示しても、当該アドバイス画像は水平に表示される。

一方、図４（Ｂ）に示すように、プレイヤーの頭部が水平面に対してθだけ左右に傾いていれば、ＨＭＤ３００の表示枠３０２も水平面に対してθだけ左右に傾く。そのため、アドバイス画像を傾き補正をせずに表示すると、当該アドバイス画像は水平面に対してθだけ左右に傾いて表示される。これに対して、背後の景色（実際の景色）は水平になっており、アドバイス画像だけが傾いているので不自然な感じになり、映像酔いを誘発する原因となり得る。

そこで、プレイヤーの頭部が水平面に対してθだけ左右に傾いた場合は、図４（Ｃ）に示すように、原則として、アドバイス画像を−θだけ回転させて水平になるように補正する。これにより、プレイヤーの頭部が傾いても、背景に対して正立した自然なアドバイス画像を表示させることができ、映像酔いを低減させることができる。

ところで、手ぶれ補正のように、動きに応じてフレームの回転やシフトを行って画像を水平に保つ場合、補正でフレームアウトしてしまう部分を考え、元画像を含む広い範囲で補正して一部だけを表示するとか余白で埋めるなどの処理を行っている。しかし、スポーツでは、体の動きが大きいので傾きθが大きくなる場合があり、このような処理ではかえって如何にも補正をしているように感じる場面があると考えられる。例えば、映像自体は水平になっても、表示枠３０２自体は傾いているので、映像が傾いたのをあえて補正しているように感じ易い。仮に、透明な表示デバイスで表示枠３０２を無くす、または目立たなくしても、体は大きく傾いているはずなのに全く映像が傾かないのはかえって不自然に感じる可能性もある。したがって、多少の傾きは手ぶれ補正のように水平に補正するものの、運動で非常に大きな動きが生じたときは、少しずつ時間経過と共に映像を水平にすることで体の感じる傾きと映像のミスマッチを軽減し、ある時間をかけて違和感がないように補正することで、長時間装着しても映像酔いなどの障害を生じる可能性を低くすることができると考えられる。

［アドバイス画像の傾きの補正処理］
次に、アドバイス画像の傾きの補正処理の一例について説明する。

図５、図６、図７は、被験者の手首にモーションセンサーをとりつけてラケットでボールを打つ運動をしたときに得られたデータの一例を示す図である。図５は、被験者の手首のＸＺ平面での軌跡の例である。被験者の前後方向の軸をＸ軸、上下方向の軸をＺ軸としている。図６は、被験者の手首の加速度の絶対値の時間変化の例である。図７は、図５の軌跡に対してＸＺ平面のＺ方向の加速度絶対値をバブルの大きさでプロットした図である。

スポーツの指導システムでは、図５のような運動軌跡を取るのが一般的だが、この軌跡からでは非常に大きな動きがあったかどうかは十分わからない。例えば、軌跡が急に変わるところが大きな運動があったと思われるが、ＡとＢのどちらで大きな運動が生じているか判別できない。

また、図７から、軌跡が急に変わるところに大きな加速度が生じているが、軌跡がほぼ直線の部分でも局所的にやや大きな加速度が生じていることがわかる。角速度でもほぼ同じような傾向がみられる。したがって、運動の位置の軌跡だけではなく、加速度または角速度の変化から大きな運動があった場所を知ることができる。すなわち、図６から、加速度などの絶対値が大きい部分をとらえることで大きな動きをとらえることができる。そこで、本実施形態では、加速度の絶対値から大きな動きをとらえ、大きな動きが生じたと判断した場合、その時間から数フレームは水平への補正を徐々に行う。

具体的には、フレーム（例えば１／６０秒）毎にＨＭＤの傾きθと加速度ａを検出し、加速度ａの大きさを３段階で評価する。すなわち、２つの閾値Ａ，Ｂ（Ａ＜Ｂ）を設定し、加速度ａの絶対値｜ａ｜が｜ａ｜＜Ａ、Ａ≦｜ａ｜≦Ｂ、｜ａ｜＞Ｂのいずれであるかを評価する。例えば、加速度ａの絶対値｜ａ｜が図８に示すような時間変化をした場合、時刻ｔ_１以前に検出した加速度については｜ａ｜＜Ａである。時刻ｔ_１〜ｔ_２に検出した加速度についてはＡ≦｜ａ｜≦Ｂである。時刻ｔ_２〜ｔ_３に検出した加速度については｜ａ｜＞Ｂである。時刻ｔ_３〜ｔ_４に検出した加速度についてはＡ≦｜ａ｜≦Ｂである。時刻ｔ_４以降に検出した加速度については｜ａ｜＜Ａである。

なお、例えば、任意の１つのモーションセンサー（例えば、動きが一番大きいと考えられる部位に取り付けられたモーションセンサー）から得られる加速度の絶対値を閾値Ａ，Ｂと比較するようにしてもよい。あるいは、例えば、複数のモーションセンサーから得られる加速度の絶対値のうち最大のものを閾値Ａ，Ｂと比較するようにしてもよい。

本実施形態では、｜ａ｜＜Ａであれば、大きな運動はなかったとして、−θだけ傾きを補正した画像をＨＭＤ３００に表示する。また、｜ａ｜が閾値Ａ（第２の閾値の一例）を超えた（｜ａ｜＜ＡからＡ≦｜ａ｜≦Ｂになった）最初の１フレームは傾きを補正せずにＨＭＤ３００に画像を表示し、次のフレームで｜ａ｜≦Ｂであれば−θだけ傾きを補正した画像をＨＭＤ３００に表示する。また、｜ａ｜が閾値Ｂ（第１の閾値の一例）を超えた（｜ａ｜＞Ｂになった）場合、大きな運動が発生したものとして、最初の１フレームは傾きを補正せずにＨＭＤ３００に画像を表示し、その後の数フレームは−θよりも少なめに傾きを補正した画像をＨＭＤ３００に表示する。

例えば、｜ａ｜＞Ｂになった時点をｔ＝０として、θに対して時間ｔと加速度の絶対値｜ａ｜の関数であるｋ（｜ａ｜，ｔ）を−θに掛けた−θ・ｋ（｜ａ｜，ｔ）を補正角度とする。ｋ（｜ａ｜，ｔ）は、図９に示すように、ｔ＝０のとき０、ｔが大きくなるにしたがって１に近づく対数的な単調関数である。また、｜ａ｜が小さいほど時間ｔに対して立ち上がりが早くなる。したがって、ｋ（｜ａ｜，ｔ）は、加速度が大きい場合ほどなかなか１にならず、−θよりも小さな補正になるが、時間が経つにつれて−θに一致する補正が行われるようになる。なお、関数ｋのパラメータは、被験者が実際に運動して生じた加速度で補正を行う実験をして、被験者が映像酔いを感じにくく、違和感をもたない範囲を決定することが出来る。

図１０は、アドバイス画像の傾きを補正する処理の一例を示すフローチャート図である。

図１０に示すように、まず、時刻ｔ＝０、状態フラグｓｔ＝０に設定し、（ステップＳ１０）、１フレーム周期で以下の処理を繰り返し行う。

まず、ＨＭＤ３００の傾きθを検出するとともに（ステップＳ２０）、プレイヤーの体や道具の各箇所の加速度ａを検出する（ステップＳ３０）。

次に、あらかじめ決められた箇所の加速度ａの絶対値｜ａ｜（複数箇所の加速度の絶対値の最大値でもよい）を閾値Ａ、Ｂと比較し、｜ａ｜＜Ａであれば（ステップＳ４０のＹ）、状態フラグｓｔを０に設定し（ステップＳ５０）、−θだけ傾きを補正した画像を生成する（ステップＳ９０）。

また、｜ａ｜＞Ｂであれば（ステップＳ４０のＮかつステップＳ６０のＹ）、状態フラグｓｔ≠２であれば（ステップＳ８０のＮ）、状態フラグｓｔを２に設定するとともに（ステップＳ８２）、時刻ｔを０に設定する（ステップＳ８４）。そして、θをθ・ｋ（｜ａ｜，ｔ）に設定する（ステップＳ８６）。ここでｔ＝０なので、θ・ｋ（｜ａ｜，ｔ）＝０である。従って、θ＝０として傾きが補正されない画像を生成する（ステップＳ９０）。これにより、加速度の大きさがＢを超えた最初のフレームでは傾きの補正が行われない。

また、｜ａ｜＞Ｂの時（ステップＳ４０のＮかつステップＳ６０のＹ）、状態フラグｓｔ＝２であれば（ステップＳ８０のＹ）、θをθ・ｋ（｜ａ｜，ｔ）に設定し（ステップＳ８６）、−θだけ傾きを補正した画像を生成する（ステップＳ９０）。これにより、これにより、加速度の大きさがＢを超えた２フレーム目以降は、−θよりも小さい傾きの補正が行われる。

また、Ａ≦｜ａ｜≦Ｂであれば（ステップＳ４０のＮかつステップＳ６０のＮ）、状態フラグｓｔ＝０であれば（ステップＳ７０のＮかつステップＳ７２のＹ）、状態フラグｓｔを１に設定するとともに（ステップＳ７４）、θを０に設定する（ステップＳ７６）。そして、θ＝０として傾きが補正されない画像を生成する（ステップＳ９０）。これにより、加速度の大きさがＡを超えた最初のフレームでは傾きの補正が行われない。

また、Ａ≦｜ａ｜≦Ｂの時（ステップＳ４０のＮかつステップＳ６０のＮ）、状態フラグｓｔ＝１であれば（ステップＳ７０のＮかつステップＳ７２のＮ）、−θだけ傾きを補正した画像を生成する（ステップＳ９０）。これにより、加速度の大きさがＡを超えた２フレーム目以降は、画像が水平になるように補正が行われる。

また、Ａ≦｜ａ｜≦Ｂの時（ステップＳ４０のＮかつステップＳ６０のＮ）、状態フラグｓｔ＝２であれば（ステップＳ７０のＹ）、θをθ・ｋ（｜ａ｜，ｔ）に設定し（ステップＳ８６）、−θだけ傾きを補正した画像を生成する（ステップＳ９０）。これにより、加速度の大きさがＢを超えた２フレーム目以降は、加速度の大きさがＢを下回ってもＡを下回るまでは−θよりも小さい傾きの補正が行われる。

次に、ステップＳ９０で生成した画像をＨＭＤ３００に表示し（ステップＳ１００）、画像表示処理を終了しなければ（ステップＳ１１０のＮ）、ｔをΔｔだけ増やし（ステップＳ１２０）、画像表示処理を終了するまで（ステップＳ１１０のＹ）ステップＳ２０〜Ｓ１１０の処理を繰り返し行う。

図１１（Ａ）及び図１１（Ｂ）を用いて、本実施形態のアドバイス画像の傾き補正の具体例について説明する。図１１（Ａ）は、ＨＭＤの傾きθの時間変化を示し、図１１（Ｂ）は、所定箇所の加速度の絶対値｜ａ｜の時間変化を示している。

時刻ｔ_１では、ＨＭＤがθ_１だけ右に傾いているが、｜ａ｜＜ＡからＡ≦｜ａ｜≦Ｂになった最初のフレームなので、アドバイス画像の傾きを補正しない。

時刻ｔ_２では、ＨＭＤがθ_２だけわずかに傾いており、かつ、継続してＡ≦｜ａ｜≦Ｂなので、アドバイス画像の傾きを−θ_２だけ補正して水平にする。

時刻ｔ_３では、ＨＭＤがθ_３だけわずかに傾いており、かつ、｜ａ｜＜Ａなので、アドバイス画像の傾きを−θ_３だけ補正して水平にする。

時刻ｔ_４では、ＨＭＤがθ_４だけ右に傾いているが、｜ａ｜＞Ｂになった最初のフレームなので、アドバイス画像の傾きを補正しない。

時刻ｔ_５では、ＨＭＤがθ_５だけ右に傾いており、かつ、Ａ≦｜ａ｜≦Ｂ（すなわち｜ａ｜＞Ａ）なので、アドバイス画像の傾きを−θ_５・ｋ（｜ａ｜，ｔ_５−ｔ_４）だけ補正する。

時刻ｔ_６では、ＨＭＤがθ_６だけ右に傾いており、かつ、｜ａ｜＜Ａなので、アドバイス画像の傾きを−θ_６だけ補正して水平にする。

時刻ｔ_７では、ＨＭＤがθ_７だけ右に傾いているが、｜ａ｜＜ＡからＡ≦｜ａ｜≦Ｂになった最初のフレームなので、アドバイス画像の傾きを補正しない。

時刻ｔ_８では、ＨＭＤがθ_８だけ右に傾いており、かつ、継続してＡ≦｜ａ｜≦Ｂなので、アドバイス画像の傾きを−θ_８だけ補正して水平にする。

時刻ｔ_９では、ＨＭＤがθ_９だけ左に傾いており、かつ、継続してＡ≦｜ａ｜≦Ｂなので、アドバイス画像の傾きを−θ_９だけ補正して水平にする。

時刻ｔ_１０では、ＨＭＤがθ_１０だけ左に傾いており、かつ、継続してＡ≦｜ａ｜≦Ｂなので、アドバイス画像の傾きを−θ_１０だけ補正して水平にする。

時刻ｔ_１１では、ＨＭＤがθ_１１だけわずかに傾いているが、｜ａ｜＞Ｂになった最初のフレームなので、アドバイス画像の傾きを補正しない。

時刻ｔ_１２では、ＨＭＤがθ_１２だけ右に傾いており、かつ、｜ａ｜＞Ｂ（すなわち｜ａ｜＞Ａ）なので、アドバイス画像の傾きを−θ_１２・ｋ（｜ａ｜，ｔ_１２−ｔ_１１）だけ補正する。

なお、本実施形態では、加速度の大きさで体の道具の動き量を捉えているが、角速度の大きさで体の道具の動き量を捉えるようにしてもよい。

以上に説明した本実施形態の運動指導装置によれば、プレイヤーの体や道具の動きが小さい場合（｜ａ｜＜Ａ）はアドバイス画像が水平に保たれ、プレイヤーの体や道具の動きがかなり大きい場合（｜ａ｜＞Ｂ）は、アドバイス画像をすぐに水平に戻さずに、動きの大きさに応じた補正関数ｋに従って数フレームをかけて徐々に水平に戻す。また、プレイヤーの体や道具の動きが比較的大きい程度の場合（Ａ≦｜ａ｜≦Ｂ）は、アドバイス画像の傾き補正を１フレームだけ行われずに次のフレームで水平に戻す。これらの処理により、プレイヤーの体や道具の動きの大きさによらず、常に、プレイヤーの平衡感覚と視覚から入る映像の平衡のずれを小さく保つことができるので、映像酔いを効果的に低減させることができる。結果として、プレイヤーは、本実施形態の運動指導装置を使用することで、長時間にわたり快適な運動指導を受けることができる。

なお、ゴルフのようにフィールドで移動しながらプレイするスポーツの場合、プレイヤーの体や道具にマーカーを装着してカメラで撮影した画像からプレイヤーの体や道具の動きとＨＭＤの傾きを捉える手法は、プレイヤーと一緒にカメラを移動させなければならず非現実的である。これに対して、本実施形態の運動指導装置によれば、プレイヤーの体や道具に取り付けたモーションセンサーでプレイヤーの体や道具の動きとＨＭＤの傾きを捉えるので、プレイヤーがフィールドでプレイしながら快適に運動指導を受けることができる。

［応用例］
本実施形態の運動指導装置は、ゴルフ等のスポーツに限らず、歩行訓練や手足の上げ下げなどのリハビリ運動にも適用することができる。ＨＭＤで実際の体の動きとリハビリプログラムとの違いを指摘すれば、達成度や成果を確かめながら、前向きにリハビリに取り組むことができる。リハビリ中なので、不意によろめいたり、転んだり、バランスを崩してＨＭＤが急に傾くことが考えられる。そのときに、ＨＭＤの映像を大きく補正してすぐに水平に戻すと、スポーツの場合と同様に、リハビリ中に違和感を覚えて酔いを起こし、長時間のリハビリが困難になる可能性がある。そこで、本実施形態の運動指導装置をリハビリの運動指導に適用することで、大きな動きがあったときは徐々に傾き補正がされるので、映像酔いを抑制し、長時間のリハビリを可能とすることできると考えられる。なお、モーションセンサーは、腰、肩、肘などリハビリ時の動きの要点に装着すればよい。

また、本発明の映像表示装置は、運動指導装置以外にも様々な装置やシステムに適用することができる。

例えば、運動とは関係なく単純に映像の鑑賞を目的とする映像鑑賞装置にも適用することができる。使用者が頭部を急に動かしたときにＨＭＤの映像をすぐに水平に戻すと違和感を覚えて映像酔いを起こし、長時間の映像鑑賞が困難になる可能性がある。そこで、本実施形態の映像表示装置を映像鑑賞装置に適用することで、大きな動きがあったときは徐々に傾き補正がされるので、映像酔いを抑制し、長時間の映像鑑賞を可能とすることできると考えられる。

例えば、図２の構成において、センサー端末１１０ｃを削除するとともに、コーチングデータベース２６０、アドバイスコーチング情報出力部２５０、アドバイスコーチング情報出力部２７０を、それぞれ、鑑賞対象の映像のデータベース、鑑賞対象の映像を生成する映像生成部、当該映像の傾きを補正する映像補正部に置き換えることで、映像鑑賞装置を構成することができる。さらに、頭部以外の体の部位は大きな動きがほとんどないと考えられる場合は、センサー端末１００ｂと第２解析部２３０は不要である。

また、本発明は本実施形態に限定されず、本発明の要旨の範囲内で種々の変形実施が可能である。

例えば、使用者がほとんど移動しない場合には、モーションセンサーの代わりに、プレイヤーの体や道具にマーカーを装着してカメラで撮影し、撮影した映像におけるマーカーの位置の時間変化から動きを捉えるようにしてもよい。

また、例えば、ＨＭＤの水平面に対する左右方向の傾きだけでなく前後方向の傾きも補正するようにしてもよい。

本発明は、実施の形態で説明した構成と実質的に同一の構成（例えば、機能、方法及び結果が同一の構成、あるいは目的及び効果が同一の構成）を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。

１ 映像表示装置、２０ 動き量算出部、２０ 傾き量算出部、３０ 映像補正部、４０ 表示部、５０ 第１の慣性センサー、６０ 第２の慣性センサー、７０ 運動解析部、８０ 映像選択部、９０ 映像記憶部、９２ 運動指導映像、１００ 運動指導装置、１１０ａ，１１０ｂ，１１０ｃ モーションセンサー、２００ コントローラー、２１０ 第１解析部、２２０ 水平補正量検出部、２３０ 第２解析部、２４０ 急変部検出部、２５０ アドバイスコーチング情報生成部、２６０ コーチングデータベース、２６２ コーチング情報、２７０ アドバイスコーチング情報出力部、３００ ＨＭＤ、３０２ 表示枠

Claims (11)

1. 使用者の頭部に装着される表示部と、
   前記表示部および前記使用者の頭部の少なくとも一方の動きを検出し、検出結果から水平面に対する前記表示部の傾き量を算出する傾き量算出部と、
   前記使用者の部位および前記使用者が使用する道具の少なくとも一方の動きを検出し、検出結果から動き量を算出する動き量算出部と、
   前記傾き量算出部が算出した前記傾き量に応じて、前記表示部に表示させる映像の前記水平面に対する傾きを補正する映像補正部と、を含み、
   前記映像補正部は、
   前記動き量算出部が算出した前記動き量を第１の閾値と比較し、前記動き量が前記第１の閾値を超えた場合は、１フレームまたは複数フレームの後に前記映像が水平に表示されるように補正し、
   前記映像補正部は、
   前記動き量の前記第１の閾値を超えた量が大きいほど、前記映像が水平に表示されるまでの各フレームでの傾きの補正量を小さくする、映像表示装置。
2. 請求項１において、
   前記映像補正部は、
   前記動き量を前記第１の閾値以下の第２の閾値と比較し、前記動き量が前記第２の閾値よりも小さい場合は、前記映像が水平に表示されるように前記傾き量だけ補正する、映像表示装置。
3. 使用者の頭部に装着される表示部と、
   前記表示部および前記使用者の頭部の少なくとも一方の動きを検出し、検出結果から水平面に対する前記表示部の傾き量を算出する傾き量算出部と、
   前記使用者の部位および前記使用者が使用する道具の少なくとも一方の動きを検出し、検出結果から動き量を算出する動き量算出部と、
   前記傾き量算出部が算出した前記傾き量に応じて、前記表示部に表示させる映像の前記
   水平面に対する傾きを補正する映像補正部と、を含み、
   前記映像補正部は、
   前記動き量算出部が算出した前記動き量を第１の閾値と比較し、前記動き量が前記第１の閾値を超えた場合は、１フレームまたは複数フレームの後に前記映像が水平に表示されるように補正し、
   前記映像補正部は、
   前記動き量を前記第１の閾値以下の第２の閾値と比較し、前記動き量が前記第２の閾値よりも小さい場合は、前記映像が水平に表示されるように前記傾き量だけ補正する、映像表示装置。
4. 請求項２又は３において、
   前記映像補正部は、
   前記動き量が前記第１の閾値および前記第２の閾値の少なくとも一方を超えた直後のフレームでは前記映像の水平面に対する傾きを補正せずに表示させる、映像表示装置。
5. 請求項２乃至４のいずれか一項において、
   前記映像補正部は、
   前記動き量が前記第２の閾値を超えた後、前記第１の閾値を超えるまでは、前記第２の閾値を超えた直後のフレームを除いて前記映像が水平に表示されるように前記傾き量だけ補正する、映像表示装置。
6. 請求項１乃至５のいずれか一項において、
   前記部位および前記道具の少なくとも一方に装着された第１の慣性センサーを含み、
   前記動き量算出部は、
   前記第１の慣性センサーの検出結果から前記動き量を算出する、映像表示装置。
7. 請求項１乃至６のいずれか一項において、
   前記使用者の頭部および前記表示部の少なくとも一方に装着された第２の慣性センサーを含み、
   前記傾き量算出部は、
   前記第２の慣性センサーの検出結果から前記傾き量を算出する、映像表示装置。
8. 請求項１乃至７のいずれか一項において、
   前記動き量に基づいて、前記使用者の運動パターンを解析する運動解析部をさらに含み、
   前記表示部は、
   前記映像として前記運動解析部の解析結果に応じた運動指導映像を表示する、映像表示装置。
9. 請求項８において、
   複数の運動指導映像を記憶する映像記憶部と、
   前記運動解析部の解析結果に応じて、前記映像記憶部に記憶された前記複数の運動指導映像から前記表示部に表示させる運動指導映像を選択する映像選択部と、を含む、映像表示装置。
10. 使用者の頭部の動きを検出し、検出結果から前記使用者の頭部に装着された表示部の水平面に対する傾き量を算出する傾き量算出ステップと、
    前記使用者の部位の動き量、および前記使用者が使用する道具の動き量の少なくとも一方を算出する動き量算出ステップと、
    前記傾き量算出ステップで算出した前記傾き量に応じて、前記表示部に表示させる映像
    の水平面に対する傾きを補正する映像補正ステップと、を含み、
    前記映像補正ステップにおいて、
    前記動き量算出ステップで算出した前記動き量を第１の閾値と比較し、前記動き量が前記第１の閾値を超えた場合は、１フレームまたは複数フレームの後に前記映像が水平に表示されるように補正し、
    前記映像補正ステップにおいて、
    前記動き量の前記第１の閾値を超えた量が大きいほど、前記映像が水平に表示されるまでの各フレームでの傾きの補正量を小さくする、映像表示方法。
11. 使用者の頭部の動きを検出し、検出結果から前記使用者の頭部に装着された表示部の水平面に対する傾き量を算出する傾き量算出ステップと、
    前記使用者の部位の動き量、および前記使用者が使用する道具の動き量の少なくとも一方を算出する動き量算出ステップと、
    前記傾き量算出ステップで算出した前記傾き量に応じて、前記表示部に表示させる映像の水平面に対する傾きを補正する映像補正ステップと、を含み、
    前記映像補正ステップにおいて、
    前記動き量算出ステップで算出した前記動き量を第１の閾値と比較し、前記動き量が前記第１の閾値を超えた場合は、１フレームまたは複数フレームの後に前記映像が水平に表示されるように補正し、
    前記映像補正ステップにおいて、
    前記動き量を前記第１の閾値以下の第２の閾値と比較し、前記動き量が前記第２の閾値よりも小さい場合は、前記映像が水平に表示されるように前記傾き量だけ補正する、映像表示方法。

Images