JP7085145B2 - 映像音声提示装置、映像音声提示方法、プログラム - Google Patents

Description

本発明は、映像音声提示装置、映像音声提示方法、プログラムに関する。

VR(Virtual Reality)を用いてスポーツのトレーニングを行うシステムがある（例えば非特許文献１）。本明細書では、スポーツのトレーニングを、被験者に向かって飛来する物体（飛来物体）に対する被験者の身体反応を向上させるためのトレーニングであると定義する。なお、身体反応とは、飛来物体に対して所定のタイミングをとって、身体で反応すること全般を指すものとする。

特許文献１のシステムのように、VR技術を用いて実世界を忠実に再現した仮想空間を用いてトレーニングする場合、被験者は実世界と類似した反応をすることが分かっている（非特許文献２）。

三上弾、高橋康輔、西條直樹、五十川麻理子、木村聡貴、木全英明、「VRイメージトレーニングシステムの実現と野球への適用」、NTT技術ジャーナル、日本電信電話株式会社、平成30年1月、vol.30, no.1, 2018. Isogawa, M., Mikami, D., Fukuda, T., Saijo N., Takahashi, K., Kimata, H., Kashino, M.: What can VR systems tell sports players? Reaction-based analysis of baseball batters in virtual and real worlds. IEEE VR, 2018.

しかし、VR空間を体験するためにはHMD(Head Mount Display)など専用の機材が必要である。一方で、ヘッドマウント型でないディスプレイ（例えば平面ディスプレイ、曲面ディスプレイ）であればHMDと比較して容易に機材を用意できると考えられるが、平面ディスプレイなどによって、ピッチャーや対戦相手などを仮想的に表示してスポーツのトレーニングを行うと、被験者の身体反応が実空間やVR空間における身体反応と比較して遅れてしまうことが知られている。

これについて図１を参照して説明する。図１は、野球のバッティング練習を（１）実空間で行った場合、（２）仮想空間と実空間を組み合わせた半仮想空間（平面ディスプレイなどに表現された仮想空間と実空間を組み合わせた空間、以下、単に半仮想空間という）で行った場合（３）実空間を含まない仮想空間（HMDによる完全なVR空間、以下、単に仮想空間という）で行った場合の、リリースからスイング開始までの時間［秒］を、二種類の球種（ストレート、カーブ）について調べた実験（非特許文献２）の結果を示すグラフである。

同図に示すように、実空間における被験者の身体反応と仮想空間における被験者の身体反応は同様の傾向を示し、大きな遅れはなかった。しかしながら、半仮想空間における被験者の身体反応は、実空間における被験者の身体反応、仮想空間における被験者の身体反応と比較して、最大0.2sec程度遅れている。これは、半仮想空間において、被験者が飛来する物体の空間位置を把握しにくいことに起因する。

そこで本発明では、身体反応に遅れが生じにくいスポーツトレーニング用の映像および音声を提示することができる映像音声提示装置を提供する。

本発明の映像音声提示装置は、オフセット決定部と、映像提示部と、音声提示部を含む。

オフセット決定部は、実空間の飛来物体に対する被験者の身体反応の時系列データを身体反応A_realとし、実空間を含まない仮想空間（以下、単に仮想空間という）上で表現される飛来物体に対する被験者の身体反応の時系列データを身体反応A_VRとし、仮想空間と実空間を組み合わせた半仮想空間（以下、単に半仮想空間という）上で表現される飛来物体に対する被験者の身体反応の時系列データを身体反応A_mixとし、身体反応A_realと身体反応A_mixの時間差、または身体反応A_VRと身体反応A_mixの時間差を時間差t_diffとし、実空間と半仮想空間のスケールの比、または仮想空間と半仮想空間のスケールの比に応じて定まる補正係数αに基づいて時間差t_diffを補正して得られる時系列オフセットt_offsetを決定する。映像提示部は、半仮想空間上に映像を提示する。音声提示部は、映像と対応する音声を時系列オフセットt_offsetに基づいて映像よりもタイミングが早まるようにシフトさせ、シフトさせた音声を半仮想空間上に提示する。

本発明の映像音声提示装置によれば、身体反応に遅れが生じにくいスポーツトレーニング用の映像および音声を提示することができる。

野球のバッティング練習を（１）実空間（２）半仮想空間（３）仮想空間で行った場合の、リリースからスイング開始までの時間を、二種類の球種（ストレート、カーブ）について調べた実験の結果を示すグラフ。 実施例１の半仮想空間で表現されるスポーツのトレーニングの例１を示す図。 実施例１の半仮想空間で表現されるスポーツのトレーニングの例２を示す図。 実施例１の映像音声提示装置の構成を示すブロック図。 実施例１の映像音声提示装置の動作を示すフローチャート。

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

図２、図３を参照して実施例１の映像音声提示装置が提示する半仮想空間で表現されるスポーツのトレーニングの例について説明する。例えば、図２に示すように、本実施例の映像音声提示装置は、野球のバッティング練習用の半仮想空間を表現することができる。具体的には、バッターボックスなど、バッターの周囲の空間を模擬した模擬グラウンド８と、大型の平面ディスプレイ９を含む空間において、平面ディスプレイ９にピッチャーの投球モーションと、飛来するボールの映像を映し出す。平面ディスプレイ９に映し出された空間は仮想空間であるから、同図に示す空間は、仮想空間と実空間を組み合わせた半仮想空間といえる。

また、図３に示すように、本実施例の映像音声提示装置は、テニス練習用の半仮想空間を表現することができる。具体的には、テニスコートの半面など、プレイヤーの周囲の空間を模擬した模擬コート８と、大型の平面ディスプレイ９を含む空間において、平面ディスプレイ９に対戦相手のサーブやレシーブの映像と、飛来するボールの映像を映し出す。平面ディスプレイ９に映し出された空間は仮想空間であるから、同図に示す空間は、仮想空間と実空間を組み合わせた半仮想空間といえる。なお、平面ディスプレイ９に映し出される映像は、VR空間の映像を２次元表示した映像など実空間を模擬した映像に限らず、実空間を撮影した２次元映像であってもよい。

図２、図３におけるd'は、同図の半仮想空間における、リリース前の飛来物体（ボール）と被験者（またはキャッチャー、あるいは基準となる位置）との距離（初期距離）を表す。d'は、仮想の長さを含む概念であることに注意する。同図の例においてd'は、平面ディスプレイ９と基準となる位置との距離ではなく、平面ディスプレイ９と基準となる位置との距離に、平面ディスプレイ９に表現された仮想空間内における仮想の距離を足し合わせたものである。

以下、図４を参照して本実施例の映像音声提示装置の構成を説明する。同図に示すように本実施例の映像音声提示装置１は、映像取得部１１と、音声取得部１２と、映像・音声記憶部１０ａと、オフセットデータ記憶部１０ｂと、オフセット決定部１３と、映像提示部１４と、音声提示部１５を含む。以下、図５を参照して各構成要件の動作を説明する。なお、以下の動作では、野球、テニス、サッカーを例に説明を進めるが、本実施例の映像音声提示装置１はこの他のスポーツのトレーニングにも適用でき、上記に限定されない。

＜映像取得部１１＞
映像取得部１１は、ステップＳ１２で取得される音声に対応し、仮想空間上に提示される映像を、例えば外部装置から取得し、映像・音声記憶部１０ａに記憶する（Ｓ１１）。映像の各フレームには、時刻情報が対応付けられているものとする。映像のフレームレートに特に制限はない。映像は、スポーツトレーニングを行うために、半仮想空間上に表現すべき内容に関する。例えば、野球のピッチャー、テニスの相手プレイヤー、サッカーにおけるフリーキッカーなどを撮影した映像、これらをＣＧで表現した映像などである。なお、本明細書において「映像」という場合、音声を含まないものとする。

＜音声取得部１２＞
音声取得部１２は、ステップＳ１１で取得される映像に対応し、仮想空間上に提示される音声であって、飛来物体によって生じる音声（例えば、捕手が野球ボールを捕球する際の捕球音、サーブまたはレシーブされたテニスボールのインパクトの音、コートに跳ね返る音、ゴールに向かって蹴り出されたサッカーボールのインパクトの音、ゴールネットに接触した時の音）を、例えば外部装置から取得し、映像・音声記憶部１０ａに記憶する（Ｓ１２）。音声の取得には、一般的な録音機能付きのカメラや録音機を用いることができる。音声の各フレームには、時刻情報が対応付けられているものとし、映像の各フレームに対応する音声の各フレームが一意に定まるものとする。音声のフレームレートに特に制限はない。

＜映像・音声記憶部１０ａ＞
映像・音声記憶部１０ａは、映像取得部１１が取得した映像、音声取得部１２が取得した音声を入力とし、記憶する。

＜オフセットデータ記憶部１０ｂ＞
オフセットデータ記憶部１０ｂは時系列オフセットt_offset、または実験パラメータと時系列オフセットt_{offset-baseball}、t_{offset-tennis}、t_{offset-soccer}…のセット、またはt_diff, [r, d, r', d']（またはvar）、あるいはt_diffを入力とし、入力されたデータを記憶し、入力されたデータをオフセット決定部１３に出力する。

時間差t_diffは、以下のように定義される。実空間の飛来物体に対する被験者の身体反応の時系列データを身体反応A_realとし、実空間を含まない仮想空間（以下、単に仮想空間）上で表現される飛来物体に対する被験者の身体反応の時系列データを身体反応A_VRとし、仮想空間と実空間を組み合わせた半仮想空間（以下、単に半仮想空間）上で表現される飛来物体に対する被験者の身体反応の時系列データを身体反応A_mixとし、身体反応A_realと身体反応A_mixの時間差、または身体反応A_VRと身体反応A_mixの時間差を時間差t_diffとする。

またスケール情報は、実空間と半仮想空間のスケール、または仮想空間と半仮想空間のスケールの情報を含む。例えば、実空間（または仮想空間）における飛来物体のサイズ（幅、奥行き、高さのうち最も大きい値）をrとし、半仮想空間における飛来物体のサイズ（幅、奥行き、高さのうち最も大きい値）をr'とし、実空間（または仮想空間）における、リリース前の飛来物体と被験者（あるいは基準となる位置）との距離（初期距離）をdとし、半仮想空間における、リリース前の飛来物体と被験者（あるいは基準となる位置）との距離（初期距離）をd'とし、r, r', d, d', r'/r, d'/dなどをスケール情報として含んでもよい。スケール情報はスカラー値とし、ベクトルに格納してもよい。以下、このベクトルをvarという。例えば、実空間における一般的な野球場で18m離れた位置から半径5cmの野球ボール（飛来物体）が投球された場合であって、半仮想空間における野球場において、16m離れた位置から半径4cmの野球ボール（飛来物体）が投球された場合var=[r, r', d, d', r'/r, d'/d]=[5, 4, 18, 16, 4/5, 8/9]となる。

オフセットデータ記憶部１０ｂは、補正係数αに基づいて時間差t_diffを補正して得られる時系列オフセットt_offsetを予め取得、記憶、出力してもよい。補正係数αの導出方法、および時系列オフセットt_offsetの計算方法の具体例を以下に示す。
≪計算例１≫
補正係数α=(r'/r) * (d'/d)とする。すなわち、
t_offset= t_diff * (r'/r) * (d'/d)
≪計算例２≫
補正係数α=(r'/r)とする。すなわち、
t_offset= t_diff * (r'/r)
≪計算例３≫
補正係数α=(d'/d)とする。すなわち、
t_offset= t_diff * (d'/d)
オフセットデータ記憶部１０ｂは、例えば野球の練習に対応する時系列オフセットt_{offset-baseball}、テニスの練習に対応する時系列オフセットt_{offset-tennis}、サッカーの練習に対応する時系列オフセットt_{offset-soccer}などを、スポーツの種類を指定する実験パラメータとともに取得、記憶、出力してもよい。

＜オフセット決定部１３＞
オフセット決定部１３は、時系列オフセットt_offset、または実験パラメータ、時系列オフセットt_{offset-baseball}、t_{offset-tennis}、t_{offset-soccer}…、またはt_diff, [r, d, r', d']（またはvar）を入力とし、実空間（または仮想空間）と半仮想空間のスケールの比に応じて定まる補正係数αに基づいて時間差t_diffを補正して得られる時系列オフセットt_offsetを決定して、音声提示部１５に出力する（Ｓ１３）。

＜動作パターン１＞
前述したように、予めオフセットデータ記憶部１０ｂに時系列オフセットt_offsetを用意しておき、オフセット決定部１３は、予め用意された時系列オフセットt_offsetをオフセットデータ記憶部１０ｂから取得するだけでもよい。

＜動作パターン２＞
オフセット決定部１３は、変数として例えば野球、テニス、サッカーなど、実験条件の違いを表すパラメータ（実験パラメータ）を入力とし、これに対応する時系列オフセット（例えば、t_{offset-baseball}、t_{offset-tennis}、t_{offset-soccer}…の何れか）をオフセットデータ記憶部１０ｂから取得してもよい。

＜動作パターン３＞
また予めオフセットデータ記憶部１０ｂにt_diff, r, dのみを記憶しておき、オフセット決定部１３は、外部からr', d'を取得し、オフセットデータ記憶部１０ｂからt_diff, r, dを取得し、上記≪計算例１≫～≪計算例３≫の何れかの計算方法により、時系列オフセットt_offsetを計算することにより、時系列オフセットt_offsetを取得してもよい。

あるいは、予めオフセットデータ記憶部１０ｂにt_diffのみを記憶しておき、オフセット決定部１３は、外部からr, d, r', d'（またはvar=[r, r', d, d', r'/r, d'/d]）を取得し、オフセットデータ記憶部１０ｂからt_diffのみを取得し、上記≪計算例１≫～≪計算例３≫の何れかの計算方法により、時系列オフセットt_offsetを計算することにより、時系列オフセットt_offsetを取得してもよい。

＜映像提示部１４＞
映像提示部１４は、映像・音声記憶部１０ａから映像を読み出し、読み出した映像を半仮想空間上に提示する（Ｓ１４）。

＜音声提示部１５＞
音声提示部１５は、映像と対応する音声を入力とし、時系列オフセットt_offsetに基づいて対応するフレームの映像よりもタイミングが早まるように音声をシフトさせ、シフトさせた音声を半仮想空間上に提示する（Ｓ１５）。

本実施例の映像音声提示装置１によれば、映像と対応する音声を時系列オフセットt_offsetに基づいて対応するフレームの映像よりもタイミングが早まるようにシフトさせたため、身体反応に遅れが生じにくいスポーツトレーニング用の映像および音声を提示することができる。

＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。

ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。

ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。

本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ（Random Access Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ－ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (6)

1. 実空間の飛来物体に対する被験者の身体反応の時系列データを身体反応A_realとし、実空間を含まない仮想空間（以下、単に仮想空間という）上で表現される飛来物体に対する被験者の身体反応の時系列データを身体反応A_VRとし、仮想空間と実空間を組み合わせた半仮想空間（以下、単に半仮想空間という）上で表現される飛来物体に対する被験者の身体反応の時系列データを身体反応A_mixとし、身体反応A_realと身体反応A_mixの時間差、または身体反応A_VRと身体反応A_mixの時間差を時間差t_diffとし、前記実空間と前記半仮想空間のスケールの比、または前記仮想空間と前記半仮想空間のスケールの比に応じて定まる補正係数αに基づいて前記時間差t_diffを補正して得られる時系列オフセットt_offsetを決定するオフセット決定部と、
   前記半仮想空間上に映像を提示する映像提示部と、
   前記映像と対応する音声を前記時系列オフセットt_offsetに基づいて前記映像よりもタイミングが早まるようにシフトさせ、シフトさせた前記音声を前記半仮想空間上に提示する音声提示部
   を含む映像音声提示装置。
2. 請求項１に記載の映像音声提示装置であって、
   実空間または仮想空間における前記飛来物体のサイズをrとし、半仮想空間における前記飛来物体のサイズをr’とし、実空間におけるリリース前の前記飛来物体と被験者との距離をdとし、半仮想空間におけるリリース前の前記飛来物体と被験者との距離をd'とし、前記補正係数αを(r'/r)*(d'/d)とする
   映像音声提示装置。
3. 請求項１に記載の映像音声提示装置であって、
   実空間または仮想空間における前記飛来物体のサイズをrとし、半仮想空間における前記飛来物体のサイズをr’とし、前記補正係数αを(r'/r)とする
   映像音声提示装置。
4. 請求項１に記載の映像音声提示装置であって、
   実空間または仮想空間におけるリリース前の前記飛来物体と被験者との距離をdとし、半仮想空間におけるリリース前の前記飛来物体と被験者との距離をd'とし、前記補正係数αを(d'/d)とする
   映像音声提示装置。
5. 実空間の飛来物体に対する被験者の身体反応の時系列データを身体反応A_realとし、実空間を含まない仮想空間（以下、単に仮想空間という）上で表現される飛来物体に対する被験者の身体反応の時系列データを身体反応A_VRとし、仮想空間と実空間を組み合わせた半仮想空間（以下、単に半仮想空間という）上で表現される飛来物体に対する被験者の身体反応の時系列データを身体反応A_mixとし、身体反応A_realと身体反応A_mixの時間差、または身体反応A_VRと身体反応A_mixの時間差を時間差t_diffとし、前記実空間と前記半仮想空間のスケールの比、または前記仮想空間と前記半仮想空間のスケールの比に応じて定まる補正係数αに基づいて前記時間差t_diffを補正して得られる時系列オフセットt_offsetを決定するステップと、
   前記半仮想空間上に映像を提示するステップと、
   前記映像と対応する音声を前記時系列オフセットt_offsetに基づいて前記映像よりもタイミングが早まるようにシフトさせ、シフトさせた前記音声を前記半仮想空間上に提示するステップ
   を含む映像音声提示方法。
6. コンピュータを請求項１から４の何れかに記載の映像音声提示装置として機能させるプログラム。

Images