JP7367853B2 - 運動パフォーマンス推定装置、運動パフォーマンス推定方法、およびプログラム - Google Patents

Description

本発明は、対象者の運動パフォーマンスを推定する技術に関する。

特許文献１には、運動中の対象者の目の動きから注意範囲（注目範囲）の広さを推定し、それに基づき対象者の反応速度や反応の正確性などの運動パフォーマンスを推定する技術が開示されている。特許文献１では、注意範囲の広さを推定する際に、対象者の目の動的な変化（例えば、マイクロサッカード）の情報と対象者の注意範囲の広さが相関するという性質、および、注意範囲の広さと対象者の反応速度や反応の正確性との間に相関があるという性質を利用している。

特開２０１９－３０４９１号公報

特許文献１に開示された技術は、対象物を見つめているときに無意識に生じる眼球の微細な動きを利用して、対象者の運動パフォーマンスを推定するものである。一方、実際のスポーツ環境下においては、動く対象物を眼で追従するシーンが多い。そのため、１点を見つめているときに生じる眼球の微細な動きを実環境下で計測し、運動パフォーマンスを評価することは困難である。

本発明の目的は、上記のような技術的課題に鑑みて、対象の動きを観測しているときの目の動きから運動パフォーマンスを評価することが可能な技術を提供することである。

上記の課題を解決するために、本発明の一態様の運動パフォーマンス推定装置は、対象の動きを観測している対象者の眼球運動に基づく特徴量を取得する解析部と、眼球運動に基づく特徴量と運動パフォーマンスの高さとの間の所定の関係に基づいて、対象者から取得した特徴量から対象者の運動パフォーマンスを推定する推定部と、を備える。

この発明によれば、対象の動きを観測しているときの目の動きから運動パフォーマンスを評価することができる。

図１Ａは本発明の背景となる実験結果を説明するための図であって、熟練者を被験者とした実験結果である。図１Ｂは非熟練者を被験者とした実験結果である。 図２は第１実施形態の運動パフォーマンス推定装置の機能構成を例示する図である。 図３は第１実施形態の運動パフォーマンス推定方法の処理手順を例示する図である。 図４は第２実施形態の運動パフォーマンス推定装置の機能構成を例示する図である。 図５は第２実施形態の運動パフォーマンス推定方法の処理手順を例示する図である。 図６はコンピュータの機能構成を例示する図である。

以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

［実験結果］
まず、発明の背景となる実験結果について説明する。

この実験では、特定のスポーツにおいて、観測対象（例えば、ボール等の物、または、対戦相手等の人間、以下、単に「対象」とも呼ぶ）が動く直前の映像を被験者に提示し、その対象がどの方向へ動くかを予測させるタスクを実行する。このとき、映像を見ている被験者の眼球運動をアイトラッカー等の計測装置を用いて取得する。具体的には、サッカーのペナルティーキックのシーンにおいて、キッカーが画面中央より右側の位置から画面中央に置かれたボールに向かって走ってきてそのボールをキックするまでの動作を、ゴールキーパーの視点から撮影した約２秒間の映像を被験者に見せ、キックした後にボールが右に飛ぶか左に飛ぶかを予測させる。このとき、キックの瞬間から後は画面を暗転する。すなわち、被験者は実際にボールが飛ぶ場面を見ずに、キックまでの動作からボールが飛ぶ方向を予測する。

計測装置は、時刻ごとに、被験者の眼球の向き、角速度、角加速度等を取得し、目の動きの時系列情報を生成する。この時系列情報から、跳躍性眼球運動（サッカード）の開始時刻と大きさ（振幅）を求める。サッカードには、振幅が１°程度で無自覚的にのみ生じる微細な跳躍性眼球運動（マイクロサッカード）と、それよりも振幅が大きく自覚的にも発生させられる跳躍性眼球運動がある。ここでは、前者のマイクロサッカードを求めるものとする。つまり、計測装置で取得した時刻ごとの目の動きから、最大角速度や最大角加速度が所定の基準値内である眼球運動をマイクロサッカードとして検出し、その時刻と大きさを抽出する。

図１に、上記で説明した実験において、眼球運動の特徴（マイクロサッカードの情報）を解析した結果を示す。図１Ａのグラフは、サッカーの熟練者（Skilled players）から取得したマイクロサッカードの情報の平均値であり、図１Ｂのグラフは、非熟練者（Sub-skilled players）から取得したマイクロサッカードの情報の平均値である。横軸は、マイクロサッカードが生じた時刻である。時刻０秒は、映像終了時刻（すなわち、被験者が動きを予測する時刻）である。上記の実験では、映像終了時刻はキックの瞬間であるため、被験者は時刻が負の時間区間ではキック前の動作の映像を見ており、時刻が正の時間区間では暗転した画面を見ている。縦軸は、マイクロサッカードの振幅である。ここでは、振幅を角度（arcmin）で表しており、正の値が右方向、負の値が左方向に対応する。両グラフ中の濃い線（Response-Left）は、予測する時刻より後にボールが左に飛ぶ（正解が左である）場合の映像を見たときの被験者のデータであり、薄い線（Response-Right）は、予測する時刻より後にボールが右に飛ぶ（正解が右である）場合の映像を見たときの被験者のデータである。

まず、熟練者でも非熟練者でも、キッカーの動き出し（時刻－２秒近辺）からキックの瞬間（時刻０秒）に向けて、マイクロサッカードの振幅が負の方向へ減少していく傾向が見られる。これは、ボールがキックされる前にキッカーが画面中央より右側の位置から画面中央に向かって走ってきているため、被験者の注意が左方向へ向く傾向があること、および、キッカーを目で追うために左方向へ追跡する眼球運動が生じていること、が要因と考えられる。

次に、キックの瞬間の直前の時間区間（点線の四角で囲まれた部分、－２００ミリ秒近辺から０秒まで）に着目する。熟練者の結果（図１Ａ）では、正解が右である場合は振幅が大きく正に傾き、正解が左である場合は振幅が負のままとなっており、正解の向きが左右いずれであるかによって動きに顕著な差が見られる。これに対し、非熟練者の結果（図１Ｂ）では、正解が右である場合も左である場合も同程度の振幅となっており、正解の向きによる差は見られない。つまり、熟練者の結果では、予測する時刻の直前の時間区間において、予測した方向に対応した向きへの振幅の変化が見られる。一方、非熟練者の結果では、そのような変化は見られない。

ところで、上記の実験で取得される振幅の変化には、ボールが飛ぶと予測した方向に対応するものと、キッカーが動く方向に対応するものとが含まれると考えられる。しかしながら、これらを分離することは難しい。そこで、同じ被験者に対して、上記の実験で使用した映像を左右反転させた映像を提示して同様のタスクを実施し、同様の実験結果を取得することを考える。そうすると、反転した映像では、キッカーが画面中央より左側の位置から画面中央に向かって走ってきているため、キッカーの動き出し（時刻－２秒近辺）からキックの瞬間（時刻０秒）に向けてマイクロサッカードの振幅が正の方向へ増加していく傾向が表れることが予想される。一方、ボールが飛ぶと予測した方向に対応した振幅の変化は、反転していない映像を提示したときと同様に生じるはずである。このように、反転していない映像を提示して取得したデータと反転させた映像を提示して取得したデータとを統合すれば、キッカーの動きに関連した振幅の変化は相殺され、ボールが飛ぶと予測した方向に関連する振幅の変化のみが抽出できる。このようにして抽出された振幅の変化は、熟練者においては、潜在的に（無意識に）ボールが飛ぶと予測した方向に、眼球が先行して動く傾向があることを示す。いわば、被験者の潜在的な予測能力の有無（熟練している者の方がより予測能力が高いと想定される）を示していると言える。

本発明では、このような相関関係の発見を利用して、対象の動きを予測するタスクを実行させているときの対象者の目の動きから、運動パフォーマンス（熟練度もしくは潜在的な予測能力の有無）を推定する。

［第１実施形態］
本発明の第１実施形態は、予め用意された映像を対象者（被験者）へ提示し、その映像を見ている対象者の目の動きから、その対象者の運動パフォーマンスを推定する運動パフォーマンス推定装置および方法である。第１実施形態の運動パフォーマンス推定装置１は、図２に示すように、例えば、制御部１１、映像提示部１２、眼球運動計測部１３、解析部１４、および推定部１６を備える。運動パフォーマンス推定装置１は、正規化部１５を備えていてもよい。この運動パフォーマンス推定装置１が、図３に例示する各ステップの処理を行うことにより第１実施形態の運動パフォーマンス推定方法が実現される。

運動パフォーマンス推定装置１は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。運動パフォーマンス推定装置１は、例えば、中央演算処理装置の制御のもとで各処理を実行する。運動パフォーマンス推定装置１に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。運動パフォーマンス推定装置１は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。運動パフォーマンス推定装置１は、具体的には、スマートフォンやタブレットのようなモバイル端末、もしくはデスクトップ型やラップトップ型のパーソナルコンピュータなどのデータ処理機能を備えた情報処理装置である。

図３を参照して、第１実施形態の運動パフォーマンス推定装置１が実行する運動パフォーマンス推定方法の処理手続きを説明する。

ステップＳ１１において、制御部１１は、予め用意された複数の計測条件の中から１つの計測条件を選択する。制御部１１は、選択された計測条件を示す情報を映像提示部１２および眼球運動計測部１３へ出力する。計測条件とは、対象者に予測させるタスクを特定する情報である。例えば、上記の実験のように、サッカーのペナルティーキックのシーンで、キッカーがキックしたボールが次の時刻に動く方向を予測するタスクであれば、予め用意した計測条件は「ボールが左に動く映像」および「ボールが右に動く映像」の２種類である。計測条件の種類は、実行するタスクの性質や対象者の熟練度等を鑑みて適宜設定すればよく、種類の数は限定されない（すなわち、３種類以上であってもよい）。

ステップＳ１２において、映像提示部１２は、制御部１１から入力された計測条件を示す情報に従い、その計測条件に対応する映像をディスプレイ等の表示部（図示せず）に表示する。表示する映像は、対象者の視点から撮影された、所定時間区間の対象に関連する動きを含む映像であって、所定時間区間の次の時刻における対象の動きを予測させるための映像である。対象とは、対象者が動きを観測する目的とするオブジェクトであり、ボール等の物であってもよいし、対戦相手等の人間であってもよい。例えば、上記の実験のように、キッカーが画面中央より右側の位置から画面中央に置かれたボールに向かって走ってくるシーンをゴールキーパーの視点から撮影した映像を表示する。上記の実験では、所定時間区間を－２００ミリ秒近辺から開始するものとしたが、所定時間区間の開始時刻は、実行するタスクの性質や対象者の熟練度等を鑑みて適宜設定すればよい。

ステップＳ１３において、眼球運動計測部１３は、制御部１１から計測条件を示す情報が入力されたことを契機として、対象者の目の動きを時刻ごとに計測する。眼球運動計測部１３は、例えば、アイトラッカー等の目の動きを計測する既知の装置を用いることができる。眼球運動計測部１３は、計測した目の動きの時系列情報を、制御部１１から入力された計測条件を示す情報と対応付けて、解析部１４へ出力する。

ステップＳ１４において、解析部１４は、眼球運動計測部１３から入力された目の動きの時系列情報からサッカードの特徴量（以下、「眼球運動に基づく特徴量」とも呼ぶ）を抽出する。具体的には、目の動きの時系列情報から時刻ごとの眼球運動の最大角速度もしくは最大角加速度を計算し、その結果が所定の基準値を超える時刻（マイクロサッカードが発生した時刻）とその振幅（マイクロサッカードの大きさ）を含む時系列情報を、サッカードの特徴量として抽出する。解析部１４は、抽出したサッカードの特徴量を、眼球運動計測部１３から入力された計測条件を示す情報と対応付けて、正規化部１５へ出力する。運動パフォーマンス推定装置１が正規化部１５を備えない場合には、解析部１４は、サッカードの特徴量を推定部１６へ出力する。

ステップＳ１１からステップＳ１４の処理は、計測条件をランダムに、もしくはあらかじめ定めた順番に従って変更しながら複数回実行する。このとき、予め用意された各計測条件が同程度の回数実行されるように制御することが好ましい。

ステップＳ１５において、正規化部１５は、解析部１４から入力されたサッカードの特徴量を、計測条件に応じて正規化する。具体的には、予め用意された複数の計測条件から選択した基準計測条件に揃うように、その他の計測条件と対応付けられたサッカードの特徴量を変換する。例えば、上記の実験のように「ボールが左に動く映像」と「ボールが右に動く映像」の２種類を予め用意した計測条件とする例において、「ボールが左に動く映像」を基準計測条件として選択した場合、「ボールが右に動く映像」と対応付けられたサッカードの特徴量を「ボールが左に動く映像」と対応付けられたサッカードの特徴量と統合し平均化したものを、正規化済みのサッカードの特徴量として求める。正規化部１５は、正規化済みのサッカードの特徴量を推定部１６へ出力する。

ステップＳ１６において、推定部１６は、正規化部１５から入力された複数の計測条件についての正規化済みのサッカードの特徴量（もしくは解析部１４から入力された複数の計測条件についてのサッカードの特徴量）に基づいて、運動パフォーマンスの評価情報を計算し、出力する。具体的には、複数の計測条件についてのサッカードの特徴量から、所定時間区間におけるマイクロサッカードが発生した時刻とマイクロサッカードの振幅の相関の有無を判定し、相関がある場合は運動パフォーマンスが高いことに対応する評価情報を、相関がない場合は運動パフォーマンスが低いことに対応する評価情報を出力する。

例えば、推定部１６は、所定時間区間におけるマイクロサッカードが発生した時刻とマイクロサッカードの振幅の相関係数を計算し、相関係数の絶対値に関する所定の広義単調増加関数の値を評価情報として出力してもよい。広義単調増加関数ｆは、ｘ＜ｙならばｆ（ｘ）≦ｆ（ｙ）を満たす関数であって、相関係数の絶対値が増加しても評価値が変化しない一部の区間はあるものの、相関係数の絶対値が大きい場合の評価値の方が相関係数の絶対値が小さい場合の評価値よりも大きな評価値となる区間を少なくとも含み、評価値が取り得る値域の全体を通じて、その関係が逆転することはない関数である。

あるいは、推定部１６は、相関係数の絶対値が所定の閾値以上である場合には運動パフォーマンスが高いことを示し、相関係数の絶対値が所定の閾値より小さい場合には運動パフォーマンスが低いことを示す二値の評価情報を出力してもよい。

［第２実施形態］
第１実施形態では、予め用意された計測条件に対応する映像を見ている対象者の目の動きを計測して運動パフォーマンスを推定する構成とした。第２実施形態では、映像を提示する代わりに、実際のスポーツ環境下で対象者の目の動きを計測して運動パフォーマンスを推定する構成とする。

第２実施形態の運動パフォーマンス推定装置２は、図４に示すように、例えば、眼球運動計測部１３、解析部１４、および推定部１６を第１実施形態と同様に備え、さらに計測条件入力部２１を備える。運動パフォーマンス推定装置２は、第１実施形態と同様に、正規化部１５を備えていてもよい。この運動パフォーマンス推定装置２が、図５に例示する各ステップの処理を行うことにより第２実施形態の運動パフォーマンス推定方法が実現される。

図５を参照して、第２実施形態の運動パフォーマンス推定装置２が実行する運動パフォーマンス推定方法の処理手続きを、第１実施形態との相違点を中心に説明する。

ステップＳ１３において、眼球運動計測部１３は、実際のスポーツ環境下において、対象者の目の動きを時刻ごとに計測する。実環境下では対象が動き出すタイミングを事前に知ることができないため、眼球運動計測部１３は常時対象者の目の動きを計測している。眼球運動計測部１３は、計測した目の動きの時系列情報を解析部１４へ出力する。

ステップＳ２１において、計測条件入力部２１は、計測条件を指示する情報（以下、「指示情報」とも呼ぶ）を、キーボードやタッチパネル、マウス等の入力装置（図示せず）から入力する。例えば、対象者とは異なる観察者が実際のスポーツ環境を観察しており、対象が動いた方向を入力装置から入力する。例えば、上記の実験であれば、サッカーのペナルティーキックのシーンで、キッカーがキックしたボールが動いた方向（対象者の視点から見て右方向もしくは左方向）に対応するボタン（またはキー）を押下することで、ボールが動いた方向を指示する情報を入力する。計測条件入力部２１は、入力された指示情報を、眼球運動計測部１３で計測された目の動きの時系列情報と対応付けて、解析部１４に入力する。

ステップＳ１４において、解析部１４は、計測条件入力部２１から指示情報が入力されるたびに、当該入力時刻の直前の所定時間区間における目の動きの時系列情報からサッカードの特徴量を抽出する。すなわち、計測条件入力部２１から入力された指示情報は、第１実施形態で用いた計測条件を示す情報に相当する。解析部１４は、抽出したサッカードの特徴量を、当該指示情報と対応付けて、正規化部１５もしくは推定部１６へ出力する。

［第３実施形態］
第１実施形態では、正規化済みのサッカードの特徴量を、予め与えられた相関関係に従って評価情報に変換する構成とした。第３実施形態では、この相関関係を機械学習により学習させた学習済みモデルにより実現する構成とする。

例えば、予め複数の熟練者から取得した正規化済みのサッカードの特徴量と、複数の非熟練者から取得した正規化済みのサッカードの特徴量とを学習用データとして用意しておき、正規化済みのサッカードの特徴量を入力として、熟練者に対応する第１分類と非熟練者に対応する第２分類とのいずれかに分類するような分類器を学習させる。ここで用いる分類器の学習は、サポートベクターマシン（ＳＶＭ）やその他の周知の識別器の学習方法を用いればよい。

推定部１６は、学習済みの分類器に正規化部１５から出力された正規化済みのサッカードの特徴量を入力し、第１分類／第２分類のいずれに該当するかを示す分類結果を得て、運動パフォーマンスの評価情報として出力する。第１分類は、運動パフォーマンスが高いことに対応し、第２分類は運動パフォーマンスが低いことに対応する。

学習器の入力を正規化済みのサッカードの特徴量ではなく、対象者から取得したサッカードの特徴量そのものとしてもよい。例えば、対象者ごとに「キッカーが蹴ったボールが左に動く」場合と「キッカーが蹴ったボールが右に動く」場合の２種類の条件下で、それぞれ対象者から取得したマイクロサッカードの特徴量のペアと、当該対象者のパフォーマンスの正解（熟練／非熟練のラベル）を対応付けたものを学習用データとし、サッカードの特徴量の組を入力として、運動パフォーマンスの評価情報を出力するようなモデルを学習させてもよい。この場合は、正規化部１５および推定部１６に代えて、解析部１４から出力されたサッカードの特徴量の組を学習済みのモデルに入力し、運動パフォーマンスの評価情報を得る構成となる。

以上、この発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、この発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、この発明に含まれることはいうまでもない。実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムを図６に示すコンピュータの記憶部１０２０に読み込ませ、演算処理部１０１０、入力部１０３０、出力部１０４０などに動作させることにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体は、例えば、非一時的な記録媒体であり、磁気記録装置、光ディスク等である。

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の非一時的な記憶装置である補助記録部１０５０に格納する。そして、処理の実行時、このコンピュータは、自己の非一時的な記憶装置である補助記録部１０５０に格納されたプログラムを一時的な記憶装置である記憶部１０２０に読み込み、読み込んだプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み込み、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (5)

1. 対象の動きを観測している対象者の眼球運動に基づく特徴量を取得する解析部と、
   眼球運動に基づく特徴量と運動パフォーマンスの高さとの間の所定の関係に基づいて、前記対象者から取得した前記特徴量から前記対象者の運動パフォーマンスを推定する推定部と、を備え、
   前記特徴量は、跳躍的眼球運動が発生した時刻とその振幅を含む時系列情報であり、
   前記推定部は、前記対象が動く直前の所定時間区間において、前記特徴量に含まれる振幅が相関を有する場合の方が、そうでない場合よりも運動パフォーマンスが高いことに対応するように、前記対象者の運動パフォーマンスを推定する
   運動パフォーマンス推定装置。
2. 請求項１に記載の運動パフォーマンス推定装置であって、
   運動パフォーマンスが高い第１区分に該当する者から取得した前記特徴量と、運動パフォーマンスが前記第１区分よりも低い第２区分に該当する者から取得した前記特徴量とを用いて、前記対象者から取得した前記特徴量を前記第１区分または前記第２区分に分類するように予め学習された分類器をさらに備え、
   前記推定部は、前記対象者から取得した前記特徴量を前記分類器に入力することで得られる分類結果を、前記対象者の運動パフォーマンスの推定結果として得る、
   運動パフォーマンス推定装置。
3. 請求項１または２に記載の運動パフォーマンス推定装置であって、
   前記特徴量は、前記対象が第１の方向に動くときに前記対象者から取得した第１の特徴量と、前記対象が前記第１の方向とは異なる第２の方向に動くときに前記対象者から取得した第２の特徴量と、を統合した正規化済み特徴量である、
   運動パフォーマンス推定装置。
4. 解析部が、対象の動きを観測している対象者の眼球運動に基づく特徴量として、跳躍的眼球運動が発生した時刻とその振幅を含む時系列情報を取得し、
   推定部が、前記対象が動く直前の所定時間区間において、前記特徴量に含まれる振幅が相関を有する場合の方が、そうでない場合よりも運動パフォーマンスが高いことに対応するように前記対象者の運動パフォーマンスを推定する、
   運動パフォーマンス推定方法。
5. 請求項１から３のいずれかに記載の運動パフォーマンス推定装置としてコンピュータを機能させるためのプログラム。

Images