JP6755839B2 - Exercise performance estimator, method, and program - Google Patents

Exercise performance estimator, method, and program Download PDF

Info

Publication number
JP6755839B2
JP6755839B2 JP2017153134A JP2017153134A JP6755839B2 JP 6755839 B2 JP6755839 B2 JP 6755839B2 JP 2017153134 A JP2017153134 A JP 2017153134A JP 2017153134 A JP2017153134 A JP 2017153134A JP 6755839 B2 JP6755839 B2 JP 6755839B2
Authority
JP
Japan
Prior art keywords
attention range
exercise performance
attention
range
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017153134A
Other languages
Japanese (ja)
Other versions
JP2019030491A (en
Inventor
惇 米家
惇 米家
牧夫 柏野
牧夫 柏野
茂人 古川
茂人 古川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2017153134A priority Critical patent/JP6755839B2/en
Publication of JP2019030491A publication Critical patent/JP2019030491A/en
Application granted granted Critical
Publication of JP6755839B2 publication Critical patent/JP6755839B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)

Description

本発明は、対象者の運動パフォーマンス（運動特性）を推定する技術に関する。 The present invention relates to a technique for estimating the motor performance (motor characteristics) of a subject.

非特許文献１には、「文字の識別」という課題におけるマイクロサッカードの方向と提示された課題に対する反応の速さとの間に相関があることが示されている。具体的には、個々のマイクロサッカードの発生時刻の近傍で提示された課題に対する対象者の反応速度が遅くなること、およびマイクロサッカードの方向と対象者の注意方向とに相関があることなどが示されている。 Non-Patent Document 1 shows that there is a correlation between the direction of microsaccades in the task of "character identification" and the speed of response to the presented task. Specifically, the reaction speed of the subject to the task presented in the vicinity of the occurrence time of each microsaccade is slowed down, and there is a correlation between the direction of the microsaccade and the attention direction of the subject. It is shown.

Alexander Pastukho and Jochen Braun , “Rare but precious: Microsaccades are highly informative about attentional allocation”, Vision Research, Vol.50, Issue 12, pp.1173-1184, (2000).Alexander Pastukho and Jochen Braun, “Rare but precious: Microsaccades are highly informative about attentional allocation”, Vision Research, Vol.50, Issue 12, pp.1173-1184, (2000).

しかしながら、対象者の眼の動的な変化から運動パフォーマンスを推定する技術は知られていない。 However, there is no known technique for estimating motor performance from dynamic changes in the subject's eyes.

本発明では、対象者の眼の動的な変化に基づく特徴量を抽出し、抽出された特徴量に基づいて対象者の注意範囲（「注目範囲」ともいう）の広さに対応する情報の推定結果である推定注意範囲情報を得、注意範囲の広さに対応する情報とヒト（人）の運動パフォーマンスとの関連付けに基づいて、推定注意範囲情報から対象者の運動パフォーマンスの指標を得る。 In the present invention, a feature amount based on a dynamic change of the subject's eye is extracted, and based on the extracted feature amount, information corresponding to a wide range of attention (also referred to as “attention range”) of the subject is provided. The estimated attention range information, which is the estimation result, is obtained, and the index of the exercise performance of the subject is obtained from the estimated attention range information based on the association between the information corresponding to the breadth of the attention range and the motor performance of the human (person).

これにより、対象者の眼の動的な変化から運動パフォーマンスを推定できる。 As a result, motor performance can be estimated from the dynamic changes in the eyes of the subject.

図１は第１実施形態の運動パフォーマンス推定装置の機能構成を例示したブロック図である。FIG. 1 is a block diagram illustrating a functional configuration of the exercise performance estimation device of the first embodiment. 図２は第２実施形態の運動パフォーマンス推定装置の機能構成を例示したブロック図である。FIG. 2 is a block diagram illustrating the functional configuration of the exercise performance estimation device of the second embodiment. 図３は第３実施形態のトレーニング装置の機能構成を例示したブロック図である。FIG. 3 is a block diagram illustrating the functional configuration of the training device of the third embodiment. 図４は第４実施形態のトレーニング装置の機能構成を例示したブロック図である。FIG. 4 is a block diagram illustrating the functional configuration of the training device of the fourth embodiment. 図５Ａは注意範囲と運動パフォーマンスとの関係を検証する実験内容を説明するための図である。図５Ｂは注意範囲と反応の正確性との関係を例示した図である。図５Ｃは注意範囲と反応速度との関係を例示した図である。FIG. 5A is a diagram for explaining the contents of an experiment for verifying the relationship between the attention range and the exercise performance. FIG. 5B is a diagram illustrating the relationship between the attention range and the accuracy of the reaction. FIG. 5C is a diagram illustrating the relationship between the attention range and the reaction rate. 図６Ａは対象者の眼の動的な変化と注意範囲との関係を検証する実験内容を説明するための図である。図６Ｂは３段階の注意範囲と各被験者のマイクロサッカードの発生頻度との関係を例示した箱髭図である。図６Ｃはマイクロサッカードの振動性と注意範囲との関係を例示した箱髭図である。FIG. 6A is a diagram for explaining the contents of an experiment for verifying the relationship between the dynamic change of the eyes of the subject and the attention range. FIG. 6B is a box-and-whisker plot illustrating the relationship between the three-step attention range and the frequency of occurrence of microsaccades in each subject. FIG. 6C is a boxplot illustrating the relationship between the vibration property of the microsaccade and the attention range. 図７は注意範囲の広さと運動パフォーマンスとの関係を表した図である。FIG. 7 is a diagram showing the relationship between the breadth of attention range and exercise performance.

以下、図面を参照して本発明の実施形態を説明する。
［原理］
まず、各実施形態のベースとなる原理を説明する。
各実施形態は、ヒトの眼の動的な変化を表す特徴量と注意範囲の広さとに相関性があり、また、ヒトの注意範囲の広さと運動パフォーマンス（例えば、反応速度や反応の正確性）との間に相関性があるという自然法則の発見に基づく。各実施形態では、この自然法則を利用し、対象者（ヒト）の眼の動的な変化に基づく特徴量を抽出し、抽出された特徴量に基づいて対象者の注意範囲の広さに対応する情報の推定結果である推定注意範囲情報を得、ヒトの注意範囲の広さに対応する情報とヒトの運動パフォーマンスとの関連付けに基づいて、推定注意範囲情報から、対象者の運動パフォーマンスの指標を得る。また、対象者の反応速度や反応の正確性を向上させるために、目標となる注意範囲の広さを表す目標注意範囲情報を提示し、対象者の運動パフォーマンス向上を支援する。すなわち、得られた運動パフォーマンスの指標から、ヒトの運動パフォーマンスと注意範囲の広さに対応する情報との関連付けに基づいて、当該指標が表す運動パフォーマンスよりも高い運動パフォーマンスに関連付けられた注意範囲の広さに対応する情報である目標注意範囲情報を得、当該目標注意範囲情報を対象者が認識可能な形で提示する。なお、眼の動的な変化を表す特徴量とは、例えばマイクロサッカードの発生頻度や減衰係数、固有角振動数等である（詳細は後述する）。また「注意範囲」とは注意の範囲を意味し、「注目範囲」と同義である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[principle]
First, the principle that is the basis of each embodiment will be described.
Each embodiment correlates with a feature quantity representing a dynamic change in the human eye and a wide range of attention, and a wide range of human attention and motor performance (eg, reaction rate and accuracy of reaction). ) Based on the discovery of the law of nature that there is a correlation with. In each embodiment, this natural law is used to extract a feature amount based on the dynamic change of the eye of the subject (human), and the range of attention of the subject is dealt with based on the extracted feature amount. Estimated attention range information, which is the estimation result of the information to be used, is obtained, and an index of the exercise performance of the subject is obtained from the estimated attention range information based on the association between the information corresponding to the breadth of the human attention range and the human exercise performance. To get. In addition, in order to improve the reaction speed and the accuracy of the reaction of the subject, the target attention range information indicating the breadth of the target attention range is presented to support the improvement of the exercise performance of the subject. That is, based on the association between the obtained exercise performance index and the information corresponding to the human exercise performance and the breadth of the attention range, the attention range associated with the exercise performance higher than the exercise performance represented by the index. Obtain target attention range information, which is information corresponding to the size, and present the target attention range information in a form that can be recognized by the target person. The feature quantity representing the dynamic change of the eye is, for example, the frequency of occurrence of microsaccade, the damping coefficient, the natural angular frequency, and the like (details will be described later). The "attention range" means the attention range and is synonymous with the "attention range".

＜背景となる実験結果＞
背景となる実験結果を示す。
まず、ヒトの眼の動的な変化を表す特徴量と注意範囲の広さとの相関性を調べる実験について説明する。
予め特定の広さの注意範囲Ｃに注意を向けるよう指示した状況下で、当該注意範囲Ｃ内に表示されるターゲット図形Ｔが現れたら所定の動作（タッピング等）を行うよう対象者に指示する（図６Ａ）。例えば、ターゲット図形Ｔの移動方向が右（Ｒ）か左（Ｌ）かをタッピングによって回答するよう対象者に指示する。図６Ｂおよび図６Ｃにこの実験結果を示す。図６Ｂおよび図６Ｃは、「広(large)」「中(medium)」「狭(small)」の３段階のカテゴリを採用し、複数の被験者が「広」に対応する広い注意範囲、「中」に対応する中ほどの注意範囲、および「狭」に対応する狭い注意範囲のそれぞれを見ていたときのマイクロサッカードの特徴量の平均値（被験者ごとの平均値）を示す。ただし、図６Ｂおよび図６Ｃの横軸は３段階のカテゴリ（「広」「中」「狭」）に対応する注意範囲を表す。図６Ｂの縦軸はマイクロサッカードの発生頻度（Microsaccade Rate）の被験者ごとの平均値を表し、図６Ｃの縦軸はマイクロサッカードの振動性（Microsaccade Damping Rate）の被験者ごとの平均値を表す。これらの結果から、注意範囲が広いほど、マイクロサッカードの発生頻度が高くなり、また、マイクロサッカードの振動性が強くなる傾向が見られる。マイクロサッカードの発生頻度や振動性が大きいときは注意範囲が広いと推定されやすく、マイクロサッカードの発生頻度や振動性が小さいときは注意範囲が狭いと推定されやすいことが分かる。 <Background experimental results>
The background experimental results are shown.
First, an experiment for investigating the correlation between the feature quantity representing the dynamic change of the human eye and the wide range of attention will be described.
In the situation where attention is given to the attention range C of a specific area in advance, when the target figure T displayed in the attention range C appears, the target person is instructed to perform a predetermined operation (tapping, etc.). (Fig. 6A). For example, the target person is instructed to answer by tapping whether the moving direction of the target figure T is right (R) or left (L). The results of this experiment are shown in FIGS. 6B and 6C. FIGS. 6B and 6C adopt three categories of "large", "medium", and "small", and a wide attention range corresponding to "wide" by a plurality of subjects, "medium". The average value (average value for each subject) of the microsaccade features when looking at each of the middle attention range corresponding to "" and the narrow attention range corresponding to "narrow" is shown. However, the horizontal axes of FIGS. 6B and 6C represent the attention ranges corresponding to the three categories (“wide”, “medium”, and “narrow”). The vertical axis of FIG. 6B represents the average value of the occurrence frequency (Microsaccade Rate) of microsaccade for each subject, and the vertical axis of FIG. 6C represents the average value of the vibration (Microsaccade Damping Rate) of microsaccade for each subject. .. From these results, it can be seen that the wider the attention range, the higher the frequency of occurrence of microsaccades, and the stronger the vibration property of microsaccades. It can be seen that when the frequency and vibration of microsaccades are high, it is easy to estimate that the attention range is wide, and when the frequency and vibration of microsaccades are low, it is easy to estimate that the attention range is narrow.

以上より、被験者の眼の動きを用いて、注意範囲の広さを推定できることが分かる。具体的には、以下の手順により注意範囲の広さを推定できる。
（１）被験者の眼の動きの情報から「眼の動的な変化を表す特徴量」を算出する。
（２）算出した「眼の動的な変化を表す特徴量」から注意範囲の広さを推定する。
なお、（２）の注意範囲の広さの推定には機械学習を用いる。例えば、上述のタスクを実行している際の対象者の眼の動きを計測して「眼の動的な変化を表す特徴量」が得られる。これを注意範囲Ｃの広さを変えて実施することで、「眼の動的な変化を表す特徴量」と注意範囲の広さを対応付けたデータ対が取得される。複数の被験者に同様のタスクを実施してもらうことで得たデータ対の集合を学習用データとし、コンピュータによる機械学習によって「眼の動的な変化を表す特徴量」を入力として注意範囲の広さの推定結果を出力するモデルを学習する。例えば、注意範囲の広さを大、中、小のようなカテゴリに分け、サポートベクターマシーン（ＳＶＭ）などの識別学習法を用いれば、入力された「眼の動的な変化を表す特徴量」に基づいて、どの注意範囲の広さのカテゴリに属するかを推定できる。こうして得た学習済みモデルに上記（１）で得た「眼の動的な変化を表す特徴量」を入力すれば、上記（２）の注意範囲の広さの推定結果が得られる。 From the above, it can be seen that the breadth of the attention range can be estimated using the movement of the eyes of the subject. Specifically, the breadth of the attention range can be estimated by the following procedure.
(1) "Features representing dynamic changes in the eyes" are calculated from the information on the movement of the eyes of the subject.
(2) Estimate the breadth of the attention range from the calculated "features representing dynamic changes in the eye".
Machine learning is used to estimate the breadth of the attention range in (2). For example, "features representing dynamic changes in the eyes" can be obtained by measuring the movement of the eyes of the subject while performing the above-mentioned tasks. By carrying out this by changing the width of the attention range C, a data pair in which the "feature amount representing the dynamic change of the eye" and the width of the attention range are associated with each other is acquired. A wide range of attention is provided by using a set of data pairs obtained by having multiple subjects perform similar tasks as learning data and inputting "features representing dynamic changes in the eye" by machine learning using a computer. Learn the model that outputs the estimation result of the data. For example, if the range of attention is divided into categories such as large, medium, and small, and a discriminant learning method such as a support vector machine (SVM) is used, the input "features representing dynamic changes in the eye" Based on, it is possible to estimate which category has a wide range of attention. By inputting the "feature amount representing the dynamic change of the eye" obtained in the above (1) into the trained model thus obtained, the estimation result of the breadth of the attention range in the above (2) can be obtained.

次に、ヒトの注意範囲と運動パフォーマンスとの相関性を調べる実験について説明する。
被験者１０名に対して次の実験を行った。被験者に対して投手が投球をする映像を視聴してもらい、投手の動きから「ストレート」と「カーブ」のどちらを投げるかを判別して回答してもらう（図５Ａ）。このとき、被験者の眼の動きの情報を取得しておくとともに、以下の方法で「反応の正確性を表す指標」と「反応速度を表す指標」を計算する。
反応の正確性を表す指標：
全試行のうちカーブかストレートかの判別結果が正しい回答であった割合、すなわち回答の正答率を「反応の正確性を表す指標」とする。
反応速度を表す指標：
ピッチャーが投げた球がホームベースに到達する時点を基準として回答時点がどれだけ早いかを示す指標を「反応速度を表す指標」とする。例えば、ピッチャーが投げた球がホームベースに到達した時刻と回答時刻との差分が「反応速度を表す指標」である。 Next, an experiment to investigate the correlation between human attention range and exercise performance will be described.
The following experiment was performed on 10 subjects. Ask the subject to watch the video of the pitcher throwing, determine whether to throw "straight" or "curve" from the pitcher's movement, and answer (Fig. 5A). At this time, the information on the movement of the eyes of the subject is acquired, and the "index showing the accuracy of the reaction" and the "index showing the reaction speed" are calculated by the following methods.
Indicator of reaction accuracy:
The percentage of all trials in which the result of determining whether the answer is curved or straight is the correct answer, that is, the correct answer rate of the answer is used as the "index showing the accuracy of the reaction".
Indicator of reaction rate:
An index showing how early the response time is based on the time when the ball thrown by the pitcher reaches the home base is referred to as an "index indicating the reaction speed". For example, the difference between the time when the ball thrown by the pitcher reaches the home base and the response time is an "index representing the reaction speed".

図５Ｂおよび図５Ｃでは、被験者の注意範囲（Attentional Range）を「広(large)」「狭(small)」の２段階のカテゴリに分け、複数の被験者が「広」に対応する広い注意範囲、および「狭」に対応する狭い注意範囲のそれぞれを見ていたときの反応の正確性（Accuracy [%]）および反応時間（RT: response time [s]）の平均値（被験者ごとの平均値）を示す。ただし、図５Ｂおよび図５Ｃの横軸は２段階のカテゴリ（「広」「狭」）に対応する注意範囲を表す。図５Ｂの縦軸は反応の正確性の被験者ごとの平均値を表し、図５Ｃの縦軸は反応時間の被験者ごとの平均値を表す。図５Ｂの実験結果から、注意範囲が広いと判断の正確性、つまり、反応の正確性が向上する傾向が見られる。すなわち、注意範囲の広さと反応の正確性に正の相関関係があることが分かる。また、図５Ｃの実験結果から、注意範囲が広いと判断速度、つまり、反応速度が低下する傾向が見られる。すなわち、注意範囲の広さと反応速度には負の相関関係があることが分かる。これらの実験から以下の傾向があることが分かる。
・注意範囲が広いほうが、注意範囲が狭いときよりも反応の正確性が高い（反応の正確性についての運動パフォーマンスが高い）。
・注意範囲が広いほうが、注意範囲が狭いときよりも反応速度が遅い（反応速度についての運動パフォーマンスが低い）。
この実験結果から、反応の正確性や反応速度に限らず、その他の運動パフォーマンスを表す指標も、注意範囲の広さと何らかの相関性を持つと期待できる。 In FIGS. 5B and 5C, the subject's Attention Range is divided into two categories, "large" and "small", and a wide attention range corresponding to "wide" by a plurality of subjects. And the average value of reaction accuracy (Accuracy [%]) and reaction time (RT: response time [s]) when looking at each of the narrow attention areas corresponding to "narrow" (average value for each subject) Is shown. However, the horizontal axes of FIGS. 5B and 5C represent the attention ranges corresponding to the two-stage categories (“wide” and “narrow”). The vertical axis of FIG. 5B represents the average value of the reaction accuracy for each subject, and the vertical axis of FIG. 5C represents the average value of the reaction time for each subject. From the experimental results of FIG. 5B, there is a tendency that the accuracy of judgment, that is, the accuracy of reaction, is improved when the attention range is wide. That is, it can be seen that there is a positive correlation between the breadth of attention and the accuracy of the reaction. Further, from the experimental results of FIG. 5C, it can be seen that the judgment speed, that is, the reaction speed tends to decrease when the attention range is wide. That is, it can be seen that there is a negative correlation between the breadth of attention and the reaction rate. From these experiments, it can be seen that there are the following tendencies.
・ The wider the attention range, the higher the reaction accuracy than the narrow attention range (the exercise performance regarding the accuracy of the reaction is higher).
・ The wider the attention range, the slower the reaction speed than the narrower attention range (the exercise performance of the reaction speed is lower).
From the results of this experiment, it can be expected that not only the accuracy and reaction rate of the reaction but also other indicators of exercise performance have some correlation with the wide range of attention.

以上の見地に基づき、以下の運動パフォーマンス推定装置は、対象者の眼の動的な変化に基づく特徴量に基づいて対象者の注意範囲の広さに対応する情報を推定し、さらに注意範囲の広さに対応する情報に基づいて対象者の運動パフォーマンスの指標を推定する。また、トレーニング装置は、このように得られた運動パフォーマンスの指標から、この運動パフォーマンスを向上させるような注意範囲の広さに対応する情報を生成し、これを対象者に提示することで対象者の運動パフォーマンスの向上を支援する。 Based on the above viewpoints, the following motor performance estimation device estimates information corresponding to the breadth of the subject's attention range based on the feature amount based on the dynamic change of the subject's eye, and further estimates the attention range. Estimate an index of exercise performance of the subject based on the information corresponding to the size. In addition, the training device generates information corresponding to the breadth of the attention range that improves the exercise performance from the index of the exercise performance obtained in this way, and presents this to the subject to the subject. Helps improve athletic performance.

［第１実施形態］
本実施形態では、注意範囲の広さを入力として、対象者の運動パフォーマンスを表す指標を出力するようなモデル（運動パフォーマンス推定モデル）を仮定し、このモデルに基づいて、入力された任意の対象者の眼の動きから推定される注意範囲の広さから、その対象者の（そのときの）運動パフォーマンスを推定する。運動パフォーマンス推定モデルは、ヒトの注意範囲の広さと運動パフォーマンスを表す指標（の正解）とを対応付けた学習用データを用いて機械学習により学習しておく。以下に詳細に説明する。 [First Embodiment]
In the present embodiment, a model (exercise performance estimation model) that outputs an index showing the exercise performance of the subject by inputting the width of the attention range is assumed, and an arbitrary object input based on this model is assumed. The motor performance of the subject (at that time) is estimated from the breadth of the attention range estimated from the movement of the eyes of the subject. The motor performance estimation model is trained by machine learning using learning data in which the breadth of the human attention range and the index (correct answer) representing the motor performance are associated with each other. This will be described in detail below.

図１に例示するように、本実施形態の運動パフォーマンス推定装置１は、注意範囲推定装置１１０、運動パフォーマンス推定部１２０、および運動パフォーマンス推定モデル１３０を有する。注意範囲推定装置１１０は、眼球情報取得部１１１、特徴量抽出部１１２、注意範囲推定部１１３、および注意範囲推定モデル１１４を有する。 As illustrated in FIG. 1, the exercise performance estimation device 1 of the present embodiment includes an attention range estimation device 110, an exercise performance estimation unit 120, and an exercise performance estimation model 130. The attention range estimation device 110 includes an eyeball information acquisition unit 111, a feature amount extraction unit 112, a attention range estimation unit 113, and a attention range estimation model 114.

＜眼球情報取得部１１１＞
眼球情報取得部１１１は、対象者の各離散時間の「眼の動的な変化」に関する時系列情報を取得し、取得した眼の動的な変化に関する時系列情報を特徴量抽出部１１２へ出力する。「対象者」はヒトである。「眼の動的な変化」は、眼球自体の動き（眼球の位置の経時変化）であってもよいし、瞳孔の動き（瞳孔径の経時変化）であってもよいし、それら両方であってもよい。眼球情報取得部１１１は、両眼の動的な変化に関する時系列情報を取得してもよいし、何れか一方の眼の動的な変化に関する時系列情報を取得してもよい。 <Eyeball information acquisition unit 111>
The eyeball information acquisition unit 111 acquires time-series information regarding the “dynamic changes in the eyes” of each discrete time of the subject, and outputs the acquired time-series information regarding the dynamic changes in the eyes to the feature amount extraction unit 112. To do. The "subject" is a human. The "dynamic change of the eye" may be the movement of the eye itself (change in the position of the eye with time), the movement of the pupil (change in the diameter of the pupil with time), or both. You may. The eyeball information acquisition unit 111 may acquire time-series information regarding the dynamic changes of both eyes, or may acquire time-series information regarding the dynamic changes of either eye.

対象者の「眼球自体の動き」に関する時系列情報は、撮像装置（例えば赤外線カメラ）で対象者の眼を撮影して得られた映像に基づいて得られる。眼球情報取得部１１１は、例えば、撮影された映像を画像処理することで、所定の時間区間であるフレーム毎（例えば、1000Hzのサンプリング間隔）の眼球の位置の時系列を眼球の動きに関する時系列情報として取得する。眼球情報取得部１１１は、撮像装置と画像処理アルゴリズムを実行するコンピュータなどによって実現されてもよいし、撮像装置を外部装置として、撮像装置から入力された画像を画像処理するアルゴリズムを実行するコンピュータなどによって実現されてもよい。あるいは、眼球情報取得部１１１は、電極を用いた電位計測法を用いて眼球の動きを測定し、その測定結果に基づいて「眼球自体の動き」に関する時系列情報を取得してもよい。この場合、眼球情報取得部１１１は、測定装置（電極を含む）と測定装置が測定した電位に基づいて眼球の位置を計算するアルゴリズムを実行するコンピュータなどによって実現されてもよいし、測定装置を外部装置として、測定装置から入力された電位に基づいて眼球の位置を計算するアルゴリズムを実行するコンピュータなどによって実現されてもよい。 Time-series information regarding the "movement of the eyeball itself" of the subject is obtained based on an image obtained by photographing the subject's eyes with an imaging device (for example, an infrared camera). For example, the eyeball information acquisition unit 111 performs image processing on the captured image to obtain a time series of eyeball positions for each frame (for example, a sampling interval of 1000 Hz) in a predetermined time interval with respect to eyeball movement. Get as information. The eyeball information acquisition unit 111 may be realized by an image pickup device and a computer that executes an image processing algorithm, or a computer that executes an algorithm that executes an image processing algorithm for an image input from the image pickup device using the image pickup device as an external device. May be realized by. Alternatively, the eyeball information acquisition unit 111 may measure the movement of the eyeball by using a potential measurement method using electrodes, and acquire time-series information regarding “movement of the eyeball itself” based on the measurement result. In this case, the eyeball information acquisition unit 111 may be realized by a measuring device (including an electrode) and a computer that executes an algorithm for calculating the position of the eyeball based on the potential measured by the measuring device, or the measuring device may be realized. As an external device, it may be realized by a computer or the like that executes an algorithm for calculating the position of the eyeball based on the potential input from the measuring device.

対象者の「瞳孔の動き」に関する時系列情報は、撮像装置（例えば赤外線カメラ）で対象者の眼を撮影して得られた映像に基づいて得られる。この場合、眼球情報取得部１１１は、撮影された映像を画像処理することで、フレーム毎（例えば、1000Hzのサンプリング間隔）の瞳孔の大きさの時系列を取得する。眼球情報取得部１１１は、例えば瞳孔を撮影した画像に対して、瞳孔に円をフィッティングし、当該フィッティングした円の半径を瞳孔径として用いることができる。瞳孔径は微細に変動するため、眼球情報取得部１１１は、所定の時間区間ごとにスムージング(平滑化)した瞳孔径の値を用いれば好適である。眼球情報取得部１１１が取得する「瞳孔の動きに関する時系列情報」は、瞳孔の大きさに対応する値の時系列であればどのようなものであってもよい。例えば、「瞳孔の動きに関する時系列情報」は、z-scoreで表現された瞳孔径の時系列であってもよいし、瞳孔径の値そのものの時系列であってもよいし、瞳孔の面積や直径の時系列であってもよい。 Time-series information regarding the "movement of the pupil" of the subject is obtained based on an image obtained by photographing the eyes of the subject with an imaging device (for example, an infrared camera). In this case, the eyeball information acquisition unit 111 acquires a time series of pupil sizes for each frame (for example, a sampling interval of 1000 Hz) by performing image processing on the captured image. For example, the eyeball information acquisition unit 111 can fit a circle to the pupil with respect to an image obtained by photographing the pupil, and the radius of the fitted circle can be used as the pupil diameter. Since the pupil diameter fluctuates finely, it is preferable for the eyeball information acquisition unit 111 to use the value of the pupil diameter smoothed at predetermined time intervals. The "time-series information regarding the movement of the pupil" acquired by the eyeball information acquisition unit 111 may be any time-series of values corresponding to the size of the pupil. For example, the "time-series information on the movement of the pupil" may be a time-series of the pupil diameter expressed by z-score, a time-series of the pupil diameter value itself, or the area of the pupil. Or a time series of diameters.

＜特徴量抽出部１１２＞
特徴量抽出部１１２は、入力された対象者の眼の動的な変化に基づく特徴量を抽出して注意範囲推定部１１３に出力する。「特徴量」はどのようなものであってもよく、スカラであってもよいし、複数の要素からなるベクトルであってもよい。「特徴量」は複数の離散時間や時間区間のそれぞれに対応する時系列であってもよいし、時系列でなくてもよい。「眼の動的な変化」に基づく特徴量は、「眼球自体の動き」に基づく特徴を含んでもよいし、「瞳孔の動き」に基づく特徴を含んでもよいし、「眼球自体の動き」に基づく特徴および「瞳孔の動き」に基づく特徴の両方を含んでもよい。 <Feature quantity extraction unit 112>
The feature amount extraction unit 112 extracts the feature amount based on the input dynamic change of the eyes of the subject and outputs it to the attention range estimation unit 113. The "feature amount" may be any kind, may be a scalar, or may be a vector composed of a plurality of elements. The "feature amount" may or may not be a time series corresponding to each of a plurality of discrete times and time intervals. The feature amount based on "dynamic change of the eye" may include a feature based on "movement of the eyeball itself", a feature based on "movement of the pupil", or "movement of the eyeball itself". It may include both based features and features based on "pupil movement".

「眼球自体の動き」に基づく特徴の例は、眼球の動きに表れるサッカードの特徴（「サッカード」の特徴に対応する情報）である。「サッカード」はマイクロサッカード（micro saccade）であってもよいし、ラージサッカード（large saccade）であってもよい。眼球の動きに表れるサッカードの特徴としては、眼球の運動方向またはその関数値、眼球運動の振幅の絶対値またはその関数値、眼球運動の減衰係数またはその関数値、眼球運動の固有角振動数またはその関数値、眼球のサッカードの発生タイミングまたはその関数値などを例示できる。「瞳孔の動き」に基づく特徴の例は、縮瞳に基づく特徴、散瞳に基づく特徴などである。縮瞳に基づく特徴としては、縮瞳の振幅、縮瞳の持続時間、平均縮瞳の速度、縮瞳の発生回数などを例示できる。散瞳に基づく特徴としては、散瞳の振幅、散瞳の持続時間、平均散瞳の速度、散瞳の発生回数などを例示できる。これらの詳細については、例えば、特開２０１７−０８６５３０等に開示されている。 An example of a feature based on "movement of the eyeball itself" is a saccade feature (information corresponding to the feature of "saccade") that appears in the movement of the eyeball. The "saccade" may be a micro saccade or a large saccade. The characteristics of soccerd that appear in the movement of the eyeball are the direction of movement of the eyeball or its function value, the absolute value of the amplitude of the eyeball movement or its function value, the damping coefficient of the eyeball movement or its function value, and the natural angular frequency of the eyeball movement. Alternatively, its function value, the timing of occurrence of eyeball soccer, or its function value, etc. can be exemplified. Examples of features based on "pupil movement" are features based on miosis, features based on mydriasis, and the like. Examples of features based on miosis include the amplitude of miosis, the duration of miosis, the average speed of miosis, and the number of occurrences of miosis. Examples of features based on mydriasis include the amplitude of mydriasis, the duration of mydriasis, the average speed of mydriasis, and the number of times mydriasis occurs. Details of these are disclosed in, for example, Japanese Patent Application Laid-Open No. 2017-086530.

ベクトルである「特徴量」が含む複数の要素は、複数種類の特徴を表すものであってもよいし、１種類の特徴を表すものであってもよい。例えば、「特徴量」が「サッカード」の特徴を表す要素と「散瞳」の特徴を表す要素とを含むベクトルであってもよいし、「サッカード」の特徴を表す複数の要素のみを含むベクトルであってもよい。 The plurality of elements included in the vector "feature amount" may represent a plurality of types of features, or may represent one type of features. For example, the "feature amount" may be a vector including an element representing the feature of "saccade" and an element representing the feature of "mydriasis", or only a plurality of elements representing the feature of "saccade". It may be a vector containing.

「特徴量」が、同一の「対象者」の一方の眼（例えば、右眼）の動的な変化に由来する値と他方の眼（例えば、左眼）の動的な変化に由来する値との相対量に基づく特徴を表す情報を含んでもよい。両眼の動的な変化の相対量には対象者の属性や個性が表れ、そのような相対量に基づく特徴を利用することで「注意範囲」の推定精度が向上する。例えば、「特徴量」が、同一の「対象者」の一方の眼のサッカードに由来する値と他方の眼のサッカードに由来する値との相対量に基づく特徴を表す情報を含んでもよい。「αとβとの相対量」は、例えば、αとβとの差分、αからβを減じた値、βからαを減じた値、αをβで除した値、もしくはβをαで除した値、またはそれらの何れかの関数値である。「相対値に基づく特徴を表す情報」は、例えば、「相対値」もしくはその関数値、「相対値」もしくはその関数値を要素としたベクトル、または、それらの何れかの関数値である。 The "feature amount" is a value derived from a dynamic change in one eye (for example, the right eye) of the same "subject" and a value derived from a dynamic change in the other eye (for example, the left eye). It may contain information representing features based on relative quantities to. The relative amount of dynamic changes in both eyes shows the attributes and individuality of the subject, and the estimation accuracy of the "attention range" is improved by using the characteristics based on such relative amount. For example, the "feature amount" may include information representing a feature based on a relative quantity between a value derived from the saccade of one eye of the same "subject" and a value derived from the saccade of the other eye. .. The "relative amount of α and β" is, for example, the difference between α and β, the value obtained by subtracting β from α, the value obtained by subtracting α from β, the value obtained by dividing α by β, or dividing β by α. Or a function value of one of them. The "information representing a feature based on a relative value" is, for example, a "relative value" or a function value thereof, a vector having the "relative value" or the function value as an element, or a function value thereof.

＜注意範囲推定モデル１１４＞
注意範囲推定モデル１１４は、ヒトから取得した眼の動的な変化に基づく特徴量と当該ヒトの注意範囲（注意範囲の正解）とを含む学習用データを用い、コンピュータにより学習されることで得られるモデルである。注意範囲推定モデル１１４は、ヒトの眼の動的な変化に基づく特徴量と当該ヒトの注意範囲との関係を表す。 <Caution range estimation model 114>
The attention range estimation model 114 is obtained by learning by a computer using learning data including a feature amount based on a dynamic change of the eye acquired from a human and the attention range (correct answer of the attention range) of the human. It is a model to be. The attention range estimation model 114 represents the relationship between the feature amount based on the dynamic change of the human eye and the attention range of the human.

注意範囲推定モデル１１４の例は、ヒトの眼の動的な変化に基づく特徴量と当該ヒトの注意範囲の広さの程度（いくつかの段階にカテゴライズされた注意範囲の広さの程度、広いか狭いか等）との関係を表す分類器である。分類器の具体例は、ＳＶＭ、k-means、単純クラスタリングなどである。分類器である注意範囲推定モデル１１４は、「眼の動的な変化」に基づく「特徴量」を、「注意範囲」の広さを示す「カテゴリ」の何れか１つに分類する。このような注意範囲推定モデル１１４の学習処理は、複数の大きさの異なる学習用の「注意範囲」である「学習用注意範囲」と、「学習用注意範囲」のそれぞれを見ている学習用の「対象者」である「学習用対象者」から得た「眼の動的な変化」に基づく「特徴量」である「学習用特徴量」との組を含むデータ集合を学習用データとして用いる。要するに、この学習用データは、「学習用注意範囲」の大きさ（カテゴリ）とそのときの「学習用特徴量」とを一組の学習用データ（学習用データ対）として、カテゴリ毎に複数の学習用対象者から取得した学習用データ対の集合である。 An example of the attention range estimation model 114 is a feature quantity based on a dynamic change of the human eye and the degree of the degree of the attention range of the human (the degree of the degree of the attention range categorized into several stages, wide). It is a classifier that expresses the relationship with (whether it is narrow, etc.). Specific examples of the classifier are SVM, k-means, simple clustering, and the like. The attention range estimation model 114, which is a classifier, classifies the "feature amount" based on the "dynamic change of the eye" into any one of the "categories" indicating the breadth of the "attention range". The learning process of the attention range estimation model 114 is for learning, in which a plurality of "attention ranges" for learning having different sizes, a "learning attention range", and a "learning attention range" are viewed. A data set including a set with a "feature amount" based on the "dynamic change of the eye" obtained from the "learning target person", which is the "target person" of the above, as learning data. Use. In short, this learning data has a plurality of learning data (learning data pairs) with the size (category) of the "learning attention range" and the "learning feature amount" at that time as a set of learning data (learning data pair) for each category. It is a set of learning data pairs acquired from the learning target person of.

このような注意範囲推定モデル１１４の学習は以下のように行われる。
１．モニタやスクリーンなどの表示部（図示せず）が、複数の「学習用注意範囲」それぞれに応じた位置に「注視対象」を表示する。例えば、表示部は、「学習用注意範囲」の境界線を所定時間表示させた後に当該境界線を非表示とし、さらに所定時間経過後に当該境界線が表示されていた位置よりも内側に「注視対象」を表示する。
２．「学習用注意範囲」の境界線が非表示となってから当該「注視対象」が表示されるまでの「学習用対象者」の「眼の動的な変化」に基づく「特徴量」（注視対象が表示されたときの対象者の眼の動的な変化に基づく特徴量）が、当該「注視対象」に対応する「学習用注意範囲」それぞれに対応する「学習用特徴量」として抽出される。
３．複数の「学習用注意範囲」およびそれらについて抽出された「学習用特徴量」との組を学習用データとして用い、「眼の動的な変化」に基づく「特徴量」を「注意範囲」の広さを示すカテゴリの何れか１つに分類する注意範囲推定モデル１１４を得る。 Learning of such an attention range estimation model 114 is performed as follows.
1. 1. A display unit (not shown) such as a monitor or a screen displays a "gaze target" at a position corresponding to each of a plurality of "learning attention ranges". For example, the display unit hides the boundary line of the "learning attention range" after displaying it for a predetermined time, and further, after a predetermined time elapses, "looks at" inside the position where the boundary line is displayed. "Target" is displayed.
2. 2. A "feature amount" (gaze) based on the "dynamic change of the eye" of the "learning subject" from the time when the boundary line of the "learning attention range" is hidden until the "gaze target" is displayed. The feature amount based on the dynamic change of the subject's eye when the target is displayed) is extracted as the "learning feature amount" corresponding to each "learning attention range" corresponding to the "gaze target". To.
3. 3. Using a set of multiple "learning attention ranges" and "learning features" extracted from them as learning data, the "features" based on "dynamic changes in the eye" are used as the "attention range". Obtain a attention range estimation model 114 that classifies into any one of the categories indicating the size.

なお、新たな学習用データが得られるたびに当該学習用データを用いて注意範囲推定モデル１１４の学習（更新）を行ってもよいし、予め取得しておいた学習用データを用いて注意範囲推定モデル１１４の学習を一度に行ってもよい。要するに、「学習用特徴量」と当該「学習用特徴量」に対応するカテゴリ（ラベル）の組からなるラベルあり学習用データの集合を入力として、未知の特徴量をいずれかのカテゴリに分類する（未知の特徴量の属するカテゴリの推定値を出力する）ための識別モデルや識別関数等を学習する学習処理であれば何でも良い。「注意範囲」の広さを示す「カテゴリ」の種類および／または個数は予め定められていてもよいし、学習処理で定められてもよい。「カテゴリ」の例は、「広(large)」「中(medium)」「狭(small)」や「一番広い」「二番目に広い」・・・「八番目に広い」などのように、「注意範囲」の広さを相対的に表現したものである。「カテゴリ」の他の例は、「半径５ｃｍの円の内側の範囲」「半径１０ｃｍの円の内側の範囲」「半径２０ｃｍの円の内側の範囲」などのように、「注意範囲」の広さを絶対的に表現したものである。なお、この学習処理は、「注意範囲」の推定の対象となる「対象者」自身の「眼の動的な変化」に基づく「特徴量」を用いて行われることが望ましい。これにより、マイクロサッカード等の「眼の動的な変化」に基づく「特徴量」から「対象者」の「注意範囲」を高い精度で推定できる。ただし、「注意範囲」の推定の対象となる「対象者」以外の「眼の動的な変化」に基づく「特徴量」を用いて学習処理が行われてもよい。 Each time new learning data is obtained, the attention range estimation model 114 may be trained (updated) using the learning data, or the attention range may be trained using the learning data acquired in advance. The estimation model 114 may be trained at once. In short, the unknown feature amount is classified into one of the categories by inputting the set of labeled learning data consisting of the set of the "learning feature amount" and the category (label) corresponding to the "learning feature amount". Any learning process for learning a discrimination model, a discrimination function, etc. for (outputting an estimated value of a category to which an unknown feature quantity belongs) may be used. The type and / or number of "categories" indicating the breadth of the "attention range" may be predetermined or may be determined by the learning process. Examples of "category" are "large", "medium", "small", "widest", "second widest" ... "eighth widest", etc. , It is a relative expression of the breadth of the "attention range". Other examples of "category" include a wide range of "caution" such as "range inside a circle with a radius of 5 cm", "range inside a circle with a radius of 10 cm", and "range inside a circle with a radius of 20 cm". It is an absolute expression of the radius. It is desirable that this learning process be performed using a "feature amount" based on the "dynamic change of the eye" of the "subject" himself / herself, which is the target of estimation of the "attention range". As a result, the "attention range" of the "subject" can be estimated with high accuracy from the "feature amount" based on the "dynamic change of the eye" such as microsaccade. However, the learning process may be performed using a "feature amount" based on a "dynamic change of the eye" other than the "target person" for which the "attention range" is estimated.

注意範囲推定モデル１１４が、ヒトの眼の動的な変化に基づく特徴量と当該ヒトの注意範囲のサイズを特定するための情報（例えば、注意範囲である円の半径や直径、楕円の長軸長や短軸長、三角形や四角形などの多角形の辺の長さ、注意範囲の面積）との関係を表す統計モデルや確率モデルであってもよい。例えば、注意範囲推定モデル１１４が、「特徴量」の変数が与えられた場合における「注意範囲」に対応する情報の変数の条件付き分布を表すモデルであってもよいし、「特徴量」の変数と「注意範囲」に対応する情報との関係を表す状態空間モデルであってもよい。例えば、注意範囲推定モデル１１４は、「注意範囲」に対応する情報がｒであったときに、眼の動的な変化に基づく特徴を表すκ（例えば、マイクロサッカードの持つ特徴を表すマークκ）をもつ事象が発生する頻度g(r,κ)（例えば、単位時間当たりの発生率である条件付強度関数）に基づいて得られる統計モデル（例えば、g(r,κ)そのもの）であってもよい。何れかの時点の「特徴量」と注意範囲推定モデル１１４とに基づいてその時点の推定結果のみを得てもよいし、「特徴量」の時系列と注意範囲推定モデル１１４とに基づいて推定結果の時系列を得てもよい。後者の場合、例えば、過去の時点以前の「対象者」の「眼の動的な変化」に基づく「特徴量」の時系列が与えられた場合における、「対象者」が過去の時点に注目していたと推定された各「注意範囲」に応じた「第１事後確率分布」と、「第１事後確率分布」の遷移確率とを用い、過去の時点以前の「対象者」の「眼の動的な変化」に基づく「特徴量」の時系列が与えられた場合における、「対象者」が現時点で注目していると推定される注意範囲の「第２事後確率分布」を得、「第２事後確率分布」と上述の頻度g(r,κ)とを用い、現時点以前の「対象者」の「眼の動的な変化」に基づく「特徴量」の時系列が与えられた場合における、「対象者」が現時点で注目していると推定される「注意範囲」に応じた「第３事後確率分布」を、「推定結果」として得てもよい。なお「過去の時点」は、例えば、「現時点」の一期前（直前）の時点である。 The attention range estimation model 114 provides information for identifying the feature amount based on the dynamic change of the human eye and the size of the human attention range (for example, the radius and diameter of the circle which is the attention range, and the long axis of the ellipse). It may be a statistical model or a probabilistic model that expresses the relationship with the length, the minor axis length, the side length of a polygon such as a triangle or a quadrangle, and the area of the attention range. For example, the attention range estimation model 114 may be a model representing the conditional distribution of the variables of the information corresponding to the "attention range" when the variable of the "feature amount" is given, or the attention range estimation model 114 may be a model of the "feature amount". It may be a state space model that represents the relationship between the variable and the information corresponding to the "attention range". For example, in the attention range estimation model 114, when the information corresponding to the "attention range" is r, κ representing a feature based on a dynamic change of the eye (for example, a mark κ representing a feature of a microsaccade). It is a statistical model (for example, g (r, κ) itself) obtained based on the frequency g (r, κ) (for example, the conditional intensity function which is the occurrence rate per unit time) at which the event with) occurs. You may. Only the estimation result at that time may be obtained based on the "feature amount" at any time point and the attention range estimation model 114, or the estimation result is made based on the time series of the "feature amount" and the attention range estimation model 114. You may get the time series of results. In the latter case, for example, when a time series of "features" based on "dynamic changes in the eyes" of the "subject" before the past time point is given, the "subject" pays attention to the past time point. Using the "first posterior probability distribution" according to each "attention range" estimated to have been done and the transition probability of the "first posterior probability distribution", the "eyes" of the "subject" before the past time point Given a time series of "features" based on "dynamic changes", we obtained the "second posterior probability distribution" of the attention range that the "subject" is presumed to be paying attention to at the moment. When a time series of "features" based on "dynamic changes in the eyes" of "subjects" before the present time is given using "second posterior probability distribution" and the above-mentioned frequency g (r, κ) In, the "third posterior probability distribution" corresponding to the "attention range" estimated to be the focus of the "subject" at the present time may be obtained as the "estimation result". The "past time point" is, for example, a time point one period before (immediately before) the "current time".

このような注意範囲推定モデル１１４の学習は以下のように行われる。
１．表示部が、複数の「注意範囲」それぞれに応じた位置に「注視対象」を表示する。
２．当該「注視対象」が表示されるまでの「学習用対象者」の「眼の動的な変化」に基づく「特徴量」（注視対象が表示されたときの対象者の眼の動的な変化に基づく特徴量）が、当該「注視対象」に対応する「注意範囲」それぞれに対応する「特徴量」として抽出される。
３．このように得られた「学習用注意範囲」のそれぞれに対応する「学習用特徴量」を用い、「眼の動的な変化」に基づく「特徴量」の変数と「注意範囲」に対応する情報の変数との「関係を表す情報」が得られる。「関係を表す情報」は上述の頻度g(r,κ)そのものであってもよいし、頻度g(r,κ)を特定するための情報であってもよい。
なお、学習処理は、「注意範囲」の推定の対象となる「対象者」自身の「眼の動的な変化」に基づく「特徴量」を用いて行われることが望ましい。これにより、マイクロサッカード等の「眼の動的な変化」に基づく「特徴量」から「対象者」の「注意範囲」を高い精度で推定できる。ただし、「注意範囲」の推定の対象となる「対象者」以外の「眼の動的な変化」に基づく「特徴量」を用いて学習処理が行われてもよい。 Learning of such an attention range estimation model 114 is performed as follows.
1. 1. The display unit displays the "gaze target" at a position corresponding to each of the plurality of "attention ranges".
2. 2. "Features" based on "dynamic changes in the eyes" of the "learning subject" until the "gaze target" is displayed (dynamic changes in the eyes of the subject when the gaze target is displayed) (Feature amount based on) is extracted as a "feature amount" corresponding to each "attention range" corresponding to the "gaze target".
3. 3. Using the "learning feature amount" corresponding to each of the "learning attention range" obtained in this way, the variable of the "feature amount" based on the "dynamic change of the eye" and the "attention range" are supported. "Information representing the relationship" with the variable of information is obtained. The "information representing the relationship" may be the above-mentioned frequency g (r, κ) itself, or may be information for specifying the frequency g (r, κ).
It is desirable that the learning process is performed using the "feature amount" based on the "dynamic change of the eye" of the "subject" himself / herself, which is the target of estimation of the "attention range". As a result, the "attention range" of the "subject" can be estimated with high accuracy from the "feature amount" based on the "dynamic change of the eye" such as microsaccade. However, the learning process may be performed using a "feature amount" based on a "dynamic change of the eye" other than the "target person" for which the "attention range" is estimated.

その他、重回帰分析、隠れマルコフモデル、ニューラルネットワーク、ディープラーニングなどを利用したモデルが用いられてもよい。注意範囲推定モデル１１４は、注意範囲推定装置１１０の記憶部（図示せず）に記憶されていてもよいし、外部から注意範囲推定装置１１０に入力されてもよい。 In addition, a model using multiple regression analysis, a hidden Markov model, a neural network, deep learning, or the like may be used. The attention range estimation model 114 may be stored in a storage unit (not shown) of the attention range estimation device 110, or may be input to the attention range estimation device 110 from the outside.

なお、或る主体の「注意範囲」とは、その主体が注意している範囲、すなわち、その主体が視界でとらえようと意識している範囲を意味する。或る主体の「注意範囲」は、その主体が現実に注視している範囲（注視範囲や注視点）よりも広い。或る主体の「注意範囲」は、例えば、その主体の視野範囲よりも狭く、注視範囲や注視点よりも広い範囲である。「注意範囲」の広さに対応する情報は、「注意範囲」に対して定まる情報である。「注意範囲の広さに対応する情報」は、いくつかの段階にカテゴライズされた注意範囲の広さの程度を表す情報であってもよいし、「注意範囲」のサイズを特定するための情報であってもよい。 The "attention range" of a certain subject means the range that the subject is paying attention to, that is, the range that the subject is conscious of in the field of view. The "attention range" of a subject is wider than the range (gaze range or gaze point) that the subject actually gazes at. The "attention range" of a subject is, for example, a range narrower than the visual field range of the subject and wider than the gaze range or gaze point. The information corresponding to the breadth of the "caution range" is the information determined for the "caution range". The "information corresponding to the width of the attention range" may be information indicating the degree of the width of the attention range categorized into several stages, or information for specifying the size of the "care range". It may be.

＜注意範囲推定部１１３＞
注意範囲推定部１１３は、特徴量抽出部１１２で抽出された「特徴量」に基づいて対象者の注意範囲の広さに対応する情報の推定結果である「推定注意範囲情報」を得、当該「推定注意範囲情報」を運動パフォーマンス推定部１２０に出力する。本実施形態の注意範囲推定部１１３は、特徴量抽出部１１２で抽出された「特徴量」を注意範囲推定モデル１１４に適用することで「推定注意範囲情報」を得て出力する。すなわち、注意範囲推定部１１３は、特徴量抽出部１１２から出力された「特徴量」を注意範囲推定モデル１１４に入力して「推定注意範囲情報」を得て出力する。「推定注意範囲情報」は、注意範囲の広さに対応する情報の推定結果である。 <Caution range estimation unit 113>
The attention range estimation unit 113 obtains "estimated attention range information" which is an estimation result of information corresponding to the breadth of the attention range of the subject based on the "feature amount" extracted by the feature amount extraction unit 112. The "estimated attention range information" is output to the exercise performance estimation unit 120. The attention range estimation unit 113 of the present embodiment obtains and outputs "estimated attention range information" by applying the "feature amount" extracted by the feature amount extraction unit 112 to the attention range estimation model 114. That is, the attention range estimation unit 113 inputs the "feature amount" output from the feature amount extraction unit 112 into the attention range estimation model 114, obtains "estimated attention range information", and outputs the "feature amount". "Estimated attention range information" is an estimation result of information corresponding to the breadth of the attention range.

＜運動パフォーマンス推定モデル１３０＞
運動パフォーマンス推定モデル１３０は、注意範囲の広さに対応する情報を入力とし、ヒトの運動パフォーマンスを示す指標を出力する学習済みモデル（第１の学習済みモデル）である。「運動パフォーマンスを示す指標」の例は、前述した「反応の正確性を表す指標」や「反応速度を表す指標」である。しかし、これは本発明を限定しない。例えば、「反応の強さを表す指標」「反応の大きさを表す指標」「疲労具合を表す指標」「緊張状態を表す指標」などを「運動パフォーマンスを示す指標」としてもよい。運動パフォーマンス推定モデル１３０は、１つのモデルのみを含んでいてもよいし、複数個のモデルを含んでいてもよい。すなわち、運動パフォーマンス推定モデル１３０は、注意範囲の広さに対応する情報を入力とし、１種類の運動パフォーマンスを示す指標を出力するものであってもよいし、複数種類の運動パフォーマンスを示す指標を出力するものであってもよい。 <Exercise performance estimation model 130>
The motor performance estimation model 130 is a trained model (first trained model) that inputs information corresponding to a wide range of attention and outputs an index indicating human motor performance. Examples of the "index showing exercise performance" are the above-mentioned "index showing the accuracy of the reaction" and "the index showing the reaction rate". However, this does not limit the present invention. For example, "an index showing the strength of the reaction", "an index showing the magnitude of the reaction", "an index showing the degree of fatigue", "an index showing the tension state" and the like may be used as "an index showing the exercise performance". The motor performance estimation model 130 may include only one model, or may include a plurality of models. That is, the exercise performance estimation model 130 may input information corresponding to a wide range of attention and output an index indicating one type of exercise performance, or may output an index indicating a plurality of types of exercise performance. It may be output.

運動パフォーマンス推定モデル１３０は、学習用に用意されたヒトの注意範囲の広さに対応する情報と当該ヒトの運動パフォーマンスを示す指標の正解との組からなるデータ集合（学習用データ集合）を用い、機械学習やニューラルネットワーク等の手法により学習されたものである。「学習用データ集合」として、ヒトの眼の動的な変化に基づく特徴量と当該ヒトの運動パフォーマンスを示す指標の正解との組からなるデータ集合が用いられてもよい。この場合には、注意範囲推定モデル１１４を用いて眼の動的な変化に基づく特徴量から注意範囲の広さが推定され、推定された注意範囲の広さと運動パフォーマンスを示す指標の正解との組からなるデータ集合を用いて、運動パフォーマンス推定モデル１３０が学習されればよい。すなわち、運動パフォーマンス推定モデル１３０は、ヒトから取得した注意範囲の広さに対応する情報と、当該ヒトの運動パフォーマンスの指標の正解と、を含む学習用データを用いて、コンピュータにより学習された学習済みモデルである。注意範囲の広さに対応する情報とは、注意範囲の大きさそのものであってもよいし、注意範囲が広さ毎にカテゴリ分けされているものとしてそのカテゴリを特定する情報であってもよい。当該ヒトは自ら運動を行っていてもよいし、自ら運動を行っていなくてもよいが、少なくとも何等かの肉体的または精神的な活動を行っている必要がある。肉体的な活動の例はエクササイズであり、精神的な活動の例は判断、決断、決定、反応などである。本実施形態における「注意範囲の広さに対応する情報とヒトの運動パフォーマンスとの関連付け」は、運動パフォーマンス推定モデル１３０（第１の学習済みモデル）により与えられる。学習用データ集合は、例えば、前述した実験の被験者から取得する。運動パフォーマンス推定モデル１３０の例は、識別学習によって得られるＳＶＭ等の分類器である。その他、重回帰分析、k-means、単純クラスタリング、隠れマルコフモデル、ニューラルネットワーク、ディープラーニングなどを利用したモデルが運動パフォーマンス推定モデル１３０とされてもよい。 The motor performance estimation model 130 uses a data set (learning data set) consisting of a set of information prepared for learning corresponding to a wide range of attention of a human and a correct answer of an index indicating the motor performance of the human. , It was learned by methods such as machine learning and neural networks. As the "learning data set", a data set consisting of a set of a feature amount based on a dynamic change of the human eye and a correct answer of an index indicating the human motor performance may be used. In this case, the width of the attention range is estimated from the feature amount based on the dynamic change of the eye using the attention range estimation model 114, and the estimated width of the attention range and the correct answer of the index indicating the motor performance are obtained. The exercise performance estimation model 130 may be trained using the set of data sets. That is, the motor performance estimation model 130 is a learning that is learned by a computer using the learning data including the information corresponding to the breadth of the attention range acquired from the human and the correct answer of the index of the human motor performance. It is a finished model. The information corresponding to the width of the attention range may be the size of the attention range itself, or may be information that identifies the category as if the attention range is categorized according to the width. .. The person may or may not be exercising himself, but must be at least performing some physical or mental activity. Examples of physical activity are exercise, and examples of mental activity are judgments, decisions, decisions, reactions, and so on. The "association between the information corresponding to the wide range of attention and the human motor performance" in the present embodiment is given by the motor performance estimation model 130 (first trained model). The training data set is obtained from, for example, the subject of the above-mentioned experiment. An example of the motor performance estimation model 130 is a classifier such as SVM obtained by discriminative learning. In addition, a model using multiple regression analysis, k-means, simple clustering, hidden Markov model, neural network, deep learning, etc. may be used as the motor performance estimation model 130.

運動パフォーマンス推定モデル１３０は、入力された注意範囲の広さに対応する情報に対して１種類の運動パフォーマンスを示す指標を出力する１個のモデルを含んでいてもよいし、入力された注意範囲の広さに対応する情報に対して複数種類の運動パフォーマンスを示す指標を出力する１個のモデルを含んでいてもよいし、入力された注意範囲の広さに対応する情報に対して１種類の運動パフォーマンスを示す指標を出力するモデルを複数個含んでいてもよい。運動パフォーマンス推定モデル１３０は、運動パフォーマンス推定装置１の記憶部（図示せず）に記憶されていてもよいし、外部から運動パフォーマンス推定装置１に入力されてもよい。 The exercise performance estimation model 130 may include one model that outputs an index indicating one type of exercise performance for information corresponding to the input attention range, or the input attention range. One model may be included to output an index showing a plurality of types of exercise performance for the information corresponding to the width of the input range, or one type for the information corresponding to the width of the input attention range. It may include a plurality of models that output an index showing the exercise performance of. The exercise performance estimation model 130 may be stored in a storage unit (not shown) of the exercise performance estimation device 1, or may be input to the exercise performance estimation device 1 from the outside.

＜運動パフォーマンス推定部１２０＞
運動パフォーマンス推定部１２０は、ヒトの注意範囲の広さに対応する情報と当該ヒトの運動パフォーマンスとの関連付けに基づいて、注意範囲推定部１１３で得た「推定注意範囲情報」から「対象者」の運動パフォーマンスの指標を得て出力する。本実施形態の運動パフォーマンス推定部１２０は、運動パフォーマンス推定モデル１３０に基づいて「推定注意範囲情報」から運動パフォーマンスを示す指標を得て出力する。つまり、運動パフォーマンス推定部１２０は、注意範囲推定部１１３から出力された注意範囲の広さを表す情報を運動パフォーマンス推定モデル１３０に入力することで、運動パフォーマンスを表す指標（の推定値）を得て出力する。運動パフォーマンス推定部１２０は、１種類の運動パフォーマンスを示す指標のみを出力してもよいし、複数種類の運動パフォーマンスを示す指標を出力してもよい。 <Exercise performance estimation unit 120>
The exercise performance estimation unit 120 uses the "estimated attention range information" obtained by the attention range estimation unit 113 to "target person" based on the association between the information corresponding to the breadth of the human attention range and the human exercise performance. Obtain and output an index of exercise performance. The exercise performance estimation unit 120 of the present embodiment obtains and outputs an index indicating the exercise performance from the "estimated attention range information" based on the exercise performance estimation model 130. That is, the exercise performance estimation unit 120 obtains an index (estimated value) representing the exercise performance by inputting the information indicating the width of the attention range output from the attention range estimation unit 113 into the exercise performance estimation model 130. And output. The exercise performance estimation unit 120 may output only one type of exercise performance index, or may output a plurality of types of exercise performance index.

［第２実施形態］
第２実施形態でも、注意範囲の広さに対応する情報と人の運動パフォーマンスとの関連付けに基づいて、注意範囲推定部１１３で得た推定注意範囲情報から対象者の運動パフォーマンスの指標を得る。ただし、本実施形態では、前述の背景となる実験結果で示した相関関係に関する知見を直接利用し、対象者の眼の動きに基づいて、対象者の反応速度や反応の正確性を推定する。すなわち、第１実施形態では、反応速度や反応の正確性に限定しない様々な運動パフォーマンスを推定するために学習済みモデル（運動パフォーマンス推定モデル）を用いた。しかし、第２実施形態では、運動パフォーマンス推定モデルの代わりに実験により得た知見を応用することで直接的に反応速度や反応の正確性を推定する。以下、これまで説明した事項との相違点を中心に説明し、既に説明した事項については同じ参照番号を用いて説明を簡略化する。 [Second Embodiment]
Also in the second embodiment, an index of the exercise performance of the subject is obtained from the estimated attention range information obtained by the attention range estimation unit 113 based on the association between the information corresponding to the breadth of the attention range and the exercise performance of the person. However, in the present embodiment, the reaction speed and the accuracy of the reaction of the subject are estimated based on the movement of the eyes of the subject by directly using the knowledge about the correlation shown in the above-mentioned background experimental results. That is, in the first embodiment, a trained model (exercise performance estimation model) was used to estimate various exercise performances not limited to the reaction speed and the accuracy of the reaction. However, in the second embodiment, the reaction rate and the accuracy of the reaction are directly estimated by applying the knowledge obtained by the experiment instead of the exercise performance estimation model. Hereinafter, the differences from the items described so far will be mainly described, and the items already explained will be simplified by using the same reference numbers.

図２に例示するように、本実施形態の運動パフォーマンス推定装置２は、注意範囲推定装置１１０、および運動パフォーマンス推定部２２０を有する。 As illustrated in FIG. 2, the exercise performance estimation device 2 of the present embodiment includes an attention range estimation device 110 and an exercise performance estimation unit 220.

＜運動パフォーマンス推定部２２０＞
運動パフォーマンス推定部２２０は、注意範囲推定部１１３から出力された注意範囲の広さに対応する情報（推定注意範囲情報）に基づいて、反応速度および／または反応の正確性を示す指標（運動パフォーマンスの指標）を得て出力する。 <Exercise performance estimation unit 220>
The exercise performance estimation unit 220 is an index (exercise performance) indicating the reaction speed and / or the accuracy of the reaction based on the information corresponding to the breadth of the attention range (estimated attention range information) output from the attention range estimation unit 113. (Indicator of) is obtained and output.

例えば、運動パフォーマンス推定部２２０は、注意範囲推定部１１３で得た「推定注意範囲情報」に対応する注意範囲の広さが「第１の広さ」である場合に「第１の反応の正確性」を表す運動パフォーマンスの指標を得て出力する。また、運動パフォーマンス推定部２２０は、当該「推定注意範囲情報」に対応する注意範囲の広さが「第１の広さ」よりも広い「第２の広さ」である場合に「第１の反応の正確性」よりも高い「第２の反応の正確性」を表す運動パフォーマンスの指標を得て出力する。例えば、運動パフォーマンス推定部２２０は、注意範囲推定部１１３から出力された「推定注意範囲情報」が表す注意範囲の広さが広いほど（注意範囲が広いことを示すカテゴリであるほど）、高い反応の正確性を示す運動パフォーマンスの指標を得て出力する。 For example, the exercise performance estimation unit 220 has "accuracy of the first reaction" when the width of the attention range corresponding to the "estimated attention range information" obtained by the attention range estimation unit 113 is the "first width". Obtain and output an index of exercise performance that represents "sex". Further, the exercise performance estimation unit 220 sets the "first area" when the area of the attention range corresponding to the "estimated attention range information" is a "second area" wider than the "first area". An index of exercise performance representing "accuracy of the second reaction", which is higher than "accuracy of the reaction", is obtained and output. For example, the exercise performance estimation unit 220 responds higher as the range of attention represented by the "estimated attention range information" output from the attention range estimation unit 113 is wider (the category indicates that the attention range is wider). An index of exercise performance indicating the accuracy of is obtained and output.

例えば、運動パフォーマンス推定部２２０は、当該「推定注意範囲情報」に対応する注意範囲の広さが「第３の広さ」である場合に「第３の反応速度」を表す運動パフォーマンスの指標を得て出力する。また運動パフォーマンス推定部２２０は、当該「推定注意範囲情報」に対応する注意範囲の広さが「第３の広さ」よりも広い「第４の広さ」である場合に「第３の反応速度」よりも遅い「第４の反応速度」を表す運動パフォーマンスの指標を得て出力する。例えば、運動パフォーマンス推定部２２０は、注意範囲推定部１１３から出力された「推定注意範囲情報」の広さが広いほど（注意範囲が広いことを示すカテゴリであるほど）、遅い反応速度を示す運動パフォーマンスの指標を得て出力する。 For example, the exercise performance estimation unit 220 sets an index of exercise performance representing a "third reaction speed" when the width of the attention range corresponding to the "estimated attention range information" is the "third width". Get and output. Further, the exercise performance estimation unit 220 has a "third reaction" when the width of the attention range corresponding to the "estimated attention range information" is a "fourth area" wider than the "third area". An index of exercise performance indicating a "fourth reaction speed" slower than the "speed" is obtained and output. For example, in the exercise performance estimation unit 220, the wider the "estimated attention range information" output from the attention range estimation unit 113 (the more the category indicates that the attention range is wider), the slower the reaction speed of the exercise. Obtain and output performance indicators.

このような処理のために、図７に例示するように、予め注意範囲の広さのカテゴリ（「大」「中」「小」）と反応速度の指標（「遅」「中」「速」）や反応の正確性の指標（「高」「中」「低」）とを対応付けた表を運動パフォーマンス推定部２２０に格納しておいてもよい。この場合、運動パフォーマンス推定部２２０は、この表に基づいて、入力された「推定注意範囲情報」が表す注意範囲の広さのカテゴリに対応する反応速度の指標（カテゴリ）や反応の正確性の指標（カテゴリ）を出力する。あるいは、運動パフォーマンス推定部２２０は、「推定注意範囲情報」が表す注意範囲の半径ｒに対して単調増加（または単調非減少）する関数値ｆ（ｒ）を反応の正確性の指標として出力してもよい。同様に、運動パフォーマンス推定部２２０は、「推定注意範囲情報」が表す注意範囲の半径ｒに対して単調減少（または単調非増加）する関数値ｇ（ｒ）を反応速度の指標として出力してもよい。なお、この反応速度の指標は反応速度が速いほど大きい。 For such processing, as illustrated in FIG. 7, the category of the wide range of attention (“large”, “medium”, “small”) and the index of the reaction rate (“slow”, “medium”, “fast”) are used in advance. ) And the index of reaction accuracy (“high”, “medium”, “low”) may be stored in the exercise performance estimation unit 220. In this case, the exercise performance estimation unit 220 determines the reaction speed index (category) and the accuracy of the reaction corresponding to the category of the breadth of the attention range represented by the input "estimated attention range information" based on this table. Output the index (category). Alternatively, the exercise performance estimation unit 220 outputs a function value f (r) that monotonically increases (or monotonically non-decreases) with respect to the radius r of the attention range represented by the “estimated attention range information” as an index of reaction accuracy. You may. Similarly, the exercise performance estimation unit 220 outputs a function value g (r) that monotonically decreases (or monotonically does not increase) with respect to the radius r of the attention range represented by the “estimated attention range information” as an index of the reaction speed. May be good. The index of this reaction rate increases as the reaction rate increases.

［第３実施形態］
第３実施形態では、第１実施形態で用いた注意範囲と運動パフォーマンスを表す指標との相関性を利用し、対象者の運動パフォーマンスを向上させるよう支援する情報を提示する。 [Third Embodiment]
In the third embodiment, information that supports the improvement of the exercise performance of the subject is presented by utilizing the correlation between the attention range used in the first embodiment and the index representing the exercise performance.

図３に例示するように、本実施形態のトレーニング装置３は、注意範囲推定装置１１０、運動パフォーマンス推定部１２０、運動パフォーマンス推定モデル１３０、訓練情報生成部３４０、注意範囲生成モデル３５０、および訓練情報提示部３６０を有する。注意範囲推定装置１１０、運動パフォーマンス推定部１２０、および運動パフォーマンス推定モデル１３０の処理は第１実施形態で説明した通りである。 As illustrated in FIG. 3, the training device 3 of the present embodiment includes an attention range estimation device 110, an exercise performance estimation unit 120, an exercise performance estimation model 130, a training information generation unit 340, an attention range generation model 350, and training information. It has a presentation unit 360. The processing of the attention range estimation device 110, the exercise performance estimation unit 120, and the exercise performance estimation model 130 is as described in the first embodiment.

＜注意範囲生成モデル３５０（第２の学習済みモデル）＞
注意範囲生成モデル３５０は、運動パフォーマンスを示す指標を入力とし、注意範囲の広さに対応する情報を出力する学習済みモデルである。つまり、運動パフォーマンス推定モデル１３０とは逆方向の推定をするモデルである。注意範囲生成モデル３５０の学習には、運動パフォーマンス推定モデル１３０の学習に用いた学習用データ集合と同じ学習用データ集合を用いればよい。運動パフォーマンス推定モデル１３０の学習とは入力と出力の関係を逆にして、機械学習やニューラルネットワーク等により注意範囲生成モデル３５０を学習すればよい。つまり、注意範囲推定モデル１１４を用いて眼の動的な変化に基づく特徴量から注意範囲の広さが推定され、推定された注意範囲の広さと運動パフォーマンスを示す指標の正解との組からなるデータ集合を用いて学習を行えばよい。すなわち、注意範囲生成モデル３５０は、ヒトから取得した注意範囲の広さに対応する情報と、ヒトの運動パフォーマンスの指標の正解と、を含む学習用データを用いて、コンピュータにより学習されたものである。注意範囲の広さに対応する情報とは、注意範囲の大きさそのものであってもよいし、注意範囲が広さ毎にカテゴリ分けされているものとしてそのカテゴリを特定する情報であってもよい。注意範囲生成モデル３５０は、トレーニング装置３の記憶部（図示せず）に記憶されていてもよいし、外部からトレーニング装置３に入力されてもよい。 <Caution range generative model 350 (second trained model)>
The attention range generation model 350 is a trained model that inputs an index indicating exercise performance and outputs information corresponding to the width of the attention range. That is, it is a model that estimates in the opposite direction to the exercise performance estimation model 130. For the learning of the attention range generation model 350, the same learning data set as the learning data set used for the learning of the exercise performance estimation model 130 may be used. The attention range generation model 350 may be learned by machine learning, a neural network, or the like by reversing the relationship between the input and the output from the learning of the motion performance estimation model 130. That is, the width of the attention range is estimated from the feature amount based on the dynamic change of the eye using the attention range estimation model 114, and consists of a set of the estimated width of the attention range and the correct answer of the index indicating the motor performance. Learning may be performed using a data set. That is, the attention range generation model 350 is learned by a computer using learning data including information corresponding to the breadth of the attention range acquired from humans and the correct answer of the index of human motor performance. is there. The information corresponding to the width of the attention range may be the size of the attention range itself, or may be information that identifies the category as if the attention range is categorized according to the width. .. The attention range generation model 350 may be stored in a storage unit (not shown) of the training device 3, or may be input to the training device 3 from the outside.

＜訓練情報生成部３４０＞
訓練情報生成部３４０は、ヒトの運動パフォーマンスと注意範囲の広さに対応する情報との関連付けに基づいて、運動パフォーマンス推定部１２０で得た運動パフォーマンスの指標から、指標が表す運動パフォーマンスよりも高い運動パフォーマンスに関連付けられた注意範囲の広さに対応する情報である目標注意範囲情報を得て出力する。本実施形態では、訓練情報生成部３４０は、注意範囲生成モデル３５０に基づいて、運動パフォーマンス推定部１２０で得た運動パフォーマンスの指標から目標注意範囲情報を得る。 <Training information generation unit 340>
The training information generation unit 340 is higher than the exercise performance represented by the index from the exercise performance index obtained by the exercise performance estimation unit 120 based on the association between the human exercise performance and the information corresponding to the wide range of attention. The target attention range information, which is the information corresponding to the breadth of the attention range associated with the exercise performance, is obtained and output. In the present embodiment, the training information generation unit 340 obtains the target attention range information from the exercise performance index obtained by the exercise performance estimation unit 120 based on the attention range generation model 350.

まず、本実施形態の訓練情報生成部３４０は、運動パフォーマンス推定部１２０から出力された運動パフォーマンスを表す指標と注意範囲生成モデル３５０とに基づいて、訓練用の注意範囲の大きさを表す指標を得て出力する。具体的には、まず、運動パフォーマンス推定部１２０から出力された運動パフォーマンスを表す指標に基づいて目標とする運動パフォーマンスを表す指標を計算する。例えば、運動パフォーマンスを表す指標が取り得る値が連続値であり、値が大きいほど運動パフォーマンスが高いことを示す場合には、運動パフォーマンス推定部１２０から出力された運動パフォーマンスを表す指標に所定の値を加算した値を目標とする運動パフォーマンスを表す指標とする。あるいは、運動パフォーマンスを表す指標が取りうる値が離散値であり、値が大きいほど運動パフォーマンスが高いことを示す場合には、取り得る離散値のうち、運動パフォーマンス推定部１２０から出力された運動パフォーマンスを表す指標よりも大きい離散値を目標とする運動パフォーマンスを表す指標とする。要するに、運動パフォーマンス推定部１２０から出力された運動パフォーマンスを表す指標よりも、運動パフォーマンスが高いことに対応する指標を目標とする運動パフォーマンスを表す指標とすればよい。 First, the training information generation unit 340 of the present embodiment sets an index indicating the size of the attention range for training based on the index representing the exercise performance output from the exercise performance estimation unit 120 and the attention range generation model 350. Get and output. Specifically, first, an index representing the target exercise performance is calculated based on the index representing the exercise performance output from the exercise performance estimation unit 120. For example, when the value that can be taken by the index representing the exercise performance is a continuous value and the larger the value is, the higher the exercise performance is, the index representing the exercise performance output from the exercise performance estimation unit 120 is a predetermined value. The value obtained by adding is used as an index showing the target exercise performance. Alternatively, when the value that can be taken by the index representing the exercise performance is a discrete value, and the larger the value is, the higher the exercise performance is, the exercise performance output from the exercise performance estimation unit 120 among the possible discrete values. It is used as an index showing exercise performance with a discrete value larger than the index representing. In short, rather than the index representing the exercise performance output from the exercise performance estimation unit 120, the index corresponding to the high exercise performance may be used as the target exercise performance index.

次に、訓練情報生成部３４０は、目標とする運動パフォーマンスを表す指標を注意範囲生成モデル３５０に入力し、注意範囲の広さに対応する情報（の推定値）（目標注意範囲情報）を得る。ここで得られる「目標注意範囲情報」は、注意範囲生成モデル３５０に基づいて目標とする運動パフォーマンスを表す指標を達成するために必要と推定された、注意範囲の広さを表す。 Next, the training information generation unit 340 inputs an index representing the target exercise performance into the attention range generation model 350, and obtains information (estimated value) (target attention range information) corresponding to the breadth of the attention range. .. The “target attention range information” obtained here represents the breadth of the attention range estimated to be necessary to achieve the index representing the target exercise performance based on the attention range generation model 350.

＜訓練情報提示部３６０＞
訓練情報提示部３６０は、訓練情報生成部３４０が出力した注意範囲の広さに対応した情報（目標注意範囲情報）を、対象者が認識可能な形で提示する。つまり、対象者の注意範囲を、訓練情報生成部３４０が出力した「目標注意範囲情報」に対応する注意範囲の広さに近づけるための情報を提示する。例えば、対象者がディスプレイの対象物を見ている場合、訓練情報提示部３６０は、ディスプレイに表示された対象物の映像に、「目標注意範囲情報」に対応する注意範囲の広さを示す円形などの図形を重畳した映像を提示してもよい。あるいは、訓練情報提示部３６０は、注意範囲推定部１１３で得た「推定注意範囲情報」に対応する注意範囲の広さを示す指標（現在の注意範囲の広さ）と、訓練情報生成部３４０で得た「目標注意範囲情報」に対応する注意範囲の広さを示す指標とを視認可能なようにディスプレイ上に表示してもよい。これにより、対象者は現在の注意範囲の状態と目指すべき注意範囲の状態を把握できる。あるいは、訓練情報提示部３６０は、音声等により、注意範囲推定部１１３で得た「推定注意範囲情報」に対応する注意範囲の広さを示す指標（現在の注意範囲の広さ）と、訓練情報生成部３４０で得た「目標注意範囲情報」に対応する注意範囲の広さを示す指標との差分を認識可能なように提示してもよい。これにより、対象者は現在の注意範囲の状態と目指すべき注意範囲の状態の差分を把握できる。 <Training information presentation unit 360>
The training information presentation unit 360 presents information (target attention range information) corresponding to the breadth of the attention range output by the training information generation unit 340 in a form recognizable by the target person. That is, information for bringing the attention range of the target person closer to the width of the attention range corresponding to the "target attention range information" output by the training information generation unit 340 is presented. For example, when the target person is looking at the object on the display, the training information presentation unit 360 displays a circular image of the object displayed on the display as a circle indicating the width of the attention range corresponding to the “target attention range information”. An image in which a figure such as the above is superimposed may be presented. Alternatively, the training information presentation unit 360 includes an index (current attention range width) indicating the breadth of the caution range corresponding to the "estimated attention range information" obtained by the attention range estimation unit 113, and the training information generation unit 340. An index indicating the breadth of the attention range corresponding to the "target attention range information" obtained in the above may be displayed on the display so as to be visible. As a result, the subject can grasp the current state of the attention range and the state of the attention range to be aimed at. Alternatively, the training information presentation unit 360 uses an index (current width of attention range) indicating the width of the attention range corresponding to the "estimated attention range information" obtained by the attention range estimation unit 113 by voice or the like, and training. The difference from the index indicating the breadth of the attention range corresponding to the "target attention range information" obtained by the information generation unit 340 may be presented so as to be recognizable. As a result, the subject can grasp the difference between the current state of the attention range and the state of the attention range to be aimed at.

［第４実施形態］
第４実施形態では、第２実施形態の運動パフォーマンス推定装置２の構成を利用して、対象者の反応速度や反応の正確性を向上させるよう支援する情報を提示する。 [Fourth Embodiment]
In the fourth embodiment, the configuration of the exercise performance estimation device 2 of the second embodiment is used to present information that assists the subject in improving the reaction speed and the accuracy of the reaction.

図４に例示するように、本実施形態のトレーニング装置４は、注意範囲推定装置１１０、運動パフォーマンス推定部２２０、および訓練情報生成部４４０、訓練情報提示部４６０を有する。注意範囲推定装置１１０、および運動パフォーマンス推定部２２０の処理は、第２実施形態で説明した通りである。 As illustrated in FIG. 4, the training device 4 of the present embodiment includes a attention range estimation device 110, an exercise performance estimation unit 220, a training information generation unit 440, and a training information presentation unit 460. The processing of the attention range estimation device 110 and the exercise performance estimation unit 220 is as described in the second embodiment.

＜訓練情報生成部４４０＞
訓練情報生成部４４０は、ヒトの運動パフォーマンスと注意範囲の広さに対応する情報との関連付けに基づいて、運動パフォーマンス推定部２２０で得た運動パフォーマンスの指標から、指標が表す運動パフォーマンスよりも高い運動パフォーマンスに関連付けられた注意範囲の広さに対応する情報である目標注意範囲情報を得て出力する。本実施形態の訓練情報生成部４４０は、運動パフォーマンス推定部２２０で推定した運動パフォーマンスの指標（反応速度の指標または反応の正確性の指標）に基づいて、推定した運動パフォーマンスの指標よりも運動パフォーマンスが向上する方向に注意範囲の広さを変化させるための情報（目的注意範囲情報）を得て出力する。すなわち、運動パフォーマンスが反応の正確性である場合には、訓練情報提示部４６０は、注意範囲推定部１１３が出力した「推定注意範囲情報」が示す注意範囲の広さよりも広い注意範囲に対応する「目的注意範囲情報」を得る。また、運動パフォーマンスが反応速度である場合には、訓練情報提示部４６０は、注意範囲推定部１１３が出力した「推定注意範囲情報」が示す注意範囲の広さよりも狭い注意範囲に対応する「目的注意範囲情報」を得る。 <Training information generation unit 440>
The training information generation unit 440 is higher than the exercise performance represented by the index from the exercise performance index obtained by the exercise performance estimation unit 220 based on the association between the human exercise performance and the information corresponding to the wide range of attention. The target attention range information, which is the information corresponding to the breadth of the attention range associated with the exercise performance, is obtained and output. The training information generation unit 440 of the present embodiment has more exercise performance than the estimated exercise performance index based on the exercise performance index (reaction speed index or reaction accuracy index) estimated by the exercise performance estimation unit 220. Information (purpose attention range information) for changing the width of the attention range in the direction of improvement is obtained and output. That is, when the exercise performance is the accuracy of the reaction, the training information presentation unit 460 corresponds to a caution range wider than the width of the attention range indicated by the "estimated attention range information" output by the attention range estimation unit 113. Obtain "purpose attention range information". Further, when the exercise performance is the reaction speed, the training information presentation unit 460 corresponds to a "purpose" that corresponds to a attention range narrower than the width of the attention range indicated by the "estimated attention range information" output by the attention range estimation unit 113. Obtain "Caution range information".

＜訓練情報提示部４６０＞
訓練情報提示部４６０は、訓練情報生成部４４０が出力した「目的注意範囲情報」を、対象者が認識可能な形で提示する。例えば、運動パフォーマンスが反応の正確性であり、対象者がディスプレイの対象物を見ている場合、訓練情報提示部４６０は、対象物の映像に、注意範囲推定部１１３で得た「推定注意範囲情報」に対応する注意範囲の広さよりも広い範囲を示す円形などの図形を重畳した映像を提示する。あるいは、訓練情報提示部４６０は、「推定注意範囲情報」に対応する注意範囲の広さを示す指標と、「目的注意範囲情報」に対応する注意範囲の広さを示す指標とをディスプレイ上に表示してもよい。これにより、対象者は現在の注意範囲の状態と目指すべき注意範囲の状態を把握できる。あるいは、訓練情報提示部４６０は、「推定注意範囲情報」に対応する注意範囲の広さを示す指標と、「目的注意範囲情報」に対応する注意範囲の広さを示す指標との差分を認識可能な音声等を提示してもよい。これにより、対象者は現在の注意範囲の状態と目指すべき注意範囲の状態を把握できる。あるいは、訓練情報提示部４６０は、音声等により、注意範囲を広げる（狭める）ことを勧めるアナウンスを流してもよい。 <Training information presentation section 460>
The training information presentation unit 460 presents the "purpose attention range information" output by the training information generation unit 440 in a form recognizable by the target person. For example, when the exercise performance is the accuracy of the reaction and the subject is looking at the object on the display, the training information presentation unit 460 displays the image of the object on the “estimated attention range” obtained by the attention range estimation unit 113. An image in which a figure such as a circle showing a wider range than the range of attention corresponding to "information" is superimposed is presented. Alternatively, the training information presentation unit 460 displays on the display an index indicating the width of the attention range corresponding to the "estimated attention range information" and an index indicating the width of the attention range corresponding to the "purpose attention range information". It may be displayed. As a result, the subject can grasp the current state of the attention range and the state of the attention range to be aimed at. Alternatively, the training information presentation unit 460 recognizes the difference between the index indicating the breadth of the attention range corresponding to the "estimated attention range information" and the index indicating the breadth of the attention range corresponding to the "purpose attention range information". Possible voices and the like may be presented. As a result, the subject can grasp the current state of the attention range and the state of the attention range to be aimed at. Alternatively, the training information presentation unit 460 may make an announcement recommending that the attention range be widened (narrowed) by voice or the like.

なお、本発明は上述の実施形態に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。 The present invention is not limited to the above-described embodiment. For example, the various processes described above may not only be executed in chronological order according to the description, but may also be executed in parallel or individually as required by the processing capacity of the apparatus that executes the processes. In addition, it goes without saying that changes can be made as appropriate without departing from the spirit of the present invention.

上記の各装置は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。 Each of the above devices is, for example, a general-purpose or dedicated computer including a processor (hardware processor) such as a CPU (central processing unit) and a memory such as a RAM (random-access memory) and a ROM (read-only memory). Is composed of executing a predetermined program. This computer may have one processor and memory, or may have a plurality of processors and memory. This program may be installed in a computer or may be recorded in a ROM or the like in advance. Further, a part or all of the processing units are configured by using an electronic circuit that realizes a processing function without using a program, instead of an electronic circuit (circuitry) that realizes a function configuration by reading a program like a CPU. You may. The electronic circuits constituting one device may include a plurality of CPUs.

上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。 When the above configuration is realized by a computer, the processing contents of the functions that each device should have are described by a program. By executing this program on a computer, the above processing function is realized on the computer. The program describing the processing content can be recorded on a computer-readable recording medium. An example of a computer-readable recording medium is a non-transitory recording medium. Examples of such recording media are magnetic recording devices, optical disks, opto-magnetic recording media, semiconductor memories, and the like.

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。 The distribution of this program is carried out, for example, by selling, transferring, renting, or the like a portable recording medium such as a DVD or CD-ROM on which the program is recorded. Further, the program may be stored in the storage device of the server computer, and the program may be distributed by transferring the program from the server computer to another computer via a network.

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。 A computer that executes such a program first stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. When executing the process, the computer reads the program stored in its own storage device and executes the process according to the read program. Another form of execution of this program may be for the computer to read the program directly from a portable recording medium and perform processing according to the program, and each time the program is transferred from the server computer to this computer. , Sequentially, the processing according to the received program may be executed. Even if the above processing is executed by a so-called ASP (Application Service Provider) type service that realizes the processing function only by the execution instruction and result acquisition without transferring the program from the server computer to this computer. Good.

コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されるのではなく、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。 The processing functions of the present device may not be realized by executing a predetermined program on a computer, but at least a part of these processing functions may be realized by hardware.

１，２ 運動パフォーマンス推定装置
３，４ トレーニング装置 1,2 Exercise performance estimation device 3,4 Training device

Claims (3)

対象者の眼の動的な変化に基づく特徴量を抽出する特徴量抽出部と、
前記特徴量抽出部で抽出された前記特徴量に基づいて前記対象者の注意範囲の広さに対応する情報の推定結果である推定注意範囲情報を得る注意範囲推定部と、
注意範囲の広さに対応する情報とヒトの運動パフォーマンスとの関連付けに基づいて、前記注意範囲推定部で得た前記推定注意範囲情報から前記対象者の運動パフォーマンスの指標を得る運動パフォーマンス推定部と、
を有し、
前記運動パフォーマンス推定部は、
前記注意範囲推定部で得た前記推定注意範囲情報に対応する注意範囲の広さが第３の広さである場合に第３の反応速度を表す前記運動パフォーマンスの指標を得、前記注意範囲推定部で得た前記推定注意範囲情報に対応する注意範囲の広さが前記第３の広さよりも広い第４の広さである場合に前記第３の反応速度よりも遅い第４の反応速度を表す前記運動パフォーマンスの指標を得る
ことを特徴とする運動パフォーマンス推定装置。 A feature extraction unit that extracts features based on dynamic changes in the subject's eyes,
An attention range estimation unit that obtains estimated attention range information that is an estimation result of information corresponding to the breadth of the attention range of the target person based on the feature amount extracted by the feature amount extraction unit.
An exercise performance estimation unit that obtains an index of the exercise performance of the subject from the estimated attention range information obtained by the attention range estimation unit based on the association between the information corresponding to the breadth of the attention range and the human exercise performance. ,
Have a,
The exercise performance estimation unit
When the width of the caution range corresponding to the estimated caution range information obtained by the caution range estimation unit is the third width, the index of the exercise performance representing the third reaction speed is obtained, and the caution range estimation is performed. When the width of the attention range corresponding to the estimated attention range information obtained in the unit is the fourth width wider than the third width, the fourth reaction speed slower than the third reaction speed is applied. Get the index of the exercise performance to represent
Exercise performance estimator and wherein the. 対象者の眼の動的な変化に基づく特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップで抽出された前記特徴量に基づいて前記対象者の注意範囲の広さに対応する情報の推定結果である推定注意範囲情報を得る注意範囲推定ステップと、
注意範囲の広さに対応する情報とヒトの運動パフォーマンスとの関連付けに基づいて、前記注意範囲推定ステップで得た前記推定注意範囲情報から前記対象者の運動パフォーマンスの指標を得る運動パフォーマンス推定ステップと、
を有し、
前記運動パフォーマンス推定ステップは、
前記注意範囲推定ステップで得た前記推定注意範囲情報に対応する注意範囲の広さが第３の広さである場合に第３の反応速度を表す前記運動パフォーマンスの指標を得、前記注意範囲推定ステップで得た前記推定注意範囲情報に対応する注意範囲の広さが前記第３の広さよりも広い第４の広さである場合に前記第３の反応速度よりも遅い第４の反応速度を表す前記運動パフォーマンスの指標を得る
ことを特徴とする運動パフォーマンス推定方法。 A feature extraction step that extracts features based on dynamic changes in the subject's eyes, and
The attention range estimation step for obtaining the estimated attention range information which is the estimation result of the information corresponding to the breadth of the attention range of the subject based on the feature amount extracted in the feature amount extraction step.
Based on the association between the information corresponding to the breadth of the attention range and the human exercise performance, the exercise performance estimation step for obtaining the index of the exercise performance of the subject from the estimated attention range information obtained in the attention range estimation step. ,
Have a,
The exercise performance estimation step
When the width of the caution range corresponding to the estimated caution range information obtained in the caution range estimation step is the third width, the index of the exercise performance representing the third reaction speed is obtained, and the caution range estimation is performed. When the width of the attention range corresponding to the estimated attention range information obtained in the step is the fourth width wider than the third width, the fourth reaction speed slower than the third reaction speed is applied. Get the index of the exercise performance to represent
An exercise performance estimation method characterized by this. 請求項１の運動パフォーマンス推定装置としてコンピュータを機能させるためのプログラム。 Program for causing a computer to function as the exercise performance estimation equipment according to claim 1.
JP2017153134A 2017-08-08 2017-08-08 Exercise performance estimator, method, and program Active JP6755839B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017153134A JP6755839B2 (en) 2017-08-08 2017-08-08 Exercise performance estimator, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017153134A JP6755839B2 (en) 2017-08-08 2017-08-08 Exercise performance estimator, method, and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020135746A Division JP7017171B2 (en) 2020-08-11 2020-08-11 Exercise performance estimators, training devices, their methods, and programs

Publications (2)

Publication Number Publication Date
JP2019030491A JP2019030491A (en) 2019-02-28
JP6755839B2 true JP6755839B2 (en) 2020-09-16

Family

ID=65522680

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017153134A Active JP6755839B2 (en) 2017-08-08 2017-08-08 Exercise performance estimator, method, and program

Country Status (1)

Country Link
JP (1) JP6755839B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7306280B2 (en) * 2020-01-24 2023-07-11 日本電信電話株式会社 Exercise performance evaluation device, exercise performance evaluation method, and program
WO2021199127A1 (en) * 2020-03-30 2021-10-07 日本電信電話株式会社 Exercise performance estimation device, exercise performance estimation method, and program
WO2022107288A1 (en) * 2020-11-19 2022-05-27 日本電信電話株式会社 Estimation device, estimation method, and estimation program
WO2022249324A1 (en) * 2021-05-26 2022-12-01 日本電信電話株式会社 Exercise performance estimation device, exercise performance estimation method, and program
JP2023087412A (en) 2021-12-13 2023-06-23 キヤノン株式会社 Electronic device, electronic device control method, and program
CN115920192B (en) * 2023-02-06 2023-05-09 西南医科大学附属医院 Concentration distribution capability training system, operation method and storage medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11235314A (en) * 1998-02-24 1999-08-31 Kansai Shingijutsu Kenkyusho:Kk Visuosensory determination
JP4977856B2 (en) * 2006-04-25 2012-07-18 国立大学法人豊橋技術科学大学 Awakening state detection method and awakening state detection device
JP2010259769A (en) * 2009-04-06 2010-11-18 Toyota Motor Corp Visual training apparatus
JP6713434B2 (en) * 2016-05-30 2020-06-24 日本電信電話株式会社 Attention range estimation device, learning device, methods thereof, and program

Also Published As

Publication number Publication date
JP2019030491A (en) 2019-02-28

Similar Documents

Publication Publication Date Title
JP6755839B2 (en) Exercise performance estimator, method, and program
US11089985B2 (en) Systems and methods for using mobile and wearable video capture and feedback plat-forms for therapy of mental disorders
JP7070605B2 (en) Focus range estimator, its method and program
US11013449B2 (en) Methods and systems for decoding, inducing, and training peak mind/body states via multi-modal technologies
JP6084953B2 (en) Content evaluation system and content evaluation method using the same
JP6272829B2 (en) Attention measurement method
US7344251B2 (en) Mental alertness level determination
US7438418B2 (en) Mental alertness and mental proficiency level determination
JP2007006427A (en) Video monitor
EP3164055A1 (en) Eye condition determination system
JP6479708B2 (en) Feature amount extraction apparatus, estimation apparatus, method thereof, and program
JP2019111291A (en) Attention level estimation device, attention level estimation model learning device, attention level estimation method, attention level estimation model learning method, and program
Bhatia et al. A video-based facial behaviour analysis approach to melancholia
JP2017086529A (en) Impression estimation device and program
Kollias et al. The contribution of machine learning and eye-tracking technology in autism spectrum disorder research: a review study
Yamada et al. Detecting mental fatigue from eye-tracking data gathered while watching video
JP6377545B2 (en) Personal identification method, personal identification device, program
JP7552159B2 (en) Drowsiness determination program, drowsiness determination device, and drowsiness determination method
CN111341444B (en) Intelligent painting scoring method and system
Masmoudi et al. Meltdowncrisis: Dataset of autistic children during meltdown crisis
JP7017171B2 (en) Exercise performance estimators, training devices, their methods, and programs
JP7214986B2 (en) Reflectivity determination device, reflectivity determination method, and program
JP5718495B1 (en) Impression estimation device, method thereof, and program
Saini et al. Eye-tracking movements—a comparative study
JP2017086530A (en) Impression estimation device, impression estimation method, and program

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20170830

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200609

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200826

R150 Certificate of patent or registration of utility model

Ref document number: 6755839

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150