JP7078296B1 - 反応評価装置、反応評価システム、反応評価方法 - Google Patents

Abstract

【課題】簡易に反応速度を評価する反応評価装置、反応評価システム、反応評価方法を提供すること。【解決手段】本開示は、ユーザの反応時間を評価する反応評価装置であって、前記ユーザに対して動作が指示されたことを示す刺激の発生と、前記指示に対する前記ユーザの前記動作の発生と、が撮影された動画像データを記憶する動画像データ記憶部と、前記動画像データから、前記刺激が発生した第１時点及び前記動作が発生した第２時点を特定し、前記第１時点から前記第２時点までの前記反応時間を評価する評価部と、を備えることを特徴とする反応評価装置、を提供する。【選択図】図１

Description

本開示は、反応評価装置、反応評価システム、反応評価方法に関する。

何らかの刺激に対し、人がその刺激を認知し、どの程度の時間で反応できるか、を示す反応速度（反射神経とも言われている）は、身体能力の中でも重要な指標である。

特許文献１には被検者が左右の手に持ったパッドを、特定の位置に動かす指示をだし、被検者がパッドを動かすことによって、反射神経を測定する装置が提案されている。

特願２００６－４１８７６公報

しかしながら、特許文献１に記載の方法では、特殊な装置を用いる必要があり、誰もが簡易に反応速度を測定できる装置、システム、方法の提供が期待されるところである。

そこで、本開示は上記問題点に鑑みてなされたものであり、その目的は、簡易に反応速度を評価する反応評価装置、反応評価システム、反応評価方法を提供することである。

本開示によれば、ユーザの反応時間を評価する反応評価装置であって、前記ユーザに指示を提示する指示提示部と、前記指示と併せて刺激を提示する刺激提示部と、前記指示に対する前記ユーザの反応と、前記刺激または前記刺激による影響と、を含む画像から前記刺激が提示された時点を判定する刺激判定部と、前記画像から前記ユーザの反応が起きた時点を判定する反応判定部と、前記刺激判定部と前記反応判定部が判定した時点をもとに、ユーザの反応を評価する評価部と、を備えることを特徴とする、反応評価装置、が提供される。

その他本願が開示する課題やその解決方法については、発明の実施形態の欄および図面により明らかにされる。

本開示によれば、反応速度を簡易に測定できる。

本開示の一実施形態に係る反応評価システムの全体構成例を示す図である。 同実施形態に係るサーバ装置１のハード構成例を示す図である。 同実施形態に係るサーバ装置１の機能構成例を示す図である。 同実施形態に係るユーザ情報記憶部１３１に記憶される情報の構成例を示す図である。 同実施形態に係る指示情報記憶部１３２に記憶される情報の構成例を示す図である。 同実施形態に係るアドバイス情報記憶部１３５に記憶される情報の構成例を示す図である。 同実施形態に係る反応評価システムの処理の流れの一例を示す図である。

本発明の実施形態の内容を列記して説明する。本発明の一実施形態は、以下のような構成を備える。
［項目１］
ユーザの反応時間を評価する反応評価装置であって、
前記ユーザに対して動作が指示されたことを示す刺激の発生と、前記指示に対する前記ユーザの前記動作の発生と、が撮影された動画像データを記憶する動画像データ記憶部と、
前記動画像データから、前記刺激が発生した第１時点及び前記動作が発生した第２時点を特定し、前記第１時点から前記第２時点までの前記反応時間を評価する評価部と、
を備えることを特徴とする反応評価装置。
［項目２］
前記刺激は光、振動のいずれかであること、
を特徴とする、項目１に記載の反応評価装置。
［項目３］
前記動画像データは、音声データを含み、
前記刺激は音であること、
を特徴とする、項目１に記載の反応評価装置。
［項目４］
前記第２時点を特定する反応判定部をさらに備え、
前記反応判定部は、前記動画像データから前記ユーザの身体の部位または前記ユーザが操作する道具を特定し、前記動画像データを構成するフレームの内、前記部位または前記道具が、既定の基準値を超えて動いたフレームを、前記ユーザが反応した反応後フレームと判定し、前記第２時点を特定すること、
を特徴とする、項目１から３のいずれかに記載の反応評価装置。
［項目５］
前記反応判定部は、前記部位または道具の動きの速さを算定し、前記反応後フレームと、それより前の時点の反応前フレームと、の間で、前記第２時点を、前記部位の動きの速さから計算して特定すること、
を特徴とする、項目１から４のいずれかに記載の反応評価装置。
［項目６］
ユーザの反応時間を評価する反応評価システムであって、
前記ユーザに対して動作が指示されたことを示す刺激の発生と、前記指示に対する前記ユーザの前記動作の発生と、が撮影された動画像データを記憶する記憶機能と、
前記動画像データから、前記刺激が発生した第１時点及び前記動作が発生した第２時点を特定し、前記第１時点から前記第２時点までの前記反応時間を評価する評価機能と、
を備えることを特徴とする反応評価システム。
［項目７］
ユーザの反応時間を評価する反応評価方法であって、
プロセッサが、
前記ユーザに対して動作が指示されたことを示す刺激の発生と、前記指示に対する前記ユーザの前記動作の発生と、が撮影された動画像データを記憶する記憶ステップと、
前記動画像データから、前記刺激が発生した第１時点及び前記動作が発生した第２時点を特定し、前記第１時点から前記第２時点までの前記反応時間を評価する評価ステップと、
を備えることを特徴とする反応評価方法。
＜実施の形態の詳細＞

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

本実施形態におけるサーバ装置１は、ユーザに対して端末を通じて指示を出し、当該指示に対するユーザの反応を捉え、指示が提示されてから反応にかかった時間（反応時間）を算出することで、ユーザの反応を評価するものである。

ここで、反応時間に関してはミリ秒レベルでの測定が必要とされる。通常、一般的な、Ｃ／Ｓ構成のシステムでは、サーバで指示を出すＡＰＩを呼び出してから、クライアントに指示が提示されるまでには、通信上の遅延が起きる。また、Ｃ／Ｓ構成に限らず、スタンドアローンアプリなどにおいても、指示を出すコードを実行してから、出力する端末に指示が提示されるまでの時間は、プロセッサの使用状況によって、遅れが生じ得るし、ばらつきが生じる。本実施形態におけるサーバ装置１は、ユーザへの指示を出すＡＰＩを呼び出す、またはコードを実行し、実際に出力端末に指示が出力されるまでに生じる、上記に一例を示した時間差を補正する機能を有する。

本実施形態におけるサーバ装置１は、ユーザに対して端末を通じて指示が出た時間とほぼ同時（撮影における１フレーム分の時間以内であることが望ましい）または一定の時間差で刺激が提示される機能を有し、当該刺激を捉えることで、当該指示がユーザに提示された時点を特定する。このことにより、当該指示に対するユーザの反応を捉え、指示が提示されて（つまり刺激を捉えたタイミング）から反応にかかった時間（反応時間）を算出することで、ユーザの反応を評価するものである。

更に、一般的なスマートフォン等の撮像端末においてはフレームレートが３０ｆｐｓ程度であるため、フレーム同士の間は実に３３ｍ秒もの間が開いている。本実施形態におけるサーバ装置１は、ユーザの反応を撮像した画像から、反応の起点を捉える。更に、フレーム間のどの時点で反応が起きたかを推測する機能を有する。

＝＝概要＝＝
図１は反応評価システムの全体構成を示す図である。図１に示すように、反応評価システムは、サーバ装置１、ユーザ端末３、刺激端末４、撮像端末５を含む。サーバ装置１は、ネットワーク２を介してユーザ端末３、刺激端末４、撮像端末５と接続される。ユーザ端末３、刺激端末４、撮像端末５は１台だけ示してあるが、これ以上存在してもよいことは言うまでもない。

＝＝ユーザ端末３＝＝
ユーザ端末３は、反応速度の評価対象となるユーザやその支援者が操作するコンピュータである。ユーザ端末３は、たとえば、スマートフォンやタブレットコンピュータ、パーソナルコンピュータなどであるが、それに限定されずその他電子機器であってもよい。ユーザは、たとえばユーザ端末３で実行されるアプリケーションやＷｅｂブラウザによりサーバ装置１にアクセスすることができる。なお、ユーザ端末３は、ユーザ端末３から発する表示や音などが発せられてからユーザの感覚器で捉えるまでにかかる時間が無視できる程度に短くなるよう、ユーザの近傍で使用されることが望ましいが、これに限定されない。

＝＝刺激端末４＝＝
刺激端末４は、ユーザに対して刺激を提示するコンピュータである。刺激端末４は、たとえば、スマートフォンやタブレットコンピュータ、パーソナルコンピュータなどであるが、それに限定されずその他電子機器であってもよい。また、刺激端末４は、ユーザ端末３を兼ねていてもよい。なお、刺激端末４は、刺激端末４から発する光や音などが発せられてからユーザの感覚器で捉えるまでにかかる時間が無視できる程度に短くなるよう、ユーザの近傍で使用されることが望ましいが、これに限定されない。

＝＝撮像端末５＝＝
撮像端末５は、反応速度の評価を行っているユーザを含む映像を撮影するコンピュータである。撮像端末５は、たとえば、スマートフォンやタブレットコンピュータ、パーソナルコンピュータなどである。また、撮像端末５は、ユーザ端末３を兼ねていてもよい。更に、また、撮像端末５は、刺激端末４を兼ねていてもよい。更に、撮像端末５は、ユーザ端末３と刺激端末４を兼ねていてもよい。

以下、サーバ装置１の構成について説明する。

図２は、本実施形態のサーバ装置１のハードウェア構成例を示す図である。サーバ装置１は、プロセッサ１０１、メモリ１０２、記憶装置１０３、通信インタフェース１０４、入力装置１０５、出力装置１０６を備える。記憶装置１０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース１０４は、ネットワーク２に接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタやＲＳ２３２Ｃコネクタなどである。入力装置１０５は、たとえばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどを通じてデータの入力を受け付ける装置である。出力装置１０６は、データを出力する、たとえば、ディスプレイやプリンタ、スピーカーなどを備える。

図３は、サーバ装置１の機能構成を示すブロック図である。図４に示すように、サーバ装置１は、ユーザ情報取得部１１１と、指示提示部１１２と、刺激提示部１１３と、画像データ取得部１１４と、刺激判定部１１５と、反応判定部１１６と、評価部１１７と、アドバイス送信部１１８と、の各処理部と、ユーザ情報記憶部１３１と、指示情報記憶部１３２と、画像データ記憶部１３３と、標準情報記憶部１３４と、アドバイス情報記憶部１３５と、の各記憶部と、を含んで構成される。

なお、上記各処理部は、サーバ装置１が備えるプロセッサ１０１が記憶装置１０３に記憶されているプログラムをメモリ１０２に読み出して実行することにより実現され、上記各記憶部は、サーバ装置１が備えるメモリ１０２及び記憶装置１０３が提供する記憶領域の一部として実現される。

ここで、本実施の形態において、ユーザ情報記憶部１３１と、指示情報記憶部１３２と、画像データ記憶部１３３と、標準情報記憶部１３４と、アドバイス情報記憶部１３５と、のデータ構成について示す。

ユーザ情報記憶部１３１は、ユーザ情報取得部１１１が受け付けた、図４に一例を示すユーザ情報を記憶する。図４に示すように、ユーザ情報は、一例として、氏名、年齢、性別、身長、体重、家族構成、基礎疾患の有無（有の場合は疾患名）、経験期間、熟練度、現在の運動状況、反応評価を行う目的などの情報から構成される。

指示情報記憶部１３２は、指示提示部１１２がユーザに提示する、指示情報を記憶する。当該指示情報は、テキスト情報等からなる。指示情報は、一例として、「右手をあげる」、「左足を前に出す」、「左を見る」、「声を出す」、「ボールを投げる」などの、ユーザの身体部位を動作させるもの（ユーザの身体部位を指定しないが、行動の指示、道具を動かす指示など、その指示に従うと、結果的に身体部位が動作、身体部位の位置が変化するものも含む）を含むが、これらに限定されない。

画像データ記憶部１３３は、ユーザに提示された刺激と、ユーザの反応と、を捉えるように撮像された画像を記憶する。当該画像は、動画像で、音声を含んでいてもよい。当該画像は、ユーザの身体の全体または部位、道具などを含み、当該刺激が画像解析により認識できるものであれば、刺激端末４の刺激を提示する部分を含んでいてもよいが、音などの画像解析により認識できない刺激であれば、刺激端末４は含まなくてもよい。また、当該動画は、ユーザの反応（動作や操作など）によって動く道具を含んでいれば、ユーザの身体の全体または部位が含まれていなくてもよい。また、当該動画が撮像されるタイミングは、前記指示がユーザ端末３に提示される時点（刺激が提示される時点）と、ユーザが反応をした時点を含んでいればよい。例えば、当該動画が撮像されるタイミングは、前記指示が提示される前から、前記指示が提示されて所定の時間が過ぎるまで、等である。

標準情報記憶部１３４は、ユーザの反応時間と比較する、標準的な反応時間を記憶する。標準情報は、前記指示情報と対応付けて、例えば、「右手をあげる」に対する反応時間を記憶する。標準情報は、また、年齢、性別、経験、体格などに分けて記憶されていてもよい。

アドバイス情報記憶部１３５は、アドバイス送信部１１８が送信する、図５に一例を示すアドバイス情報を記憶する。アドバイス情報は、反応時間を維持・改善するためのトレーニング、反応時間が遅いことによって生じる課題、不具合等の回避、解決方法や、回避、解決するための製品やサービス等の情報を含むが、これらに限定されない。更に、アドバイス情報は、ユーザが指定する目的に合わせて、前述した内容をカスタマイズした内容であってもよい。

以上がサーバ装置１のデータ構成についての説明である。

ここで、本実施の形態において、ユーザ情報取得部１１１と、指示提示部１１２と、刺激提示部１１３と、画像データ取得部１１４と、刺激判定部１１５と、反応判定部１１６と、評価部１１７と、アドバイス送信部１１８と、の各処理部の機能について示す。

ユーザ情報取得部１１１は、ネットワーク２を介して、ユーザ端末３にユーザ情報に関する入力フォームを提示し、ユーザに関する情報を取得する。当該送受信における通信は、有線、無線のいずれでもよく、また、互いの通信が実行できるのであれば、どのような通信プロトコルを用いてもよい。また、当該ユーザ情報の一部または全体を、サーバ装置１を用いて事業を行う事業者が、前記ユーザへのヒアリングやアンケート等で回収した情報をサーバ装置１に直接入力してもよいし、ネットワーク２を介して、当該事業者の使用する端末から入力してもよい。

指示提示部１１２は、ネットワーク２を介して、ユーザ端末３から、ユーザに対する指示を提示する。当該指示は、ユーザ端末３が有する出力手段を通じて、ユーザに提示される。

刺激提示部１１３は、ネットワーク２を介して、刺激端末４から、刺激を提示する。ここでいう刺激とは、刺激端末４に備わる各種装置によって発せられるものであり、例えば、音、光、振動、電磁波などを含むが、これらに限定されない。また、当該光は、刺激端末４に備わるライト等から発する光や、刺激端末４に備わるディスプレイ等から発する光（ディスプレイの表示）であってもよい。

なお、指示提示部１１２と、刺激提示部１１３は、ユーザ端末３から前記指示、刺激端末４から前記刺激が出力されるように機能する。このことにより、指示は、刺激が提示された時点で提示された、と見做すことができる。

画像データ取得部１１４は、ネットワーク２を介して、撮像端末５によって撮像された画像を取得し、画像データ記憶部１３３に記憶する。

刺激判定部１１５は、画像データ取得部１１４が取得した画像を解析し、前記刺激が刺激端末４から提示された時点（第１時点）を特定する。刺激判定部１１５は、刺激が音の場合は、当該画像に含まれる音声を解析し、当該刺激として出された音を判別し、その時点を特定する。刺激判定部１１５は、刺激が光の場合は、当該画像から、当該光を判別し、その時点を特定する。刺激判定部１１５は、刺激が振動の場合は、当該画像から、当該振動によって発生した画面揺れなどを判定してもよいし、当該画像に含まれる音声から、当該振動によって発生した音を解析してもよく、その時点を特定する。

刺激判定部１１５は、画像データ取得部１１４が取得した画像を解析することで、前記刺激が刺激端末４から提示された時点（ユーザ端末３から指示が提示された時点とほぼ同時）を判定する。これは、指示提示部１１２がユーザ端末３に対して指示を提示する指示をしたのち、実際にユーザ端末３上で指示が提示されるまでには、前述したように、通信上の、または、システム上のわずかな遅延や、プロセッサの使用状況による時間のずれが発生するためである。刺激提示部１１３の指示により刺激端末４から刺激が提示される場合にも、同様にわずかな遅延または時間のずれが発生するため、指示提示部１１２の機能による指示と、刺激提示部１１３の刺激はほぼ同時期にユーザに提示される。当該刺激を画像中から捉えることで、ユーザに指示が提示された時点と見做すことができ、正確な反応時間の評価を行うことに繋がる。

反応判定部１１６は、画像データ取得部１１４が取得した画像を解析し、ユーザの反応を判定する。反応判定部１１６は、指示提示部１１２がユーザに対して提示した指示に対応する、身体部位の動きや、身体部位の動きに伴う道具の動き、発生した音などを解析し、ユーザの反応が起きたことを判定し、その時点（第２時点）を特定する。また、反応判定部１１６が判定する対象は、例えば、特定の身体の部位の動作、特定の身体姿勢を取れたかどうか、表情の変化、目線の動き、スポーツなどで使う道具の動作、ユーザが操作する機械の動作などを含んでもよいが、これらに限定されない。

反応判定部１１６は、一例として、画像データ取得部１１４が取得した画像（映像を構成する各フレームに対応する画像）から、身体の部位を特定し、その座標情報を取得する。身体の部位や道具と座標情報を特定する技術は、一般的な画像解析技術を実装すればよく、ここでは説明を省略する。例えば、反応判定部１１６は、ユーザに提示された指示が「右手をあげる」であった場合、ユーザの右手を特定する。反応判定部１１６は、特定した右手が事前に定められた閾値を超えて動いたかどうかを判定し、動き始めを捉えたフレームを特定することで、反応が起きた時間を特定する。

また、反応判定部１１６は、一例として、画像データ取得部１１４が取得した画像（映像を構成する各フレームに対応する画像）から、道具を特定し、その座標情報を取得する。当該道具が、事前に定めた閾値を超えて動いたかどうかを判定し、動き始めを捉えたフレームを特定することで、反応が起きた時間を特定してもよい。当該道具は、人が操作する道具、機械などであればよい。例えば、バット、競技カルタ、竹刀など、スポーツや競技、遊戯、演技、格闘などにおいて用いるものでもよいし、自転車や自動車などの移動手段でもよい。

また、反応判定部１１６は、目的に応じて指示後の反応に伴って生ずる現象を捉えてもよい。例えば、クレー射撃であれば、音と共にクレーが放出される（指示であり、刺激である。刺激判定部１１５はこの時点を捉え、第１時点となる）が、目的が「発砲までの反応速度を改善したい」であれば、反応判定部１１６は、銃が発射された時点（反応判定部１１６は、トリガーを引く指の動きや、発砲による反動で体が急激に揺れることなど、を動画から判定する）を第２時点としてもよい。また、目的が「クレーが放出されてから落ちるまでの間で、できるだけ早い時間で命中させたい」であれば、反応判定部１１６は、クレーが破壊された時点を反応として判定し、第２時点としてもよい。更に、反応判定部１１６は、複数の現象を反応としても捉えてもよく、その場合第２時点が複数存在することとなる。具体的には、反応判定部１１６は、上述したクレー射撃の例に記載した目的に応じたそれぞれの現象を反応として判定してもよい。反応判定部１１６は、一例として、前記閾値の設定によって、動き始めを捉える場合だけでなく、動きが完遂した状態を捉えてもよい。なお、当該目的は、ユーザ情報記憶部１３１に記憶されている目的でもよいし、指示または指示の対象となる競技ごとに設定されるもの（クレー射撃であれば、クレーを射撃すること、音に反応して射撃すること、などはゴールやルールなどとして設定されている）でもよい。また、目的に対応する、動作を捉える身体の部位や道具などが、サーバ装置１に記憶されていてもよく、反応判定部１１６は、当該記憶をもとに、目的に対応する当該部位や当該道具の動きを捉えてもよい。

なお、一般的なスマートフォンでは３０ｆｐｓで撮像することが多く、各フレームは３３ミリ秒の間があるため、ユーザの反応がフレームとフレームの間で起こることも想定される。また、スマートフォンを含む撮像端末の機種や製造元などによって、撮像時のフレームレートは異なる。このため、反応判定部１１６は、フレームとフレームの間のどの時点で反応が起きたかを推定してもよい。この場合、反応判定部１１６は、反応が起きたフレームＡと、それよりも前の時点のフレームＢにおいて、それぞれの前記部位または道具の座標から、前記部位または道具の動きの速度を求め、フレームＡとフレームＢの間の時間において、反応が起きた時間を推定し、その時点を第２時点と特定してもよい。

評価部１１７は、刺激判定部１１５が特定した刺激を捉えた時点（第１時点）と、反応判定部１１６が特定したユーザの反応が起こった時点（第２時点）の情報をもとに、ユーザが実際に指示を受けた後に反応までかかった時間を算定する。

なお、評価部１１７は、部位の動きが指示通りのものであるかどうかを評価した上で、動き出しの反応を判定してもよい。例えば、評価部１１７は、「右手を上げてください」という指示が提示された場合に、最終的に右手の位置が肩の高さよりも上などの、事前に定められた基準を超えた場合に、その前に起こった、部位が止まった状態から動き出したことを、指示に対する反応であると評価してもよい。これは、偶然、ユーザの意識外で手ブレなどが閾値よりも大きく起こってしまった際の手ブレや、間違った行動と共に右手が動いてしまった場合などに、評価部１１７が、その手ブレや誤った右手の動きを、指示に対する反応と判定してしまうと正しい評価にはならない。このため、実際に右手が上がったことを動画から判定し、その直前の、部位が止まった状態から動き出したことを、指示に対する反応であると判定してもよい。

アドバイス送信部１１８は、前記ユーザ情報と、前記標準情報と、評価部１１７が評価した反応にかかった時間の情報をもとに、ユーザ端末３にアドバイス情報を送信する。アドバイス送信部１１８は、評価部１１７が評価した反応時間と、前記標準情報と比較し、前記標準情報との優劣、または優劣の程度を判定し、前記ユーザ情報に含まれる目的の情報と対応するアドバイスを、アドバイス情報記憶部１３５より読み出し、ユーザ端末３に提示する。アドバイス送信部１１８は、一例として、当該目的が「自動車運転時の反応速度トレーニング」であり、当該反応時間が標準情報よりも著しく劣っていた場合、「事故を起こす可能性があるので、反応時間を早める訓練をしましょう。」などのアドバイスを、ユーザ端末３に提示する。

図６を用いて、本実施形態の代表的な処理の流れを説明する。まず、ユーザ情報取得部１１１がユーザ情報を受け付ける（１００１）。次に、指示提示部１１２がユーザ端末３に指示を提示する（１００２）。また、刺激提示部１１３が刺激端末４に刺激を提示する（１００３）。画像データ取得部１１４が、ユーザの反応と刺激を捉えた画像を取得する（１００４）。刺激判定部１１５は、前記画像から刺激を判定し、刺激のあった時点を特定する（１００５）。反応判定部１１６は、前記画像からユーザの反応を判定し、反応が起きた時点を特定する（１００６）。評価部１１７は、刺激判定部１１５と反応判定部１１６が特定した時点の情報から、ユーザの反応時間を評価する（１００７）。アドバイス送信部１１８はユーザにアドバイスを送信する（１００８）。

なお、ユーザ端末３、刺激端末４、撮像端末５は、同一の端末であってよい。このとき、ユーザ端末３を置く場所やユーザの位置、さらに刺激の種類によっては、端末が発した刺激を、当該端末が備える撮影手段で捉えることができない場合もある。例えば、ユーザの近い背後に反射体や壁などの構造物があれば、ユーザ端末３のディスプレイから刺激として赤色の表示をし、ディスプレイ側に配されたカメラを用いて撮像した場合に、当該反射体または壁に赤い光が映った時点を、刺激判定部１１５の働きにより、第１時点を捉えることができる。しかしながら、そのような条件が整わない場合に、動画像から捉えることのできない刺激を選択してしまうと第１時点を捉えられない場合も想定される。従って、ユーザ端末３、刺激端末４、撮像端末５が同一の端末の場合においては、動画像から捉えにくい刺激（例えば光など）だけでなく、刺激提示部１１３は、音や振動などの刺激をユーザ端末３から同時に発してもよい。刺激判定部１１５は、得られた動画像から、前述の手順で複数の第１時点を推定してもよい。また、ユーザ端末３、刺激端末４、撮像端末５は、同一の端末の場合に限らず、刺激提示部１１３は、複数の刺激を同時に提示してもよい。

変形例として、指示と刺激は同一でもよい。例えば、指示情報が、「音が出たら手を上げる」、「画面が光ったら左を見る」、「音楽に合わせた振り付け」など、事前にユーザに対して取り決めがなされたものなどである。当該指示（刺激）はテキスト以外にも、音や光、振動などの刺激が、ユーザに対して提示されるものである。この場合、刺激提示部１１３が、刺激端末４を通じて刺激を提示する。例えば、具体的には、競技の開始時などに、スピーカーなどを通じて出される音などである。

なお、指示と刺激は同一の場合、刺激提示部１１３が、刺激端末４を通じて刺激を提示しない場合も含んでもよい。この場合の刺激は、例えば、具体的には、競技の開始時または終了時における、手を叩く音や、「用意、スタート」、「止め」などの人が出す声、ピストルの音、笛の音などであるが、これらに限定されない。

また、他の変形例として、刺激判定部１１５は、指示と紐づかない刺激を判定してもよい。刺激判定部１１５は、例えば、画像に含まれる、音（例えば事故や花火の音など）、光（例えば車のヘッドライトや、雷など）、振動（例えば地震など）などを刺激と判定し、当該刺激からユーザが反応するまでの時間を反応時間と判定してもよい。なお、この場合、刺激端末４はコンピュータ以外のものであってもよい。

また、他の変形例として、刺激判定部１１５は、例えば画像以外の、指示、刺激、反応のいずれかまたは複数を含む電子ファイルから、刺激と反応を判定してもよい。この場合、画像データ取得部１１４は、画像ではない音声ファイルなどを取得してもよい。

また、他の変形例として、反応判定部１１６は、動物を捉えた画像を解析することで、人ではなく動物の動きをもとに、動物の反応を判定してもよい。例えば、刺激提示部１１３が、動物を忌避するための音などを刺激として刺激端末４を通じて出し、反応判定部１１６は動物の反応を判定することで、当該音の最適化などを行うことができるが、用途はこれに限定されない。

また、他の変形例として、反応判定部１１６は、ゲームなどの画像を解析することで、ユーザの反応を判定してもよい。この場合、例えば、ゲームの画面上や、スピーカーを通じてテキストまたは音声等で指示または刺激（指示と刺激が同一の場合も含む）が提示される。また、画像データ取得部１１４は、ユーザの操作によって新たに表示される、または表示を変えるなどの、ゲーム画面上のキャラクターなどを含む画像を取得する。反応判定部１１６は、当該ゲームの画面の画像中のキャラクターの動きや、カーソルの動きなど、ユーザの操作と連動する描写を判定する。

また、他の変形例として、サーバ装置１は、ユーザの反応を捉えた一つの動画像から、一つ以上の指示と、一つ以上の刺激と、一つ以上の反応を判定し、評価してもよい。例えば、短距離走のスタート時などは、ピストルの音が指示（刺激でもある）であり、反応はスタート台から足が離れること、地面から手が離れること、頭の位置が上方向に上がる事、などである。反応判定部１１６は、これら複数の反応のそれぞれを判定し、評価部１１７は、刺激からそれぞれの反応までの時間を評価してもよい。また、評価部１１７は、それぞれの反応同士の間の時間を評価してもよい。

また、アドバイス送信部１１８は、前記ユーザ情報と、前記標準情報と、評価部１１７が評価した反応に係った時間の情報と、の一部または全部の情報を、ユーザに対して指導、支援を行う支援者（トレーナーや介護士、指導員など）が用いる情報端末に提示してもよい。また、アドバイス送信部１１８は、前記ユーザ情報と、前記標準情報と、評価部１１７が評価した反応に係った時間の情報をもとに、ユーザ端末３に提示するアドバイス情報を、当該情報端末に提示してもよい。当該支援者は、これらの情報をもとに、ユーザに対してアドバイスを行ってもよいし、当該情報端末から、ネットワーク2を介して、ユーザ端末３に提示してもよい。また、アドバイス送信部１１８は、当該支援者から、当該情報端末に提示したアドバイス情報の修正や追記などの編集を受付けてもよい。アドバイス送信部１１８は、当該支援者から送信の指示を受付け、当該編集後のアドバイス情報を、ユーザ端末3に提示してもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

本明細書において説明した装置は、単独の装置として実現されてもよく、一部または全部がネットワークで接続された複数の装置（例えばクラウドサーバ）等により実現されてもよい。例えば、サーバ装置１の各機能部および各記憶部は、互いにネットワークで接続された異なるサーバにより実現されてもよい。

本明細書において説明した装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係るサーバ装置１の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

また、本明細書においてフローチャート図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

１ サーバ装置
２ ネットワーク
３ ユーザ端末
４ 刺激端末
５ 撮像端末
１０１ プロセッサ
１０２ メモリ
１０３ 記憶装置
１０４ 通信インタフェース
１０５ 入力装置
１０６ 出力装置
１１１ ユーザ情報受付部
１１２ 指示提示部
１１３ 刺激提示部
１１４ 画像データ取得部
１１５ 刺激判定部
１１６ 反応判定部
１１７ 評価部
１１８ アドバイス送信部
１３１ ユーザ情報記憶部
１３２ 指示情報記憶部
１３３ 標準情報記憶部
１３４ アドバイス情報記憶部

Claims (4)

1. ユーザの反応時間を評価する反応評価装置であって、
   前記ユーザに対して動作が指示されたことを示す刺激の発生と、前記指示に対する前記ユーザの前記動作の発生と、が撮影された動画像データを記憶する動画像データ記憶部と、
   前記動画像データを解析して、前記動画像データに基づく画像に含まれる光の発生時点、前記動画データに基づく動画像に含まれる揺れの発生時点、及び前記動画像データに基づく音声に含まれる所定の音の発生時点の少なくともいずれかを示す前記刺激が発生した第１時点を特定するとともに、前記動画データに基づく画像に含まれる前記動作を検出して前記動作が発生した第２時点を特定し、前記第１時点から前記第２時点までの前記反応時間を時間差分に基づき算出する評価部と、
   を備えることを特徴とする反応評価装置。
2. 前記刺激は光、振動、音のいずれかであること、
   を特徴とする、請求項１に記載の反応評価装置。
3. ユーザの反応時間を評価する反応評価プログラムであって、
   プロセッサに、
   前記ユーザに対して動作が指示されたことを示す刺激の発生と、前記指示に対する前記ユーザの前記動作の発生と、が撮影された動画像データを記憶する記憶ステップと、
   前記動画像データを解析して、前記動画像データに基づく画像に含まれる光の発生時点、前記動画データに基づく動画像に含まれる揺れの発生時点、及び前記動画像データに基づく音声に含まれる所定の音の発生時点の少なくともいずれかを示す前記刺激が発生した第１時点を特定するとともに、前記動画データに基づく画像に含まれる前記動作を検出して前記動作が発生した第２時点を特定し、前記第１時点から前記第２時点までの前記反応時間を時間差分に基づき算出する評価ステップと、
   を実行させる、反応評価プログラム。
4. ユーザの反応時間を評価する反応評価方法であって、
   プロセッサが、
   前記ユーザに対して動作が指示されたことを示す刺激の発生と、前記指示に対する前記ユーザの前記動作の発生と、が撮影された動画像データを記憶する記憶ステップと、
   前記動画像データを解析して、前記動画像データに基づく画像に含まれる光の発生時点、前記動画データに基づく動画像に含まれる揺れの発生時点、及び前記動画像データに基づく音声に含まれる所定の音の発生時点の少なくともいずれかを示す前記刺激が発生した第１時点を特定するとともに、前記動画データに基づく画像に含まれる前記動作を検出して前記動作が発生した第２時点を特定し、前記第１時点から前記第２時点までの前記反応時間を時間差分に基づき算出する評価ステップと、
   を実行する、反応評価方法。
   

Images