JP7409184B2 - 状態推定装置 - Google Patents

Description

ここに開示する技術は、状態推定装置に関する。

特許文献１には、携帯端末が開示されている。この携帯端末は、入力操作をするための複数のオブジェクトを主面に表示する表示部と、移動を検出する移動検出部と、画像を取得する画像取得部と、視線位置検出部と、制御部とを備える。視線位置検出部は、画像取得部により取得された画像に基づいて、複数のオブジェクトのいずれかに対応する利用者の視線位置を検出する。制御部は、複数のオブジェクトのうち、視線位置検出部により検出される第１の視線位置に表示されているオブジェクトを対象オブジェクトとして確定する。また、制御部は、表示部の主面に対して水平方向の移動が移動検出部により検出された場合には、その水平方向の移動検出後に視線位置検出部により検出される視線位置を第２の視線位置として確定する。そして、制御部は、第１の視線位置と第２の視線位置との間の距離が閾値以上である場合に、対象オブジェクトの表示位置を第２の視線位置に基づいて変更する。

特開２０１６－１０３１０２号公報

ところで、特許文献１のような携帯端末の機能向上などのために、注意機能低下状態などを含む携帯端末の利用者の状態を推定することが考えられる。しかしながら、どのようにして携帯端末の利用者の状態を推定するのかについては、従来、論じられていない。

ここに開示する技術は、かかる点に鑑みてなされたものであり、その目的とするところは、携帯端末の利用者の状態を推定することにある。

ここに開示する技術は、画像を表示する表示部を有する携帯端末の利用者の状態を推定する状態推定装置に関し、この状態推定装置は、前記利用者の視線を検出する視線検出部と、前記表示部に表示される画像に対する前記利用者の視線の動きに基づいて、注意機能低下状態を含む前記利用者の状態を推定する第１推定処理を行う推定処理部とを備える。

本願発明者は、鋭意研究の結果、表示部に表示される画像に対する利用者の視線の動きと利用者の状態（特に注意機能に関する状態）との間に相関があることを見出した。したがって、第１推定処理を行うことにより、表示部に表示される画像に対する利用者の視線の動きに基づいて、注意機能低下状態を含む利用者の状態を推定することができる。

前記状態推定装置において、前記推定処理部は、前記利用者のメインタスクが前記携帯端末の操作に該当する場合に、前記第１推定処理を行い、前記利用者のメインタスクが前記携帯端末の操作に該当しない場合に、前記第１推定処理を行わないように構成されてもよい。

なお、利用者のメインタスクが携帯端末の操作に該当する場合、携帯端末の表示部に表示された画像に利用者の視線が向きやすくなる。そのため、表示部に表示される画像に対する利用者の視線の動きが阻害されにくい。一方、利用者のメインタスクが携帯端末の操作に該当しない場合、携帯端末の表示部に表示された画像に利用者の視線が向きにくくなる。そのため、表示部に表示される画像に対する利用者の視線の動きが阻害されやすい。したがって、利用者のメインタスクが携帯端末の操作に該当する場合に第１推定処理を行い、利用者のメインタスクが携帯端末の操作に該当しない場合に第１推定処理を行わないようすることにより、表示部に表示される画像に対する利用者の視線の動きに基づく第１推定処理を適切に行うことができる。これにより、利用者の状態の推定を適切に行うことができる。

前記状態推定装置において、前記第１推定処理において前記利用者の状態が前記注意機能低下状態であると推定されるための条件は、前記利用者のメインタスクが前記携帯端末の操作に該当しない場合のほうが、前記利用者のメインタスクが前記携帯端末の操作に該当する場合よりも厳しくてもよい。

なお、利用者のメインタスクが携帯端末の操作に該当しない場合、携帯端末の表示部に表示される画像に対する利用者の視線の動きが阻害されやすいので、第１推定処理における利用者の状態の推定に誤りが生じやすい。したがって、利用者のメインタスクが携帯端末の操作に該当しない場合に行われる第１推定処理における条件（利用者の状態が注意機能低下状態であると推定されるための条件）を、利用者のメインタスクが携帯端末の操作に該当する場合に行われる第１推定処理における条件よりも厳しくすることにより、第１推定処理における利用者の状態の推定誤りの発生を低減することができる。これにより、利用者の状態の推定を適切に行うことができる。

前記状態推定装置において、前記推定処理部は、前記第１推定処理において、前記表示部に表示される画像と前記視線検出部により検出される前記利用者の視線とに基づいて、前記画像に対する前記利用者のボトムアップ注意に割り当てられる注意資源の量と相関のあるボトムアップ指標値を計測するボトムアップ計測部と、前記第１推定処理において、前記ボトムアップ計測部により計測されたボトムアップ指標値に基づいて、前記利用者の状態を推定する推定部とを有してもよい。

前記の構成では、利用者のボトムアップ注意に割り当てられる注意資源の量（以下では「ボトムアップ注意資源量」と記載）に基づいて、利用者の状態を適切に推定することができる。これにより、利用者の状態の推定を適切に行うことができる。

前記状態推定装置において、前記ボトムアップ計測部は、前記第１推定処理において、前記表示部に表示される画像におけるサリエンシーの分布を検出するサリエンシー検出部と、前記第１推定処理において、前記画像におけるサリエンシーの分布に対する前記利用者の視線の動きに基づいて前記ボトムアップ指標値を導出するボトムアップ指標導出部とを有してもよい。

前記の構成では、表示部に表示される画像におけるサリエンシーの分布に対する利用者の視線の動きに基づいて、ボトムアップ指標値を適切に導出することができる。これにより、利用者の状態の推定を適切に行うことができる。

前記状態推定装置において、前記推定処理部は、前記第１推定処理において、前記表示部に表示される画像と前記視線検出部により検出される前記利用者の視線とに基づいて、前記画像に対する前記利用者のトップダウン注意に割り当てられる注意資源の量と相関のあるトップダウン指標値を計測するトップダウン計測部を有してもよい。前記推定部は、前記第１推定処理において、前記トップダウン計測部により計測されたトップダウン指標値と前記ボトムアップ計測部により計測されたボトムアップ指標値とに基づいて、前記利用者の状態を推定してもよい。

前記の構成では、利用者のトップダウン注意に割り当てられる注意資源の量（以下では「トップダウン注意資源量」と記載）とボトムアップ注意資源量とに基づいて、利用者の状態を適切に推定することができる。これにより、利用者の状態の推定を適切に行うことができる。

前記状態推定装置において、前記トップダウン計測部は、前記第１推定処理において、前記表示部に表示される画像における注目箇所を検出する注目箇所検出部と、前記第１推定処理において、前記画像における注目箇所に対する前記利用者の視線の動きに基づいて前記トップダウン指標値を導出するトップダウン指標導出部とを有してもよい。

前記の構成では、表示部に表示される画像における注目箇所に対する利用者の視線の動きに基づいて、トップダウン指標値を適切に導出することができる。これにより、利用者の状態の推定を適切に行うことができる。

前記状態推定装置において、前記推定処理部は、前記利用者のメインタスクが歩行に該当する場合に、前記利用者の周囲環境に対する前記利用者の視線の動きに基づいて前記利用者の状態を推定する第２推定処理を行うように構成されてもよい。

本願発明者は、鋭意研究の結果、利用者の周囲環境に対する利用者の視線の動きと利用者の状態（特に注意機能に関する状態）との間に相関があることを見出した。また、利用者のメインタスクが歩行に該当する場合、利用者の周囲環境に利用者の視線が向きやすくなる。したがって、利用者のメインタスクが歩行に該当する場合に、第２推定処理を行うことにより、利用者の周囲環境に対する利用者の視線の動きに基づいて、注意機能低下状態を含む利用者の状態を適切に推定することができる。これにより、利用者の状態の推定を適切に行うことができる。

前記状態推定装置において、前記推定処理部は、前記表示部に表示される画像に対する前記利用者のボトムアップ注意の生じやすさに応じて、前記第１推定処理と、前記利用者の認知反応時間に基づいて前記利用者の状態を推定する処理とを選択的に行うように構成されてもよい。

前記の構成では、表示部に表示される画像に対する利用者のボトムアップ注意の生じやすさを考慮することにより、表示部に表示される画像に対する利用者の視線の動きに基づいて利用者の状態を推定する第１推定処理と、利用者の認知反応時間に基づいて利用者の状態を推定する処理とを適切に行うことができる。これにより、利用者の状態の推定を適切に行うことができる。

ここに開示する技術によれば、携帯端末の利用者の状態を推定することができる。

実施形態１の携帯端末の外観を例示する斜視図である。 実施形態１の携帯端末の構成を例示するブロック図である。 表示部に表示されるアプリ選択画像を例示する図である。 ニュースアプリの記事閲覧画像を例示する図である。 テレビアプリの視聴画像を例示する図である。 ＳＮＳアプリのメッセージ閲覧画像を例示する図である。 注意機能低下に伴うトップダウン注意およびボトムアップ注意の各々に割り当てられる注意資源の量の変化と認知反応時間の変化を例示する図である。 状態推定部の構成を例示するブロック図である。 利用者の前方環境を示す前方環境画像を例示する図である。 携帯端末画像が重ねられた前方環境画像を例示する図である。 注目箇所の分布を示す注目箇所マップを例示する図である。 サリエンシーの分布を示すサリエンシーマップを例示する図である。 注視点におけるサリエンシーの変化を例示するグラフである。 ランダム点におけるサリエンシーの変化を例示するグラフである。 注視点におけるサリエンシーが閾値を超える確率とランダム点におけるサリエンシーが閾値を超える確率との関係を示すグラフである。 推定処理部の動作について説明するためのフローチャートである。 実施形態１の第１処理について説明するためのフローチャートである。 実施形態１の第２処理について説明するためのフローチャートである。 実施形態１の第３処理について説明するためのフローチャートである。 実施形態１の第４処理について説明するためのフローチャートである。 実施形態１の第５処理について説明するためのフローチャートである。 実施形態１の第６処理について説明するためのフローチャートである。 実施形態２の状態推定部の構成を例示するブロック図である。 実施形態２の第１処理について説明するためのフローチャートである。 実施形態２の第４処理について説明するためのフローチャートである。

以下、図面を参照して実施の形態を詳しく説明する。なお、図中同一または相当部分には同一の符号を付しその説明は繰り返さない。

（実施形態１）
図１および図２は、実施形態１の携帯端末１０の外観および構成を例示する。携帯端末１０は、利用者の手に持たれて操作される。この例では、携帯端末１０は、スマートフォンを構成する。具体的には、携帯端末１０は、筐体１０ａと、表示部１１と、スピーカ１２と、記憶部１３と、情報取得部２０と、制御装置３０とを備える。以下では、携帯端末１０の利用者を単に「利用者」と記載する。

〔筐体〕
筐体１０ａは、扁平な直方体型の箱状に形成される。筐体１０ａには、携帯端末１０の構成部品が収納される。

〔表示部とスピーカと記憶部〕
表示部１１は、画像を表示する。表示部１１は、矩形の板状に形成され、筐体１０ａの前面に設けられる。スピーカ１２は、音声を再生する。記憶部１３は、各種の情報およびデータを記憶する。この例では、記憶部１３は、携帯端末１０において実行可能な各種のアプリケーションのプログラムを記憶する。以下では、アプリケーションを「アプリ」と記載する。このようなアプリの例としては、ニュースアプリ、テレビアプリ、ＳＮＳ（Social Networking Service）アプリなどが挙げられる。

〔情報取得部〕
情報取得部２０は、携帯端末１０において用いられる各種の情報を取得する。この例では、情報取得部２０は、フロントカメラ２１と、リアカメラ２２と、操作部２３と、通信部２４と、マイクロフォン２５と、位置センサ２６と、状態センサ２７と、環境センサ２８とを含む。

〈フロントカメラ〉
フロントカメラ２１は、筐体１０ａの前面に設けられ、フロントカメラ２１は、携帯端末１０の前方に広がる前方領域を撮像することで、携帯端末１０の前方領域を示す画像を取得する。このような構成により、フロントカメラ２１は、利用者の顔（特に眼球）を含む画像を取得することが可能である。例えば、フロントカメラ２１と利用者の顔とが向かい合うように携帯端末１０が利用者の手に持たれた状態で、フロントカメラ２１が撮像動作を行うことにより、利用者の顔を含む画像が取得される。フロントカメラ２１により得られた画像（画像データ）は、制御装置３０に送信される。例えば、フロントカメラ２１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary metal-oxide-semiconductor）などの固体撮像素子を用いて構成される。

〈リアカメラ〉
リアカメラ２２は、筐体１０ａの後面に設けられる。リアカメラ２２は、携帯端末１０の後方に広がる後方領域を撮像することで、携帯端末１０の後方領域を示す画像を取得する。このような構成により、リアカメラ２２は、利用者の周囲に広がる周囲環境（この例では利用者の前方に広がる前方環境）を含む画像を取得することが可能である。例えば、リアカメラ２２が前方環境を向くように携帯端末１０が利用者の手に持たれた状態で、リアカメラ２２が撮像動作を行うことにより、利用者の前方環境を含む画像が取得される。リアカメラ２２により得られた画像（画像データ）は、制御装置３０に送信される。例えば、リアカメラ２２は、ＣＣＤやＣＭＯＳなどの固体撮像素子を用いて構成される。

〈操作部〉
操作部２３は、利用者により操作され、利用者により与えられた操作に応じた信号を出力する。このような構成により、利用者は、操作部２３を操作して情報を入力することができる。操作部２３の出力は、制御装置３０に送信される。この例では、操作部２３は、表示部１１とともにタッチパネルを構成するタッチ操作部を含む。なお、操作部２３は、タッチ操作部の他に、操作ダイヤル、操作ボタンなどを含んでもよい。

〈通信部〉
通信部２４は、携帯端末１０の外部に設けられた通信ネットワーク（例えばインターネットや携帯電話回線など）を通じて各種の情報およびデータを受信する。例えば、通信部２４は、他の情報端末（図示省略）からの音声データ、画像データ、地図情報などを受信する。通信部２４により得られた情報およびデータは、制御装置３０に送信される。

なお、上記の地図情報は、ダイナミックマップなどの三次元地図情報であってもよい。例えば、地図情報は、歩道などの道路に関する道路マップデータと、物体に関する物体情報とを含む。道路マップデータには、道路の形状、道路の構造、道路の勾配、区画線、路面標示などに関する情報が含まれる。物体情報には、静的物体情報と、動的物体情報とが含まれる。静的物体情報は、時間経過により変位しない静止体に関する情報である。静的物体情報には、静止体の形状、静止体の位置座標などに関する情報が含まれる。静止体の例としては、道路標識、構造物などが挙げられる。構造物の例としては、信号機、中央分離帯、センターポール、建物、看板、踏切、トンネル、軌道敷、バス停留所などが挙げられる。動的物体情報は、時間経過により変位する可能性がある動体に関する情報である。動的物体情報には、動体の形状、動体の位置座標、動体の速度などに関する情報が含まれる。動体の例としては、車両、歩行者などが挙げられる。

〈マイクロフォン〉
マイクロフォン２５は、音声を電気信号に変換する。マイクロフォン２５により得られた電気信号（音声データ）は、制御装置３０に送信される。

〈位置センサ〉
位置センサ２６は、携帯端末１０の位置（例えば緯度と経度）を検出する。例えば、位置センサ２６は、全地球測位システムからのＧＰＳ情報を受信し、ＧＰＳ情報に基づいて携帯端末１０の位置を検出する。位置センサ２６により得られた情報（携帯端末１０の位置）は、制御装置３０に送信される。

〈状態センサ〉
状態センサ２７は、携帯端末１０の状態（例えば加速度や角速度や姿勢など）を検出する。例えば、状態センサ２７は、加速度センサ、ジャイロセンサなどを含む。状態センサ２７により得られた情報（携帯端末１０の状態）は、制御装置３０に送信される。

〈環境センサ〉
環境センサ２８は、携帯端末１０の周囲に広がる環境に関する情報（例えば光や磁気など）を検出する。例えば、環境センサ２８は、光センサ、磁気センサ、近接センサなどを含む。環境センサ２８により得られた情報（携帯端末１０の周囲環境に関する情報）は、制御装置３０に送信される。

〔制御装置〕
制御装置３０は、携帯端末１０の各部（この例では表示部１１とスピーカ１２と記憶部１３と情報取得部２０）と信号伝送可能に接続される。そして、制御装置３０は、携帯端末１０の各部により得られた情報に基づいて携帯端末１０の各部を制御する。なお、制御装置３０は、状態推定装置の一例である。

例えば、制御装置３０は、１つまたは複数のＩＣ（Integrated Circuit）により構成される。ＩＣ内には、単一のコアまたはダイが設けられてもよいし、連携する複数のコアまたはダイが設けられてもよい。コアまたはダイは、例えば、ＣＰＵ（プロセッサ）と、ＣＰＵを動作させるためのプログラムやＣＰＵでの処理結果などの情報を記憶するメモリとにより構成されてもよい。

制御装置３０は、制御部３１と、状態推定部４０とを含む。

〈制御部〉
制御部３１は、携帯端末１０の各部により得られた各種の情報およびデータに基づいて携帯端末１０の各部を制御する。また、制御部３１は、記憶部１３に記憶されたアプリのプログラムを実行することで、そのアプリに応じた動作を行う。

例えば、制御部３１は、情報取得部２０により得られた情報およびデータを記憶部１３に記憶する。また、制御部３１は、表示制御、通話制御などを行う。表示制御では、制御部３１は、画像データを表示部１１に出力する。表示部１１は、画像データに示された画像を再生する。通話制御では、制御部３１は、通信部２４により得られた音声データをスピーカ１２に出力する。スピーカ１２は、音声データに示された音声を再生する。また、制御部３１は、マイクロフォン２５により得られた音声データを、通信部２４を経由して通信ネットワークに送信する。

〈状態推定部〉
状態推定部４０は、利用者の状態を推定する。なお、状態推定部４０については、後で詳しく説明する。

〔用語の説明〕
次に、以下の説明において用いられる用語について説明する。以下の説明では、注意資源、トップダウン注意、トップダウン注意資源量、トップダウン注意ディマンド量、ボトムアップ注意、ボトムアップ注意資源量、ボトムアップ注意ディマンド量、タスクディマンド、注目箇所、サリエンシー、認知反応時間、注意機能低下状態、運動機能低下状態、認知運動機能低下状態、正常状態という用語が用いられる。

〈注意資源〉
注意資源は、人の注意力を定量的に示す概念である。人の注意力は、有限の資源であると考えることができる。ある対象に対する注意に割り当てられる注意資源の量が不足している場合、その対象に対して人の注意力を十分に発揮することができず、その対象に対する人の注意が不十分となる。

〈トップダウン注意〉
トップダウン注意は、人が意図する箇所に視線を能動的に移動させる注意メカニズムのことである。例えば、選ぶべき刺激について事前知識をもっている場合、人は、能動的にバイアスをかけることによって目的とする刺激を選択することができる。

〈トップダウン注意資源量とトップダウン注意ディマンド量〉
トップダウン注意資源量は、トップダウン注意に割り当てられる注意資源の量のことである。また、トップダウン注意ディマンド量は、トップダウン注意に対して要求される注意資源の量のことである。トップダウン注意資源量がトップダウン注意ディマンド量を下回ると、トップダウン注意が不十分となる。

〈ボトムアップ注意〉
ボトムアップ注意は、目立つ箇所に人の視線が受動的に惹きつけられる注意メカニズムのことである。例えば、複数の視覚刺激のうち１つの刺激が周囲の刺激と顕著に異なる場合、視覚刺激が突然出現した場合など、その刺激に対して人の視線が受動的に惹きつけられる。

〈ボトムアップ注意資源量とボトムアップ注意ディマンド量〉
ボトムアップ注意資源量は、ボトムアップ注意に割り当てられる注意資源の量のことである。また、ボトムアップ注意ディマンド量は、ボトムアップ注意に対して要求される注意資源の量のことである。ボトムアップ注意資源量がボトムアップ注意ディマンド量を下回ると、ボトムアップ注意が不十分となる。

〈タスクディマンド〉
タスクディマンドは、人に課せられるタスクの難易度のことである。タスクの難易度が高くなるに連れて、タスクディマンドが大きくなる。タスクの例としては、携帯端末１０の表示を確認しながら携帯端末１０を操作するという操作タスク、携帯端末１０の表示を確認しながら歩行するという歩行タスクなどが挙げられる。操作タスクにおいて行われる動作の例としては、ニュース記事の閲覧、テレビ映像の閲覧、メッセージの閲覧、アイコンの視認、アイコンの選択などが挙げられる。歩行タスクにおいて行われる動作の例としては、状況監視、危険回避、交通ルール遵守、目的地探索などが挙げられる。

〈注目箇所〉
注目箇所は、タスクを達成するために人が注目すべき箇所のことであり、トップダウン注意において人が意図的に視線を向けるべき箇所である。注目箇所の例としては、表示部１１に表示される画像における注目箇所、利用者の周囲環境における注目箇所などが挙げられる。

表示部１１に表示される画像における注目箇所は、操作タスクを達成するために利用者が注目すべき箇所のことである。表示部１１に表示される画像における注目箇所の例としては、操作タスクと関連性のある情報が表示される情報箇所、携帯端末１０の操作のために視認すべき操作箇所などが挙げられる。情報箇所の例としては、意味性の高い箇所が挙げられる。

利用者の周囲環境における注目箇所は、歩行タスクを達成するために利用者が注目すべき箇所のことである。利用者の周囲環境における注目箇所の例としては、歩行タスクと関連性のある情報が表示される歩行情報箇所、利用者が安全に歩行するために視認すべき視認要求箇所などが挙げられる。歩行情報箇所の例としては、信号機、道路標識、路面標示などが挙げられる。視認要求箇所の例としては、他の歩行者、車両などが挙げられる。

なお、注目箇所は、経験的に定められてもよい。例えば、歩行者の飛び出しが予測される交差点が利用者の周囲環境における注目箇所に設定されてもよい。

〈サリエンシー〉
サリエンシーは、ボトムアップ注意を誘引する視覚刺激の度合いを示す値であり、色、輝度、方向、動きなどの特徴により変化する値である。例えば、画像に含まれる任意の領域とその領域の周囲の領域との間において色、輝度、方向、動きなどの特徴の違いが顕著になるに連れて、ボトムアップ注意を誘引する視覚刺激が強くなり、その任意の領域におけるサリエンシーが高くなる。画像に含まれる任意の箇所におけるサリエンシーが高くなるほど、その任意の箇所に人の視線が惹きつけられやすくなる。

以下では、サリエンシーが比較的に高い箇所を「高誘目箇所」と記載し、サリエンシーが比較的に低い箇所を「低誘目箇所」と記載する。例えば、高誘目箇所は、サリエンシーが予め定められたサリエンシー基準値を上回る箇所であり、低誘目箇所は、サリエンシーがサリエンシー基準値を下回る箇所である。

また、以下では、画像において高誘目箇所が占める割合を「高誘目割合」と記載する。例えば、高誘目割合は、画像に含まれる高誘目箇所の総面積を画像の全面積で除算して得られる値である。また、以下では、高誘目割合が比較的に高い画像を「高誘目画像」と記載し、高誘目割合が比較的に低い画像を「低誘目画像」と記載する。例えば、高誘目画像は、高誘目割合が予め定められた高誘目割合閾値を上回る画像であり、低誘目画像は、高誘目割合が高誘目割合閾値を上回らない画像である。なお、高誘目画像は、ボトムアップ注意が比較的に生じやすい画像である。低誘目画像は、ボトムアップ注意が比較的に生じにくい画像である。

〈認知反応時間〉
認知反応時間は、人が認知してから行動を起こすまでに要する時間のことである。認知反応時間の例としては、人が表示部１１に表示された画像に含まれる特定箇所を視認してから人が特定箇所を選択する操作（例えばタッチ操作）を操作部２３に与えるまでに要する時間が挙げられる。特定箇所の例としては、アイコン、文字盤に含まれる文字などが挙げられる。

〈注意機能低下状態〉
注意機能低下状態は、人の注意機能が低下している状態のことである。注意機能低下状態では、利用者による携帯端末１０の操作に支障がある。注意機能低下状態には、軽度の注意機能低下状態である第１注意機能低下状態と、重度の注意機能低下状態である第２注意機能低下状態とがある。

第１注意機能低下状態は、休憩などにより正常状態に回復することが可能な注意機能低下状態のことである。第１注意機能低下状態の例としては、覚醒低下、疲労、漫然状態などが挙げられる。

第２注意機能低下状態は、第１注意機能低下状態よりも人の注意機能が低下している状態のことである。また、第２注意機能低下状態は、休憩などにより正常状態に回復することが困難な状態である。第２注意機能低下状態の例としては、注意機能の低下を伴う疾患が挙げられる。注意機能の低下を伴う疾患の例としては、心筋梗塞などの心疾患、脳卒中などの脳疾患、癲癇、低血糖などが挙げられる。

〈運動機能低下状態と認知運動機能低下状態〉
運動機能低下状態は、人の運動機能が低下している状態のことである。運動機能低下状態では、人の歩調および姿勢の振れに異常が生じやすい。認知運動機能低下状態は、人が認知して行動するという認知運動機能が低下している状態のことである。認知運動機能低下状態では、誤操作が生じやすい。

〈正常状態〉
正常状態は、上記のような異常が人に生じていない状態であり、人が行うべき操作を正常に行うことが可能な状態のことである。正常状態では、利用者による携帯端末１０の操作が正常に行われる。

〔表示部に表示される画像〕
次に、図３～図６を参照して、携帯端末１０の表示部１１に表示される画像について説明する。例えば、制御装置３０は、図３に示すアプリ選択画像Ｄ１０を表示部１１に表示させる。アプリ選択画像Ｄ１０には、ニュースアプリアイコン８１と、テレビアプリアイコン８２と、ＳＮＳアプリアイコン８３とが含まれる。

〈記事閲覧画像〉
アプリ選択画像Ｄ１０に含まれるニュースアプリアイコン８１を選択する操作が操作部２３に与えられると、ニュースアプリが起動する。そして、図４に示すように、記事閲覧画像Ｄ１１が表示部１１に表示される。図４に示した記事閲覧画像Ｄ１１には、テキスト領域ＲＴと、ピクチャ領域ＲＰとが含まれる。テキスト領域ＲＴには、記事などの意味性の高い情報が表示される。ピクチャ領域ＲＰには、広告などの意味性の低い情報が表示される。図４に示した記事閲覧画像Ｄ１１では、注目箇所と高誘目箇所とが混在する。図４の例では、テキスト領域ＲＴが注目箇所に該当し、ピクチャ領域ＲＰが高誘目箇所に該当する。図４に示した記事閲覧画像Ｄ１１は、高誘目画像（高誘目箇所の占める割合が比較的に高い画像）に該当する。

〈視聴画像〉
アプリ選択画像Ｄ１０に含まれるテレビアプリアイコン８２を選択する操作が操作部２３に与えられると、テレビアプリが起動する。そして、図５に示すように、視聴画像Ｄ１２が表示部１１に表示される。図５に示した視聴画像Ｄ１２には、テキスト領域ＲＴと、ピクチャ領域ＲＰとが含まれる。ピクチャ領域ＰＲには、テレビ番組の映像などの意味性の高い情報が表示される。テキスト領域ＲＴには、テレビ番組に関する説明などの意味性の高い情報が表示される。なお、視聴画像Ｄ１２には、広告などの意味性の低い情報が表示されるサブピクチャ領域（図示省略）が含まれてもよい。図５に示した視聴画像Ｄ１２では、注目箇所と高誘目箇所とが混在する。図５の例では、テキスト領域ＲＴが注目箇所に該当し、ピクチャ領域ＲＰが注目箇所と高誘目箇所の両方に該当し、サブピクチャ領域が高誘目箇所に該当する。図５に示した視聴画像Ｄ１２は、高誘目画像（高誘目箇所の占める割合が比較的に高い画像）に該当する。

〈メッセージ閲覧画像〉
アプリ選択画像Ｄ１０に含まれるＳＮＳアプリアイコン８３を選択する操作が操作部２３に与えられると、ＳＮＳアプリが起動する。そして、図６に示すように、メッセージ閲覧画像Ｄ１３が表示部１１に表示される。図６に示したメッセージ閲覧画像Ｄ１３には、テキスト領域ＲＴが含まれる。テキスト領域ＲＴには、メッセージ本文などの意味性の高い情報が表示される。なお、図６に示したメッセージ閲覧画像Ｄ１３では、注目箇所と高誘目箇所とが混在しておらず、注目箇所が支配的である。図６の例では、テキスト領域ＲＴが注目領域に該当する。図６に示したメッセージ閲覧画像Ｄ１３は、低誘目画像（高誘目箇所の占める割合が比較的に低い画像）に該当する。

〔本願発明者により得られた知見〕
本願発明者は、鋭意研究の結果、表示部１１に表示される画像（または利用者の周囲環境）に対する利用者の視線の動きと、利用者の状態（特に注意機能に関する状態）との間に相関があることを見出した。具体的には、本願発明者は、図７に示すように、利用者などの人の注意機能の低下に応じてトップダウン注意資源量およびボトムアップ注意資源量が変化することを見出した。図７の例において、右上がりの斜線のハッチングが付された上向きの三角形の高さは、トップダウン注意資源量を示す。破線の上向きの三角形の高さは、トップダウン注意ディマンド量を示す。左上がりの斜線のハッチングが付された下向きの三角形の高さは、ボトムアップ注意資源量を示す。また、本願発明者は、図７に示すように、人の注意機能の変化に応じて人の認知反応時間が変化することを見出した。

そして、本願発明者は、以下のことを見出した。

（１）人の状態が正常状態から第２注意機能低下状態（重度の注意機能低下状態）になると、人の注意資源の総量が減少する。具体的には、トップダウン注意資源量が減少し、トップダウン注意資源量がトップダウン注意ディマンド量を下回る。一方、ボトムアップ注意資源量も減少する。

（２）人の状態が正常状態から第１注意機能低下状態（軽度の注意機能低下状態）になると、トップダウン注意資源量が減少し、トップダウン注意資源量がトップダウン注意ディマンド量を下回る。一方、トップダウン注意資源量が減少した分、ボトムアップ注意資源量が増加する。逆に、人の状態が第１注意機能低下状態（軽度の注意機能低下状態）から正常状態になると、トップダウン注意資源量が増加し、トップダウン注意資源量がトップダウン注意ディマンド量に到達する。一方、トップダウン注意資源量が増加した分、ボトムアップ注意資源量が減少する。なお、人の状態が第１注意機能低下状態である場合の注意資源の総量は、人の状態が正常状態である場合の注意資源の総量と同等である。

（３）トップダウン注意資源量およびボトムアップ注意資源量は、タスクディマンドに応じて変化する。具体的には、タスクディマンドが増加すると、トップダウン注意ディマンド量が増加する。その結果、トップダウン注意資源量が増加し、トップダウン注意資源量がトップダウン注意ディマンド量に到達する。一方、トップダウン注意資源量が増加した分、ボトムアップ注意資源量が減少する。逆に、タスクディマンドが減少すると、トップダウン注意ディマンド量が減少する。その結果、トップダウン注意資源量が減少し、トップダウン注意資源量がトップダウン注意ディマンド量に到達する。一方、トップダウン注意資源量が減少した分、ボトムアップ注意資源量が増加する。

（４）トップダウン注意資源量と相関のあるトップダウン指標値と予め定められたトップダウン閾値とを比較することで、トップダウン注意資源量を評価することができる。なお、トップダウン閾値は、トップダウン注意ディマンド量に応じた値に設定される。具体的には、トップダウン注意ディマンド量が多くなるに連れて、トップダウン閾値が大きくなる。例えば、トップダウン閾値は、トップダウン注意資源量がトップダウン注意ディマンド量と一致するときのトップダウン指標値に設定される。なお、トップダウン注意ディマンド量は、タスクディマンドに応じて変化する。具体的には、タスクディマンドが大きくなるに連れて、トップダウン注意ディマンド量が多くなる。

（５）ボトムアップ注意資源量と相間のあるボトムアップ指標値と予め定められたボトムアップ閾値とを比較することで、ボトムアップ注意資源量を評価することができる。なお、ボトムアップ閾値は、ボトムアップ注意ディマンド量に応じた値に設定される。具体的には、ボトムアップ注意ディマンド量が多くなるに連れて、ボトムアップ閾値が大きくなる。例えば、ボトムアップ閾値は、ボトムアップ注意資源量がボトムアップ注意ディマンド量と一致するときのボトムアップ指標値に設定される。なお、ボトムアップ注意ディマンド量は、タスクディマンドに応じて変化する。具体的には、タスクディマンドが大きくなるに連れて、ボトムアップ注意ディマンド量が少なくなる。例えば、ボトムアップ注意ディマンド量は、予め定められた注意ディマンド総量からトップダウン注意ディマンド量を差し引いて得られる量である。注意ディマンド総量は、例えば、正常状態時における注意資源の総量である。

（６）人の注意機能が低下していくに連れて、人の認知反応時間が長くなっていく。具体的は、人の状態が正常状態から第１注意機能低下状態（軽度の注意機能低下状態）になると、認知反応時間が長くなり、人の状態が第１注意機能低下状態から第２注意機能低下状態（重度の注意機能低下状態）になると、認知反応時間がさらに長くなる。

（７）認知反応時間と予め定められた時間閾値（具体的には第１時間閾値と第２時間閾値）とを比較することで、認知反応時間を評価することができる。例えば、第１時間閾値は、正常状態と第１注意機能低下状態との境界となる認知反応時間に設定される。第２時間閾値は、第１注意機能低下状態と第２注意機能低下状態との境界となる認知反応時間に設定される。そして、認知反応時間と第１時間閾値と第２時間閾値とを比較することで、正常状態と第１注意機能低下状態と第２注意機能低下状態とを推定することができる。

〔状態推定部の構成〕
図８は、状態推定部４０の構成を例示する。状態推定部４０は、視線検出部４１と推定処理部４２と、画像取得部５０と、メインタスク検出部５１と、画像種類検出部５２と、時間検出部５３と、誤操作検出部５４と、歩調検出部５５と、ふらつき検出部５６とを有する。

〔視線検出部〕
視線検出部４１は、利用者の視線を検出する。この例では、視線検出部４１は、フロントカメラ２１により得られた画像（利用者の顔を含む画像）に対して視線検出処理を行うことにより、利用者の視線を検出する。なお、この視線検出処理は、深層学習により生成された学習モデル（視線を検出するための学習モデル）を用いて行われる処理であってもよいし、周知の視線検出技術を用いて行われる処理であってもよい。例えば、視線検出部４１は、フロントカメラ２１により得られた画像の中から利用者の瞳孔を検出し、その検出された瞳孔に基づいて利用者の視線を検出する。なお、利用者の視線は、利用者の右眼の視線であってもよいし、利用者の左眼の視線であってもよいし、利用者の右眼の視線および左眼の視線に基づいて導出される視線であってもよい。

〔画像取得部〕
画像取得部５０は、利用者の周囲環境を示す画像（画像データ）を取得する。画像取得部５０により得られた画像は、推定処理部４２に送られる。例えば、画像取得部５０は、以下の手順により、利用者の周囲環境を示す画像を取得する。

まず、画像取得部５０は、リアカメラ２２の出力に基づいて、利用者の前方環境を示す前方環境画像Ｄ２０（図９参照）を取得する。次に、画像取得部５０は、前方環境画像Ｄ２０に、携帯端末１０を示す携帯端末画像Ｄ１５（図１０参照）を合成することにより、利用者の前方環境を示す前方環境画像Ｄ２１を生成する。図１０に示すように、前方環境画像Ｄ２１では、前方環境画像Ｄ２０に、携帯端末画像Ｄ１５が重ねられている。なお、携帯端末画像Ｄ１５は、予め準備された携帯端末１０の前面を示す画像と、表示部１１に表示される画像とが合成されて生成される。図１０に示した携帯端末画像Ｄ１５では、携帯端末１０の前面の画像に、表示部１１に表示される記事閲覧画像Ｄ１１が重ねられている。

なお、画像取得部５０は、利用者の前方環境を示す前方環境画像Ｄ２０を推定処理部４２に出力してもよい。また、画像取得部５０は、通信部２４により得られた地図情報と、位置センサ２６により得られた位置情報（携帯端末１０の位置）とに基づいて、利用者の周囲環境を示す画像を生成してもよい。

〔メインタスク検出部〕
メインタスク検出部５１は、情報取得部２０により取得された情報に基づいて、利用者のメインタスクを検出する。メインタスク検出部５１による検出結果は、推定処理部４２に送られる。利用者のメインタスクの例としては、操作タスクに該当する携帯端末１０の操作、歩行タスクに該当する歩行などが挙げられる。

この例では、メインタスク検出部５１は、利用者のメインタスクが携帯端末１０の操作（操作タスク）に該当することを検出する。例えば、メインタスク検出部５１は、位置センサ２６の出力に基づいて携帯端末１０の位置を検出し、携帯端末１０の位置の時間的変化に基づいて利用者の移動速度を推定する。また、メインタスク検出部５１は、操作部２３の出力に基づいて利用者が操作部２３を操作していることを検出する。そして、メインタスク検出部５１は、利用者の移動速度が予め定められた第１速度閾値を下回り、且つ、利用者による操作が操作部２３（タッチ操作部）に与えられている場合に、利用者のメインタスクが携帯端末１０の操作に該当することを示す検出結果を出力する。なお、第１速度閾値は、利用者が歩行せずに停止していると見なすことができる最高の移動速度に設定されてもよい。

また、この例では、メインタスク検出部５１は、利用者のメインタスクが歩行（歩行タスク）に該当することを検出する。例えば、メインタスク検出部５１は、利用者の移動速度が第１速度閾値を上回るが予め定められた第２速度閾値を下回る場合に、利用者のメインタスクが歩行に該当することを示す検出結果を出力する。なお、第２速度閾値は、利用者が歩行していると見なすことができる最高の移動速度に設定されてもよい。

〔画像種類検出部〕
画像種類検出部５２は、情報取得部２０により取得された情報に基づいて、表示部１１に表示される画像の種類を検出する。画像種類検出部５２による検出結果は、推定処理部４２に送られる。画像の種類の例としては、画像に関連するアプリの種類、画像に対する利用者のボトムアップ注意の生じやすさに関連する分類などが挙げられる。画像に対する利用者のボトムアップ注意の生じやすさは、画像における高誘目割合（画像において高誘目箇所が占める割合）に依存する。

例えば、画像種類検出部５２は、表示部１１に表示される画像に対する利用者のボトムアップ注意の生じやすさを検出する。そして、画像種類検出部５２は、表示部１１に表示される画像に対する利用者のボトムアップ注意の生じやすさに基づいて、表示部１１に表示される画像が「高誘目画像」と「低誘目画像」のどちらに該当するのかを検出する。

具体的には、画像種類検出部５２は、表示部１１に表示される画像における高誘目割合を検出する。表示部１１に表示される画像における高誘目割合が高誘目割合閾値を上回る場合、画像種類検出部５２は、表示部１１に表示される画像が「高誘目画像」に該当することを示す検出結果を出力する。一方、表示部１１に表示される画像における高誘目割合が高誘目割合閾値を上回らない場合、画像種類検出部５２は、表示部１１に表示される画像が「低誘目画像」に該当することを示す検出結果を出力する。

〔時間検出部〕
時間検出部５３は、情報取得部２０により取得された情報に基づいて、利用者の認知反応時間を検出する。時間検出部５３による検出結果は、推定処理部４２に送られる。例えば、時間検出部５３は、視線検出部４１により検出された視線と、表示部１１に表示される画像とに基づいて、表示部１１に表示された画像に含まれる特定箇所（例えばアイコンや文字盤の文字など）を利用者が視認したことを検出する。また、時間検出部５３は、利用者に視認された箇所を選択する操作（具体的にはタッチ）を利用者が操作部２３に与えたことを検出する。そして、時間検出部５３は、表示部１１に表示された画像に含まれる特定箇所を利用者が視認してからその特定箇所を選択する操作を利用者が操作部２３に与えるまでに要する時間を「認知反応時間」として検出する。

〔誤操作検出部〕
誤操作検出部５４は、情報取得部２０により取得された情報に基づいて、利用者の誤操作の頻度を検出する。誤操作検出部５４による検出結果は、推定処理部４２に送られる。誤操作の例としては、文字の入力ミス、アイコンの選択ミスなどが挙げられる。例えば、誤操作検出部５４は、利用者により入力された文字の正誤を判定し、その判定結果に基づいて文字の入力ミスの頻度を検出し、文字の入力ミスの頻度を「利用者の誤操作の頻度」として出力する。なお、誤操作の検出は、深層学習により生成された学習モデル（誤操作を検出するための学習モデル）を用いて行われる処理であってもよいし、周知の正誤判定技術を用いて行われる処理であってもよい。

〔歩調検出部〕
歩調検出部５５は、情報取得部２０により取得された情報に基づいて、利用者の歩調を検出する。歩調検出部５５による検出結果は、推定処理部４２に送られる。例えば、歩調検出部５５は、位置センサ２６の出力に基づいて携帯端末１０の位置を検出し、その携帯端末１０の位置の時間的変化に基づいて利用者の移動速度の単位時間当たりの変化量を推定し、利用者の移動速度の単位時間当たりの変化量を「利用者の歩調」として出力する。

〔ふらつき検出部〕
ふらつき検出部５６は、情報取得部２０により取得された情報に基づいて、利用者のふらつき（姿勢の振れ）を検出する。ふらつき検出部５６による検出結果は、推定処理部４２に送られる。例えば、ふらつき検出部５６は、状態センサ２７の出力に基づいて携帯端末１０の姿勢の振れ幅を検出し、その携帯端末１０の姿勢の振れ幅に基づいて利用者の姿勢の振れ幅を推定し、利用者の姿勢の振れ幅を「利用者のふらつき」として出力する。

〔推定処理部〕
推定処理部４２は、利用者の状態を推定する推定処理を行う。この例では、推定処理部４２は、視線検出部４１と画像取得部５０とメインタスク検出部５１と画像種類検出部５２と時間検出部５３と誤操作検出部５４と歩調検出部５５とふらつき検出部５６の各々の出力に基づいて、第１処理と第２処理と第３処理と第４処理と第５処理と第６処理とを行う。なお、第１処理は、第１推定処理の一例であり、第４処理は、第２推定処理の一例である。

第１処理は、表示部１１に表示される画像に対する利用者の視線の動きに基づいて利用者の状態を推定する処理である。第２処理は、利用者の認知反応時間に基づいて利用者の状態を推定する処理である。第３処理は、利用者の誤操作の頻度に基づいて利用者の状態を推定する処理である。第４処理は、利用者の周囲環境に対する利用者の視線の動きに基づいて利用者の状態を推定する処理である。第５処理は、利用者の歩調に基づいて利用者の状態を推定する処理である。第６処理は、利用者のふらつきに基づいて利用者の状態を推定する処理である。なお、第１～第６処理については、後で詳しく説明する。

この例では、推定処理部４２は、トップダウン計測部６１と、ボトムアップ計測部６２と、推定部６３とを有する。

〈トップダウン計測部〉
トップダウン計測部６１は、第１処理において、表示部１１に表示される画像と視線検出部４１により検出される利用者の視線とに基づいて、表示部１１に表示される画像に対する利用者のトップダウン注意資源量と相間のある第１トップダウン指標値ＴＤ１を計測する。また、トップダウン計測部６１は、第４処理において、利用者の周囲環境と視線検出部４１により検出される利用者の視線とに基づいて、利用者の周囲環境に対する利用者のトップダウン注意資源量と相間のある第２トップダウン指標値ＴＤ２を計測する。利用者のトップダウン注意資源量が多くなるに連れて、第１トップダウン指標値ＴＤ１および第２トップダウン指標値ＴＤ２が大きくなる。この例では、トップダウン計測部６１は、注目箇所検出部６１１と、トップダウン指標導出部６１２とを有する。

《注目箇所検出部》
注目箇所検出部６１１は、第１処理において、表示部１１に表示される画像における注目箇所を検出する。この例では、注目箇所検出部６１１は、表示部１１に表示される画像（画像データ）に基づいて、表示部１１に表示される画像における注目箇所を示す注目箇所マップＤ３０（注目箇所マップデータ）を生成する。具体的には、注目箇所検出部６１１は、メインタスク検出部５１により検出された利用者のメインタスクが携帯端末１０の操作（操作タスク）に該当する場合に、表示部１１に表示される画像（画像データ）を入力する。そして、注目箇所検出部６１１は、以下のように、注目箇所マップＤ３０を生成する。

例えば、注目箇所検出部６１１は、表示部１１に表示される記事閲覧画像Ｄ１１（図４参照）を取得する。次に、注目箇所検出部６１１は、記事閲覧画像Ｄ１１の中から注目箇所を検出する。注目箇所の検出は、深層学習により生成された学習モデル（注目箇所を検出するための学習モデル）を用いて行われる処理であってもよいし、周知の特徴検出技術を用いて行われる処理であってもよい。次に、注目箇所検出部６１１は、注目箇所の検出結果に基づいて、注目箇所マップＤ３０を生成する。図１１に示すように、注目箇所マップＤ３０は、表示部１１に表示される画像における注目箇所の分布を示す。図１１の例では、ハッチングが付された箇所が注目箇所である。具体的には、図１１の例では、テキスト領域ＲＴが注目箇所となる。そして、注目箇所検出部６１１は、表示部１１に表示される画像が更新される毎（または所定時間毎）に、上記の手順により注目箇所マップＤ３０を生成する。これにより、時系列順に並ぶ複数の注目箇所マップＤ３０が得られる。

また、注目箇所検出部６１１は、第４処理において、利用者の周囲環境における注目箇所を検出する。この例では、注目箇所検出部６１１は、画像取得部５０により取得された画像（利用者の周囲環境を示す画像）に基づいて、利用者の周囲環境における注目箇所を示す注目箇所マップ（注目箇所マップデータ）を生成する。具体的には、注目箇所検出部６１１は、メインタスク検出部５１により検出された利用者のメインタスクが歩行（歩行タスク）に該当する場合に、画像取得部５０の出力を入力する。なお、第４処理における注目箇所マップの生成は、第１処理における注目箇所マップＤ３０の生成と同様である。

《トップダウン指標導出部》
トップダウン指標導出部６１２は、第１処理において、表示部１１に表示される画像における注目箇所に対する利用者の視線の動きに基づいて、第１トップダウン指標値ＴＤ１を導出する。具体的には、トップダウン指標導出部６１２は、第１処理において、表示部１１に表示される画像における注目箇所と利用者の視線との合致度（合致頻度）に基づいて、第１トップダウン指標値ＴＤ１を導出する。利用者のトップダウン注意資源量が増加すると、表示部１１に表示される画像における注目箇所と利用者の視線との合致度が増加し、第１トップダウン指標値ＴＤ１が増加する。

この例では、トップダウン指標導出部６１２は、第１処理において、注目箇所検出部６１１により生成された注目箇所マップＤ３０に示された注目箇所と、視線検出部４１により検出された利用者の視線との合致度に応じた値を、第１トップダウン指標値ＴＤ１として導出する。具体的には、トップダウン指標導出部６１２は、予め定められた計測期間毎に、以下の処理を行う。

まず、トップダウン指標導出部６１２は、時系列順に並ぶ複数の注目箇所マップＤ３０の中から計測期間内に含まれる２つ以上の注目箇所マップＤ３０を抽出し、視線検出部４１により検出された利用者の視線の方向に基づいて、計測期間内に含まれる２つ以上の注目箇所マップＤ３０の各々において注視点を検出する。注視点は、注目箇所マップＤ３０における利用者の視線の位置（座標）を示す点である。例えば、トップダウン指標導出部６１２は、予め定められたサンプリング周期毎に、注目箇所マップＤ３０から利用者の視線の位置を注視点として検出してもよい。または、トップダウン指標導出部６１２は、停滞時間が予め定められた基準時間を上回る利用者の視線の位置を注視点として検出してもよい。

次に、トップダウン指標導出部６１２は、計測期間内に含まれる注目箇所マップＤ３０から検出された注視点がその注目箇所マップＤ３０に示された注目箇所と合致するか否かを判定する。

次に、トップダウン指標導出部６１２は、注視点と注目箇所との合致判定の結果に基づいて、第１トップダウン指標値ＴＤ１を導出する。例えば、第１トップダウン指標値ＴＤ１は、計測期間内に含まれる注視点の総数に対して注目箇所と合致する注視点の数が占める割合（以下では「注目合致割合」と記載）に応じた値である。この注目合致割合は、注目箇所と利用者の視線との合致度の一例である。このようにして、計測期間毎に第１トップダウン指標値ＴＤ１が導出される。

また、トップダウン指標導出部６１２は、第４処理において、利用者の周囲環境における注目箇所に対する利用者の視線の動きに基づいて、第２トップダウン指標値ＴＤ２を導出する。具体的には、トップダウン指標導出部６１２は、第４処理において、利用者の周囲環境における注目箇所と利用者の視線との合致度（合致頻度）に基づいて、第２トップダウン指標値ＴＤ２を導出する。利用者のトップダウン注意資源量が増加すると、利用者の周囲環境における注目箇所と利用者の視線との合致度が増加し、第２トップダウン指標値ＴＤ２が増加する。

この例では、トップダウン指標導出部６１２は、第４処理において、注目箇所検出部６１１により生成された注目箇所マップに示された注目箇所と、視線検出部４１により検出された利用者の視線との合致度に応じた値を、第２トップダウン指標値ＴＤ２として導出する。なお、第４処理における第２トップダウン指標値ＴＤ２の導出は、第１処理における第１トップダウン指標値ＴＤ１の導出と同様である。

〈ボトムアップ計測部〉
ボトムアップ計測部６２は、第１処理において、表示部１１に表示される画像と視線検出部４１により検出される利用者の視線とに基づいて、表示部１１に表示される画像に対する利用者のボトムアップ注意資源量と相間のある第１ボトムアップ指標値ＢＵ１を計測する。また、ボトムアップ計測部６２は、第４処理において、利用者の周囲環境と視線検出部４１により検出される利用者の視線とに基づいて、利用者の周囲環境に対する利用者のボトムアップ注意資源量と相間のある第２ボトムアップ指標値ＢＵ２を計測する。利用者のボトムアップ注意資源量が多くなるに連れて、第１ボトムアップ指標値ＢＵ１および第２ボトムアップ指標値ＢＵ２が大きくなる。この例では、ボトムアップ計測部６２は、サリエンシー検出部６２１と、ボトムアップ指標導出部６２２とを有する。

《サリエンシー検出部》
サリエンシー検出部６２１は、第１処理において、表示部１１に表示される画像におけるサリエンシーの分布を検出する。この例では、サリエンシー検出部６２１は、表示部１１に表示される画像（画像データ）に基づいて、表示部１１に表示される画像におけるサリエンシーの分布を示すサリエンシーマップＤ４０（サリエンシーマップデータ）を生成する。具体的には、サリエンシー検出部６２１は、メインタスク検出部５１により検出された利用者のメインタスクが携帯端末１０の操作（操作タスク）に該当する場合に、表示部１１に表示される画像（画像データ）を入力する。そして、サリエンシー検出部６２１は、以下の手順により、サリエンシーマップＤ４０を生成する。

例えば、注目箇所検出部６１１と同様に、サリエンシー検出部６２１は、表示部１１に供表示される記事閲覧画像Ｄ１１（図４参照）を取得する。次に、サリエンシー検出部６２１は、記事閲覧画像Ｄ１１に対してサリエンシーマップ生成処理を行うことにより、サリエンシーマップＤ４０を生成する。なお、サリエンシーマップ生成処理には、サリエンシーディテクションなどの周知の技術を用いることができる。例えば、サリエンシー検出部６２１は、色、輝度、方向、動きなどの特徴毎にサリエンシーマップを生成し、それらの特徴毎のサリエンシーマップを足し合わせることで、最終的なサリエンシーマップ（すべての特徴が反映されたサリエンシーマップ）を生成する。

図１２に示すように、サリエンシーマップＤ４０は、表示部１１に表示される画像におけるサリエンシーの分布を示す。サリエンシーマップＤ４０の画素の値は、その画素の領域におけるサリエンシーを示す。図１２の例では、ハッチングの濃淡によりサリエンシーの高低が示されている。ハッチングが濃くなるに連れて、そのハッチングが付された領域におけるサリエンシーが高くなる。

そして、サリエンシー検出部６２１は、表示部１１に表示される画像が更新される毎（または所定時間毎）に、上記の手順によりサリエンシーマップＤ４０を生成する。これにより、時系列順に並ぶ複数のサリエンシーマップＤ４０が得られる。

また、サリエンシー検出部６２１は、第４処理において、利用者の周囲環境におけるサリエンシーの分布を検出する。この例では、サリエンシー検出部６２１は、画像取得部５０により取得された画像（利用者の周囲環境を示す画像）に基づいて、利用者の周囲環境におけるサリエンシーの分布を示すサリエンシーマップ（サリエンシーマップデータ）を生成する。具体的には、サリエンシー検出部６２１は、メインタスク検出部５１により検出された利用者のメインタスクが歩行（歩行タスク）に該当する場合に、画像取得部５０の出力を入力する。なお、第４処理におけるサリエンシーマップの生成は、第１処理におけるサリエンシーマップＤ４０の生成と同様である。

《ボトムアップ指標導出部》
ボトムアップ指標導出部６２２は、第１処理において、表示部１１に表示される画像におけるサリエンシーの分布に対する利用者の視線の動きに基づいて、第１ボトムアップ指標値ＢＵ１を導出する。具体的には、ボトムアップ指標導出部６２２は、第１処理において、表示部１１に表示される画像における高誘目箇所と利用者の視線との合致度（合致頻度）に基づいて、第１ボトムアップ指標値ＢＵ１を導出する。利用者のボトムアップ注意資源量が増加すると、表示部１１に表示される画像における高誘目箇所と利用者の視線との合致度が増加し、第１ボトムアップ指標値ＢＵ１が増加する。

この例では、ボトムアップ指標導出部６２２は、第１処理において、サリエンシー検出部６２１により生成されたサリエンシーマップＤ４０に示された高誘目箇所と、視線検出部４１により検出された利用者の視線との合致度に応じた値を、第１ボトムアップ指標値ＢＵ１として導出する。具体的には、ボトムアップ指標導出部６２２は、予め定められた演算期間毎に、以下の第１導出処理と第２導出処理と第３導出処理と第４導出処理とを行う。

第１導出処理において、ボトムアップ指標導出部６２２は、時系列順に並ぶ複数のサリエンシーマップＤ４０の中から演算期間内に含まれる２つ以上のサリエンシーマップＤ４０を抽出し、視線検出部４１により検出された利用者の視線の方向に基づいて、計測期間内に含まれる２つ以上のサリエンシーマップＤ４０の各々において注視点を検出し、注視点におけるサリエンシーを検出する。注視点は、サリエンシーマップＤ４０における利用者の視線の位置（座標）を示す点である。例えば、ボトムアップ指標導出部６２２は、予め定められたサンプリング周期毎に、サリエンシーマップＤ４０から利用者の視線の位置を注視点として検出してもよい。または、ボトムアップ指標導出部６２２は、停滞時間が予め定められた基準時間を上回る利用者の視線の位置を注視点として検出してもよい。この第１導出処理により、所定時刻毎の注視点のサリエンシーが得られる。図１３に示すように、注視点のサリエンシーは、時間の経過に応じて変化する。

第２導出処理において、ボトムアップ指標導出部６２２は、時系列順に並ぶ複数のサリエンシーマップＤ４０の中から演算期間内に含まれる２つ以上のサリエンシーマップＤ４０を抽出し、計測期間内に含まれる２つ以上のサリエンシーマップＤ４０の各々においてランダム点を指定し、ランダム点におけるサリエンシーを検出する。ランダム点は、サリエンシーマップＤ４０においてランダムに指定される位置を示す点である。なお、ランダム点は、複数のサリエンシーマップＤ４０のうち第１導出処理により注視点が検出されるサリエンシーマップＤ４０において指定されることが好ましい。すなわち、ランダム点におけるサリエンシーが検出される時刻は、注視点におけるサリエンシーが検出される時刻と一致していることが好ましい。この第２導出処理により、所定時刻毎のランダム点のサリエンシーが得られる。図１４に示すように、ランダム点のサリエンシーは、時間の経過に応じて変化する。

次に、第３導出処理が行われる。第３導出処理において、ボトムアップ指標導出部６２２は、第１導出処理により得られた演算期間内の所定時刻毎の注視点のサリエンシーと、第２導出処理により得られた演算期間内の所定時刻毎のランダム点のサリエンシーとに基づいて、「注視点のサリエンシーが閾値を超える確率」と「ランダム点のサリエンシーが閾値を超える確率」との関係を示すＲＯＣ（Receiver Operating Characteristic）曲線を導出する。

具体的には、ボトムアップ指標導出部６２２は、サリエンシーに関する閾値を最大値から最小値まで段階的に変更する。そして、トップダウン指標導出部６１２は、閾値を変更する毎に、以下の処理を行う。

まず、ボトムアップ指標導出部６２２は、演算期間内の所定時刻毎の注視点のサリエンシーのうち閾値を超える注視点のサリエンシーの数を求め、閾値を超える注視点のサリエンシーの数を演算期間内の注視点のサリエンシーの総数で除算することで、注視点のサリエンシーが閾値を超える確率を求める。また、ボトムアップ指標導出部６２２は、演算期間内の所定時刻毎のランダム点のサリエンシーのうち閾値を超えるランダム点のサリエンシーの数を求め、閾値を超えるランダム点のサリエンシーの数を演算期間内のランダム点のサリエンシーの総数で除算することで、ランダム点のサリエンシーが閾値を超える確率を求める。

そして、ボトムアップ指標導出部６２２は、閾値毎に求められた「注視点のサリエンシーが閾値を超える確率」と「ランダム点のサリエンシーが閾値を超える確率」との組合せに基づいて、ＲＯＣ曲線を導出する。図１５は、ＲＯＣ曲線を例示する。ＲＯＣ曲線は、利用者の視線が高誘目箇所に誘引される傾向の強さに応じて変化する。例えば、利用者の視線が高誘目箇所を向く傾向がある場合、ＲＯＣ曲線は、図１５に示した第１曲線Ｃ１のように、傾きが１の直線（破線で示す直線）よりも上側に凸の曲線となる。一方、利用者の視線が低誘目箇所を向く傾向がある場合、ＲＯＣ曲線は、図１５に示した第２曲線Ｃ２のように、傾きが１の直線よりも下側に凸の曲線となる。

次に、第４導出処理が行われる。第４導出処理において、ボトムアップ指標導出部６２２は、ＲＯＣ曲線の下側の面積であるＡＵＣ（Area Under the Curve）値を、サリエンシー指標値として求める。例えば、図１５の第１曲線Ｃ１がＲＯＣ曲線である場合、ＡＵＣ値は、図１５のハッチングが付された領域の面積に相当する。例えば、利用者の視線が高誘目箇所を向く傾向が強くなるに連れて、サリエンシー指標値であるＡＵＣ値が大きくなり、利用者の視線が低誘目箇所を向く傾向が強くなるに連れて、サリエンシー指標値であるＡＵＣ値が小さくなる。このようにして、演算期間毎にサリエンシー指標値が導出される。

また、ボトムアップ指標導出部６２２は、予め定められた計測期間毎に、第５導出処理を行う。計測期間は、演算期間よりも長い。計測期間の各々には、複数の演算期間が含まれる。第５導出処理において、ボトムアップ指標導出部６２２は、計測期間内に含まれるサリエンシー指標値が予め定められた高誘目閾値を上回るか否かを判定する。そして、ボトムアップ指標導出部６２２は、サリエンシー指標値の判定結果に基づいて、第１ボトムアップ指標値ＢＵ１を導出する。例えば、第１ボトムアップ指標値ＢＵ１は、計測期間内に含まれるサリエンシー指標値の総数に対して高誘目閾値を上回るサリエンシー指標値の数が占める割合（以下では「高指標割合」と記載）に応じた値である。なお、この高指標割合は、高誘目箇所と利用者の視線との合致度の一例である。このようにして、計測期間毎に第１ボトムアップ指標値ＢＵ１が導出される。

また、ボトムアップ指標導出部６２２は、第４処理において、利用者の周囲環境におけるサリエンシーの分布に対する利用者の視線の動きに基づいて、第２ボトムアップ指標値ＢＵ２を導出する。具体的には、ボトムアップ指標導出部６２２は、第４処理において、利用者の周囲環境における高誘目箇所と利用者の視線との合致度（合致頻度）に基づいて、第２ボトムアップ指標値ＢＵ２を導出する。利用者のボトムアップ注意資源量が増加すると、利用者の周囲環境における高誘目箇所と利用者の視線との合致度が増加し、第２ボトムアップ指標値ＢＵ２が増加する。

この例では、ボトムアップ指標導出部６２２は、第４処理において、サリエンシー検出部６２１により生成されたサリエンシーマップに示された高誘目箇所と、視線検出部４１により検出された利用者の視線との合致度に応じた値を、第２ボトムアップ指標値ＢＵ２として導出する。なお、第４処理における第２ボトムアップ指標値ＢＵ２の導出は、第１処理における第１ボトムアップ指標値ＢＵ１の導出と同様である。

〈推定部〉
推定部６３は、第１処理において、第１トップダウン指標値ＴＤ１と第１ボトムアップ指標値ＢＵ１とに基づいて、利用者の状態を推定する。具体的には、推定部６３は、第１処理において、第１トップダウン指標値ＴＤ１の変化と第１ボトムアップ指標値ＢＵ１の変化とに基づいて、利用者の状態を推定する。また、推定部６３は、第４処理において、第２トップダウン指標値ＴＤ２と第２ボトムアップ指標値ＢＵ２とに基づいて、利用者の状態を推定する。具体的には、推定部６３は、第４処理において、第２トップダウン指標値ＴＤ２の変化と第２ボトムアップ指標値ＢＵ２の変化とに基づいて、利用者の状態を推定する。なお、利用者の状態の推定については、後で詳しく説明する。

〔推定処理部の動作〕
次に、図１６を参照して、推定処理部４２の動作について説明する。この例では、推定処理部４２は、利用者のメインタスクに応じて、第１処理と第２処理と第３処理の群と、第４処理と第５処理と第６処理の群とを選択的に行う。具体的には、推定処理部４２は、利用者のメインタスクが携帯端末１０の操作に該当する場合に、第１処理と第２処理と第３処理とを行う。また、推定処理部４２は、利用者のメインタスクが歩行に該当する場合に、第４処理と第５処理と第６処理とを行う。例えば、推定処理部４２は、予め定められた推定周期毎（例えば１０分毎）に、以下の処理を行う。

〈ステップＳＴ１０〉
推定部６３は、メインタスク検出部５１による検出結果に基づいて、利用者のメインタスクが携帯端末１０の操作（操作タスク）に該当するか否かを判定する。利用者のメインタスクが携帯端末１０の操作に該当する場合には、ステップＳＴ１１～ＳＴ１３の処理が行われ、そうでない場合には、ステップＳＴ２０の処理が行われる。

〈ステップＳＴ１１～ＳＴ１３〉
利用者のメインタスクが携帯端末１０の操作に該当する場合、推定部６３は、第１処理（ステップＳＴ１１）と、第２処理（ステップＳＴ１２）と、第３処理（ステップＳＴ１３）とを行う。これらの処理が完了すると、ステップＳＴ３０の処理が行われる。

〈ステップＳＴ２０〉
利用者のメインタスクが携帯端末１０の操作に該当しない場合、推定部６３は、メインタスク検出部５１による検出結果に基づいて、利用者のメインタスクが歩行（歩行タスク）に該当するか否かを判定する。利用者のメインタスクが歩行に該当する場合には、ステップＳＴ２１～ＳＴ２３の処理が行われ、そうでない場合には、ステップＳＴ１０の処理が行われる。

〈ステップＳＴ２１～ＳＴ２３〉
利用者のメインタスクが歩行に該当する場合、推定部６３は、第４処理（ステップＳＴ２１）と、第５処理（ステップＳＴ２２）と、第６処理（ステップＳＴ２３）とを行う。これらの処理が完了すると、ステップＳＴ３０の処理が行われる。

〈ステップＳＴ３０〉
ステップＳＴ１１～ＳＴ１３の処理（またはステップＳＴ２１～ＳＴ２３の処理）が完了すると、推定部６３は、ステップＳＴ１１～ＳＴ１３の処理（またはステップＳＴ２１～ＳＴ２３の処理）により得られた利用者の状態に関する推定結果に基づいて、利用者の状態を総合的に推定する。ステップＳＴ３０の処理（総合的推定）については、後で詳しく説明する。

〔第１処理〕
次に、図１７を参照して、ステップＳ１１の処理である第１処理について説明する。上述のとおり、第１処理は、表示部１１に表示される画像に対する利用者の視線の動きに基づいて利用者の状態を推定する処理である。以下の第１処理では、第１注意機能低下状態と第２注意機能低下状態とを区別して推定することができる。

〈ステップＳＴ１１１〉
推定部６３は、第１トップダウン指標値ＴＤ１が予め定められた第１トップダウン閾値ＴＤｔｈ１を下回るか否かを判定する。例えば、第１トップダウン閾値ＴＤｔｈ１は、利用者のメインタスクが携帯端末１０の操作に該当する場合の利用者のトップダウン注意ディマンド量に応じた値に設定される。第１トップダウン指標値ＴＤ１が第１トップダウン閾値ＴＤｔｈ１を下回る場合には、ステップＳＴ１１２の処理が行われ、そうでない場合には、ステップＳＴ１１５の処理が行われる。

〈ステップＳＴ１１２〉
推定部６３は、第１ボトムアップ指標値ＢＵ１が予め定められた第１ボトムアップ閾値ＢＵｔｈ１を下回るか否かを判定する。例えば、第１ボトムアップ閾値ＢＵｔｈ１は、利用者のメインタスクが携帯端末１０の操作に該当する場合の利用者のボトムアップ注意ディマンド量に応じた値に設定される。第１ボトムアップ指標値ＢＵ１が第１ボトムアップ閾値ＢＵｔｈ１を下回る場合には、ステップＳＴ１１３の処理が行われ、そうでない場合には、ステップＳＴ１１４の処理が行われる。

〈ステップＳＴ１１３〉
第１トップダウン指標値ＴＤ１が第１トップダウン閾値ＴＤｔｈ１を下回り、且つ、第１ボトムアップ指標値ＢＵ１が第１ボトムアップ閾値ＢＵｔｈ１を下回る場合、推定部６３は、利用者の状態が第２注意機能低下状態（重度の注意機能低下）であると推定する。この例では、推定部６３は、第２注意機能低下状態であることを示すフラグを立てる。

〈ステップＳＴ１１４〉
第１トップダウン指標値ＴＤ１が第１トップダウン閾値ＴＤｔｈ１を下回り、且つ、第１ボトムアップ指標値ＢＵ１が第１ボトムアップ閾値ＢＵｔｈ１を下回らない場合、推定部６３は、利用者の状態が第２注意機能低下状態であると推定せずに、利用者の状態が第１注意機能低下状態（軽度の注意機能低下）であると推定する。この例では、推定部６３は、第１注意機能低下状態であることを示すフラグを立てる。

〈ステップＳＴ１１５〉
また、第１トップダウン指標値ＴＤ１が第１トップダウン閾値ＴＤｔｈ１を下回らない場合、推定部６３は、利用者の状態が注意機能低下状態であると推定せずに、利用者の状態が正常状態であると推定する。この例では、推定部６３は、注意機能低下状態であることを示すフラグを立てない。

〔第２処理〕
次に、図１８を参照して、ステップＳ１２の処理である第２処理について説明する。上述のとおり、第２処理は、利用者の認知反応時間に基づいて利用者の状態を推定する処理である。以下の第２処理では、第１注意機能低下状態と第２注意機能低下状態とを区別して推定することができる。

〈ステップＳＴ１２１〉
推定部６３は、認知反応時間Ｔが予め定められた第１時間閾値Ｔｔｈ１を上回るか否かを判定する。認知反応時間Ｔが第１時間閾値Ｔｔｈ１を上回る場合には、ステップＳＴ１２２の処理が行われ、そうでない場合には、ステップＳＴ１２５の処理が行われる。

〈ステップＳＴ１２２〉
推定部６３は、認知反応時間Ｔが予め定められた第２時間閾値Ｔｔｈ２を上回るか否かを判定する。第２時間閾値Ｔｔｈ２は、第１時間閾値Ｔｔｈ１よりも長い。認知反応時間Ｔが第２時間閾値Ｔｔｈ２を下回る場合には、ステップＳＴ１２３の処理が行われ、そうでない場合には、ステップＳＴ１２４の処理が行われる。

〈ステップＳＴ１２３〉
認知反応時間Ｔが第２時間閾値Ｔｔｈ２を上回る場合、推定部６３は、利用者の状態が第２注意機能低下状態（重度の注意機能低下）であると推定する。この例では、推定部６３は、第２注意機能低下状態であることを示すフラグを立てる。

〈ステップＳＴ１２４〉
認知反応時間Ｔが第１時間閾値Ｔｔｈ１を上回るが第２時間閾値Ｔｔｈ２を上回らない場合、推定部６３は、利用者の状態が第２注意機能低下状態であると推定せずに、利用者の状態が第１注意機能低下状態（軽度の注意機能低下）であると推定する。この例では、推定部６３は、第１注意機能低下状態であることを示すフラグを立てる。

〈ステップＳＴ１２５〉
認知反応時間Ｔが第１時間閾値Ｔｔｈ１を上回らない場合、推定部６３は、利用者の状態が注意機能低下状態であると推定せずに、利用者の状態が正常状態であると推定する。この例では、推定部６３は、注意機能低下状態であることを示すフラグを立てない。

〔第３処理〕
次に、図１９を参照して、ステップＳ１３の処理である第３処理について説明する。上述のとおり、第３処理は、利用者の誤操作の頻度に基づいて利用者の状態を推定する処理である。

〈ステップＳ１３１〉
推定部６３は、所定時間内における利用者の誤操作の頻度が異常であるか否かを判定する。例えば、推定部６３は、所定時間内における利用者の誤操作の頻度が予め定められた許容頻度を上回る場合に、所定時間内における利用者の誤操作の頻度が異常であると判定する。所定時間内における利用者の誤操作の頻度が異常である場合には、ステップＳ１３２へ進み、そうでない場合には、ステップＳ１３３へ進む。

〈ステップＳ１３２〉
所定時間内における利用者の誤操作の頻度が異常である場合、推定部６３は、利用者の状態が認知運動機能低下状態であると推定する。この例では、推定部６３は、認知運動機能低下状態であることを示すフラグを立てる。

〈ステップＳ１３３〉
所定時間内における利用者の誤操作の頻度が異常ではない場合、推定部６３は、利用者の状態が認知運動機能低下状態であると推定せずに、利用者の状態が正常状態であると推定する。この例では、推定部６３は、認知運動機能低下状態であることを示すフラグを立てない。

〔第４処理〕
次に、図２０を参照して、ステップＳ２１の処理である第４処理について説明する。上述のとおり、第４処理は、利用者の周囲環境に対する利用者の視線の動きに基づいて利用者の状態を推定する処理である。以下の第４処理では、第１注意機能低下状態と第２注意機能低下状態とを区別して推定することができる。

〈ステップＳＴ２１１〉
推定部６３は、第２トップダウン指標値ＴＤ２が予め定められた第２トップダウン閾値ＴＤｔｈ２を下回るか否かを判定する。例えば、第２トップダウン閾値ＴＤｔｈ２は、利用者のメインタスクが歩行に該当する場合の利用者のトップダウン注意ディマンド量に応じた値に設定される。第２トップダウン指標値ＴＤ２が第２トップダウン閾値ＴＤｔｈ２を下回る場合には、ステップＳＴ２１２の処理が行われ、そうでない場合には、ステップＳＴ２１５の処理が行われる。

〈ステップＳＴ２１２〉
推定部６３は、第２ボトムアップ指標値ＢＵ２が予め定められた第２ボトムアップ閾値ＢＵｔｈ２を下回るか否かを判定する。例えば、第２ボトムアップ閾値ＢＵｔｈ２は、利用者のメインタスクが歩行に該当する場合の利用者のボトムアップ注意ディマンド量に応じた値に設定される。第２ボトムアップ指標値ＢＵ２が第２ボトムアップ閾値ＢＵｔｈ２を下回る場合には、ステップＳＴ２１３の処理が行われ、そうでない場合には、ステップＳＴ２１４の処理が行われる。

〈ステップＳＴ２１３〉
第２トップダウン指標値ＴＤ２が第２トップダウン閾値ＴＤｔｈ２を下回り、且つ、第２ボトムアップ指標値ＢＵ２が第２ボトムアップ閾値ＢＵｔｈ２を下回る場合、推定部６３は、利用者の状態が第２注意機能低下状態（重度の注意機能低下）であると推定する。この例では、推定部６３は、第２注意機能低下状態であることを示すフラグを立てる。

〈ステップＳＴ２１４〉
第２トップダウン指標値ＴＤ２が第２トップダウン閾値ＴＤｔｈ２を下回り、且つ、第２ボトムアップ指標値ＢＵ２が第２ボトムアップ閾値ＢＵｔｈ２を下回らない場合、推定部６３は、利用者の状態が第２注意機能低下状態であると推定せずに、利用者の状態が第１注意機能低下状態（軽度の注意機能低下）であると推定する。この例では、推定部６３は、第１注意機能低下状態であることを示すフラグを立てる。

〈ステップＳＴ２１５〉
第２トップダウン指標値ＴＤ２が第２トップダウン閾値ＴＤｔｈ２を下回らない場合、推定部６３は、利用者の状態が注意機能低下状態であると推定せずに、利用者の状態が正常状態であると推定する。この例では、推定部６３は、注意機能低下状態であることを示すフラグを立てない。

〔第５処理〕
次に、図２１を参照して、ステップＳ２２の処理である第５処理について説明する。上述のとおり、第５処理は、利用者の歩調に基づいて利用者の状態を推定する処理である。

〈ステップＳ２２１〉
推定部６３は、所定時間内における利用者の歩調が異常であるか否かを判定する。例えば、推定部６３は、利用者の移動速度の単位時間当たりの変化量が予め定められた許容量を上回る状態の継続時間を計測し、その継続時間が予め定められた許容時間を上回る場合に、所定時間内における利用者の歩調が異常であると判定する。所定時間内における利用者の歩調が異常である場合には、ステップＳ２２２へ進み、そうでない場合には、ステップＳ２２３へ進む。

〈ステップＳ２２２〉
所定時間内における利用者の歩調が異常である場合、推定部６３は、利用者の状態が運動機能低下状態であると推定する。この例では、推定部６３は、運動機能低下状態であることを示すフラグを立てる。

〈ステップＳ２２３〉
所定時間内における利用者の歩調が異常ではない場合、推定部６３は、利用者の状態が運動機能低下状態であると推定せずに、利用者の状態が正常状態であると推定する。この例では、推定部６３は、運動機能低下状態であることを示すフラグを立てない。

〔第６処理〕
次に、図２２を参照して、ステップＳ２３の処理である第６処理について説明する。上述のとおり、第６処理は、利用者のふらつきに基づいて利用者の状態を推定する処理である。

〈ステップＳ２３１〉
推定部６３は、所定時間内における利用者のふらつきが異常であるか否かを判定する。例えば、推定部６３は、利用者の姿勢の振れ幅が予め定められた許容幅を上回る状態の継続時間を計測し、その継続時間が予め定められた許容時間を上回る場合に、所定時間内における利用者のふらつきが異常であると判定する。所定時間内における利用者のふらつきが異常である場合には、ステップＳ２３２へ進み、そうでない場合には、ステップＳ２３３へ進む。

〈ステップＳ２３２〉
所定時間内における利用者のふらつきが異常である場合、推定部６３は、利用者の状態が運動機能低下状態であると推定する。この例では、推定部６３は、運動機能低下状態であることを示すフラグを立てる。

〈ステップＳ２３３〉
所定時間内における利用者のふらつきが異常ではない場合、推定部６３は、利用者の状態が運動機能低下状態であると推定せずに、利用者の状態が正常状態であると推定する。この例では、推定部６３は、運動機能低下状態であることを示すフラグを立てない。

〔総合的推定〕
次に、ステップＳ３０の処理である総合的推定について説明する。推定部６３は、第１～第６処理の結果に基づいて利用者の状態を総合的に推定する。例えば、推定部６３は、次のような動作を行うように構成されてもよい。

推定部６３は、第１～第３処理（または第４～第６処理）の結果の全部を、推定結果として出力してもよい。例えば、推定部６３は、第１処理において第１機能低下状態であることを示すフラグが立てられ、第３処理において認知運動機能低下状態であることを示すフラグが立てられた場合、利用者の状態が第１機能低下状態であり且つ認知運動機能低下状態であると推定されることを示す推定結果を出力する。この例では、推定部６３は、第１機能低下状態であることを示すフラグと認知運動機能低下状態であることを示すフラグの両方を立てる。

または、推定部６３は、第１～第３処理（または第４～第６処理）の結果の多数決を行い、その多数決の結果を推定結果として出力してもよい。例えば、推定部６３は、第１処理および第２処理の各々において第１機能低下状態であることを示すフラグが立てられ、第３処理において認知運動機能低下状態であることを示すフラグが立てられた場合、利用者の状態が第１機能低下状態であると推定されることを示す推定結果を出力する。この例では、推定部６３は、第１機能低下状態であることを示すフラグを立てる。

また、推定部６３は、表示部１１に表示される画像の種類に応じて第１～第３処理の結果に重みを付け、重み付けられた第１～第３処理の結果の多数決を行い、その多数決の結果を推定結果として出力してもよい。例えば、推定部６３は、表示部１１に表示される画像が「高誘目画像」に該当する場合に、第１処理の結果に付けられる重みを第２処理の結果に付けられる重みよりも大きくしてもよい。また、推定部６３は、表示部１１に表示される画像が「低誘目画像」に該当する場合に、第２処理の結果に付けられる重みを第１処理の結果に付けられる重みよりも大きくしてもよい。

〔実施形態１の効果〕
以上のように、実施形態１の携帯端末１０では、推定処理部４２は、表示部１１に表示される画像に対する利用者の視線の動きに基づいて利用者の状態を推定する第１処理を行う。なお、表示部１１に表示される画像に対する利用者の視線の動きと、利用者の状態（特に注意機能に関する状態）との間に相関がある。したがって、第１処理を行うことにより、表示部１１に表示される画像に対する利用者の視線の動きに基づいて、注意機能低下状態を含む利用者の状態を推定することができる。

また、実施形態１の携帯端末１０では、推定処理部４２は、利用者のメインタスクが携帯端末１０の操作に該当する場合に第１処理を行い、利用者のメインタスクが携帯端末１０の操作に該当しない場合に第１処理を行わない。

なお、利用者のメインタスクが携帯端末１０の操作に該当する場合、携帯端末１０の表示部１１に表示された画像に利用者の視線が向きやすくなる。そのため、表示部１１に表示される画像に対する利用者の視線の動きが阻害されにくい。一方、利用者のメインタスクが携帯端末１０の操作に該当しない場合、携帯端末１０の表示部１１に表示された画像に利用者の視線が向きにくくなる。そのため、表示部１１に表示される画像に対する利用者の視線の動きが阻害されやすい。

したがって、利用者のメインタスクが携帯端末１０の操作に該当する場合に第１処理を行い、利用者のメインタスクが携帯端末１０の操作に該当しない場合に第１処理を行わないようすることにより、表示部１１に表示される画像に対する利用者の視線の動きに基づく第１処理を適切に行うことができる。これにより、利用者の状態の推定を適切に行うことができる。

また、実施形態１の携帯端末１０では、推定処理部４２は、利用者のメインタスクが歩行に該当する場合に、利用者の周囲環境に対する利用者の視線の動きに基づいて利用者の状態を推定する第４処理を行う。なお、利用者の周囲環境に対する利用者の視線の動きと利用者の状態（特に注意機能に関する状態）との間に相関がある。また、利用者のメインタスクが歩行に該当する場合、利用者の周囲環境に利用者の視線が向きやすくなる。したがって、利用者のメインタスクが歩行に該当する場合に第４処理を行うことにより、利用者の周囲環境に対する利用者の視線の動きに基づいて、注意機能低下状態を含む利用者の状態を適切に推定することができる。これにより、利用者の状態の推定を適切に行うことができる。

また、実施形態１の携帯端末１０では、第１処理において、利用者のトップダウン注意資源量とボトムアップ注意資源量とに基づいて、利用者の状態を適切に推定することができる。これにより、利用者の状態の推定を適切に行うことができる。なお、第４処理についても同様のことがいえる。

また、実施形態１の携帯端末１０では、トップダウン計測部６１に注目箇所検出部６１１とトップダウン指標導出部６１２とを設けることにより、表示部１１に表示される画像における注目箇所に対する利用者の視線の動きに基づいて、第１トップダウン指標値ＴＤ１を適切に導出することができる。これにより、利用者の状態の推定を適切に行うことができる。なお、第２トップダウン指標値ＴＤ２についても同様のことがいえる。

また、実施形態１の携帯端末１０では、ボトムアップ計測部６２にサリエンシー検出部６２１とボトムアップ指標導出部６２２とを設けることにより、表示部１１に表示される画像におけるサリエンシーの分布に対する利用者の視線の動きに基づいて、第１ボトムアップ指標値ＢＵ１を適切に導出することができる。これにより、利用者の状態の推定を適切に行うことができる。なお、第２ボトムアップ指標値ＢＵ２についても同様のことがいえる。

（制御部の動作）
実施形態１の携帯端末１０では、制御部３１は、状態推定部４０により推定された利用者の状態に応じた動作を行う。例えば、制御部３１は、状態推定部４０により利用者の状態が第１注意機能低下状態であると推定されると、第１注意機能低下状態に応じた第１動作を行う。また、制御部３１は、状態推定部４０により利用者の状態が第２注意機能低下状態であると推定されると、第２注意機能低下状態に応じた第２動作を行う。また、制御部３１は、状態推定部４０による推定結果を示す情報を、通信部２４を経由して外部に送信してもよい。

〔第１動作の具体例〕
第１動作の例としては、利用者の注意機能低下を解消するための動作、利用者の状態が第１注意機能低下状態であることを示す第１通知情報を出力する動作などが挙げられる。利用者の注意機能低下を解消するための動作の例としては、利用者に休憩をとることを促すための警報情報を出力する動作、携帯端末１０の操作に集中することを利用者に促すための注意喚起情報を出力する動作などが挙げられる。警報情報を出力する動作の例としては、警報情報を表示部１１に出力することで警報情報が表示部１１から画像で出力される動作、警報情報をスピーカ１２に出力することで警報情報がスピーカ１２から音声で出力される動作などが挙げられる。注意喚起情報および第１通知情報についても同様である。また、第１通知情報を出力する動作の他の例としては、第１通知情報を通信部２４に出力することで第１通知情報が他の情報端末（図示省略）に送信される動作が挙げられる。

〔第２動作の具体例〕
第２動作の例としては、利用者の状態が第２注意機能低下状態であることを示す第２通知情報を出力する動作、利用者の状態が第２注意機能低下状態であることを携帯端末１０の周囲に通知するための動作などが挙げられる。第２通知情報を出力する動作の例としては、第２通知情報を表示部１１に出力することで第２通知情報が表示部１１から画像で出力される動作、第２通知情報をスピーカ１２に出力することで第２通知情報がスピーカ１２から音声で出力される動作、第２通知情報を通信部２４に出力することで第２通知情報が他の情報端末（図示省略）に送信される動作などが挙げられる。利用者の状態が第２注意機能低下状態であることを携帯端末１０の周囲に通知するための動作の例としては、携帯端末１０のライト（図示省略）を点滅させる動作が挙げられる。

（ボトムアップ指標導出部の変形例）
なお、ボトムアップ指標導出部６２２は、第１処理において、次のようにして、予め定められた計測期間毎に第１ボトムアップ指標値ＢＵ１を導出してもよい。

まず、ボトムアップ指標導出部６２２は、時系列順に並ぶ複数のサリエンシーマップＤ４０の中から、計測期間内に含まれる２つ以上のサリエンシーマップＤ４０を抽出し、視線検出部４１により検出された利用者の視線の方向に基づいて、計測期間内に含まれる２つ以上のサリエンシーマップＤ４０の各々において注視点を検出する。

次に、ボトムアップ指標導出部６２２は、計測期間内に含まれるサリエンシーマップＤ４０から検出された注視点がそのサリエンシーマップＤ４０に示された高誘目箇所と一致するか否かを判定する。

次に、ボトムアップ指標導出部６２２は、注視点と高誘目箇所との合致判定の結果に基づいて、第１ボトムアップ指標値ＢＵ１を導出する。例えば、第１ボトムアップ指標値ＢＵ１は、計測期間内に含まれる注視点の総数に対して高誘目箇所と合致する注視点の数が占める割合（以下では「高誘目合致割合」と記載）に応じた値である。この高誘目合致割合は、高誘目箇所と利用者の視線との合致度の一例である。

また、ボトムアップ指標導出部６２２は、第４処理において、上記の第１処理における手順と同様の手順により、予め定められた計測期間毎に第２ボトムアップ指標値ＢＵ２を導出してもよい。

（実施形態１の変形例１）
次に、実施形態１の変形例１の携帯端末１０について説明する。実施形態１の変形例１の携帯端末１０は、推定処理部４２の動作が実施形態１の携帯端末１０と異なる。

実施形態１の変形例１では、推定処理部４２は、利用者のメインタスクが携帯端末１０の操作に該当する場合に、表示部１１に表示される画像に対する利用者のボトムアップ注意の生じやすさに応じて、第１処理と第２処理とを選択的に行う。具体的には、推定処理部４２は、表示部１１に表示される画像における高誘目割合（画像において高誘目箇所が占める割合）に応じて、第１処理と第２処理とを選択的に行う。表示部１１に表示される画像における高誘目割合が高誘目割合閾値を上回る場合、推定処理部４２は、第１処理を行う。一方、表示部１１に表示される画像における高誘目割合が高誘目割合閾値を上回らない場合、推定処理部４２は、第２処理を行う。

この例では、推定部６３は、メインタスク検出部５１により検出された利用者のメインタスクが携帯端末１０の操作に該当する場合に、画像種類検出部５２による検出結果に基づいて、第１処理と第２処理とを選択的に行う。画像種類検出部５２により検出された画像（表示部１１に表示される画像）の種類が「高誘目画像」に該当する場合、推定部６３は、第１処理を行う。一方、画像種類検出部５２により検出された画像の種類が「低誘目画像」に該当する場合、推定部６３は、第２処理を行う。

〔実施形態１の変形例１の効果〕
以上のように、実施形態１の変形例１の携帯端末１０では、推定処理部４２は、表示部１１に表示される画像に対する利用者のボトムアップ注意の生じやすさに応じて、第１処理と第２処理とを選択的に行う。具体的には、推定処理部４２は、表示部１１に表示される画像に対する利用者のボトムアップ注意が生じやすい場合（この例では高誘目画像に該当する場合）に、第１処理を行う。また、推定処理部４２は、表示部１１に表示される画像に対する利用者のボトムアップ注意が生じにくい場合（この例では低誘目画像に該当する場合）に、第２処理を行う。

なお、表示部１１に表示される画像に対する利用者のボトムアップ注意が生じやすい場合、表示部１１に表示される画像に対する利用者の視線の動きに基づいて利用者の状態を推定する第１処理を精度良く行うことができる。一方、表示部１１に表示される画像に対する利用者のボトムアップ注意が生じにくい場合、第１処理を精度良く行うことが困難となる。

したがって、表示部１１に表示される画像に対する利用者のボトムアップ注意の生じやすさを考慮することにより、表示部１１に表示される画像に対する利用者の視線の動きに基づいて利用者の状態を推定する第１処理と、利用者の認知反応時間に基づいて利用者の状態を推定する第２処理とを適切に行うことができる。これにより、利用者の状態の推定を適切に行うことができる。

（実施形態１の変形例２）
次に、実施形態１の変形例２の携帯端末１０について説明する。実施形態１の変形例２の携帯端末１０は、推定処理部４２の動作が実施形態１の携帯端末１０と異なる。

実施形態１の変形例２では、推定処理部４２は、利用者のメインタスクが携帯端末１０の操作に該当する場合だけでなく、利用者のメインタスクが携帯端末１０の操作に該当しない場合においても、第１処理を行う。なお、第１処理において利用者の状態が注意機能低下状態であると推定されるための条件は、利用者のメインタスクが携帯端末１０の操作に該当しない場合のほうが、利用者のメインタスクが携帯端末１０の操作に該当する場合よりも厳しくなっている。例えば、利用者のメインタスクが携帯端末１０の操作に該当しない場合に行われる第１処理における第１ボトムアップ閾値ＢＵｔｈ１は、利用者のメインタスクが携帯端末１０の操作に該当する場合に行われる第１処理における第１ボトムアップ閾値ＢＵｔｈ１よりも大きくなっている。なお、第１処理において利用者の状態が注意機能低下状態であると推定されるための条件の調節は、例えば、推定部６３により行われる。

〔実施形態１の変形例２〕
以上のように、実施形態１の変形例２の携帯端末１０では、第１処理において利用者の状態が注意機能低下状態であると推定されるための条件は、利用者のメインタスクが携帯端末１０の操作に該当しない場合のほうが、利用者のメインタスクが携帯端末１０の操作に該当する場合よりも厳しい。なお、利用者のメインタスクが携帯端末１０の操作に該当しない場合、携帯端末１０の表示部１１に表示される画像に対する利用者の視線の動きが阻害されやすいので、第１処理における利用者の状態の推定に誤りが生じやすい。したがって、利用者のメインタスクが携帯端末１０の操作に該当しない場合に行われる第１処理における条件（利用者の状態が注意機能低下状態であると推定されるための条件）を、利用者のメインタスクが携帯端末１０の操作に該当する場合に行われる第１処理における条件よりも厳しくすることにより、第１処理における利用者の状態の推定誤りの発生を低減することができる。これにより、利用者の状態の推定を適切に行うことができる。

（実施形態２）
実施形態２の携帯端末１０は、状態推定部４０の構成が実施形態１の携帯端末１０と異なる。図２３は、実施形態２の状態推定部４０の構成を例示する。実施形態２の推定処理部４２は、ボトムアップ計測部６２と、推定部６３と有するが、図８に示したトップダウン計測部６１を有さない。なお、実施形態２のボトムアップ計測部６２の構成は、図８に示した実施形態１のボトムアップ計測部６２の構成と同様である。また、実施形態２の携帯端末１０のその他の構成は、実施形態１の携帯端末１０の構成と同様である。

実施形態２では、推定部６３は、第１処理において、ボトムアップ計測部６２により得られた第１ボトムアップ指標値ＢＵ１に基づいて、利用者の状態を推定する。また、推定部６３は、第４処理において、ボトムアップ計測部６２により得られた第２ボトムアップ指標値ＢＵ２に基づいて、利用者の状態を推定する。なお、実施形態２の推定部６３のその他の動作は、実施形態１の推定部６３の動作と同様である。

〔第１処理〕
次に、図２４を参照して、実施形態２における第１処理について説明する。実施形態２の第１処理による利用者の状態の推定は、実施形態１の第１処理による利用者の状態の推定よりも簡易である。

〈ステップＳＴ１１６〉
推定部６３は、第１ボトムアップ指標値ＢＵ１が予め定められた第１ボトムアップ基準値ＢＵＲ１を上回るか否かを判定する。例えば、第１ボトムアップ基準値ＢＵＲ１は、利用者のメインタスクが携帯端末１０の操作に該当する場合の利用者のボトムアップ注意ディマンド量に応じた値に設定される。第１ボトムアップ指標値ＢＵ１が第１ボトムアップ基準値ＢＵＲ１を上回る場合には、ステップＳＴ１１７の処理が行われ、そうでない場合には、ステップＳＴ１１８の処理が行われる。

〈ステップＳＴ１１７〉
第１ボトムアップ指標値ＢＵ１が第１ボトムアップ基準値ＢＵＲ１を上回る場合、推定部６３は、利用者の状態が注意機能低下状態であると推定する。この例では、推定部６３は、注意機能低下状態であることを示すフラグを立てる。

〈ステップＳＴ１１８〉
一方、第１ボトムアップ指標値ＢＵ１が第１ボトムアップ基準値ＢＵＲ１を上回らない場合、推定部６３は、利用者が注意機能低下状態であると推定せずに、利用者の状態が正常状態であると推定する。この例では、推定部６３は、注意機能低下状態であることを示すフラグを立てない。

〔第４処理〕
次に、図２５を参照して、実施形態２における第４処理について説明する。実施形態２の第４処理による利用者の状態の推定は、実施形態１の第４処理による利用者の状態の推定よりも簡易である。

〈ステップＳＴ２１６〉
推定部６３は、第２ボトムアップ指標値ＢＵ２が予め定められた第２ボトムアップ基準値ＢＵＲ２を上回るか否かを判定する。例えば、第２ボトムアップ基準値ＢＵＲ２は、利用者のメインタスクが歩行に該当する場合の利用者のボトムアップ注意ディマンド量に応じた値に設定される。第２ボトムアップ指標値ＢＵ２が第２ボトムアップ基準値ＢＵＲ２を上回る場合には、ステップＳＴ２１７の処理が行われ、そうでない場合には、ステップＳＴ２１８の処理が行われる。

〈ステップＳＴ２１７〉
第２ボトムアップ指標値ＢＵ２が第２ボトムアップ基準値ＢＵＲ２を上回る場合、推定部６３は、利用者の状態が注意機能低下状態であると推定する。この例では、推定部６３は、注意機能低下状態であることを示すフラグを立てる。

〈ステップＳＴ２１８〉
一方、第２ボトムアップ指標値ＢＵ２が第２ボトムアップ基準値ＢＵＲ２を上回らない場合、推定部６３は、利用者が注意機能低下状態であると推定せずに、利用者の状態が正常状態であると推定する。この例では、推定部６３は、注意機能低下状態であることを示すフラグを立てない。

〔実施形態２の効果〕
実施形態２に携帯端末１０では、実施形態１の携帯端末１０の効果と同様の効果を得ることができる。例えば、注意機能低下状態を含む利用者の状態を推定することができる。

また、実施形態２の携帯端末１０では、第１処理において、利用者のボトムアップ注意資源量に基づいて、利用者の状態を適切に推定することができる。これにより、利用者の状態の推定を適切に行うことができる。なお、第４処理についても同様のことがいえる。

（その他の実施形態）
以上の説明では、推定処理部４２において第１～第６処理が行われる場合を例に挙げたが、これに限定されない。例えば、第１～第６処理のいずれかの処理が省略されてもよいし、第１～第６処理に加えて別の処理が行われてもよい。

また、利用者のメインタスクが携帯端末１０の操作に該当する場合に第１処理と第２処理と第３処理が行われる場合を例に挙げたが、これに限定されない。例えば、推定処理部４２は、利用者のメインタスクが携帯端末１０の操作に該当する場合だけでなく、利用者のメインタスクが携帯端末１０の操作に該当しない場合においても、第１処理と第２処理と第３処理とを行うように構成されてもよい。

また、利用者のメインタスクが歩行に該当する場合に第４処理と第５処理と第６処理が行われる場合を例に挙げたが、これに限定されない。例えば、推定処理部４２は、利用者のメインタスクが歩行に該当する場合だけでなく、利用者のメインタスクが歩行に該当しない場合においても、第４処理と第５処理と第６処理とを行うように構成されてもよい。

以上の説明では、携帯端末１０がスマートフォンを構成する場合を例に挙げたが、これに限定されない。例えば、携帯端末１０は、タブレットであってもよいし、その他の携帯式の情報端末であってもよい。

以上の説明では、推定部６３が推定周期毎に利用者の状態を推定する場合を例に挙げたが、これに限定されない。例えば、推定部６３は、上記のように利用者の短期的な状態を推定するように構成されてもよいし、利用者の長期的な状態を推定するように構成されてもよい。利用者の長期的な状態の例としては、症状が緩やかに進行する疾患の状態、加齢による機能低下の状態などが挙げられる。

また、以上の説明では、推定部６３が機能低下状態（具体的には注意機能低下状態と運動機能低下状態と認知運動機能低下状態）と正常状態とを推定する場合を例に挙げたが、これに限定されない。例えば、推定部６３は、上記の機能低下状態のような利用者のネガティブな状態を推定するように構成されてもよいし、利用者のポジティブな状態を推定するように構成されてもよい。利用者のポジティブな状態の例としては、機能低下状態から正常状態へ回復した状態、正常状態が維持されている状態などが挙げられる。

また、以上の説明では、フロントカメラ２１により得られた画像データとリアカメラ２２により得られた画像データとを利用する場合を例に挙げたが、これに限定されない。例えば、制御装置３０は、表示機器に入力される画像データと、その表示機器に表示された画像を見る対象者（利用者となり得る対象者）を撮像するカメラにより得られた画像データとを利用するように構成されてもよい。表示機器の例としては、スマートフォン、パーソナルコンピュータ、テレビ受像機などが挙げられる。また、制御装置３０は、監視カメラにより得られた画像データと、監視カメラにより撮像される環境を見る対象者を撮像するカメラにより得られた画像データとを利用するように構成されてもよい。監視カメラは、病院の待合室、警備員の監視室、店舗のレジ、建物内、街頭などに設けられる。

また、以上の説明において、トップダウン閾値やボトムアップ閾値などの判定の基準となる基準値は、利用者毎に設定されてもよい。具体的には、上記の基準値は、利用者の経験、利用者の普段の挙動などの利用者に特有の情報の学習結果に基づいて設定または調節されてもよい。利用者の経験の例としては、道路の通行頻度などが挙げられる。例えば、利用者が歩行している道路が通り慣れた道路であるのか初めて通行する道路であるのかに基づいて、上記の基準値が設定または調節されてもよい。利用者の普段の挙動の例としては、１週間や１ヶ月などの長期間における平均的な利用者の挙動、他の手法により正常状態であると推定されている期間における利用者の挙動などが挙げられる。利用者の挙動の例としては、高誘目箇所および/または注目箇所に対する利用者の視線移動の感度などが挙げられる。

また、上記の基準値は、人に関する様々なデータが記憶されたデータベースに基づいて設定されてもよい。このようなデータベースには、人の年齢、身体特徴、身体機能、性格、文化、生活スタイルなどが互いに関連付けられて記憶されている。例えば、データベースに記憶されたデータ群の中から特定の特性を有する人に関するデータ群が抽出され、その抽出されたデータ群に基づいて上記の基準値が設定されてもよい。なお、データベースに記憶されたデータ群の中から抽出されるデータ群の例としては、健常者に関連するデータ群、特定の疾患を有する人に関連するデータ群などが挙げられる。また、上記の基準値は、制御装置３０とは異なる他の機器（例えば他のスマートフォン）により得られた情報に基づいて設定されてもよい。

また、以上の実施形態を適宜組み合わせて実施してもよい。以上の実施形態は、本質的に好ましい例示であって、この発明、その適用物、あるいはその用途の範囲を制限することを意図するものではない。

以上説明したように、ここに開示する技術は、利用者の状態を推定する状態推定装置として有用である。

１０ 携帯端末
１１ 表示部
１２ スピーカ
１３ 記憶部
２１ フロントカメラ
２２ リアカメラ
２３ 操作部
２４ 通信部
２５ マイクロフォン
２６ 位置センサ
２７ 状態センサ
２８ 環境センサ
３０ 制御装置（状態推定装置）
３１ 制御部
４０ 状態推定部
４１ 視線検出部
４２ 推定処理部
５０ 画像取得部
５１ メインタスク検出部
５２ 画像種類検出部
５３ 時間検出部
５４ 誤操作検出部
５５ 歩調検出部
５６ ふらつき検出部
６１ トップダウン計測部
６２ ボトムアップ計測部
６３ 推定部
６１１ 注目箇所検出部
６１２ トップダウン指標導出部
６２１ サリエンシー検出部
６２２ ボトムアップ指標導出部

Claims (10)

1. 画像を表示する表示部を有する携帯端末の利用者の状態を推定する装置であって、
   前記利用者の視線を検出する視線検出部と、
   前記表示部に表示される画像に対する前記利用者の視線の動きに基づいて、注意機能低下状態を含む前記利用者の状態を推定する第１推定処理を行う推定処理部とを備え、
   前記推定処理部は、前記利用者のメインタスクが前記携帯端末の操作に該当する場合に前記第１推定処理を行い、前記利用者のメインタスクが前記携帯端末の操作に該当しない場合に前記第１推定処理を行わない
   ことを特徴とする状態推定装置。
2. 画像を表示する表示部を有する携帯端末の利用者の状態を推定する装置であって、
   前記利用者の視線を検出する視線検出部と、
   前記表示部に表示される画像に対する前記利用者の視線の動きに基づいて、注意機能低下状態を含む前記利用者の状態を推定する第１推定処理を行う推定処理部とを備え、
   前記第１推定処理において前記利用者の状態が前記注意機能低下状態であると推定されるための条件は、前記利用者のメインタスクが前記携帯端末の操作に該当しない場合のほうが、前記利用者のメインタスクが前記携帯端末の操作に該当する場合よりも厳しい
   ことを特徴とする状態推定装置。
3. 請求項１または２において、
   前記推定処理部は、
   前記第１推定処理において、前記表示部に表示される画像と前記視線検出部により検出される前記利用者の視線とに基づいて、前記画像に対する前記利用者のボトムアップ注意に割り当てられる注意資源の量と相関のあるボトムアップ指標値を計測するボトムアップ計測部と、
   前記第１推定処理において、前記ボトムアップ計測部により計測されたボトムアップ指標値に基づいて、前記利用者の状態を推定する推定部とを有する
   ことを特徴とする状態推定装置。
4. 請求項３において、
   前記ボトムアップ計測部は、
   前記第１推定処理において、前記表示部に表示される画像におけるサリエンシーの分布を検出するサリエンシー検出部と、
   前記第１推定処理において、前記画像におけるサリエンシーの分布に対する前記利用者の視線の動きに基づいて前記ボトムアップ指標値を導出するボトムアップ指標導出部とを有する
   ことを特徴とする状態推定装置。
5. 請求項３または４において、
   前記推定処理部は、前記第１推定処理において、前記表示部に表示される画像と前記視線検出部により検出される前記利用者の視線とに基づいて、前記画像に対する前記利用者のトップダウン注意に割り当てられる注意資源の量と相関のあるトップダウン指標値を計測するトップダウン計測部を有し、
   前記推定部は、前記第１推定処理において、前記トップダウン計測部により計測されたトップダウン指標値と前記ボトムアップ計測部により計測されたボトムアップ指標値とに基づいて、前記利用者の状態を推定する
   ことを特徴とする状態推定装置。
6. 請求項５において、
   前記トップダウン計測部は、
   前記第１推定処理において、前記表示部に表示される画像における注目箇所を検出する注目箇所検出部と、
   前記第１推定処理において、前記画像における注目箇所に対する前記利用者の視線の動きに基づいて前記トップダウン指標値を導出するトップダウン指標導出部とを有する
   ことを特徴とする状態推定装置。
7. 請求項１～６のいずれか１つにおいて、
   前記推定処理部は、前記利用者のメインタスクが歩行に該当する場合に、前記利用者の周囲環境に対する前記利用者の視線の動きに基づいて前記利用者の状態を推定する第２推定処理を行う
   ことを特徴とする状態推定装置。
8. 請求項１～７のいずれか１つにおいて、
   前記推定処理部は、前記表示部に表示される画像に対する前記利用者のボトムアップ注意の生じやすさに応じて、前記第１推定処理と、前記利用者の認知反応時間に基づいて前記利用者の状態を推定する処理とを選択的に行う
   ことを特徴とする状態推定装置。
9. 画像を表示する表示部を有する携帯端末の利用者の状態を推定する装置であって、
   前記利用者の視線を検出する視線検出部と、
   前記表示部に表示される画像に対する前記利用者の視線の動きに基づいて、注意機能低下状態を含む前記利用者の状態を推定する第１推定処理を行う推定処理部とを備え、
   前記推定処理部は、前記利用者のメインタスクが歩行に該当する場合に、前記利用者の周囲環境に対する前記利用者の視線の動きに基づいて前記利用者の状態を推定する第２推定処理を行う
   ことを特徴とする状態推定装置。
10. 画像を表示する表示部を有する携帯端末の利用者の状態を推定する装置であって、
    前記利用者の視線を検出する視線検出部と、
    前記表示部に表示される画像に対する前記利用者の視線の動きに基づいて、注意機能低下状態を含む前記利用者の状態を推定する第１推定処理を行う推定処理部とを備え、
    前記推定処理部は、前記表示部に表示される画像に対する前記利用者のボトムアップ注意の生じやすさに応じて、前記第１推定処理と、前記利用者の認知反応時間に基づいて前記利用者の状態を推定する処理とを選択的に行う
    ことを特徴とする状態推定装置。

Images