JPWO2009001558A1 - ヒト状態推定装置およびその方法 - Google Patents

Abstract

ヒト状態を高い精度で推定するヒト状態推定装置を提供する。そのヒト状態推定装置は、複数の個人属性情報のそれぞれについて、ヒト状態と、当該ヒト状態での標準的マイクロサッカードの動きの水平成分を含む基準プロフィールとを対応づけた基準データ（１７）を格納している格納部（１６）と、０．０５度の眼球回転角度の精度以上で、かつ、毎秒１２０サンプル以上の計測速度で、利用者の眼球の映像を取得する映像取得部（１１）と、映像が示す固視微動から、マイクロサッカードの動きの水平成分を含む実測プロフィールを生成する解析部（１２）と、利用者の個人属性情報を取得する個人属性情報取得部（１３）と、基準データ（１７）において、取得された個人属性情報に対応し、かつ、実測プロフィールに最も近い基準プロフィールを探索することでヒト状態を推定する推定部（１５）とを備える。

Description

本発明は、心理状態、感情状態、思考状態等のヒト状態を推定する装置に関し、特に、ヒトの眼球の固視微動に基づいてヒト状態を推定する装置に関する。

近年、デジタルテレビに代表される電子機器が多機能化、複合機化、システム化していく中、使用方法や手順が複雑化してきている。さらに、ユーザの使用状況、使用形態の多様化に伴い、個人の状態に合わせたカスタマイズされたＨＭＩ（human-machine interface）が望まれており、使用者の心理状態、感情状態、思考状態等のヒト状態を精度良く推定・計測する装置や手法が非常に重要な要素となってきている。

従来、このようなヒト状態を推定する様々な試みがなされている（例えば、特許文献１参照）。特許文献１では、指標板に指標を提示したときの被験者の眼球の動きを検出し、検出された眼球運動に基づく視線移動の時間変化から固視微動成分の異常を鑑別し、脳機能に関係する疾患を判断する固視微動検査装置が提案されている。この装置によれば、被験者の眼球の固視微動を測定して解析することにより、被験者の脳内の眼球運動制御機構の異常を検査し、これによって、脳血管性痴呆症等の鑑別を容易にしようというものである。

なお、「固視微動」とは、眼球運動の一つであり、静止物体をじっと見つめているつもりでも不随意的に常に起こっている細かな眼の揺れのことである。
特開平６−１５４１６７号公報

しかしながら、上記特許文献１に開示された固視微動検査装置では、脳血管性痴呆症等の脳機能に関係する疾患を判断することができても、心理状態、感情状態、思考状態等のヒト状態を特定することができないという問題がある。つまり、疾患という明確な異常状態を判断することができたとしても、健常者の微妙な精神状態、例えば、電子機器の操作時における戸惑い・不安・イライラ・焦り等の心理状態、快／不快・興奮／沈静等の感情状態、何も考えていない状態・計算課題にとりくんでいる状態・昨日の夕飯を思い出している等の思考状態を含むヒト状態については、もはや判断できないという問題がある。

そこで、本発明は、このような状況に鑑みてなされたものであり、心理状態、感情状態、思考状態等のヒト状態を高い精度で推定することができるヒト状態推定装置を提供することを目的とする。

上記目的を達成するために、本発明に係るヒト状態推定装置は、心理状態、感情状態および思考状態のうちの少なくとも一つであるヒト状態を利用者の眼球の固視微動に基づいて推定するヒト状態推定装置であって、ヒトの年代、視力および罹患状態のうちの少なくとも一つを示す複数の個人属性情報のそれぞれについて、前記ヒト状態と、当該ヒト状態での標準的な眼球の固視微動に含まれるマイクロサッカードの動きにおける眼球の左右方向の成分である水平成分を含む基準プロフィールとを対応づけた基準データを格納している格納部と、０．０５度の眼球回転角度の精度以上で、かつ、毎秒１２０サンプル以上の計測速度で、利用者の眼球の固視微動を含む眼球の動きを示す映像を取得する映像取得部と、前記映像が示す固視微動から、マイクロサッカードの動きの水平成分を抽出し、抽出した水平成分を含む実測プロフィールを生成する解析部と、前記利用者の個人属性情報を取得する個人属性情報取得部と、前記格納部に格納された基準データにおいて、前記個人属性情報取得部で取得された個人属性情報に対応し、かつ、前記実測プロフィールに最も近い基準プロフィールを探索し、探索した基準プロフィールに対応するヒト状態を、前記利用者について推定されるヒト状態として決定する推定部とを備えることを特徴とする。これにより、個人属性の類似性を利用するとともに、ヒト状態への依存性が高いマイクロサッカードの水平成分を用いてヒト状態が推定されるので、単に固視微動に基づいてヒト状態を推定する従来の装置よりも高い精度でヒト状態が推定される。

ここで、「マイクロサッカード」とは、固視微動の一つであり、小さな跳ぶような動きで、跳躍運動（サッカード）を小さくした動きである。なお、固視微動には、マイクロサッカードのほかに、「ドリフト」と「トレモア（あるいは、トレマ）」と呼ばれる動きが含まれる。「ドリフト」とは、小さな滑らかな動きであり、「トレモア」は、非常に小さな高周波の振動である。

また、前記基準プロフィールには、マイクロサッカードの動きの水平成分として、固視微動の水平成分のうち、マイクロサッカードとして平均的に観察される周期に相当する周波数での周波数成分が含まれ、前記解析部は、前記固視微動の水平成分の時間変化を周波数分析し、得られた周波数スペクトルのうちの前記周波数成分を前記マイクロサッカードの動きの水平成分として算出するのが好ましい。これにより、マイクロサッカードが平均すると２〜３Ｈｚの周期で観察されることから、この周波数帯域での動きがマイクロサッカードの動きに該当するので、この現象を利用することで、確実にマイクロサッカードの動きだけが抽出され、ヒト状態の推定精度が向上される。

また、前記基準プロフィールにはさらに、固視微動の一つであるドリフトおよびトレモア、瞳孔径に関する情報が含まれ、前記解析部はさらに、前記固視微動から、前記ドリフトおよび前記トレモア、瞳孔径に関する情報を抽出し、抽出した情報を含む実測プロフィールを生成し、前記推定部は、前記マイクロサッカードの動きの水平成分に加えて、前記ドリフトおよび前記トレモア、瞳孔径に関する情報についても照合することにより、前記実測プロフィールに最も近い基準プロフィールを探索してもよい。これにより、マイクロサッカードだけでなく、ヒト状態に依存する眼球運動に関する各種パラメータを利用してヒト状態を推定することで、さらにヒト状態の推定精度が向上され得る。

また、前記解析部はさらに、前記映像取得部が取得した映像から、前記利用者の視線方向、視線移動軌跡、視線停留時間、輻輳および開散、固視微動の動特性、サッカードの動特性、瞳孔径ならびに瞳孔の動特性の少なくとも一つを含む眼球運動を解析し、前記個人属性情報取得部は、眼球運動と個人属性情報との対応関係を示す個人属性テーブルを有し、前記個人属性テーブルを参照することで、前記解析部で得られた眼球運動の解析結果に対応する個人属性情報を特定し、特定した個人属性情報を前記利用者の個人属性情報として取得する構成としてもよい。これにより、ヒト状態を推定するのに使用される映像から個人属性情報が自動的に生成され、利用者が個人属性情報を入力する手間が省かれる。

また、前記ヒト状態推定装置はさらに、前記利用者のヒト状態を特定する情報を取得し、取得した情報と当該利用者について前記個人属性情報取得部で取得された個人属性情報と前記解析部で生成された実測プロフィールとを対応づけて、新たな基準データとして、前記格納部に登録する登録部を備える構成としてもよい。これにより、利用者のヒト状態等を予め教示しておくことで、ヒト状態の推定に使用される基準データが新たに登録されたり更新されたりするので、学習機能により、ヒト状態の推定精度を向上させていくことができる。

なお、本発明は、このような眼球運動計測を行ってヒト状態を推定するヒト状態推定装置として実現できるだけでなく、ヒト状態推定方法として実現したり、その方法に含まれるステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体として実現することもできる。例えば、そのプログラムをＨＭＩ評価関数や疾患を含む体調評価関数として家電機器、車載機器、住宅等に埋め込み型インタフェースとして組み込むことで、個人の状態に合わせたカスタマイズされたＨＭＩや、個人の健康状態の管理や疾患の早期発見、及び罹患状態に応じた監視、空調及び環境制御を行うことができる。

本発明によれば、ヒトの年代、視力および罹患状態等の個人属性の類似性を利用するとともに、心理状態、感情状態および思考状態等のヒト状態への依存性が高いマイクロサッカードの水平成分を用いてヒト状態が推定されるので、単に固視微動に基づいてヒト状態を推定する従来の装置よりも高い精度でヒト状態が推定される。

図１は、本発明に係るヒト状態推定装置の適用例を示す図である。 図２は、本発明の実施の形態におけるヒト状態推定装置の構成を示す機能ブロック図である。 図３は、個人属性情報のデータ構造を示す図である。 図４は、ヒト状態情報のデータ構造を示す図である。 図５は、基準データのデータ構造を示す図である。 図６は、図２における眼球運動解析部の詳細な構成を示す機能ブロック図である。 図７は、水平方向の視線を計測する方法を説明する図である。 図８は、垂直方向の視線を計測する方法を説明する図である。 図９は、ヒト状態推定装置によるヒト状態の推定に関する動作を示すフローチャートである。 図１０は、ヒト状態推定装置による個人属性情報の自動生成に関する動作を示すフローチャートである。 図１１は、ヒト状態推定装置による基準データの登録に関する動作を示すフローチャートである。 図１２は、固視微動を計測するための計測装置の構成図であり、（ａ）は、計測装置の側面図であり、（ｂ）は、計測装置の鳥瞰図である。 図１３は、計測装置における高速カメラの光軸と眼球の視軸と関係を示す図である。 図１４は、固視微動の運動軌跡の一例を示す図である。 図１５は、固視微動の水平成分および垂直成分の時間変化を説明するための図であり、（ａ）は、視標および固視点に関する計測条件を示す図であり、（ｂ）は、固視微動における動きの水平成分および垂直成分の時間変化を示す図である。 図１６は、精神状態とマイクロサッカードとの相関を説明するための図であり、（ａ）は、視標に関する計測条件を示す図であり、（ｂ）は、被験者に対して何も注文されていないときの普通の固視微動を示す図であり、（ｃ）は、被験者が素数を数えているときの固視微動の軌跡を示す図である。 図１７は、瞳孔計測実験の内容を示す図である。 図１８は、瞳孔径の変動についてのデータ例を示す図であり、（ａ）は、ベースラインのデータを示す図であり、（ｂ）〜（ｄ）は、それぞれ、刺激呈示間隔が１ＳＥＣ、２ＳＥＣ、３ＳＥＣのときのデータを示す図である。 図１９は、瞳孔径の変動における個人差の例を示す図である。 図２０は、各種心理状態における瞳孔径の変化の個人差の例を示す図であり、（ａ）は、被験者１の心理状態のデータを示す図であり、（ｂ）は、被験者２の心理状態のデータを示す図である。

符号の説明

１ デジタルテレビ
２ カメラ
３ リモコン
１０ ヒト状態推定装置
１１ 映像取得部
１２ 解析部
１２ａ 画像切り出し部
１２ｂ 眼球運動解析部
１３ 個人属性情報取得部
１３ａ 個人属性テーブル
１４ 入力部
１５ 推定部
１６ 格納部
１７ 基準データ
１７ａ 個人属性情報
１７ｂ ヒト状態情報
１７ｃ 基準プロフィール
１８ 登録部
１９ 表示部
２０ 眼球画像振り分け制御部
２１ 強膜画像解析部
２２ 角膜画像解析部
３２ 広角カメラ
３３ 高倍率レンズ
３８ 高速カメラ

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。

図１は、本発明に係るヒト状態推定装置の適用例を示す図である。本発明に係るヒト状態推定装置は、デジタルテレビ１の上部に設けられたカメラ２によって、利用者（ここでは、デジタルテレビ１の操作者）の眼球を含む映像を取得し、その映像から利用者の眼球の固視微動を解析し、その解析結果に基づいて、利用者の心理状態、感情状態および思考状態のうちの少なくとも一つであるヒト状態を推定する装置であり、カメラ２またはデジタルテレビ１に組み込まれている。デジタルテレビ１は、リモコン３で操作する利用者に対して、ヒト状態推定装置によって推定されたヒト状態に応じた操作メニューを提供する。たとえば、戸惑っていると推定された利用者に対しては、より詳細な操作メニューを提供する。

図２は、本発明に係るヒト状態推定装置１０の機能構成を示すブロック図である。本図に示されるように、ヒト状態推定装置１０は、利用者の眼球の固視微動に基づいて心理状態、感情状態および思考状態のうちの少なくとも一つであるヒト状態を推定する装置であり、映像取得部１１、解析部１２、個人属性情報取得部１３、入力部１４、推定部１５、格納部１６、登録部１８および表示部１９を備える。

映像取得部１１は、０．０５度の眼球回転角度の精度以上で、かつ、毎秒１２０サンプル以上の計測速度で、利用者の眼球の固視微動を含む眼球の動きを示す映像を取得する動画像用カメラであり、図１におけるカメラ２に対応する。この映像取得部１１は、可視光カメラだけでなく、赤外線（あるいは近赤外光）カメラ等も含まれる。

なお、０．０５度は、固視微動を確実に検出するために要求される最低限の眼球回転角度の精度（最大許容誤差）であり、眼球表面上の１０μｍを眼球回転角度に換算した値（１０μｍ／１２ｍｍ（ヒトの眼球の平均半径）×１８０／π）である。ここで、眼球表面上の１０μｍを最低限の精度としたのは、固視微動におけるドリフトの最小振幅が２０μｍと定義されていることから（芋阪良二、中溝幸夫、古賀一男編「眼球運動の実験心理学」名古屋大学出版会：非特許文献１）、その半分の精度で眼球表面上の任意点の移動距離を検出することで、固視微動のうち、ドリフト、および、ドリフトよりも大きな振幅を示すマイクロサッカードを検出できるからである。

さらに、本発明者らが実際に眼球の固視微動を計測したところ、小型のマイクロサッカードの振幅が０．１度程度であることが実験で分かった。そのため、この種類のマイクロサッカードを確実に計測するためには、その振幅の半分、すなわち、０．０５度の分解能が必要である。

また、毎秒１２０サンプル以上の計測速度としたのは、マイクロサッカードの運動速度が５０〜１００Ｈｚであることから（上記非特許文献１）、その速度を超えるフレームレートで画像をサンプリングすることで、マイクロサッカードを確実に検出するためである。

さらに、本発明者らが実際に眼球の固視微動を計測したところ、小型のマイクロサッカードの往復する時間が２５ｍｓ前後であることが実験で分かった。この種のマイクロサッカードを確実に検出するためには、サンプリング周期を、この種のマイクロサッカードの往復する時間の１／３以下、すなわち２５／３＝８．３ｍｓ以下にする必要がある。よって、小型のマイクロサッカードを確実に検出するためには、毎秒のサンプル数は１２０以上必要である。

解析部１２は、映像取得部１１で取得された映像に対して画像処理を施すことで、利用者の眼球運動を示す実測プロフィールを生成するＣＰＵ、メモリ、プログラム等によって実現される処理部であり、画像切り出し部１２ａと眼球運動解析部１２ｂとを有する。

画像切り出し部１２ａは、映像取得部１１から送られてくる映像を構成する各ピクチャに対して輪郭処理等を施すことにより、利用者の顔画像を切り出す。

眼球運動解析部１２ｂは、画像切り出し部１２ａで切り出された顔画像における眼球の運動（利用者の視線方向、視線移動軌跡、視線停留時間、輻輳・開散、瞬目率、瞬目の動特性（瞼を閉じるのに要する時間・瞼を開くのに要する時間）、瞳孔径、瞳孔の動特性（光量の変化が検出された時の瞳孔径の変化率、及び変化率の周波数解析パターン特性）、サッカードの動特性（移動速度や修正サッカード、あるいは水平方向、垂直方向へのばらつき、振幅等）や固視微動の動特性（固視微動軌跡、微動速度、微動周波数解析パターン、振幅特性等））を解析する。

たとえば、この画像切り出し部１２ａは、顔画像から視線方向の移動軌跡を求めることで、固視微動（マイクロサッカード、ドリフトおよびトレモア）の動特性を解析するとともに、顔画像に対して瞳孔の画像を認識することで、瞳孔径を特定し、それらの解析結果を示す情報（眼球運動パラメータの値）を実測プロフィールとして、推定部１５および登録部１８に送る。また、この眼球運動解析部１２ｂは、事前の設定に基づいて、画像切り出し部１２ａで切り出された顔画像に対して瞳孔の位置や大きさを特定したり、その時間変化を算出することで、利用者の視線方向、視線移動軌跡、視線停留時間、輻輳および開散、固視微動の動特性、サッカードの動特性、瞳孔径ならびに瞳孔の動特性を含む眼球運動を解析し、その結果を示す眼球運動情報を個人属性情報取得部１３に送る。

個人属性情報取得部１３は、このヒト状態推定装置１０によるヒト状態の推定精度を高めるための情報として、利用者の年代、視力および罹患状態のうちの少なくとも一つを示す個人属性情報を取得し、取得した個人属性情報を推定部１５および登録部１８に送る、ＣＰＵ、メモリ、プログラム等によって実現される処理部である。具体的には、この個人属性情報取得部１３は、眼球運動と個人属性情報との対応関係を示す個人属性テーブル１３ａを有し、解析部１２から眼球運動情報が送られてくる場合には、その個人属性テーブル１３ａを参照することで、解析部１２から送られてきた眼球運動情報に対応する個人属性情報を特定し、特定した個人属性情報を利用者の個人属性情報として取得し、一方、解析部１２から眼球運動情報が送られてこない場合には、入力部１４を介して、利用者から、自身の年代、視力および罹患状態に関する情報を取得することで、個人属性情報を取得する。

図３は、個人属性情報のデータ構造を示す図である。個人属性情報は、年代の範囲を特定する「年代属性値」が格納されるフィールドと、１．０等の視力が格納されるフィールドと、図示された罹患状態のいずれかを特定する数値が格納されるフィールドとからなる。なお、各フィールドには、不明、標準値（デフォルト値）等を示す値が格納されてもよい。

入力部１４は、利用者が個人属性情報やヒト状態を入力するための操作ボタン、キーボード、マウス等であり、図１におけるリモコン３に対応する。この入力部１４は、個人属性情報については個人属性情報取得部１３に出力し、ヒト状態を特定する情報（「ヒト状態情報」）については登録部１８に出力する。

図４は、ヒト状態情報のデータ構造を示す図である。ヒト状態情報は、平静・不安・戸惑い等の少なくとも一つの心理状態を特定する数値が格納されるフィールドと、快−不快の程度・興奮−沈静の程度・緊張−弛緩の程度等の少なくとも一つの感情状態を特定する数値が格納されるフィールドと、計算課題が与えられた状態・記憶課題が与えられた状態・思考課題が与えられた状態等の少なくとも一つの思考状態を特定する数値が格納されるフィールドからなる。

格納部１６は、複数の個人属性情報のそれぞれについて、ヒト状態と、当該ヒト状態における標準的な眼球運動に関する情報である基準プロフィールとを対応づけた基準データ１７を格納しているメモリやハードディスク等の記憶装置である。ここで、基準プロフィールには、マイクロサッカードの動きの水平成分（眼球の左右方向の成分）を示す情報（より詳しくは、固視微動の水平成分のうち、マイクロサッカードとして平均的に観察される周期に相当する周波数での周波数成分）、ドリフトおよびトレモアに関する情報、瞳孔径に関する情報等が含まれている。

図５は、基準データ１７のデータ構造を示す図である。基準データ１７は、複数の異なる個人属性情報１７ａのそれぞれについて、ヒト状態情報１７ｂと基準プロフィール１７ｃとの対応関係が登録されたデータである。ここで、基準プロフィール１７ｃとは、ヒト状態情報１７ｂに対応する、予め登録された眼球運動パラメータの集まりである。図５では、そのうち、１つの個人属性情報１７ａについて登録されているヒト状態情報１７ｂと基準プロフィール１７ｃとの対応関係が示されている。ここでは、年代が５０歳代であり、視力が全ての範囲であり、罹患状態が健常者であるという個人属性のヒトについては（個人属性情報１７ａ）、「心理状態が不安であり、感情状態が不快であり、思考状態が無し」というヒト状態の場合には（ヒト状態情報１７ｂ）、平均的に、眼球運動パラメータの値がいかなる値となるか、例えば、マイクロサッカードの動きの水平成分がいかなる値となるか（基準プロフィール１７ｃの「固視（左右）」）、ドリフトおよびトレモアに関する情報がいかなる値となるか（基準プロフィール１７ｃの「固視（左／右）」）、瞳孔径に関する情報がいかなる値となるか（基準プロフィール１７ｃの「瞳孔径（左／右）」）等の典型値が格納されている。

推定部１５は、格納部１６に格納された基準データ１７において、個人属性情報取得部１３から送られてきた個人属性情報に対応し、かつ、解析部１２から送られてきた実測プロフィールに最も近い基準プロフィールを探索し、探索した基準プロフィールに対応するヒト状態を、利用者について推定されるヒト状態として決定し、決定したヒト状態を示す情報を表示部１９に通知する、ＣＰＵ、メモリ、プログラム等によって実現される処理部である。

表示部１９は、推定部１５から送られてくるヒト状態情報を表示したり、利用者に操作メニューを表示したりするＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro Luminescent）ディスプレイ、ＣＲＴ等であり、図１におけるデジタルテレビ１の画面に対応する。

登録部１８は、入力部１４を介して利用者のヒト状態を特定する情報を取得し、取得した情報と当該利用者について個人属性情報取得部１３から送られてくる個人属性情報と解析部１２から送られてくる実測プロフィールとを対応づけて、新たな基準データ１７として、格納部１６に登録する、ＣＰＵ、メモリ、プログラム等によって実現される処理部である。これによって、このヒト状態推定装置１０は、ヒト状態を推定するだけでなく、その推定の基準となるデータ（基準データ１７）を追加したり更新したりして学習していくことができる。

ここで、眼球運動解析部１２ｂによる眼球運動の解析の詳細、及び、眼球運動を解析する意義について説明する。

図６は、図２に示された眼球運動解析部１２ｂの詳細な構成を示す機能ブロック図である。眼球運動解析部１２ｂは、眼球画像振り分け制御部２０と、強膜画像解析部２１と、角膜画像解析部２２とから構成されている。

眼球画像振り分け制御部２０は、画像切り出し部１２ａで切り出された顔画像の中から、画像のコントラストや色調の変化を検出し強膜（白目）と角膜（黒目）画像を振り分け、強膜画像に関する情報を強膜画像解析部２１に送り、角膜画像に関する情報を角膜画像解析部２２に送る。強膜画像解析部２１は、強膜上の血管パターンのＤＰ（動的計画法；Dynamic Programming）マッチングにより固視微動の動特性を解析する。角膜画像解析部２２は、輪郭抽出等によって虹彩や瞳孔を抽出して解析することで、角膜に関する静特性（位置・大きさ等）や動特性（位置・大きさ等の時間変化）を算出する。これら強膜画像解析部２１および角膜画像解析部２２での解析結果は、利用者の眼球運動を示す実測プロフィールとして推定部１５および登録部１８に送られたり、個人属性情報を自動生成するための眼球運動情報として個人属性情報取得部１３に送られたりする。なお、眼球運動解析に強膜画像だけを使用する場合は、角膜画像解析部２２は構成上なくてもよい。

また、眼球運動解析部１２ｂでは、強膜画像解析部２１および角膜画像解析部２２により、画像切り出し部１２ａで切り出された顔画像の中から視線方向の解析が行われる。解析方法としては、図７と図８に示されるように、水平方向と垂直方法の強膜と角膜の位置関係や割合によって、利用者が注視している表示部１９（画面）上の点が同定される。図７は、水平方向の視線を計測する方法を説明する図である。ここでは、水平方向における強膜と角膜の位置関係や割合によって視線の水平方向が特定される様子が図示されている。また、図８は、垂直方向の視線の計測する方法を説明する図である。ここでは、垂直方向における強膜と角膜の位置関係や割合によって視線の垂直方向が特定される様子が図示されている。

通常、水平方向と垂直方向の眼球運動情報だけで視線方向を検出できるが、奥行きを検出できないので、眼球運動情報の中からさらに左右の眼の輻輳（いわゆる近くを見ている時の寄り眼の状態）や開散（遠くを見ている時に開き眼の状態）を検出して、３次元的な注視点を抽出する。輻輳・開散については、さらに精度を上げるために、予めキャリブレーションによって表示部１９を見ているときの寄り眼・開き眼の程度を計測しておくことで、検出してもよい。

本実施の形態では、ヒト状態推定装置１０が起動されると、映像取得部１１が利用者の顔の撮像を開始する。ヒト状態推定装置１０の動作中は、例えば１分毎に、その直前１分間の利用者の映像を解析し、眼球運動情報を用いて心理状態、感情状態、あるいは思考状態を推測し、推測されたヒト状態を表示部１９に出力する。そして、当該ヒト状態に応じて、画面の表示状態を変化させたり、機器の制御方法を変更することも可能である。つまり、ヒト状態推定装置１０は、例えば１分毎に、利用者のヒト状態に応じて画面の表示状態を変えていく。併せて、映像取得部１１は、利用者の顔の撮像を開始する。撮像された画像データは、図示されていないバッファメモリに蓄積されていく。ここで、例えば、上述した近赤外光による画像においては、虹彩での反射率が高いため、瞳孔だけが暗く、虹彩は眼球の白目より若干暗い程度の明るさとなる。すなわち、近赤外光による画像では、瞳孔が一番暗く、次に、虹彩、白目、瞼などの皮膚の順に明るくなる。そのため、この明るさの差を利用して瞳孔や瞼等を識別することが可能となる。

また、瞳孔径の変動によっても、利用者の生理・心理状態が推定できる。光が眼に入ったときには瞳孔は小さくなり（対光反応と呼ばれる）、暗いところでは大きくなる。瞳孔径は、若年者では直径最小２ｍｍ、最大８ｍｍ程度まで変化する。一方、高齢者では、暗いところでも瞳孔径は若年者のようには大きくならず、最大６ｍｍ程度までである。また、対光反応についても、若年者と高齢者とでは、応答速度特性が異なり、高齢者のほうが反応が遅い。

瞳孔径の変化については、次の通りである。眼に入射する光の量が一定でも、瞳孔の大きさは低周波で揺らいでいる。そして、緊張時は瞳孔が大きく開いており（散瞳）、動揺も目立たない。しかし、疲労を感じてくる、あるいは、眠くなってくると、瞳孔は小さくなり（縮瞳）、動揺し始める。そして、疲れているほど、あるいは、眠いほど、動揺は大きくなる。また、関心があるものを見るときにも瞳孔は大きくなる。一方、退屈な写真や意味不明な抽象画等の関心の薄いものに対しては、瞳孔の大きさはほとんど変化しない。このように、瞳孔の変化は人間の心理状態を反映する。そのため、瞳孔径や瞳孔反応等を計測すれば、利用者の年齢層や対象物への関心度及び心理状態等を推定することができる。

また、年齢や視力や罹患状態の影響を受けやすい眼球運動計測によるヒト状態推定の精度向上を図るため、本実施の形態では、図３に示される個人属性情報が個人属性情報取得部１３から生成され、推定部１５に送られる。推定部１５は、入力された個人属性情報と同一又は類似する個人属性情報に属する情報に限定することで、格納部１６に格納された基準データ１７に対する探索対象を絞っている。つまり、推定部１５は、眼球運動解析部１２ｂから送られてくる眼球運動情報を含む実測プロフィールに最も近い基準プロフィール１７ｃを基準データ１７の中から探索するが、このとき、個人属性情報取得部１３から送られてきた個人属性情報と同一又は類似する個人属性情報１７ａに属する基準プロフィール１７ｃに限定して探索し、探索した基準プロフィール１７ｃに対応するヒト状態情報１７ｂを利用者のヒト状態として表示部１９に送る。

なお、眼球運動は本実施の形態においては１分毎に解析されるので、前回推定したヒト状態と今回推定したヒト状態が異なる時だけ、ヒト状態情報等を表示部１９に送信して、送信量の削減を図ってもよい。また、図３に示される個人属性情報の内容を、初期状態として、年代＝未定、視力＝未定、罹患状態＝未定のデフォルトとして定義しておき、入力部１４や個人属性情報取得部１３から入力があった場合に、精度の向上が図れるような仕組であってよい。また、瞳孔径や瞳孔反応等を計測すれば、利用者の年齢層を判別することが可能なので年代の入力は不要となる。

また、本実施の形態における強膜画像解析部２１では強膜上の血管パターンのＤＰマッチングにより固視微動の動特性を解析しているので、静脈パターンマッチングによる個人認証と同様に、眼球上の血管パターンにより個人認証が可能となり、個人認証の結果と予め用意された個人属性情報とを対応づけておき、認証結果に対応する個人属性情報を用いてヒト状態を推定することで、毎回個人属性情報を生成することが不要になるとともに、推定精度が向上される。

また、瞳孔径の変動は年齢などの要因も含めて個人差があるが、個人認証などで非常に精度の良い認証が可能な虹彩情報についても同様のカメラ（映像取得部１１）からの映像信号で取得できるので、虹彩認証のメカニズムを眼球運動解析部１２ｂに組み込めば、個人の変動率を考慮した、より精度の良い生理・心理状態の推定ができる。

次に、以上のように構成された本実施の形態におけるヒト状態推定装置１０の動作について説明する。

図９は、本実施の形態におけるヒト状態推定装置１０によるヒト状態の推定に関する動作を示すフローチャートである。

まず、映像取得部１１は、０．０５度の眼球回転角度の精度以上で、かつ、毎秒１２０サンプル以上の計測速度で、利用者の眼球の固視微動を含む眼球の動きを示す映像を取得する（Ｓ１０）。

続いて、解析部１２の画像切り出し部１２ａは、映像取得部１１の広角カメラ３２から送られてくる映像を構成する各ピクチャに対して輪郭処理等を施すことにより、利用者の顔画像を切り出す（Ｓ２０）。

そして、解析部１２の眼球運動解析部１２ｂは、画像切り出し部１２ａで切り出された顔画像に対して視線方向の移動軌跡を求めることで、固視微動（マイクロサッカード、ドリフトおよびトレモア）の動特性を解析するとともに、顔画像に対して瞳孔の画像を認識することで、瞳孔径を特定する（Ｓ１２）。より具体的には、眼球運動解析部１２ｂは、マイクロサッカードに関する情報として、固視微動を示すデータを水平成分（眼球の左右方向の成分）と垂直成分（眼球の上下方向の成分）とに分離し、分離した水平成分をフーリエ級数展開することで周波数分析をし、得られた周波数スペクトルのうち、マイクロサッカードとして平均的に観察される周期に相当する周波数（２〜３Ｈｚ）での周波数成分を、マイクロサッカードの動きの水平成分を含む実測プロフィールとして生成する。また、眼球運動解析部１２ｂは、ドリフトおよびトレモアについても、同様に、固視微動を示すデータのうち、ドリフトおよびトレモアの運動速度に対応する周波数成分を算出し、実測プロフィールとして生成する。

一方、個人属性情報取得部１３は、このヒト状態推定装置１０によるヒト状態の推定精度を高めるための情報として、利用者の年代、視力および罹患状態のうちの少なくとも一つを示す個人属性情報を取得する（Ｓ１３）。

そして、推定部１５は、格納部１６に格納された基準データ１７を参照することにより（Ｓ１４）、個人属性情報取得部１３から送られてきた個人属性情報に対応し、かつ、解析部１２から送られてきた実測プロフィールに最も近い基準プロフィールを探索し（Ｓ１５）、探索した基準プロフィールに対応するヒト状態を、利用者について推定されるヒト状態として決定する（Ｓ１６）。より具体的には、この推定部１５は、個人属性情報取得部１３から送られてくる個人属性情報と一致する、あるいは、最も近い個人属性情報１７ａを基準データ１７の中から特定し、特定した個人属性情報１７ａについて登録されたヒト状態情報１７ｂと基準プロフィール１７ｃとの対応関係（図５）を基準データ１７から読み出す。そして、読み出した対応関係のデータを参照することで、マイクロサッカードの動きの水平成分、ドリフトおよびトレモアに関する情報、および、瞳孔径に関する情報等の眼球運動パラメータについて、実測プロフィールと基準プロフィール１７ｃとの間での一致度（例えば、眼球運動パラメータごとの基準プロフィールの値に対する実測プロフィールの値の比）を算出し、それらの一致度の合計値が最も高い基準プロフィール１７ｃを特定し、特定した基準プロフィール１７ｃに対応するヒト状態情報１７ｂを、利用者のヒト状態を示す情報として、表示部１９に通知する。

なお、個人属性情報取得部１３から送られてくる個人属性情報は、年代、視力および罹患状態の全てが明確な値で埋まっているとは限らない。たとえば、年代＝５０歳代とだけ定義された個人属性情報であれば、推定部１５は、個人属性情報として、利用者が年代＝５０歳代、視力＝デフォルト（無関係）、罹患状態＝デフォルト（＝健常者）と解釈し、これと同じ個人属性情報１７ａに属する基準プロフィール１７ｃの中から実測プロフィールに最も近い基準プロフィール１７ｃを探索し、探索した基準プロフィール１７ｃに対応するヒト状態情報１７ｂを利用者のヒト状態と推定する。

最後に、表示部１９は、推定部１５から送られてくるヒト状態情報を表示する（Ｓ１６）。

このようにして、本実施の形態におけるヒト状態推定装置１０よって利用者のヒト状態が推定される。このヒト状態推定装置１０によれば、（１）高機能な映像取得部１１によって取得された映像から固視微動、特に、ヒト状態との関連性が高いマイクロサッカードの動きの水平成分に基づいてヒト状態を推定していること、および、（２）眼球運動に加えて、個人属性の類似性を利用してヒト状態を推定していることから、単に眼球運動（あるいは、固視微動）からヒト状態を推定する従来の装置に比べ、高い精度でヒト状態が推定される。

図１０は、本実施の形態におけるヒト状態推定装置１０による個人属性情報の自動生成に関する動作を示すフローチャートである。

まず、個人属性情報取得部１３は、解析部１２から眼球運動情報が送られてくるか否かを判断する（Ｓ２０）。なお、解析部１２では、利用者による事前の設定により、眼球運動解析部１２ｂによる眼球運動情報を生成するか否かが決定され、眼球運動解析部１２ｂによって眼球運動情報が生成された場合に、解析部１２から個人属性情報取得部１３に向けて、その眼球運動情報が送信される。

その結果、解析部１２から眼球運動情報が送られてくる場合には（Ｓ２０でＹｅｓ）、個人属性情報取得部１３は、内部に有する個人属性テーブル１３ａを参照することで（Ｓ２１）、解析部１２から送られてきた眼球運動情報に対応する個人属性情報を特定し、特定した個人属性情報を利用者の個人属性情報として生成し（Ｓ２２）、一方、解析部１２から眼球運動情報が送られてこない場合には（Ｓ２０でＮｏ）、個人属性情報取得部１３は、入力部１４を介して、利用者から、自身の年代、視力および罹患状態に関する情報を取得することで（Ｓ２３）、個人属性情報を取得する。

このようにして、本実施の形態におけるヒト状態推定装置１０によれば、個人属性情報は、映像取得部１１で得られた映像、つまり、ヒト状態を推定するために取得された映像を利用して、自動生成される。そして、自動生成された個人属性情報は、解析部１２で生成される実測プロフィールとともに、ヒト状態の推定に利用される。よって、このヒト状態推定装置１０によれば、個人属性情報を取得するために特別な操作を強いられることなく、高い精度によるヒト状態の推定が実現される。

図１１は、本実施の形態におけるヒト状態推定装置１０による基準データ１７の登録に関する動作を示すフローチャートである。

まず、登録部１８は、利用者のヒト状態を特定する情報が入力部１４から入力されるか否か、つまり、ヒト状態の教示があるか否かを判断する（Ｓ３０）。なお、このヒト状態推定装置１０は、利用者による事前の設定によって、動作モードが「ヒト状態推定モード」であるか、あるいは、「基準データ登録モード」であるかが決定される。そして、ヒト状態推定装置１０が「基準データ登録モード」である場合に、登録部１８は、ヒト状態の教示があると判断できる。

その結果、ヒト状態の教示がある場合にだけ（Ｓ３０でＹｅｓ）、登録部１８は、その利用者の個人属性情報を個人属性情報取得部１３から受け取り、その利用者の実測プロフィールを解析部１２から受け取り（Ｓ３１）、いま入力部１４から入力されたヒト状態とともに、それらを対応づけて（実測プロフィールを基準プロフィールとすることで）、新たな基準データ１７として、格納部１６に登録する（Ｓ３２）。

このようにして、本実施の形態におけるヒト状態推定装置１０は、ヒト状態を推定するだけでなく、その推定の基準となるデータ（基準データ１７）を追加したり更新したりして学習していくことができる。

以上のように、本実施の形態のヒト状態推定装置１０では、個人属性情報取得部１３は、解析部１２から送られてくる眼球運動情報または入力部１４からの入力に基づいて、個人属性情報を生成している。そして、いずれのケースで生成された個人属性情報であっても、推定部１５において、ヒト状態を推定するための補助的な情報として利用される。よって、このヒト状態推定装置１０によれば、解析部１２が個人属性情報取得部１３に送る眼球運動情報を生成する機能を有しない安価なタイプであっても、利用者は、年代等の簡単な入力を行うだけで、個人属性に対応した（必要な場合には、デフォルトの値を含む）個人属性情報が生成され、生成された個人属性情報がヒト状態の推定に使用されるので、精度の高いヒト状態の推定が実現される。

また、個人属性情報の内容として、最初はすべてデフォルトか自己申告した値として定義しておき、計測された眼球運動だけからヒトの状態推定を行い、その結果を表示部１９に出力することで、自己申告や診断結果と表示部１９に表示された内容との乖離がある場合、まだ顕在化していない疾患の可能性の検討や正直に自己申告をしていない場合の可能性の検討をすることもできる。

さらに、デフォルトの年代を５０歳として処理を進めた場合、例えば、計測中の瞳孔径の変化が８ｍｍを頻繁に超えたり、瞳孔径の変動速度が２０歳と同様に速かった場合に、動的に個人属性情報の「年代」を変更してもよい。

なお、本実施の形態では、眼球運動は１分毎に解析されるので、前回推定したヒト状態と今回推定したヒト状態が異なる時だけ推定部１５が表示部１９にヒト状態情報を送信することで、送信データ量の削減を図ってもよい。また、図３に示される個人属性情報の初期状態として、年代＝未定、視力＝未定、罹患状態＝未定のデフォルトとして定義しておき、入力部１４からの入力や個人属性情報取得部１３での自動解析があった場合に、該当フィールドだけを更新して精度を向上させていくような仕組であってもよい。また、瞳孔径や瞳孔反応等を計測すれば、利用者の年齢層を判別することが可能なので年代の入力は必要なくなる。

次に、本発明に係るヒト状態推定装置１０がヒト状態を推定するために、固視微動、特に、マイクロサッカードの情報を利用している意義について説明する。

図１２は、眼球運動の中でも固視微動を高い精度で計測するために発明者らが使用した計測装置の構成図である。図１２（ａ）は、計測装置の側面図であり、図１２（ｂ）は、計測装置の鳥瞰図である。この計測装置は、本発明に係るヒト状態推定装置１０の映像取得部１１および解析部１２の別の実施の形態に相当する。

高倍率レンズ３３付き高速カメラ３８の光軸を眼球の赤道平面上に設置した。高速カメラ３８の光軸と眼球が正面に向いたときの視軸とのなす角は、図１３に示されるように、４５度である。また、眼球の全体位置を測定するための広角レンズ付きカメラ３２を設置する。広角カメラ３２と高速カメラ３８が互いに固定されているので、広角カメラ３２から眼の全体画像を取り込み、計測したい部位を広角カメラ画像の特定位置に合わせることによって、高速カメラ３８の撮像領域をその部位に合わせることができる。

本実施の形態では、高速カメラ３８の撮像速度を２５０フレーム／秒にし、そのレンズは４．５倍レンズを用いた。図１４は、カメラから取り込まれた強膜の画像（固視微動の運動軌跡）の一例を示す図である。図１４において、四角枠は、ブロックマッチングのパターンの領域である。四角枠における実線と点線は、ブロックマッチングにより判明した眼球運動の軌跡であり、それぞれ、ドリフトおよびマイクロサッカードの軌跡を示している。

図１５は、計測した固視微動の水平成分および垂直成分の時間変化を説明するための図である。図１５（ａ）は、視標（距離は７５０ｍｍ）および固視点に関する計測条件を示す図であり、図１５（ｂ）は、固視微動における動き（displacement［μｍ］）の水平成分（実線）と垂直成分（点線）の時間変化を示す図である。本図から分かるように、水平眼球運動と垂直眼球運動は異なる運動パターンを有し、運動速度の高いマイクロサッカードは主に水平眼球運動に集中している。図１５（ｂ）に示される水平成分のグラフにおいて瞬時に大きな動きが生じている箇所がマイクロサッカード（より正確には、マイクロサッカードの動きの水平成分）である。その発生頻度は、平均して、２．３３Ｈｚであり、動き量は、平均して、１２０．６μｍであった。

図１６は、精神状態とマイクロサッカードとの相関を説明するための図である。図１６（ａ）は、視標（距離は１．０ｍ、視野角度２度の市松模様）に関する計測条件を示す図であり、図１６（ｂ）は、被験者に対して何も注文されていないときの普通の固視微動を示し、図１６（ｃ）は、被験者が素数を数えているときの固視微動の軌跡を示している。図１６（ｂ）および（ｃ）を比較して分かるように、被験者が素数を数えているときには、明らかにマイクロサッカードの運動範囲が大きくなっている。

以上のことから、固視微動の水平成分のうち、マイクロサッカードとして平均的に観察される周期に相当する周波数（例えば、２．３３Ｈｚを中心とする一定周波数幅、具体例として、２〜３Ｈｚ）での周波数成分（図１５および図１６における縦軸）は、素数を数える等の思考状態に依存して大きく変化することが分かる。なお、マイクロサッカードの動き量は、このような思考状態だけでなく、平静・不安・戸惑い等の心理状態、快−不快・興奮−沈静・緊張−弛緩等の感情状態にも依存して変化することが判明している。さらに、マイクロサッカードだけでなく、他の固視微動（ドリフト、トレモア）や、他の眼球運動（瞳孔径等）についても、心理状態、感情状態および思考状態等のヒト状態に依存して変動することが判明している。よって、これらの固視微動や眼球運動情報に基づいてヒト状態を推定することが可能となる。

次に、本発明に係るヒト状態推定装置１０がヒト状態を推定したり、個人属性情報を生成するために、眼球運動、特に、瞳孔に関する情報を利用している意義について説明する。

同じ実験タスクの負荷をかけても、年代や個人差により、眼球運動をはじめとする生理計測データや心理データに異なる結果が得られると言われている。そこで、発明者らは、聴覚刺激を用いた課題遂行中の心理状態と瞳孔径を測定し、それらの対応について検討した。

本実施の形態における瞳孔計測実験の内容を図１７に示す。聴覚刺激はヘッドホンで被験者に呈示される。主な実験条件は以下の通りである。

（条件１）被験者は、呈示された刺激が指定されたカテゴリーに属するかどうかをボタンで応答する。

（条件２）１試行を６０秒とする。

（条件３）被験者は、中央の十字を固視する。

（条件４）刺激呈示間隔（Δｔ）をパラメータとする。

（条件５）１試行終了後に心理状態の自己申告を行う。

図１８は、ある被験者の瞳孔径の変動についてのデータ例を示す図である。図１８（ａ）は、ベースラインのデータを示しており、上記（条件１）における呈示された刺激が指定されたカテゴリーに属するかどうかをボタンで応答するタスクを行わずに、聴覚刺激だけを受けた時の瞳孔径の変動を示す。図１８（ｂ）〜（ｄ）は、それぞれ、１ＳＥＣ、２ＳＥＣ、３ＳＥＣのデータを示しており、上記（条件４）における刺激呈示間隔を１秒、２秒、３秒に変更したときの瞳孔径変動の測定結果を表している。図１８（ａ）に示されるベースラインから分かるように、上記（条件１）におけるタスク負荷ありの場合と比べて、瞳孔径変動の周波数の揺れがゆるやかであり、４ｍｍから６ｍｍのラインに落ち着いている。しかし、上記（条件１）におけるタスク負荷がかかると、図１８（ｂ）〜（ｄ）から分かるように、上記（条件４）における刺激間隔の１秒では６ｍｍ〜７ｍｍ、２秒では５．５ｍｍ〜６．５ｍｍ、３秒では５ｍｍ〜６ｍｍで推移しており、刺激呈示間隔が短くなると、瞳孔径は大きくなり、３秒よりも１秒間隔のほうが、散動傾向となっており、交感神経がベースラインよりも賦活している。

図１９は、瞳孔径の変動における個人差の例を示す図である。ここでは、被験者１（ＳＯ）と被験者２（ＨＭ）の２名について、課題遂行中における瞳孔径の平均（６０秒間の平均）の時間変化が図示されている。なお、被験者は２人とも２０歳代である。被験者１および被験者２は、いずれも、刺激呈示間隔が長くなるにつれて瞳孔径の平均は短くなり、ベースラインに近づいている。一般的に瞳孔径の変動幅は２０歳代と５０歳代では異なることが言われているが、同じ年代でも、個人ごとに変動曲線は異なっている。

図２０は、各種心理状態における瞳孔径の変化の個人差の例を示す図である。図２０（ａ）は、被験者１（ＳＯ）の心理状態を、図２０（ｂ）は、被験者２（ＨＭ）の心理状態を、上記（条件５）に従ってまとめたデータを示す図である。これらの図から分かるように、活動度、焦り感、不安感については、被験者１および被験者２共に、上記（条件４）の刺激呈示間隔が短くなるにつれて増大している。しかし、その振幅は被験者によって異なっている。例えば、不安感に関して時間の切迫感がある１秒では、被験者１は大きな不安を感じているが被験者２では中くらいの不安を感じている。また、苛立ち感に関して、被験者２では１秒では感じているが２秒、３秒では感じていない。逆に、被験者２では１秒、２秒では殆ど感じていないが、３秒では感じている。

以上のように、瞳孔径に関する様々な情報を利用することで、ヒト状態を推定したり、瞳孔径に関する個人差を利用して個人属性を識別したりすることができる。

なお、図５に示された基準プロフィール１７ｃにおける瞳孔径に関する値、あるいは、眼球運動解析部１２ｂで生成される眼球運動情報としては、例えば、図１８に示される瞳孔径の変動を示す生データのパワースペクトル解析を行い、その結果得られる低周波成分や高周波成分のパワー値であってもよい。また、図１９に示されるグラフの平均値や傾きなどの値により代表させてもよい。また、図２０に示されるように、１つの瞳孔変動データが示す心理状態が複数の心理状態（苛立ち、焦り、不安等）を示す場合があるので、心理データ評価値とパワースペクトル解析結果との重回帰分析の結果から、実測プロフィール、基準プロフィール、眼球運動情報を特定したり、ヒト状態を推定・個人属性情報を決定したりしてもよい。また、眼球運動は瞳孔径に限らず、固視微動、サッカードとの組み合わせで求めてもよい。

以上のように、本実施の形態におけるヒト状態推定装置によれば、眼球の固視微動、特に、ヒト状態との関連性が高いマイクロサッカードの動きの水平成分に基づいてヒト状態が推定されること、および、眼球運動に加えて、個人属性の類似性を利用してヒト状態が推定されることから、単に眼球運動（あるいは、固視微動）からヒト状態を推定する従来の装置に比べ、高い精度でヒト状態が推定される。つまり、年代や罹患状態の影響も受けやすく、個人差、個人内差のばらつきも大きいと言われている眼球運動を含む生体情報において、計測した生体情報データを用いて、被験者の無意識も含めた精神状態、思考状態、身体状態を精度良く推定することができる。このため、精度の良い定量的かつ客観的なＨＭＩ評価システムを構築することができると共に、システム機器の安全性、快適性、利便性が向上される。

また、本発明に係るヒト状態推定装置は、自律神経と関係が深いと思われる眼球運動（固視微動、サッカード、追従眼球運動及び瞳孔径の動特性）の情報を利用しているので、ＡＶ機器操作時におけるストレスの原因である不安、イライラ、焦り、戸惑い、困惑などの特定心理状態、あるいは、喜怒哀楽を含めた陰性、陽性感情、あるいは精神疾患と眼球運動因子の動特性の関係式を精度良く導出することができる。

また、眼球運動の計測は、脳波計測を含めて多くの生体情報計測よりも非侵襲であり、利用者の精神的・身体的負担が軽減できる。

さらに、本発明では強膜画像に映し出された毛細血管像から個人を特定する情報を抽出することや、角膜画像から虹彩情報を取り出して個人認証することができるので、利用者は入力部から直接個人属性を特定する情報を毎回入力する必要がなく、利便性が向上する。また、新たな認証装置を追加する必要もなく、個人の身体的、精神的及び経済的負担が軽減できる。

また、本発明のヒト状態推定装置は、新たな個人属性、あるいは新たなヒト状態の情報が得られた場合には、基準データとして登録し、その後の推定に利用することができ、柔軟かつ拡張性に優れている。

以上のように、本発明により、ヒトの状態が高い精度で推定され、特に、電子機器の高機能化と共にユーザの使用状況、使用形態が多様化してきた今日において、本発明の実用的価値は極めて高い。

以上、本発明に係るヒト状態推定装置について、実施の形態および変形例に基づいて説明したが、本発明は、これらの実施の形態および変形例に限定されるものではない。これらの実施の形態および変形例について、任意に選択した構成要素を組み合わせることで実現される別の変形例や、上記実施の形態および変形例に対して当業者が思いつく各種変更を施したものも、本発明の趣旨を逸脱しない限り、本発明に含まれる。

たとえば、本実施の形態では、本発明に係るヒト状態推定装置は、テレビに組み込まれて適用されたが、テレビだけでなく、パソコン、カーナビ、携帯電話等の家電機器、車載機器、あるいは住宅等に使用される監視機器、健康管理機器、空調管理機器等に組み込んで適用してもよい。

また、本実施の形態では、推定部１５は、実測プロフィールを構成する全ての眼球運動パラメータについて基準プロフィールとの一致度を算出して合計したが、本発明は、このような探索に限定されるものではない。たとえば、基準プロフィールを構成する眼球運動パラメータごとに優先度を設け、優先度に応じた重み付け係数を一致度に乗じた後に、眼球運動パラメータごとの一致度を合計してもよい。これによって、ヒト状態に依存して大きく変化する眼球運動パラメータの優先度を高くすることで、実情に即した精度の高いヒト状態の推定が可能となる。

また、本実施の形態では、個人属性情報の「視力」には、視力の値が格納されたが、近視・遠視・乱視等の眼の屈折系・調節系の状態（異常）を特定する情報が格納されてもよい。このような情報であっても、個人属性とヒト状態との関係に影響を与えるので、ヒト状態の推定精度を向上させる補助的なパラメータとして役立つからである。

本発明は、利用者の眼球運動を計測し、その利用者の状態を精度良く推定するヒト状態推定装置として、例えば、テレビ等の画面を備える電子機器用（パソコン、カーナビ、携帯電話等の家電機器、車載機器）として、あるいは住宅等に使用される監視機器、健康管理機器、空調管理機器等に組み込まれる装置として、あるいはヒト状態推定装置を実現するプログラムとして、特に、ディジタルデバイドの問題にも対応したカスタマイズされたＨＭＩ、機器、あるいは診断装置として有用である。

本発明は、心理状態、感情状態、思考状態等のヒト状態を推定する装置に関し、特に、ヒトの眼球の固視微動に基づいてヒト状態を推定する装置に関する。

近年、デジタルテレビに代表される電子機器が多機能化、複合機化、システム化していく中、使用方法や手順が複雑化してきている。さらに、ユーザの使用状況、使用形態の多様化に伴い、個人の状態に合わせたカスタマイズされたＨＭＩ（human-machine interface）が望まれており、使用者の心理状態、感情状態、思考状態等のヒト状態を精度良く推定・計測する装置や手法が非常に重要な要素となってきている。

従来、このようなヒト状態を推定する様々な試みがなされている（例えば、特許文献１参照）。特許文献１では、指標板に指標を提示したときの被験者の眼球の動きを検出し、検出された眼球運動に基づく視線移動の時間変化から固視微動成分の異常を鑑別し、脳機能に関係する疾患を判断する固視微動検査装置が提案されている。この装置によれば、被験者の眼球の固視微動を測定して解析することにより、被験者の脳内の眼球運動制御機構の異常を検査し、これによって、脳血管性痴呆症等の鑑別を容易にしようというものである。

なお、「固視微動」とは、眼球運動の一つであり、静止物体をじっと見つめているつもりでも不随意的に常に起こっている細かな眼の揺れのことである。

特開平６−１５４１６７号公報

しかしながら、上記特許文献１に開示された固視微動検査装置では、脳血管性痴呆症等の脳機能に関係する疾患を判断することができても、心理状態、感情状態、思考状態等のヒト状態を特定することができないという問題がある。つまり、疾患という明確な異常状態を判断することができたとしても、健常者の微妙な精神状態、例えば、電子機器の操作時における戸惑い・不安・イライラ・焦り等の心理状態、快／不快・興奮／沈静等の感情状態、何も考えていない状態・計算課題にとりくんでいる状態・昨日の夕飯を思い出している等の思考状態を含むヒト状態については、もはや判断できないという問題がある。

そこで、本発明は、このような状況に鑑みてなされたものであり、心理状態、感情状態、思考状態等のヒト状態を高い精度で推定することができるヒト状態推定装置を提供することを目的とする。

上記目的を達成するために、本発明に係るヒト状態推定装置は、心理状態、感情状態および思考状態のうちの少なくとも一つであるヒト状態を利用者の眼球の固視微動に基づいて推定するヒト状態推定装置であって、ヒトの年代、視力および罹患状態のうちの少なくとも一つを示す複数の個人属性情報のそれぞれについて、前記ヒト状態と、当該ヒト状態での標準的な眼球の固視微動に含まれるマイクロサッカードの動きにおける眼球の左右方向の成分である水平成分を含む基準プロフィールとを対応づけた基準データを格納している格納部と、０．０５度の眼球回転角度の精度以上で、かつ、毎秒１２０サンプル以上の計測速度で、利用者の眼球の固視微動を含む眼球の動きを示す映像を取得する映像取得部と、前記映像が示す固視微動から、マイクロサッカードの動きの水平成分を抽出し、抽出した水平成分を含む実測プロフィールを生成する解析部と、前記利用者の個人属性情報を取得する個人属性情報取得部と、前記格納部に格納された基準データにおいて、前記個人属性情報取得部で取得された個人属性情報に対応し、かつ、前記実測プロフィールに最も近い基準プロフィールを探索し、探索した基準プロフィールに対応するヒト状態を、前記利用者について推定されるヒト状態として決定する推定部とを備えることを特徴とする。これにより、個人属性の類似性を利用するとともに、ヒト状態への依存性が高いマイクロサッカードの水平成分を用いてヒト状態が推定されるので、単に固視微動に基づいてヒト状態を推定する従来の装置よりも高い精度でヒト状態が推定される。

ここで、「マイクロサッカード」とは、固視微動の一つであり、小さな跳ぶような動きで、跳躍運動（サッカード）を小さくした動きである。なお、固視微動には、マイクロサッカードのほかに、「ドリフト」と「トレモア（あるいは、トレマ）」と呼ばれる動きが含まれる。「ドリフト」とは、小さな滑らかな動きであり、「トレモア」は、非常に小さな高周波の振動である。

また、前記基準プロフィールには、マイクロサッカードの動きの水平成分として、固視微動の水平成分のうち、マイクロサッカードとして平均的に観察される周期に相当する周波数での周波数成分が含まれ、前記解析部は、前記固視微動の水平成分の時間変化を周波数分析し、得られた周波数スペクトルのうちの前記周波数成分を前記マイクロサッカードの動きの水平成分として算出するのが好ましい。これにより、マイクロサッカードが平均すると２〜３Ｈｚの周期で観察されることから、この周波数帯域での動きがマイクロサッカードの動きに該当するので、この現象を利用することで、確実にマイクロサッカードの動きだけが抽出され、ヒト状態の推定精度が向上される。

また、前記基準プロフィールにはさらに、固視微動の一つであるドリフトおよびトレモア、瞳孔径に関する情報が含まれ、前記解析部はさらに、前記固視微動から、前記ドリフトおよび前記トレモア、瞳孔径に関する情報を抽出し、抽出した情報を含む実測プロフィールを生成し、前記推定部は、前記マイクロサッカードの動きの水平成分に加えて、前記ドリフトおよび前記トレモア、瞳孔径に関する情報についても照合することにより、前記実測プロフィールに最も近い基準プロフィールを探索してもよい。これにより、マイクロサッカードだけでなく、ヒト状態に依存する眼球運動に関する各種パラメータを利用してヒト状態を推定することで、さらにヒト状態の推定精度が向上され得る。

また、前記解析部はさらに、前記映像取得部が取得した映像から、前記利用者の視線方向、視線移動軌跡、視線停留時間、輻輳および開散、固視微動の動特性、サッカードの動特性、瞳孔径ならびに瞳孔の動特性の少なくとも一つを含む眼球運動を解析し、前記個人属性情報取得部は、眼球運動と個人属性情報との対応関係を示す個人属性テーブルを有し、前記個人属性テーブルを参照することで、前記解析部で得られた眼球運動の解析結果に対応する個人属性情報を特定し、特定した個人属性情報を前記利用者の個人属性情報として取得する構成としてもよい。これにより、ヒト状態を推定するのに使用される映像から個人属性情報が自動的に生成され、利用者が個人属性情報を入力する手間が省かれる。

また、前記ヒト状態推定装置はさらに、前記利用者のヒト状態を特定する情報を取得し、取得した情報と当該利用者について前記個人属性情報取得部で取得された個人属性情報と前記解析部で生成された実測プロフィールとを対応づけて、新たな基準データとして、前記格納部に登録する登録部を備える構成としてもよい。これにより、利用者のヒト状態等を予め教示しておくことで、ヒト状態の推定に使用される基準データが新たに登録されたり更新されたりするので、学習機能により、ヒト状態の推定精度を向上させていくことができる。

なお、本発明は、このような眼球運動計測を行ってヒト状態を推定するヒト状態推定装置として実現できるだけでなく、ヒト状態推定方法として実現したり、その方法に含まれるステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体として実現することもできる。例えば、そのプログラムをＨＭＩ評価関数や疾患を含む体調評価関数として家電機器、車載機器、住宅等に埋め込み型インタフェースとして組み込むことで、個人の状態に合わせたカスタマイズされたＨＭＩや、個人の健康状態の管理や疾患の早期発見、及び罹患状態に応じた監視、空調及び環境制御を行うことができる。

本発明によれば、ヒトの年代、視力および罹患状態等の個人属性の類似性を利用するとともに、心理状態、感情状態および思考状態等のヒト状態への依存性が高いマイクロサッカードの水平成分を用いてヒト状態が推定されるので、単に固視微動に基づいてヒト状態を推定する従来の装置よりも高い精度でヒト状態が推定される。

図１は、本発明に係るヒト状態推定装置の適用例を示す図である。 図２は、本発明の実施の形態におけるヒト状態推定装置の構成を示す機能ブロック図である。 図３は、個人属性情報のデータ構造を示す図である。 図４は、ヒト状態情報のデータ構造を示す図である。 図５は、基準データのデータ構造を示す図である。 図６は、図２における眼球運動解析部の詳細な構成を示す機能ブロック図である。 図７は、水平方向の視線を計測する方法を説明する図である。 図８は、垂直方向の視線を計測する方法を説明する図である。 図９は、ヒト状態推定装置によるヒト状態の推定に関する動作を示すフローチャートである。 図１０は、ヒト状態推定装置による個人属性情報の自動生成に関する動作を示すフローチャートである。 図１１は、ヒト状態推定装置による基準データの登録に関する動作を示すフローチャートである。 図１２は、固視微動を計測するための計測装置の構成図であり、（ａ）は、計測装置の側面図であり、（ｂ）は、計測装置の鳥瞰図である。 図１３は、計測装置における高速カメラの光軸と眼球の視軸と関係を示す図である。 図１４は、固視微動の運動軌跡の一例を示す図である。 図１５は、固視微動の水平成分および垂直成分の時間変化を説明するための図であり、（ａ）は、視標および固視点に関する計測条件を示す図であり、（ｂ）は、固視微動における動きの水平成分および垂直成分の時間変化を示す図である。 図１６は、精神状態とマイクロサッカードとの相関を説明するための図であり、（ａ）は、視標に関する計測条件を示す図であり、（ｂ）は、被験者に対して何も注文されていないときの普通の固視微動を示す図であり、（ｃ）は、被験者が素数を数えているときの固視微動の軌跡を示す図である。 図１７は、瞳孔計測実験の内容を示す図である。 図１８は、瞳孔径の変動についてのデータ例を示す図であり、（ａ）は、ベースラインのデータを示す図であり、（ｂ）〜（ｄ）は、それぞれ、刺激呈示間隔が１ＳＥＣ、２ＳＥＣ、３ＳＥＣのときのデータを示す図である。 図１９は、瞳孔径の変動における個人差の例を示す図である。 図２０は、各種心理状態における瞳孔径の変化の個人差の例を示す図であり、（ａ）は、被験者１の心理状態のデータを示す図であり、（ｂ）は、被験者２の心理状態のデータを示す図である。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。

図１は、本発明に係るヒト状態推定装置の適用例を示す図である。本発明に係るヒト状態推定装置は、デジタルテレビ１の上部に設けられたカメラ２によって、利用者（ここでは、デジタルテレビ１の操作者）の眼球を含む映像を取得し、その映像から利用者の眼球の固視微動を解析し、その解析結果に基づいて、利用者の心理状態、感情状態および思考状態のうちの少なくとも一つであるヒト状態を推定する装置であり、カメラ２またはデジタルテレビ１に組み込まれている。デジタルテレビ１は、リモコン３で操作する利用者に対して、ヒト状態推定装置によって推定されたヒト状態に応じた操作メニューを提供する。たとえば、戸惑っていると推定された利用者に対しては、より詳細な操作メニューを提供する。

図２は、本発明に係るヒト状態推定装置１０の機能構成を示すブロック図である。本図に示されるように、ヒト状態推定装置１０は、利用者の眼球の固視微動に基づいて心理状態、感情状態および思考状態のうちの少なくとも一つであるヒト状態を推定する装置であり、映像取得部１１、解析部１２、個人属性情報取得部１３、入力部１４、推定部１５、格納部１６、登録部１８および表示部１９を備える。

映像取得部１１は、０．０５度の眼球回転角度の精度以上で、かつ、毎秒１２０サンプル以上の計測速度で、利用者の眼球の固視微動を含む眼球の動きを示す映像を取得する動画像用カメラであり、図１におけるカメラ２に対応する。この映像取得部１１は、可視光カメラだけでなく、赤外線（あるいは近赤外光）カメラ等も含まれる。

なお、０．０５度は、固視微動を確実に検出するために要求される最低限の眼球回転角度の精度（最大許容誤差）であり、眼球表面上の１０μｍを眼球回転角度に換算した値（１０μｍ／１２ｍｍ（ヒトの眼球の平均半径）×１８０／π）である。ここで、眼球表面上の１０μｍを最低限の精度としたのは、固視微動におけるドリフトの最小振幅が２０μｍと定義されていることから（芋阪良二、中溝幸夫、古賀一男編「眼球運動の実験心理学」名古屋大学出版会：非特許文献１）、その半分の精度で眼球表面上の任意点の移動距離を検出することで、固視微動のうち、ドリフト、および、ドリフトよりも大きな振幅を示すマイクロサッカードを検出できるからである。

さらに、本発明者らが実際に眼球の固視微動を計測したところ、小型のマイクロサッカードの振幅が０．１度程度であることが実験で分かった。そのため、この種類のマイクロサッカードを確実に計測するためには、その振幅の半分、すなわち、０．０５度の分解能が必要である。

また、毎秒１２０サンプル以上の計測速度としたのは、マイクロサッカードの運動速度が５０〜１００Ｈｚであることから（上記非特許文献１）、その速度を超えるフレームレートで画像をサンプリングすることで、マイクロサッカードを確実に検出するためである。

さらに、本発明者らが実際に眼球の固視微動を計測したところ、小型のマイクロサッカードの往復する時間が２５ｍｓ前後であることが実験で分かった。この種のマイクロサッカードを確実に検出するためには、サンプリング周期を、この種のマイクロサッカードの往復する時間の１／３以下、すなわち２５／３＝８．３ｍｓ以下にする必要がある。よって、小型のマイクロサッカードを確実に検出するためには、毎秒のサンプル数は１２０以上必要である。

解析部１２は、映像取得部１１で取得された映像に対して画像処理を施すことで、利用者の眼球運動を示す実測プロフィールを生成するＣＰＵ、メモリ、プログラム等によって実現される処理部であり、画像切り出し部１２ａと眼球運動解析部１２ｂとを有する。

画像切り出し部１２ａは、映像取得部１１から送られてくる映像を構成する各ピクチャに対して輪郭処理等を施すことにより、利用者の顔画像を切り出す。

眼球運動解析部１２ｂは、画像切り出し部１２ａで切り出された顔画像における眼球の運動（利用者の視線方向、視線移動軌跡、視線停留時間、輻輳・開散、瞬目率、瞬目の動特性（瞼を閉じるのに要する時間・瞼を開くのに要する時間）、瞳孔径、瞳孔の動特性（光量の変化が検出された時の瞳孔径の変化率、及び変化率の周波数解析パターン特性）、サッカードの動特性（移動速度や修正サッカード、あるいは水平方向、垂直方向へのばらつき、振幅等）や固視微動の動特性（固視微動軌跡、微動速度、微動周波数解析パターン、振幅特性等））を解析する。

たとえば、この画像切り出し部１２ａは、顔画像から視線方向の移動軌跡を求めることで、固視微動（マイクロサッカード、ドリフトおよびトレモア）の動特性を解析するとともに、顔画像に対して瞳孔の画像を認識することで、瞳孔径を特定し、それらの解析結果を示す情報（眼球運動パラメータの値）を実測プロフィールとして、推定部１５および登録部１８に送る。また、この眼球運動解析部１２ｂは、事前の設定に基づいて、画像切り出し部１２ａで切り出された顔画像に対して瞳孔の位置や大きさを特定したり、その時間変化を算出することで、利用者の視線方向、視線移動軌跡、視線停留時間、輻輳および開散、固視微動の動特性、サッカードの動特性、瞳孔径ならびに瞳孔の動特性を含む眼球運動を解析し、その結果を示す眼球運動情報を個人属性情報取得部１３に送る。

個人属性情報取得部１３は、このヒト状態推定装置１０によるヒト状態の推定精度を高めるための情報として、利用者の年代、視力および罹患状態のうちの少なくとも一つを示す個人属性情報を取得し、取得した個人属性情報を推定部１５および登録部１８に送る、ＣＰＵ、メモリ、プログラム等によって実現される処理部である。具体的には、この個人属性情報取得部１３は、眼球運動と個人属性情報との対応関係を示す個人属性テーブル１３ａを有し、解析部１２から眼球運動情報が送られてくる場合には、その個人属性テーブル１３ａを参照することで、解析部１２から送られてきた眼球運動情報に対応する個人属性情報を特定し、特定した個人属性情報を利用者の個人属性情報として取得し、一方、解析部１２から眼球運動情報が送られてこない場合には、入力部１４を介して、利用者から、自身の年代、視力および罹患状態に関する情報を取得することで、個人属性情報を取得する。

図３は、個人属性情報のデータ構造を示す図である。個人属性情報は、年代の範囲を特定する「年代属性値」が格納されるフィールドと、１．０等の視力が格納されるフィールドと、図示された罹患状態のいずれかを特定する数値が格納されるフィールドとからなる。なお、各フィールドには、不明、標準値（デフォルト値）等を示す値が格納されてもよい。

入力部１４は、利用者が個人属性情報やヒト状態を入力するための操作ボタン、キーボード、マウス等であり、図１におけるリモコン３に対応する。この入力部１４は、個人属性情報については個人属性情報取得部１３に出力し、ヒト状態を特定する情報（「ヒト状態情報」）については登録部１８に出力する。

図４は、ヒト状態情報のデータ構造を示す図である。ヒト状態情報は、平静・不安・戸惑い等の少なくとも一つの心理状態を特定する数値が格納されるフィールドと、快−不快の程度・興奮−沈静の程度・緊張−弛緩の程度等の少なくとも一つの感情状態を特定する数値が格納されるフィールドと、計算課題が与えられた状態・記憶課題が与えられた状態・思考課題が与えられた状態等の少なくとも一つの思考状態を特定する数値が格納されるフィールドからなる。

格納部１６は、複数の個人属性情報のそれぞれについて、ヒト状態と、当該ヒト状態における標準的な眼球運動に関する情報である基準プロフィールとを対応づけた基準データ１７を格納しているメモリやハードディスク等の記憶装置である。ここで、基準プロフィールには、マイクロサッカードの動きの水平成分（眼球の左右方向の成分）を示す情報（より詳しくは、固視微動の水平成分のうち、マイクロサッカードとして平均的に観察される周期に相当する周波数での周波数成分）、ドリフトおよびトレモアに関する情報、瞳孔径に関する情報等が含まれている。

図５は、基準データ１７のデータ構造を示す図である。基準データ１７は、複数の異なる個人属性情報１７ａのそれぞれについて、ヒト状態情報１７ｂと基準プロフィール１７ｃとの対応関係が登録されたデータである。ここで、基準プロフィール１７ｃとは、ヒト状態情報１７ｂに対応する、予め登録された眼球運動パラメータの集まりである。図５では、そのうち、１つの個人属性情報１７ａについて登録されているヒト状態情報１７ｂと基準プロフィール１７ｃとの対応関係が示されている。ここでは、年代が５０歳代であり、視力が全ての範囲であり、罹患状態が健常者であるという個人属性のヒトについては（個人属性情報１７ａ）、「心理状態が不安であり、感情状態が不快であり、思考状態が無し」というヒト状態の場合には（ヒト状態情報１７ｂ）、平均的に、眼球運動パラメータの値がいかなる値となるか、例えば、マイクロサッカードの動きの水平成分がいかなる値となるか（基準プロフィール１７ｃの「固視（左右）」）、ドリフトおよびトレモアに関する情報がいかなる値となるか（基準プロフィール１７ｃの「固視（左／右）」）、瞳孔径に関する情報がいかなる値となるか（基準プロフィール１７ｃの「瞳孔径（左／右）」）等の典型値が格納されている。

推定部１５は、格納部１６に格納された基準データ１７において、個人属性情報取得部１３から送られてきた個人属性情報に対応し、かつ、解析部１２から送られてきた実測プロフィールに最も近い基準プロフィールを探索し、探索した基準プロフィールに対応するヒト状態を、利用者について推定されるヒト状態として決定し、決定したヒト状態を示す情報を表示部１９に通知する、ＣＰＵ、メモリ、プログラム等によって実現される処理部である。

表示部１９は、推定部１５から送られてくるヒト状態情報を表示したり、利用者に操作メニューを表示したりするＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、有機ＥＬ（Electro Luminescent）ディスプレイ、ＣＲＴ等であり、図１におけるデジタルテレビ１の画面に対応する。

登録部１８は、入力部１４を介して利用者のヒト状態を特定する情報を取得し、取得した情報と当該利用者について個人属性情報取得部１３から送られてくる個人属性情報と解析部１２から送られてくる実測プロフィールとを対応づけて、新たな基準データ１７として、格納部１６に登録する、ＣＰＵ、メモリ、プログラム等によって実現される処理部である。これによって、このヒト状態推定装置１０は、ヒト状態を推定するだけでなく、その推定の基準となるデータ（基準データ１７）を追加したり更新したりして学習していくことができる。

ここで、眼球運動解析部１２ｂによる眼球運動の解析の詳細、及び、眼球運動を解析する意義について説明する。

図６は、図２に示された眼球運動解析部１２ｂの詳細な構成を示す機能ブロック図である。眼球運動解析部１２ｂは、眼球画像振り分け制御部２０と、強膜画像解析部２１と、角膜画像解析部２２とから構成されている。

眼球画像振り分け制御部２０は、画像切り出し部１２ａで切り出された顔画像の中から、画像のコントラストや色調の変化を検出し強膜（白目）と角膜（黒目）画像を振り分け、強膜画像に関する情報を強膜画像解析部２１に送り、角膜画像に関する情報を角膜画像解析部２２に送る。強膜画像解析部２１は、強膜上の血管パターンのＤＰ（動的計画法；Dynamic Programming）マッチングにより固視微動の動特性を解析する。角膜画像解析部２２は、輪郭抽出等によって虹彩や瞳孔を抽出して解析することで、角膜に関する静特性（位置・大きさ等）や動特性（位置・大きさ等の時間変化）を算出する。これら強膜画像解析部２１および角膜画像解析部２２での解析結果は、利用者の眼球運動を示す実測プロフィールとして推定部１５および登録部１８に送られたり、個人属性情報を自動生成するための眼球運動情報として個人属性情報取得部１３に送られたりする。なお、眼球運動解析に強膜画像だけを使用する場合は、角膜画像解析部２２は構成上なくてもよい。

また、眼球運動解析部１２ｂでは、強膜画像解析部２１および角膜画像解析部２２により、画像切り出し部１２ａで切り出された顔画像の中から視線方向の解析が行われる。解析方法としては、図７と図８に示されるように、水平方向と垂直方向の強膜と角膜の位置関係や割合によって、利用者が注視している表示部１９（画面）上の点が同定される。図７は、水平方向の視線を計測する方法を説明する図である。ここでは、水平方向における強膜と角膜の位置関係や割合によって視線の水平方向が特定される様子が図示されている。また、図８は、垂直方向の視線の計測する方法を説明する図である。ここでは、垂直方向における強膜と角膜の位置関係や割合によって視線の垂直方向が特定される様子が図示されている。

通常、水平方向と垂直方向の眼球運動情報だけで視線方向を検出できるが、奥行きを検出できないので、眼球運動情報の中からさらに左右の眼の輻輳（いわゆる近くを見ている時の寄り眼の状態）や開散（遠くを見ている時に開き眼の状態）を検出して、３次元的な注視点を抽出する。輻輳・開散については、さらに精度を上げるために、予めキャリブレーションによって表示部１９を見ているときの寄り眼・開き眼の程度を計測しておくことで、検出してもよい。

本実施の形態では、ヒト状態推定装置１０が起動されると、映像取得部１１が利用者の顔の撮像を開始する。ヒト状態推定装置１０の動作中は、例えば１分毎に、その直前１分間の利用者の映像を解析し、眼球運動情報を用いて心理状態、感情状態、あるいは思考状態を推測し、推測されたヒト状態を表示部１９に出力する。そして、当該ヒト状態に応じて、画面の表示状態を変化させたり、機器の制御方法を変更することも可能である。つまり、ヒト状態推定装置１０は、例えば１分毎に、利用者のヒト状態に応じて画面の表示状態を変えていく。併せて、映像取得部１１は、利用者の顔の撮像を開始する。撮像された画像データは、図示されていないバッファメモリに蓄積されていく。ここで、例えば、上述した近赤外光による画像においては、虹彩での反射率が高いため、瞳孔だけが暗く、虹彩は眼球の白目より若干暗い程度の明るさとなる。すなわち、近赤外光による画像では、瞳孔が一番暗く、次に、虹彩、白目、瞼などの皮膚の順に明るくなる。そのため、この明るさの差を利用して瞳孔や瞼等を識別することが可能となる。

また、瞳孔径の変動によっても、利用者の生理・心理状態が推定できる。光が眼に入ったときには瞳孔は小さくなり（対光反応と呼ばれる）、暗いところでは大きくなる。瞳孔径は、若年者では直径最小２ｍｍ、最大８ｍｍ程度まで変化する。一方、高齢者では、暗いところでも瞳孔径は若年者のようには大きくならず、最大６ｍｍ程度までである。また、対光反応についても、若年者と高齢者とでは、応答速度特性が異なり、高齢者のほうが反応が遅い。

瞳孔径の変化については、次の通りである。眼に入射する光の量が一定でも、瞳孔の大きさは低周波で揺らいでいる。そして、緊張時は瞳孔が大きく開いており（散瞳）、動揺も目立たない。しかし、疲労を感じてくる、あるいは、眠くなってくると、瞳孔は小さくなり（縮瞳）、動揺し始める。そして、疲れているほど、あるいは、眠いほど、動揺は大きくなる。また、関心があるものを見るときにも瞳孔は大きくなる。一方、退屈な写真や意味不明な抽象画等の関心の薄いものに対しては、瞳孔の大きさはほとんど変化しない。このように、瞳孔の変化は人間の心理状態を反映する。そのため、瞳孔径や瞳孔反応等を計測すれば、利用者の年齢層や対象物への関心度及び心理状態等を推定することができる。

また、年齢や視力や罹患状態の影響を受けやすい眼球運動計測によるヒト状態推定の精度向上を図るため、本実施の形態では、図３に示される個人属性情報が個人属性情報取得部１３から生成され、推定部１５に送られる。推定部１５は、入力された個人属性情報と同一又は類似する個人属性情報に属する情報に限定することで、格納部１６に格納された基準データ１７に対する探索対象を絞っている。つまり、推定部１５は、眼球運動解析部１２ｂから送られてくる眼球運動情報を含む実測プロフィールに最も近い基準プロフィール１７ｃを基準データ１７の中から探索するが、このとき、個人属性情報取得部１３から送られてきた個人属性情報と同一又は類似する個人属性情報１７ａに属する基準プロフィール１７ｃに限定して探索し、探索した基準プロフィール１７ｃに対応するヒト状態情報１７ｂを利用者のヒト状態として表示部１９に送る。

なお、眼球運動は本実施の形態においては１分毎に解析されるので、前回推定したヒト状態と今回推定したヒト状態が異なる時だけ、ヒト状態情報等を表示部１９に送信して、送信量の削減を図ってもよい。また、図３に示される個人属性情報の内容を、初期状態として、年代＝未定、視力＝未定、罹患状態＝未定のデフォルトとして定義しておき、入力部１４や個人属性情報取得部１３から入力があった場合に、精度の向上が図れるような仕組であってよい。また、瞳孔径や瞳孔反応等を計測すれば、利用者の年齢層を判別することが可能なので年代の入力は不要となる。

また、本実施の形態における強膜画像解析部２１では強膜上の血管パターンのＤＰマッチングにより固視微動の動特性を解析しているので、静脈パターンマッチングによる個人認証と同様に、眼球上の血管パターンにより個人認証が可能となり、個人認証の結果と予め用意された個人属性情報とを対応づけておき、認証結果に対応する個人属性情報を用いてヒト状態を推定することで、毎回個人属性情報を生成することが不要になるとともに、推定精度が向上される。

また、瞳孔径の変動は年齢などの要因も含めて個人差があるが、個人認証などで非常に精度の良い認証が可能な虹彩情報についても同様のカメラ（映像取得部１１）からの映像信号で取得できるので、虹彩認証のメカニズムを眼球運動解析部１２ｂに組み込めば、個人の変動率を考慮した、より精度の良い生理・心理状態の推定ができる。

次に、以上のように構成された本実施の形態におけるヒト状態推定装置１０の動作について説明する。

図９は、本実施の形態におけるヒト状態推定装置１０によるヒト状態の推定に関する動作を示すフローチャートである。

まず、映像取得部１１は、０．０５度の眼球回転角度の精度以上で、かつ、毎秒１２０サンプル以上の計測速度で、利用者の眼球の固視微動を含む眼球の動きを示す映像を取得する（Ｓ１０）。

続いて、解析部１２の画像切り出し部１２ａは、映像取得部１１の広角カメラ３２から送られてくる映像を構成する各ピクチャに対して輪郭処理等を施すことにより、利用者の顔画像を切り出す（Ｓ２０）。

そして、解析部１２の眼球運動解析部１２ｂは、画像切り出し部１２ａで切り出された顔画像に対して視線方向の移動軌跡を求めることで、固視微動（マイクロサッカード、ドリフトおよびトレモア）の動特性を解析するとともに、顔画像に対して瞳孔の画像を認識することで、瞳孔径を特定する（Ｓ１２）。より具体的には、眼球運動解析部１２ｂは、マイクロサッカードに関する情報として、固視微動を示すデータを水平成分（眼球の左右方向の成分）と垂直成分（眼球の上下方向の成分）とに分離し、分離した水平成分をフーリエ級数展開することで周波数分析をし、得られた周波数スペクトルのうち、マイクロサッカードとして平均的に観察される周期に相当する周波数（２〜３Ｈｚ）での周波数成分を、マイクロサッカードの動きの水平成分を含む実測プロフィールとして生成する。また、眼球運動解析部１２ｂは、ドリフトおよびトレモアについても、同様に、固視微動を示すデータのうち、ドリフトおよびトレモアの運動速度に対応する周波数成分を算出し、実測プロフィールとして生成する。

一方、個人属性情報取得部１３は、このヒト状態推定装置１０によるヒト状態の推定精度を高めるための情報として、利用者の年代、視力および罹患状態のうちの少なくとも一つを示す個人属性情報を取得する（Ｓ１３）。

そして、推定部１５は、格納部１６に格納された基準データ１７を参照することにより（Ｓ１４）、個人属性情報取得部１３から送られてきた個人属性情報に対応し、かつ、解析部１２から送られてきた実測プロフィールに最も近い基準プロフィールを探索し（Ｓ１５）、探索した基準プロフィールに対応するヒト状態を、利用者について推定されるヒト状態として決定する（Ｓ１６）。より具体的には、この推定部１５は、個人属性情報取得部１３から送られてくる個人属性情報と一致する、あるいは、最も近い個人属性情報１７ａを基準データ１７の中から特定し、特定した個人属性情報１７ａについて登録されたヒト状態情報１７ｂと基準プロフィール１７ｃとの対応関係（図５）を基準データ１７から読み出す。そして、読み出した対応関係のデータを参照することで、マイクロサッカードの動きの水平成分、ドリフトおよびトレモアに関する情報、および、瞳孔径に関する情報等の眼球運動パラメータについて、実測プロフィールと基準プロフィール１７ｃとの間での一致度（例えば、眼球運動パラメータごとの基準プロフィールの値に対する実測プロフィールの値の比）を算出し、それらの一致度の合計値が最も高い基準プロフィール１７ｃを特定し、特定した基準プロフィール１７ｃに対応するヒト状態情報１７ｂを、利用者のヒト状態を示す情報として、表示部１９に通知する。

なお、個人属性情報取得部１３から送られてくる個人属性情報は、年代、視力および罹患状態の全てが明確な値で埋まっているとは限らない。たとえば、年代＝５０歳代とだけ定義された個人属性情報であれば、推定部１５は、個人属性情報として、利用者が年代＝５０歳代、視力＝デフォルト（無関係）、罹患状態＝デフォルト（＝健常者）と解釈し、これと同じ個人属性情報１７ａに属する基準プロフィール１７ｃの中から実測プロフィールに最も近い基準プロフィール１７ｃを探索し、探索した基準プロフィール１７ｃに対応するヒト状態情報１７ｂを利用者のヒト状態と推定する。

最後に、表示部１９は、推定部１５から送られてくるヒト状態情報を表示する（Ｓ１６）。

このようにして、本実施の形態におけるヒト状態推定装置１０によって利用者のヒト状態が推定される。このヒト状態推定装置１０によれば、（１）高機能な映像取得部１１によって取得された映像から固視微動、特に、ヒト状態との関連性が高いマイクロサッカードの動きの水平成分に基づいてヒト状態を推定していること、および、（２）眼球運動に加えて、個人属性の類似性を利用してヒト状態を推定していることから、単に眼球運動（あるいは、固視微動）からヒト状態を推定する従来の装置に比べ、高い精度でヒト状態が推定される。

図１０は、本実施の形態におけるヒト状態推定装置１０による個人属性情報の自動生成に関する動作を示すフローチャートである。

まず、個人属性情報取得部１３は、解析部１２から眼球運動情報が送られてくるか否かを判断する（Ｓ２０）。なお、解析部１２では、利用者による事前の設定により、眼球運動解析部１２ｂによる眼球運動情報を生成するか否かが決定され、眼球運動解析部１２ｂによって眼球運動情報が生成された場合に、解析部１２から個人属性情報取得部１３に向けて、その眼球運動情報が送信される。

その結果、解析部１２から眼球運動情報が送られてくる場合には（Ｓ２０でＹｅｓ）、個人属性情報取得部１３は、内部に有する個人属性テーブル１３ａを参照することで（Ｓ２１）、解析部１２から送られてきた眼球運動情報に対応する個人属性情報を特定し、特定した個人属性情報を利用者の個人属性情報として生成し（Ｓ２２）、一方、解析部１２から眼球運動情報が送られてこない場合には（Ｓ２０でＮｏ）、個人属性情報取得部１３は、入力部１４を介して、利用者から、自身の年代、視力および罹患状態に関する情報を取得することで（Ｓ２３）、個人属性情報を取得する。

このようにして、本実施の形態におけるヒト状態推定装置１０によれば、個人属性情報は、映像取得部１１で得られた映像、つまり、ヒト状態を推定するために取得された映像を利用して、自動生成される。そして、自動生成された個人属性情報は、解析部１２で生成される実測プロフィールとともに、ヒト状態の推定に利用される。よって、このヒト状態推定装置１０によれば、個人属性情報を取得するために特別な操作を強いられることなく、高い精度によるヒト状態の推定が実現される。

図１１は、本実施の形態におけるヒト状態推定装置１０による基準データ１７の登録に関する動作を示すフローチャートである。

まず、登録部１８は、利用者のヒト状態を特定する情報が入力部１４から入力されるか否か、つまり、ヒト状態の教示があるか否かを判断する（Ｓ３０）。なお、このヒト状態推定装置１０は、利用者による事前の設定によって、動作モードが「ヒト状態推定モード」であるか、あるいは、「基準データ登録モード」であるかが決定される。そして、ヒト状態推定装置１０が「基準データ登録モード」である場合に、登録部１８は、ヒト状態の教示があると判断できる。

その結果、ヒト状態の教示がある場合にだけ（Ｓ３０でＹｅｓ）、登録部１８は、その利用者の個人属性情報を個人属性情報取得部１３から受け取り、その利用者の実測プロフィールを解析部１２から受け取り（Ｓ３１）、いま入力部１４から入力されたヒト状態とともに、それらを対応づけて（実測プロフィールを基準プロフィールとすることで）、新たな基準データ１７として、格納部１６に登録する（Ｓ３２）。

このようにして、本実施の形態におけるヒト状態推定装置１０は、ヒト状態を推定するだけでなく、その推定の基準となるデータ（基準データ１７）を追加したり更新したりして学習していくことができる。

以上のように、本実施の形態のヒト状態推定装置１０では、個人属性情報取得部１３は、解析部１２から送られてくる眼球運動情報または入力部１４からの入力に基づいて、個人属性情報を生成している。そして、いずれのケースで生成された個人属性情報であっても、推定部１５において、ヒト状態を推定するための補助的な情報として利用される。よって、このヒト状態推定装置１０によれば、解析部１２が個人属性情報取得部１３に送る眼球運動情報を生成する機能を有しない安価なタイプであっても、利用者は、年代等の簡単な入力を行うだけで、個人属性に対応した（必要な場合には、デフォルトの値を含む）個人属性情報が生成され、生成された個人属性情報がヒト状態の推定に使用されるので、精度の高いヒト状態の推定が実現される。

また、個人属性情報の内容として、最初はすべてデフォルトか自己申告した値として定義しておき、計測された眼球運動だけからヒトの状態推定を行い、その結果を表示部１９に出力することで、自己申告や診断結果と表示部１９に表示された内容との乖離がある場合、まだ顕在化していない疾患の可能性の検討や正直に自己申告をしていない場合の可能性の検討をすることもできる。

さらに、デフォルトの年代を５０歳として処理を進めた場合、例えば、計測中の瞳孔径の変化が８ｍｍを頻繁に超えたり、瞳孔径の変動速度が２０歳と同様に速かった場合に、動的に個人属性情報の「年代」を変更してもよい。

なお、本実施の形態では、眼球運動は１分毎に解析されるので、前回推定したヒト状態と今回推定したヒト状態が異なる時だけ推定部１５が表示部１９にヒト状態情報を送信することで、送信データ量の削減を図ってもよい。また、図３に示される個人属性情報の初期状態として、年代＝未定、視力＝未定、罹患状態＝未定のデフォルトとして定義しておき、入力部１４からの入力や個人属性情報取得部１３での自動解析があった場合に、該当フィールドだけを更新して精度を向上させていくような仕組であってもよい。また、瞳孔径や瞳孔反応等を計測すれば、利用者の年齢層を判別することが可能なので年代の入力は必要なくなる。

次に、本発明に係るヒト状態推定装置１０がヒト状態を推定するために、固視微動、特に、マイクロサッカードの情報を利用している意義について説明する。

図１２は、眼球運動の中でも固視微動を高い精度で計測するために発明者らが使用した計測装置の構成図である。図１２（ａ）は、計測装置の側面図であり、図１２（ｂ）は、計測装置の鳥瞰図である。この計測装置は、本発明に係るヒト状態推定装置１０の映像取得部１１および解析部１２の別の実施の形態に相当する。

高倍率レンズ３３付き高速カメラ３８の光軸を眼球の赤道平面上に設置した。高速カメラ３８の光軸と眼球が正面に向いたときの視軸とのなす角は、図１３に示されるように、４５度である。また、眼球の全体位置を測定するための広角レンズ付きカメラ３２を設置する。広角カメラ３２と高速カメラ３８が互いに固定されているので、広角カメラ３２から眼の全体画像を取り込み、計測したい部位を広角カメラ画像の特定位置に合わせることによって、高速カメラ３８の撮像領域をその部位に合わせることができる。

本実施の形態では、高速カメラ３８の撮像速度を２５０フレーム／秒にし、そのレンズは４．５倍レンズを用いた。図１４は、カメラから取り込まれた強膜の画像（固視微動の運動軌跡）の一例を示す図である。図１４において、四角枠は、ブロックマッチングのパターンの領域である。四角枠における実線と点線は、ブロックマッチングにより判明した眼球運動の軌跡であり、それぞれ、ドリフトおよびマイクロサッカードの軌跡を示している。

図１５は、計測した固視微動の水平成分および垂直成分の時間変化を説明するための図である。図１５（ａ）は、視標（距離は７５０ｍｍ）および固視点に関する計測条件を示す図であり、図１５（ｂ）は、固視微動における動き（displacement［μｍ］）の水平成分（実線）と垂直成分（点線）の時間変化を示す図である。本図から分かるように、水平眼球運動と垂直眼球運動は異なる運動パターンを有し、運動速度の高いマイクロサッカードは主に水平眼球運動に集中している。図１５（ｂ）に示される水平成分のグラフにおいて瞬時に大きな動きが生じている箇所がマイクロサッカード（より正確には、マイクロサッカードの動きの水平成分）である。その発生頻度は、平均して、２．３３Ｈｚであり、動き量は、平均して、１２０．６μｍであった。

図１６は、精神状態とマイクロサッカードとの相関を説明するための図である。図１６（ａ）は、視標（距離は１．０ｍ、視野角度２度の市松模様）に関する計測条件を示す図であり、図１６（ｂ）は、被験者に対して何も注文されていないときの普通の固視微動を示し、図１６（ｃ）は、被験者が素数を数えているときの固視微動の軌跡を示している。図１６（ｂ）および（ｃ）を比較して分かるように、被験者が素数を数えているときには、明らかにマイクロサッカードの運動範囲が大きくなっている。

以上のことから、固視微動の水平成分のうち、マイクロサッカードとして平均的に観察される周期に相当する周波数（例えば、２．３３Ｈｚを中心とする一定周波数幅、具体例として、２〜３Ｈｚ）での周波数成分（図１５および図１６における縦軸）は、素数を数える等の思考状態に依存して大きく変化することが分かる。なお、マイクロサッカードの動き量は、このような思考状態だけでなく、平静・不安・戸惑い等の心理状態、快−不快・興奮−沈静・緊張−弛緩等の感情状態にも依存して変化することが判明している。さらに、マイクロサッカードだけでなく、他の固視微動（ドリフト、トレモア）や、他の眼球運動（瞳孔径等）についても、心理状態、感情状態および思考状態等のヒト状態に依存して変動することが判明している。よって、これらの固視微動や眼球運動情報に基づいてヒト状態を推定することが可能となる。

次に、本発明に係るヒト状態推定装置１０がヒト状態を推定したり、個人属性情報を生成するために、眼球運動、特に、瞳孔に関する情報を利用している意義について説明する。

同じ実験タスクの負荷をかけても、年代や個人差により、眼球運動をはじめとする生理計測データや心理データに異なる結果が得られると言われている。そこで、発明者らは、聴覚刺激を用いた課題遂行中の心理状態と瞳孔径を測定し、それらの対応について検討した。

本実施の形態における瞳孔計測実験の内容を図１７に示す。聴覚刺激はヘッドホンで被験者に呈示される。主な実験条件は以下の通りである。

（条件１）被験者は、呈示された刺激が指定されたカテゴリーに属するかどうかをボタンで応答する。

（条件２）１試行を６０秒とする。

（条件３）被験者は、中央の十字を固視する。

（条件４）刺激呈示間隔（Δｔ）をパラメータとする。

（条件５）１試行終了後に心理状態の自己申告を行う。

図１８は、ある被験者の瞳孔径の変動についてのデータ例を示す図である。図１８（ａ）は、ベースラインのデータを示しており、上記（条件１）における呈示された刺激が指定されたカテゴリーに属するかどうかをボタンで応答するタスクを行わずに、聴覚刺激だけを受けた時の瞳孔径の変動を示す。図１８（ｂ）〜（ｄ）は、それぞれ、１ＳＥＣ、２ＳＥＣ、３ＳＥＣのデータを示しており、上記（条件４）における刺激呈示間隔を１秒、２秒、３秒に変更したときの瞳孔径変動の測定結果を表している。図１８（ａ）に示されるベースラインから分かるように、上記（条件１）におけるタスク負荷ありの場合と比べて、瞳孔径変動の周波数の揺れがゆるやかであり、４ｍｍ〜６ｍｍのラインに落ち着いている。しかし、上記（条件１）におけるタスク負荷がかかると、図１８（ｂ）〜（ｄ）から分かるように、上記（条件４）における刺激間隔の１秒では６ｍｍ〜７ｍｍ、２秒では５．５ｍｍ〜６．５ｍｍ、３秒では５ｍｍ〜６ｍｍで推移しており、刺激呈示間隔が短くなると、瞳孔径は大きくなり、３秒よりも１秒間隔のほうが、散動傾向となっており、交感神経がベースラインよりも賦活している。

図１９は、瞳孔径の変動における個人差の例を示す図である。ここでは、被験者１（ＳＯ）と被験者２（ＨＭ）の２名について、課題遂行中における瞳孔径の平均（６０秒間の平均）の時間変化が図示されている。なお、被験者は２人とも２０歳代である。被験者１および被験者２は、いずれも、刺激呈示間隔が長くなるにつれて瞳孔径の平均は短くなり、ベースラインに近づいている。一般的に瞳孔径の変動幅は２０歳代と５０歳代では異なることが言われているが、同じ年代でも、個人ごとに変動曲線は異なっている。

図２０は、各種心理状態における瞳孔径の変化の個人差の例を示す図である。図２０（ａ）は、被験者１（ＳＯ）の心理状態を、図２０（ｂ）は、被験者２（ＨＭ）の心理状態を、上記（条件５）に従ってまとめたデータを示す図である。これらの図から分かるように、活動度、焦り感、不安感については、被験者１および被験者２共に、上記（条件４）の刺激呈示間隔が短くなるにつれて増大している。しかし、その振幅は被験者によって異なっている。例えば、不安感に関して時間の切迫感がある１秒では、被験者１は大きな不安を感じているが被験者２では中くらいの不安を感じている。また、苛立ち感に関して、被験者２では１秒では感じているが２秒、３秒では感じていない。逆に、被験者２では１秒、２秒では殆ど感じていないが、３秒では感じている。

以上のように、瞳孔径に関する様々な情報を利用することで、ヒト状態を推定したり、瞳孔径に関する個人差を利用して個人属性を識別したりすることができる。

なお、図５に示された基準プロフィール１７ｃにおける瞳孔径に関する値、あるいは、眼球運動解析部１２ｂで生成される眼球運動情報としては、例えば、図１８に示される瞳孔径の変動を示す生データのパワースペクトル解析を行い、その結果得られる低周波成分や高周波成分のパワー値であってもよい。また、図１９に示されるグラフの平均値や傾きなどの値により代表させてもよい。また、図２０に示されるように、１つの瞳孔変動データが示す心理状態が複数の心理状態（苛立ち、焦り、不安等）を示す場合があるので、心理データ評価値とパワースペクトル解析結果との重回帰分析の結果から、実測プロフィール、基準プロフィール、眼球運動情報を特定したり、ヒト状態を推定・個人属性情報を決定したりしてもよい。また、眼球運動は瞳孔径に限らず、固視微動、サッカードとの組み合わせで求めてもよい。

以上のように、本実施の形態におけるヒト状態推定装置によれば、眼球の固視微動、特に、ヒト状態との関連性が高いマイクロサッカードの動きの水平成分に基づいてヒト状態が推定されること、および、眼球運動に加えて、個人属性の類似性を利用してヒト状態が推定されることから、単に眼球運動（あるいは、固視微動）からヒト状態を推定する従来の装置に比べ、高い精度でヒト状態が推定される。つまり、年代や罹患状態の影響も受けやすく、個人差、個人内差のばらつきも大きいと言われている眼球運動を含む生体情報において、計測した生体情報データを用いて、被験者の無意識も含めた精神状態、思考状態、身体状態を精度良く推定することができる。このため、精度の良い定量的かつ客観的なＨＭＩ評価システムを構築することができると共に、システム機器の安全性、快適性、利便性が向上される。

また、本発明に係るヒト状態推定装置は、自律神経と関係が深いと思われる眼球運動（固視微動、サッカード、追従眼球運動及び瞳孔径の動特性）の情報を利用しているので、ＡＶ機器操作時におけるストレスの原因である不安、イライラ、焦り、戸惑い、困惑などの特定心理状態、あるいは、喜怒哀楽を含めた陰性、陽性感情、あるいは精神疾患と眼球運動因子の動特性の関係式を精度良く導出することができる。

また、眼球運動の計測は、脳波計測を含めて多くの生体情報計測よりも非侵襲であり、利用者の精神的・身体的負担が軽減できる。

さらに、本発明では強膜画像に映し出された毛細血管像から個人を特定する情報を抽出することや、角膜画像から虹彩情報を取り出して個人認証することができるので、利用者は入力部から直接個人属性を特定する情報を毎回入力する必要がなく、利便性が向上する。また、新たな認証装置を追加する必要もなく、個人の身体的、精神的及び経済的負担が軽減できる。

また、本発明のヒト状態推定装置は、新たな個人属性、あるいは新たなヒト状態の情報が得られた場合には、基準データとして登録し、その後の推定に利用することができ、柔軟かつ拡張性に優れている。

以上のように、本発明により、ヒトの状態が高い精度で推定され、特に、電子機器の高機能化と共にユーザの使用状況、使用形態が多様化してきた今日において、本発明の実用的価値は極めて高い。

以上、本発明に係るヒト状態推定装置について、実施の形態および変形例に基づいて説明したが、本発明は、これらの実施の形態および変形例に限定されるものではない。これらの実施の形態および変形例について、任意に選択した構成要素を組み合わせることで実現される別の変形例や、上記実施の形態および変形例に対して当業者が思いつく各種変更を施したものも、本発明の趣旨を逸脱しない限り、本発明に含まれる。

たとえば、本実施の形態では、本発明に係るヒト状態推定装置は、テレビに組み込まれて適用されたが、テレビだけでなく、パソコン、カーナビ、携帯電話等の家電機器、車載機器、あるいは住宅等に使用される監視機器、健康管理機器、空調管理機器等に組み込んで適用してもよい。

また、本実施の形態では、推定部１５は、実測プロフィールを構成する全ての眼球運動パラメータについて基準プロフィールとの一致度を算出して合計したが、本発明は、このような探索に限定されるものではない。たとえば、基準プロフィールを構成する眼球運動パラメータごとに優先度を設け、優先度に応じた重み付け係数を一致度に乗じた後に、眼球運動パラメータごとの一致度を合計してもよい。これによって、ヒト状態に依存して大きく変化する眼球運動パラメータの優先度を高くすることで、実情に即した精度の高いヒト状態の推定が可能となる。

また、本実施の形態では、個人属性情報の「視力」には、視力の値が格納されたが、近視・遠視・乱視等の眼の屈折系・調節系の状態（異常）を特定する情報が格納されてもよい。このような情報であっても、個人属性とヒト状態との関係に影響を与えるので、ヒト状態の推定精度を向上させる補助的なパラメータとして役立つからである。

本発明は、利用者の眼球運動を計測し、その利用者の状態を精度良く推定するヒト状態推定装置として、例えば、テレビ等の画面を備える電子機器用（パソコン、カーナビ、携帯電話等の家電機器、車載機器）として、あるいは住宅等に使用される監視機器、健康管理機器、空調管理機器等に組み込まれる装置として、あるいはヒト状態推定装置を実現するプログラムとして、特に、ディジタルデバイドの問題にも対応したカスタマイズされたＨＭＩ、機器、あるいは診断装置として有用である。

１ デジタルテレビ
２ カメラ
３ リモコン
１０ ヒト状態推定装置
１１ 映像取得部
１２ 解析部
１２ａ 画像切り出し部
１２ｂ 眼球運動解析部
１３ 個人属性情報取得部
１３ａ 個人属性テーブル
１４ 入力部
１５ 推定部
１６ 格納部
１７ 基準データ
１７ａ 個人属性情報
１７ｂ ヒト状態情報
１７ｃ 基準プロフィール
１８ 登録部
１９ 表示部
２０ 眼球画像振り分け制御部
２１ 強膜画像解析部
２２ 角膜画像解析部
３２ 広角カメラ
３３ 高倍率レンズ
３８ 高速カメラ

Claims (8)

1. 心理状態、感情状態および思考状態のうちの少なくとも一つであるヒト状態を利用者の眼球の固視微動に基づいて推定するヒト状態推定装置であって、
   ヒトの年代、視力および罹患状態のうちの少なくとも一つを示す複数の個人属性情報のそれぞれについて、前記ヒト状態と、当該ヒト状態での標準的な眼球の固視微動に含まれるマイクロサッカードの動きにおける眼球の左右方向の成分である水平成分を含む基準プロフィールとを対応づけた基準データを格納している格納部と、
   ０．０５度の眼球回転角度の精度以上で、かつ、毎秒１２０サンプル以上の計測速度で、利用者の眼球の固視微動を含む眼球の動きを示す映像を取得する映像取得部と、
   前記映像が示す固視微動から、マイクロサッカードの動きの水平成分を抽出し、抽出した水平成分を含む実測プロフィールを生成する解析部と、
   前記利用者の個人属性情報を取得する個人属性情報取得部と、
   前記格納部に格納された基準データにおいて、前記個人属性情報取得部で取得された個人属性情報に対応し、かつ、前記実測プロフィールに最も近い基準プロフィールを探索し、探索した基準プロフィールに対応するヒト状態を、前記利用者について推定されるヒト状態として決定する推定部と
   を備えることを特徴とするヒト状態推定装置。
2. 前記基準プロフィールには、マイクロサッカードの動きの水平成分として、固視微動の水平成分のうち、マイクロサッカードとして平均的に観察される周期に相当する周波数での周波数成分が含まれ、
   前記解析部は、前記固視微動の水平成分の時間変化を周波数分析し、得られた周波数スペクトルのうちの前記周波数成分を前記マイクロサッカードの動きの水平成分として算出する
   ことを特徴とする請求項１記載のヒト状態推定装置。
3. 前記基準プロフィールにはさらに、固視微動の一つであるドリフトおよびトレモアの少なくとも一つに関する情報が含まれ、
   前記解析部はさらに、前記固視微動から、前記ドリフトおよび前記トレモアの少なくとも一つに関する情報を抽出し、抽出した情報を含む実測プロフィールを生成し、
   前記推定部は、前記マイクロサッカードの動きの水平成分に加えて、前記ドリフトおよび前記トレモアの少なくとも一つに関する情報についても照合することにより、前記実測プロフィールに最も近い基準プロフィールを探索する
   ことを特徴とする請求項１記載のヒト状態推定装置。
4. 前記基準プロフィールにはさらに、瞳孔径に関する情報が含まれ、
   前記解析部はさらに、前記映像から、瞳孔径に関する情報を抽出し、抽出した情報を含む実測プロフィールを生成し、
   前記推定部は、前記マイクロサッカードの動きの水平成分に加えて、前記瞳孔径に関する情報についても照合することにより、前記実測プロフィールに最も近い基準プロフィールを探索する
   ことを特徴とする請求項１記載のヒト状態推定装置。
5. 前記解析部はさらに、前記映像取得部が取得した映像から、前記利用者の視線方向、視線移動軌跡、視線停留時間、輻輳および開散、固視微動の動特性、サッカードの動特性、瞳孔径ならびに瞳孔の動特性の少なくとも一つを含む眼球運動を解析し、
   前記個人属性情報取得部は、眼球運動と個人属性情報との対応関係を示す個人属性テーブルを有し、前記個人属性テーブルを参照することで、前記解析部で得られた眼球運動の解析結果に対応する個人属性情報を特定し、特定した個人属性情報を前記利用者の個人属性情報として取得する
   ことを特徴とする請求項１記載のヒト状態推定装置。
6. 前記ヒト状態推定装置はさらに、前記利用者のヒト状態を特定する情報を取得し、取得した情報と当該利用者について前記個人属性情報取得部で取得された個人属性情報と前記解析部で生成された実測プロフィールとを対応づけて、新たな基準データとして、前記格納部に登録する登録部を備える
   ことを特徴とする請求項１記載のヒト状態推定装置。
7. 心理状態、感情状態および思考状態のうちの少なくとも一つであるヒト状態を利用者の眼球の固視微動に基づいて推定するヒト状態推定装置によるヒト状態推定方法であって、
   前記ヒト状態推定装置は、ヒトの年代、視力および罹患状態のうちの少なくとも一つを示す複数の個人属性情報のそれぞれについて、前記ヒト状態と、当該ヒト状態での標準的な眼球の固視微動に含まれるマイクロサッカードの動きにおける眼球の左右方向の成分である水平成分を含む基準プロフィールとを対応づけた基準データを格納している格納部を備え、
   前記ヒト状態推定方法は、
   ０．０５度の眼球回転角度の精度以上で、かつ、毎秒１２０サンプル以上の計測速度で、利用者の眼球の固視微動を含む眼球の動きを示す映像を取得する映像取得ステップと、
   前記映像が示す固視微動から、マイクロサッカードの動きの水平成分を抽出し、抽出した水平成分を含む実測プロフィールを生成する解析ステップと、
   前記利用者の個人属性情報を取得する個人属性情報取得ステップと、
   前記格納部に格納された基準データにおいて、前記個人属性情報取得ステップで取得された個人属性情報に対応し、かつ、前記実測プロフィールに最も近い基準プロフィールを探索し、探索した基準プロフィールに対応するヒト状態を、前記利用者について推定されるヒト状態として決定する推定ステップと
   を含むことを特徴とするヒト状態推定方法。
8. 心理状態、感情状態および思考状態のうちの少なくとも一つであるヒト状態を利用者の眼球の固視微動に基づいて推定するヒト状態推定装置のためのプログラムであって、
   請求項７記載のヒト状態推定方法に含まれるステップをコンピュータに実行させることを特徴とするプログラム。

Images