WO2007086222A1

WO2007086222A1 - 注意領域を推定するシステムおよび方法

Info

Publication number: WO2007086222A1
Application number: PCT/JP2006/325780
Authority: WO
Inventors: Takamasa Koshizen; Hiroshi Tsujino; Yuji Hasegawa; Kazuyuki Aihara; Motohri Kon; Taiji Suzuki
Original assignee: Honda Motor Co., Ltd.
Priority date: 2006-01-24
Filing date: 2006-12-25
Publication date: 2007-08-02
Also published as: JPWO2007086222A1; JP4969462B2

Abstract

本発明は、ユーザの精神状態に依存せずに精度良く注意領域を推定することが可能なシステム（１０）を提供する。このシステム（１０）は、ユーザの視線方向を検出する手段（１１，１７）と、ユーザの自律神経系の生体情報を検出する手段（１３，２１）と、視線方向からユーザの視線分布を求め、統計学習手法を用いてこの視線分布を解析して、視界内でユーザの視線が留まっている度合いを表す視線停留モデルを推定する手段（１９）と、生体情報に基づいてユーザの覚醒度を推定する手段（２３）と、視線停留モデルのパラメータおよび覚醒度に基づいて、注意領域を推定する手段（２５）と、を有する。

Description

明細書

注意領域を推定するシステムおよび方法

技術分野

[0001] 本発明は、ユーザが視界内で関心を持っている注意領域を推定する技術に関するものであり、より詳細には、ユーザの視線分布および自律神経系の生体情報に基づレ、て注意領域を推定する技術に関するものである。

背景技術

[0002] 人間は好むものを注視する傾向があり、この現象は選好注視（preferential looking) として知られている。この選好注視の特性を利用して、搭乗者（ユーザ）の視線に基づいて注視点（eye gaze point)を特定し、注視点に基づいて搭乗者が関心をもっている物体を推定する技術が知られている（例えば特開 2005-6897号公報を参照）。

[0003] また、ユーザが関心を持って物体を見ている状態において頻繁に現れる特有の注視パターン（eye gaze pattern)を統計モデルにより抽出して、注視点の代わりにこの注視パターンに基づいてユーザが関心を持っている注意領域（attended area)を推定する手法が提案されている。例えば、 Santellaらは、 EMアルゴリズムを用いて、ユーザが注視している部分を統計的に抽出する手法を提案している（A. Santella and D. DeCarlo, 'Robust clustering of eye movement recordings ror quantincation or visual interest'， eye tracking research and applications (ETRA) symposium 2004, pp. 27 - 34を参照）。本願発明者である Koshizenらは、変分ベイズ法（Variational Bayes : VB) を用いて、ユーザの視線分布に基づき混合ガウス関数（Gaussian Mixture)を導出することによって、視線分布を幾つかの注視パターンに分離できることを示した。そして、これらの注視パターンのうち最大事後確率（Maximum A Posteriori)を示すものを視線停留モデル (fixation model)として抽出し、この視線停留モデルを用いて注視対象推疋した (T. uzuki, T. Koshizen, et al, Learning to estimate user interest utilizi ng the variational Bayes estimator", ISDA 2005, pp. 94 - 99を参照)。

発明の開示

発明が解決しょうとする課題 [0004] し力ながら、上述の従来手法は、ユーザの視線に関する情報だけを利用して注視領域を推定しており、ユーザの心理状態によっては、推定された注視領域にユーザが関心をもつ物体等が存在しない場合がある。人間は常に関心をもつものを見ているわけではなぐたとえば、初めてみるようなものを提示された場合には視線がそのものの方向に向く現象が知られている。また、ユーザの集中力が欠けている状態では、一点をただ漠然と見つめる状況がありうる。このように、従来手法では、視線停留モデルに基いて推定された注意領域の信頼性は、ユーザの心理状態に依存してしまい定常的なものではないので、注意領域の境界を一意に決めるのは困難であり、不確定性を伴う。

[0005] 本発明の目的は、ユーザの心理状態を考慮して注意領域をより適切に推定することが可能なシステムを提供することである。

課題を解決するための手段

[0006] 本発明は、ユーザが視界内で関心を持っている注意領域を推定するシステムを提供する。このシステムは、ユーザの視線方向を検出する手段と、ユーザの自律神経系の生体情報を検出する手段と、視線方向からユーザの視線分布を求め、統計学習手法を用いてこの視線分布を解析して、視界内でユーザの視線が留まっている度合いを表す視線停留モデルを推定する手段と、生体情報に基づいてユーザの覚醒度（arousal level)を推定する手段と、視線停留モデルのパラメータおよび覚醒度に基づいて、注意領域を推定する手段と、を有する。

[0007] この発明により、視線および自律神経系の生体情報に基づレ、て注意領域を推定するので、ユーザの心理状態を考慮して注意領域をより適切に推定することができる。

[0008] 本発明の一実施形態によると、注意領域を推定する手段は、視線停留モデルのパラメータおよび覚醒度がそれぞれに設定されたしきい値以上のとき、視線停留モデルによって画定される領域を注意領域として推定する。

[0009] 本発明の一実施形態によると、視線停留モデルのパラメータおよび覚醒度のしきい値は、事前に複数の視覚刺激を提示したときのユーザの視線方向および生体情報を計測し、しきい値のそれぞれを調整しながら、計測された視線方向および生体情報に基づいて複数の視覚刺激における注意領域を推定し、推定の結果とユーザの自己評価との一致率が最高となったしきい値の組み合わせを選択する。これにより、実施条件に応じた最適なしきい値を得ることができるので、注意領域をより適切に推定すること力 Sできる。

[0010] 本発明の一実施形態によると、統計学習手法が変分ベイズ法であり、視線停留モデルのパラメータが、視線停留時間と、混合ガウス分布の混合率とを含む。

[0011] 本発明の一実施形態によると、生体情報が皮膚電位レベルである。

[0012] 本発明の一実施形態によると、覚醒度を推定する手段は、皮膚電位レベルが所定のしきい値を超えた頻度により覚醒度を決定する。

[0013] 本発明は、上述の注意領域を推定するシステムを備える、ユーザの活動を補助するシステムを提供する。このシステムは、推定された注意領域および覚醒度に応じて、ユーザの活動を補助する補助装置の動作を制御する手段を有する。

[0014] 本発明の一実施形態によると、補助装置は、ユーザを搭乗させて移動することによりユーザの移動を補助する装置、ユーザの身体に力を作用させることでユーザの運動を補助する装置、または、ユーザに情報を提供することによりユーザの身体的または精神的活動を補助する装置を含む。

[0015] 本発明は、ユーザが視界内で関心を持っている注意領域を推定する方法を提供する。この方法は、ユーザの視線方向を検出するステップと、ユーザの自律神経系の生体情報を検出するステップと、視線方向からユーザの視線分布を求め、統計学習手法を用いて視線分布を解析して、視界内でユーザの視線が留まっている度合いを表す視線停留モデルを推定するステップと、生体情報からユーザの覚醒度を推定するステップと、視線停留モデルのパラメータおよび覚醒度に基づいて、注意領域を推定するステップと、を含む。

図面の簡単な説明

[0016] [図 1]本発明の一実施形態による注意領域推定システムの構成図である。

[図 2]注意領域推定システムの機能ブロック図である。

[図 3]ユーザの視線分布およびこの視線分布に基づき導出された混合ガウス関数を示す図である。

[図 4]SPLおよびこの SPLに基づく覚醒検知結果の一例を示す図である。園 5]注意領域を判定するための三次元空間を示す図である。

[図 6]注意領域推定処理のフローチャートである。

園 7]注意領域を判定するしきい値 dl、 d2、 fを決めるための予備実験の構成図である。

園 8]予備実験のフローチャートである。

[図 9]注意領域を判定するしきい値 dl、 d2、 fを決める処理のフローチャートである。園 10]—致率を算出する処理の詳細を示すサブルーチンである。

符号の説明

10 注意領域推定シ

11 CCDカメラ

13 皮膚電位センサ

15 補助装置

17 視線検出部

19 視線分布解析部

21 SPL検出部

23 覚醒度推定部

25 注意領域推定部

27 制御部

発明を実施するための最良の形態

[0018] 次に図面を参照して、この発明の実施の形態を説明する。

[0019] 図 1は、本発明の一実施形態による注意領域推定システムの構成図である。

[0020] 注意領域推定システム 10は、補助装置 15のユーザから計測した視線情報および皮膚電位レベル（Skin Potential Level : SPL)に基づいて、ユーザが視界内で関心をもっている注視領域を推定し、さらに、注意領域に応じた動作指令を補助装置 15に送る。

[0021] 注意領域推定システム 10は、中央処理装置（CPU)およびメモリを備える汎用のコンピュータによって実現可能である。注意領域推定システム 10の機能は、メモリに記憶されたプログラムを CPUが実行することにより実現される。注意領域推定システム 1 0は、補助装置 15に搭載されている形式でも良いし、遠隔から補助装置 15と有線または無線で通信する形式でもよレ、。

[0022] CCDカメラ 11は、ユーザの顔に向けて設置されており、ユーザの視線方向を検出するために利用する撮像データを注意領域推定システム 10に提供する。 CCDカメラ 11は、高さおよび方向を調整するための機構を備えており、ユーザの座高などの身体的特徴に応じてユーザの顔を撮像するよう調整することができる。

[0023] 皮膚電位センサ 13は、ユーザの任意の皮膚表面（図 1では前腕部）に貼付されており、ユーザの皮膚電位レベル (SPL)を検出するための電気信号を注意領域推定システム 10に提供する。 SPLは、ユーザの心理状態に応じて変動する特徴がある。

[0024] 補助装置 15は、ユーザの精神的または肉体的活動を補助するための装置であり、本実施形態では、電動車いすを例示している。電動車いすの場合、例えば、注意領域推定システム 10が推定した注意領域を目標位置として設定し、この目標位置まで移動するように制御指令が電動車レ、すの移動機構に与えられる。

[0025] 図 2は、注意領域推定システム 10の機能ブロック図である。

[0026] 注意領域推定システム 10は、視線検出部 17、視線分布解析部 19、 SPL検出部 2 1，覚醒度推定部 23、注意領域推定部 25、および制御部 27を有する。注意領域推定システム 10の機能ブロックは、コンピュータのメモリに記憶されたプログラムを、 CP Uを用いて実行することによって実現することができる。

[0027] 視線検出部 17は、 CCDカメラ 11の撮像データに基づいてユーザの視線方向を検出する。

[0028] 視線分布解析部 19は、視線検出部 17で求められた視線方向に基づレ、てユーザの視線分布を求め、統計学習手法を用いてこの視線分布を解析して、視界内で前記ユーザの視線が留まってレ、る度合レ、を表す視線停留モデルを推定する。

[0029] 視線分布解析部 19は、まず、視線検出部 17で求められた視線方向の位置座標を所定の時間間隔で計測して、ユーザの視線の遷移を表す視線分布を求める。図 3 (a )は、任意の視覚刺激 (visual stimuli)に対するユーザの視線分布の一例を示している。図 3 (a)の X軸および Y軸は、提示された視覚刺激の縦方向および横方向の位置座標に対応している。図 3 (a)を参照すると、円で囲まれた特定の部分に視線が多くプロットされていることがわかる。このことは、ユーザがこれらの円で囲まれた部分を頻繁に見ていることを示している。

[0030] 視線分布解析部 19は、次に、変分ベイズ法（Variational Bayes:VB)を利用して、視線分布に基づく確率密度関数を導出する。確率密度関数 ρ(χ; Θ )は、次式のように混合ガウス関数（Gaussian Mixture)として近似することができる。

刚 p(x;0) = ^_mN(x\ _m,∑_m) ( 1 )

[0031] ここで、 Xは二次元ベクトルであり、視線分布の各点の位置座標（x、 y)を表す。 N(x| μ , ∑)は、中心位置 μ、分散∑のガウス関数を表す。 φは混合比率（Mixing Proport ion)である。 Θは、ガウス関数を構成するパラメータで θ = ( μ、 σ )である。

[0032] (1)式の混合ガウス関数は、それぞれが φπι·Ν(χ|μ πι, ∑m)という確率密度分布をもつ M個のコンポーネントから構成される。図 3(b)は、図 3 (a)に示す視線分布に基づいて導出された混合ガウス関数を 3次元表現した図である。図 3 (b)の X軸および y 軸は、図 3 (a)の X軸および y軸に対応しており、視線分布の位置座標を表す。グラフの垂直方向は、（1)式で算出された確率密度 pを表している。混合ガウス関数を構成する各コンポーネント mは、混合比率 φ mによって垂直方向の高さ（確率密度の大きさ）が決められ、分散∑mによって水平方向の広がりが決められる。

[0033] なお、変分ベイズ法による混合ガウス関数の導出方法は周知技術であり、具体的な方法につレヽて【ま、 ^ [列； ζ_ί 、 S. Waterhouse, D. Mackay, and T. Robinson, Bayesian Methods for Mixture of Experts", Proc. NIPS8, pp. 351-357, 1995などを参照されたレ、。

[0034] 視線分布解析部 19は、次に、導出した混合ガウス関数に基づいて、ユーザの視線が留まっている度合いを表す視線停留モデルを抽出する。視線停留モデルによって画定される領域は、視線が停留する度合いが高いので、注意領域である可能性が高レ、。視線分布解析部 19は、（1)式の混合ガウス関数のうち、混合比率 (ί»が最も大きレ、コンポーネントを 1つ選択し、このコンポーネントを視線停留モデルとする。例えば、図 3 (b)を参照すると、混合比率 φが最も大きぐ確率密度が最大のコンポーネント 31が視線停留モデルとして選択される。

[0035] そして、図 3 (b)に円 33で示すように、たとえば、所定値以上の確率密度をもつ領域がユーザの注視領域の候補として選択される。そして、この注視領域の候補の中に視線が連続して存在する最長時間が、停留時間（Gaze Duration Time)として算出される。視線停留モデルの混合比率および停留時間は、注意領域推定部 25に送られる。

[0036] SPL検出部 21は、皮膚電位センサ 1 3で計測された電気信号を増幅およびフィルタ処理して、ユーザの皮膚電位レベル（SPL)を求める。図 4 (a)は、 SPLの一例を示している。 SPLは所定の時間間隔で計測され、所定量のデータが蓄積されると覚醒度推定部 23へ送られる。なお、この所定量とは、たとえば、視線分布解析部 19において視線分布を作成するために必要な視線情報のデータ量と同一である。

[0037] 覚醒度推定部 23は、 SPLに基づいてユーザの覚醒度を推定する。覚醒度推定部 2 3は、まず、 SPL検出部 21から受け取った SPLのデータセットの平均値/ i splおよび標準偏差 a splを求める。そして、次式のように、覚醒検知しきい値 τを求める。

[0038] τ = μ spl + ε · σ spl ( 2)

ここで、 εは、覚醒検知の感度を決める係数であり、 εの値が小さいほど覚醒が頻繁に検知されるようになる。 εの値は、後述する予備実験により最適な値が予め設定されている。

[0039] 覚醒度推定部 23は、次に、（2)式で算出された覚醒検出しきい値てに基づいて覚醒検知を行なう。 SPLのデータセットのそれぞれがしきい値 τと比較される。しきい値てより大きい SPLデータは、有意に反応したデータとみなされ、高い覚醒状態として 1をラベル付けされる。しきい値 τ以下の SPLデータは 0をラベル付けされる。図 4 (b )は、覚醒検知の結果を示す図である。 1がプロットされる頻度が多いほど覚醒状態である可能性が高 0がプロットされる頻度が多いほど覚醒状態である可能性が低レ、。

[0040] 覚醒度推定部 23は、続いて、 SPLのデータセットのうち覚醒検知され 1をラベル付けされた頻度を算出し、この頻度を 0から 1の間の値に正規化したものを覚醒度として定義する。求められた覚醒度は、注意領域推定部 25に送られる。 [0041] なお、 SPLから覚醒度を求める手法は周知技術であり、詳細については、 J. Healey and R. Picard, Digital processing or affective signals , Proceedings of the wenty- sixth Annual Conference of the Cognitive Science Society, 1565, 1998などを参照されたい。

[0042] 注意領域推定部 25は、視線分布解析部 19から受け取った混合比率および停留時間と、覚醒度推定部 23から受け取った覚醒度とに基づいて、視線停留モデルが注意領域であるかどうかを判定する。この判定には、混合比率、停留時間、覚醒度につレ、てそれぞれ軸をとる三次元座標を用いる。図 5は、注意領域を判定するための三次元空間を示している。グラフの X軸は混合比率に関するものであり、 y軸は停留時間に関するものであり、 z軸は覚醒度に関するものである。混合比率には dl、停留時間には d2、覚醒度には fという判定しきい値が設定されている。これらの判定しきい値は、後述する予備実験により最適な値が予め設定されてレ、る。

[0043] 図 5に示すような三次元空間において、混合比率が dl以上であり、停留時間が d2 以上であり、覚醒度力 ¾以上である空間 35に視線停留モデルのパラメータが含まれるとき、この視線停留モデルが注意領域であると判定される。注意領域推定部 25は、視線停留モデルを注意領域と判定すると、この注意領域の位置情報を制御部 27に送る。

[0044] 制御部 27は、注意領域推定部 25から注意領域の情報を受け取ると、これに応じた制御指令を生成し、補助装置 15の動作を制御する。補助装置 15が電動車椅子の場合、たとえば、注意領域を目標位置として移動する制御指令が生成される。また、覚醒度が高いときには移動を速くして、覚醒度が低いときには移動を遅くするように、覚醒度の大きさに応じて移動速度を設定してもよい。

[0045] 図 6は、注意領域推定処理のフローチャートである。

[0046] まず、ユーザの視線に基づく処理（S10：!〜 S107)と、ユーザの SPLに基づく処理

(S109〜S117)が並行して実施される。

[0047] ステップ S10：!〜 S107について説明する。視線分布検出部 17が、カメラ 11によるユーザの視線情報に基づレ、て視線分布を検出する（ステップ S101)。視線分布解析部 19が、視線分布に基づいて（1)式のような混合ガウス関数を算出し（S103)、混合比率 φ mが最大のコンポーネントを視線停留モデルとして選択し（S 105)、視線停留モデルの停留時間を算出する（S 107)

[0048] ステップ S 109 S 1 17につレ、て説明する。 SPL検出部 21力皮膚電位センサ 13 によって計測されたユーザの皮膚表面電位に基づいて SPLを検出し（S 109) SPL の平均値 μおよび標準偏差 σを算出する（S l l l)。覚醒検知の感度を決めるパラメータ εをメモリから読出し（S I 13 （2)式から求めたしきい値 τに基づき、 SPLを 0 または 1でラベル付けする（S 1 15)。すなわち、 SPLがしきい値 τより大きい場合に 1 をラベル付けし、しきい値 τ以下の場合に 0をラベル付けする。ここで、 εは、後述する予備実験によって予め最適値が導出されている。そして、 SPLのうち 1がラベル付けされた割合を求め、これを覚醒度として設定する（S 1 17)。

[0049] 続レ、て、注意領域推定部 25が、後述する予備実験で予め導出されてレ、る判定しきい値 dl d2 fを読出し（S I 19)、混合比率、停留時間、覚醒度のすべてが、それぞれの半 IJ定しきい値 dl d2 fより大きレヽとき（ステップ S 121 S 125力 S全て YES)、選択された視線停留モデルを注意領域と判定する（S 127)

[0050] 次に、図 7〜図 10を参照して、注意領域を判定するしきい値 dl d2 fを決めるための予備実験について説明する。

[0051] 図 7は、予備実験の構成図である。被験者は、皮膚電位センサ 13を装着された状態で固定された椅子（図示せず）に座っている。 CCDカメラ 1 1が被験者の視線を検出できるように設置されている。被験者の正面には視覚刺激 (visual sti li)を提示するためのディスプレイ 41が配置されている。

[0052] ディスプレイ 41には、複数の視覚刺激 43およびコントロール刺激 45が交互に表示される。視覚刺激およびコントロール刺激は、例えば、それぞれ 25秒および 30秒間提示される。視覚刺激 43が表示されているときに、被験者の視線情報が CCDカメラ 1 1で計測され、被験者の SPLが皮膚電位センサ 13により計測される。

[0053] 視覚刺激 43の内容は、補助装置 15の動作に関連するものであればよい。補助装置 15が電動車椅子の場合、車いすの使用時にユーザが見るような風景の映像を所定時間ごとに分割して、それぞれを予備実験用の視覚刺激とする。

[0054] コントロール刺激 45は、直前に提示された視覚刺激の影響を受けないように被験者の視線や SPLを標準的なレベルに戻すためのものであり、例えば、図 7に示すように +マークなどを用いる。

[0055] このように計測された視線情報および SPLを規準として利用して、最適な判定しきい値のセットが導出される。

[0056] 図 8は、予備実験のフローチャートである。

[0057] まず、画面にコントロール刺激 45が提示された後（ステップ S 201 )、視覚刺激 43が提示される（ステップ S203)。視覚刺激 43を所定時間提示している間に、カメラ 1 1により被験者の視線情報が検出され (ステップ S 205)、これと並行して、表面電位センサ 13によって被験者の SPLが検出される (ステップ S207)。所定時間経過後、被験者は、提示された視覚刺激 43をどれくらいの注意度で見ていたかを 5段階で自己評価する（ステップ S208)。検出された視線情報および SPLは、システムに含まれるメモリなどの記憶手段に記憶される。

[0058] 用意された視覚刺激 43がまだ有る場合には（ステップ S 209の YES)、ステップ S 2 01に戻り、新たな視覚刺激 43に対して同様の計測を行なう。視覚刺激 43をすベて提示した場合には（ステップ S 209の NO)、処理を終了する。

[0059] 図 9は、注意領域を判定するしきい値 dl、 d2、 fを決めるための処理を表すフローチャートである。

[0060] まず、判定しきい値 dl , d2, fと、覚醒検出の感度を決めるパラメータ εを初期化する（ステップ S301)。

[0061] 次に、予備実験で測定した視線情報および SPLがメモリから読出され (ステップ S3 03)、図 6のステップ S 10：!〜 S 107と同様の処理により、視覚刺激ごとに混合比率および停留時間が算出される（ステップ S 305)。

[0062] 続いて、 dl、 d2が設定される（ステップ S307)。 dl、 d2は、 1回目の処理では初期値であり、以降のループでは所定のきざみ幅で変更される。

[0063] 続いて、 εを 0. 5〜3まで 0. 5ずつ変化させながら（ステップ S 309)、現在設定されているしきい値 dl、 d2、 εにおいて、注意領域の推定結果と、ユーザの自己評価との適合度合いを示す一致率が算出される (ステップ S31 1)。一致率を算出する処理については、図 10を参照して後述する。 [0064] ステップ S 309〜S31 1の一致率を算出する処理は、しきレ、値 dl、 d2が所定範囲内の全ての組み合わせについて設定されたと判定されるまで（ステップ S315の NO)、繰り返し実施される。

[0065] このように、所定の範囲内で判定パラメータ dl、 d2、 εの全ての組み合わせにおける一致率が求められ、この中で最高の一致率となる dl、 d2、 f、 εの組み合わせが、注意領域推定部 25で用いる判定しきい値として設定される（ステップ S 317)。

[0066] 図 10は、ステップ S31 1の一致率算出処理の詳細を示すサブルーチンである。

[0067] まず、一致率を計算するために使われる変数 C 1が初期化される (ステップ S401)。

[0068] ステップ S 309で設定された現在の εの値に応じて、図 6のステップ S 109〜S 1 17 と同様の処理により、視覚刺激ごとに覚醒度が算出される (ステップ S403)。算出された各視覚刺激の覚醒度の平均値が求められ、この平均値が判定しきい値して記憶される（ステップ S405)。

[0069] 続いて、ステップ S407〜S425において、視覚刺激ごとに、算出された覚醒度が、被験者の自己評価と比較される。

[0070] 視覚刺激が選択されると (ステップ S407)、覚醒度、混合比率、停留時間がそれぞれの判定しきい値 f、 dl、 d2より大きレヽ場合（S409〜S413力 S全て YES)、被験者の自己評価が 4以上ならば (ステップ S417の YES)、 C 1がインクリメントされる（ステップ S423)。また、覚醒度、混合比率、停留時間がそれぞれの判定しきい値 f、 dl、 d2以下である場合（S409〜S413が全て N〇）、被験者の自己評価が 3以下ならば (ステップ S421の YES)、 C 1がインクリメントされる（ステップ S423)。

[0071] ステップ S407〜S423の処理は、ステップ S425で全ての視覚刺激について処理が行なわれたと判定されるまで繰り返し行なわれる。

[0072] 最終的に得られる C 1の値は、予備実験で提示された視覚刺激のそれぞれにおいて、注意領域が抽出され、かつ被験者の集中度合いが高い状態、または注意領域が抽出されず、かつ被験者の集中度が低い状態の回数である。

[0073] そして、一致率 = C 1/視覚刺激数 X 100が算出され (ステップ S427)、メインノレ一チンに戻る。

[0074] 本発明による注意領域推定システムは、皮膚電位レベル（SPL)のような自律神経系の生体情報に基づいてユーザの覚醒度を推定し、この覚醒度を考慮して注意領域を推定するので、覚醒度が低レ、ときには注意領域を選択しなレ、ように構成されてレ、る。したがって、本発明による注意領域推定システムは、人間の心理状態を考慮して注意領域をより適切に推定することができる。

[0075] なお、上述の実施形態では、電動車椅子 15によってユーザの移動が補助されたが、他の実施形態として自動車などの他の移動体によってユーザの移動が補助されても良い。

[0076] また、たとえば特開 2004— 329510号公報に記載されているような歩行補助装置によって、ユーザの注意領域に応じてユーザの身体に力を作用させることで、その歩行運動が補助されてもよい。

[0077] さらに、ユーザの注意領域に応じて、画像表示装置や音響装置などを通じて当該ユーザに対して情報が提供されてもよい。これにより、たとえば美術館においてユーザの視野に含まれる複数の美術作品のうち、ユーザの注意が向けられた作品の案内情報が表示等されるので、ユーザの美術鑑賞に関する理解や試作などの精神的活動が補助される。

[0078] 以上にこの発明を特定の実施例によって説明したが、この発明はこのような実施例に限定されるものではない。

Claims

請求の範囲

[1] ユーザが視界内で関心を持ってレ、る注意領域を推定するシステムであって、

前記ユーザの視線方向を検出する手段と、

前記ユーザの自律神経系の生体情報を検出する手段と、

前記視線方向から前記ユーザの視線分布を求め、統計学習手法を用いて該視線分布を解析して、前記視界内で前記ユーザの視線が留まってレ、る度合レ、を表す視線停留モデルを推定する手段と、

前記生体情報に基づいて前記ユーザの覚醒度を推定する手段と、

前記視線停留モデルのパラメータおよび前記覚醒度に基づレ、て、前記注意領域を推定する手段と、

を有するシステム。

[2] 前記注意領域を推定する手段は、前記視線停留モデルのパラメータおよび前記覚醒度がそれぞれに設定されたしきレ、値以上のとき、前記視線停留モデルによって画定される領域を前記注意領域として推定する、請求項 1に記載のシステム。

[3] 前記視線停留モデルのパラメータおよび前記覚醒度のしきい値は、事前に複数の視覚刺激を提示したときのユーザの視線方向および生体情報を計測し、前記しきい値のそれぞれを調整しながら、該計測された視線方向および生体情報に基づレ、て該複数の視覚刺激における注意領域を推定し、該推定の結果とユーザの自己評価との一致率が最高となった前記しきい値の組み合わせを選択する、請求項 2に記載のシステム。

[4] 前記統計学習手法が変分ベイズ法であり、

前記視線停留モデルのパラメータが、視線停留時間および混合比率を含む、請求項 1に記載のシステム。

[5] 前記生体情報が皮膚電位レベルである、請求項 1に記載のシステム。

[6] 前記覚醒度を推定する手段は、前記皮膚電位レベルが所定のしきい値を超えた頻度により覚醒度を決定し、

該しきい値は次式により算出され、

て = μ spl+ ε · σ spl ここで、 τはしきレ、値を表し、 z splは前記皮膚電位レベルの平均値であり、 a splは前記皮膚電位レベルの標準偏差であり、 εは覚醒検知の感度を決める正の値である、

請求項 5に記載のシステム。

[7] 請求項 1乃至 6に記載の注意領域を推定するシステムを備える、ユーザの活動を補助するシステムであって、

前記推定された注意領域および覚醒度に応じて、前記ユーザの活動を補助する補助装置の動作を制御する手段を有するシステム。

[8] 前記補助装置は、ユーザを搭乗させて移動することにより該ユーザの移動を補助する装置、ユーザの身体に力を作用させることで該ユーザの運動を補助する装置、または、ユーザに情報を提供することにより該ユーザの身体的または精神的活動を補助する装置を含む、請求項 7に記載のシステム。

[9] ユーザが視界内で関心を持ってレ、る注意領域を推定する方法であって、

前記ユーザの視線方向を検出するステップと、

前記ユーザの自律神経系の生体情報を検出するステップと、

前記視線方向から前記ユーザの視線分布を求め、統計学習手法を用いて該視線分布を解析して、前記視界内で前記ユーザの視線が留まってレ、る度合レ、を表す視線停留モデルを推定するステップと、

前記生体情報から前記ユーザの覚醒度を推定するステップと、

前記視線停留モデルのパラメータおよび前記覚醒度に基づレ、て、前記注意領域を推定するステップと、

を含む方法。

[10] 前記注意領域を推定するステップは、前記視線停留モデルのパラメータおよび前記覚醒度がそれぞれに設定されたしきい値以上のとき、前記視線停留モデルによつて画定される領域を前記注意領域として推定することを含む、請求項 9に記載の方法

[11] 事前に複数の視覚刺激を提示したときのユーザの視線方向および生体情報を計測し、前記しきい値のそれぞれを調整しながら、該計測された視線方向および生体情報に基づいて該複数の視覚刺激における注意領域を推定し、該推定の結果とュ一ザの自己評価との一致率が最高となった前記しきい値の組み合わせを、前記視線停留モデルのパラメータおよび前記覚醒度のしきい値として選択するステップをさらに含む、請求項 10に記載の方法。

[12] 前記統計学習手法が変分ベイズ法であり、

前記視線停留モデルのパラメータが、視線停留時間および混合比率を含む、請求項 9に記載の方法。

[13] 前記生体情報が皮膚電位レベルである、請求項 9に記載の方法。

[14] 前記覚醒度を推定するステップは、前記皮膚電位レベルが所定のしきい値を超えた頻度により覚醒度を決定することを含み、

該しきい値は次式により算出され、

て = μ spl+ ε · σ spl

ここで、 τはしきレヽ値を表し、 /i splは前記皮膚電位レベルの平均値であり、 σ spltt 前記皮膚電位レベルの標準偏差であり、 εは覚醒検知の感度を決める正の値である、

請求項 13に記載の方法。