JP5765740B2 - 注意位置推定装置 - Google Patents

注意位置推定装置 Download PDF

Info

Publication number
JP5765740B2
JP5765740B2 JP2012115401A JP2012115401A JP5765740B2 JP 5765740 B2 JP5765740 B2 JP 5765740B2 JP 2012115401 A JP2012115401 A JP 2012115401A JP 2012115401 A JP2012115401 A JP 2012115401A JP 5765740 B2 JP5765740 B2 JP 5765740B2
Authority
JP
Japan
Prior art keywords
attention
unit
user
luminance
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012115401A
Other languages
English (en)
Other versions
JP2013240469A (ja
Inventor
寛彦 金子
寛彦 金子
翼 田中
翼 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Institute of Technology NUC
Original Assignee
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Institute of Technology NUC filed Critical Tokyo Institute of Technology NUC
Priority to JP2012115401A priority Critical patent/JP5765740B2/ja
Publication of JP2013240469A publication Critical patent/JP2013240469A/ja
Application granted granted Critical
Publication of JP5765740B2 publication Critical patent/JP5765740B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、利用者の注意位置を推定する注意位置推定装置に関し、特に、利用者の眼球運動計測に基づき注意位置を推定する注意位置推定装置に関する。
従来から、単純に利用者の視線方向を計測するシステムは多数存在する。このようなシステムを応用し、心理状態等を推定するシステムも存在する。例えば、特許文献1に開示の視線情報解析装置は、観察者に提示される画像内容と観察者の眼球運動の付随的な挙動との相関関係を利用して、観察者の心理的な観察状態を評価するものである。これは、眼球運動の時間的変化を適当な長さのセグメントに分割し、これを周波数領域に変換して表示された画像の内容を推定するものである。
また、例えば特許文献2に開示の注意力測定装置は、操作者の飛越眼球運動を検出して、この飛越眼球運動に基づき、操作者の注意力レベルを判定するものである。飛越眼球運動とは、視線が停留点から急速に移動して次の停留点に止まる現象である。また、注意力レベルとは、例えば乗り物の運転者が通常以上に外界に注意を向けている状態等は注意力レベルが高い状態であり、同乗者と会話してる場合等、外界の視覚情報に対する注意力が削がれた状態等は注意力レベルが低い状態というものである。
さらに、例えば特許文献3に開示の技術は、眼球の固視微動(マイクロサッカード)の動きを検出し、これを基に精神状態等のヒト状態を推定する装置である。これは、眼球の運動状態を基に、ヒトの心理状態や感情、思考状態を推定するものである。
特開平6−162号 特開平11−276461号 国際公開第2009/001558号
しかしながら、上述のような従来技術は、何れも視線方向や眼球の動きを基に、利用者の心理状態等を推定するものであった。例えば、人間は視線が向いた位置に必ずしも注意が向いているわけではなく、視線方向ではない位置に注意を向けている場合が多い。この注意をしている位置というのは、従来技術では推定できるものではなかった。例えば、乗り物の運転中に、視線は前方の信号を向いているが、視野内に歩行者が現れた場合、運転者は視線を歩行者に移動させる前に、運転者の意識は歩行者に向くことになる。この際、運転者の意識が歩行者に向いていれば、歩行者に注意して運転することが可能となるが、歩行者に注意が行っていない場合には、警告等を行うのが事故防止に有効である。このような用途の場合、従来技術では、運転者がどこに注意を向けているのかが推定できないため、利用することができなかった。また、広告の有効性の検討やヒューマンインタフェースの評価等についても、従来技術では視線の動きがあって初めて検証が開始されるものであるため、利用者がまずどこに注意を向けるのかといったことを高度に検証することは難しかった。
本発明は、斯かる実情に鑑み、利用者の視野内で利用者が注意をしている位置を推定可能な注意位置推定装置を提供しようとするものである。
上述した本発明の目的を達成するために、本発明による注意位置推定装置は、利用者の視野内の映像の輝度分布を生成する輝度分布生成部を有する外界情報部と、利用者の瞳孔の大きさを計測する瞳孔運動計測部を有する眼球運動情報部と、外界情報部の輝度分布生成部により生成される輝度分布と、眼球運動情報部の瞳孔運動計測部により計測される瞳孔の大きさの変化との関係を用いて、利用者が注意している位置を推定する注意位置推定部と、を具備するものである。
ここで、注意位置推定部は、瞳孔の大きさが大きい側に変化する場合には輝度分布中の輝度の低い位置を、瞳孔の大きさが小さい側に変化する場合には輝度分布中の輝度の高い位置を、利用者が注意している位置と推定しても良い。
さらに、利用者の視野内に輝度刺激を与える輝度刺激部と、輝度刺激部による輝度刺激に同期する瞳孔の大きさを計測し、輝度刺激と瞳孔との大きさの関係を表す瞳孔校正曲線を予め作成する校正部とを具備し、注意位置推定部は、瞳孔の大きさから、瞳孔校正曲線を用いて輝度分布中の所定の輝度位置を利用者が注意している位置と推定するものであっても良い。
また、外界情報部は、さらに、撮像される映像の運動分布を生成する運動分布生成部を有し、眼球運動情報部は、さらに、利用者の眼球の固視微動を計測する固視微動計測部を有し、注意位置推定部は、さらに、運動分布と固視微動との関係も用いて、運動分布中の固視微動に同期して変化する位置を利用者が注意している位置と推定するものであっても良い。
さらに、利用者の視野内に運動刺激を与える運動刺激部と、運動刺激部による運動刺激に同期する眼球の固視微動を計測し、運動刺激と固視微動との関係を表す固視微動校正曲線を予め作成する校正部とを具備し、注意位置推定部は、固視微動から、固視微動校正曲線を用いて運動分布中の所定の運動位置を利用者が注意している位置と推定するものであっても良い。
また、外界情報部は、さらに、撮像される映像の奥行き分布を生成する奥行き分布生成部を有し、眼球運動情報部は、さらに、利用者の眼球の輻輳運動による輻輳角を計測する輻輳運動計測部を有し、注意位置推定部は、さらに、奥行き分布と輻輳角の変化との関係も用いて、輻輳角が大きい側に変化する場合には奥行き分布中の利用者に近い側の奥行き位置を、輻輳角が小さい側に変化する場合には奥行き分布中の利用者に遠い側の奥行き位置を利用者が注意している位置と推定するものであっても良い。
さらに、利用者の視野内の奥行き方向に刺激を与える奥行き刺激部と、奥行き刺激部による奥行き刺激に同期する眼球の輻輳運動による輻輳角を計測し、奥行き刺激と輻輳角との関係を表す輻輳角校正曲線を予め作成する校正部とを具備し、注意位置推定部は、輻輳角から、輻輳角校正曲線を用いて奥行き分布中の所定の奥行き位置を利用者が注意している位置と推定するものであっても良い。
さらに、利用者の視野内であって、視線方向と異なる位置に輝度刺激を与える輝度刺激部を具備し、注意位置推定部は、輝度刺激部による輝度刺激に同期して瞳孔の大きさが変化するか否かで、利用者が注意能力を有しているか否かを判断するものであっても良い。
本発明の注意位置推定装置には、利用者の視野内で利用者が注意をしている位置を推定可能であるという利点がある。
図1は、本発明の第1実施例の注意位置推定装置を説明するためのブロック図である。 図2は、本発明の注意位置推定装置において用いられる外界刺激と眼球運動の現象を説明するための概略説明図である。 図3は、本発明の注意位置推定装置において用いられる外界刺激と眼球運動の現象を検証するための実験方法を説明するための概略説明図である。 図4は、刺激変化タスクの輝度刺激が与えられた場合の瞳孔の大きさの変化を表わすグラフである。 図5は、刺激不変タスクの輝度刺激が与えられた場合の瞳孔の大きさの変化を表わすグラフである。 図6は、本発明の第2実施例の注意位置推定装置を説明するためのブロック図である。 図7は、本発明の第3実施例の注意位置推定装置を説明するためのブロック図である。 図8は、本発明の第4実施例の注意位置推定装置を説明するためのブロック図である。
利用者の視野内に入ってくる外界の情報、例えば、輝度刺激や運動刺激、奥行き刺激等に対して、その刺激を注視したときに起こる眼球の運動は数多く知られている。本願発明者は、その刺激を注視しなくとも、即ち、その刺激に視線を向けなくとも、刺激に注意を向けただけで、その刺激に視線を向けたときと同じように眼球が運動することを見出した。本発明では、この現象を利用して、眼球運動情報と外界情報から利用者の注意位置を推定することを可能とした。
以下、本発明を実施するための形態を図示例と共に説明する。図1は、本発明の第1実施例の注意位置推定装置を説明するためのブロック図である。図示の通り、本発明の第1実施例の注意位置推定装置は、外界情報部10と、眼球運動情報部20と、注意位置推定部30とから主に構成されている。
外界情報部10は、利用者の視野内の映像の輝度分布を生成するものである。利用者の視野内の映像は、具体的には、例えば図示例のように、実空間を撮像部11により撮像したものである。これは、利用者の視野に対応して撮像部11がリアルタイムに駆動されるものであっても良い。また、実空間ではなく表示画面を利用者に見せる場合には、表示画面に表示した映像を利用者の視野内の映像として扱えば良い。利用者の視野内の映像は、輝度分布生成部12に送られる。輝度分布生成部12では、利用者の視野内の映像の輝度分布が生成される。輝度分布については、例えば電子画像のピクセル毎や、所定の範囲毎の輝度をそれぞれ求め、映像の輝度の分布が把握できれば良い。輝度分布の生成は、特定の手法には限定されるものではなく、従来の又は今後開発されるべきあらゆる手法により生成されれば良い。
眼球運動情報部20は、眼球の運動を計測するものであり、図示例の第1実施例では、利用者の瞳孔の大きさを計測するものである。眼球運動情報部20は、利用者の眼球を撮像する撮像部21と、撮像された眼球映像から、瞳孔の大きさを計測する瞳孔運動計測部22とからなる。瞳孔の大きさの計測については、例えばアイトラッカやアイマークレコーダ等、大きさの変化が計測できる手法であれば良く、特定の手法には限定されるものではなく、従来の又は今後開発されるべきあらゆる手法により計測されれば良い。
注意位置推定部30は、外界情報部10の輝度分布生成部12により生成される輝度分布と、眼球運動情報部20の瞳孔運動計測部22により計測される瞳孔の大きさの変化との関係を用いて、利用者が注意している位置を推定するものである。ここで、図2を用いて、輝度分布と瞳孔の大きさの変化との関係について説明する。図2は、本発明の注意位置推定装置において用いられる外界刺激と眼球運動の現象を説明するための概略説明図である。図2(a)は、視線を輝度の異なる方向に向けた場合の瞳孔の大きさの変化を説明するための図であり、図2(b)は、視線は変えずに注意を輝度の異なる方向に向けた場合の瞳孔の大きさの変化を説明するための図である。図2(a)に示されるように、視線を輝度の明るい方に向けた場合には、瞳孔は収縮し小さくなる。また、視線を輝度の暗い方に向けた場合には、瞳孔は拡大し、大きくなる。この現象は一般的に知られている。本発明では、このような一般的な視線の先の輝度に応じて変化する瞳孔の大きさの変化を用いるものではない。本発明では、図2(b)に示されるように、視線を向けなくても注意を向けた先の輝度に応じて変化する瞳孔の大きさを用いる。即ち、視線を動かさなくても、注意を輝度の明るい方に向けた場合には、瞳孔は収縮し小さくなる。また、視線を輝度の暗い方に向けた場合には、瞳孔は拡大し、大きくなる。この現象が本願発明者により見出され、本発明ではこの現象を利用している。
ここで、注意を向けた先の輝度に応じて瞳孔の大きさがどのように変化するのかを実験により明らかにしたので説明する。図3は、本発明の注意位置推定装置において用いられる外界刺激と眼球運動の現象を検証するための実験方法を説明するための概略説明図である。図3(a)は刺激が変化する刺激変化タスクを説明するための図であり、図3(b)は刺激が変化しない刺激不変タスクを説明するための図である。なお、視線は常に画面の中心を向き、注意位置には視線を向けないようにしている。刺激変化タスクでは、図3(a)に示されるように、まず一様な灰色画面とターゲット提示箇所を示す目印が表示される(T1)。次に、注意方向を示す矢印が示される(T2)。そして、左右の輝度刺激が変化し(T3)、視線は変えずに輝度刺激が与えられた部分のターゲットであるランドルト環の向きを被験者に答えてもらった(T4)。このときの瞳孔の大きさの変化を図4に示す。図示の通り、輝度刺激が明刺激でも暗刺激でも、瞳孔は共に小さくなったが、明刺激を与えたほうが、より収縮量は大きくなり、より瞳孔の大きさが小さくなった。また、刺激不変タスクでは、図3(b)に示されるように、輝度刺激が終始一定であること以外は上述の刺激変化タスクと同様である。このときの瞳孔の大きさの変化を図5に示す。図示の通り、明刺激へ注意がシフトした場合には、瞳孔の大きさが小さくなった。また、暗刺激へ注意がシフトした場合には、瞳孔の大きさが大きくなった。このことは、注意位置における刺激特性が瞳孔の大きさの変化に影響することを示唆している。本発明の注意位置推定装置では、これらの現象を用いて、瞳孔の大きさの変化から、輝度分布における注意位置を推定するものである。
例えば、注意位置推定部30では、外界情報部において生成された輝度分布の変化も考慮し、外界の状況が上述の刺激変化タスクなのか、刺激不変タスクなのかを判断する。そして、刺激不変タスクであれば、瞳孔の大きさが大きい側に変化する場合には、輝度分布中の輝度の低い位置を利用者が注意している位置と推定する。即ち、視線の先に対応する輝度よりも、より輝度の低い位置を利用者が注意している位置と推定する。また、逆に瞳孔の大きさが小さい側に変化する場合には、輝度分布中の輝度の高い位置を利用者が注意している位置と推定する。即ち、視線の先に対応する輝度よりも、より輝度の高い位置を利用者が注意している位置と推定する。また、刺激変化タスクであれば、瞳孔の大きさの変化がより大きい場合には、輝度分布中の輝度の高い位置を利用者が注意している位置と推定する。
図2や図3に示されるような単純画像であれば、視線の先の輝度よりも輝度の低い位置や高い位置はある程度簡単に推定可能である。しかしながら、輝度の低い位置や高い位置、さらには輝度が同じ位置が複数存在し、どの位置が注意位置かを正確に判断できない場合もある。このような場合には、確率的により正確な位置を推定可能なように、後述するような他の眼球運動の情報も用いて、総合的に注意位置を推定すれば良い。
次に、予め輝度の変化を与えたときの瞳孔の大きさの関係を求めておき、この関係を用いて注意位置を推定する例について説明する。図6は、本発明の第2実施例の注意位置推定装置を説明するためのブロック図である。図中、図1と同一の符号を付した部分は同一物を表しているため、詳説は省略する。本発明の第2実施例の注意位置推定装置は、輝度刺激に同期する瞳孔の大きさを予め計測しておき、これを基に、注意位置推定時には瞳孔の大きさから注意位置を推定できるものである。
図6に示されるように、第2実施例の注意位置推定装置には、輝度刺激部40と校正部50とが第1実施例にさらに追加されている。輝度刺激部40は、利用者の視野内に輝度刺激を与えるものである。例えば、外界情報が表示画面から与えられるときには、表示画面に表示する映像に対して、既知の種々の輝度刺激を与える。この際、輝度刺激は利用者の視線から外れたところで且つ利用者が注意する位置に与えても良いし、利用者の視線の先に与えても良い。輝度刺激に対する瞳孔の大きさは、輝度と視線方向からの変位との関数になる。
そして、校正部50は、輝度刺激部40による輝度刺激に同期する瞳孔の大きさを計測し、輝度刺激と瞳孔との大きさの関係を表す瞳孔校正曲線を予め作成するものである。瞳孔校正曲線は、瞳孔の大きさが輝度刺激と視線方向からの変位との関数となるため、これを用いれば良い。これにより、輝度刺激に対する瞳孔の大きさの関係が瞬時に分かるようになる。したがって、注意位置推定部30では、計測される瞳孔の大きさから、瞳孔校正曲線を用いて輝度分布中の所定の輝度位置を利用者が注意している位置と推定することが可能となる。
次に、本発明の第3実施例の注意位置推定装置を説明する。これまでの実施例では、外界情報部により得られる輝度分布のみを用いて、視線の先の輝度から注意位置の輝度への変化による瞳孔の大きさの変化を計測して、瞳孔の大きさの変化から利用者が注意している位置を推定していた。しかしながら、輝度の低い位置や高い位置、さらには輝度が同じ位置が複数存在する場合もある。そこで、第3実施例では、瞳孔以外に、さらに固視微動も計測している。以下、図7を用いて説明する。
図7は、本発明の第3実施例の注意位置推定装置を説明するためのブロック図である。図中、図1と同一の符号を付した部分は同一物を表しているため、詳説は省略する。図示の通り、本発明の第3実施例の注意位置推定装置は、外界情報部10に、さらに運動分布生成部13を有している。また、眼球運動情報部20に、さらに固視微動計測部23を有している。
運動分布生成部13は、撮像部11により撮像される映像の運動分布を生成するものである。ここで、運動分布とは、例えば所定時間毎における速度場、即ち、各位置において方向と長さを持つベクトル分布を意味する。例えば、運動速度や方向、その運動位置の範囲(同じ運動速度や方向の範囲)であれば良い。運動分布については、例えば連続的に撮像された電子画像を差分解析し、運動部分の運動速度や方向を検出すれば良い。運動分布の生成は、特定の手法には限定されるものではなく、従来の又は今後開発されるべきあらゆる手法により生成されれば良い。
固視微動計測部23は、撮像部21により撮像される利用者の眼球の固視微動を計測するものである。具体的には、瞳孔運動計測部と同様、例えばアイトラッカやアイマークレコーダ等、固視微動が計測できる手法であれば良く、特定の手法には限定されるものではなく、従来の又は今後開発されるべきあらゆる手法により計測されれば良い。
固視微動についても、瞳孔と同様に、外界刺激に対して視線を向けなくても、注意を向けた先の運動刺激に応じて変化することが分かった。即ち、例えば運動分布中に特定の運動速度や方向で動いている場所があった場合、そこに視線を向けなくても、固視微動がこの運動刺激に影響を受け、同じように対応する運動速度や方向で動くことになる。したがって、このような固視微動を計測することで、以下のように利用者が注意している場所を推定することが可能となる。
計測された運動分布や固視微動を、注意位置推定部30に入力する。注意位置推定部30は、輝度分布生成部12からの輝度分布と瞳孔運動計測部22からの瞳孔の大きさにプラスして、さらに、運動分布と固視微動との関係も用いて、運動分布中の固視微動に同期して変化する位置を利用者が注意している位置と推定する。例えば、まず輝度分布と瞳孔の大きさの関係から、利用者が注意している位置を絞り込む。この第1段階の絞り込みで特定の注意位置が明らかになれば良いが、注意位置が絞り込めなかった場合には、運動分布と固視微動の関係から、利用者が注意している位置の絞り込みを行えば良い。このように、複数の条件を組み合わせることで、より正確に注意位置の推定が可能となる。
また、第2実施例と同様に、運動刺激と固視微動との関係を予め求めて校正曲線を作成しておき、これを用いて注意位置を推定しても良い。第2実施例と同様に、運動刺激部により利用者の視野内に運動刺激を与える。例えば、外界情報が表示画面から与えられるときには、表示画面に表示する映像に対して、既知の種々の運動刺激を与える。運動刺激は、例えば所定の時間間隔において特定の運動速度や方向で運動刺激を種々与えるものである。
そして、校正部では、運動刺激部による運動刺激に同期する眼球の固視微動を計測し、運動刺激と固視微動との関係を表す固視微動校正曲線を予め作成する。これにより、運動刺激に対する固視微動の関係が瞬時に分かるようになる。したがって、注意位置推定部では、計測される固視微動から、固視微動校正曲線を用いて運動分布中の所定の運動位置を利用者が注意している位置と推定することが可能となる。
次に、本発明の第4実施例の注意位置推定装置を説明する。第4実施例では、第3実施例に対してさらに、輻輳運動も計測している。以下、図8を用いて説明する。
図8は、本発明の第4実施例の注意位置推定装置を説明するためのブロック図である。図中、図1と同一の符号を付した部分は同一物を表しているため、詳説は省略する。図示の通り、本発明の第4実施例の注意位置推定装置は、外界情報部10に、さらに奥行き分布生成部14を有している。また、眼球運動情報部20に、さらに輻輳運動計測部24を有している。
奥行き分布生成部14は、撮像部11により撮像される映像の奥行き分布を生成するものである。ここで、奥行き分布とは、利用者の視野内に入る物体までの距離に対応する情報を意味する。奥行き分布については、例えば3Dカメラにより撮像して、物体までの遠近情報が検出したり、光学式や音波式等の距離センサにより距離を検出できれば良い。また、2次元画像に対しても奥行き分布はある程度推定可能であるため、外界情報が表示画面で与えられた場合であっても、奥行き分布の生成は可能である。奥行き分布の生成は、特定の手法には限定されるものではなく、従来の又は今後開発されるべきあらゆる手法により生成されれば良い。
輻輳運動計測部24は、撮像部21により撮像される利用者の眼球の輻輳運動による輻輳角を計測するものである。具体的には、瞳孔運動計測部等と同様、例えばアイトラッカやアイマークレコーダ等、輻輳運動による輻輳角が計測できる手法であれば良く、特定の手法には限定されるものではなく、従来の又は今後開発されるべきあらゆる手法により計測されれば良い。
輻輳運動についても、瞳孔や固視微動と同様に、外界刺激に対して視線を向けなくても、注意を向けた方向に引きずられることが分かった。即ち、例えば注意を向けた方向の物体が視線の先の物体よりも近い場合には、輻輳角が大きい側に変化する。また、逆に注意を向けた方向の物体が視線の先の物体よりも遠い場合には、輻輳角が小さい側に変化する。したがって、このような輻輳角の変化を計測することで、以下のように利用者が注意している場所を推定することが可能となる。
計測された運動分布、固視微動、それに輻輳角の変化を、注意位置推定部30に入力する。注意位置推定部30は、輝度分布と瞳孔の大きさ、並びに運動分布と固視微動にプラスして、さらに、奥行き分布と輻輳角の変化との関係も用いて、輻輳角が大きい側に変化する場合には奥行き分布中の利用者に近い側の奥行き位置を、輻輳角が小さい側に変化する場合には奥行き分布中の利用者に遠い側の奥行き位置を利用者が注意している位置と推定する。これにより、輝度分布や運動分布、奥行き分布を複数組み合わせることで、より正確に注意位置の絞り込みが可能となる。
また、第2実施例と同様に、奥行き刺激と輻輳角との関係を予め求めて校正曲線を作成しておき、これを用いて注意位置を推定しても良い。第2実施例と同様に、奥行き刺激部により利用者の視野内の奥行き方向に刺激を与える。例えば、実空間において、所定の奥行きの位置から近い位置や遠い位置にターゲットを置き、奥行き方向の種々の奥行き刺激を与える。
そして、校正部では、奥行き刺激部による奥行き刺激に同期する眼球の輻輳運動による輻輳角を計測し、奥行き刺激と輻輳角との関係を表す輻輳角校正曲線を予め作成する。これにより、奥行き刺激に対する輻輳角の関係が瞬時に分かるようになる。したがって、注意位置推定部では、計測される輻輳角から、輻輳角校正曲線を用いて奥行き分布中の所定の奥行き位置を利用者が注意している位置と推定することが可能となる。
このように、本発明の注意位置推定装置は、利用者の視野内で利用者が注意をしている位置を推定可能である。
また、本発明の注意位置推定装置は、利用者が注意能力を有しているか否か判断するために用いることも可能である。例えば、図1に示される構成に対して、さらに、利用者の視野内であって、視線方向と異なる位置に輝度刺激を与える輝度刺激部を設ける。例えば、外界情報が表示画面から与えられるときには、表示画面に表示する映像に対して、既知の種々の輝度刺激を与える。そして、注意位置推定部では、輝度刺激部による輝度刺激に同期して瞳孔の大きさが変化するか否かを判断する。このとき、瞳孔の大きさが変化しない場合には、利用者はこの輝度刺激に注意を向けていないことになるため、利用者が視線方向以外の方向に対して注意能力を有していないことになる。例えば、乗り物の運転者に対してこの試験を行えば、運転者が視線を変えることなく瞬時に歩行者等に注意を向けられるか否かといったことも判断することが可能となり、視線方向以外に注意を分配する能力の有無が判断可能となる。
なお、本発明の注意位置推定装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
10 外界情報部
11,21 撮像部
12 輝度分布生成部
13 運動分布生成部
14 奥行き分布生成部
20 眼球運動情報部
22 瞳孔運動計測部
23 固視微動計測部
24 輻輳運動計測部
30 注意位置推定部
40 輝度刺激部
50 校正部

Claims (7)

  1. 利用者の眼球運動計測に基づく注意位置推定装置であって、該注意位置推定装置は、
    利用者の視野内の映像の輝度分布を生成する輝度分布生成部を有する外界情報部と、
    利用者の瞳孔の大きさを計測する瞳孔運動計測部を有する眼球運動情報部と、
    前記外界情報部の輝度分布生成部により生成される輝度分布と、眼球運動情報部の瞳孔運動計測部により計測される瞳孔の大きさの変化との関係を用いて、瞳孔の大きさが大きい側に変化する場合には輝度分布中の輝度の低い位置を、瞳孔の大きさが小さい側に変化する場合には輝度分布中の輝度の高い位置を、利用者が注意している位置推定する注意位置推定部と、
    を具備することを特徴とする注意位置推定装置。
  2. 請求項1に記載の注意位置推定装置であって、さらに、利用者の視野内に輝度刺激を与える輝度刺激部と、
    前記輝度刺激部による輝度刺激に同期する瞳孔の大きさを計測し、輝度刺激と瞳孔との大きさの関係を表す瞳孔校正曲線を予め作成する校正部とを具備し、
    前記注意位置推定部は、瞳孔の大きさから、瞳孔校正曲線を用いて輝度分布中の所定の輝度位置を利用者が注意している位置と推定する、
    ことを特徴とする注意位置推定装置。
  3. 請求項1又は請求項に記載の注意位置推定装置において、前記外界情報部は、さらに、撮像される映像の運動分布を生成する運動分布生成部を有し、
    前記眼球運動情報部は、さらに、利用者の眼球の固視微動を計測する固視微動計測部を有し、
    前記注意位置推定部は、さらに、運動分布と固視微動との関係も用いて、運動分布中の固視微動に同期して変化する位置を利用者が注意している位置と推定する、
    ことを特徴とする注意位置推定装置。
  4. 請求項に記載の注意位置推定装置であって、さらに、利用者の視野内に運動刺激を与える運動刺激部と、
    前記運動刺激部による運動刺激に同期する眼球の固視微動を計測し、運動刺激と固視微動との関係を表す固視微動校正曲線を予め作成する校正部とを具備し、
    前記注意位置推定部は、固視微動から、固視微動校正曲線を用いて運動分布中の所定の運動位置を利用者が注意している位置と推定する、
    ことを特徴とする注意位置推定装置。
  5. 請求項1乃至請求項の何れかに記載の注意位置推定装置において、前記外界情報部は、さらに、撮像される映像の奥行き分布を生成する奥行き分布生成部を有し、
    前記眼球運動情報部は、さらに、利用者の眼球の輻輳運動による輻輳角を計測する輻輳運動計測部を有し、
    前記注意位置推定部は、さらに、奥行き分布と輻輳角の変化との関係も用いて、輻輳角が大きい側に変化する場合には奥行き分布中の利用者に近い側の奥行き位置を、輻輳角が小さい側に変化する場合には奥行き分布中の利用者に遠い側の奥行き位置を利用者が注意している位置と推定する、
    ことを特徴とする注意位置推定装置。
  6. 請求項に記載の注意位置推定装置であって、さらに、利用者の視野内の奥行き方向に刺激を与える奥行き刺激部と、
    前記奥行き刺激部による奥行き刺激に同期する眼球の輻輳運動による輻輳角を計測し、奥行き刺激と輻輳角との関係を表す輻輳角校正曲線を予め作成する校正部とを具備し、
    前記注意位置推定部は、輻輳角から、輻輳角校正曲線を用いて奥行き分布中の所定の奥行き位置を利用者が注意している位置と推定する、
    ことを特徴とする注意位置推定装置。
  7. 請求項1に記載の注意位置推定装置であって、さらに、利用者の視野内であって、視線方向と異なる位置に輝度刺激を与える輝度刺激部を具備し、
    前記注意位置推定部は、輝度刺激部による輝度刺激に同期して瞳孔の大きさが変化するか否かで、利用者が注意能力を有しているか否かを判断する、
    ことを特徴とする注意位置推定装置。
JP2012115401A 2012-05-21 2012-05-21 注意位置推定装置 Active JP5765740B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012115401A JP5765740B2 (ja) 2012-05-21 2012-05-21 注意位置推定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012115401A JP5765740B2 (ja) 2012-05-21 2012-05-21 注意位置推定装置

Publications (2)

Publication Number Publication Date
JP2013240469A JP2013240469A (ja) 2013-12-05
JP5765740B2 true JP5765740B2 (ja) 2015-08-19

Family

ID=49841987

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012115401A Active JP5765740B2 (ja) 2012-05-21 2012-05-21 注意位置推定装置

Country Status (1)

Country Link
JP (1) JP5765740B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101855196B1 (ko) * 2013-11-27 2018-06-08 선전 구딕스 테크놀로지 컴퍼니, 리미티드 아이 트래킹 및 사용자 반응 검출

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015163867A (ja) * 2014-01-28 2015-09-10 パナソニックIpマネジメント株式会社 照明評価方法、照明評価用プログラム、照明器具の製造方法、照明評価装置、および照明器具
JP6713434B2 (ja) * 2016-05-30 2020-06-24 日本電信電話株式会社 注目範囲推定装置、学習装置、それらの方法およびプログラム
JP6908902B2 (ja) * 2017-05-15 2021-07-28 国立大学法人東京工業大学 瞳孔径の変動に基づく情報入力装置
JP6904269B2 (ja) * 2018-01-22 2021-07-14 日本電信電話株式会社 聴覚的注意推定装置、聴覚的注意推定方法、プログラム
JP6774975B2 (ja) 2018-03-19 2020-10-28 株式会社東芝 眼球回転検出装置、電子機器及びシステム
US20220095972A1 (en) * 2019-01-21 2022-03-31 Mitsubishi Electric Corporation Attentiveness determination device, attentiveness determination system, attentiveness determination method, and computer-readable storage medium
JP7423005B2 (ja) * 2020-05-13 2024-01-29 国立大学法人神戸大学 瞳孔径変化を用いた視線計測用キャリブレーション方法及び装置、並びに視線計測装置及びカメラ装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0653106B2 (ja) * 1992-06-22 1994-07-20 株式会社エイ・ティ・アール通信システム研究所 視線情報解析装置
JP3356340B2 (ja) * 1993-12-20 2002-12-16 浜松ホトニクス株式会社 瞳孔面積測定装置
JPH11276461A (ja) * 1998-03-27 1999-10-12 Suzuki Motor Corp 注意力測定装置及びこれを用いた情報提示装置
CN101686815B (zh) * 2007-06-27 2011-03-30 松下电器产业株式会社 人的状态推定装置以及方法
JP2010094493A (ja) * 2008-09-22 2010-04-30 Koichi Kikuchi 視認情景に対する視認者情感判定装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101855196B1 (ko) * 2013-11-27 2018-06-08 선전 구딕스 테크놀로지 컴퍼니, 리미티드 아이 트래킹 및 사용자 반응 검출

Also Published As

Publication number Publication date
JP2013240469A (ja) 2013-12-05

Similar Documents

Publication Publication Date Title
JP5765740B2 (ja) 注意位置推定装置
DE112017005143B4 (de) Bewegungskrankheitseinschätzvorrichtung, bewegungskrankheitsverhinderungsvorrichtung und bewegungskrankheitseinschätzverfahren
EP3391648B1 (en) Range-gated depth camera assembly
EP2996544B1 (en) Imaging a patient's interior
PH12020550625A1 (en) Cognitive impairment diagnostic apparatus and cognitive impairment diagnostic program
CN105324794A (zh) 头部和眼睛跟踪
EP3320829A8 (en) System for integrally measuring clinical parameters of visual function
Biswas et al. Detecting drivers’ cognitive load from saccadic intrusion
US20150238087A1 (en) Biological information measurement device and input device utilizing same
EP2649932A1 (en) Method for detecting point of gaze and device for detecting point of gaze
EP2743133A3 (en) Camera system
JP5689850B2 (ja) 映像解析装置、映像解析方法、および注視点表示システム
EP0590231A2 (en) An apparatus for analyzing depth perception
EP2424258A3 (en) System for and method for evaluating crosstalk of stereoscopic image display
CN108621941A (zh) 车辆的显示系统及车辆的显示系统的控制方法
EP3075304A1 (en) Line-of-sight detection assistance device and line-of-sight detection assistance method
EP3185211A1 (en) Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face orientation detection system, face orientation detection method, and face orientation detection program
JP2013024662A (ja) 3次元範囲計測システム、3次元範囲計測プログラムおよび記録媒体
JP2018079208A5 (ja)
Frenz et al. Discrimination of travel distances from ‘situated’optic flow
Welchman et al. Human observers are biased in judging the angular approach of a projectile
US20180098685A1 (en) Endoscope apparatus
JP2019213036A5 (ja) 内視鏡プロセッサ、表示設定方法、表示設定プログラムおよび内視鏡システム
CN106709398A (zh) 凝视分析方法与装置
EP3771967A3 (en) Electronic device, control method, and computer readable medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141226

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20141226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150324

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20150319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150610

R150 Certificate of patent or registration of utility model

Ref document number: 5765740

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250