JP5456791B2

JP5456791B2 - 空間領域の映像に対する人の注視点を決定するためのシステム及びその方法

Info

Publication number: JP5456791B2
Application number: JP2011546596A
Authority: JP
Inventors: ストレムボム、ヨハン; グスタフソン、シモン; スコゲ、マルテン; ホルツ・エルベシェ、ヨン・ミカエル; ニステット、ペル; ブリクスト、ペーテル
Original assignee: Tobii Technology AB
Current assignee: Tobii AB
Priority date: 2009-01-26
Filing date: 2009-01-26
Publication date: 2014-04-02
Anticipated expiration: 2029-01-26
Also published as: US9495589B2; EP2389095A1; US10635900B2; CN102292017B; EP2389095B1; CN102292017A; JP2012515579A; US9779299B2; US20110279666A1; US20140146156A1; US20180232575A1; DK2389095T3; KR20110124246A; KR101564387B1; WO2010083853A1

Description

本発明は、概してヒト視線追跡装置に関する。より詳細には、本発明は、観測下のシーンに設けられた光源によって発せられる参照信号によって支援される注視点検出システムに関する。

眼の動きの監視又は追跡、及び人の注視点（ここでは、人が見ている空間中の点の意味として用いる）の検出は、多くの異なる状況で用いられ得る。そのような計測は、人の行動と意識に関する分析において重要な情報源になり得る。この情報は、人によって観察されるテストシーン（ここでは、目に見える物体又は表面が存在する空間であり、その中で注視点が検出され得る空間領域の視覚表象として用いられる）を評価するため、及び各人の特性を評価するため、の両方に用いられ得る。注視点検出の様々な用途は、ソフトウェア及び種々のインターフェースの有用性についての研究、ウェブページ、宣伝行為及び広告の評価、シミュレータ環境におけるパイロットの教育のため、及び安全の重要な役割における監視要員の訓練のための手段の供給、並びに心理学、行動科学及び人間の知覚に関する研究を含む。近年関心が増してきている分野は、宣伝行為及び他のマーケティング経路の評価である。視線追跡情報は特定の商品の宣伝行為の観察被験者の試験から収集され得るし、被験者の反応が引き出される。視線追跡機器は、店舗陳列棚の特定の物品の配列に対する観察者の反応に関する情報を収集するためにも用いられ得る。

これらの応用に加えて、種々のやり方で応答又は反応するために人が見ている領域に関する情報を用いる対話型アプリケーションが存在する。例えば、ショーウィンドウにある商品の広告又は展示が、人がそれを見ているということの検出に反応して見た目を変化させ得る。さらに、コンピュータシステムは、ユーザが興味を持った対象物を表示し、ユーザの種々の動きに対して自動制御で順応することがよりよくできるように、ユーザの注視点に関する連続的な情報を用いることができる。したがって、視線追跡は、人間とコンピュータとの相互作用のためのインターフェースの一部となり得る。表示の内容はソフトウェア中にプログラムされているので、ソフトウェアは、注視点情報とプログラムの動作と相互に関係があり得る。

現在に至るまでの視線追跡によって支援された人の行動に関する研究は限られた人数しか考慮されておらず、多くの市場調査員は、視線追跡技術をこの分野で歴史的に非常に成功した統計的な大量アプローチに持ち込みたいと望んでいる。例えば、多数の被験者に関するある広告キャンペーンに対する累積された反応は、例えば社会への全面的な公開といった将来におけるこのキャンペーンの効率に関する正確な予測を与えることができる。視線追跡装置のこの新たな利用は、技術的なレベルの新たな挑戦につながる。例えば、利用可能な視線追跡装置は、一般に複雑で壊れやすい機械であり、少なくとも関連ある技術分野というよりはマーケティング研究又は行動科学といった領域のバックグラウンドを有するユーザには、その操作は困難であろう。視線追跡技術の大量サンプル研究への適用は、特に２つの事実によって制限される。１つ目として、新しい人に視線追跡装置を適用することは、時間を必要としがちであり、技術的な訓練を必要としがちである。２つ目として、そのインターフェースが複雑であったり物理的に煩わしかったりする場合、多くの潜在的被験者が、そのような機器を用いることをためらったり気乗りがしなかったりしがちである。

上述のように、グループ研究において注視点検出のために適した装置には、被験者間の交換が素早く便利に行われ得ることが重要である。別の基準では、視線追跡装置は、種々の環境において容易に設置可能であるべきであり、被験者が接する視対象は、例えばコンピュータモニタに限定されるべきでない。実際、市場調査の視点からは、視線追跡に基づく研究は、消費者が購入決定の基礎となる視覚情報を受ける種々の環境で興味深い。視線追跡技術が適用される可能性のある心理学実験の範囲は、無制限であるように思われる。

以上まとめると、少なくとも上述のいくつかの問題を解決する視線追跡システムの必要性があるように思われる。

本発明の目的は、テストシーンにおける注視点を検出するための機器を提供することである。

本発明の一態様によれば、システムは、以下の少なくとも４つの機能的に分かれた部分を具備する。
・現在検討されている空間領域（テストシーン）に配置された空間的基準点として用いる１つ以上の赤外線（ＩＲ）信号源
・人（被験者）に着用され、ＩＲ信号の検出とその人の眼の動きの追跡との２つの機能を有する少なくとも１つのメガネ
・その人の注視点を算出するためのデータ処理・記憶部
・テストシーンの映像を取得するためのシーンカメラ
シーンカメラは、外部装置でもよいし、カメラユニットとしてメガネに一体化させてもよい。発明者はこれら２つの実施形態は等しく有用であると考えているが、本開示ではこのシーンカメラがメガネに一体化されている場合に焦点を当てる。これは本発明の範囲を限定することを意図するものではないし、この特徴を有する実施形態が好ましいことを示すものでもない。事実、「カメラユニット」への言及の大部分は、簡単に言えば必要に応じて「シーンカメラ」に置き換えることができる。

本発明のシステムの出力は、被験者の注視点を表示する信号を含む。注視点は、テストシーンの映像に対して提示される。ここでテストシーンには１つ以上のＩＲ信号源が配置されており、ＩＲ信号源はＩＲ光を射出することができるようになっている。１つ以上のメガネのそれぞれは、少なくとも１つのＩＲ信号源からのＩＲ信号を受信し、受信されたＩＲ信号に対応するＩＲ信号源追跡信号を生成するように構成された画像センサを有している。２番目として、各メガネは、前記人の眼の注視方向を決定し、検出された注視方向に対応する視線追跡信号を生成するように構成された視線追跡部を有する。３番目として、各メガネは、（外部シーンカメラとして具体化される場合を除いて）注視点が決定される空間領域に対する、その空間領域の少なくとも１つの映像を取得するように構成されたカメラユニットを具備する。データ処理・記憶部は、（画像センサから）少なくとも１つのＩＲ信号源追跡信号と、（視線追跡部から）視線追跡信号と、（カメラユニットから）少なくとも１つの映像とを取得するために、本発明に係るメガネと通信するように構成されている。データ処理・記憶部は、前記少なくとも１つの取得された映像に対する人の注視点を、少なくとも１つのＩＲ信号源追跡信号、視線追跡信号及び少なくとも１つの映像に関する関数として算出するように構成されている。次に、注視点はテストシーンの映像に直接示してもよい。この表示は、直感で理解でき、すぐに使える表示形式である。

本発明に係るシステムは、セットアップが容易で、フェイルセーフで、正確な注視点データを提供する。計測のロバスト性の一部は、ＩＲ信号源の位置とメガネを着用している人の注視方向とを連帯して決定するというメガネの機能のおかげである。メガネのカメラユニット（又はそれぞれ外部シーンカメラ）は、注視点が算出され得るテストシーンに対するテストシーンの映像を与えるように構成されている。視線追跡部及び画像センサは、メガネに、又は互いに固く結合されていることが好ましい。なぜなら、その計測は個々の基準座標系毎に行われ、相対的な方向と位置とが計測間で又は計測中に変化する場合、その基準座標系は安定した相互関係が欠如することになるからである。別の実施形態では、視線追跡部及び画像センサが互いの関係について流動的である場合、基準座標系と相互関係を有することが必要である情報を供給する位置及び方向の表示器又は機能的に同等な機器が提供される。

ＩＲ信号源は、少なくとも保護筐体内に配置され適当な締結手段が設けられている場合、考えられるテストシーンであり、高い多用途性を与えるテストシーンの非常に広い範囲内に配置され得る。さらに、多くの被験者は、サングラス又はメガネに慣れているので、本発明のシステムのメガネを着用する際に快適に感じる。本発明のシステムのメガネは、最新技術の機器を含んでいるが、被験者が計測中にリラックスして自然にふるまえるように、なじみのある普通のメガネの外見を有している。

個々の装置についての利用可能な数の制限が多数の被験者を含む研究のボトルネックになるということに対して、本システムは、複数のメガネを提供することができるという長所によって拡張可能である。そのような研究において、メガネとシステムの他の要素との間の無線通信回路を与えることが得策である。データ処理・記憶部が容易に１つのテストシーンの映像に対する全ての被験者の注視点を計算するように構成され得ることで、システムは、データ処理レベルにおける好ましい拡張性を有する。これは直感的に理解できる直接的な表示形式であり、異なる被験者に関する注視点情報をまとめるためにテストシーンが異なる表示を手動で比較するといううんざりする仕事を回避する。この接続において、システムの３つの機能部分が物理的に分離されている必要はないことは強調されるべきである。小型化及び軽量化に対する一般的な傾向に従って、データ処理・記憶部は、ＩＲ信号源、メガネ、又はシステムの他の構成要素内に物理的に埋め込まれ得る。画像センサと、ＩＲ放射を感知できるカメラユニット又は外部シーンカメラとを一体化することも可能である。多くのシリコンベースのデジタルカメラは、ＩＲスペクトル近傍によい応答性を有する。一方で、多数の被験者を含む研究に用いるように構成された実施形態において、データ処理・記憶部は、拡張性のため、集中化されることが好ましい。このように、データは（いくつかのメガネを用いることができる）分散型の方法で収集されるが、データは、最終的にはその後の処理のため一箇所に蓄積される。特に、カメラユニットは各被験者のテストシーンの固有の映像を取得できるようになっているが、異なる被験者の算出された注視点がテストシーンの１つの映像に提示されることは、非常に有用である。物理的に分散したサブユニットによってデータ処理・記憶部が構成されている実施形態において、これらサブユニットは、映像を用いる集団としての決定を行う。

本発明の第２及び第３の態様に従って、空間領域の映像に対する人の注視点の検出方法、及びコンピュータプログラム製品がさらに与えられる。

一実施形態において、データ処理・記憶部は、テストシーンの映像とＩＲ信号源の位置との結合画像を生成するように構成されている。検出された注視点が高い精度で表示され得るために、ＩＲ信号源の位置は映像の座標系における正確な参照点として有用である。

システムは、テストシーンに対するメガネの位置を決定する際に、ＩＲ信号源に加えて他の参照点を利用するように構成されている。特に、縁、角及び頂部といった画像特徴の追跡は、ＩＲ信号源の追跡を非常によく補完し得る。この補完は、そのような画像特徴の位置がＩＲ信号源に対して決定され得るように、ＩＲ信号源の位置の最初の検出後に、特に有用である。

ＩＲ信号源は、互いに識別され得るように変調されたＩＲ光を射出する。すなわち、ＩＲ信号源は、ＩＲスペクトルを用いて多重化された信号を送信する。このことは、画像センサによって生成されたＩＲ信号源追跡信号の処理を促進する。ふさわしい変調方式は、周波数変調、パルス幅変調、及び直交符号による変調といった時間に対する変調を含む。あるいは、ＩＲ信号源は、同期化され、各時間枠の離れた時間帯において信号を射出するように構成されている。他の変形例として、光学的変調が用いられ得る。その場合、ＩＲ信号源は、７５０ｎｍ、８５０ｎｍ及び９５０ｎｍといった異なる波長のものを射出し、ＩＲセンサには、信号源を分離するために吸収フィルタ又は誘電体フィルタが設けられる。また別の変形例では、ＩＲ信号源は、異なる偏光特性を有することによって区別され得る。

メガネのＩＲ画像センサは、センサ表面を具備する。センサ表面は、好ましくは平面である。画像センサの固定した又は変化する光学的開口部とセンサ表面との距離は既知である。このように、センサ表面に入射する全ての光線は、基本的に共通の点、すなわち、ピンホールカメラモデルでは光学的開口部の中心を通過することになる。ガウスの光学では、節点がＩＲビームの入射角度を定義する。さらにセンサ表面上の信号の位置が検出され得る。信号の位置は、最大強度値が受信される、又はサブピクセルの解像度では中心であるピーク強度点でよい。あるいは、センサ表面がある強度閾値に対して２値を取る場合、又はピクセルがしばしば飽和する傾向にある場合は、照射スポットの物理的中心が信号位置として用いられ得る。光学的な開口の中心、信号位置及び光学的開口とセンサ表面との間隔に基づいて、光線の入射角度は算出され得る。好ましくは、この信号は、画像センサによって生成されたＩＲ信号源追跡信号に含まれる。

メガネの視線追跡部は、ＩＲ光又は近ＩＲ光を射出する１つ以上の機器と、検出器と、評価部とを具備する。ＩＲ光又は近ＩＲ光を射出する機器は、好ましくはメガネの側面部に配置され、メガネを着用する人の眼に向いている。検出器は、眼の画像を取得し、好ましくはメガネの側面部に配置されている。評価部は、取得された眼の画像を処理し、眼の注視方向を決定する。好ましくは、人の眼を照らすＩＲ光又は近ＩＲ光を射出するための機器は、一部がＩＲミラーとして機能する、又はＩＲ反射コーティングを有しているメガネの透明板の一方における反射を介して眼の方向に向けられている。検出器は、眼が能動的な照射によって画像化されるように、ＩＲ光射出装置の波長を有する光を受信するように構成されている。このような波長識別を達成するため、（ローパス）吸収フィルタといった可視光スペクトルから光を取り除くためのフィルタが検出器の前に設けられてもよい。記載されている視線追跡部は眼に近いところに配置されているので、照射及び検出手段を同軸上に配置すること、その結果として網膜反射によって生ずる輝瞳孔状態（「赤目現象」としてなじみがある）で視線追跡を行うことには、注意を要する。したがって、ＩＲ光射出装置及び検出器は、眼が暗瞳孔状態で撮像されるように異なる光軸上に配置されていることが好ましい。

本発明の一実施形態によれば、メガネには、被験者の少なくとも１つの眼の前に、第１の偏光フィルタが設けられている。これは、注視方向システムが屋外で用いられる場合、有用である。メガネの板（レンズ）上に層として適切に偏光フィルタが設けられている。なお、その透過軸が第１の偏光フィルタの透過軸と直交する第２の偏光フィルタが、視線追跡部の検出器の前に配置されてもよい。このように、検出器は、板上のフィルタによって偏光させられた光から遮られており、したがって、ＩＲ光射出装置からの光の相対的強度を増幅する。さもなければ外部光は、検出器の励起を引き起こし計測を妨害する恐れがある。さらなる効果として、第１の偏光フィルタは、水平面上の被験者の眼に届く不快な太陽光反射を減衰させ得る。そのような反射した太陽光の垂直に偏光した要素は一般に弱いので、着用されている際の透過方向が基本的に垂直である場合、第１のフィルタは、この点で特に効果的である。

重量と体積を抑えるため、メガネの動作に必要なある構成要素は、物理的に分離され、被験者に着用されたベルトに吊り下げられたり、ポケットに入れられたりする支援部に配置され得る。メガネと通信的に結合されているそのような支援部は、（太陽電池や電池といった）電圧源と、計測中に収集された情報を記憶するためのデータバッファと、（適切な形式へのデータの圧縮又は変換といった）データの前処理を実施する処理手段と、関連するメガネ及び／又はデータ処理・記憶部と通信するように構成された無線送受信機とを有する。

メガネの画像センサは、好ましくはそのスキャン方向がメガネが着用された際の被験者の前頭面と平行に配置される、２つの直交するラインセンサから構成される。一方のラインセンサのスキャン方向は、垂直である。ただし、その方向は、好ましくは３〜３０度回転している。ある状況では、垂直又は水平線に沿って並べられたＩＲ信号源を配置することは、しばしば都合がよく、ときに必要である。例えば、ＩＲ信号源８００ｃと８００ｄがほぼ同じ高さに配置されている図２を参照されたし。ラインセンサのスキャン方向がそのようなラインに垂直であるとき、２つの信号源は、縮退した信号を生じさせ得る。ラインセンサのスキャン方向の開示された配置は、この事象の問題を減少させる。

本実施形態の一実施形態では、システムの少なくとも１つのＩＲ信号源は、省エネルギーモード又はスタンバイモードになり得る。ＩＲ信号源が柔軟に種々のテスト環境で容易に用いられることが重要であるので、バッテリーで駆動することが好ましい。バッテリーの充電又は交換の間隔を増加させるために、典型的なテストセッションの継続時間が経過した後にＩＲ信号源は省エネルギーモードに入るように構成され得る。メガネから又はデータ処理・記憶部から所定の信号を適切な無線通信手段を介して受信することで、ＩＲ信号源は再活性化され得る。エネルギー消費をさらに減らすため、ＩＲ信号源は、好ましくは入射する電磁放射を、ＩＲ信号源を動作モードにするのに十分な量の電気エネルギーに変換するように構成された受動的受信手段を具備する。メガネは、そのような電磁放射のための手段を具備し得る。

多数の被験者が視線追跡装置を用いた研究に参加している状況では、データの効率的な収集と提示が不可欠である。したがって、本発明に係る（そのような研究に特別に適合された）システムは、注視点に関して測定されるとき、複数のユーザが同時にテストシーンを見ることができるように、複数の個々のユーザ装置（複数のメガネ）を具備し得る。一方で、そのような多被験者システムは、全ユーザの注視点情報が１箇所に集められるように１つのデータ処理・記憶部を具備することが最も好都合である。これは、注視点情報全体の統計的な解析を助ける。加えて、全被験者の注視点データは、必要に応じてシステムの何れか１つのメガネ、又は外部撮像装置によって取得された１つのテストシーンの映像に対して都合よく提示され得る。

本発明のこれら及び他の態様は、以下に記載された実施形態から明らかであり、それを参照して明確にさせられるであろう。ここで用いるすべての用語は、ここで明確に定義されていない限り、技術分野における一般的な意味で解釈される。

図１は、本発明の一実施形態に係る、少なくとも１人の注視点を検出するためのシステムの概略図である。図２は、典型的な計測状況に適用した図１のシステムを示す。図３は、本発明に係る複数の被験者の注視点を検出するように構成されたシステムの概略図である。図４は、本発明に係る検出システムにおいて使用されるメガネの斜視図である。図５は、本発明の一実施形態に係る関連する支援部を伴うメガネの概略図である。図６は、図４のメガネの詳細図であり、ラインセンサのスキャン方向を示す図である。図７は、本発明に係る角度を識別する画像センサの入射光線の面における断面図である。図８は、本発明の一実施形態に係る少なくとも１人の注視点を検出するためのシステムで用いられるＩＲ信号源を示す。図９ａは、ＩＲ信号源の位置を含む空間領域（テストシーン）の結合画像である。図９ｂは、追跡のために適した画像特徴の表示をさらに含む図９ａの結合画像である。図９ｃは、本発明に係るシステムによって計測された被験者の注視点の表示をさらに含む図９ａの結合画像である。図１０ａは、複数の被験者の注視点の表示を含む空間領域の結合画像である。図１０ｂは、位置の関数としての統計的量の表示を含む図１０ａの結合画像である。図１１は、光学的参照信号の補助を伴い少なくとも１人の注視点を検出する本発明の方法の一実施形態に係る、どのように情報が収集、処理、及び物理的又は機能的に異なる構成要素間で伝達されるのかを示すフローチャートである。図１２は、図１１に示す処理の別の実施形態のフローチャートである。図１３は、２つの異なるメガネの位置から計測した、３つのＩＲ信号源への視線に対応する２組の角度を示す（全部が同一平面にある）簡略図である。図１４は、典型的な計測状況に適用したときの、テストシーン映像を撮影するために外部シーンカメラが用いられる図１のシステムの変形例を示す。

本発明の実施形態を添付の図面を参照して説明する。
図１乃至８を広く参照して、本発明に係る注視点検出システム１００の構成要素をここに説明する。図１に示すように、システム１００は、メガネ４００と、２つのＩＲ信号源８００（システムはいくつのＩＲ信号源を有していてもよい）と、データ処理・記憶部１１０とを有する。ＩＲ信号源８００は、メガネ４００によって受信され得るＩＲ光を射出するように構成されている。メガネ４００の側は、データ処理・記憶部１１０と（一方向又は双方向に）通信できる。

図２は、典型的な計測状況で用いられた同システム１００を示す。図１のメガネ４００は、人（被験者）２１０に着用されている。メガネ４００は、相対的動きがほとんどないように、人２１０の頭部２１５にぴったりとフィットするように構成されている。メガネ４００が人２１０の頭部２１５に対して大きく動くと、特に突然の頭部の動き又は振動の際に、注視点計測の精度が脅かされる。一方で、視線追跡部は注視方向とともに目の位置を繰り返し計測するので、遅い動きは通常何の問題も引き起こさない。図２に示すように、各ＩＲ信号源８００によって発生されたＩＲ光は、細い光線に集束させられず、半球状に広い立体角の方々に射出される。このことは、被験者２１０が領域の様々な場所に位置することを可能にし、例えば背が高い被験者が背が低い被験者に続いた場合や、何人かの被験者がテストシーンを座った位置から見ることを希望し、他の被験者が立った位置から見ることを希望した場合等に、ＩＲ信号源８００の再調整の必要をなくす。データ処理・記憶部１１０は、演算及び記憶可能で、データを受信及び／又は送信するために本システムの他の構成要素、特にメガネと接続するための通信手段を有する汎用コンピュータとして具体化され得る。

図２に示す典型的な場面において、４つのＩＲ信号源８００が、球体、八面体、時計、植物、花瓶、様々な本、及び長方形の箱といった観察対象が入った書棚２２０に配置されている。観察対象が入った書棚は、この典型的な場面におけるテストシーンである。システム１００による人２１０の注視点の提示は、書棚２２０の前面におよそ対応するＩＲ信号源８００が配置された平面と関係付けられる。

図３は、多数の被験者に用いられるように構成された注視点検出システム３００を示す。図１のシステム１００のように、それは、データ処理・記憶部１１０と、複数のＩＲ信号源８００とを有する。同時に何人もの被験者を計測してデータ収集することを促進するため、システム３００は、機能的には同等で大きさや色などは異なってもよい複数組のメガネ４００を有する。すでに記載したとおり、現在計測が行われている被験者がテストシーンに面する適度に広い領域内において観察位置を自由に選択できるように、ＩＲ信号源８００は多方向へＩＲ光を発する。

図４は、メガネ４００の詳細を示す。メガネ４００の主な目的は、それを着用する人の注視方向を関知し、テストシーンの方向から来るＩＲ参照信号を受信し、テストシーンの映像を取得することである。データの質を向上させるために、メガネ４００は、計測セッションの間、人の頭部に対してほとんど動かないことが重要である。メガネ４００が掛けられているとき、メガネ４００の側面部４０４，４０６は、人の耳の上にあり、鼻板４１０，４１２は、人の鼻の上部の上にある。好ましくは、側面部４０４，４０６は、弾力があってわずかに内側に力を与えるものであり、人の頭部が動いている間メガネ４００を所定の位置に維持するようなものである。側面部４０４，４０６の設計は注視点検出と関係する動作に対しては重要性が低く、図４に示すものは一例を意図している。好ましくは、鼻板４１０，４１２は、横方向の動きを制限し、メガネ４００が鼻の下の方に滑って煩わしいことを防止するような形状と材質である。メガネ４００は、光学的に透明な板４０２，４０８を備えている。一方は、人の目を撮像する様に構成されたＩＲ検出器（不図示）のためのミラーとして機能するのに対して、他方は、原理上は無くてもよい。対象とするメガネ４００の着用者が、視覚に関して何かしらの不具合を被っていない限り、光学的に透明な板４０２，４０８は、屈折力を有しない。ＩＲミラーは、可視スペクトル領域では干渉を無視できる多層の薄膜コーティングを用いて、光学的に透明な板４０２，４０８のうち少なくとも１つに設けられている。このミラーは、着用したときに目に対向する面に設けられている。板４０２，４０８は、メガネ４００の重量を増し、その機械的安定性を向上させる。着用者が、その人の他のメガネの着用の習慣に従って無意識にメガネ４００を配置する限りにおいては、それらは教育上の目的も果たし得る。特に、メガネ４００の適切な位置は、目と板との距離が不快なほど狭くなく、板４０２，４０８は、人の自然な注視方向に対して直交し、したがって、基本的に着用者の前頭面ＦＰ（図６参照）に対して平行となることになる。右側の側面部４０６の突起部４１８は、評価ユニット、前処理手段、電圧源及びシステム１００の他の構成要素と通信をするための手段といった、データ収集と関係する機器（図示しない）を含み得る。

メガネ４００は、いくつかの計測機器を備える。第１に、視線追跡部（不図示）が設けられている。視線追跡部（不図示）の一部として、不可視のＩＲ光で右眼を照らすＩＲ光源４２０が突起部４１８に設けられている。図４に示すメガネ４００は、右眼の注視方向を追跡するように構成されているが、左眼や両眼の追跡をするような変形例でも同様に有用である。突起部４１８に設けられている検出器（不図示）は、光源４２０で照らされた右眼の画像を（右の板４０８からの反射を介して）繰り返し取得するように構成されている。各画像から、注視方向を決定するために情報が抽出され得る。この情報は、角膜での光源の反射（閃光）位置や瞳孔の位置に関してでもよいし、処理後の角膜の位置及び目の視軸の方向でもよい。設けられていれば評価部（不図示）によって行われ得る注視点方向の抽出は、既知のアルゴリズムの何れかに従って達成され得る。注視方向は、メガネと共に動く２次元画像平面上の直線座標を用いて表現され得る。ここでより正確には、注視方向は、この画像平面に視軸が交差する点である。後続のデータ処理を容易にするため、ＩＲ信号源の位置は、同じ画像平面の座標系によって適切に表現される。あるいは、検出器（不図示）は、そこから眼が見える突起部４１８上又は側面部４０６の一部上に配置され得る。特に検出器（不図示）が突起部４１８に配置される場合、検出器が光源４２０と同軸又はほぼ同軸ではないことに注意すべきである。さもなければこれは網膜反射を起こし、ある注視方向について望まない輝瞳孔効果を起こし得る。視線検出部（不図示）からの計測データは、視線追跡信号として出力される。

２番目に、画像センサ４１６がメガネ４００の前面に、適切には保護透明板の下に設けられている。この透明板は、短波長を遮断するように構成され得るし、ローパスフィルタ、あるいはＩＲ信号の中心波長付近を中心波長とするバンドパスフィルタでもよい。画像センサ４１６は、メガネ４００に対するテストシーンの位置を決定する際の参照として用いる少なくとも一つのＩＲ信号を受信するように構成されている。画像センサ４１６は、好ましくは注視点検出のためのシステム１００のＩＲ信号源８００によって射出されたＩＲ信号以外のＩＲ信号を無視するように構成されている。システムに適した信号は、時間、周波数又は偏光について変調することで、他のＩＲ放射から区別され得る。画像センサ４１６は、与えられたＩＲ信号の存在を検出できるだけでなく、信号源へ向かう線が導き出され得るように、画像センサ４１６への入射角を計測することもできる。さらに、受信したＩＲ光の変調は、データ処理・記憶部等で行われる後の処理段階でＩＲ信号源の識別が決定され得るように、符号化され得る。画像センサ４１６からの計測データは、ＩＲ信号源追跡信号として出力される。画像センサ４１６の詳細及びその適切な変形は、図６及び図７を参照して後述する。

３番目及び最後に、カメラユニット４１４が、メガネの前面に、好ましくは保護透明板の下に設けられている。メガネ４００に対して固定されている画像センサ４１６及びカメラユニット４１４の両方は、視差誤差を最小化するように、注視方向が検出されている眼（の視軸）の近くに位置している。なお、画像センサ４１６及びカメラユニット４１４の位置は、機能的な不都合なく逆にすることができる。カメラユニット４１４は、少なくとも１つのＩＲ放射を含まない可視スペクトル内のテストシーンの映像を取得するように構成されている。眼とカメラユニット４１４との距離は小さいので、カメラユニット４１４によって取得されたテストシーンの映像は、少なくともその人が注視点を自然な方向からそらさなければ、その時点でのメガネ４００を着用する人の視覚対象にほぼ対応する。

図１４は、メガネが能動的なカメラユニットを備えていない本システムの他の実施形態を示す。テストシーンの映像（スナップ写真）は、外部のシーンカメラ１４００によって代わりに取得される。このようにして取得された映像において、ＩＲ信号源の位置は、最終データ処理ステップ前にユーザによって入力される。あるいは、シーンカメラ１４００は、可視光及びＩＲ光の両方を受信するように構成され、シーンの視覚対象とＩＲ信号源の位置との両方が見られ得る結合した画像が得られる。

視線追跡部（不図示）、画像センサ４１６及びカメラユニット４１４によって収集されたデータ、すなわち、視線追跡信号、ＩＲ信号源追跡信号、及び少なくとも１つの映像は、一時的にメガネに保存され得る、又は、有線又は無線通信回線によってシステム１００のデータ処理・記憶部１１０に送信され得る。後の処理及び提示を容易にするために、計測データは一般にタイムスタンプが押される。タイムスタンプは、システム１００のデータ生成部に設けられたローカルクロックに基づいて生成される。ローカルクロックは、システム１００に既に存在する通信回線を介して同調信号の送信によって、（ローカルクロックを指定する）マスタークロックと同調する。

ある特定の実施形態では、メガネ４００の前面には、例えばＩＲ、可視光、音響及びラジオ周波数といった無線活性化信号をＩＲ信号源の期待される場所に向けて送信できる、活性化信号送信機４２２が設けられている。あるテストシーンにおけるＩＲ信号源を他のテストシーンのそれらとは別にこれらが互いに空間的に近接して配置されていたとしても活性化させることができる光学信号といった、指向性の活性化信号を用いることは有益である。実際、ＩＲ信号源がそのような活性化信号によって中断させられ得るスタンバイモードにあったら（これは図８を参照して後に詳述する）、ＩＲ信号源は参照信号として用いられ得るＩＲ信号を射出することを含む動作モードに戻ってくる。

図５は、メガネ４００の別の実施形態を示す。ここで、メガネ４００は、前処理と計測データの（部分的な）評価が実行される支援部５００と通信するように構成されている。この実施形態では、通信は無線であり、支援部５００にある送受信機５１０と、メガネ４００にあり突起部４１８に配置されることが好ましい他の送受信機（不図示）との手段によって行われる。あるいは、有線接続がメガネ４００と支援部５００との間に設けられる。メガネ４００は、概して、図４と同じ計測手段、特にＩＲ光源４２０、検出器（不図示）、画像センサ４１６、及びカメラユニット４１４を有する。しかしながら、バッテリーの駆動時間を延ばすため、及び着用者の快適さを増すため、いくつかの構成要素は支援部５００に配置されている。重い構成要素をメガネから外すことは、特にメガネ４００をかさばらせ重くさせ釣り合い取りを要求することになる質量分布の横方向のゆがみのリスクを減らすことになる。支援部５００は、メガネ４００の着用者によって着用されるベルトに吊るされ得る。この実施形態では、支援部５００は、データバッファ５２０と、視線追跡信号から注視方向情報を抽出するための評価部５３０と、データ処理・記憶部１１０に送信するのに適したフォーマットにデータを変換する前処理手段５４０とを備える。支援部５００は、充電式のバッテリ（不図示）と、主電源スイッチと、メガネ４００の活性化信号送信機４２２のための作動装置（不図示）と、データ処理・記憶部１１０との通信のための送受信機５５０とをさらに備える。支援部５００からメガネ４００までの距離は、支援部５００からデータ処理・記憶部１１０までの距離と大幅に異なり得るので、２つの通信回線には、短距離の通信回線にはＢｌｕｅｔｏｏｔｈ（登録商標）技術を、長距離の通信回線には無線ローカルエリアネットワーク（ＷＬＡＮ）技術をといったように、異なる技術を使うことができる。支援部５００の別の実施形態では、支援部５００は、データをバッファリングするためのメモリカードといった局部記憶装置を備えていてもよく、特にデータが最終的にデータ処理・記憶部１１０に有線で送信される場合は、送受信機５５０は必ずしも必要でない。

メガネ４００のＩＲ画像センサ４１６の目下の好ましい実施形態のさらに詳しい説明をここに示す。画像センサ４１６は、２つの直交するラインセンサを備える。それらラインセンサの出力信号から、（ＩＲ信号源の視位置は２自由度を有しているので、２つの角度で表され得る）受信方向、及びＩＲ信号の固有値が決定され得る。ＩＲ信号源の視位置（テストシーンの平面上への投影）は２自由度を有しているので、受信方向は２つの角度として表される。ここで用いられるラインセンサは、センサのスキャン方向に沿って計測された座標の関数として受信信号を出力する指向性光学センサである。したがって、同じ座標に位置する２つの光源からの寄与、すなわち、スキャン方向に対する垂線は、ラインセンサによって合計される。直交する（又は少なくとも異なるスキャン方向を有する）２つのラインセンサからの信号に基づいて、受信方向の特性を示す２つの角度（又は等価である画像平面座標）が決定され得る。本実施形態では、ラインセンサは、それらの各スキャン方向が図６に示すようにメガネ４００を着用する人の前頭面ＦＰと直交するように及び平行となるように、配置されている。一つの発明の特徴として、ラインセンサのスキャン方向は、垂直Ａ及び水平Ｃ方向と厳密に一致しない。あるいは、本開示の前節で概説した理由により、スキャン方向Ｂ，Ｄのそれぞれが垂直Ａ及び水平Ｃ方向から３〜３０度ずれるように、ラインセンサをわずかに回転させるように配置することが好ましいことが見出されている。

図７は、画像センサ４１６の入射するＩＲ光線７１２及びリニアセンサのＩＲ光感知面７１０の垂直軸Ｎを含む面の断面図である。リニアセンサのスキャン方向は図における左右方向に延び、したがってセンサは、図の平面に対して直交する線に位置している情報源からの寄与を合計することになる。膜の部分７０２，７０４は、画像センサ４１６に光学的な開口部７０６を規定する。この図において、面７１０の垂直軸Ｎは、光学的な開口部７０６の中心７０８を通るように描かれている。図の簡略化のため、センサ４１６は、ピンホールカメラモデルで、具体的には節点と開口部７０６の中心７０８とが一致するように、描かれている。離れた節点を有するさらに詳細なモデルは、本開示の実施形態の単純な変形例として、着想され具現され得る。ラインセンサは、下部に図示した曲線であらわされるような、センサ面７１０の各座標に対する受信強度ＩＮＴを出力する。この曲線から受信強度はピーク強度点７１４において最大となるが明らかである。光学的な開口部７０６と光感知面７１０との間の距離は既知である。ピーク強度点７１４から、中心７０８の光感知面７１０上への投影７０８までの距離をも決定することによって、本システムは入射光線７１２の入射角度αを取得することができる。サブピクセル解像度のため、７１４の決定に重心計算が用いられ得る。図６と関連して説明するように、第１のラインセンサ７１０と（略）直交する第２のラインセンサは、同様に、同じ光学的開口部中心７０８の周囲に設けられ得る。このようにして、光線７１２の入射方向は、完全に特徴づけられる。当業者に知られているように、入射方向（１組の角度）は、２つのセンサの画像面上での１組の座標と等価である。

前節に記載した通り、ピーク強度点はセンサの面７１０上の信号の位置を定義する１つの方法である。受照点の幾何学的な中心を抽出するためには、２つ以上のピクセルが最大値となることもあり得るし、おそらくより適している。中心は、受照点の各ピクセルにおける局所強度値によって重み付けられた重心として算出され得る。重心位置は、次式によって与えられる。

ここで、ｘ_ｉは座標であり、ＩＮＴ_ｉはｉ番目のピクセルの読み出し輝度である。さらに、センサの点広がり関数が既知であれば、受信した信号パターンは、センサの前画像の取得のために、この関数に対してデコンボリューションされ得る。精度を向上させるため、キャリブレーションステップで決定されるセンサの暗電流は、他の信号処理の前に減算され得る。

図８は、本発明の一実施形態に係るＩＲ信号源８００の概略図である。信号源８００は、時間変調されたＩＲ光を射出するように構成されたＩＲ光源８１０と、本システムのメガネに配置された活性化信号送信機からの無線活性化信号を受信するように構成された受信機８６０とを有する。なお、光源８１０の開口部に有色の又は偏光のフィルタを配置するさらなる変形がなされることも可能である。変調器８２０は、光源８１０に駆動電圧を供給し、それ自身は電圧源８４０から駆動電圧を供給される。電圧源としての充電式バッテリーを用いることは、本システムの適応性のために有益である。リレー８３０は、電圧源８４０及び変調器８２０に直列に接続されており、変調器８２０を活性化及び不活性化させるように操作できる。リレー８３０は、スイッチング回路８７０からの信号によって操作され得る。スイッチング回路８４０を制御するためのスイッチング回路８７０の信号値は、受信機８６０によって与えられたデータとタイマー８５０とに基づく。例えば、スイッチング回路８７０は、活性化信号の各受信に続く所定の期間（計測セッションの期待された持続期間であり得る、例えば５分）において、リレー８３０に光源８１０に供給する回路を閉にさせるように構成され得る。この期間が経過した後、ＩＲ信号源８００は省電力モードに入る。ＩＲ信号源８００が活性化信号の受信前の待ち時間の間に全くエネルギーを消費しないように、完全に受動的な受信機８６０を用いることは利点がある。

図９乃至１２を参照して、ここに注視点検出システムの機能を説明する。第１に、図１１は、本発明の一実施形態における動作においてどのように収集されたデータが処理されるかを示すフローチャートである。視線追跡部ＥＴは、視線追跡信号Ｓ１を出力する検出器を有する。ＩＲセンサＩＳは、本システムのＩＲ信号源からＩＲ信号を受信し、ＩＲセンサから見たＩＲ信号源の位置を符号化したＩＲ信号源追跡信号Ｓ４を出力する。ＩＲ信号源追跡信号は、視線追跡信号Ｓ１を特定の座標系に対して関連付けるために用いられるため、これらの信号は同時又はほぼ同時の計測に基づく。表現された典型的な実施形態において、瞳孔の位置、及び視線追跡部のＩＲ光源の角膜反射（閃光）の位置に関する情報は、視線追跡信号Ｓ１から導き出され得る。第１の処理ステップＰ１において、視線追跡信号は個人校正データＳ２と結合され、注視点Ｓ３が取得される。ここでは、個人校正データＳ２は、
・視軸と眼の光軸との間の水平及び垂直角度と、
・角膜曲率半径と、
・瞳孔の中心と角膜曲率の中心との間の距離と、
を含む。

少なくとも１つの角膜を含む眼の画像に基づいて注視方向（及び、したがって画像平面における注視点）を決定する計算方法は、例えば参照によりここに含まれているE. D. Guestrin and M. Eizenmann in IEEE Transactions on Biomedical Engineering, Vol. 53, No. 6, pp. 1124-1133 (June 2006)に教示されているように、既知である。

（図１１の破線長方形内に図示されている）前述の段落に記載されたステップは、被験者毎に一度実施される。ここで議論することは、本実施形態ではデータ流上で連続的に実施される、又はデータが一時的に記憶される場合は後の任意の時点で実施される、データの最終処理及び表示に関する。視線追跡信号Ｓ１を一時記憶すること、及び最終処理ステップとの結合において注視点データＳ３に処理することは、同等な選択であると考えられる。なお、眼のＩＲ画像の動画像列として表され得る視線追跡信号Ｓ１のデータ量は、注視点データＳ３のデータ量よりも非常に大きい。したがって、前処理ステップとしての第１の処理ステップＰ１を用いることは、実際、本システムの性能に影響を与える。一時記憶の前に第１の処理ステップＰ１を実施することに代えて、空間及び／又はバンド幅を節約するために、視線追跡信号Ｓ１に符号化された画像は、切り取られても、フィルタリングされても、及び／又は圧縮されてもよい。

再び図１１を参照すると、ＩＲセンサと（もちろん外部シーンカメラと機能的には同様であり本開示において区別されない）カメラユニットＣＵとは、任意の時点におけるテストシーンのＩＲ信号源追跡信号Ｓ５及び映像Ｓ６（スナップ写真）をそれぞれ取得する。第２の処理ステップＰ２において、ＩＲ信号源の位置とテストシーン映像の画像要素との関係Ｓ７を取得するために、テストシーンの映像Ｓ６と対応するＩＲ信号源追跡信号Ｓ５とが比較される。この処理では、カメラユニットＣＵとＩＲセンサＩＳとの基準座標系に関するハードウェア校正データＳ８が用いられる。説明すると、図９ａは典型的なテストシーン（図２の書棚２２０）の映像を示す。この映像で、ＩＲ信号源の位置９１０が二重円として視覚化されている。このように、４つの位置９１０はテストシーン映像Ｓ６の４つの限定的な画像要素に対応し、これら画像要素の識別子（座標）は、関係Ｓ７を符号化するために用いられる。第３の処理ステップＰ３は、その入力変数として、同時に取得した注視点データＳ３とＩＲ信号源追跡信号Ｓ４とを有する。さらに、計算に必要な変数は、ハードウェア校正データＳ８、及びＩＲ信号源の位置とテストシーン映像との関係Ｓ７から導出される。この第３の処理ステップＰ３は、視線追跡部の動く基準座標系からテストシーン映像Ｓ６の基準座標系への注視点Ｓ３の変換である。本実施形態では、テストシーン映像の基準座標系は、単純に画像構成要素である。したがって、注視点は、注視点画像要素Ｓ９として表現される。第４の処理ステップＰ４において、注視点画像要素Ｓ９は、テストシーンの映像Ｓ６上に描かれる（重畳される）。その結果、モニタ、プリンタ、出力ファイル又は電子メッセージといった出力手段ＯＵＴに与えられる合成された画像を表すデータＳ１０が生成される。典型的な合成画像を図９ｃに示す。ここで、注視点は破線の円９３０で示されている。

第３の処理ステップＰ３で実施される注視点の変換は、さらに正確には、透視投影である。当業者が理解するように、点の透視投影は、その点が同次座標に与えられれば、線形写像として表現され得る。この透視投影は、メガネが位置を変えなければ、恒等写像である。そうではなくてメガネが動けば（平行移動及び／又は回転したら）、透視投影は、テストシーン映像Ｓ６が取得されたときに視線追跡データＳ１がＩＲ信号源の視覚表象（画像平面点）に収集された時点において、ＩＲ信号源の視覚表象（画像平面点）を変換する写像として定義され得る。図１３は、メガネが第１の位置Ｒ１から第２の位置Ｒ２に移動したときに、テストシーンＴＳ内の３つのＩＲ信号源８００の視角が、第１の３項（α_１，α_２，α_３）から第２の３項（β_１，β_２，β_３）に変化する仕方の一例を示す。図１３は、メガネが両位置において同じ方向に向いており、図内の全ての対象物が同一平面上にある状態の略図であり、実際、各ＩＲ信号源への２つの角度が計測される。本実施形態では、透視投影が演繹的にただ無条件にわかるように、メガネの移動は追跡されない。好ましくは、写像は、ＩＲ信号源追跡信号Ｓ４及びＩＲ信号源の位置とテストシーン映像（ＩＲ信号源に対応する画像要素）との関係Ｓ７に基づいて推定される。この推定は、直接線形変換手段によって成し遂げられ得る。当業者に理解されるように、透視投影の完全な推定は、少なくとも４つの別個のＩＲ信号源の位置についての情報を必要とする。推定は、わずかしかＩＲ信号源の位置が分からなければ、複数の解を与えることになる。テストシーン映像Ｓ６が４つ以上のＩＲ信号源を含んでいれば、余計な解がなく有利となり得る。特に、望まないＩＲ信号源が、反射としてテストシーン面に現れ得るし、テストシーンの後ろの発信源から発せられ得る。どのＩＲ信号源を用いるかの選択は、ユーザによって行われたり、又はシステムによって自動に行われたりする。例えば、４つの最も強いＩＲ信号が、第２の処理ステップＰ２において選択され得る。

システムの異なる構成部分間の処理ステップの的確な割り当ては、上記ではまだ議論していない。データを記憶すること及び処理することは、技術的な開発の進歩によって、徐々により省エネルギーになり、より物理的に小型化していること盛んである。タスクは、実際多くの相当に均等な方法で割り当てられ得る。例えば、表１に示す割り当てが適用され得る。

表１に示される分布は、次の前提が真であるとき、最適化されていない可能性がある。

（ｉ）支援部と中央データ処理・記憶部との間の通信回線と同様に、メガネとそれらのそれぞれの支援部との通信接続が遅く信頼性が低く、（ｉｉ）数値計算がバッテリー消費が低くメガネにおいて実行され得る。このような条件では、次の表２に示すような代わりの割り当てが良好に機能し得る。

繰り返し実験によって、当業者は、本明細書が読まれ理解されたという、ある与えられた状況において、処理ステップの適切な割り当てを見出だすであろう。

図１２は、図１１に示した処理の他の実施形態を示す。好都合なことに、本実施形態は、視線追跡信号が生成される全瞬間について全てのＩＲ信号源からの信号を受信するＩＲセンサＩＳには依存しない。１つ以上の失ったＩＲ信号を補償するために、視線追跡信号が生成されるとき、カメラユニットＣＵがテストシーンの映像を取得することが必要である。簡略化した例として、ある瞬間に、視線追跡信号Ｓ１及びテストシーン映像Ｓ１１（ただしＩＲ信号はない）が受信されたと想定する。この瞬間より前に、上記した実施形態の第２の処理ステップＰ２のように、ＩＲ信号源Ｓ５の完全なセットが受信され、テストシーン映像Ｓ６に配置される。さらにこの変形実施形態では、画像特徴はその映像から抽出されて配置され、後の使用のために記憶される。全体がＳ１３で表示されている、ＩＲ信号源と抽出された画像特徴との配置とは、代わりの第２の処理ステップＰ５で達成される。出力Ｓ１３は、図９ｂに示すように視覚化され得る。ここで、前記したＩＲ信号源の位置９１０は画像特徴位置９２０によって補足される。図９ｂにおいて、以下の画像特徴が抽出されている。すなわち、八面体の上角９２０ａ、時計の支柱９２０ｂ、最も左側の本の上左角９２０ｃ、及び書棚２２０の種々の構造要素の交点９２０ｄである。これら４つの画像特徴は、テストシーン映像Ｓ６と、さらに最近のテストシーン映像Ｓ１１、すなわち、視線追跡信号Ｓ１と同時に取得された映像との両方において、抽出され、配置されているものとする。テストシーン映像Ｓ１１からの画像特徴Ｓ１２の抽出は、第３の処理ステップＰ３の前に実行される抽出ステップＰ６によってなされる。可能性のあるメガネの移動を補償する透視投影の推定を含む第３の処理ステップＰ３では、画像特徴の位置は推定アルゴリズムへの入力として用いられる。したがって、１つ以上のＩＲ信号源が失われた場合、透視投影推定問題の解の可能性のあるあいまいさを解消するため、抽出された画像特徴はＩＲ信号源の役割をする。第４の処理ステップＰ４は、上述の実施形態で行われているように実施される。なお、ＩＲ信号源は、参照点としての役割において抽出された画像特徴よりもいくつかの点で優れている。画像特徴の位置は、良好な精度で確立することが困難であり得る。テストシーンの観察角度が変わるとき、特徴を追跡することは、高度な技術を要し得る。そして最も重要なことに、ＩＲ光と異なり目に見える画像特徴によって、被検者の注意が散漫となり得る。これらの理由のため、画像特徴は、単にＩＲ信号源の補足としてみなされるべきである。

特徴追跡の代わりとして、受信したＩＲ信号のセットが不完全な場合、メガネの位置の推測のために、カルマンフィルタリングが用いられ得る。光学的参照信号に基づく位置と配列の推定のためのカルマンフィルタは、参照によりここに含まれているG. F. Welch, SCAAT: Incremental tracking with incomplete information, doctoral thesis, University of North Carolina, Chapel Hill (October 1996) に開示されている。ＩＲ信号源追跡履歴は、例えば本システムのメガネを着用した人の最大加速度といった条件と関連して用いられる。単純な方法では、最新の推定された透視投影を最初の推測として代わりに用いる。推定を早めることはさておき、これは、推定アルゴリズムが偽の解に集束することを防ぐ。さらに他の代案として、観察履歴が不完全なデータ（これは処理が因果関係なくなされることを意味する）を含む時点の周辺で利用可能であれば、２つの既知の点の間の線形補完が用いられ得る。

本発明に係るシステムによる注視点データの提示は、様々な形式に構成できる。例として、図１０ａは、破線円１０１０，１０１２，１０１４，１０１６，１０１８で示された注視点と結合されたテストシーン映像である。円１０１０，１０１２，１０１４，１０１６，１０１８は、異なる被験者の瞬間的な注視点に相当し得る（「ミツバチの群れ」表示（'bee swarm' view））。それらは、ゼロでない長さの時間間隔で注視点検出が行われているならば、異なる時点におけるある被験者の注視点にも相当し得る（「注視点プロット」表示（'gaze plot' view））。この場合、円１０１０，１０１２，１０１４，１０１６，１０１８は、それぞれの観察時間を特定するために注釈テキストで補足され得るし、観察の順番、すなわち観察者の注視経路を示すために線又は矢印で結ばれ得る。円の代わりに、各用途に応じて適切と考えられる点、星、四角、十字又は他の形状が用いられ得る。大きい形はより大きな数値的な不確定性に相当するといったように、各形の大きさは検出精度を示し得る。図１０ｂは、重畳されている網掛け領域を有するテストシーン映像である（「ヒートマップ」表示（'heat map' view））。ここで、濃い色は、注視の滞留時間が長いことに対応する。このような滞留時間は、唯一の被験者を含むテストセッションにおいて累積され得るし、複数の被験者の滞留時間の合計であり得る。他のデータ提示方法によれば、複数の関心領域が予め定義されており、一人又は複数の被験者を含むテストセッションにおいて各領域の各滞留時間が累積される。各関心領域は、滞留時間の統計的尺度に応じて影付きになっており、テストシーン映像上に重畳されている（「クラスター表示」（'cluster view'））。統計的尺度は、被験者毎の平均合計滞留時間、各凝視の平均持続時間、全滞留時間の百分率、各関心領域を見た被験者数の百分率等を含む。

特定の実施形態では、テストシーン映像は、メガネのカメラユニットによって、（秒あたり１０〜１００画像、相応しくは秒あたり２０〜４０画像といった）一定間隔で取得される。このように、テストシーンの動画像列は取得される。次に、注視点は、動かないテストシーン映像上ではなく、テストシーンの動画像列の各フレーム上に重畳された図示記号によって表現される。（なお、ただ一つのテストシーン映像が取得されたときでも、そのような動画像列のフレームは、原理上はＩＲ信号源追跡データに基づいて１テストシーン映像に対する透視変換の適用によって再構築され得る。関連した計算量は、比較的大きくなり得る。）本実施形態は、シミュレータと連結する場合、特に有用となる。テストシーンが被験者に可変視刺激を提示するビデオモニタである研究においても有利である。実際には、異なる時点での注視点に関する結果の総合評価には、所定の瞬間に被験者にどのような映像が提示されたかを考慮すべきである。

本発明が図面と前述の説明に詳細に図示され記載されているが、この図示及び記載は、実例又は典型的なものであり、限定されないものと考えられる。本発明は、開示されている実施形態に限定されない。開示された実施形態の他の変形例は、図面、明細書及び特許請求の範囲の知識の獲得からクレームされた発明の実施において当業者に理解され実施され得る。特許請求の範囲において、「具備する」という語は、他の要素や工程を排除せず、不定冠詞「ａ」又は「ａｎ」は、複数を排除しない。単にある特徴は相互に異なる従属項において列挙されるという事実は、これら特徴の組み合わせが有利に用いられないことを示すものではない。請求項における何れの参照符号も範囲を制限するように解釈されるものではない。
なおこの明細書の記載には以下の発明が含まれている。
［１］．
空間領域の映像に対する人の注視点を決定するためのシステム（１００）であって：
前記空間領域に配置され、赤外線（ＩＲ）信号を射出するように構成された少なくとも１つのＩＲ信号源（８００）と；
前記少なくとも１つのＩＲ信号源からの入射ＩＲ信号を受信して、少なくとも１つのＩＲ信号源追跡信号を生成するように構成された画像センサ（４１６）と、
前記人の眼の注視方向を決定して、決定された前記注視方向に応じた視線追跡信号を生成するように構成され視線追跡部と、
を有し、前記人に着用されるように構成された少なくとも１つのメガネ（４００）と；そして、
前記少なくとも１つのＩＲ信号源追跡信号と前記視線追跡信号とを取得するように前記メガネと通信して、前記少なくとも１つのＩＲ信号源追跡信号、前記視線追跡信号、及び前記映像に基づいて前記空間領域の前記映像に対する前記人の注視点を算出するように構成されたデータ処理・記憶部（１１０）と、
を具備するシステム。
［２］．
前記空間領域の少なくとも１つの映像を取得するように構成されたシーンカメラ（１４００）をさらに具備する、前記［１］．に記載のシステム。
［３］．
前記少なくとも１つのメガネは、前記空間領域の少なくとも１つの映像を取得するように構成されたカメラユニット（４１４）をさらに有する、前記［１］．に記載のシステム。
［４］．
前記データ処理・記憶部は、前記取得された映像とその映像に対する前記少なくとも１つのＩＲ信号源の位置との結合画像を造るように、前記カメラユニットによって取得された映像を前記少なくとも１つのＩＲ信号源追跡信号からの情報に合わせるように構成されている、前記［３］．に記載のシステム。
［５］．
前記ＩＲ信号源は、少なくとも４つあり、前記データ処理・記憶部は、さらに前記映像を前記ＩＲ信号源の位置の情報に合わせ、前記ＩＲ信号源の前記位置の前記情報は、前記データ処理・記憶部に記憶されている、前記［３］．又は前記［４］．に記載のシステム。
［６］．
前記データ処理・記憶部は、さらに前記メガネの位置の変化を検出するために、前記取得された映像内の画像特徴を抽出し連続的に追跡するように構成されている、前記［５］．に記載のシステム。
［７］．
前記ＩＲ信号は、変調されたＩＲ光であり、
前記データ処理・記憶部は、前記少なくとも１つのＩＲ信号源追跡信号に基づいて、固有のＩＲ信号源を特定するように構成されている、
前記［１］．乃至前記［６］．のうち何れか１つに記載のシステム。
［８］．
前記変調されたＩＲ光は、時間、波長、偏光からなる群のうち少なくとも１つの量に関して変調されている、前記［７］．に記載のシステム。
［９］．
前記画像センサは、前記入射ＩＲ信号を受信するように構成されたセンサ表面（７１０）を具備し、
前記画像センサは、前記センサ表面上における前記入射ＩＲ信号の位置を決定することで、前記センサ表面に対して垂直で前記画像センサの光学的開口部の中心（７０８）を通過する軸と前記入射ＩＲ信号とが成す少なくとも１つの角度を算出するように構成されており、
前記算出された角度は、前記ＩＲ信号源追跡信号に含まれている、
前記［１］．乃至前記［８］．のうち何れか１つに記載のシステム。
［１０］．
前記メガネの前記視線追跡部は、
射出された光パルスが前記人の眼に向かうように前記メガネの側面部又はレンズフレームに配置されている少なくとも１つのＩＲ光射出装置（４２０）と、
前記眼から反射してきた光パルスを受信するように前記側面部又はレンズフレームに配置され、前記眼の画像を繰り返し取得するように構成されている検出器と、
前記眼の前記注視方向を決定するように構成された前記検出器と接続された評価部と、
を具備する、
前記［１］．乃至前記［９］．のうち何れか１つに記載のシステム。
［１１］．
前記少なくとも１つのＩＲ光射出装置及び前記検出器は、同軸上でないように配置されている、前記［１０］．に記載のシステム。
［１２］．
前記メガネは、さらに前記人の眼の前に設けられ、第１の方向に偏光した光を透過させるように構成された少なくとも１つの偏光フィルタを具備し、
前記検出器の前には、前記第１の方向と基本的に直交する第２の方向に偏光した光を透過させるように構成された偏光フィルタがある、
前記［１０］．又は前記［１１］．に記載のシステム。
［１３］．
少なくとも１つの支援部（５００）をさらに具備し、
各々の前記支援部は、
１つの前記メガネと通信的に連結されているとともに、
電圧源と、
データバッファと、
データ前処理手段と、
前記データ処理・記憶部と通信するように構成された送受信機（５５０）と、
前記関連するメガネと通信するように構成された送受信機（５１０）と、
からなる群のうち少なくとも１つを具備する、
前記［１］．乃至前記［１２］．のうち何れか１つに記載のシステム。
［１４］．
前記メガネの前記画像センサは、
前記メガネが着用されたときにそのスキャン方向（Ｂ）がわずかに垂直方向（Ａ）からずれている第１の光学的ラインセンサと、
そのスキャン方向（Ｄ）が前記第１の光学的ラインセンサの前記スキャン方向と実質的に垂直である第２の光学的ラインセンサと、
を具備し、
前記第１の光学的ラインセンサのスキャン方向と前記第２の光学的ラインセンサのスキャン方向とは、前記メガネが着用されたときに前記人の前頭面（ＦＰ）と実質的に平行である、
前記［１］．乃至前記［１３］．のうち何れか１つに記載のシステム。
［１５］．
前記少なくとも１つのＩＲ信号源は、所定の無線信号の受信によって中断可能な省エネルギーモードになり得る、前記［１］．乃至前記［１４］．のうち何れか１つに記載のシステム。
［１６］．
空間領域の与えられた映像に対する複数の人の注視点を決定するように構成されており、
前記少なくとも１つのメガネは、各々の前記人の視線追跡信号及びＩＲ信号源追跡信号を生成するように構成されており、
前記データ処理・記憶部は、メガネのカメラユニットによって取得された映像に対する各々の前記人の注視点を算出するように構成されている、
前記［１］．乃至前記［１５］．のうち何れか１つに記載のシステム。
［１７］．
人によって着用され、
空間領域内の少なくとも１つの赤外線（ＩＲ）信号源（８００）からの入射ＩＲ信号を受信するように構成され、少なくとも１つのＩＲ信号源追跡信号を生成するように構成されている画像センサ（４１６）と、
前記人の眼の注視方向を決定して、前記決定した注視方向に対応する視線追跡信号を生成するように構成された視線追跡部と、
を有するメガネ（４００）。
［１８］．
前記空間領域の少なくとも１つの映像を取得するように構成されたカメラユニット（４１４）をさらに具備する、前記［１７］．に記載のメガネ。
［１９］．
前記少なくとも１つのＩＲ信号源追跡信号、前記視線追跡信号、及び前記少なくとも１つの映像を取得するように、前記メガネと通信するように構成され、前記少なくとも１つのＩＲ信号源追跡信号、前記視線追跡信号、及び前記少なくとも１つの映像に基づいて、前記少なくとも１つの取得された映像に対する前記人の注視点を算出する、データ処理・記憶部（１１０）を具備するシステムで用いられる、
前記［１８］．に記載のメガネ。
［２０］．
前記画像センサは、前記入射ＩＲ信号を受信するように構成されたセンサ表面（７１０）を具備し、
前記画像センサは、前記センサ表面上における前記入射ＩＲ信号の位置を決定することで、前記センサ表面に対して垂直で前記画像センサの光学的開口部の中心（７０８）を通過する軸と前記入射ＩＲ信号とが成す少なくとも１つの角度を算出するように構成されており、
前記算出された角度は、前記ＩＲ信号源追跡信号に含まれている、
前記［１７］．乃至前記［１９］．のうち何れか１つに記載のメガネ。
［２１］．
前記視線追跡部は、
射出された光パルスが前記人の眼に向かうように前記メガネの側面部又はレンズフレームに配置されている少なくとも１つのＩＲ光射出装置（４２０）と、
前記眼から反射してきた光パルスを受信するように前記側面部又はレンズフレームに配置され、前記眼の画像を繰り返し取得するように構成されている検出器と、
前記眼の前記注視方向を決定するように構成された前記検出器と接続された評価部と、
を具備する前記［１７］．乃至前記［２０］．のうち何れか１つに記載のメガネ。
［２２］．
前記少なくとも１つのＩＲ光射出装置及び前記検出器は、同軸上でないように配置されている、前記［１７］．乃至前記［２１］．のうち何れか１つに記載のメガネ。
［２３］．
前記人の眼の前に設けられ、第１の方向に偏光した光を透過させるように構成された少なくとも１つの偏光フィルタをさらに具備し、前記検出器の前には、前記第１の方向と基本的に直交する第２の方向に偏光した光を透過させるように構成された偏光フィルタがある、
前記［１７］．乃至前記［２２］．のうち何れか１つに記載のメガネ。
［２４］．
電圧源と、
データバッファと、
データ前処理手段と、
前記データ処理・記憶部と通信するように構成された送受信機（５５０）と、
前記関連するメガネと通信するように構成された送受信機（５１０）と、
からなる群のうち少なくとも１つを具備する支援部（５００）と通信的に連結されている、
前記［１７］．乃至前記［２３］．のうち何れか１つに記載のメガネ。
［２５］．
前記画像センサは、
前記メガネが着用されたときにそのスキャン方向（Ｂ）がわずかに垂直方向（Ａ）からずれている第１の光学的ラインセンサと、
そのスキャン方向（Ｄ）が前記第１の光学的ラインセンサの前記スキャン方向と実質的に垂直である第２の光学的ラインセンサと、
を具備し、
前記第１の光学的ラインセンサのスキャン方向と前記第２の光学的ラインセンサのスキャン方向とは、前記メガネが着用されたときに前記人の前頭面（ＦＰ）と実質的に平行である、
前記［１７］．乃至前記［２４］．のうち何れか１つに記載のメガネ。
［２６］．
ＩＲ信号を受信するように構成され、少なくとも１つのＩＲ信号源追跡信号を生成する画像センサ（４１６）を含む、人に着用されるように構成された少なくとも１つのメガネ（４００）に向けて、当該ＩＲ信号源に対する前記メガネの位置を決定するために、ＩＲ信号を射出するように構成されたＩＲ信号源（８００）。
［２７］．
前記人の眼の注視方向を決定するように構成され、決定された前記注視方向に応じた視線追跡信号を生成する視線追跡部と、
空間領域の少なくとも１つの映像を取得するように構成されたカメラユニットと、
をさらに含む前記少なくとも１つのメガネと；そして、
前記少なくとも１つのＩＲ信号源追跡信号、前記視線追跡信号、及び前記少なくとも１つの映像を取得するように前記メガネと通信して、前記少なくとも１つのＩＲ信号源追跡信号、前記視線追跡信号、及び前記少なくとも１つの映像に基づいて前記少なくとも１つの取得された映像のうちの１つに対する前記人の注視点を算出するように構成されたデータ処理・記憶部と；
を具備するシステムで用いられる、
前記［２６］．に記載のＩＲ信号源。
［２８］．
前記ＩＲ信号は変調されたＩＲ光であり、
前記データ処理・記憶部は、前記少なくとも１つのＩＲ信号源追跡信号に基づいて、固有のＩＲ信号源を特定するように構成されている、
前記［２６］．又は前記［２７］．に記載のＩＲ信号源。
［２９］．
前記変調されたＩＲ光は、時間、波長、偏光からなる群のうち少なくとも１つの量に関して変調されている、前記［２８］．に記載のＩＲ信号源。
［３０］．
前記ＩＲ信号源は、所定の無線信号の受信によって中断可能な省エネルギーモードになり得る、前記［２７］．乃至前記［２９］．のうち何れか１つに記載のＩＲ信号源。
［３１］．
空間領域の少なくとも１つの映像を取得するように構成され、システムで用いられるシーンカメラ（１４００）であって、
前記システムは：
前記空間領域に配置され、赤外線（ＩＲ）信号を射出するように構成された少なくとも１つのＩＲ信号源（８００）と；
前記ＩＲ信号を受信するように構成され、少なくとも１つのＩＲ信号源追跡信号を生成するように構成された画像センサ（４１６）と、
前記人の眼の注視方向を決定するように構成され、決定された前記注視方向に応じた視線追跡信号を生成する視線追跡部（４１４）と、
を有する少なくとも１つのメガネ（４００）と；そして、
前記少なくとも１つのＩＲ信号源追跡信号と前記視線追跡信号とを取得するように前記メガネと通信して、前記少なくとも１つのＩＲ信号源追跡信号、前記視線追跡信号、及び前記映像に基づいて前記空間領域の前記映像に対する前記人の注視点を算出するように構成されたデータ処理・記憶部（１１０）と；
を具備する、
シーンカメラ。
［３２］．
さらに可視光とＩＲ光との両方を受信するように構成された、前記［３１］．に記載のシーンカメラ。
［３３］．
空間領域の映像に対する人の注視点を決定する方法であって、
（ａ）少なくとも１つの赤外線（ＩＲ）信号源により、ＩＲ信号を射出するステップと、
（ｂ）受信機において、前記少なくとも１つのＩＲ信号源からの少なくとも１つの前記ＩＲ信号を受信するステップと、
（ｃ）前記少なくとも１つの受信されたＩＲ信号の各々の入射角度を決定するステップと、
（ｄ）カメラユニットにおいて、前記少なくとも１つのＩＲ信号源が含まれた空間領域の映像を取得するステップと、
（ｅ）前記映像に対する前記少なくとも１つのＩＲ信号源の位置を決定するステップと、
（ｆ）前記少なくとも１つのＩＲ信号源の前記位置に対する前記人の注視点を決定するステップと、
（ｇ）前記空間領域と前記注視点との結合画像を出力するステップと、
を具備する方法。
［３４］．
空間領域の映像に対する複数の人の注視点を決定するように構成されており、
ステップ（ａ）及び（ｄ）を実施し、
各人に対して、ステップ（ｂ）、（ｃ）、（ｅ）及び（ｆ）を実施し、
前記空間領域の映像と前記少なくとも２人の前記人の前記注視点との結合画像を出力することと、
を具備する前記［３３］．に記載の方法。
［３５］．
汎用プロセッサで実行されたときに、前記［３３］．又は前記［３４］．のステップを実施するコンピュータが実施可能な指令が記憶されたコンピュータプログラム製品。

Claims

空間領域の映像に対する人の注視点を決定するためのシステム（１００）であって：
前記空間領域に配置され、赤外線（ＩＲ）信号を射出するように構成された少なくとも１つのＩＲ信号源（８００）と；
人に着用されるメガネ（４００）であり、
前記空間領域の前記少なくとも１つのＩＲ信号源（８００）からの入射ＩＲ信号を受信して、少なくとも１つのＩＲ信号源追跡信号を生成するように構成された画像センサ（４１６）と、
視線追跡部と、
を有していて、
前記視線追跡部が、
射出された光パルスが前記人の眼に向けられるように、前記メガネの側面部又はレンズフレームに配置された少なくとも１つのＩＲ光射出装置（４２０）と、
前記眼から反射された光パルスを受信するように前記側面部又は前記レンズフレームに配置され、前記眼の画像を繰り返し取得するように構成された検出器と、
前記検出器に接続され、射出された光パルスからの角膜上の反射位置及び瞳孔の位置を含む前記画像から抽出された情報に基づいて、前記眼の注視方向を決定するように構成された評価部と、さらに、
前記空間領域の少なくとも１つの映像を取得するように構成されたカメラユニット（４１４）と、
を有している、
メガネ（４００）と；
前記画像センサからの前記少なくとも１つのＩＲ信号源追跡信号と前記視線追跡部からの視線追跡信号と前記カメラユニットからの映像を取得するように前記メガネと通信して、前記少なくとも１つのＩＲ信号源追跡信号、前記視線追跡信号、及び前記映像に基づいて前記空間領域の前記映像に対する前記人の注視点を算出するように構成されているとともに、前記取得された映像とその映像に対する前記少なくとも１つのＩＲ信号源の位置との結合画像を造るように、前記カメラユニットによって取得された映像を前記少なくとも１つのＩＲ信号源追跡信号からの情報に合わせるように構成されている、データ処理・記憶部（１１０）と、
を具備するシステム。
前記空間領域の少なくとも１つの映像を取得するように構成されたシーンカメラ（１４００）をさらに具備する請求項１に記載のシステム。
前記ＩＲ信号源は、少なくとも４つあり、前記データ処理・記憶部は、さらに前記映像を前記ＩＲ信号源の位置の情報に合わせ、前記ＩＲ信号源の前記位置の前記情報は、前記データ処理・記憶部に記憶されている、請求項１又は２に記載のシステム。
前記データ処理・記憶部は、さらに前記メガネの位置の変化を検出するために、前記取得された映像内の画像特徴を抽出し連続的に追跡するように構成されている請求項１乃至３のうち何れか１項に記載のシステム。
前記ＩＲ信号は変調されたＩＲ光であり、
前記データ処理・記憶部は、前記少なくとも１つのＩＲ信号源追跡信号に基づいて、固有のＩＲ信号源を特定するように構成されている、
請求項１乃至４のうち何れか１項に記載のシステム。
前記画像センサは、前記入射ＩＲ信号を受信するように構成されたセンサ表面（７１０）を具備し、
前記画像センサは、前記センサ表面上における前記入射ＩＲ信号の位置を決定することで、前記センサ表面に対して垂直で前記画像センサの光学的開口部の中心（７０８）を通過する軸と前記入射ＩＲ信号とが成す少なくとも１つの角度を算出するように構成されており、
前記算出された角度は、前記ＩＲ信号源追跡信号に含まれている、
請求項１乃至５のうち何れか１項に記載のシステム。
前記少なくとも１つのＩＲ光射出装置及び前記検出器は、同軸上でないように配置されている請求項１に記載のシステム。
前記メガネは、さらに前記人の眼の前に設けられ、第１の方向に偏光した光を透過させるように構成された少なくとも１つの偏光フィルタを具備し、
前記検出器の前には、前記第１の方向と基本的に直交する第２の方向に偏光した光を透過させるように構成された偏光フィルタがある、
請求項７に記載のシステム。
少なくとも１つの支援部（５００）をさらに具備し、
各々の前記支援部は、
１つの前記メガネと通信的に連結されており、
電圧源と、
データバッファと、
データ前処理手段と、
前記データ処理・記憶部と通信するように構成された送受信機（５５０）と、
前記関連するメガネと通信するように構成された送受信機（５１０）と、
からなる群のうち少なくとも１つを具備する、
請求項１乃至８のうち何れか１項に記載のシステム。
前記メガネの前記画像センサは、
前記メガネが着用されたときにそのスキャン方向（Ｂ）がわずかに垂直方向（Ａ）からずれている第１の光学的ラインセンサと、
そのスキャン方向（Ｄ）が前記第１の光学的ラインセンサの前記スキャン方向と実質的に垂直である第２の光学的ラインセンサと、
を具備し、
前記第１の光学的ラインセンサのスキャン方向と前記第２の光学的ラインセンサのスキャン方向とは、前記メガネが着用されたときに前記人の前頭面（ＦＰ）と実質的に平行である、
請求項１乃至９のうち何れか１項に記載のシステム。
空間領域の与えられた映像に対する複数の人の注視点を決定するように構成されており、
前記少なくとも１つのメガネは、各々の前記人の視線追跡信号及びＩＲ信号源追跡信号を生成するように構成されており、
前記データ処理・記憶部は、メガネのカメラユニットによって取得された映像に対する各々の前記人の注視点を算出するように構成されている、
請求項１乃至１０のうち何れか１項に記載のシステム。
空間領域の映像に対する人の注視点を決定する方法であって、
（ａ）少なくとも１つの赤外線（ＩＲ）信号源により、ＩＲ信号を射出するステップと、
（ｂ）受信機において、前記少なくとも１つのＩＲ信号源からの少なくとも１つの前記ＩＲ信号を受信するステップと、
（ｃ）前記少なくとも１つの受信されたＩＲ信号の各々の入射角度を決定するステップと、
（ｄ）カメラユニットにおいて、前記少なくとも１つのＩＲ信号源を含む空間領域の映像を取得するステップと、
（ｅ）前記映像に対する前記少なくとも１つのＩＲ信号源の位置を決定するステップと、
（ｆ）射出されたＩＲ光パルスの角膜上の反射位置及び瞳孔の位置を含む前記人の眼の画像から抽出された情報を用いて、前記空間領域の前記映像に対する前記人の注視点を決定するステップと、
（ｇ）前記空間領域の前記映像と前記映像に対する前記ＩＲ信号源の位置との結合画像を出力するステップと、
を具備する方法。
空間領域の映像に対する複数の人の注視点を決定するように構成されており、
前記ステップ（ａ）及び（ｄ）を実施し、
各人に対して、前記ステップ（ｂ）、（ｃ）、（ｅ）及び（ｆ）を実施し、
少なくとも２人に対して、前記ステップ（ｇ）を実施すること、
を具備する請求項１２に記載の方法。