JP5980231B2 - 視線方向を求めるための方法とその装置 - Google Patents

Description

本発明は、（視線追跡として知られている）視線方向の測定と追跡に関連した技術分野に関し、特に例えば携帯電話又はタッチ画面タブレットのような携帯端末の画面の、使用者に観測される表示面上の使用者の視線を追跡する方法に関し、携帯中に観測された表示面上の使用者の視線位置を求めることを可能にすることを目的としている。

本発明の非排他的な応用例として、特にユーザーインタフェースを用いた視線の相互作用の分析が、このインタフェースでの関心領域の評価例として、又はこのインタフェースの人間工学的特性の適用例として記載される。

従来技術において、視線追跡システムの２つの大きなファミリーが区別されている。それは、非侵入性で非携帯型のシステムと、侵入型で携帯型のシステムである。

これらのシステムは、すべて光源の角膜反射と瞳孔の角膜反射の相対的位置から始まる視線方向の評価から成る基礎技術的原理を用いている。

この原理は、目の画像を得るために、赤外波長の放射線を放射する光源としてのＬＥＤ（発光ダイオード）を、ビデオカメラの対物レンズのすぐ近くに設けることから成っている。この赤外ＬＥＤは、ビデオカメラの対物レンズの軸と同一方向で目に向かって光を放射する。この光は、目の角膜上で反射されて、「プルキニエ（Ｐｕｒｋｉｎｊｅ）スポット」と呼ばれる光スポットがビデオカメラで捕捉された目の角膜の画像上に現れる。

非侵入性の追跡システムは、記録される目が動くことを許容し、従ってコンピュータ画面を見ている時の視線追跡ができる。

この種のシステムは、一般的に、視線軸上の使用者の頭から約６０センチメートル離れたところに設けられた非常に高解像度のカメラから成る。

このカメラは高解像度であるので、それが向けられた使用者の顔を識別することができる。そして、画像処理と形状認識によって、目の位置を識別することができるし、プルキニエスポットに対する瞳孔の位置を正確に求めるために画像を拡大することができる。このシステムは使用者と接触せず、使用者は特別な眼鏡又はヘルメットを着用する必要が無い。

しかし、このシステムの主な欠点は、通常の解像度のカメラの１００倍以上高価な高解像度カメラの使用に依存していることである。加えて、視線解析の間、使用者は目を撮影しているカメラの画角によって定まる３次元的限界を超えて頭を動かすことができない。

また、使用者の見る画面は、必然的に固定されている必要があり、それがこの種のシステムが例えば携帯電話やタッチスクリーンタブレットのような本質的に移動中に使用される携帯端末の表示画面に適用できないという重要な制限を構成する。

侵入性の視線追跡システムは、使用者が例えば飛行機のコックピットや自動車のダッシュボードのような広範囲の場面を見ている場合に、この視線追跡が記録されることを可能にする。

この種のカメラは、一般的に使用者の視線軸上で使用者の頭から約１０センチメートル離れたところに設けられた第一ビデオカメラで構成されている。このビデオカメラは頭に近く、従って特別な眼鏡又はヘルメットに固定されることが必要である。

このビデオカメラは直接目の領域を撮影するので、画像処理によってプルキニエスポットに対する瞳孔の位置を正確に認識することができる。

このように、このシステムは、使用者に大きな行動の自由を与える。同時にカメラに視線方向の解析を可能にさせながら、使用者は自由に動き回ることができる。加えて、このようなシステムは、高解像度カメラに比べて低コストのものを含むすべての種類のカメラの使用を可能にする。

この種のシステムは、使用者によって観察される情景を撮影するための「シーンカメラ」と呼ばれる第二ビデオカメラも備えている。第一ビデオカメラと第二ビデオカメラとによってそれぞれ生成された２つのビデオストリームは、情景を表示し各瞬間で使用者の視線を向けた情景内の位置が追跡されるのを可能にするカーソルを含んだ単一のビデオストリームを生成するために加工される。このようなシステムは、特に例えば米国特許出願公開第２０１０／００５３５５５号明細書によって当業者には周知である。

しかし、このシステムの１つの欠点は、目の位置を求めるために用いられる第一ビデオカメラと、使用者によって観察される情景を撮影するための第二ビデオカメラが、使用者の頭の基準座標とリンクした同一の基準座標にあるという事実に存在する。また、このシステムは、移動体の表面上の視線追跡にうまく適合できず、より具体的には、例えば携帯電話のような携帯端末を動かしている場面で、その表示面上の視線追跡にうまく適合できない。実際、動き回っている間に使用者が例えば携帯電話の画面を見ている情景をシーンカメラが記録すると、問題になっている観察され撮影される対象物は、シーンカメラによる情景の記録から生じたビデオイメージのストリームにおいて動いている。従って、動き回っている間に使用者の見たものを自動的に求めることができるようにするのは、非常に困難である。

例えば、もし機動性の関連で携帯電話の画面上で使用者が興味領域を連続的に見続けた場合、興味領域に応じて使用者の視点は動かないが、シーンカメラの撮影記録から生じたビデオストリーム上において、それ自身結果として生じるビデオストリームの中で可動性を有し、観察された興味領域の画像位置に従って動き回る。

従って、この機動性の状況において、イメージの中で動く興味領域に追従する視点を推測するために、望ましくはないが、システムに強力な画像処理と形状認識手段を与え、ビデオイメージのストリーム内で問題となっている興味領域を正確に認識できる場合を除いて、容易に、特に自動的に、使用者が連続的に問題となっている興味領域を見続けているかを求めるのは不可能である。

このような状況において、本発明の目的は、従来技術の欠点を克服することであり、特に既知の侵入性の携帯型視線追跡システムが直面する問題を解決して、特に携帯電話のような観察される対象に対する視線方向を、移動中に容易かつ自動的に求めることを可能にすることである。

本発明の第一の態様は、携帯端末の表示面を観察する使用者の視線を追跡する方法であって、観察している表示面上の使用者の視線の位置を求めることからなり、使用者の視線軸上に位置する第一ビデオカメラと、目に向けられ第一ビデオカメラの対物レンズ近傍に位置する第一光源とを設けて、少なくとも瞳孔の画像と第一光源の角膜反射の画像からなる第一ビデオ信号と、使用者に観測される表示面の画像からなる第二ビデオ信号とを収集し、第一ビデオ信号は、目の基準座標において、第一光源の角膜反射の中心に対する瞳孔の中心の位置の関数としての視線方向を測定するために解析され、観察される表示面上の視線位置を表現するカーソルは、目の基準座標において測定された視線方向の関数としての第二ビデオ信号に表示される。

本発明によれば、第二ビデオ信号は、第一ビデオカメラの基準座標とは異なる基準座標において捕捉され、観察される表示面の基準座標とリンクし、複数の参照光源は、第二ビデオ信号を捕捉した基準座標において目に向かうように位置し、観察される表示面と同一平面上に二次元アレイ状に設けられ、第一ビデオカメラで収集された第一ビデオ信号は、目の上の参照光源の角膜反射の画像をさらに備え、第一ビデオ信号は、目の上の参照光源の角膜反射の中心位置を提供するために解析され、観察された表示面の面上の視線位置は、目の上の参照光源の角膜反射の中心位置と、目の基準座標において測定された視線方向と、に基づいて求められる。

有利なことに、目の基準座標において、目の上の参照光源の角膜反射の中心位置に基づいて、目の上で観察される表面の位置に対する視線位置が求められ、目の基準座標において求められる視線位置の関数としての観察される表示面の平面上の視線位置を求めるために、目の基準座標にリンクした座標系と、観察される表示面の平面に対応する複数の参照光源によって形成された平面にリンクした座標系との間の変換関係を用いる。

１つの実施例において、使用者の目の関数としての第二ビデオ信号を捕捉する基準座標における観察される表面の位置を校正するために初期操作が実行され、この初期操作は、観察される表面の平面と定義される目の画像との対応付けを可能にする、観察された表面の平面上に位置する所定のテストパターン（７０）の設定ポイント毎の瞳孔の中心位置の計算で構成されている。

特に暗い環境下にシステムが置かれた場合に目を照明するように設計された第二光源が、第一ビデオカメラの対物レンズ近傍で目に向かうように設けられる。

好ましくは、第二ビデオ信号を捕捉するために、第二ビデオカメラ（１４）が観察される表示面の基準座標の位置に設けられている。

１つの変形例によれば、携帯端末のビデオ出力を用いて、第二ビデオ信号が捕捉される。

本発明のもう一つの態様は、本発明に係る方法を実施するための、表示面を有する携帯端末、特に携帯電話又は類似体を携帯状態で支持するための装置であって、手動グリップ機構を形成する支持部材と、支持部材に対して可動性を有するトレイとからなり、トレイは、表示画面が使用者によって観察可能な位置で携帯端末を収容するような収容部を形成しており、装置は、支持部材とリンクした複数の参照光源を備え、参照光源は使用者の目に向かって光を放射可能で、携帯端末の収容時に携帯端末の表示面と同一平面上になるように２次元アレイ状に収容部に設けられている。

１つの実施例によれば、装置が、複数の参照光源を保持するように設計された第一支持フレームを備え、第一支持フレームは、それぞれの第一端で支持部材に取り付けられ、それぞれの第二端で複数の参照光源のそれぞれの光源が取り付けられた複数のアームで構成されている。

有利なことに、装置が、支持部材に取り付けられた第二ビデオカメラと称されるビデオカメラをさらに備えることができ、第二ビデオカメラは、観察される表示面の画像を捕捉するために、携帯端末が収容されている方向を向くことができるようになっている。

１つの実施例によれば、装置が、第二ビデオカメラを支持する第二支持フレームを備え、第二支持フレームは、第一端で支持部材に取り付けられ、この第一端から携帯端末を収容する収容部の上に位置する第二端まで延在するアームを備え、このアームの第二端は、第二ビデオカメラを正確な向きに保持することのできる第二ビデオカメラの固定手段を備えている。

有利なことに、複数の参照光源は、４つの発光ダイオードで構成されており、どの三つをとっても一列に並んでいない。

好ましくは、発光ダイオードが赤外線波長域の放射をする。

好ましくは、ポートレイトと称する位置とランドスケープと称する位置に収容部に収容された携帯端末の表示面が位置するように、トレイが支持部材の互いに略９０度で回転する少なくとも２つの位置の間を回転自在に設けられ、それぞれの位置でトレイを固定するロック手段を備えている。

本発明のまた別の態様は、携帯状態において携帯端末の表示面上の使用者の視線を追跡するシステムであって、携帯端末を支持するための本発明に係る装置と、使用者の頭に適合するように設計されたサポートと、サポートに設けられ末端で使用者の視線軸上に設けられた第一ビデオカメラと直接目に向けられ第一ビデオカメラの対物レンズ近傍に位置する第一光源とを支持するアームと、を備えた使用者に取り付けられるポータブル装備と、瞳孔の画像と目に向けられた第一光源の角膜反射の画像と携帯端末を支持するための装置に設けられた各参照光源に対応した角膜反射の画像からなるポータブル装備の第一ビデオカメラで捕捉された第一ビデオ信号を受信可能な第一ビデオ入力インタフェースと、使用者に観測される表示面の画像からなる第二ビデオ信号を受信可能な第二ビデオ入力インタフェースと、第一光源の角膜反射の中心に対する瞳孔の中心位置の関数としての目の基準座標における視線方向を第一ビデオ信号から測定可能であり、第一ビデオ信号における参照光源の角膜反射の中心位置と目の基準座標において測定された視線方向とに基づいて、観測される表示面の平面上の視線位置を決定可能な処理モジュールと、からなる処理ユニットと、を備えた。

好ましくは、本発明に係るシステムで実施される携帯端末を支持するための装置が、第二ビデオ信号を供給するための第二ビデオカメラと称するビデオカメラを備え、第二ビデオカメラは、携帯端末を支持するための装置の支持部材に取り付けることができ、観測される表示面の画像を捕捉するために携帯端末を収容するために設計された収容部に向けることが可能になっており、処理ユニットの第二ビデオ入力インタフェースは、第二ビデオカメラのビデオ出力に接続される。

１つの変形例によれば、処理ユニットの第二ビデオ入力インタフェースは、第二ビデオ信号を供給可能な携帯端末のビデオ出力に接続される。

有利なことに、処理ユニットが第二ビデオ信号を提供可能なビデオ出力インタフェースを備え、第二ビデオ信号では、観測される表示面の画像が、処理モジュールで求められた測定される表示面の平面上の視線位置を表現するカーソルを表示している。

好ましくは、システムが、第一光源の照明及び参照光源の照明とポータブル装備の第一ビデオカメラによる第一ビデオ信号の捕捉とを同期させるための同期モジュールを備え、同期モジュールは、ポータブル装備の第一ビデオカメラからの第一ビデオ信号を受信可能なビデオ入力インタフェースと、同期態様で第一光源と参照光源の照明と消灯を制御するように設計された電力供給手段と、ポータブル装備の第一ビデオカメラによって捕捉された画像に対して２枚に１枚の割合で第一光源と参照光源の照明を制御するための、電力供給手段と共に構成された受信ビデオ信号処理手段と、を備えている。

有利なことに、ポータブル装備のサポートに設けられたアームが、第一ビデオカメラを正確な向きに維持するための回転防止手段を備えた伸縮式アームである。

１つの実施例において、伸縮式アームが、連結された２本の平行スライドロッドからなり、少なくとも１つがアームの近接端にスライド制御部を有している。

好ましくは、ポータブル装備のサポートが、２本の枝を有する眼鏡フレームであり、アームがこのフレームの枝の一本に固定されている。

好ましくは、ポータブル装備のサポートに設けられたアームが、目を照明することを目的として第一ビデオカメラの対物レンズ近傍で目に向かうように設けられた第二光源を支持している。

本発明の他の目的や長所は、以下の限定するものではない本発明の１つの実施例に関する記述と、図面を参照して明らかであろう。

図１は、本発明に係る視線追跡システムの全体図である。 図２は、携帯状態で使用者に観察される対象物を支持するための本発明に係る装置の概略側面図である。 図２の装置の上面図である。 本発明に係る視線追跡システムを実装するための構造としての使用者に支持されるように設計されたポータブル装備の概略輪郭図である。 図４のポータブル装備の上面図である。 校正用テストパターンが設けられた図２の装置の上面図である。 システム動作時の、図４と図５に示されたポータブル装備のカメラが捕捉した目の画像を示す図である。

例として以下に記載するシステムは、特に例えば携帯電話やタッチスクリーンタブレットのような携帯端末の表示面の形状をとった対象物の観察される表示面に対する人間の、以下では使用者の、視線方向の瞬間的な位置を求めるように設計されている。本発明は、実際の携帯状況において使用者が対象物を用いる場面で適用可能である。従って、本発明のシステムは、使用時に使用者の頭に対して移動するような、使用者の手に通常保持される対象物に提供される。

先に説明したように、侵入性の携帯型の既知の視線追跡システムは、シーンカメラによって記録される情景から生じる観察され撮影される対象物がビデオ内で移動するため、実際の移動時の場面において、対象物を使用者が見ながら情景を記録するのには適していない。従って、侵入性の携帯型の視線追跡システムのファミリーにありながらも、本発明のシステムは、使用者によって観察された情景、換言すれば一般的に携帯電話の基準座標において携帯電話の画面の捕捉を提供し、この使用者の目で反射されるように設計された参照光源の同一フレーム内での位置決めを提供し、これらの光源は携帯電話の画面と同一平面上に設けられている。

このように、観察される表示面（画面）の画像は、常にシーンカメラによるビデオと同一平面に位置し、参照光源の反射は、計算後、以下で判るように、目の画像における瞳孔の位置から推定される視線位置を、観察された情景の基準座標における視線位置とリンクさせることを可能にする。

このために、図１に示す本発明に係るシステムの実施例は、使用者によって観察されるように設計された表示面２１を有する携帯端末２０を携帯状態で支持するための装置１０を開示している。例えば携帯端末は携帯電話から成り、表示面は携帯電話の画面から成る。より正確には図２と図３に示された装置１０は、一方でこの装置のベースプレートとして用いられ、他方で装置の手動グリップ機構として用いられるように設計された支持部材１１を備えている。支持部材１１は、平面支持部を形成する第一部分１１ａと、平面支持部から延在し使用者が保持しアセンブリ全体を操作するのを許容する第二部分１１ｂと、第二部分１１ｂの一端から斜め方向に延在してトレイ１２が設けられるハンドルを形成する第三部分１１ｃとで構成された単一のバルク片の形状をしている。トレイ１２は、例えば下部末端１２ｂと上部末端１２ｃを嵌合した平面１２ａからなり、これにより使用位置、即ち、特に使用者が装置を手で保持した時に使用者によって観察可能な表示面が置かれる位置で携帯電話を収容するように設計された収容部の境界を示す。トレイ１２は、支持部材１１上を移動自在に設置されるように設計されており、より正確には、支持部材１１の傾斜部１１ｃ上に回転自在に設けられている。トレイ１２は、例えばロックねじ１３と嵌合して、トレイ１２を支持部材１１の傾斜部１１ｃに特定の位置になるように固定することができる。ねじ１３は、例えばトレイ１２を、それぞれ収容部に収容された携帯電話の表示面を、ポ−トレイと称される位置とランドスケープと称される位置との略９０度で交わる２つの位置に固定することができる。

装置１０は、さらにシーンカメラと称されるビデオカメラ１４を備え、シーンカメラは、携帯電話と同じ基準座標で収容部に収容された携帯電話の情景画像を捕捉するために用いられる。これを達成するために、シーンカメラ１４は、携帯電話の収容部を形成するトレイ１２の上方に、装置に備わった軽量フレーム１５によって保持され、軽量フレーム１５は、支持部材１１の好ましくはハンドルを形成する部分１１ｂの上部領域に取り付けられて、アセンブリ全体を把持する邪魔をしないようになっている。この装置１０の収容部に収容された携帯電話の基準座標を有するシーンカメラ１４を支持するように設計された支持フレーム１５は、例えば第一端部で支持部材１１に固定されこの第一端部から収容部を形成するトレイの上方に位置する第二端部に向かって延在するアームを備えている。このアームの第二端部は、シーンカメラ１４を正確な向きに保持することを可能にする図示しないシーンカメラ１４の固定手段を備えている。この配置のおかげで、装置１０の収容部に収容された携帯電話の情景を撮影するために用いられるシーンカメラ１４は、携帯電話自身の基準座標において、携帯電話に対して固定される。加えて、観察され撮影される画面は、シーンカメラ１４によって捕捉される画面に起因して、使用者が観察している画面に対して頭を動かしたり又は画面を見ながら同時に携帯電話を動かしたりするような移動時においても、ビデオに固定された状態を維持する。

１つの変形例によれば、使用者によって観察される画面からのビデオ信号は、携帯端末が従来通り携帯端末の画面を外部表示媒体（例えばテレビやコンピュータ画面）上に表示させるようなビデオ出力を備えている場合に、携帯端末のビデオ出力を直接用いて捕捉することができる。この変形例によれば、上で説明したような装置１０が備えるシーンカメラの存在が不要となる。

また、動きの中で使用者の視線が狙っている画面上の位置を求めることができるように、装置１０は複数の参照光源１６ａ，１６ｂ，１６ｃ，１６ｄを備えており、それらは従って収容部に収容された携帯電話と同じ基準座標に位置しており、使用者の目の上で反射することを意図して使用者に向かって光を放射するように設けられている。参照光源１６ａ，１６ｂ，１６ｃ，１６ｄは、好ましくは赤外波長の放射線を放射する４つの発光ダイオード（ＬＥＤ）で構成される。４つの赤外ＬＥＤは、より正確には収容部に収容された携帯電話の画面で形成されるのと同一平面上に位置する２次元アレイ状に収容され、さらにどの３つをとっても一列に並んでいないという特徴を有している。４つの赤外ＬＥＤ１６ａ〜１６ｄが形成する平面は、携帯電話の収容部を形成するトレイ１２の平面１２ａと平行に設けられて、収容部に収容される対象物の厚さを考慮して平面１２ａより僅かに上方に位置し、４つのＬＥＤが対象物の画面と同一平面上に位置するようになっている。

４つの参照光源は、装置１０に設けられ支持部材１１に取り付けられた光源支持フレーム１７によって、携帯電話を収容するための収容部を形成するトレイ１２の周りに保持されており、光源支持フレーム１７は、好ましくは支持部材１１のシーンカメラ１４を支持する軽量フレーム１５が配置されているのと同じ領域に設けられている。この４つの赤外ＬＥＤの支持フレーム１７は、例えば４つのアームから成り、それぞれ赤外ＬＥＤが使用者の目に向かって光を放射するような態様で取り付けられた自由端と、装置１０の支持部材１１に取り付けられた他端とを有している。支持フレーム１７のアームは、上で述べたような赤外ＬＥＤの幾何学的位置制限を満足するような態様で互いに対して配置されている。

図１に示された本発明のシステムの実施例は、プルキニエスポットと呼ばれる角膜上で反射される光スポットに対する目の位置を識別するための侵入性で携帯型の装置３０も開示している。使用者に取り付けられるように設計されたこの装置は、より正確には図４と図５に記載されている。これは、使用者の頭に適合するように設計されたサポート３０からなる。ここで、サポート３０は、視力矯正レンズが取り除かれた一対の眼鏡のフレームの形状をしており、二本の枝３１を備えている。二本の枝の少なくとも一本は、眼鏡フレーム３０に小型ビデオカメラをしっかり固定するために用いられるアーム３２を横方向に収容するために少なくとも前頭部が十分に広くなっている。以下で詳細に示すように、アームの長さはウォームねじ（worm screw）３６を用いた機構によって調節自在になっている。

アーム３２は、細長いベース３４を備えたプレートからなり、例えば接着剤によって眼鏡フレームの枝３１に固定され、前方に向かって延在している。２本の平行なチューブ３５ａ，３５ｂが例えば接着剤のついたリボンによって支持プレート３４に固定され、例えば薄いチューブ状の２本のスライドロッド３６ａ，３６ｂのガイド部材として働く。２本のロッド３６ａ，３６ｂの遠心端は、チューブ３５ａ，３５ｂから突出し、例えば介在する支柱を備えたクランプリングや、２本のチューブのアセンブリを貫通するリベットなどの手段３６ｃによって互いに対して取り付けられている。またこの同じ遠心端で、同じ手段３６ｃ又は他の手段３３ａを用いて、ビデオカメラ３３をロッド３６ａ，３６ｂに、使用者の視線軸と略同一の固定した向きで固定する。近接端でも、ロッド３６ａ，３６ｂの端部は外側チューブ３５ａ，３５ｂから突出している。従って、２つのロッド３６ａ，３６ｂからなるアセンブリは、回転することなくチューブ３５ａ，３５ｂ内をスライド可能である。回転しないことを保証するため非円形断面を有する単一のロッドを用いることもできるが、本実施例は非常にスムーズなスライド動作を可能にし、非常に一般的で安価な商業的に利用可能な部材を用いることができるという長所を有している。

近接端において、プレート３４は、チューブ３５ｂとロッド３６ｂの軸と一直線になったスムーズな軸路を備えたＬ字状軸ガイド３８を収容する。この軸路は、ウォームねじのねじ付きロッド４０を収容する。端末止めナット３９が、軸ガイド３８の近傍でねじ付きロッド４０に螺合し、接着剤結合で留められている。一方で、調整用サムホイール（thumb-wheel）３７がねじの近接端に結合しており、その軸方向移動は、部材３７，３８，３９の連携した端末止めによって制限されている。また一方で、調整用サムホイールを操作することで、その自由回転が可能である。ねじ付きロッド４０は、例えば接薬剤でロッド１０ｂの近接端に固定されたナット４１と係合する。

この装備の動作は、以下のようである。上で述べたような予備調整の後に、眼鏡フレームを使用者の頭にあうように調節する。カメラ３３が捕捉する画像のシャープネスの微調整を、使用者がサムホイール３７を用いて行う。

サムホイール３７を第一の所定の方向に回転して、部材４１を部材３８に接近させる。しかし、部材４１，３６ｃ，３５ａ，３５ｂと３３は互いに強固に固定されているので、カメラが使用者の目に接近することになる。

サムホイール３７を第一の所定の方向と反対の方向に回転して、部材４１を部材３８から遠ざける。しかし、部材４１，３６ｃ，３５ａ，３５ｂと３３は互いに強固に固定されているので、カメラが使用者の目から遠ざかることになる。

この配置のおかげで、カメラ３３を使用者の目に近づけたり目から遠ざけたりすることで焦点を調整することが、図５に示すように片手で単にアーム３２の近接端で耳の近くに設けられたサムホイール３７を回転するだけで容易に実行できる。換言すれば、使用者の頭に対して固定した位置でサムホイールを操作することは、装置のアセンブリ全体を望ましくない方向に動かす危険性が無く、従ってアセンブリ全体を保持する必要が無い。

この装備は、さらに目に向かうようにビデオカメラの対物レンズ近傍に設けられた第一光源Ｌ１も備えている。これは、例えば直接カメラ３３の本体に固定されている。この第一光源Ｌ１は、好ましくは赤外波長の放射線を放射するＬＥＤから成り、これ以降プルキニエＬＥＤと称する。必要に応じて、例えば特に暗い場所でシステムを用いる場合のために、赤外ＬＥＤタイプの第二光源Ｌ２を追加することができ、これは第一光源Ｌ１と同様に、目に向かうようにビデオカメラの対物レンズ近傍に設けられる。

図１に示された本発明に係るシステムの実施例は、使用者が身に着けたポータブル装備のビデオカメラ３３によって捕捉されるビデオ信号を受け取る第一ビデオ入力インタフェース５１と、シーンカメラ１４によって捕捉されるビデオ信号を受け取る第二ビデオ入力インタフェース５２と、シーンカメラが装備するマイクロフォンからのオーディオ信号を受け取ることが可能なオーディオ入力インタフェース５３と、を備えた処理ユニット５０を開示している。処理ユニット５０は、少なくとも１つのビデオ出力インタフェース５４と１つのオーディオ出力インタフェース５５も備えている。

従って、シーンカメラ１４が支持装置１０に設けられ使用者に観察される携帯電話の情景の画像を捕捉した場合、情景の画像は処理ユニット５０のビデオ入力インタフェース５２に接続されたリンクを用いてビデオ信号の形で処理ユニット５０に送信され、処理ユニット５０の適切な記憶手段に保存される。シーンカメラの無い上述の変形例によれば、処理ユニット５０のビデオ入力インタフェース５２は、装置１０の収容部に収容された携帯端末のビデオ出力に接続されるよう設計されていて、オーディオ入力インタフェース５３は別体のマイクロフォンと接続することができる。この変形例において、使用者が観察する情景のビデオ記録は、直接携帯端末自身から携帯端末のビデオ出力を経由して供給される。

また、使用者の頭に取り付けられたポータブル装備のカメラ３３が使用者の目の画像を捕捉した場合、使用者の目の画像は処理ユニット５０のビデオ入力インタフェース５１に接続されたリンクを用いてビデオ信号の形で処理ユニット５０に送信され、処理ユニット５０の適切な記憶手段に保存される。

しかし、一つの好ましい実施例において、システムはプルキニエＬＥＤと参照ＬＥＤの照明とポータブル装備のビデオカメラ３３によって捕捉されたビデオ信号との同期をとるための追加のモジュール６０を備えている。このモジュール６０はビデオカメラ３３と処理ユニット５０の間に介在し、ポータブル装備のカメラ３３によって捕捉されたビデオ信号を受け取るためのビデオ入力インタフェース６１と、ビデオ出力インタフェース６２とを備えている。また、モジュール６０は、プルキニエＬＥＤと参照ＬＥＤの照明と消灯の同期をとりながら制御するように設計されたＬＥＤに電力を供給する手段６３も備えている。

従って、この好ましい実施例によれば、使用者の頭に合うように調整されたポータブル装備のビデオカメラ３３が使用者の目の画像を捕捉した場合、目の画像は同期モジュールのビデオ入力インタフェース６１と接続されたリンクを用いてビデオ信号の形で同期モジュール６０に送信され、処理するために同期モジュールの適切な記憶手段に保存される。同期モジュールのビデオ信号処理と並行して、ビデオ信号は変更なくビデオ入力インタフェース６１が受け取った形のままで、同期モジュール６０のビデオ出力インタフェース６２と処理ユニット５０のビデオ入力インタフェース５１とを接続するリンクを用いて処理ユニット５０にも再送信される。

同期モジュール６０の役割は、受信したビデオ信号に含まれる同期信号を検出することと、プルキニエＬＥＤと参照ＬＥＤの照明と画像の捕捉の同期をとるように、この同期信号の機能としてのプルキニエＬＥＤと参照ＬＥＤの照明を制御することである。より具体的には、４つの参照ＬＥＤ１６ａ〜１６ｄとプルキニエＬＥＤＬ１は、同期モジュール６０によって制御されて、ポータブル装備のカメラ３３によって捕捉される目の画像に対して２画像に１画像の割合で同期をとって照明する。用語「同期をとる」は、ビデオ信号がポータブル装備のカメラ３３で記録される時に、例えばＬＥＤが奇数の画像の記録の間、ＯＮになり、一方、偶数の画像の記録の間、ＯＦＦになることを意味する。実際に、２画像に１画像の割合でＬＥＤをＯＮした場合にのみ、目の出来上がった画像におけるＬＥＤの反射光の効果的な位置が、より良く識別される。

より正確には、一つの実施例によれば、同期モジュール６０は、カメラ３３のビデオ信号から、このビデオ信号の奇数と偶数フレームの同期頭出しに関する第一情報を抽出し、ビデオ信号によって戻される奇数と偶数画像の頭出しに関しビデオ信号から抽出した第二情報の検出に基づいてこの情報を処理するために、電子コンポーネントを用いている。画像は２つのフレーム（奇数フレームと偶数フレーム）からなり、ビデオストリームは奇数画像のグループ（１，３，５，・・・）と偶数画像のグループ（２，４，６，・・・）を備えた１から無限までの画像の連続であることが思い出される。従って、２つの画像が互いに同伴する場合、一方は奇数であり、他方は必然的に偶数である。

カメラ３３に由来するビデオ信号のこの処理は、この情報に基づいて同期モジュールが計算を実行することに相当し、奇数画像の奇数フレームが識別された瞬間にＬＥＤを点灯するように、奇数画像の奇数フレームをビデオ信号の中から識別することを可能にし、そしてそれはカメラの捕捉処理中に奇数フレームの情景を照明することに等しい。このように、ＬＥＤの照明持続時間は、単一フレームの時間（即ち画像の半分の時間）に厳密に等しい。ＬＥＤの照明は、奇数フレームの持続時間のみ実行され、完全な画像の初めに開始されるので、一枚の完全な画像にわたって必然的に照明が実行され、続く画像に照明が重なることができないのは確実である。このために、同期モジュール６０は、このビデオ信号の偶数と奇数フレームの同期頭出しに関連する情報の第一片を抽出し、この第一情報を処理してビデオ信号から返される偶数と奇数画像頭出しに関連する情報の第二片を得て、奇数フレームと奇数画像との間のＡＮＤ論理タイプの操作を実行してＬＥＤの点灯と消灯のための命令をＬＥＤに電力を供給するモジュールに送ることが可能な処理手段を実装している。

変形例として、奇数と偶数画像の同期信号を直接再生可能なデジタルカメラを用いることができることに留意すべきである。有利なことに、このようなデジタルカメラは、ビデオ信号から抽出する必要なく画像同期頭出しが利用可能である。

同期モジュールとその動作原理は、仏国特許発明第２９３７４２８号明細書に記載されており、詳細を参照することができる。

ここに記載したようなシステムの動作には、一方で使用者の目の固有パラメータ（原理的に使用者はそれぞれ異なる目を有している）と、他方でシーンカメラ１４の視野内のトレイ１２の位置パラメータに関するキャリブレーションが必要である。このために、図６に示すようなテストパターン７０が、装置１０のトレイ１２の位置決めのために用いられる。テストパターン７０は、５つのキャリブレーションＬＥＤ７２が所定の幾何学的形状に従って固定され、使用者の目に向かって光を放射するプレート７１の形状をしており、ポータブル装備３０が初期的にその上で調整されている。例えば、４つのＬＥＤがプレート７１に設けられて、四角形を形成し、５番目のＬＥＤが四角形の中心に設けられ、このＬＥＤは図６の上面図に示すように、カメラ１４でマスクされている。用いられたキャリブレーションＬＥＤは、点灯時裸眼で可視色のＬＥＤであり、好ましくは赤色である。

図６の例によれば、プレート７１は２つの穴７３、７４を有し、プレート７１がトレイ１２上に置かれると、そこを２つの参照ＬＥＤ１６ａ，１６ｂが貫通するので、キャリブレーション動作中、プレート７１はトレイ１２に対して完全に中央に位置し、強固にトレイ１２に固定されている。

５つのキャリブレーションＬＥＤ７２の照明は、プレート上のキャリブレーションＬＥＤと図示しないキャリブレーションＬＥＤのための電力供給制御ユニットとを接続する接続ケーブル７５を介して送信される特定の電子命令によって個別に実行される。

より正確には、キャリブレーション動作は、５つの点滅するＬＥＤを順々に注視することからなる。キャリブレーション動作中に捕捉された目の画像を用いて、目の様々な位置と角膜反射スポットが、使用者の目が見た各点滅するＬＥＤに対して保存される。これらの位置の保存に続いて、目の固有パラメータが計算される。従って、プルキニエスポットの位置との相関関係から求められる視線の方向と目の画像内の瞳孔中心との間の全単射と、４つの参照ＬＥＤ１６ａ〜１６ｄによって形成される平面とを求めることができる。

動作中において、先に説明したように、支持装置１０の４つの参照ＬＥＤ１６ａ〜１６ｄの携帯状態において、使用者によって観察される対象物と使用者の頭に合わせたポータブル装備３０のプルキニエＬＥＤＬ１は、ポータブル装備３０のビデオカメラ３３によって捕捉された画像に対して、２画像に１画像の割合で、同期態様で点滅する。ＬＥＤ１６ａ〜１６ｄとＬ１の点灯時、光は使用者の目で反射されて、角膜反射のおかげで目の捕捉された画像内の固定点を得ることができる。従って、２枚の連続して捕捉された画像に対し、２枚のうち１枚には点灯したＬＥＤの角膜反射像が含まれ、もう一枚には含まれない。カメラ３３から来るビデオ信号を受け取って処理する処理ユニット５０によって実施される２つの画像の引き算による閾値処理の方法によって処理された画像には、図７に示すようなＬＥＤの角膜反射像のみが含まれる。特別なアルゴリズムを用いて、処理ユニット５０は目の画像内に瞳孔の中心位置と角膜反射の中心位置を求めることができる。そこから、目の上のプルキニエＬＥＤの反射に由来する目の上のプルキニエＬＥＤの角膜反射Ｐの位置と、瞳孔Ｏの中心位置とによって、視線方向が定まる。換言すれば、観察された情景に対する目の視線の角度は、目の基準座標において求められる。従って、計算の後、４つの参照ＬＥＤ１６ａ，１６ｂ，１６ｃ，１６ｄとそれぞれ対応する角膜反射Ｒ１，Ｒ２，Ｒ３，Ｒ４の画像内の位置と、このようにして測定された視線方向によって、支持装置１０のトレイ１２上に設けられた対象物の観察される表面上の視線位置が正確に決定できる。

実際に、目の画像における４つの参照ＬＥＤ１６ａ〜１６ｄの角膜反射の中心位置の決定は、目の基準座標において、目の表面上の観察される表面の位置に対する視線位置を求めることを可能にする。次に、基準座標の変更により、観察される表面の平面に対応した４つの参照ＬＥＤ１６ａ〜１６ｄによって形成される平面を定義するシーンカメラ１４の基準座標において、これから視線位置を推測することができる。このようにして観察される表面の平面上で求まる視線位置は、この視線位置を表現するカーソルをシーンビデオに表示するために利用される。このために、シーンカメラとポータブル装備のビデオカメラのそれぞれから送られてくるビデオ信号の先の同期を取り入れて、２つのビデオ信号間の対応する重要な瞬間を調整する。

本発明の手段のおかげで、特に携帯状態で対象物を支持する装置によって、観察される表面の画像が、常にシーンビデオの同一箇所に位置し、そして参照ＬＥＤは、計算後、観察される表面の画像に対する使用者の視線位置を求めることを可能にする。このため、例えば携帯電話のユーザーインタフェース上の興味範囲のマップが、非常に容易に生成でき、よって、実際の携帯状況でこの携帯電話の一定の使用期間を通じて、例えば観察され撮影されるユーザーインタフェースは、常にシーンビデオの同じ位置にあり、視点のみがユーザーインタフェースの画像に対して移動する。

Claims (21)

1. 携帯端末（２０）の表示面（２１）を観察する使用者の視線を追跡する方法であって、観察している表示面（２１）上の使用者の視線の位置を求めることからなり、
   使用者の視線軸上に位置する第一ビデオカメラ（３３）と、目に向けられ第一ビデオカメラ（３３）の対物レンズ近傍に位置する第一光源（Ｌ１）とを設けて、少なくとも瞳孔の画像と第一光源の角膜反射の画像からなる第一ビデオ信号と、表示面（２１）の画像からなる第二ビデオ信号とを収集し、
   第一ビデオ信号は、目の基準座標において、第一光源（Ｌ１）の角膜反射（Ｐ）の中心に対する瞳孔（Ｏ）の中心の位置の関数としての視線方向を測定するために解析され、
   観察される表示面上の視線位置を表現するカーソルは、目の基準座標において測定された視線方向の関数としての第二ビデオ信号に表示される上記方法において、
   第二ビデオ信号は、第一ビデオカメラ（３３）の基準座標とは異なる基準座標において捕捉され、観察される表示面の基準座標とリンクし、
   複数の参照光源（１６ａ，１６ｂ，１６ｃ，１６ｄ）は、第二ビデオ信号を捕捉した基準座標において目に向かうように位置し、観察される表示面と同一平面上に二次元アレイ状に設けられ、
   第一ビデオカメラ（３３）で収集された第一ビデオ信号は、目の上の参照光源の角膜反射（Ｒ１，Ｒ２，Ｒ３，Ｒ４）の画像をさらに備え、
   第一ビデオ信号は、目の上の参照光源の角膜反射の中心位置を提供するために解析され、
   観察された表示面の面上の視線位置は、目の上の参照光源の角膜反射の中心位置と、目の基準座標において測定された視線方向と、に基づいて求められ、
   第二ビデオ信号を捕捉するために、第二ビデオカメラ（１４）が観察される表示面の基準座標の位置に設けられていることを特徴とする方法。
2. 携帯端末（２０）の表示面（２１）を観察する使用者の視線を追跡する方法であって、観察している表示面（２１）上の使用者の視線の位置を求めることからなり、
   使用者の視線軸上に位置する第一ビデオカメラ（３３）と、目に向けられ第一ビデオカメラ（３３）の対物レンズ近傍に位置する第一光源（Ｌ１）とを設けて、少なくとも瞳孔の画像と第一光源の角膜反射の画像からなる第一ビデオ信号と、表示面（２１）の画像からなる第二ビデオ信号とを収集し、
   第一ビデオ信号は、目の基準座標において、第一光源（Ｌ１）の角膜反射（Ｐ）の中心に対する瞳孔（Ｏ）の中心の位置の関数としての視線方向を測定するために解析され、
   観察される表示面上の視線位置を表現するカーソルは、目の基準座標において測定された視線方向の関数としての第二ビデオ信号に表示される上記方法において、
   第二ビデオ信号は、第一ビデオカメラ（３３）の基準座標とは異なる基準座標において捕捉され、観察される表示面の基準座標とリンクし、
   複数の参照光源（１６ａ，１６ｂ，１６ｃ，１６ｄ）は、第二ビデオ信号を捕捉した基準座標において目に向かうように位置し、観察される表示面と同一平面上に二次元アレイ状に設けられ、
   第一ビデオカメラ（３３）で収集された第一ビデオ信号は、目の上の参照光源の角膜反射（Ｒ１，Ｒ２，Ｒ３，Ｒ４）の画像をさらに備え、
   第一ビデオ信号は、目の上の参照光源の角膜反射の中心位置を提供するために解析され、
   観察された表示面の面上の視線位置は、目の上の参照光源の角膜反射の中心位置と、目の基準座標において測定された視線方向と、に基づいて求められ、
   携帯端末のビデオ出力を用いて、第二ビデオ信号が捕捉されることを特徴とする方法。
3. 目の基準座標において、目の上の参照光源の角膜反射の中心位置に基づいて、目の上で観察される表面の位置に対する視線位置が求められ、
   目の基準座標において求められる視線位置の関数としての観察される表示面の平面上の視線位置を求めるために、目の基準座標にリンクした座標系と、観察される表示面の平面に対応する複数の参照光源によって形成された平面にリンクした座標系との間の変換関係を用いることを特徴とする請求項１又は２に記載の方法。
4. 使用者の目の関数としての第二ビデオ信号を捕捉する基準座標における観察される表面の位置を校正するために初期操作が実行され、
   この初期操作は、観察される表面の平面と定義される目の画像との対応付けを可能にする、観察された表面の平面上に位置する所定のテストパターン（７０）の設定ポイント毎の瞳孔の中心位置の計算で構成されていることを特徴とする請求項１ないし３のいずれか１項に記載の方法。
5. 第二光源（Ｌ２）が、目を照明することを目的として第一ビデオカメラ（３３）の対物レンズ近傍で目に向かうように設けられることを特徴とする請求項１ないし４のいずれか１項に記載の方法。
6. 請求項１ないし５のいずれか１項に記載の方法を実施するための、表示面（２１）を有する携帯端末、特に携帯電話又は類似体を携帯状態で支持するための装置（１０）であって、
   手動グリップ機構を形成する支持部材（１１）と、支持部材（１１）と共に携帯性を有するトレイ（１２）とからなり、
   トレイ（１２）は、表示画面（２１）が使用者によって観察可能な位置で携帯端末を収容するような収容部を形成しており、
   装置（１０）は、支持部材（１１）とリンクした複数の参照光源（１６ａ，１６ｂ，１６ｃ，１６ｄ）を備え、
   参照光源は使用者の目に向かって光を放射可能で、携帯端末の収容時に携帯端末の表示面（２１）と同一平面上になるように２次元アレイ状に収容部に設けられていることを特徴とする装置。
7. 装置（１０）が、複数の参照光源（１６ａ，１６ｂ，１６ｃ，１６ｄ）を保持するように設計された第一支持フレーム（１７）を備え、
   第一支持フレームは、それぞれの第一端で支持部材（１１）に取り付けられ、それぞれの第二端で複数の参照光源のそれぞれの光源が取り付けられた複数のアームで構成されていることを特徴とする請求項６に記載の装置。
8. 装置（１０）が、支持部材（１１）に取り付けられた第二ビデオカメラ（１４）をさらに備え、
   第二ビデオカメラ（１４）は、観察される表示面（２１）の画像を捕捉するために、携帯端末が収容されている方向を向くことができるようになっていることを特徴とする請求項６又は７に記載の装置。
9. 装置（１０）が、第二ビデオカメラ（１４）を支持する第二支持フレーム（１５）を備え、
   第二支持フレーム（１５）は、第一端で支持部材（１１）に取り付けられ、この第一端から携帯端末を収容する収容部の上に位置する第二端まで延在するアームを備え、
   このアームの第二端は、第二ビデオカメラ（１４）を正確な向きに保持することのできる第二ビデオカメラ（１４）の固定手段を備えていることを特徴とする請求項８に記載の装置。
10. 複数の参照光源（１６ａ，１６ｂ，１６ｃ，１６ｄ）は、４つの発光ダイオードで構成されており、どの三つをとっても一列に並んでいないことを特徴とする請求項６ないし９のいずれか１項に記載の装置。
11. 発光ダイオードが赤外線波長域の放射をすることを特徴とする請求項１０に記載の装置。
12. ポートレイトと称する位置とランドスケープと称する位置に収容部に収容された携帯端末の表示面が位置するように、トレイ（１２）が支持部材（１１）の互いに略９０度で回転する少なくとも２つの位置の間を回転自在に設けられ、それぞれの位置でトレイ（１２）を固定するロック手段（１３）を備えていることを特徴とする請求項６ないし１１のいずれか１項に記載の装置。
13. 携帯状態において携帯端末（２０）の表示面上の使用者の視線を追跡するシステムであって、
    携帯端末を支持するための請求項７ないし１３のいずれか１項に記載の装置（１０）と、 使用者の頭に適合するように設計されたサポート（３０）と、サポート（３０）に設けられ末端で使用者の視線軸上に設けられた第一ビデオカメラ（３３）と直接目に向けられ第一ビデオカメラ（３３）の対物レンズ近傍に位置する第一光源（Ｌ１）とを支持するアーム（３２）と、を備えた使用者に取り付けられるポータブル装備と、
    瞳孔の画像と目に向けられた第一光源（Ｌ１）の角膜反射の画像と携帯端末を支持するための装置（１０）に設けられた各参照光源（１６ａ，１６ｂ，１６ｃ，１６ｄ）に対応した角膜反射の画像からなるポータブル装備の第一ビデオカメラ（３３）で捕捉された第一ビデオ信号を受信可能な第一ビデオ入力インタフェース（５１）と、使用者に観測される表示面の画像からなる第二ビデオ信号を受信可能な第二ビデオ入力インタフェース（５２）と、第一光源の角膜反射の中心に対する瞳孔の中心位置の関数としての目の基準座標における視線方向を第一ビデオ信号から測定可能であり、第一ビデオ信号における参照光源の角膜反射の中心位置と目の基準座標において測定された視線方向とに基づいて、観測される表示面の平面上の視線位置を決定可能な処理モジュールと、からなる処理ユニット（５０）と、を備えたことを特徴とするシステム。
14. 携帯端末を支持するための装置（１０）が、第二ビデオ信号を供給するための第二ビデオカメラ（１４）を備え、
    第二ビデオカメラ（１４）は、携帯端末を支持するための装置（１０）の支持部材（１１）に取り付けられ、観測される表示面の画像を捕捉するために携帯端末を収容するために設計された収容部に向けることが可能になっており、
    処理ユニット（５０）の第二ビデオ入力インタフェース（５２）は、第二ビデオカメラ（１４）のビデオ出力に接続されることを特徴とする請求項１３に記載のシステム。
15. 処理ユニット（５０）の第二ビデオ入力インタフェース（５２）は、第二ビデオ信号を供給可能な携帯端末のビデオ出力に接続されることを特徴とする請求項１３に記載のシステム。
16. 処理ユニット（５０）が第二ビデオ信号を提供可能なビデオ出力インタフェース（５４）を備え、
    第二ビデオ信号では、観測される表示面の画像が、処理モジュールで求められた測定される表示面の平面上の視線位置を表現するカーソルを表示していることを特徴とする請求項１３ないし１５のいずれか１項に記載のシステム。
17. システムが、第一光源（Ｌ１）の照明及び参照光源（１６ａ，１６ｂ，１６ｃ，１６ｄ）の照明とポータブル装備の第一ビデオカメラ（３３）による第一ビデオ信号の捕捉とを同期させるための同期モジュール（６０）を備え、
    同期モジュール（６０）は、
    ポータブル装備の第一ビデオカメラ（３３）からの第一ビデオ信号を受信可能なビデオ入力インタフェース（６１）と、
    同期態様で第一光源と参照光源の照明と消灯を制御するように設計された電力供給手段（６３）と、
    ポータブル装備の第一ビデオカメラによって捕捉された画像に対して２枚に１枚の割合で第一光源と参照光源の照明を制御するための、電力供給手段と共に構成された受信ビデオ信号処理手段と、を備えていることを特徴とする請求項１３ないし１６のいずれか１項に記載のシステム。
18. ポータブル装備のサポート（３０）に設けられたアーム（２２）が、第一ビデオカメラを正確な向きに維持するための回転防止手段（３５ａ，３５ｂ，３６ａ，３６ｂ）を備えた伸縮式アーム（３５ａ，３５ｂ）であることを特徴とする請求項１３ないし１７のいずれか１項に記載のシステム。
19. 伸縮式アームが、連結された平行スライドロッド（３６ａ，３６ｂ）からなり、少なくとも１つがアームの近接端にスライド制御部を有していることを特徴とする請求項１８に記載のシステム。
20. ポータブル装備のサポート（３０）が、２本の枝を有する眼鏡フレームであり、アーム（３２）がこのフレームの枝の一本に固定されていることを特徴とする請求項１３ないし１９のいずれか１項に記載のシステム。
21. ポータブル装備のサポート（３０）に設けられたアーム（３２）が、目を照明することを目的として第一ビデオカメラ（３３）の対物レンズ近傍で目に向かうように設けられた第二光源（Ｌ２）を支持していることを特徴とする請求項１３ないし２０のいずれか１項に記載のシステム。

Images