JPWO2009150747A1 - 視線入力によるユーザーインターフェース装置、ユーザーインターフェース方法、ユーザーインターフェースプログラム、及びユーザーインターフェースプログラムが記録された記録媒体 - Google Patents

Abstract

ユーザーの意思を的確に認識し、誤った判定を防止することができる視線入力によるユーザーインターフェース装置、ユーザーインターフェース方法、ユーザーインターフェースプログラム、及びユーザーインターフェースプログラムが記録された記録媒体を提供する。視線入力によるユーザーインターフェース装置は、ユーザーに対する情報を表示画面（１４）上に表示する情報表示手段（１６）と、前記情報表示手段（１６）の表示画面（１４）上において、ユーザーに視認されるべき視標（３６−１乃至３６−４）が移動するように、情報表示手段（１６）を制御する表示制御手段（２４）と、前記情報表示手段（１６）の表示画面（１４）上でのユーザーの視線を検出する視線検出手段（３４）と、前記視線検出手段（３４）からの視線情報に基づき、移動する視標（３６−１乃至３６−４）にユーザーの視線が随従するか否かを判定する視線判定手段（３８）と、を含む。

Description

本願は、視線入力によるユーザーインターフェース装置、ユーザーインターフェース方法、ユーザーインターフェースプログラム、及びユーザーインターフェースプログラムが記録された記録媒体に関し、特に、ユーザーの視線情報を利用して機器の操作等を行うユーザーインターフェース装置、ユーザーインターフェース方法、ユーザーインターフェースプログラム、及びユーザーインターフェースプログラムが記録された記録媒体に関する。

ハンズフリー操作の分野では、音声を用いた機器操作が実用化されている。しかし、このような音声を用いた機器操作では、発話できる語彙に制限があったり、周囲の雑音による妨害があったり、あるいは、利用状況によっては発話そのものを差控える必要があるという課題がある。
そこで、現在、ＨＭＤ（ヘッドマウントディスプレイ）、カメラ、カメラ付きパーソナルコンピュータ（ＰＣ）等の機器おいて、ユーザーの視線情報を利用して機器の操作を行う技術が提案されている。このように機器とのインターフェース（機器操作を含む）に視線情報を利用することは、ハンズフリー操作の利便性の観点から有効である。

視線入力による機器操作は、視線そのものが、既に広く使われているＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）におけるポインティングデバイスと同様の働きを行えることもあり、インターフェースとしての可能性が高い。従って、情報表示画面とユーザーの視線方向との対応付けを適切に行うことができれば、有力なインターフェースになり得ると言うことができる。

しかし、視線を用いたインターフェースには、次のような課題がある。

すなわち、視線入力の意図が機器に適切に伝達されず、この結果、機器が所望の動作を行わなかったり、誤動作することがある。これは、視線入力に複数の意味を持たせることが困難であることに起因する。例えば、ＧＵＩにおける画面操作に視線入力を用いる場合を考えると、画面上の特定の位置を指示して当該位置に描画されている操作ボタンに関心があることを示すことはできるが、更に進んで、当該ボタンを押圧すなわち操作する意思を伝達することは容易ではない。すなわち、マウスによるＧＵＩ操作の場合には、画面に表示されたボタンにカーソルを合わせ当該ボタンをクリックすることにより当該ボタンの操作が行われるが、視線入力の場合には、ボタンをクリックすることに相当する決定の意思を伝達することは困難である。

上記の課題に鑑みて、特許文献1乃至特許文献３に記載された技術が提案されている。
特開平０７―２８３９７４号公報 特開平０８―０３０３８０号公報 特開平０９−０１８７７５号公報

特許文献１の視線検出装置を備えたビデオカメラにおいては、画面上に表示された操作対象に対して、ユーザーの視線が所定回数以上あるいは所定時間以上駐留した場合に、ユーザーによる機能選択の意思があると判断して当該機能を実行している。

特許文献２の表示装置においては、画面上の対象物を指示するために視線を利用し、当該対象物に対する操作を決定するためにキーボード等のキー操作を利用している。

特許文献３の視線入力装置においては、機器の誤動作を防止するために、視線による選択操作が行われて画面が切り換わった直後の所定の期間、次の選択操作の受付けを禁止している。

上記特許文献1乃至特許文献３の技術においては、次のような問題がある。

特許文献１の技術は、画面に表示された視標に対する視線の駐留時間あるいは駐留回数に基づき、当該視標に対するユーザーの選択意思を判断するものである。しかし、視線の駐留時間からユーザーの選択意思を判断する方法では、ユーザーが無意識に一点を見つめている場合、ユーザーが特段の意思を持たない状態であるにもかかわらず、視標に対するユーザーの選択意思があるものと誤って判断し、この結果、誤認識が生じる可能性がある。また、視線の駐留回数からユーザーの選択意思を判断する方法では、視標に対するユーザーの視線が定まらない期間に、ユーザーの視線が偶然に視標に所定回数だけ一致してしまい、この結果、誤認識が生じる可能性がある。

特許文献２の技術は、ユーザーの明確な意思決定を視線ではなくキーボード等のキー操作すなわち手入力で行うものであり、このように手入力を必要とすることは、ハンズフリー操作を目的とするインターフェースとして問題である。

特許文献３の技術は、表示画面が切り換わった直後の所定期間に画面上の視標とユーザーの視線が偶然に一致してしまうような場合を回避するのものである。しかし、この技術は、通常の表示画面での操作時においては、誤判定を生じる可能性があり、従って、視線入力に基づいて操作対象に対するユーザーの関心や決定意思を判断するための有効な手法を提供するものではない。

本願は、上記課題に鑑みて為されたものであり、その目的の一例は、ユーザーの意思を的確に認識し、誤った判定を防止することができる視線入力によるユーザーインターフェース装置、ユーザーインターフェース方法、ユーザーインターフェースプログラム、及びユーザーインターフェースプログラムが記録された記録媒体を提供することにある。

上記の課題を解決するために、請求項１記載の発明は、ユーザーに対する情報を表示画面上に表示する情報表示手段と、前記情報表示手段の表示画面上において、ユーザーに視認されるべき視標が移動するように、情報表示手段を制御する表示制御手段と、前記情報表示手段の表示画面上でのユーザーの視線を検出する視線検出手段と、前記視線検出手段からの視線情報に基づき、移動する視標にユーザーの視線が随従するか否かを判定する視線判定手段と、を含むことを特徴とする視線入力によるユーザーインターフェース装置である。

上記の課題を解決するために、請求項９記載の発明は、表示画面上において、ユーザーに視認されるべき視標を移動させる視標移動工程と、前記表示画面上でのユーザーの視線を検出する視線検出工程と、前記視線検出工程により得られる視線情報に基づき、移動する視標にユーザーの視線が随従するか否かを判定する視線判定工程と、を含むことを特徴とする視線入力によるユーザーインターフェース方法である。

上記の課題を解決するために、請求項１０載の発明は、コンピュータを、請求項１乃至８のうちいずれか１項に記載の装置として機能させることを特徴とする視線入力によるユーザーインターフェースプログラムである。

上記の課題を解決するために、請求項１１載の発明は、請求項１０に記載のプログラムが、前記コンピュータにより読取可能に記録されていることを特徴とする記録媒体である。

ＨＭＤ（ヘッドマウントディスプレイ）におけるユーザーインターフェース装置の構成図である。 本願の実施の形態によるユーザーインターフェース装置のブロック回路図である。 表示画面上の状態を示す図である。 視線判定部の構成を示す図である。 視線検出部の構成を示す図である。 視点データの書式例を示す図である。 判定結果の書式例を示す図である。 本願の実施の形態によるユーザーインターフェース装置の動作を示すフローチャート図である。 表示画面上の状態を示す図である。 表示画面上の状態を示す図である。 表示画面上の状態を示す図である。 表示画面上の状態を示す図である。 本願の他の実施の形態によるユーザーインターフェース装置のブロック回路図である。 視線判定部の構成を示す図である。 本願の更に他の実施の形態によるユーザーインターフェース装置の情報表示部を示す図である。 本願の尚更に他の実施の形態によるユーザーインターフェース装置の視線判定部を示す図である。 本願の尚更に他の実施の形態によるユーザーインターフェース装置の動作を示すフローチャート図である。 表示画面上の状態を示す図である。 表示画面上の状態を示す図である。 表示画面上の状態を示す図である。 表示画面上の状態を示す図である。 表示画面上の状態を示す図である。 表示画面上の状態を示す図である。

符号の説明

１４：表示画面
１６：情報表示部
２４：表示制御部
３２：視線計測部
３４：視線検出部
３８：視線判定部
４０：随従判定部
３６−１乃至３６−４：視標（機能アイコン）
５０：視点
５６、５８、６０、６２、６４：発光素子（ＬＥＤ）
６６：注視判定部

次に、本願を実施するための最良の形態について、図面を用いて説明する。

図１には、ＨＭＤ（ヘッドマウントディスプレイ）におけるユーザーインターフェース装置の構成が示されている。

図１において、符号１０は、ユーザーに対して情報を表示する情報表示ブロックを示し、符号１２は、ユーザーの視線を検出する視線検出ブロックを示す。

前記情報表示ブロック１０は、ユーザーに対する情報を表示画面１４上に表示するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の情報表示部１６を含み、表示画面１４上の情報を示す光は、光学系としての凸レンズ１８及びハーフミラー２０を介して、ユーザーの眼球２２に到達する。これにより、ユーザーの眼球２２は、表示画面１４上の情報を認識することができる。なお、情報表示部１６には表示制御部２４が接続されており、表示制御部２４により、情報表示部１６の表示画面１４上に表示されるべき情報の表示が制御される。

前記視線検出ブロック１２は、赤外線ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）２６を含み、ＬＥＤ２６からの赤外線は、光学系としてのハーフミラー２８、凸レンズ３０、及びハーフミラー２０を介して、ユーザーの眼球２２に到達する。そして、眼球２２からの反射光は、光学系としてのハーフミラー２０、凸レンズ３０、及びハーフミラー２８を介して、視線計測部３２に到達する。視線計測部３２は、眼球２２からの反射光に基づき、眼球２２の向きすなわち視線を計測することができる。なお、視線計測部３２からの信号は、視線検出部３４に出力される。

次に、図２には、本願の実施の形態によるユーザーインターフェース装置のブロック回路が示されており、図２において、図１と同一部材には同一符号が付されている。

図２において、情報表示部１６は、ユーザーに対する情報としての視標を表示画面上に表示するものである。図３を参照すると、情報表示部１６の表示画面１４は、機能選択画面であり、表示画面１４上には、４つの視標３６−１乃至３６―４が表示されている。４つの視標３６−１乃至３６−４は、それぞれ、機能１乃至機能４を示す。なお、視標３６−１乃至３６−４により示される機能１乃至機能４は、その内容が特に限定されるわけではない。

図２において、表示制御部２４は、前記情報表示部１６の表示画面１４上における視標３６−１乃至３６−４の移動を制御する。すなわち、図３を参照すると、表示制御部２４の制御により、表示画面１４上の２つの視標３６−１及び３６−３は、図の右方向に移動し、一方、他の２つの視標３６−２及び３６−４は、図の左方向に移動する。なお、表示画面１４上において、２つの視標３６−１及び３６−３は、図の右方向の端部に到達すると、今度は図の左方向に移動し、同様に、他の２つの視標３６−２及び３６−４は、図の左方向に到達すると、今度は図の右方向に移動する。

図２において、視線検出部３４は、情報表示部１６の表示画面１４を見ているユーザーの視線を検出する。当該視線検出部３４からの視線情報に基づき、視線判定部３８は、情報表示部１６の表示画面１４上で移動する視標３６−１乃至３６−４のいずれかにユーザーの視線が随従するか否かを判定する。

次に、本願の実施の形態によるユーザーインターフェース装置の特徴事項を説明する。

表示制御部２４は、情報表示部１６の表示画面１４上で視標３６−１乃至３６−４を所定の速度で移動させる（図３を参照）。ここで、視標３６−１乃至３６−４は、機能アイコン等のユーザーが視線を向けるべき対象となるものである。視線判定部３０は、図４に示されるように、随従判定部４０を含み、当該随従判定部４０は、視線検出部３４からの視点データ列に基づき、視標３６−１乃至３６−４のいずれかにユーザーの視線が随従するか否か、すなわち、いずれかの視標にユーザーの視線が滑らかに随従したか否かを判定する。

ここで、随従眼球運動について説明する。人間は自発的に眼球を滑らかに動かすことができず、すなわち、人間は移動している対象物や、実際には移動していなくても移動しているように感じる刺激（仮現運動刺激と呼ばれる）を眼で追った場合にのみ、眼球を滑らかに動かすことができるのである。このとき観測される眼球の動きは、随従眼球運動と呼ばれる。

本願の実施の形態における随従判定部４０は、ユーザーの視線に基づく上述した随従眼球運動を利用し、視点データ列からユーザーの意思を認識しようとするものである。

なお、坂下らによる文献「画像処理による３次元眼球運動計測」（実験力学 Ｖｏｌ１６、Ｎｏ．３、２００６年９月）には、眼球運動の種別とその特性、そして測定方法に関する一般的な方法が記載されている。

次に、情報表示部１６、視線検出部３４、視線判定部３８、及び表示制御部２４について、より詳細に説明する。

情報表示部１６は、ユーザーに対するコンテンツ視聴や機器操作のための情報を表示画面１４上に提示する。特に、ユーザーが機器操作の際に視線を向ける対象となる視標３６−１乃至３６−４を表示画面１４上に表示する（図３を参照）。なお、視線検出部３４から供給される視点データに基づき、ユーザーの視点を表示画面１４上にオーバーレイ表示してもよい。

視線検出部３４について説明すると、図５には、視線検出部３４の構成が示されている。図５を参照すると、視線計測部３２は、ユーザーの眼球の向きを捉える機能を有しており、当該視線計測部３２からの出力は、眼球の向きを示す数値信号から構成され、すなわち、眼球の向きを示すＸ成分信号４２Ｘ及びＹ成分信号４２Ｙから構成される。Ｘ成分信号４２Ｘ及びＹ成分信号４２Ｙは、表示画面１４上の視点の位置と整合するように、それぞれ、増幅器４４Ｘ及び４４Ｙで増幅され、適当な時間間隔でＡ／Ｄ変換器４６Ｘ及び４６ＹによりＡ／Ｄ変換された後、タイムスタンプとともに出力される。Ａ／Ｄ変換器４６Ｘ及び４６Ｙからの出力は、統合部４８に供給されるようになっており、図６は、統合部４８から出力される視点データの書式例を示す。図６を参照すると、各タイムスタンプについて、眼球の向きを示すＸ座標の数値及びＹ座標の数値が示されている。

視線判定部３８は、前述したように、随従判定部４０を含む（図４を参照）。随従判定部４０は、視線検出部３４から供給される一連の視点データ列に基づき、ユーザーの視線が表示画面１４上のある位置から他の位置まで滑らかに移動したことを検出すると、そのような状態すなわち随従眼球運動を示す判定結果を出力する。図７は、視線判定部３８から出力される判定結果の書式例を示す。

表示制御部２４は、情報表示部１６の表示画面１４の制御を行う。すなわち、表示制御部２４は、前述したように、視標３６−１乃至３６−４が表示画面１４上で移動するように、情報表示部１６の表示画面１４を制御する（図３を参照）。また、表示制御部２４は、視線判定部３８から供給される判定結果に基づき、ユーザーの機器操作の要求を認識し、この認識に応じて情報表示部１６における表示画面１４を変化させる。

以上のように、本願の実施の形態によるユーザーインターフェース装置においては、表示制御部２４は、情報表示部１６の表示画面１４上で視標３６−１乃至３６−４を移動させてユーザーの随従眼球運動を誘発し、視線判定部３８内の随従判定部４０により、移動させた視標３６−１乃至３６−４のいずれかに対するユーザー視線の追跡を判定する。

このように、偶発的には生じ難いユーザーの随従眼球運動を利用しているので、ユーザーの意思を的確に認識し、誤った判定を防止することができる。

次に、上記のように構成された本願の実施の形態によるユーザーインターフェース装置の動作を、図８のフローチャート、及び図３、図９乃至図１２の表示画面の状態を参照しながら説明する。

図８において、ステップＳ１で機能選択動作が開始され、ステップＳ２で。情報表示部１６がユーザーに機能選択画面１４を提示し、表示制御部２４の制御により、視標としての機能アイコン３６−１乃至３６−４が動いている（図３を参照）。

ステップＳ３において、情報表示部１６は、視線検出部３４から供給される視点データに基づき、ユーザーの視点５０を表示してもよい（図９を参照）。

ステップＳ４において、機能１を示す視標３６−１を選択したいユーザーは、動いている当該視標３６−１を眼で追う（図１０及び図１１を参照）。

ステップＳ５において、ある程度の期間ユーザーによる機能１を示す視標３６−１の追跡が行われると、視線判定部３８は、「随従」を示す判定結果を出力する。

ステップＳ６において、表示制御部２４は、判定結果に基づき、ユーザーによる機能１を示す視標３６−１の追跡（すなわち機能１の選択の意思）を認識する。

ステップＳ７において、表示制御部２４は、情報表示部１６を制御し、機能１用の表示画面１４を表示し（図１２を参照）、ステップＳ８で終了する。

なお、図１２においては、機能１用の表示画面１４が表示されているが、この表示画面１４上には、１つの視標５２が表示されている。この視標５２は、「戻る」を示す視標であり、移動する当該視標５２にユーザーの視線が随従すると、「戻る」の機能が実行される。これにより、図１２に示される機能１用の表示画面１４から１つ前の画面に戻り、すなわち、前記図３に示される表示画面１４が表示されることになる。

以上説明したように、本願の実施の形態によるユーザーインターフェース装置によれば、表示制御部による制御により、表示画面上の1つまたは複数の視標（機能アイコン等）が各々所定の速度で移動する。そして、当該移動している視標の何れかをユーザーが眼で追ったときに観測される随従眼球運動を視線判定部が検出すると、ユーザーが明確な意思を持って当該視標を選択したと判断され、すなわち、当該指標に対応する機能を選択したと判断される。かかる手法によれば、視線入力によるユーザーと機器との間の意思疎通の精度は、従来手法に比べて格段に向上する。なぜならば、偶発的には起こり難い随従眼球運動を利用して、すなわちユーザーの明確な意思により起こる随従眼球運動を利用して、ユーザーと機器との間のコミュニケーションを行うからである。

これにより、機器の誤動作を軽減することができ、更に、構成として簡単な視標の動きを眼で追うだけであるので、機器の操作方法として簡単である。

なお、本願の実施の形態によれば、表示制御部が表示画面上の視標を移動させ、ユーザーの随従眼球運動の誘発を試みるので、ユーザーは、視標を眼で追うことにより該当する機能の選択を的確に行うことができ、従って、機器は、ユーザーによる機能選択の意思を的確に認識することができる。

また、本願の実施の形態において、複数の視標を表示画面上で移動させる際に、近くの視標はなるべく異なる動きをするように制御し、例えば、近くの複数の視標が異なる方向に動いたり、あるいは、複数の視標が異なる速度で動くように制御してもよい。このように近くの複数の視標が動くときには、視線の検出精度がそれほど高くない場合においても、ユーザーがどの視標を追跡したかを容易に判定することができる。

また、本願の実施の形態において、視標を表示画面上で（ある方向に）移動させる際に、最初は遅い速度で移動させてもよい。このように視標を最初は遅い速度で移動させる場合には、当該視標を追跡しようとするユーザーが視標の動きを容易に捉えることができる。

次に、図１３には、本願の他の実施の形態によるユーザーインターフェース装置のブロック回路が示されている。

図１３において、視線判定部３８は、表示制御部２４に判定結果を示す信号５２を供給し、また、表示制御部２４は、視線判定部３８に「視標を動作させている期間」を示すゲート信号５４を供給する。このゲート信号５４は、図１４に示されるように、視線判定部３８内の随従判定部４０に供給される。

すなわち、ユーザーの視線の随従判定を行う期間としては、表示制御部２４が視標を動作させている期間だけで十分であるので、表示制御部２４は、視線判定部３８に「視標を動作させている期間」を示すゲート信号５４を供給し、視線判定部３８は、表示制御部２４が視標を動作させている期間だけ、ユーザーの視線の随従判定を行うことになる。

このような構成によれば、視線判定部３８の負荷が軽減される。更に、他の要因（例えば、表示制御部による視標の移動ではなく別の動く物体をユーザーが偶然に眼で追った場合等）により生じる随従眼球運動をユーザーの意図的な操作であると誤認識する可能性を防ぐことができる。

次に、図１５には、本願の更に他の実施の形態によるユーザーインターフェース装置が示されている。

図１５においては、情報表示部１６が移動する視標を表現する手段として、実際には移動しない固定された複数の発光素子が使用されている。すなわち、情報表示部１６の表示画面１４上には、ユーザーが選択可能である５つの機能（機能１乃至機能５）の横に、それぞれ、４つの発光素子（例えばＬＥＤ）５６乃至５６、５８乃至５８、６０乃至６０、６２乃至６２、及び６４乃至６４が整列して配置されている。表示制御部２４は、各機能１乃至５の横に配置されたＬＥＤ５６乃至５６、５８乃至５８、６０乃至６０、６２乃至６２、及び６４乃至６４を端から順に（例えば、左端から右端に順に）点滅させ、当該ＬＥＤの点滅をユーザーに眼で追わせる。例えば、図１５においては、４つのＬＥＤ６０乃至６０のうち左端のＬＥＤ６０が点滅されており、その後、右隣のＬＥＤ６０が点滅させられ、このようにして、４つのＬＥＤ６０乃至６０が左端から右端に順に点滅される。

以上のように、情報表示部１６の表示画面１４上において、ＬＥＤ５６乃至５６、５８乃至５８、６０乃至６０、６２乃至６２、及び６４乃至６４を端から順に点滅させることにより、実際には動いていないが動いているように見える刺激（仮現運動刺激）を用いて、ユーザーの視線の随従眼球運動を誘発する。

このように仮現運動刺激を用いてユーザーの視線の随従眼球運動を誘発する構成によれば、低コストな表示手段（例えばＬＥＤ等）を用いて、本願が意図する信頼性の高い視線入力によるユーザーインターフェース装置を実現することができる。

次に、図１６には、本願の尚更に他の実施の形態によるユーザーインターフェース装置が示されている。

図１６において、視線判定部３８は、随従判定部４０に加えて、注視判定部６６を備える。この注視判定部６６は、一連の視点データ列の信号６８に基づき、ユーザーの視線が表示画面１４上のある特定エリアに集中していることを判定すると、その旨の判定結果信号７０を多重部７２に供給する。随従判定部４０は、ユーザーの視線が表示画面１４上のある位置から別の位置まで滑らかに移動したことを判定すると、その旨の判定結果信号７４を多重部７２に供給する。多重部７２は、判定結果信号７０あるいは判定結果信号７４のうちいずれかを受け取ると、その旨の判定結果信号７６を表示制御部２４に出力する。

これにより、全体として例えば図１７のフローチャートに示すような動作が可能になる。すなわち、表示制御部２４は、表示画面１４上で定常的に全ての視標を移動させるのではなく、ユーザーが注視している視標のみを移動させて、当該視標に対する随従眼球運動を誘発することが可能となる。

以下、図１７のフローチャートに示される動作を図１８乃至図２３の表示画面の状態を参照しながら説明する。

図１７において、ステップＳ１０で機能選択動作が開始され、ステップＳ１１で、情報表示部１６がユーザーに機能選択画面１４を提示する（図１８を参照）。図１８では、５つの機能を選択できる様子が表されており、すなわち、機能１乃至機能５をそれぞれ示す視標３６−１乃至３６−５が示されている。

ステップＳ１２で、ユーザーが機能３を選択しようとして、当該機能３を示す視標すなわちアイコン３６−３を見る。ここで、情報表示部１６は、機能３のアイコン３６−３にユーザーの視点５０を表示してもよい（図１９を参照）。

ステップＳ１３で、ユーザーが所定時間以上、機能３のアイコン３６−３を見ると、注視判定部６６は、注視を表す判定結果信号７０を出力する。

ステップＳ１４で、表示制御部２４は、ユーザーが機能３に興味があると判断し、情報表示部１６に対して機能３のアイコン３６−３の移動を指示する。

ステップＳ１５で、情報表示部１６は、表示制御部２４の指示により、機能３のアイコン３６−３を右方向に適切な速度で移動する（図２０を参照）。

ステップＳ１６で、ユーザーは、移動した機能３のアイコン３６−３を眼で追跡する。このとき、情報表示部１６は、追跡中のユーザーの視点５０を表示してもよい（図２１を参照）。

ステップＳ１７で、情報表示部１６は、表示画面１４上で機能３のアイコン３６−３を移動させ、ユーザーは、当該機能３のアイコン３６−３を眼で追跡する（図２２を参照）。

ステップＳ１８で、ユーザーによる機能３のアイコン３６−３の追跡が終了すると、随従判定部４０は、随従を表す判定結果信号を出力する。

ステップＳ１９で、表示制御部２４は、ユーザーが機能３を選択したと判断し、情報表示部１６に対して機能３の表示画面１４を表示するように指示する。

ステップＳ２０で、情報表示部１６は、表示制御部２４の指示により、機能３の表示画面１４を表示し（図２３を参照）、ステップＳ２１で終了する。

なお、図２３においては、機能３用の表示画面１４が表示されているが、この表示画面１４上には、１つの視標５２が表示されている。この視標５２は、「戻る」を示す視標であり、移動する当該視標５２にユーザーの視線が随従すると、「戻る」の機能が実行される。これにより、図２３に示される機能３用の表示画面１４から１つ前の画面に戻り、すなわち、前記図１８に示される表示画面１４が表示されることになる。

以上の構成によれば、視線判定部内には、随従判定部に加えて、注視判定部が設けられており、表示制御部は、注視されている視標だけを移動させてユーザーの随従眼球運動を誘発させる。

従って、ユーザーの視点を表示画面上にオーバーレイ表示しないような使用環境において、注視している所望の視標が動かないことを通じて、ユーザーは視線検出機構の調整ずれ等、機器の不具合を知ることができる。

また、人間にとって目障りである周辺視（視線から外れた方向にある物を見ること）により動く物体を検知するという事態を回避することができる。

また、ユーザーが注視した視標を移動させる際に、当該視標を移動させたにもかかわらず視線が視標を追跡しない場合には、当該視標の移動を停止して視標を元の位置に戻してもよい。このような構成によれば、注視の誤判定に基づく無駄な視標移動動作を最小限にとどめることができ、これにより、新たに注視判定を待機する待機動作に入ることができる。

なお、本願は、ＨＭＤ（ヘッドマウントディスプレイ）、カメラ/カムコーダ（及びこれらのビューファインダーを用いたユーザーインターフェース）、カメラを搭載したＰＣ、ＰＤＡ、携帯電話、ゲーム機等に適用が可能である。

また、本願は、上記実施の形態に限定されるものではない。上記実施の形態は、例示であり、本願の請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本願の技術的範囲に包含される。

【０００３】
かし、視線の駐留時間からユーザーの選択意思を判断する方法では、ユーザーが無意識に一点を見つめている場合、ユーザーが特段の意思を持たない状態であるにもかかわらず、視標に対するユーザーの選択意思があるものと誤って判断し、この結果、誤認識が生じる可能性がある。また、視線の駐留回数からユーザーの選択意思を判断する方法では、視標に対するユーザーの視線が定まらない期間に、ユーザーの視線が偶然に視標に所定回数だけ一致してしまい、この結果、誤認識が生じる可能性がある。
［００１２］
特許文献２の技術は、ユーザーの明確な意思決定を視線ではなくキーボード等のキー操作すなわち手入力で行うものであり、このように手入力を必要とすることは、ハンズフリー操作を目的とするインターフェースとして問題である。
［００１３］
特許文献３の技術は、表示画面が切り換わった直後の所定期間に画面上の視標とユーザーの視線が偶然に一致してしまうような場合を回避するのものである。しかし、この技術は、通常の表示画面での操作時においては、誤判定を生じる可能性があり、従って、視線入力に基づいで操作対象に対するユーザーの関心や決定意思を判断するための有効な手法を提供するものではない。
［００１４］
本願は、上記課題に鑑みて為されたものであり、その目的の一例は、ユーザーの意思を的確に認識し、誤った判定を防止することができる視線入力によるユーザーインターフェース装置、ユーザーインターフェース方法、ユーザーインターフェースプログラム、及びユーザーインターフェースプログラムが記録された記録媒体を提供することにある。
課題を解決するための手段
［００１５］
上記の課題を解決するために、請求項１記載の発明は、ユーザーに対する情報を表示画面上に表示する情報表示手段と、前記情報表示手段の表示画面上において、ユーザーに視認されるべき視標が移動するように、情報表示手段を制御する表示制御手段と、前記情報表示手段の表示画面上でのユーザーの視線を検出する視線検出手段と、前記視線検出手段からの視線情報に基づき、前記移動する視標に対応する機能が選択されたか否かを判断するために、当該移動する視標にユーザーの視線が随従するか否かを判定する視線判定手段と、を含む視線入力による

【０００４】
ユーザーインターフェース装置において、前記視線判定手段は、前記視線検出手段からの視線情報に基づき、ユーザーの視線が１つの視標を注視していることを判定する注視判定手段を備え、前記注視判定手段がユーザーの視線が１つの視標を注視していることを判定すると、前記表示制御手段は、視標が移動するように情報表示手段を制御し、前記視線判定手段は、移動する視標にユーザーの視線が随従するか否かを判定することを特徴とする視線入力によるユーザーインターフェース装置である。
［００１６］
上記の課題を解決するために、請求項９記載の発明は、表示画面上において、ユーザーに視認されるべき視標を移動させる視標移動工程と、前記表示画面上でのユーザーの視線を検出する視線検出工程と、前記視線検出工程により得られる視線情報に基づき、前記移動する視標に対応する機能が選択されたか否かを判断するために、当該移動する視標にユーザーの視線が随従するか否かを判定する視線判定工程と、を含む視線入力によるユーザーインターフェース方法において、前記視線判定工程は、前記視線検出工程で検出された視線情報に基づき、ユーザーの視線が１つの視標を注視していることを判定する注視判定工程を備え、前記注視判定工程においてユーザーの視線が１つの視標を注視していることが判定されると、前記視標移動工程では、視標が移動され、前記視線判定工程では、移動する視標にユーザーの視線が随従するか否かが判定されることを特徴とする視線入力によるユーザーインターフェース方法である。
［００１７］
上記の課題を解決するために、請求項１０載の発明は、コンピュータを、請求項１乃至８のうちいずれか１項に記載の装置として機能させることを特徴とする視線入力によるユーザーインターフェースプログラムである。
［００１８］
上記の課題を解決するために、請求項１１載の発明は、請求項１０に記載のプログラムが、前記コンピュータにより読取可能に記録されていることを特徴とする記録媒体である。
図面の簡単な説明
［００１９］
［図１］ＨＭＤ（ヘッドマウントディスプレイ）におけるユーザーインターフェース装置の構成図である。
［図２］本願の実施の形態によるユーザーインターフェース装置のブロック回路図である。
［図３］表示画面上の状態を示す図である。
［図４］視線判定部の構成を示す図である。
［図５］視線検出部の構成を示す図である。
［図６］視点データの書式例を示す図である。
［図７］判定結果の書式例を示す図である。
［図８］本願の実施の形態によるユーザーインターフェース装置の動作を示すフローチャート図である。
［図９］表示画面上の状態を示す図である。
［図１０［表示画面上の状態を示す図である。
［図１１］表示画面上の状態を示す図である。
［図１２］表示画面上の状態を示す図である。

上記の課題を解決するために、請求項１記載の発明は、ユーザーに対する情報を表示画面上に表示する情報表示手段と、前記情報表示手段の表示画面上において、ユーザーに視認されるべき視標が移動するように、情報表示手段を制御する表示制御手段と、前記情報表示手段の表示画面上でのユーザーの視線を検出する視線検出手段と、前記視線検出手段からの視線情報に基づき、前記移動する視標に対応する機能が選択されたか否かを判断するために、当該移動する視標にユーザーの視線が随従するか否かを判定する視線判定手段と、を含む視線入力によるユーザーインターフェース装置において、前記視線判定手段は、前記視線検出手段からの視線情報に基づき、ユーザーの視線が１つの視標を注視していることを判定する注視判定手段を備え、前記注視判定手段がユーザーの視線が１つの視標を注視していることを判定すると、前記表示制御手段は、視標が移動するように情報表示手段を制御し、前記視線判定手段は、移動する視標にユーザーの視線が随従するか否かを判定することを特徴とする視線入力によるユーザーインターフェース装置である。

上記の課題を解決するために、請求項８記載の発明は、表示画面上において、ユーザーに視認されるべき視標を移動させる視標移動工程と、前記表示画面上でのユーザーの視線を検出する視線検出工程と、前記視線検出工程により得られる視線情報に基づき、前記移動する視標に対応する機能が選択されたか否かを判断するために、当該移動する視標にユーザーの視線が随従するか否かを判定する視線判定工程と、を含む視線入力によるユーザーインターフェース方法において、前記視線判定工程は、前記視線検出工程で検出された視線情報に基づき、ユーザーの視線が１つの視標を注視していることを判定する注視判定工程を備え、前記注視判定工程においてユーザーの視線が１つの視標を注視していることが判定されると、前記視標移動工程では、視標が移動され、前記視線判定工程では、移動する視標にユーザーの視線が随従するか否かが判定されることを特徴とする視線入力によるユーザーインターフェース方法である。

上記の課題を解決するために、請求項９記載の発明は、コンピュータを、請求項１乃至７のうちいずれか１項に記載の装置として機能させることを特徴とする視線入力によるユーザーインターフェースプログラムである。

上記の課題を解決するために、請求項１０載の発明は、請求項９に記載のプログラムが、前記コンピュータにより読取可能に記録されていることを特徴とする記録媒体である。

Claims (11)

1. ユーザーに対する情報を表示画面上に表示する情報表示手段と、
   前記情報表示手段の表示画面上において、ユーザーに視認されるべき視標が移動するように、情報表示手段を制御する表示制御手段と、
   前記情報表示手段の表示画面上でのユーザーの視線を検出する視線検出手段と、
   前記視線検出手段からの視線情報に基づき、移動する視標にユーザーの視線が随従するか否かを判定する視線判定手段と、
   を含むことを特徴とする視線入力によるユーザーインターフェース装置。
2. 請求項１記載の装置において、
   前記視線判定手段は、前記視線検出手段からの視線情報に基づき、ユーザーの視線が１つの視標を注視していることを判定する注視判定手段を備え、
   前記注視判定手段がユーザーの視線が１つの視標を注視していることを判定すると、前記表示制御手段は、視標が移動するように情報表示手段を制御し、前記視線判定手段は、移動する視標にユーザーの視線が随従するか否かを判定することを特徴とする視線入力によるユーザーインターフェース装置。
3. 請求項１又は２のうちいずれか１項に記載の装置において、
   前記情報表示手段は、複数の整列配置された光源を備え、
   当該複数の光源を順次点滅させることにより、情報表示手段の表示画面上において、視標が移動しているように見せることを特徴とする視線入力によるユーザーインターフェース装置。
4. 請求項１乃至３のうちいずれか１項に記載の装置において、
   前記表示制御手段は、前記情報表示手段の表示画面上において、複数の視標が異なる向き又は異なる速度で移動するように、情報表示手段を制御することを特徴とする視線入力によるユーザーインターフェース装置。
5. 請求項１乃至４のうちいずれか１項に記載の装置において、
   前記表示制御手段は、前記情報表示手段の表示画面上において、視標が最初は遅い速度で移動するように、情報表示手段を制御することを特徴とする視線入力によるユーザーインターフェース装置。
6. 請求項１乃至５のうちいずれか１項に記載の装置において、
   前記表示制御手段が情報表示手段の表示画面上において視標が移動するように情報表示手段を制御している期間に、前記視線判定手段は、移動する視標にユーザーの視線が随従するか否かを判定することを特徴とする視線入力によるユーザーインターフェース装置。
7. 請求項１乃至６のうちいずれか１項に記載の装置において、
   前記表示制御手段が情報表示手段の表示画面上において視標が移動するように情報表示手段を制御している期間のうち早い時点において、前記視線判定手段が移動する視標にユーザーの視線が随従することを判定しない場合には、前記視線判定手段は、未随従の判定結果を出力することを特徴とする視線入力によるユーザーインターフェース装置。
8. 請求項７に記載の装置において、
   前記視線判定手段が未随従の判定結果を出力した場合には、前記表示制御手段は、情報表示手段の表示画面上における視標の移動を中止し、当該視標を元の位置に戻すことを特徴とする視線入力によるユーザーインターフェース装置。
9. 表示画面上において、ユーザーに視認されるべき視標を移動させる視標移動工程と、
   前記表示画面上でのユーザーの視線を検出する視線検出工程と、
   前記視線検出工程により得られる視線情報に基づき、移動する視標にユーザーの視線が随従するか否かを判定する視線判定工程と、
   を含むことを特徴とする視線入力によるユーザーインターフェース方法。
10. コンピュータを、請求項１乃至８のうちいずれか１項に記載の装置として機能させることを特徴とする視線入力によるユーザーインターフェースプログラム。
11. 請求項１０に記載のプログラムが、前記コンピュータにより読取可能に記録されていることを特徴とする記録媒体。

Images