JPWO2012137801A1 - 入力装置及び入力方法並びにコンピュータプログラム - Google Patents

Abstract

入力装置は、左目と右目の２つのカメラの各々の撮影データに基づき、楕円パラメータ法で視線位置を検出する。楕円パラメータ法は、楕円が円に近いほど、精度が落ちるので、視線が示す表示画像上の象限に予め重み付けを行う。例えば、法線位置から最も距離の少ない象限Ｄ５に対する重み付けは、０．３とする。次に、法線位置から、その次に距離の少ない象限に対する重み付けは０．５とする。最後に、法線位置から最も距離の遠い象限の重み付けは０．８とする。最後に、両カメラに対応した決定視線座標値に基づいて両眼による中央視線座標値を算出する。

Description

本発明は入力装置及び入力方法並びにコンピュータプログラムに係り、特に、使用者の視線を解析して、手操作に依らずに、マウスのクリックに相当する操作を行うことを可能にする入力装置及び入力方法並びにコンピュータプログラムに関する。

近年、スマートフォンの普及、多様化が進む一方、スマートフォン等の携帯端末装置と連携する機器についても、様々な種類の機器が登場している。
例えば、ＯＳ（オベレーティングシステム）を搭載し、スマートフォン等とＢｌｕｅｔｏｏｔｈ規格に準拠した通信機器で接続することで、電話を受信した際には通話相手の情報や、メール、ＳＭＳ、音楽プレイリスト等を使用者の眼前に映写するなどの表示機能を備えたスキーゴーグル等も登場している。
よって、やがては、ゴーグル（メガネ）の形をしたウェアラブルなスマートフォンの登場もそう遠くない招来に実現することが予想される。

前述の表示機能だけであれば、特段の入力デバイスは必要としないが、着信時の通話開始やメール表示等の機能を実行させるためには、スマートフォン等の携帯端末装置側には、タッチパネルやキーといった入力手段を別途に備えることが必要になる。
これらの入力手段を、例えはゴーグル（メガネ）形状の表示装置として用いた場合、せっかく手を使わないことで得られている快適性が損なわれてしまうことになる。
視線検出方法としては、主として、角膜反射法、強膜反射法、及び瞼孔検出法などが知られているが、この内、提案されている視線検出方法の多くは、角膜反射法を用いている。
この角膜反射法とは、近赤外線光を角膜に照射し、角膜の曲率中心と視線ベクトルとから視線を算出する方法である。

図５は、視線を検出するための一般的な角膜反射法を示す説明図である。
図５に、眼球Ｅｂ，瞳孔Ｐｕ、視線方向ＳＬおよびカメラＣaの関係を示す。角膜の曲率中心は、プルキニエ像Ｉｐと呼ばれる近赤外線光を照射したときの反射像の位置から求められ、視線ベクトルは、プルキニエ像Ｉｐ及び瞼孔中心位置Ｏから求められる。
しかしながら、この角膜反射法は、上記のように近赤外線光を眼球に照射するため、長時間使用した場合には網膜の焼きつき等、眼球Ｅｂへの影響が心配される。
この他に、瞼孔の回転角を求める他の方法としては、楕円パラメータ法が知られている。

図６は、瞼孔の回転角を求めるための一般的な楕円パラメータ法を示す説明図である。
図６に示す通り、楕円パラメータ法とは、画像認識により、瞼孔を楕円として認識し、楕円の長軸ａ、短軸ｂ、長軸の回転角ｑから瞼孔の回転角を求める方法である。
図７は、楕円パラメータ法による視線方向検出の原理を示す説明図である。
カメラＣａで撮影した瞼孔の形状を、画像認識手段を用いて楕円であるものと捉える。
その長軸をa 、短軸をb 、カメラＣａから眼球への法線に対する眼球上の瞼孔中心の角度をβとすると、角度βは、cosβ＝b/aで求めることができる。
眼球表面をＳ、眼球中心を（x₀、y₀）、眼球半径をr₀とすると、瞼孔（瞳孔）の中心（ｘ、ｙ）から眼球の水平方向の回転角θは（１）式から、垂直方向の回転角φは、（２）式から各々求めることができる。

ここで、カメラに対しての眼球中心位置と眼球半径については、個人差があるため、予めキャリブレーション（較正）を行なって個人パラメータを求める必要がある。
このキャリブレーションの方法については、一般的にいくつかの方法が知られている。
なお、個人パラメータの具体的な決定方法については、本発明の内容に関係しないため、説明は省略する。

（１）式と（２）式で算出した視線方向の角度から、画像表示面上の座標位置を計算する。
この楕円パラメータ法は、前述の角膜反射法と違って、近赤外線光を使用しないため、近赤外線光による眼球への影響は無い。
しかし、この楕円パラメータ法は、楕円が円に近い形状であるとき、つまりカメラから眼球への法線に対して視線方向の角度が浅い場合には、長軸の回転角を明確に求めることができず、精度が低くなるという問題点が有る。

なお、この分野の公知技術として、例えば、特許文献１には、方向を示す指が画角から外れず、正しく指示方向や動作を検出でき、異なる方向を映すディスプレイにも適用できて、現実に指し示されている物体を認識することができる入力画像処理装置について記載されている。具体的には、ハーフミラーと、ハーフミラーで反射された画像を撮像する撮像部と、ポインティング位置を検出するポインティング位置検出部と、検出された位置にあるオブジェクトを認識するポインティングオブジェクト認識部と、オブジェクト情報を蓄積するオブジェクト情報蓄積部と、該オブジェクト情報蓄積部に蓄積されているオブジェクト情報を検索するオブジェクト情報検索部と、該オブジェクト情報検索部の検索結果を表示するディスプレイとを備えるものとしている。

また、例えば、特許文献２には、視線入力が困難になった場合に行う再キャリブレーションを、簡易的なキャリブレーションで十分に対応可能とする視線検出装置について記載されている。具体的には、再キャリブレーション指示を受けると、位置が既知である複数個の標準点のうちのいずれか１点でのキャリブレーションを行い、検出対象の眼球のある頭部の動きに起因する誤差を求め、この求めた誤差に基づいて視線検出結果の位置ずれを補正するずれ補正部２Ｃを備えている。これにより、複数個の標準点のうちのいずれか１点のキャリブレーションをやり直すだけで、現状に応じた適切な値の相関係数を求め直して視線検出結果の位置ずれを補正することができるので、従来に比べて、短時間で再キャリブレーションでき、使用者に快適な操作性を提供することができるものとしている。

さらに、例えば、特許文献３には、静止画像や動画像に関わらずに観察者の体感画質を低下させることなく、高い画像圧縮率を実現し、しかも通信経路の伝送負荷を減少させることができて、多数の端末に画像の情報を送信し得る画像圧縮通信装置について記載されている。
具体的には、画面表示部を観察する観察者の視線を追跡し、その視線データに基づいて、観察者の視線近傍である中心視野の画像データは低圧縮率に、観察者の視線から遠ざかる周辺視野ほど高圧縮率になるように画像データにデータ圧縮処理を施すものとしている。

特開２０００−１４８３８１号公報 特開２００１−１３４３７１号公報 特開平０９−００９２５３号公報

ところで、上記背景技術で述べた従来の入力装置にあっては、前述のとおり、視線検出方法として従来から多用されている角膜反射法は、近赤外線光を角膜に照射して角膜の曲率中心と視線ベクトルとから視線を算出する方法であるため、長時間使用した場合には網膜の焼きつき等、眼球への影響が心配されるといった問題点が有る。
また、瞼孔を楕円と認識し、視線方向を検出する楕円パラメータ法を採用した場合、楕円が円に近い形状のとき、つまりカメラの眼球への法線に対して視線方向の角度が浅いときには、長軸の回転角を明確に求めることができず、精度が低くなるといった問題点が有る。

なお、前述の特許文献１に記載の技術は、使用者の指が示す方向を検出してポインティング位置を確定し、検出された位置にあるオブジェクトを認識するものであるが、本発明の方法では使用者の指は使用しない。

また、前述の特許文献２に記載の技術は、視線入力が困難になった場合に行う再キャリブレーションを簡易化するものであり、本発明の方法とは直接の関係を有しない。

さらに、前述の特許文献３に記載の技術は、使用者の視線近傍である中心視野の画像データは低圧縮率に、観察者の視線から遠ざかる周辺視野ほど高圧縮率になるように画像データにデータ圧縮処理を施すものであるが、これに対し、本発明の方法では、検出した視線位置に対して、予め設定した表示画面上の象限毎に重み付けを行うものであり、画像データに対しては、少なくともこの目的でのデータ圧縮処理は施さない。

即ち、本発明は、
（１） 入力装置において、左目用と右目用の２つのカメラの各々の撮影データを使用して使用者の表示装置上の視線位置をそれぞれ求め、この視線位置（座標）に予め設定した表示画面上の象限に対応した重み付けを行って使用者の視線中央位置を確定する（この方法では、左目と右目からの個別の視線位置情報に対して、それぞれ実証的に有効な重み付けを行うので、精度の高い視線位置の決定が可能となる）ことと、
（２） 入力装置において、左目と右目の動きによりマウスのクリック動作と同等の機能を実現すること（例：左目の瞼を閉じると左クリック動作に対応、右目の瞼を閉じると右クリック動作に対応）ことと、
を骨子としている。

本発明は、上述した従来の問題点に鑑みてなされたものであって、左目用と右目用との２つのカメラの各々の撮影データによる各々の視線検出位置（座標値）に対して、それぞれの視線検出位置に応じて実証されている精度に基づく重み付けを行うことを可能にして、精度の高い視線位置を決定することができる入力装置を提供することを目的としている。

上記課題を解決するために、本発明に係る入力装置は、表示装置の表示画面領域を複数の象限に分割すると共に、前記複数の象限の各々には使用者の右目の視線位置と左目の視線位置とにそれぞれ対応した、精度を示す重みの値を予め付与しておく重み付け部と、前記使用者の右目の視線位置を検出するために配された右目用カメラ（ＣＲ）で撮影して得られた撮像データに基づいて、前記表示装置の表示画面上の、前記使用者の右目視線位置を検出して座標で示す右目視線位置検出部と、前記検出された右目視線位置に対応する前記の精度を示す重みを、前記右目視線位置の座標値に積算して右目視線決定位置の座標値を決定する右目視線位置決定部と、前記使用者の左目の視線位置を検出するために配された左目用カメラ（ＣＬ）で撮影して得られた撮像データに基づいて、前記表示装置の表示画面上の、前記使用者の左目視線位置を検出して座標で示す左目視線位置検出部と、前記検出された左目視線位置に対応する前記の精度を示す重みを、前記左目視線位置の座標値に積算して左目視線決定位置の座標値を決定する左目視線位置決定部と、前記決定した右目視線の座標値と前記決定した左目視線の座標値とに基づいて前記使用者の両目による中央視線位置を決定する視線位置決定部と、前記中央視線位置を反映した入力処理を行う入力部と、を備えている。

また、本発明に係る入力方法は、表示装置の表示画面領域を複数の象限に分割すると共に、前記複数の象限の各々には使用者の右目の視線位置と左目の視線位置とにそれぞれ対応した、精度を示す重みの値を予め付与しておく重み付けステップと、前記使用者の右目の視線位置を検出するために配された右目用カメラで撮影して得られた撮像データに基づいて、前記表示装置の表示画面上の、前記使用者の右目視線位置を検出して座標で示す右目視線位置検出ステップと、前記検出された右目視線位置に対応する前記の精度を示す重みを、前記右目視線位置の座標値に積算して右目視線決定位置の座標値を決定する右目視線位置決定ステップと、前記使用者の左目の視線位置を検出するために配された左目用カメラで撮影して得られた撮像データに基づいて、前記表示装置の表示画面上の、前記使用者の左目視線位置を検出して座標で示す左目視線位置検出ステップと、前記検出された左目視線位置に対応する前記の精度を示す重みを、前記左目視線位置の座標値に積算して左目視線決定位置の座標値を決定する左目視線位置決定ステップと、前記決定した右目視線の座標値と前記決定した左目視線の座標値とに基づいて前記使用者の両目による中央視線位置を決定する視線位置決定ステップと、前記中央視線位置を反映した入力処理を行う入力ステップと、を有している。

さらに、本発明に係るコンピュータプログラムは、表示装置の表示画面領域を複数の象限に分割すると共に、前記複数の象限の各々には使用者の右目の視線位置と左目の視線位置とにそれぞれ対応した、精度を示す重みの値を予め付与しておく重み付けステップと、前記使用者の右目の視線位置を検出するために配された右目用カメラで撮影して得られた撮像データに基づいて、前記表示装置の表示画面上の、前記使用者の右目視線位置を検出して座標で示す右目視線位置検出ステップと、前記検出された右目視線位置に対応する前記の精度を示す重みを、前記右目視線位置の座標値に積算して右目視線決定位置の座標値を決定する右目視線位置決定ステップと、前記使用者の左目の視線位置を検出するために配された左目用カメラで撮影して得られた撮像データに基づいて、前記表示装置の表示画面上の、前記使用者の左目視線位置を検出して座標で示す左目視線位置検出ステップと、
前記検出された左目視線位置に対応する前記の精度を示す重みを、前記左目視線位置の座標値に積算して左目視線決定位置の座標値を決定する左目視線位置決定ステップと、
前記決定した右目視線の座標値と、前記決定した左目視線の座標値とに基づいて前記使用者の両目による中央視線位置を決定する視線位置決定ステップと、前記中央視線位置を反映した入力処理を行う入力ステップとによって、入力装置を制御する。

以上説明したように、本発明の入力装置によれば、複数の決定視線位置に基づいて、両眼による中央視線位置を決定するので、精度の高い視線位置を決定できる入力装置を提供することができる。

本発明の第一の実施形態に係る入力装置が視線方向を検出方法を示す説明図である。 本発明の第一の実施形態に係る入力装置のハードウェアの構成を示す構成図である。 本発明の第一の実施形態に係る入力装置において、表示装置の表示画面上の象限を区分する１例を示す説明図である。 本発明の第一の実施形態に係る入力装置において、各々のカメラからの視線位置を計算した後、重み付けの値によって、視線検出位置（Ｐ）を算出する方法のイメージを示している。 視線を検出するための一般的な角膜反射法を示す説明図である。 瞼孔の回転角を求めるための一般的な楕円パラメータ法を示す説明図である。 楕円パラメータ法による視線方向検出の原理を示す説明図である。 本発明の第一の実施形態に係る入力装置のシステム構成の１例を示す構成図である。

本発明は、ユーザの左右それぞれの目の視線方向を求め、求めた左右の目の視線方向の重み付け平均によりユーザの視点を求める装置を提供するものである。
より具体的には、左目用のカメラと右目用のカメラとを個別に用意し、楕円パラメータ法を用いて、左目用と右目用のそれぞれのカメラから得た視線位置を求める。
特に、カメラから得た視線位置を求める際には、予め表示画像の象限毎に重みを設定し、左右のカメラから得た各々の視線位置の座標に該重みを用いて、それぞれ重み付けすることにより、使用者の中央視線位置の決定精度を高める。
また、左目の瞼を閉じる動作と、右目の瞼を閉じる動作とから、マウスのクリック動作による入力手段と実質的に同等の入力手段を得るものである。
以下、本発明の第一の実施形態における入力装置ついて、図面を参照して詳細に説明する。

図１は、本発明の第一の実施形態に係る入力装置が視線方向を検出する方法を示す説明図である。
図１に示すように、本発明の第一の実施形態に係る入力装置の視線検出においては、左目用カメラと右目用カメラとを個別に用意し、右目、左目のそれぞれの回転角を求め、近赤外線光による眼球への影響を考えなくて良い楕円パラメータ法で得られたそれぞれのカメラから得た位置を、表示画像の象限別に重み付けを行なう。これにより、位置精度を高める方法を提供する。
また、左目用と、右目用に、各々カメラを個別に用意することにより、左目と右目のそれぞれの画像認識処理を個別に実施できるようにし、左目の瞼を閉じると左クリック動作、右目の瞼を閉じると右クリック動作に対応させる判定をすることにより、マウスのクリック動作による入力手段と実質的に同等の入力手段を提供するものである。

図２は、本発明の第一の実施形態に係る入力装置のハードウェア構成を示す構成図である。
図２に示す本発明の第一の実施形態に係る入力装置は、左目を撮影するための左目用カメラ１０１と、右目を撮影するための右目用カメラ１０２と、各々のカメラ１０１と１０２からの画像を画像認識処理するためのＣＰＵ１０３と、撮影画像や画像認識後の画像、計算過程の情報を一時的に記憶するためのメモリ１０５と、画像を表示するための表示装置１０４（入力機能も備えたもの）と、を具備している。表示装置１０４は使用者の指示を入力する入力機能を備えている。
ここで、左目用カメラ１０１及び右目用カメラ１０２は、表示装置１０４の表示画面（ＤＤ）の付近に配置されている。
なお、表示装置１０４は、ＨＭＤ（Head Mounted Display）とは限らず、他の表示装置、例えば、携帯電話、スマートフォン、ゲーム機、タブレットＰＣ、ＰＣ等に適用可能な一般的な表示装置であっても良い。
例えば、２つのカメラを備えたゲーム機においても、本発明の適用が可能である。

以下、本発明の第一の実施形態に係わる入力装置の動作を説明する。
まず、本装置の基本動作の概要を以下に纏める。
（１） 左目用、右目用の２つのカメラで左右の目の視線位置を検出する。
（２） 左目、右目の各視線位置に所定の手法で設定された重みを乗じる。
（３） この重み付けられた視線を基に使用者の（中心）視線を決定する。
（４） 表示装置１０４の表示画面上に視線の位置を表示する。
（５） 視線位置を決定できない状態（即ち、使用者が瞼を閉じた状態）となれば、これをクリック動作のトリガとする。
（６） 左右の目の上記状態を、左右の目で異なる種類のクリック動作（例えば、左クリックと右クリック）のトリガとする。

次に、本装置の具体的な動作を説明する。
左目用カメラ１０１で撮影された画像データは、メモリ１０５に格納される。
ＣＰＵ１０３は、この格納された画像データの画像に対して、画像認識処理を行なう。
この画像認識処理は、例えば、２値化、エッジ強調、及びラベリングによるものである。
採用した楕円バラメータ法における楕円の検出方法としては、既に知られているＨｏｕｇｈ変換、最小メジアン、内接する平行四辺形による楕円推定等の手法を用いることができるが、本発明の楕円の検出方法は、上記の手法に限定されるものではない。

ＣＰＵ１０３は、上記の画像認識処理を行なった後、楕円として認識した瞼孔の画像から、カメラから眼球への法線に対しての水平角及び垂直角を算出し、キャリブレーションによって得られた眼球中心位置と眼球半径との表示装置１０４上での距離から、ユーザの左目の視線が表示画面上のどの位置を指しているかを計算して求める。
また、右目用カメラ１０２から撮影された画像に対しても、上記の左目用カメラ１０１で撮影された画像データの処理と同様の処理を行なうことによって、ユーザの右目の視線が表示画面上のどの位置を指しているかを計算して求める。
さらに、以下では、「カメラ」の呼称を左目用カメラ１０１のこととし、この左目用カメラ１０１で撮影された画像データの画像に対する処理として説明するが、右目用カメラ１０２から撮影された画像に対しても、下記と同様の処理を行なうものとする。

図３は、表示装置１０４の表示画面上の象限を区分する１例を示す説明図である。
図３に示すように、表示装置１０４の表示画面ＤＤ（領域）において、象限を１２（Ｄ１〜Ｄ１２）に分割する。
以下、図３を参照して、カメラから眼球（Ｅｂ）への法線位置と、表示画面上の視線検出位置による象限区分の１例と、重み付けの１例について説明する。
従来の課題に記載した通り、楕円パラメータ法は、楕円が円に近いほど、精度が落ちることが知られている。
つまり、カメラと眼球の法線位置から距離の差があるほど、楕円となり、差が無いほど円に近くなる。
そこで、本発明の第一の実施形態に係る入力装置では、例えば、以下のように重み付けを行う。

まず、法線位置ＮＬＬから最も距離の少ない象限Ｄ５に対する重み付けは、０．３とする。
次に、法線位置ＮＬＬから、象限Ｄ５の次に距離の少ない象限（Ｄ１〜Ｄ４，Ｄ７〜Ｄ９）に対する重み付けは０．５とする。
最後に、法線位置ＮＬＬから最も距離の遠い象限（Ｄ１０〜Ｄ１２）の重み付けは０．８とする。
なお、図３では、説明を簡単にするために、表示装置１０４の表示画面ＤＤを１２個の象限（Ｄ１〜Ｄ１２）に区分しているが、本発明は、区分の数を１２に限定されるものではない。
また、表示装置１０４の表示画面ＤＤの大きさや、求める精度により、区分の数及び重み付けの係数を変えることができる。

図４は、本発明の第一の実施形態に係る入力装置において、各々のカメラからの視線位置を計算した後、重み付けの値によって、視線検出位置を算出する方法の概念図を示している。
仮に、左目からの視線検出位置を座標（ｘ_１，ｙ_１）とし、重み付け（ＷＬ）を０．８（ＷＬ＝０．８）とし、また、右目からの視線検出位置を座標（ｘ_２，ｙ_２）とし、重み付け（ＷＬ）を０．３とした場合（ＷＲ＝０．３）、使用者の視線中央位置の座標（ｘ，ｙ）は、（３）式と（４）式で求められる。

ｘ＝ｘ_２−（ｘ_１−ｘ_２）×（０．８／（０．８＋０．３））…（３）

ｙ＝ｙ_２−（ｙ_１−ｙ_２）×（０．８／（０．８＋０．３））…（４）

第一の実施形態では、２つのカメラ（左目用カメラ１０１と右目用カメラ１０２）を用いて、左目と、右目の各々の状態を撮影し、使用者の視線中央位置の座標を求めているため、瞼孔を楕円として検出できない期間（より具体的には、目をつむっている時間帯）をマウスのクリックに相当する動作として、左目の瞼を閉じると左クリック動作に対応し、右目の瞼を閉じると右クリック動作に対応すると判定することができる。

但し、この際、いずれか片方の目の瞼を閉じることで、重み付けの該片方の座標が消失することから、ポインティング位置がずれる可能性があるが、この点については、両目の楕円を検出できなくなった場合、ポインティング位置を、最後に両目の楕円を検出した位置から動かさないように処理する。
また、単純な瞬きをクリックと誤認識する可能性が有るが、この問題点については、楕円を検出できない期間（より具体的には、瞼を閉じている時間帯）が、所定の一定時間より短い場合は、クリックとして認識しないように、楕円を検出できない期間における閾値を設けることで回避するものとする。

第一の実施形態に係る入力装置によれば、２つのカメラを用いて左目、右目の各々から求めた視線の位置情報に重み付けを行なうことにより、精度が高い視線検出を行なうことができる。
また、左目と右目に対して、個別にカメラを少なくとも１つ対応させることで、左目と右目それぞれの画像認識処理を効率良く行なうことができ、更に、マウスの左クリック、右クリックに相当する動作を提供することができる。
さらに、ＰＣの操作を、使用者の視線（目の動き）によって行うことができることにより、病気などによって体を動かすのが不自由なユーザーや、ＰＣに不慣れなユーザーに対して、ＰＣ利用の利便性を向上することができる。
図８は、本発明の一実施形態に係る入力装置のＣＰＵ１０３の構成を１例を示すブロック図である。
図８に示す入力装置のＣＰＵ１０３は、左目の視線位置を検出する左目視線位置検出部１０３１と、右目の視線位置を検出する右目視線位置検出部１０３２と、左目の視線位置を座標値で決定する左目視線位置決定部１０３３と、右目の視線位置を座標値で決定する右目視線位置決定部１０３４と、左右の目の視線位置に予め重みを付与する（即ち、重み付けする）重み付け部１０３７と、左右の視線位置から中央視線位置を決定する視線位置決定部１０３８と、決定された中央視線位置を反映した情報入力を行う入力部１０３９と、を備えている。
重み付け部１０３７は、右目重み付け部１０３５と、左目重み付け部１０３６と、を備える。

（第二の実施形態）
第一の実施形態では、左目用と、右目用とに各々１つずつのカメラを使用し、計２つのカメラを使用するものであったが、第二の実施形態として、左目と右目の各々に対して、個別にそれぞれ複数のカメラを使用してもよく、これによって視線検出位置の精度を高めることができる。
また、第一の実施形態では、表示画面上をいくつかの象限に区分する方法を採用したが、第二の実施形態として、カメラと眼球の法線位置と、視線検出位置の距離に比例して重み付け係数を算出してもよい。
本願は、２０１１年４月７日に、日本に出願された特願２０１１−０８５２１０号に基づき優先権を主張し、その内容をここに援用する。

左目用と右目用との２つのカメラの各々の撮影データによる各々の視線検出位置に対して、それぞれの視線検出位置に応じて実証されている精度に基づく重み付けを行うことを可能にして、精度の高い視線位置を決定することができる入力装置を提供することができる。

１０１ 左目用カメラ
１０２ 右目用カメラ
１０３ ＣＰＵ
１０４ 表示装置（入力機能も備えたもの）
１０５ メモリ
１０３１ 左目視線位置検出部
１０３２ 右目視線位置検出部
１０３３ 左目視線位置決定部
１０３４ 右目視線位置決定部
１０３７ 重み付け部
１０３８ 視線位置決定部
１０３９ 入力部

Claims (10)

1. 表示装置の表示画面領域を複数の象限に分割すると共に、前記複数の象限の各々には使用者の右目の視線位置と左目の視線位置とにそれぞれ対応した、精度を示す重みの値を予め付与しておく重み付け部と、
   前記使用者の右目の視線位置を検出するために配された右目用カメラで撮影して得られた撮像データに基づいて、前記表示装置の表示画面上の、前記使用者の右目視線位置を検出して座標で示す右目視線位置検出部と、
   前記検出された右目視線位置に対応する前記の精度を示す重みを、前記右目視線位置の座標値に積算して右目視線決定位置の座標値を決定する右目視線位置決定部と、
   前記使用者の左目の視線位置を検出するために配された左目用カメラで撮影して得られた撮像データに基づいて、前記表示装置の表示画面上の、前記使用者の左目視線位置を検出して座標で示す左目視線位置検出部と、
   前記検出された左目視線位置に対応する前記の精度を示す重みを、前記左目視線位置の座標値に積算して左目視線決定位置の座標値を決定する左目視線位置決定部と、
   前記決定した右目視線の座標値と、前記決定した左目視線の座標値とに基づいて前記使用者の両目による中央視線位置を決定する視線位置決定部と、
   前記中央視線位置を反映した入力処理を行う入力部と、
   を備えたことを特徴とする入力装置。
2. 前記右目視線位置検出部及び前記左目視線位置検出部は、各々、視線位置の検出方法として楕円パラメータ法を用いることを特徴とする請求項１記載の入力装置。
3. 前記重み付け部は、前記使用者の右目に対応する前記精度を示す重みの値として、前記象限の内、前記右目用カメラと前記使用者の右目眼球とを結ぶ法線と距離が近い象限には大きな重み値を付与し、該法線と距離が遠い象限には小さな重み値を付与することを特徴とする請求項１または請求項２記載の入力装置。
4. 前記重み付け部は、前記使用者の左目に対応する前記精度を示す重みの値として、前記象限の内、前記左目用カメラと前記使用者の左目眼球とを結ぶ法線と距離が近い象限には大きな重み値を付与し、該法線と距離が遠い象限には小さな重み値を付与することを特徴とする請求項１乃至３のいずれか１項に記載の入力装置。
5. 前記右目視線位置決定部は、前記使用者の右目に対応する前記精度を示す重みの値として、前記重み付け部により付与された重みを使用することを特徴とする請求項３記載の入力装置。
6. 前記左目視線位置決定部は、前記使用者の左目に対応する前記精度を示す重みの値として、前記重み付け部により付与された重みを使用することを特徴とする請求項４記載の入力装置。
7. 前記右目視線位置決定部は、前記使用者の右目に対応して使用する前記精度を示す重みの値として、前記右目用カメラと前記使用者の右目眼球とを結ぶ法線と、前記右目視線位置検出部が検出した前記右目視線位置との間の距離が近い前記右目視線位置には大きな値を使用し、前記法線と前記視線位置との間の距離が遠い前記右目視線位置には小さな値を使用することを特徴とする請求項１記載の入力装置。
8. 前記左目視線位置決定部は、前記使用者の左目に対応して使用する前記精度を示す重みの値として、前記左目用カメラと前記使用者の左目眼球とを結ぶ法線と、前記左目視線位置検出部が検出した前記左目視線位置との間の距離が近い前記左目視線位置には大きな値を使用し、前記法線と前記視線位置との間の距離が遠い前記左目視線位置には小さな値を使用することを特徴とする請求項１記載の入力装置。
9. 表示装置の表示画面領域を複数の象限に分割すると共に、前記複数の象限の各々には使用者の右目の視線位置と左目の視線位置とにそれぞれ対応した、精度を示す重みの値を予め付与しておく重み付けステップと、
   前記使用者の右目の視線位置を検出するために配された右目用カメラで撮影して得られた撮像データに基づいて、前記表示装置の表示画面上の、前記使用者の右目視線位置を検出して座標で示す右目視線位置検出ステップと、
   前記検出された右目視線位置に対応する前記の精度を示す重みを、前記右目視線位置の座標値に積算して右目視線決定位置の座標値を決定する右目視線位置決定ステップと、
   前記使用者の左目の視線位置を検出するために配された左目用カメラで撮影して得られた撮像データに基づいて、前記表示装置の表示画面上の、前記使用者の左目視線位置を検出して座標で示す左目視線位置検出ステップと、
   前記検出された左目視線位置に対応する前記の精度を示す重みを、前記左目視線位置の座標値に積算して左目視線決定位置の座標値を決定する左目視線位置決定ステップと、
   前記決定した右目視線の座標値と、前記決定した左目視線の座標値とに基づいて前記使用者の両目による中央視線位置を決定する視線位置決定ステップと、
   前記中央視線位置を反映した入力処理を行う入力ステップと、
   を有することを特徴とする入力方法。
10. 表示装置の表示画面領域を複数の象限に分割すると共に、前記複数の象限の各々には使用者の右目の視線位置と左目の視線位置とにそれぞれ対応した、精度を示す重みの値を予め付与しておく重み付けステップと、
    前記使用者の右目の視線位置を検出するために配された右目用カメラで撮影して得られた撮像データに基づいて、前記表示装置の表示画面上の、前記使用者の右目視線位置を検出して座標で示す右目視線位置検出ステップと、
    前記検出された右目視線位置に対応する前記の精度を示す重みを、前記右目視線位置の座標値に積算して右目視線決定位置の座標値を決定する右目視線位置決定ステップと、
    前記使用者の左目の視線位置を検出するために配された左目用カメラで撮影して得られた撮像データに基づいて、前記表示装置の表示画面上の、前記使用者の左目視線位置を検出して座標で示す左目視線位置検出ステップと、
    前記検出された左目視線位置に対応する前記の精度を示す重みを、前記左目視線位置の座標値に積算して左目視線決定位置の座標値を決定する左目視線位置決定ステップと、
    前記決定した右目視線の座標値と、前記決定した左目視線の座標値とに基づいて前記使用者の両目による中央視線位置を決定する視線位置決定ステップと、
    前記中央視線位置を反映した入力処理を行う入力ステップと、
    を有することを特徴とする、入力装置を制御するためのコンピュータプログラム。

Images