JP6070833B2 - 入力装置及び入力プログラム - Google Patents

Description

本発明は、入力装置等に関する。

画面上のカーソル位置を移動させる方法として、キーボードやマウスなどの他に、視線入力、傾き入力等がある。このうち視線入力は、マウスでカーソルを移動させる場合や傾き入力と比較して、遠い位置にカーソルをより早く移動させることが可能である。

ここで、視線入力では視線の位置にブレが生じるため、細かい位置の指定はマウスでカーソルを移動させる場合と比較してやりづらい。

そこで、大まかな位置の指定は他の方法と比べて有利だが、細部の位置の指定は他の方法と比べると不利な方法と、大まかな位置の指定は他の方法に比べて不利だが、細部の位置の指定は他の方法と比べると有利な方法とを組み合わせることが考えられる。例えば、大まかな位置の指定を、視線入力で行い、細かな位置の指定をマウスやキーボードで行うことが考えられる。

特開２００９−６４３９５号公報 特開２００９−２５１６５８号公報 特開２００７−１２１４８９号公報 特開平１１−９５９１０号公報

しかしながら、上述した従来技術では、利用者の意図しない位置を指定してしまうという問題がある。

例えば、大まかな位置の指定を視線入力で指定し、細かな位置の指定をマウスで指定する場合について説明する。視線入力は、利用者が格段の操作をしない限り、常に位置を指定する指示がなされていると判断されてしまう。このため、複数の位置指定の方法を組み合わせた場合に、他の方法で細部の位置を指定した後に、視線入力などの方法に切り替えると、他の方法で指定をした位置を移動させる意図がないときでも、別の位置に移動してしまう場合がある。

１つの側面では、利用者の意図しない位置を指定することを防止できる入力装置及び入力プログラムを提供することを目的とする。

第１の案では、入力装置は、視線位置検出部と、表示制御部とを有する。視線位置検出部は、画面上の視線位置を検出する。表示制御部は、現在の指定位置と、視線位置検出部が検出した視線位置とを比較し、指定位置と前記視線位置との距離が閾値以上となるまで、カーソル位置を前記指定位置に固定する。

本発明の１実施態様によれば、利用者の意図しない位置を指定することを防止できるという効果を奏する。

図１は、本実施例１に係る入力装置の構成を示す図である。 図２は、本実施例１に係る表示制御部の処理を説明するための図である。 図３は、本実施例１に係る入力装置の処理手順を示すフローチャートである。 図４は、本実施例２に係る入力装置の構成を示す図である。 図５は、本実施例２に係る表示制御部の処理を説明するための図である。 図６は、本実施例２に係る入力装置の処理手順を示すフローチャートである。 図７は、入力プログラムを実行するコンピュータの一例を示す図である。

以下に、本発明にかかる入力装置及び入力プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

本実施例１に係る入力装置の構成について説明する。図１は、本実施例１に係る入力装置の構成を示す図である。図１に示すように、この入力装置１００は、カメラ１１０、光源１２０、タッチパネル１３０、センサ１４０、通信部１５０を有する。なお、その他の構成は、周知のタブレット端末と同様であるため、ここでは説明を省略する。

カメラ１１０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いた撮像装置である。カメラ１１０は、撮像範囲に含まれる被写体の画像を撮影し、撮影した被写体の画像データを、制御部１７０に出力する。

例えば、カメラ１１０は、画像を撮影するタイミングで、光源１２０を制御し、被写体に赤外線を照射させる。カメラ１１０が撮影する被写体に利用者の眼球が含まれる場合には、網膜上の光の反射がカメラ１１０によって捉えられ、眼球の瞳孔部分が他の部分よりも明るく写った画像が得られる。なお、上記のカメラ１１０は、入力装置１００の出荷時から搭載されているカメラを利用しても良いし、外部接続されたデジタルカメラ等を利用しても良い。

光源１２０は、カメラ１１０の制御命令に応答して、赤外線を照射する装置である。

タッチパネル１３０は、表示と入力の二つの機能を備えたインターフェースである。タッチパネル１３０は、制御部１７０から出力される情報を表示する。例えば、タッチパネル１３０は、制御部１７０によって指定された位置にカーソルを表示させる。また、タッチパネル１３０は、タッチ操作を受け付けた場合に、触れられた画面位置の情報を制御部１７０に出力する。

センサ１４０は、加速による質量の位置変化を捉えることで、入力装置１００の上下左右方向の加速度を計測するセンサである。センサ１４０は、計測した加速度の情報を、制御部１７０に出力する。

通信部１５０は、ネットワークに接続して他の装置とデータ通信を実行する処理部である。例えば、通信部１５０は、無線通信装置に対応する。後述する制御部１７０は、通信部１５０を介して、ネットワーク上の外部装置等とデータ通信を実行する。

記憶部１６０は、各種の情報を記憶する記憶装置である。例えば、記憶部１６０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置に対応する。

制御部１７０は、視線位置検出部１７１、傾き検出部１７２、表示制御部１７３を有する。例えば、制御部１７０は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、制御部１７０は、例えば、ＣＰＵやＭＰＵ（Micro Processing Unit）等の電子回路に対応する。

視線位置検出部１７１は、タッチパネル１３０上の視線位置を検出する処理部である。視線位置検出部１７１は、視線位置の情報を表示制御部１７３に出力する。例えば、視線位置検出部１７１は、カメラ１１０によって出力された被写体の画像に角膜反射法などのアルゴリズムを適用し、眼球の瞳孔の中心位置から視線の方向が指す視点の位置を検出する。係る視点の位置を、本実施例では視線位置とする。

なお、ここでは、角膜反射法を用いて視線位置を検出する場合について説明したが、他の方法を用いて視線位置を検出しても良い。例えば、入力装置１００は、タッチパネル１３０の画面を分割し、分割した領域を見る眼の形状を学習しておき、カメラ１１０から入力される画像から抽出した眼の形状とテンプレートマッチングを実行することによって、視線位置を検出しても良い。また、入力装置１００は、視線の位置を検出するヘッドセットを利用者に装着させ、ヘッドセットによって検出された視線の位置を取得しても良い。

傾き検出部１７２は、センサ１４０から加速度の情報を取得し、取得した加速度の情報を傾きに変換する処理部である。例えば、傾き検出部１７２は、加速度の値と、傾きの方向及び大きさとを対応付けた変換テーブルを保持し、係る変換テーブルを基にして、加速度の値を傾きの方向および大きさに変換する。以下の説明では、傾きの方向および大きさをまとめて適宜、傾き情報と表記する。傾き検出部１７２は、傾き情報を、表示制御部１７３に出力する。

表示制御部１７３は、視線位置および傾き情報を基にして、カーソル位置を特定し、特定したカーソル位置に対応するタッチパネル１３０上の位置にカーソルを表示させる処理部である。また、表示制御部１７３は、周知のタブレット端末と同様にして、各種の画像をタッチパネル１３０に表示させる。

まず、表示制御部１７３が、視線位置に合わせてカーソルを移動させる処理の一例について説明する。表示制御部１７３は、現在のカーソル位置と、視線位置とを比較し、現在のカーソル位置と視線位置との距離が閾値以上となるまで、カーソル位置を固定する処理を実行する。

図２は、本実施例１に係る表示制御部の処理を説明するための図である。図２では説明の便宜上、現在のカーソル１０ａの位置を位置１Ａとする。表示制御部１７３は、位置１Ａを中心とする半径Ｒの円の領域２０に視線位置が存在するか否かによって、カーソル１０ａの位置を固定するか否かを判定する。表示制御部１７３は、視線位置が領域２０に含まれる場合には、カーソル１０ａの位置を固定し、視線位置が領域２０に含まれない場合には、カーソル１０ａの位置を、視線位置に移動させる。

図２において、表示制御部１７３は、視線位置が１Ｂである場合には、領域２０に視線位置が含まれるため、カーソル１０ａの位置を固定する。視線位置が領域２０に含まれる場合には、利用者の興味がカーソル１０ａ付近に存在することを意味する。ここで、視線位置に合わせてカーソル１０ａを移動させてしまうと、視線位置のブレによって、カーソル１０ａを移動させづらい。このため、表示制御部１７３は、視線位置に合わせてカーソル１０ａを移動させない。なお、後述するように、表示制御部１７３は、傾き検出部１７２から取得する傾き情報に合わせて、カーソル１０ａを移動させる。

図２において、表示制御部１７３は、視線位置が１Ｃである場合には、領域２０に視線位置が含まれていないため、カーソル１０ａの位置を、視線位置１Ｃに移動させる。視線位置が領域２０に含まれていない場合には、利用者の興味がカーソル１０ａ付近に存在しないことを意味するため、視線位置に合わせてカーソル１０ａを移動させても問題が無い。

続いて、表示制御部１７３が、傾き情報に合わせてカーソルを移動させる処理の一例について説明する。例えば、表示制御部１７３は、上記視線位置によるカーソルの移動処理を実行している間に、所定の切り替え指示を受け付けた場合に、傾き情報に合わせてカーソルを移動させる処理を開始する。例えば、表示制御部１７３は、タッチパネル１３０上に表示された開始ボタンが選択された場合や、傾きの大きさが閾値以上となった場合に、傾き情報に合わせてカーソルを移動させる処理を開始しても良い。

表示制御部１７３は、傾きの大きさとカーソルの移動量とを対応付けた対応テーブルを保持し、係る対応テーブルを基にして、カーソルを移動させる。カーソルの移動方向は、傾き情報に含まれる傾きの方向に合わせて移動させる。

表示制御部１７３は、上記図２に示したように、視線位置が１Ｂである場合には、領域２０に視線位置が含まれるため、カーソル１０ａの位置を固定する。しかしながら、この固定は、視線位置に対するカーソルの移動を固定することを意味する。すなわち、表示制御部１７３は、傾き情報に合わせてカーソルを移動させる処理を実行している間に、領域２０に視線位置が含まれる場合であっても、傾き情報に合わせてカーソル１０ａを移動させる。

表示制御部１７３は、タッチパネル１３０上の図示しない終了ボタンが選択された場合には、処理を終了する。

なお、表示制御部１７３は、視線位置によってカーソルの位置を移動させる処理を実行している間は、傾き検出部１７２の処理を一時的に停止させても良い。また、表示制御部１７３は、傾き情報によってカーソルの位置を移動させる処理を実行している間は、視線位置検出部１７１の処理を一時的に停止させても良い。

次に、本実施例１に係る入力装置１００の処理手順について説明する。図３は、本実施例１に係る入力装置の処理手順を示すフローチャートである。例えば、図３に示す処理は、利用者の視線位置を検出したことを契機にして、処理を開始する。

図３に示すように、入力装置１００は、視線位置を検出し（ステップＳ１０１）、視線位置にカーソルを表示する（ステップＳ１０２）。入力装置１００は、開始ボタンが選択されたか否かを判定する（ステップＳ１０３）。入力装置１００は、開始ボタンが選択されていない場合には（ステップＳ１０３，Ｎｏ）、ステップＳ１０１に移行する。

一方、入力装置１００は、開始ボタンが選択された場合には（ステップＳ１０３，Ｙｅｓ）、傾きを検出し（ステップＳ１０４）、傾き情報に応じてカーソルを移動させる（ステップＳ１０５）。入力装置１００は、視線位置を検出し（ステップＳ１０６）、視線位置とカーソル位置との距離が閾値以内であるか否かを判定する（ステップＳ１０７）。入力装置１００は、視線位置とカーソル位置との距離が閾値以内でない場合には（ステップＳ１０７，Ｎｏ）、ステップＳ１０２に移行する。

一方、入力装置１００は、視線位置とカーソル位置との距離が閾値以内である場合には（ステップＳ１０７，Ｙｅｓ）、カーソル位置を固定する（ステップＳ１０８）。入力装置１００は、終了ボタンが選択されていない場合には（ステップＳ１０９，Ｎｏ）、ステップＳ１０４に移行する。一方、入力装置１００は、終了ボタンが選択された場合には（ステップＳ１０９，Ｙｅｓ）、処理を終了する。

次に、本実施例１に係る入力装置１００の効果について説明する。入力装置１００は、タッチパネル１３０上の視線位置を検出し、現在のカーソル位置と、視線位置とを比較する。そして、入力装置１００は、現在のカーソル位置と、視線位置との距離が閾値以上となるまで、カーソル位置を固定する。このため、入力装置１００によれば、利用者の意図しない位置を指定することを防止できる。

また、入力装置１００は、カーソル位置と視線位置との距離が閾値以上となるまで、視線位置に応じたカーソル位置を停止し、傾き検出部１７２が検出した傾き情報に応じて、カーソル位置を移動させる。このため、入力装置１００によれば、利用者は視線によって大まかなカーソル位置を指定し、傾きによって、カーソル位置を微調整することが可能となる。

入力装置１００は、視線位置によってカーソルの位置を移動させる処理を実行している間は、傾き検出部１７２の処理を一時的に停止させる。また、入力装置１００は、傾き情報によってカーソルの位置を移動させる処理を実行している間は、視線位置検出部１７１の処理を一時的に停止させる。このため、入力装置１００は、省電力化を図ることが可能となる。

なお、表示制御部１７３は、傾きの代わりに、入力装置１００の移動方向によって、カーソルの位置を移動させても良い。すなわち、表示制御部１７３は、センサ１４０から加速度の情報を取得し、加速度と移動方向とを対応付けた対応テーブルを基にして、カーソルを移動させる。表示制御部１７３は、カーソル位置と視線位置との距離が閾値以上となるまで、視線位置に応じたカーソル位置を停止し、センサ１４０からの加速度に応じて、カーソル位置を移動させる。

本実施例２に係る入力装置の構成について説明する。図４は、本実施例２に係る入力装置の構成を示す図である。図４に示すように、この入力装置２００は、カメラ１１０、光源１２０、タッチパネル１３０、センサ１４０、通信部１５０を有する。なお、その他の構成は、周知のタブレット端末と同様であるため、ここでは説明を省略する。

カメラ１１０、光源１２０、タッチパネル１３０、センサ１４０、通信部１５０、記憶部１６０に関する説明は、図１に示したカメラ１１０、光源１２０、タッチパネル１３０、センサ１４０、通信部１５０、記憶部１６０の説明と同様である。このため、各装置１１０〜１６０に関する説明は省略する。

制御部２７０は、視線位置検出部１７１、傾き検出部１７２、表示制御部２７３を有する。視線位置検出部１７１、傾き検出部１７２に関する説明は、図１に示した視線位置検出部１７１、傾き検出部１７２と同様であるため、同様の記号を付して説明を省略する。

表示制御部２７３は、視線位置および傾き情報を基にして、カーソル位置を特定し、特定したカーソル位置に対応するタッチパネル１３０上の位置にカーソルを表示させる処理部である。

図５は、本実施例２に係る表示制御部の処理を説明するための図である。表示制御部２７３は、まず、視線位置検出部１７１が検出した視線位置に合わせてカーソル１０ａの位置を移動させる。図５において、視線位置が１Ｄの場合には、表示制御部２７３は、カーソル１０ａを、視線位置１Ｄに移動させる。

そして、表示制御部２７３は、利用者によって開始ボタン３０ａが選択された場合には、傾き検出部１７２から取得する傾き情報によってカーソル１０ａの位置を移動させる。表示制御部２７３が、傾き情報によってカーソル１０ａの位置を移動させる処理は、実施例１の表示制御部１７３と同様である。

また、表示制御部２７３は、傾き情報によってカーソル１０ａの位置を移動させる処理を実行している間に、開始ボタン３０ａが選択された場合には、視線位置に合わせてカーソル１０ａの位置を移動させる処理に切り替える。なお、表示制御部２７３は、利用者によって終了ボタン３０ｂが選択された場合には、処理を終了する。

次に、本実施例２に係る入力装置２００の処理手順について説明する。図６は、本実施例２に係る入力装置の処理手順を示すフローチャートである。例えば、図６に示す処理は、利用者の視線位置を検出したことを契機にして、処理を開始する。

図６に示すように、入力装置２００は、視線位置を検出し（ステップＳ２０１）、視線位置にカーソルを表示する（ステップＳ２０２）。入力装置２００は、開始ボタンが選択されたか否かを判定する（ステップＳ２０３）。入力装置２００は、開始ボタンが選択されていない場合には（ステップＳ２０３，Ｎｏ）、ステップＳ２０１に移行する。

一方、入力装置２００は、開始ボタンが選択された場合には（ステップＳ２０３，Ｙｅｓ）、傾きを検出し（ステップＳ２０４）、傾き情報に応じてカーソルを移動させる（ステップＳ２０５）。入力装置２００は、開始ボタンが選択されたか否かを判定する（ステップＳ２０６）。入力装置２００は、開始ボタンが選択された場合には（ステップＳ２０６，Ｙｅｓ）、ステップＳ２０１に移行する。

一方、入力装置２００は、開始ボタンが選択されていない場合には（ステップＳ２０６，Ｎｏ）、終了ボタンが選択されたか否かを判定する（ステップＳ２０７）。入力装置２００は、終了ボタンが選択されていない場合には（ステップＳ２０７，Ｎｏ）、ステップＳ２０４に移行する。一方、入力装置２００は、終了ボタンが選択された場合には（ステップＳ２０７，Ｙｅｓ）、カーソル位置を固定する（ステップＳ２０８）。入力装置２００は、カーソル位置を固定した後、カーソル位置に対応した各種の処理を実行する。

次に、本実施例２に係る入力装置２００の効果について説明する。入力装置２００は、視線位置検出部１７１が検出した視線位置にカーソル位置を移動させるのか、傾き検出部１７２が検出した傾きに応じてカーソル位置を移動させるのかを受け付け、カーソル位置を移動させる。このため、利用者は、視線により位置を指定するのか、傾きにより位置を指定するのかを選択でき、効率的に所望の位置にカーソルを移動させることができる。

なお、入力装置２００は、表示制御部２７３の処理と、表示制御部１７３の処理と組み合わせて実行しても良い。

次に、上記の実施例に示した入力装置と同様の機能を実現する支援プログラムを実行するコンピュータの一例を説明する。図７は、入力プログラムを実行するコンピュータの一例を示す図である。

図７に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付けると共に、各種の情報を表示するタッチパネル３０２を有する。コンピュータ３００は、記憶媒体からプログラム等を読取る読み取り装置３０３と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置３０４とを有する。コンピュータ３００は、カメラ３０５、加速度を検出するセンサ３０６を有する。コンピュータ３０７は、各種情報を一時記憶するＲＡＭ３０６と、記憶装置３０８を有する。そして、各装置３０１〜３０８は、バス３０９に接続される。

記憶装置３０８は、視線位置検出プログラム３０８ａ、傾き検出プログラム３０８ｂ、表示制御プログラム３０８ｃを有する。ＣＰＵ３０１は、各プログラム３０８ａ，３０８ｂ，３０８ｃを読み出してＲＡＭ３０７に展開する。

視線位置検出プログラム３０８ａは、視線位置検出プロセス３０７ａとして機能する。傾き検出プログラム３０８ｂは、傾き検出プロセス３０７ｂとして機能する。表示制御プログラム３０８ｃは、表示制御プロセス３０７ｃとして機能する。

例えば、視線位置検出プロセス３０７ａは、視線位置検出部１７１に対応する。傾き検出プロセス３０７ｂは、傾き検出部１７２に対応する。表示制御プロセス３０７ｃは、表示制御部１７３，２７３に対応する。

なお、各プログラム３０８ａ〜３０８ｃについては、必ずしも最初から記憶装置３０８に記憶させておかなくてもよい。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００がこれらから各プログラム３０８ａ〜３０８ｃを読み出して実行するようにしてもよい。

１００，２００ 入力装置
１７０，２７０ 制御部
１７１ 視線位置検出部
１７２ 傾き検出部
１７３ 表示制御部

Claims (5)

1. 画面上の視線位置を検出する視線位置検出部と、
   現在の指定位置と、視線位置検出部が検出した視線位置とを比較し、前記指定位置と前記視線位置との距離が閾値以上となるまで、カーソル位置を前記指定位置に固定し、前記指定位置と前記視線位置との距離が前記閾値以上でない場合であっても、自入力装置の傾き情報に応じて、前記カーソル位置を移動させる表示制御部と
   を有することを特徴とする入力装置。
2. 自入力装置の傾きを検出する傾き検出部を更に有し、
   前記表示制御部は、前記指定位置と前記視線位置との距離が閾値以上となるまで、前記視線位置に応じたカーソル位置を停止し、前記傾き検出部が検出した傾きに応じて、前記カーソル位置を移動させることを特徴とする請求項１に記載の入力装置。
3. 前記表示制御部は、前記視線位置に応じて前記カーソル位置を移動させる間は、前記傾き検出部の処理を停止し、前記傾きに応じて前記カーソル位置を移動させる間は、前記視線位置検出部の処理を停止することを特徴とする請求項２に記載の入力装置。
4. 前記表示制御部は、視線位置検出部が検出した視線位置に前記カーソル位置を移動させるのか、傾き検出部が検出した傾きに応じて前記カーソル位置を移動させるのかを示す制御情報を取得し、取得した制御情報を基にして、前記カーソル位置を移動させることを特徴とする請求項３に記載の入力装置。
5. コンピュータに、
   画面上の視線位置を検出し、
   現在の指定位置と、検出した視線位置とを比較し、前記指定位置と前記視線位置との距離が閾値以上となるまで、カーソル位置を前記指定位置に固定し、前記指定位置と前記視線位置との距離が前記閾値以上でない場合であっても、前記コンピュータの傾き情報に応じて、前記カーソル位置を移動させる
   各処理を実行することを特徴とする入力プログラム。

Images