JP6079418B2 - 入力装置および入力プログラム - Google Patents

Description

本発明は、入力装置等に関する。

利用者が電車内でつり革を持っている場合や、バッグや傘を持った状態で携帯端末を操作しようとすると、片手がふさがっているため、利用者は快適に携帯電話のタッチパネルを操作することができない。ここで、視線インターフェース等の技術を用いれば、片手がふさがっている状態でも、利用者はタッチパネルの操作を行うことができる。

従来技術では、利用者が視線インターフェースで操作を行う場合に、利用者の視線位置を検出して、入力を補助するためのガイドを表示する技術が開示されている。係る従来技術では、視線位置がガイドの表示位置から所定の範囲以内の場合には、ガイドの表示位置を固定することで、効率的にガイドの項目を選択することができる。

図７は、従来技術の一例を説明するための図である。図７に示すように、従来技術は、視線位置１０ａを検出し、視線位置１０ａに対応するガイド１０ｂを表示させる。従来技術は、視線位置１０ａがガイド１０ｂの表示位置から所定の範囲以内の場合には、ガイド１０ｂの表示位置を固定する。利用者は、ガイド１０ｂが表示された後、所定のタッチ操作を行うことで、ガイド１０ｂ内の項目を選択する。例えば、利用者が項目「拡大」を選択する場合には、親指１０ｃで、タッチパネル２０上のいずれかの領域で右回りの円を描くタッチ操作を行う。

特開２０００−２５０６７７号公報

しかしながら、上述した従来技術では、視線インターフェースによって操作可能な項目が分かり難いという問題がある。

例えば、従来技術のように、視線位置がガイドの表示位置から所定の範囲以内の場合に、ガイドの表示位置を固定すると、ガイドの操作を視線インターフェースで選択出来ない場合であっても、利用者が視線インターフェースでの操作を試みてしまう場合があった。この問題は、視線インターフェースに限らず、画面上の位置を指定する各種の入力手段によっても同様に発生する問題である。

１つの側面では、入力手段によって操作可能な項目を分かりやすくできる入力装置および入力プログラムを提供することを目的とする。

第１の案では、入力装置は、第１の入力手段と、候補表示部と、表示制御部とを有する。第１の入力手段は、画面上の位置を指定する。候補表示部は、第１の入力手段で指定された位置に対応する入力候補の表示を行う。表示制御部は、候補表示部が表示する入力候補と、該入力候補に対応する入力手段とを関連づけた情報を格納するデータベースを基にして、候補表示部が表示する入力候補に前記第１の入力手段に対応する入力候補が存在しないか否かを判定する。表示制御部は、入力手段に対応する入力候補が存在しない場合に、第１の入力手段により指定される位置が、閾値を超えて入力候補に近接すると、入力候補を第１の入力手段により指定される位置から遠ざける。

第１の案では、入力手段によって操作可能な項目を分かりやすくできるという効果を奏する。

図１は、本実施例に係る入力装置の構成を示す機能ブロック図である。 図２は、対応テーブルのデータ構造の一例を示す図である。 図３は、本実施例に係る表示制御部の処理を説明するための図（１）である。 図４は、本実施例に係る表示制御部の処理を説明するための図（２）である。 図５は、本実施例に係る入力装置の処理手順を示すフローチャートである。 図６は、入力プログラムを実行するコンピュータの一例を示す図である。 図７は、従来技術の一例を説明するための図である。

以下に、本願の開示する入力装置および入力プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

本実施例に係る入力装置の構成について説明する。図１は、本実施例に係る入力装置の構成を示す機能ブロック図である。図１に示すように、この入力装置１００は、通信部１１０、カメラ１２０、光源１３０、タッチパネル１４０、記憶部１５０、制御部１６０を有する。なお、その他の構成は、周知のタブレット端末等と同様であるため、ここでは説明を省略する。

通信部１１０は、ネットワークに接続して他の装置とデータ通信を実行する処理部である。例えば、通信部１１０は、無線通信装置に対応する。後述する制御部１６０は、通信部１１０を介して、ネットワーク上の外部装置等とデータ通信を実行する。

カメラ１２０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いた撮像装置である。カメラ１２０は、撮像範囲に含まれる被写体の画像を撮影し、撮影した被写体の画像データを、制御部１６０に出力する。

例えば、カメラ１２０は、画像を撮影するタイミングで、光源１３０を制御し、被写体に赤外線を照射させる。カメラ１２０が撮影する被写体に利用者の眼球が含まれる場合には、網膜上の光の反射がカメラ１２０によって捉えられ、眼球の瞳孔部分が他の部分よりも明るく写った画像が得られる。なお、上記のカメラ１２０は、入力装置１００の出荷時から搭載されているカメラを利用しても良いし、外部接続されたデジタルカメラ等を利用しても良い。

光源１３０は、カメラ１２０の制御命令に応答して、赤外線を照射する装置である。

タッチパネル１４０は、表示と入力の２つの機能を備えたインターフェースである。タッチパネル１４０は、制御部１６０から出力される情報を表示する。例えば、タッチパネル１４０は、制御部１６０によって指定された位置にカーソルを表示させる。また、タッチパネル１４０は、タッチ操作を受け付けた場合に、触れられた画面位置の情報を制御部１６０に出力する。

記憶部１５０は、例えば、表示画面データ１５１、対応テーブル１５２を記憶する。記憶部１５０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置に対応する。

表示画面データ１５１は、タッチパネル１４０に表示される画面の情報である。例えば、タッチパネル１４０にＷｅｂページの情報を表示する場合は、表示画面データ１５１には、Ｗｅｂページのソースコードが含まれる。また、表示画面データ１５１には、タッチパネル１４０に表示されるタッチパネル１４０上の位置と、該位置に対応する入力候補の項目とを対応付けた情報を含む。

対応テーブル１５２は、入力候補の項目と、該項目を選択可能な入力手段とを関連付けたテーブルである。図２は、対応テーブルのデータ構造の一例を示す図である。図２に示すように、この対応テーブル１５２は、入力候補の項目と、入力手段とを対応付ける。例えば、項目「項目ＡＡ」は入力手段「タッチ操作」によって選択できる旨が示される。すなわち、項目「項目ＡＡ」は、視線入力によって操作できない項目である。

制御部１６０は、テーブル生成部１６１、視線位置検出部１６２、タッチ検出部１６３、表示制御部１６４を有する。例えば、制御部１６０は、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、制御部１６０は、例えば、ＣＰＵやＭＰＵ（Micro Processing Unit）等の電子回路に対応する。

テーブル生成部１６１は、表示画面データ１５１を基にして、対応テーブル１５２を生成する処理部である。例えば、テーブル生成部１６１は、表示画面データ１５１を走査して、入力候補の項目と、該入力候補の項目に対応する入力手段との関係を判定し、判定結果を基にして、対応テーブル１５２を生成する。なお、予め所定の対応テーブルを、対応テーブル１５２として、記憶部１５０に記憶させておいても良い。

視線位置検出部１６２は、タッチパネル１４０上の視線位置を検出する処理部である。視線位置検出部１６２は、視線位置の情報を表示制御部１６４に出力する。例えば、視線位置検出部１６２は、カメラ１２０によって出力された被写体の画像に角膜反射法などのアルゴリズムを適用し、眼球の瞳孔の中心位置から視線の方向が指す視点の位置を検出する。係る視点の位置を、本実施例では視線位置とする。

なお、ここでは、角膜反射法を用いて視線位置を検出する場合について説明したが、他の方法を用いて視線位置を検出しても良い。例えば、入力装置１００は、タッチパネル１４０の画面を分割し、分割した領域を見る眼の形状を学習しておき、カメラ１２０から入力される画像から抽出した眼の形状とテンプレートマッチングを実行することによって、視線位置を検出しても良い。また、入力装置１００は、視線の位置を検出するヘッドセットを利用者に装着させ、ヘッドセットによって検出された視線の位置を取得しても良い。

タッチ検出部１６３は、タッチパネル１４０上のタッチ操作の行われた位置情報を検出する処理部である。タッチ検出部１６３は、タッチ操作の行われた位置情報を、表示制御部１６４に出力する。

表示制御部１６４は、表示画面データ１５１に対応する表示画像をタッチパネル１４０に表示する処理部である。表示制御部１６４は、候補表示部および表示制御部に対応するものである。表示制御部１６４は、視線位置と、表示画面データ１５１で定義された位置および入力候補の項目とを基にして、視線位置に対応する入力候補の項目を特定し、特定した入力候補の項目を表示する。

図３は、本実施例に係る表示制御部の処理を説明するための図（１）である。例えば、視線位置３０に対応する入力候補の項目が項目４０である場合には、表示制御部１６４は、タッチパネル１４０上に、項目４０を表示する。

表示制御部１６４は、対応テーブル１５２を参照し、タッチパネル１４０上に表示した入力候補の項目が、視線入力に対応しているか否かを判定する。入力候補の項目が、視線入力に対応している場合の、表示制御部１６４の処理について説明する。表示制御部１６４は、視線位置と入力候補の項目との距離が閾値未満の間は、入力候補の項目の位置を固定する。そして、表示制御部１６４は、視線位置と入力候補の項目との位置が重なった場合に、入力候補の項目が選択されたと判定し、選択された項目に応じた各種の処理を実行する。

続いて、入力候補の項目が、視線入力に対応していない場合の、表示制御部１６４の処理について説明する。この場合には、入力候補の項目は、視線入力で操作できないことを示す。表示制御部１６４は、視線位置と、入力候補の項目の位置との距離が、閾値未満とならないように、入力候補の項目の位置を、視線位置から遠ざける処理を行う。

図４は、本実施例に係る表示制御部の処理を説明するための図（２）である。例えば、表示制御部１６４は、図４の１Ａ，１Ｂに示すように、視線位置３０と、入力候補の項目４０との距離が所定の閾値未満とならないように、入力候補の項目４０の位置を、視線位置３０から遠ざける。ただし、表示制御部１６４は、視線位置３０を基準とした領域５０内で、項目４０を移動させる。例えば、領域５０の大きさは、利用者の中心視野に含まれる大きさに設定される。

表示制御部１６４は、図４の１Ｃに示すように、入力候補の項目４０が複数の項目を含んでいる場合には、項目４０を２つに分解して項目４１，４２とする。表示制御部１６４は、入力候補の各項目４１，４２の位置を、視線位置３０から遠ざける。ただし、表示制御部１６４は、視線位置３０を基準とした領域５０内で、項目４１，４２を移動させる。領域５０に関する説明は上記のものと同様である。

表示制御部１６４は、図４の１Ｄに示すように、入力候補の項目４０が複数の項目を含んでいる場合には、各項目を個別に分解して、項目４３，４４，４５，４６とする。表示制御部１６４は、入力候補の各項目４３〜４６の位置を、視線位置３０から遠ざける。ただし、表示制御部１６４は、視線位置３０を基準とした領域５０内で、項目４３〜４６を移動させる。領域５０に関する説明は上記のものと同様である。

なお、表示制御部１６４は、視線位置が、入力候補の項目の位置から所定距離以上離れた状態が所定時間以上となる場合には、現在表示中の入力候補の項目をタッチパネル１４０上から消去する。そして、表示制御部１６４は、現在の視線位置に対応する入力候補の項目を再表示する。

また、表示制御部１６４は、タッチ検出部１６３からタッチ操作の行われた位置情報を取得し、位置情報に対応した各種の処理を実行する。例えば、図３において、入力候補の項目４０に対応する入力手段がタッチ操作であり、入力候補の項目４０に対してタッチ操作が行われた場合には、表示制御部１６４は、入力候補の項目４０が選択されたと判定し、項目に応じた各種の処理を実行する。

次に、本実施例に係る入力装置１００が入力候補の項目の位置を制御する処理手順について説明する。図５は、本実施例に係る入力装置の処理手順を示すフローチャートである。例えば、図５に示す処理は、視線位置を検出したことを契機にして処理を開始する。

図５に示すように、入力装置１００は、視線位置を検出し（ステップＳ１０１）、視線位置に対応する入力候補の項目を検出する（ステップＳ１０２）。入力装置１００は、入力候補の項目の表示位置を決定する（ステップＳ１０３）。

入力装置１００は、入力候補の項目上に視線位置が存在するか否かを判定する（ステップＳ１０４）。入力装置１００は、入力候補の項目上に視線位置が存在しない場合には（ステップＳ１０４，Ｎｏ）、ステップＳ１０１に移行する。

入力装置１００は、入力候補の項目上に視線位置が存在する場合には（ステップＳ１０４，Ｙｅｓ）、入力候補の項目の位置を移動し（ステップＳ１０５）、ステップＳ１０１に移行する。入力装置１００は、ステップＳ１０５において、入力候補の項目の位置との距離が、閾値未満とならないように、入力候補の項目の位置を、視線位置から遠ざける。

次に、本実施例に係る入力装置１００の効果について説明する。入力装置１００は、入力候補が視線入力に対応していない場合に、視線位置が閾値を超えて入力候補の項目に近接すると、入力候補をより視線位置から遠ざける制御を行う。このため、入力装置１００によれば、視線インターフェースによって操作可能な項目を分かりやすくすることができる。例えば、利用者が視線インターフェースで、項目を選択しようとしても、かかる項目が視線位置から離れていくため、容易に、視線インターフェースで選択できないことを理解できる。

また、入力装置は、視線位置を基準とした中心視野の範囲に対応する領域内に入力候補の項目を表示するため、視線位置から入力候補の項目を遠ざけつつ、かかる入力候補の項目を利用者に確認させることができる。

また、入力装置１００は、視線位置が入力候補から所定距離以上離れた状態が所定時間以上となる場合に、現在表示中の入力候補を画面上から消去し、視線位置に対応する入力候補を再表示する。このため、利用者の興味のない入力候補の項目が表示され続けることを防止することができる。

なお、入力装置１００の表示制御部１６４は、入力候補の項目を透過表示しても良い。このように、表示制御部１６４が、入力候補の項目を透過表示することで、入力候補の項目と重なってタッチパネル１４０に表示される部分が見えなくなることを防止できる。

ところで、本実施例では一例として、視線入力と、入力候補の項目とが対応していない場合に、入力候補の項目を視線位置から遠ざけたがこれに限定されるものではない。例えば、ある入力手段と、入力候補の項目が対応していない場合に、係る入力手段によって指定される位置から、入力候補の項目を遠ざけてもよい。例えば、ある入力手段は、マウス、タッチ入力、傾きを利用した入力装置等であっても良い。

次に、上記の実施例に示した入力装置と同様の機能を実現する支援プログラムを実行するコンピュータの一例を説明する。図６は、入力プログラムを実行するコンピュータの一例を示す図である。

図６に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付けると共に、各種の情報を表示するタッチパネル３０２を有する。コンピュータ３００は、記憶媒体からプログラム等を読取る読み取り装置３０３と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインターフェース装置３０４とカメラ３０５とを有する。コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、記憶装置３０７を有する。そして、各装置３０１〜３０７は、バス３０７に接続される。

記憶装置３０７は、入力プログラム３０７ａ、候補表示プログラム３０７ｂ、表示制御プログラム３０７ｃを有する。ＣＰＵ３０１は、各プログラム３０７ａ，３０７ｂ，３０７ｃを読み出してＲＡＭ３０６に展開する。

入力プログラム３０７ａは、入力プロセス３０６ａとして機能する。候補表示プログラム３０７ｂは、候補表示プロセス３０６ｂとして機能する。表示制御プログラム３０７ｃは、表示制御プロセス３０６ｃとして機能する。

例えば、入力プロセス３０６ａは、視線位置検出部１６２に対応する。候補表示プロセス３０６ｂおよび表示制御プロセス３０６ｃは、表示制御部１６４に対応する。

なお、各プログラム３０７ａ〜３０７ｃについては、必ずしも最初から記憶装置３０７に記憶させておかなくてもよい。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００がこれらから各プログラム３０７ａ〜３０７ｃを読み出して実行するようにしてもよい。

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）画面上の位置を指定する第１の入力手段と、
前記第１の入力手段で指定された位置に対応する入力候補の表示を行う候補表示部と、
前記候補表示部が表示する入力候補と、該入力候補に対応する入力手段とを関連づけた情報を格納するデータベースを基にして、前記候補表示部が表示する入力候補に前記第１の入力手段に対応する入力候補が存在しない場合に、前記第１の入力手段により指定される位置が、閾値を超えて前記候補表示部が表示する入力候補に近接すると、前記候補表示部が表示する入力候補を前記第１の入力手段により指定される位置から遠ざける表示制御部と
を有することを特徴とする入力装置。

（付記２）前記第１の入力手段は、画面上の視線位置を検出し、前記候補表示部は、前記視線位置を基準とした中心視野の範囲に対応する領域内に前記入力候補を表示し、前記表示制御部は、前記候補表示部が表示する入力候補を、前記第１の入力手段が検出する視線位置から遠ざけることを特徴とする付記１に記載の入力装置。

（付記３）前記候補表示部は、前記視線位置が前記入力候補から所定距離以上離れた状態が所定時間以上となる場合に、現在表示中の入力候補を画面上から消去し、前記視線位置に対応する入力候補を再表示することを特徴とする付記２に記載の入力装置。

（付記４）前記候補表示部は、前記入力候補を透過表示することを特徴とする付記１、２または３に記載の入力装置。

（付記５）コンピュータに、
第１の入力手段により、画面上の位置の指定された位置に対応する入力候補を表示し、
前記入力候補と、該入力候補に対応する入力手段とを関連づけた情報を格納するデータベースを参照して、前記入力候補に前記第１の入力手段に対応する入力候補が存在しない場合に、前記第１の入力手段により指定される位置が、閾値を超えて前記入力候補に近接すると、前記入力候補を前記第１の入力手段により指定される位置から遠ざける
各処理を実行させることを特徴とする入力プログラム。

（付記６）前記入力候補を表示する処理は、前記視線位置を基準とした中心視野の範囲に対応する領域内に前記入力候補を表示し、前記入力候補を、前記視線位置から遠ざけることを特徴とする付記５に記載の入力プログラム。

（付記７）前記入力候補を表示する処理は、前記視線位置が前記入力候補から所定距離以上離れた状態が所定時間以上となる場合に、現在表示中の入力候補を画面上から消去し、前記視線位置に対応する入力候補を再表示することを特徴とする付記６に記載の入力プログラム。

（付記８）前記入力候補を表示する処理は、入力候補を透過表示することを特徴とする付記５、６または７に記載の入力プログラム。

１００ 入力装置
１６０ 制御部
１６２ 視線位置検出部
１６４ 表示制御部

Claims (5)

1. 画面上の位置を指定する第１の入力手段と、
   前記第１の入力手段で指定された位置に対応する入力候補の表示を行う候補表示部と、
   前記候補表示部が表示する入力候補と、該入力候補に対応する入力手段とを関連づけた情報を格納するデータベースを基にして、前記候補表示部が表示する入力候補に前記第１の入力手段に対応する入力候補が存在しない場合に、前記第１の入力手段により指定される位置が、閾値を超えて前記候補表示部が表示する入力候補に近接すると、前記候補表示部が表示する入力候補を前記第１の入力手段により指定される位置から遠ざける表示制御部と
   を有することを特徴とする入力装置。
2. 前記第１の入力手段は、画面上の視線位置を検出し、前記候補表示部は、前記視線位置を基準とした中心視野の範囲に対応する領域内に前記入力候補を表示し、前記表示制御部は、前記候補表示部が表示する入力候補を、前記第１の入力手段が検出する視線位置から遠ざけることを特徴とする請求項１に記載の入力装置。
3. 前記候補表示部は、前記視線位置が前記入力候補から所定距離以上離れた状態が所定時間以上となる場合に、現在表示中の入力候補を画面上から消去し、前記視線位置に対応する入力候補を再表示することを特徴とする請求項２に記載の入力装置。
4. 前記候補表示部は、前記入力候補を透過表示することを特徴とする請求項１、２または３に記載の入力装置。
5. コンピュータに、
   第１の入力手段により、画面上の位置の指定された位置に対応する入力候補を表示し、
   前記入力候補と、該入力候補に対応する入力手段とを関連づけた情報を格納するデータベースを参照して、前記入力候補に前記第１の入力手段に対応する入力候補が存在しない場合に、前記第１の入力手段により指定される位置が、閾値を超えて前記入力候補に近接すると、前記入力候補を前記第１の入力手段により指定される位置から遠ざける
   各処理を実行させることを特徴とする入力プログラム。

Images