JPWO2014207828A1 - 情報処理装置およびプログラム - Google Patents

Abstract

視線検出部は、使用者の視線を検出する。第１の領域決定部は、検出された視線の表示画面上の視線位置に基づき、使用者の動きによる入力方法を示す第１の情報を表示される、表示画面上の第１の領域を決定する。第１の表示制御部は、第１の領域に第１の情報を表示する。入力検出部は、使用者による入力を検出する。第２の領域決定部は、第１の領域外であって、第１の領域よりも視線位置から遠い点を含み、検出された入力における前記使用者の動きに応じた軌跡を示す第２の情報が表示される第２の領域を決定する。第２の表示制御部は、第２の領域に、第２の情報を表示する。これにより、使用者は、視線を動かさずに、入力ガイドおよび入力経過を参照しながら入力を行うことができる。

Description

本発明は、情報処理装置およびプログラムに関する。

携帯端末などの情報処理装置の高性能・機能化により、例えば携帯端末を様々な場面や用途で利用する機会が増えている。これにより、タッチパネルを搭載した携帯端末を持っている手で、そのまま入力も行いたいというような要求が増えてきている。このような要求は、例えば、電車で吊革を持っているとき、バッグや傘を持っているとき、横になりながら、などの場面で存在することが想定される。そのため、携帯端末を持ったままで入力を可能にするインタフェースが求められている。

例えば、使用者の注視箇所を検出して注視情報として生成し、注視情報に基づいて、使用者の入力を補助するためのガイド情報を提示する位置を求め、求められた位置にガイド情報を提示制御する技術が知られている。この技術により、使用者の注視箇所近傍にガイド情報が提示される（例えば、特許文献１参照）。

特開２０００−２５０６７７号公報

ところで、例えばタッチパネルにおける指の動きによる入力など、時間変化がある入力方法を用いる場合、どのような入力を行っているかを使用者が認識できるように、画面に指の動き等の表示をすることがある。しかし、例えば、入力可能な選択肢が複数あり、選択肢を選択するための入力方法を示す入力ガイドが表示される場合、入力ガイド上に入力された動きに関する表示を行ってしまうと、入力ガイドが見にくくなってしまう。入力操作を覚えていない場合には、途中で入力ガイドを見ることが困難になり、行いたい入力のための指の動き等が分からなくなってしまうことも考えられる。逆に、入力ガイドと入力された動きに関する表示とが離れすぎている場合には、使用者は視線を動かしてそれぞれを確認する必要が生じる。このように、入力ガイドと入力における動きに関する情報とを同時に確認できるように表示をレイアウトすることができないという問題がある。

ひとつの側面によれば、本発明の目的は、視線位置に基づく位置に表示した入力ガイドと動きによる入力経過とを視線を動かさずに同時に認識できるようにすることである。

ひとつの態様である情報処理装置は、視線検出部、第１の領域決定部、第１の表示制御部、入力検出部、第２の領域決定部、および第２の表示制御部を有している。視線検出部は、使用者の視線を検出する。第１の領域決定部は、検出された視線の表示画面上の視線位置に基づき、使用者の動きによる入力方法を示す第１の情報を表示される、表示画面上の第１の領域を決定する。第１の表示制御部は、第１の領域に第１の情報を表示する。入力検出部は、使用者による入力を検出する。第２の領域決定部は、第１の領域外であって、第１の領域よりも視線位置から遠い点を含み、検出された入力における前記使用者の動きに応じた軌跡を示す第２の情報が表示される第２の領域を決定する。第２の表示制御部は、第２の領域に、第２の情報を表示する。

実施形態の情報処理装置によれば、視線位置に基づく位置に表示した入力ガイドと動きによる入力経過とを視線を動かさずに同時に認識することが可能となる。

携帯端末装置のハードウエア構成の一例を示すブロック図である。 携帯端末装置の機能の一例を示すブロック図である。 本実施の形態による入力方法の一例を概念的に説明する図である。 本実施の形態による入力方法の一例を概念的に説明する図である。 表示領域の一例を示す図である。 表示位置決定情報の一例を示す図である。 携帯端末装置における入力処理を示すフローチャートである。 変形例１による入力表示例を示す図である。 ガイド表示領域と入力表示領域との変形例を示す図である。 ガイド表示領域と入力表示領域との変形例を示す図である。 ガイド表示領域と入力表示領域との変形例を示す図である。 標準的なコンピュータのハードウエア構成の一例を示すブロック図である。

以下、図面を参照しながら、一実施の形態による携帯端末装置１について説明する。図１は、携帯端末装置１のハードウエア構成の一例を示すブロック図、図２は、携帯端末装置１の機能の一例を示すブロック図である。

携帯端末装置１は、演算処理装置３、記憶部５、通信部１１、アンテナ１３、音声入出力部１５、スピーカ１７、マイク１９、視線検出装置２１、タッチパネル２３、表示部２５などを有している。携帯端末装置１は、例えば、多機能携帯電話機、タブレット型コンピュータ等である。

演算処理装置３は、携帯端末装置１における動作に伴うデータの処理を行う演算処理装置である。記憶部５は、情報を記憶する記憶装置であり、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）７、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）９を有している。ＲＯＭ７は、随時読み出し可能な記憶装置であり、携帯端末装置１に所定の処理を実行させるためのプログラムを記憶するようにしてもよい。ＲＡＭ９は、随時読み出し及び書込可能な記憶装置であり、演算結果などの情報を記憶するようにしてもよい。

無線部１１は、外部へ通信する情報を変換して、アンテナ１３を介して無線通信により送信するための信号を生成したり、アンテナ１３により受信された信号を変換して演算処理装置３に出力したりする装置である。アンテナ１３は、電波を送信及び受信する装置である。無線通信は、例えば、３ｒｄ Ｇｅｎｅｒａｔｉｏｎ（３Ｇ）回線、ＷｉＦｉ（商標）通信である。

音声入出力部１５は、音声により出力する情報を変換してスピーカ１７に出力するとともに、マイク１９からの入力信号を変換して演算処理装置３に出力する装置である。スピーカ１７は、電気信号を変換して音声を出力する装置である。マイク１９は、音声を収音し、電気信号に変換する装置である。

視線検出装置２１は、例えば、カメラと光源などを有することができる。視線検出装置２１は、例えば、使用者の目を撮影することにより視線を検出する。タッチパネル２３は、接触により情報の入力を行う装置である。表示部２５は、情報を表示する例えば液晶表示装置である。

図２に示すように、携帯端末装置１は、視線検出部３１、操作対象検出部３３、ガイド作成部３５、表示位置決定部３７、ガイド表示部３９、入力検出部４１、入力表示領域決定部４３、入力表示部４５、表示位置決定情報４７を有している。これらの機能は、例えばＲＡＭ９に記憶されたプログラムを演算処理装置３が読み込んで実行することにより実現される。

視線検出部３１は、視線検出装置２１により取得された、例えば使用者の目の画像を解析することにより、視線を検出する。視線の検出は、例えば、タッチパネル２３等を介して視線検出の開始が入力されると、開始される。操作対象検出部３３は、視線検出部３１により検出された視線に基づき、表示部２５上の視線位置を検出し、視線の位置に表示された対象を操作対象として検出する。

ガイド作成部３５は、検出された操作対象に対して可能な処理に応じた選択肢と、その選択肢に対応する入力方法とを示す入力ガイドを作成する。表示位置決定部３７は、作成された入力ガイドを表示する位置を決定する。表示位置決定部３７は、例えば、視線検出部３１が検出した視線位置に、ガイド作成部３５が作製した入力ガイドの中心がくるように表示位置を決定してもよい。表示位置決定部３７は、視線検出部３１が検出した視線位置に基づき表示を行うある範囲を設定することが好ましい。

ガイド表示部３９は、表示位置決定部３７が決定した位置に、作成された入力ガイドを表示する。このときガイド表示部３９は、表示位置決定部３７により設定された範囲に収まるように、入力ガイドを表示してもよい。入力ガイドは、選択肢を選択するための例えば、タッチパネル２３上の指の動きなど、入力のための動きに応じた軌跡を含むことが好ましい。

入力検出部４１は、入力ガイドに表示された選択肢のいずれかを選択するための入力を検出する。入力表示領域決定部４３は、検出された入力に応じた軌跡の表示を行う領域を決定する。入力表示領域決定部４３は、表示位置決定部３７により決定された位置または範囲に表示される入力ガイドと重ならないように、表示領域を決定することが好ましい。なお、動きを表示する場合には、文字を認識する必要のある情報よりも視線から離れた位置でも認識できることが知られている。そこで、入力ガイドを表示する位置はより視線位置に近く、動きに応じた表示を行う位置は、入力ガイドを表示する位置より視線位置から離れた位置とすることができる。入力表示部４５は、表示位置決定部３７により決定された位置に、入力に応じた表示を行う。

表示位置決定情報４７は、ガイド表示領域と、入力表示領域の形状を決定するための情報である。表示位置決定情報４７は、例えば表示ルール毎に、ガイド表示領域の半径ｒ１、入力表示領域の半径ｒ２、または、それぞれの長径ｒ３、短径ｒ４、長径ｒ５、短径ｒ６などを有するようにしてもよい。例えば、表示位置決定情報４７の例では、領域は、円または楕円で表される。ルールは複数設け、選択された操作対象に応じて変更するようにしてもよい。表示位置決定情報４７は、表示位置決定部３７、入力表示領域決定部４３により参照される。

図３、図４は、本実施の形態による入力方法の一例を概念的に説明する図である。図３に示すように、入力例７１は、使用者の手５３が携帯端末装置１を持って入力している場合の表示例を示している。画面上には、入力の一例が表示されている。

入力ガイド５７は、選択肢と選択のための入力方法を含む情報である。入力ガイド５７には、選択可能な処理と、時間的な変化のある、例えば、入力装置や利用環境に対応した使用者の身体の動きによる入力方法とが対応付けられることが好ましい。入力ガイド５７には、例えば、操作対象を上下移動させる処理に対応して下向きの動きの入力が指定されるようにしてもよい。図３、図４の入力ガイド５７においては、入力に必要な動きが矢印で表示されているが、それぞれの動きと対応する、操作対象に対する特定の処理と対応付けて表示されるようにしてもよい。

ガイド表示領域５９は、予め検出された視線の位置５５に応じて決定される領域であり、入力ガイド５７が表示される領域である。ガイド表示領域５９は、例えば、色や物の形が認識可能な、例えば中心視が可能な領域としてもよい。このとき、入力ガイド５７により提示される入力は、例えば、上下の動きや、左右の動き等、動きを伴うものであることが好ましい。

入力表示領域６１は、入力ガイド５７に基づき選択された選択方法において入力される、例えばタッチ操作などにより検出される動き、または動きの経過に応じた表示が行われる領域である。入力表示領域６１は、例えば、物の動きの認識が可能な周辺視が可能な領域としてもよい。

入力６３は、使用者が、携帯端末装置１を手５３で持った状態で、入力ガイド５７を見ながら、選択したい選択肢に応じた動きの入力を手５３により行っている状態を示す。例えば入力６３のように、円を描くような動きが入力される。入力表示６５は、検出された入力６３と同様の動きの軌跡を矢印により表示したものであり、入力表示領域６１に表示される。入力表示６５は、例えば入力６３を検出すると逐次表示されることが好ましい。入力表示６５は、入力中に継続して逐次表示されることが好ましい。

図４に示すように、入力例７３は、使用者の手７５が携帯端末装置１を持った状態で入力を行っている場合の別の例を示している。入力例７３は、使用者が、入力ガイド５７を見ながら、手７５により、入力７７のように直線的な動きを入力する例である。入力７７は、手７５により行われる入力のための動きを示している。入力表示７９は、入力７７の動きを表示したものであり、入力表示領域６１に表示される。

図５は、表示領域の一例を示す図である。図５に示すように、この例では、ガイド表示領域８３、入力表示領域８５が示されている。ガイド表示領域８３は、選択肢と選択のための入力方法を含む入力ガイドを表示する領域である。入力表示領域８５は、入力ガイドに応じた選択を行う際の動きを表示する領域である。ガイド表示領域８３は、視線位置８１を中心とする半径が距離８７の円である。入力表示領域８５は、視線位置８１を中心とする半径が距離８９の円であって、ガイド表示領域８３以外の部分である。入力表示領域８５は、この例では、ガイド表示領域８３の外側に接する領域であり、視線位置８１からの距離が、ガイド表示領域８３よりも遠い点を含む。

図７は、本実施の形態による携帯端末装置１における入力処理を示すフローチャートである。図７に示す各処理は、例えば演算処理装置３が、所定のプログラムを読み込み実行することにより行われるが、ここでは、図２の各機能により実行されるものとして説明する。

図７に示すように、視線検出部３１は、使用者の視線の検出を開始する（Ｓ１０１）。視線の検出は、上記のように、画像解析により検出する方法、その他、従来のどのような方法により行われてもよい。操作対象検出部３３は、例えば、タッチパネル２３の所定の位置など、操作対象検出の開始のトリガとなるタッチが検出されるまで検出を繰り返す（Ｓ１０２：ＮＯ）。このとき、一定時間入力が検出されない場合には、処理を終了するようにしてもよい。

操作対象検出部３３は、タッチが検出されると（Ｓ１０２：ＹＥＳ）、例えば、図３、図４に示したように、タッチが検出された時点での視線の表示部２５上の視線位置５５を検出し、検出された視線位置５５に基づき、操作対象を検出する（Ｓ１０３）。例えば、操作対象検出部３３は、視線位置５５に表示されている画像を操作対象として検出する。

表示位置決定部３７は、表示位置決定情報４７のガイド表示領域の項目を参照し、例えば、図５に示すように、ガイド表示領域８３を決定するとともに、ガイド表示領域８３内の、例えば図３、図４に示した入力ガイド５７の表示位置を決定する（Ｓ１０４）。

入力表示領域決定部４３は、表示位置決定情報４７の入力表示領域の項目を参照し、例えば、図５に示す入力表示領域８５を決定するとともに、入力表示領域８５内の入力を表示する位置を決定する（Ｓ１０５）。

ガイド作成部３５は、検出された操作対象に応じた入力ガイドを生成する。ガイド表示部３９は、決定された位置に生成された入力ガイドを表示する（Ｓ１０６）。このとき、例えば、ガイド表示部３９は、決定されたガイド表示領域８３の所定の位置に入力ガイドの中心を配置する。また、ガイド表示部３９は、ガイド表示領域８３内に入力ガイドが納まるように、表示倍率を調整するようにしてもよい。

入力検出部４１は、タッチパネル２３などへの動きを伴う入力が検出されるか否か判別する（Ｓ１０７）。例えば、図３、図４で説明したように、入力検出部４１が入力６３、入力７７などを検出すると（Ｓ１０７：ＹＥＳ）、入力表示部４５は、入力表示領域決定部４３により決定された例えば入力表示領域８５の所定位置に入力を逐次表示し（Ｓ１０８）、処理をＳ１０７に戻す。なお、例えば入力ガイド５７が表示されてから、入力の表示が終了するまでの間、視線検出は行わないようにしてもよい。

Ｓ１０７では、タッチが検出されるまで処理を繰り返す（Ｓ１０７：ＮＯ）。Ｓ１０７では、入力検出部４１は、例えば、一定時間経過するまで、Ｓ１０７の処理を繰り返し、一定時間経過後には処理を終了するようにしてもよい。また、Ｓ１０７、Ｓ１０８の処理を繰り返すことにより、逐次入力の状況を目視で確認しながら、入力が行われるようになる。このとき、入力検出部４１により検出された入力に応じた処理が行われる。

以上詳細に説明したように、本実施の形態による携帯端末装置１によれば、トリガとなる入力が検出されると、視線検出部３１は、例えば、視線の表示部２５上の視線位置５５を検出する。検出された視線位置５５に基づき、操作対象検出部３３は、操作対象を検出する。ガイド作成部３５は、例えば、操作対象に対応する入力ガイド５７を生成する。また、例えば視線位置５５に基づき、表示位置決定部３７は、表示位置決定情報４７を参照してガイド表示領域８３を決定する。入力検出部４１が、入力ガイドに基づく、動きを伴う入力を検出すると、入力表示領域決定部４３が、例えば入力表示領域８５を決定する。入力表示部４５は、入力による動きを表示する。このとき、入力表示領域８５は、ガイド表示領域８３以外の領域であって、ガイド表示領域８３のいずれの点よりも視線位置５５から遠い点を含むように決定される。

以上のように、本実施の形態による携帯端末装置１によれば、視線位置により操作対象を検出することができる。操作対象に対する処理を選択するための入力は、例えば、タッチパネル２３上の指の動きを視覚で確認しながら実現することができる。これにより、使用者が見ている全てのものを常に操作対象とするのでなく、使用者が入力したいと思って視線を向けた際にのみ、操作対象を決定することが可能になる。そのため、必要な場合以外には視線位置周辺に入力ガイドが表示されず、表示を見る行為の妨げになることを防ぐことが可能になる。

本実施の形態においては、視線検出を先に、または常時起動しておき、トリガとなるタッチなどを検出すると、タッチ検出時の視線情報から画面上の視線位置を検出する。これにより、過去の視線情報を用いて視線位置を推定することも可能であり、トリガ検出時に瞬きしたなどの要因で、視線が検出できなかった場合にも対応が可能となる。

例えば入力ガイド５７は、視線位置５５に基づきガイド表示領域８３に表示されるので、視線を動かさずに、入力を説明する入力ガイド５７を参照することが可能となる。入力表示領域８５は、ガイド表示領域８３以外の領域であって、ガイド表示領域８３の全ての点よりも視線位置５５から遠い点を含む。このように、入力ガイド５７は、例えば色や形の認識が可能な視野内に表示されるため、入力ガイド５７を参照しながら、視線を動かさずに同時に、例えば指の動きも確認できる状態で入力を行うことができる。

入力された動きを示す入力表示は、動きの認識が可能な視野内に表示されるため、入力された動きを視覚的に確認することが可能になる。このとき、入力ガイド５７と、入力表示６５、入力表示７９などは重ならないため、入力により入力ガイド５７の参照を妨げられることが防止できる。ガイド表示領域８３、入力表示領域８５の設定方法は、表示位置決定情報４７等により予め定義しておくことができる。よって、操作対象に合わせた入力ガイド５７、入力表示６５、入力表示７９などを表示させることが可能となる。

このように、本実施の形態による入力方法は、視野の特性上、文字などを認識できる視野よりも動きを認識できる視野が広いという、例えば中心視野と周辺視野との関係を利用した入力方法とすることができる。すなわち、ある位置に視線があった場合、文字が認識不可能であっても、動きを認識可能な領域があるという関係である。したがって、入力ガイド５７が表示されている領域の外側の領域に、動きによる入力状態を表示するようにガイド表示領域と入力状態の表示領域を分けることで、視線を動かさずに、入力ガイドも入力経過も同時に認識が可能になる。

よって、入力操作を覚えていない場合でも、途中で入力を見ることができ、行いたい入力のための指の動き等が分からなくなってしまうことが防止される。逆に、入力ガイドと入力された動きに関する表示とが離れすぎている場合のように、使用者が視線を動かしてそれぞれを確認する必要が生じることもない。

このように、検出された視線位置に応じた位置に入力ガイドを表示した際に、入力ガイドの視認性を下げることなく、視線を動かさずに、動きによる入力経過の表示を認識可能な位置に自動的にレイアウトすることが可能となる。

（変形例１）
以下、図８を参照しながら、入力表示の変形例を説明する。図８は、変形例１による入力表示例を示す図である。図８に示すように、視線位置８１に対しガイド表示領域８３、入力表示領域８５が設定されている。補助線９１は、入力表示領域８５に表示されている。入力表示９３は、補助線９１を跨いで表示されている。図８の例では、例えば、入力表示９３が補助線９１を跨いだときに、入力された入力が上から下への入力を示していると判断するようにする。また、使用者は、補助線９１を跨ぐ入力を行うように、視覚で確認することが容易になる。

本変形例によれば、使用者がタッチパネル２３により動きを入力する際の基準を示すことができ、意図する入力を行うことが容易になる。また、携帯端末装置１において検出された入力の種別の判断がより容易になる。

（変形例２）
以下、図９から図１１を参照しながら、ガイド表示領域と入力表示領域との変形例を説明する。図９から図１１は、ガイド表示領域と入力表示領域との変形例を示す図である。図９に示す例では、ガイド表示領域９５を、例えば視線位置８１を中心とした所定の第１の半径の図の左側の半円の領域とする。入力表示領域９７は、第１の半径より大きい第２の半径の図の右側の半円の領域とすることができる。

図１０に示す例では、入力表示領域９９は、視線位置８１を中心とする第１の半径より大きい第２の半径の図の左側の半円の領域であって、ガイド表示領域９５以外の領域とすることができる。

図１１に示す例では、入力表示領域８５は、視線位置８１を中心とする第１の半径より大きい第２の半径の円の領域であって、ガイド表示領域９５以外の領域とすることができる。

図９から図１１のいずれの場合にも、入力表示領域８５、９７、９９は、ガイド表示領域９５の全ての点よりも視線位置８１から遠い点を含んでいる。携帯端末装置１は、ガイド表示領域９５に例えば入力ガイド５７を表示し、入力表示領域８５、９７、９９のいずれかに、入力を表示することにより、視線位置８１に視線を固定したまま、入力ガイド５７を参照しながら動きを確認することが可能な入力方法が実現される。

上記実施の形態、および変形例１、２において、ガイド表示領域５９、８３、９５は、第１の領域の一例であり、入力表示領域６１、８５、９７、９９は、第２の領域の一例である。ガイド５７は、第１の情報の一例であり、入力表示６５、７９、９３は、第２の情報の一例である。表示位置決定部３７は、第１の領域決定部の一例であり、入力表示領域決定部４３は、第２の領域決定部の一例である。

なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば視線検出装置２１は、カメラを含むものに限定されず、例えば、顔の筋肉の動きを検出して視線を検出するなど、他の装置によるものでもよい。

視線位置検出のトリガとしては、注視や瞬きのような視線と関連する情報、タップやスワイプのような指の動きに関連する情報、音声、データグローブ等のように、その他の情報を入力する入力手段を用いることができる。また、視線検出を、トリガとなる入力が行われると開始されるように設定することにより、視線検出を常時起動する分の消費電力を削減することが可能となる。

選択肢を選択するための入力方法は、タッチパネル２３に限定されず、他の動きを検出できる装置、例えばデータグローブ等、動きを検出可能な他の装置による方法でもよい。選択肢を選択するための入力を、時間的な変化により行うようにしてもよい。このとき用いられる装置としては、時間的変化を検出可能な装置となる。例えば、ボタンの押下の強弱、例えば、端末との奥行き方向の距離の変化などにより入力を行うことも可能である。このとき、色の変化等は周辺視のほうが知覚しやすいことを利用して、第２の領域全体の色を変化させて入力状態を通知するようにしてもよい。

表示位置決定情報４７は一例であり、他のパラメータによる情報など、他の形態でもよい。例えば、視野角による指定などでもよい。一例として、ガイド表示領域を視野角２度の領域、入力表示領域を、視野角５度の領域などとしてもよい。

上記実施の形態においては、入力ガイド５７を表示し、入力の入力を受け付ける状態になって一定時間以上入力がなければ、入力ガイドを消すようにしたが、操作対象を注視していると判断した場合には、入力ガイドを固定することも可能である。これによれば、入力ガイドを認識しやすくなる。なお、例えば、視線が、操作対象を含む一定の範囲内にとどまっている時間が所定時間よりも長い場合に、操作対象を注視していると判断されるようにしてもよい。

操作対象の検出においては、視線位置近傍のカーソルの位置から操作対象を検出するようにしてもよい。このとき、そのカーソルを視線位置とみなす処理を行う。これにより、視線位置よりも精度が高い操作対象検出が可能になる。

入力ガイドは、少なくとも一部を透過表示するようにしてもよい。これによれば、入力表示領域と入力ガイド５７との少なくとも一部が重なった場合に、重なった部分の認識を妨げることを防止でき、両方を同時に認識可能とすることができる。

入力ガイドを表示した場合に、所定時間以上操作のない場合には、使用者に操作の意思がないと判断して、入力ガイドの表示を消去するようにしてもよい。また、視線位置が、検出された操作対象と一定距離以上はなれた場合に、操作する意思が無いと判断されるようにしてもよい。これによれば、次の操作がしやすくなるとともに、電力消費を抑制することもできる。入力ガイドに示される入力方法は、一つの入力手段による入力方法に限定されない。複数の入力手段で、同一の操作を可能にするようにすることが好ましい。

入力ガイド５７は様々な例が可能である。例えば、階層型のメニューなど、複数の動きの組み合わせによる入力方法であれば、動き毎に分けて表示することも可能である。図９の変形例として、タッチパネル２３により入力が検出された位置により近い側に入力表示領域９７を表示することにより、動きを確認しやすくすることができる。ガイド表示領域、入力表示領域の形状は上記に限定されず、様々な形状、位置関係を採用することができる。

ここで、上記実施の形態および変形例１、２による入力方法の動作をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図１２は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図１２に示すように、コンピュータ３００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）３０２、メモリ３０４、入力装置３０６、出力装置３０８、外部記憶装置３１２、媒体駆動装置３１４、ネットワーク接続装置等がバス３１０を介して接続されている。

ＣＰＵ３０２は、コンピュータ３００全体の動作を制御する演算処理装置である。メモリ３０４は、コンピュータ３００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ３０４は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置３０６は、コンピュータの使用者により入力されると、その入力内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ３０２に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置３０８は、コンピュータ３００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ３０２により送付される表示データに応じてテキストや画像を表示する。

外部記憶装置３１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ３０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置３１４は、可搬記録媒体３１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ３０２は、可搬記録媒体３１６に記録されている所定の制御プログラムを、記録媒体駆動装置３１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体３１６は、例えばＣｏｍｐａｃｔ Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等である。ネットワーク接続装置３１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス３１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。

上記実施の形態および変形例１、２による入力方法をコンピュータに実行させるプログラムは、例えば外部記憶装置３１２に記憶させる。ＣＰＵ３０２は、外部記憶装置３１２からプログラムを読み出し、コンピュータ３００に入力の動作を行なわせる。このとき、まず、入力の処理をＣＰＵ３０２に行わせるための制御プログラムを作成して外部記憶装置３１２に記憶させておく。そして、入力装置３０６から所定の指示をＣＰＵ３０２に与えて、この制御プログラムを外部記憶装置３１２から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体３１６に記憶するようにしてもよい。

１ 携帯端末装置
３ 演算処理装置
５ 記憶部
７ ＲＯＭ
９ ＲＡＭ
１１ 通信部
１３ アンテナ
１５ 音声入出力部
１７ スピーカ
１９ マイク
２１ 視線検出装置
２３ タッチパネル
２５ 表示部
３１ 視線検出部
３３ 操作対象検出部
３５ ガイド作成部
３７ 表示位置決定部
３９ ガイド表示部
４１ 入力検出部
４３ 入力表示領域決定部
４５ 入力表示部
４７ 表示位置決定情報
５１ 表示例
５３ 手
５５ 視線位置
５７ 入力ガイド
５９ ガイド表示領域
６１ 入力表示領域

Claims (10)

1. 使用者の視線を検出する視線検出部と、
   検出された視線の表示画面上の視線位置に基づき、前記使用者の動きによる入力方法を示す第１の情報が表示される前記表示画面上の第１の領域を決定する第１の領域決定部と、
   前記第１の領域に前記第１の情報を表示する第１の表示制御部と
   前記使用者による入力を検出する入力検出部と、
   前記第１の領域外であって、前記第１の領域よりも前記視線位置から遠い点を含み、検出された前記入力における前記使用者の動きに応じた軌跡を示す第２の情報が表示される第２の領域を決定する第２の領域決定部と、
   前記第２の領域に前記第２の情報を表示する第２の表示制御部と、
   を有する情報処理装置。
2. 前記第２の領域は、前記第１の領域の外側に接する領域であることを特徴とする請求項１に記載の情報処理装置。
3. 前記入力検出部は、前記表示画面上における入力を検出し、
   前記第２の領域は、前記入力が検出された前記表示画面上の位置と前記第１の領域との間の領域を含むことを特徴とする請求項１に記載の情報処理装置。
4. 前記第２の領域には、前記入力の基準となる補助線が表示され、前記入力検出部は、前記補助線に対する相対的な動きを検出することを特徴とする請求項１から請求項３のいずれかに記載の情報処理装置。
5. 前記第１の領域は、中心視が可能な領域に対応し、前記第２の領域は、周辺視が可能な領域に対応することを特徴とする請求項１から請求項４のいずれかに記載の情報処理装置。
6. 使用者の視線を検出し、
   検出された視線の表示画面上の視線位置に基づき、前記使用者の動きによる入力方法を示す第１の情報が表示される前記表示画面上の第１の領域を決定し、
   前記第１の領域外であって、前記第１の領域よりも前記視線位置から遠い点を含み、前記使用者による入力における前記使用者の動きに応じた軌跡を示す第２の情報が表示される第２の領域を決定し、
   前記第１の領域に前記第１の情報を表示し、
   前記使用者による入力を検出し、
   前記第２の領域に、前記第２の情報を表示する
   処理をコンピュータに実行させるプログラム。
7. 前記第２の領域は、前記第１の領域の外側に接する領域であることを特徴とする請求項６に記載のプログラム。
8. 前記入力を検出する処理においては、前記表示画面上における入力を検出し、
   前記第２の領域は、前記入力が検出された前記表示画面上の位置と前記第１の領域との間の領域を含むことを特徴とする請求項６に記載のプログラム。
9. 前記第２の領域には、前記入力の基準となる補助線が表示され、前記補助線に対する相対的な動きが検出されることを特徴とする請求項６から請求項８のいずれかに記載のプログラム。
10. 前記第１の領域は、中心視が可能な領域に対応し、前記第２の領域は、周辺視が可能な領域に対応することを特徴とする請求項６から請求項９のいずれかに記載のプログラム。

Images