JP7334946B2 - キーボード制御プログラム、キーボード及びキーボード制御システム - Google Patents

Description

本発明は、キーボード制御プログラム、キーボード及びキーボード制御システムに関する。

従来の技術として、タイピングの練習としてキーボードの次に操作するべきキーを示して入力を補助するキーボード制御プログラムが提案されている（例えば、特許文献１参照）。

特許文献１に開示されたキーボード制御プログラムは、コンピュータの表示部にタイピング練習用の文字列を表示するとともに、各キーのキートップにＬＥＤが設けられたキーボードに対して、使用者が次に操作するべきキーのＬＥＤを点灯するよう制御して使用者の操作を促す。

特開２００３‐９１２３０号公報

しかし、上記した特許文献１のキーボード制御プログラムは、キーを点灯させて使用者が次に操作するべきキーのＬＥＤを点灯制御するものであって、使用者の視線をキーボードに誘導するものであり、キーボードに視線を移すことなくタイピングをするタイピング方法（以降、「タッチタイピング」という。）の練習にとっては必ずしも適したものであるとは言えなかった。つまり、キーボードの配列を覚えていない使用者が配列を覚える際には有用であるが、キーボード配列を覚えた使用者にとってはタッチタイピングの練習を妨げるものであり、使用者の習熟度に応じてキーボードの表示を制御しているものとは言えなかった。

本発明の目的は、使用者の習熟度に応じてキーボードの表示を制御するキーボード制御プログラム、キーボード及びキーボード制御システムを提供することにある。

本発明の一態様は、上記目的を達成するため、以下のキーボード制御プログラム、キーボード及びキーボード制御システムを提供する。

［１］キーボードを、
アプリケーションがキーボードの操作を指示する内容の表示を表示部に表示した際に、当該キーボードを操作する利用者の視線を検出して得られた視線情報又は当該視線情報から算出された視線状態情報に基づいて前記キーボードの印字を表示制御する印字表示制御手段として機能させるキーボード制御プログラム。
［２］前記印字表示制御手段は、前記アプリケーションの表示内容に応じて前記利用者が前記キーボードを操作する際に、前記視線情報又は前記視線状態情報から、前記利用者の視線が前記キーボードに向かっていると判断された場合、前記キーボードの印字を表示しないように表示制御する前記［１］に記載のキーボード制御プログラム。
［３］前記印字表示制御手段は、前記アプリケーションの表示内容に応じて前記利用者が前記キーボードを操作する際に、前記視線情報又は前記視線状態情報から、前記利用者の視線が前記キーボードに向かっていると判断された場合、次に操作するべき前記キーボードのキーの印字を強調して表示するように表示制御する前記［１］に記載のキーボード制御プログラム。
［４］前記視線情報又は前記視線状態情報と、前記アプリケーションがキーボードの操作を指示する内容の表示を表示部に表示した際に当該表示に対して前記キーボードから受信した操作信号を測定した測定情報とに基づいて評価値を算出する評価手段としてさらに機能させ、
当該評価手段が算出した当該評価値に基づいて前記印字表示制御手段の動作を切り替える前記［１］‐［３］のいずれかに記載のキーボード制御プログラム。
［５］アプリケーションがキーボードの操作を指示する内容の表示を表示部に表示した際に、当該キーボードを操作する利用者の視線を検出して得られた視線情報又は当該視線情報から算出された視線状態情報に基づいて前記キーボードの印字を表示制御する印字表示制御手段を有するキーボード。
［６］アプリケーションを実行するとともに、当該アプリケーションの実行内容を表示部に表示制御する情報処理装置と、
操作に応じた操作信号を前記情報処理装置に出力するとともに、キーの印字の表示内容を制御するキーボードとを有し、
前記キーボードは、前記情報処理装置の前記アプリケーションが前記キーボードの操作を指示する内容の表示を前記表示部に表示した際に、当該キーボードを操作する利用者の視線が当該キーボードに向かっているか否かを検出し、前記利用者の視線の内容と、前記アプリケーションの表示内容に応じて前記キーボードが操作された際に測定される測定情報とに基づいて前記キーボードの印字を表示制御するキーボード制御システム。

請求項１、５又は６に係る発明によれば、使用者の習熟度に応じてキーボードの表示を制御することができる。
請求項２に係る発明によれば、アプリケーションの表示内容に応じて利用者がキーボードを操作する際に、利用者の視線がキーボードに向かっていた場合、キーボードの印字を表示しないように表示制御することができる。
請求項３に係る発明によれば、アプリケーションの表示内容に応じて利用者がキーボードを操作する際に、利用者の視線がキーボードに向かっていた場合、次に操作するべきキーボードのキーの印字を表示するように表示制御することができる。
請求項４に係る発明によれば、利用者の視線の内容と、測定情報とに基づいて評価値を算出し、算出した当該評価値に基づいて印字表示の動作を切り替えることができる。

図１は、実施の形態に係るキーボード制御システムの構成の一例を示す概略図である。 図２は、実施の形態に係るキーボードの構成例を示すブロック図である。 図３は、実施の形態に係るＰＣの構成例を示すブロック図である。 図４は、キーボードとＰＣによって通信される情報を示す構成図である。 図５は、キーボードのモード選択動作の一例を示すフローチャートである。 図６（ａ）‐（ｃ）は、サポートモード動作の一例を説明するためのキーボードの平面図である。 図７（ａ）‐（ｃ）は、サポートモード動作の変形例を説明するためのキーボードの平面図である。 図８は、キーボードのサポートモード動作の一例を示すフローチャートである。 図９（ａ）‐（ｃ）は、ペナルティモード動作の一例を説明するためのキーボードの平面図である。 図１０（ａ）‐（ｃ）は、サポートモード動作の変形例を説明するためのキーボードの平面図である。 図１１は、キーボードのサポートモード動作の一例を示すフローチャートである。

［実施の形態］
（キーボード制御システムの構成）
図１は、実施の形態に係るキーボード制御システムの構成の一例を示す概略図である。

このキーボード制御システムは、キーボード１と、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）２とをＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル又は無線等によって互いに通信可能に接続することで構成される。

ＰＣ２は、本体内に情報を処理するための機能を有するＣＰＵやフラッシュメモリ等の電子部品を備えるとともに、文字や画像等を表示するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等の表示部２２を備える。

キーボード１は、利用者３の操作内容に応じて操作信号をＰＣ２に出力し、視線ＶＬ（ＶＬｄ及びＶＬｋ）から得られる視線情報及び／又は視線情報に基づく情報（詳細については後述する。）に応じてキー上の表示を変化させるものであって、本体内に情報を処理するための機能を有するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やフラッシュメモリ等の電子部品を備えるとともに、複数のキーからなり利用者３の手３１ｌ及び３１ｒによって操作されるキー群１２、キー群１２のキーのそれぞれに文字や画像を表示する印字表示手段としてのプロジェクタ１３、利用者３の視線ＶＬを検出する視線検出デバイスとしての視線検出カメラ１４、利用者３の手３１ｌ及び３１ｒの動作を検出する腕動作検出デバイスとしての腕動作検出カメラ１５を備える。なお、キーボード１が有するプロジェクタ１３、視線検出カメラ１４及び腕動作検出カメラ１５の一部又は全部をＰＣ２に備えるように又はＰＣ２と兼用するように構成してもよいし、独立した装置として構成してもよい。また、プロジェクタ１３をＰＣ２に備えるように又はＰＣ２と兼用するように構成してもよいし、独立した装置として構成してもよい。

キーボード１は、一例として、利用者３のキーボード操作に関する熟練度を評価して評価値を算出し、評価値と利用者３の視線ＶＬから得られる視線情報及び／又は視線情報に基づく情報とに応じてキー群１２上への文字や画像の表示／非表示を変更する。

（キーボードの構成）
図２は、実施の形態に係るキーボード１の構成例を示すブロック図である。

キーボード１は、ＣＰＵ等から構成され、各部を制御するとともに、各種のプログラムを実行する制御部１０と、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部１１と、キー群１２と、プロジェクタ１３と、視線検出カメラ１４と、腕動作検出カメラ１５、ＰＣ２と通信する通信部１６とを備える。

制御部１０は、後述するキーボード制御プログラム１１０を実行することで、タイピング検出手段１００、操作信号出力手段１０１、印字表示制御手段１０２、視線検出手段１０３、腕動作検出手段１０４、アプリケーション通信手段１０５及びタイピング評価手段１０６等として機能する。

タイピング検出手段１００は、キー群１２に対する操作を検出する。

操作信号出力手段１０１は、タイピング検出手段１００が検出した操作内容に基づいてＰＣ２に対し通信部１６を介して操作信号を出力する。

印字表示制御手段１０２は、視線情報１１１、当該視線情報１１１から算出される視線状態情報、腕動作情報１１２、アプリケーション測定情報１１３の少なくとも１つの情報に基づいてキー群１２への文字又は画像の表示を制御する。

視線検出手段１０３は、視線検出カメラ１４で検出した利用者３の視線ＶＬを時系列とともに視線情報１１１として記録する。

腕動作検出手段１０４は、腕動作検出カメラ１５利用者３の手３１ｌ及び３１ｒの動作を時系列とともに腕動作情報１１２として記録する。

アプリケーション通信手段１０５は、通信部１６を介してＰＣ２上で動作するタイピングアプリケーション（２１０、図３）と通信し、タイピングアプリケーション２１０が測定したアプリケーション測定情報（２１１、図３）を取得し、アプリケーション測定情報１１３として記憶部１１に格納する。

タイピング評価手段１０６は、視線情報１１１、当該視線情報１１１から算出される視線状態情報、腕動作情報１１２、アプリケーション測定情報１１３の少なくとも１つの情報に基づいて利用者３のキーボード１の操作に関する習熟度を評価して評価情報１１４として記憶部１１に格納する。

記憶部１１は、制御部１０を上述した各手段１００‐１０６として動作させるキーボード制御プログラム１１０、視線情報１１１、当該視線情報１１１から算出される視線状態情報、腕動作情報１１２、アプリケーション測定情報１１３、評価情報１１４等を記憶する。

（ＰＣの構成）
図３は、実施の形態に係るＰＣ２の構成例を示すブロック図である。

ＰＣ２は、ＣＰＵ等から構成され、各部を制御するとともに、各種のプログラムを実行する制御部２０と、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部２１と、表示部２２と、キーボード１と通信する通信部２３とを備える。

制御部２０は、後述するタイピングアプリケーション２１０を実行することで、問題表示手段２００、操作信号入力手段２０１、操作完了時間測定手段２０２、スコア測定手段２０３及びキーボード通信手段２０４等として機能する。

問題表示手段２００は、タイピング練習用の問題としてキーボード１で入力可能な文字列を表示部２２に表示する。なお、表示内容に必要に応じて画像等を含めても良い。

操作信号入力手段２０１は、通信部２３を介してキーボード１から操作信号の入力を受け付ける。

操作完了時間測定手段２０２は、問題表示手段２００が表示部２２に問題を表示してから、当該問題に対して全ての操作信号が入力されるまでの操作完了時間を測定し、アプリケーション測定情報２１１に記録する。

スコア測定手段２０３は、問題に対する操作信号の正誤及び正誤の割合からスコアを測定し、アプリケーション測定情報２１１に記録する。

キーボード通信手段２０４は、キーボード１と通信し、キーボード１の要求に応じてアプリケーション測定情報２１１を送信する。

記憶部２１は、制御部２０を上述した各手段２００‐２０４として動作させるタイピングアプリケーション２１０、アプリケーション測定情報２１１等を記憶する。

図４は、キーボード１とＰＣ２によって通信される情報を示す構成図である。

キーボード１はキーボード制御プログラム１１０を実行することでアプリケーション通信手段１０５として機能し、アプリケーション通信手段１０５は通信部１６を介してＰＣ２と通信し、主に操作信号を出力する。ＰＣ２はタイピングアプリケーション２１０を実行することでキーボード通信手段２０４として機能し、キーボード通信手段２０４は通信部２３を介してキーボード１と通信し、主にアプリケーション測定情報を出力する。

なお、キーボード１の印字表示制御手段１０２、視線検出手段１０３、腕動作検出手段１０４及びタイピング評価手段１０６の一部又は全部をＰＣ２で機能させるものであってもよいし、ＰＣ２の問題表示手段２００、操作完了時間測定手段２０２及びスコア測定手段２０３の一部又は全部をキーボード１で機能させるものであってもよい。また、キーボード１又はＰＣ２のいずれかにすべての手段を集約するように構成してもよい。つまり、キーボード制御プログラム１１０とタイピングアプリケーション２１０は互いに連携し、変形例においては一方が他方の一部又は全部を含む場合がある。

（キーボードの動作）
次に、本実施の形態の作用を、（１）基本動作、（２）モード選択動作、（３）サポートモード動作、（４）ペナルティモード動作に分けて説明する。

（１）基本動作
まず、キーボード１の印字表示制御手段１０２は、プロジェクタ１３を制御し、初期状態としてキー群１２のキートップに所定の文字や画像を表示制御する。

利用者３は、タイピングを練習するためキーボード１を操作する。キーボード１のタイピング検出手段１００は、キー群１２に対する操作を検出し、操作信号出力手段１０１は、利用者３の操作内容に応じて操作信号をＰＣ２に出力する。ＰＣ２は、キーボード１から入力される操作信号に基づいてタイピングアプリケーション２１０を実行する。

ＰＣ２はタイピングアプリケーション２１０を実行することで、問題表示手段２００として動作し、タイピング練習用の問題として文字列を表示部２２に表示する。

利用者３は、表示部２２に表示されたタイピング練習用の文字列を確認し、表示された文字列を入力すべくキーボード１を操作する。この際、一般的に、利用者３のタイピング（主にタッチタイピング）の習熟度が低ければキーボード１に視線ＶＬｋが向かうことが多くなり、習熟度が高ければ表示部２２に視線ＶＬｄが向かうことが多くなる。習熟度に応じて視線ＶＬｋの頻度を減少し、視線ＶＬｄの頻度を増加させるためキーボード制御プログラム１１０及びタイピングアプリケーション２１０が以降説明するように動作する。

（２）モード選択動作
図５は、キーボード１のモード選択動作の一例を示すフローチャートである。

まず、印字表示制御手段１０２は、評価情報１１４を参照し、評価値が存在しない場合（Ｓ１；Ｙｅｓ）は、印字表示制御手段１０２の動作モードとして「サポートモード」に設定する（Ｓ２）。ここで、評価値が存在しない場合とは、利用者３がキーボード１及びＰＣ２を初めて操作する場合である。また、「サポートモード」とは、習熟度が低い利用者３の視線ＶＬｋの頻度、滞在時間、視線ＶＬｄから視線ＶＬｋに対する移動速度、移動加速度、移動方向等を減少し、視線ＶＬｄの頻度、滞在時間、視線ＶＬｋから視線ＶＬｄに対する移動速度、移動加速度、移動方向等を増加させるための動作モードである。また、手３１ｌ及び３１ｒがキー操作後にホームポジションに戻るように促すための動作モードであってもよい。

次に、ＰＣ２の問題表示手段２００は、「（１）基本動作」で説明したように、問題を表示し、利用者３はキーボード１を操作する。キーボード１及びＰＣ２は、以下に説明するように動作して利用者３の習熟度を評価する（Ｓ３）。

ＰＣ２の操作完了時間測定手段２０２は、問題表示手段２００が表示部２２に問題を表示してから、当該問題に対して全ての操作信号が入力されるまでの操作完了時間を測定し、アプリケーション測定情報２１１に記録する。なお、操作完了時間が短いほど習熟度が高いものと評価する。

また、ＰＣ２のスコア測定手段２０３は、問題に対する操作信号の正誤及び正誤の割合からスコアを測定し、アプリケーション測定情報２１１に記録する。なお、正解の割合が多いほど習熟度が高いものと評価する。

ＰＣ２のキーボード通信手段２０４は、キーボード１のアプリケーション通信手段１０５の要求に応じて、操作完了時間測定手段２０２及びスコア測定手段２０３によって記録されたアプリケーション測定情報２１１をキーボード１に送信する。なお、アプリケーション測定情報２１１の送信タイミングは、予め定めた時間毎でもよいし、問題表示手段２００の出題する問題の単位毎でもよいし、予め定めた問題数毎であってもよい。アプリケーション通信手段１０５は、アプリケーション測定情報２１１を取得し、アプリケーション測定情報１１３として記憶部１１に格納する。

また、キーボード１の視線検出手段１０３は、利用者３の視線ＶＬを検出して時系列とともに視線情報１１１として記録する。なお、タイピング評価手段１０６は、視線情報１１１及びキーボードの位置情報（視線検出カメラ１４との相対位置が予め登録されているものとする。）から、又は視線情報１１１のみから、視線のある位置に対する滞在時間、視線の移動速度、視線の加速度、視線の移動方向のいずれか若しくは任意の組み合わせ又はこれらの変化率等（以降、「視線状態情報」という。）から評価するが、例えば、単純に視線ＶＬが表示部２２への視線ＶＬｄである時間が長いほど習熟度が高いものと評価してもよい。

キーボード１の腕動作検出手段１０４は、利用者３の手３１ｌ及び３１ｒの動作を検出して時系列とともに腕動作情報１１２として記録する。なお、タイピング評価手段１０６は、腕動作情報１１２及びキーボードの位置情報（腕動作検出カメラ１５との相対位置が予め登録されているものとする。）から、又は視線情報１１１のみから、手３１ｌ及び３１ｒのある位置に対する滞在時間、移動速度、加速度、移動方向のいずれか若しくは任意の組み合わせ又はこれらの変化率等（以降、「腕動作状態情報」という。）から評価するが、例えば、単純に手３１ｌ及び３１ｒが正しいホームポジションにあり、正しい指で操作している割合が多いほど習熟度が高いものと評価してもよい。

次に、タイピング評価手段１０６は、視線情報１１１及び腕動作情報１１２、又は視線状態情報及び腕動作状態情報並びにアプリケーション測定情報１１３の少なくとも１つの情報に基づいて利用者３のキーボード１の操作に関する習熟度を評価して（Ｓ３）、評価情報１１４として記憶部１１に格納する。

印字表示制御手段１０２は、評価情報１１４を参照し（Ｓ４）、評価値が予め定めた閾値以上である場合（Ｓ４；Ｙｅｓ）、印字表示制御手段１０２の動作モードとして「ペナルティモード」に設定する（Ｓ５）。「ペナルティモード」とは、習熟度が高い利用者３の視線ＶＬｋの頻度、滞在時間、視線ＶＬｄから視線ＶＬｋに対する移動速度、移動加速度、移動方向等をさらに減少し、視線ＶＬｄの頻度、滞在時間、視線ＶＬｋから視線ＶＬｄに対する移動速度、移動加速度、移動方向等をさらに増加させるための動作モードである。また、手３１ｌ及び３１ｒがキー操作後にホームポジションに戻らないことを減少するための動作モードであってもよい。

また、評価値が予め定めた閾値より小さい場合（Ｓ４；Ｎｏ）、印字表示制御手段１０２の動作モードとして「サポートモード」に設定する（Ｓ５）。

次に、各モードにおける印字表示制御手段１０２の動作についてそれぞれ説明する。

（３）サポートモード動作
図８は、キーボード１のサポートモード動作の一例を示すフローチャートである。また、図６（ａ）‐（ｃ）は、サポートモード動作の一例を説明するためのキーボード１の平面図である。

まず、サポートモードになると、図６（ａ）に示すように、キーボード１の印字表示制御手段１０２は、プロジェクタ１３を制御し、初期状態としてキー群１２のキートップの文字や画像を表示しないよう表示制御する。これは、利用者３がキーボード１をなるべく見ないようにするための表示制御である。

次に、ＰＣ２の問題表示手段２００は、タイピング練習用の問題として文字列を表示部２２に表示する。同時に、キーボード１のアプリケーション通信手段１０５は、問題文のテキスト情報をＰＣ２から受信する（Ｓ１０）。

キーボード１の印字表示制御手段１０２は、ｎ＝１文字目から（Ｓ１１）順に１文字ずつ制御し、図６（ｂ）に示すように、視線検出手段１０３が利用者３の視線ＶＬｋ１がキーボード１にあることを検出した場合（Ｓ１２；Ｙｅｓ）、入力すべきｎ文字目のキー、例えば、キー１２０ｓに文字１３０ｓとして「Ｓ」を表示制御する（Ｓ１３）。

また、利用者３の視線ＶＬｄが表示部２２であってキーボード１にない場合（Ｓ１２；Ｎｏ）、入力すべきｎ文字目のキー、例えば、キー１２０ｓに文字１３０ｓとして「Ｓ」を表示しないよう表示制御する（Ｓ１４）。しかし、一定時間入力が完了しない場合は（Ｓ１５；Ｎｏ）、キー１２０ｓに文字１３０ｓとして「Ｓ」を表示制御する（Ｓ１３）。なお、初期状態としてキー群１２のキートップの文字や画像を表示せずにキー１２０ｓに文字１３０ｓとして「Ｓ」を表示する表示制御は、他のキーに対してキー１２０ｓの表示が強調されることを目的としているため、例えば、初期状態としてキー群１２のキートップの文字や画像を通常表示し、キー１２０ｓに文字１３０ｓをより明るく表示したり、異なる色で表示したりすることで強調表示をしてもよい。

上記動作を問題文の全てを入力完了していなければ（Ｓ１６；Ｎｏ）、次の文字であるｎ＝ｎ＋１文字目についても行い（Ｓ１７）、問題文の全てを入力するまで行う（Ｓ１６；Ｙｅｓ）。

また、サポートモードは以下の変形例に説明するように動作するものであってもよい。

図７（ａ）‐（ｃ）は、サポートモード動作の変形例を説明するためのキーボード１の平面図である。

まず、事前に、印字表示制御手段１０２は、図７（ａ）に示すように、利用者３が頻繁に視線ＶＬｋ２をキーボード１に向けながら入力するキーを苦手キー１２０ｑとして記憶する。

次に、キーボード１の印字表示制御手段１０２は、プロジェクタ１３を制御し、初期状態としてキー群１２のキートップの文字や画像を表示しないよう表示制御する。

次に、ＰＣ２の問題表示手段２００は、タイピング練習用の問題として文字列を表示部２２に表示する。同時に、キーボード１のアプリケーション通信手段１０５は、問題文のテキスト情報をＰＣ２から受信する。

キーボード１の印字表示制御手段１０２は、ｎ＝１文字目から順に１文字ずつ制御し、図７（ｂ）に示すように、ｎ文字目である出題キーが苦手キー１２０ｑであった場合、図７（ｃ）に示すように、入力すべきｎ文字目のキー、キー１２０ｑに文字１３０ｑとして「Ｑ」を表示制御する。なお、初期状態としてキー群１２のキートップの文字や画像を通常表示し、キー１２０ｑに文字１３０ｑをより明るく表示したり、異なる色で表示したりすることで強調表示をしてもよい。

（４）ペナルティモード動作
図１１は、キーボード１のサポートモード動作の一例を示すフローチャートである。また、図９（ａ）‐（ｃ）は、ペナルティモード動作の一例を説明するためのキーボード１の平面図である。

まず、ペナルティモードになると、図９（ａ）に示すように、キーボード１の印字表示制御手段１０２は、プロジェクタ１３を制御し、初期状態としてキー群１２のキートップの文字や画像をすべて表示するよう表示制御する。これは、利用者３がキーボード１を見ないことを前提とした表示制御である。

次に、ＰＣ２の問題表示手段２００は、タイピング練習用の問題として文字列を表示部２２に表示する。同時に、キーボード１のアプリケーション通信手段１０５は、問題文のテキスト情報をＰＣ２から受信する（Ｓ２０）。

キーボード１の印字表示制御手段１０２は、ｎ＝１文字目から（Ｓ２１）順に１文字ずつ制御し、図９（ｂ）に示すように、視線検出手段１０３が利用者３の視線ＶＬｋ３がキーボード１にあることを検出した場合（Ｓ２２；Ｙｅｓ）、入力すべきｎ文字目のキー、例えば、キー１２０ｄの文字１３０ｄである「Ｄ」の表示をオフに表示制御する（Ｓ２３）。これは、タッチタイピングができなかったことに対するペナルティとして行われる。なお、表示がオフになった文字は次の文字で表示をしてもよいし、一定の時間経過後に表示をしてもよい。なお、キー１２０ｄの文字１３０ｄをより暗く表示したり、異なる色で表示したりすることで見づらくなるよう表示を制御してもよい。

また、利用者３の視線ＶＬｄが表示部２２であってキーボード１にない場合（Ｓ２２；Ｎｏ）、入力すべきｎ文字目のキー、例えば、キー１２０ｄの文字１３０ｄである「Ｄ」の表示を継続して表示制御する（Ｓ２４）。しかし、一定時間入力が完了しない場合は（Ｓ２５；Ｎｏ）、キー１２０ｄの文字１３０ｄである「Ｄ」の表示をオフに表示制御する（Ｓ２３）。

上記動作を問題文の全てを入力完了していなければ（Ｓ２６；Ｎｏ）、次の文字であるｎ＝ｎ＋１文字目についても行い（Ｓ２７）、問題文の全てを入力するまで行う（Ｓ２６；Ｙｅｓ）。

また、ペナルティモードは以下の変形例に説明するように動作するものであってもよい。

図１０（ａ）‐（ｃ）は、サポートモード動作の変形例を説明するためのキーボード１の平面図である。

まず、図１０（ａ）に示すように、キーボード１の印字表示制御手段１０２は、プロジェクタ１３を制御し、初期状態としてキー群１２のキートップの文字や画像をすべて表示するよう表示制御する。

次に、ＰＣ２の問題表示手段２００は、タイピング練習用の問題として文字列を表示部２２に表示する。同時に、キーボード１のアプリケーション通信手段１０５は、問題文のテキスト情報をＰＣ２から受信する。

キーボード１の印字表示制御手段１０２は、ｎ＝１文字目から順に１文字ずつ制御し、図１０（ｂ）に示すように、視線検出手段１０３が利用者３の視線ＶＬｋ３がキーボード１にあることを検出し、かつ、指３１０ｌ１でキー操作した場合、図１０（ｃ）に示すように、入力したｎ文字目のキー、例えば、キー１２０ｄ並びにキー１２０ｄの周辺のキー１２０ｅ、１２０ｓ、１２０ｆ及び１２０ｃの文字の表示をオフに表示制御する。これは、タッチタイピングができなかったことに対するペナルティとして行われ、印字を確認したと思われる周辺の文字についても表示をオフにするものである。表示をオフにする範囲はさらに広範囲にしてもよい。なお、表示がオフになった文字は次の文字で表示をしてもよいし、一定の時間経過後に表示をしてもよい。なお、キー１２０ｄ並びにキー１２０ｄの周辺のキー１２０ｅ、１２０ｓ、１２０ｆ及び１２０ｃをより暗く表示したり、異なる色で表示したりすることで見づらくなるよう表示を制御してもよい。

（実施の形態の効果）
上記した実施の形態によれば、視線情報１１１及び腕動作情報１１２、又は視線状態情報及び腕動作状態情報並びにアプリケーション測定情報１１３の少なくとも１つの情報に基づいて利用者３のキーボード１の操作に関する習熟度を評価し、評価結果によりキーボード１の印字表示制御手段１０２の動作モードを「サポートモード」又は「ペナルティモード」から選択できるようにして、「サポートモード」では必要な状況でのみ印字を表示してタッチタイピングの習得を支援し、「ペナルティモード」では状況に応じて印字をオフにしてタッチタイピングができなかった場合にペナルティを課すようにしたため、利用者３の習熟度に応じて利用者３のタッチタイピングが上達するようにキーボード１の表示を制御することができる。

また、タイピングアプリケーション２１０と、キーボード制御プログラム１１０を互いに通信可能に構成したため、キーボード１のキーボード制御プログラム１１０の仕様に合わせることでタイピングアプリケーション２１０は自由に仕様変更が可能である。キーボード制御プログラム１１０についても基本仕様が共通していれば自由に仕様変更できるようにしてもよい。

［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。例えば、モードは「サポートモード」と「ペナルティモード」の２つに限定されず、３以上のモードを用意して評価値によって切り替えるようにしてもよい。また、評価値に変えて、利用者３の視線及び操作内容から任意の特徴量を算出し、当該特徴量に基づいてモードを切り替えるようにしてもよいし、モードを用いずにキーの印字内容を変更するようにしてもよい。

また、キーの印字のオン／オフだけでなく、利用者３の視線ＶＬに基づいて印字内容を変更するようにしてもよい。印字内容は、通常のＱＷＥＴＹ配列の文字や記号、ファンクションキーを押した場合の機能、シフトキーを押した場合の文字や記号、ショートカットキーの内容等のキーに割り当て可能な内容であればよい。

また、印字表示デバイスとしてプロジェクタ１３を例に挙げて説明したが、印字表示制御手段１０２の制御内容に基づいてキーボードの印字表示を変化させることができるものであればよく、例えば、表示機能を持たせたキートップを採用してもよい。

また、視線検出デバイスとして視線検出カメラ１４を例に挙げて説明したが、視線を検出して視線検出手段１０３へ視線位置情報を伝えることができるものであればよく、例えば、眼鏡型ウェアラブルデバイス等を採用してもよい。

また、腕動作検出デバイスとして腕操作検出カメラ１５を例に挙げて説明したが、手３１ｌ、３１ｒの動作を検出して腕動作検出手段１０４へ腕動作動作情報１１２を伝えることができるものであればよく、例えば、モーションキャプチャ用グローブやセンサ付指サック等を採用してもよい。

上記実施の形態では制御部１０の各手段１００‐１０６、２００‐２０４の機能をプログラムで実現したが、各手段の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ‐ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。

１ ：キーボード
２ ：ＰＣ
３ ：利用者
１０ ：制御部
１１ ：記憶部
１２ ：キー群
１３ ：プロジェクタ
１４ ：視線検出カメラ
１５ ：腕動作検出カメラ
１６ ：通信部
２０ ：制御部
２１ ：記憶部
２２ ：表示部
２３ ：通信部
３１ｌ、３１ｒ ：手
１００ ：タイピング検出手段
１０１ ：操作信号出力手段
１０２ ：印字表示制御手段
１０３ ：視線検出手段
１０４ ：腕動作検出手段
１０５ ：アプリケーション通信手段
１０６ ：タイピング評価手段
１１０ ：キーボード制御プログラム
１１１ ：視線情報
１１２ ：腕動作情報
１１３ ：アプリケーション測定情報
１１４ ：評価情報
２００ ：問題表示手段
２０１ ：操作信号入力手段
２０２ ：操作完了時間測定手段
２０３ ：スコア測定手段
２０４ ：キーボード通信手段
２１０ ：タイピングアプリケーション
２１１ ：アプリケーション測定情報

Claims (6)

1. キーボードを、
   アプリケーションがキーボードの操作を指示する内容の表示を表示部に表示した際に、当該キーボードを操作する利用者の視線を検出して得られた視線情報又は当該視線情報から算出された視線状態情報に基づいて前記キーボードの印字を表示制御する印字表示制御手段として機能させ、
   前記印字表示制御手段は、前記アプリケーションの表示内容に応じて前記利用者が前記キーボードを操作する際に、前記視線情報又は前記視線状態情報から、前記利用者の視線が前記キーボードに向かっていると判断された場合、前記キーボードの印字を表示しないように表示制御するキーボード制御プログラム。
2. キーボードを、
   アプリケーションがキーボードの操作を指示する内容の表示を表示部に表示した際に、当該キーボードを操作する利用者の視線を検出して得られた視線情報又は当該視線情報から算出された視線状態情報に基づいて前記キーボードの印字を表示制御する印字表示制御手段として機能させ、
   前記印字表示制御手段は、前記アプリケーションの表示内容に応じて前記利用者が前記キーボードを操作する際に、前記視線情報又は前記視線状態情報から、前記利用者の視線が前記キーボードに向かっていると判断された場合、次に操作するべき前記キーボードのキーの印字を強調して表示するように表示制御するキーボード制御プログラム。
3. キーボードを、
   アプリケーションがキーボードの操作を指示する内容の表示を表示部に表示した際に、当該キーボードを操作する利用者の視線を検出して得られた視線情報又は当該視線情報から算出された視線状態情報に基づいて前記キーボードの印字を表示制御する印字表示制御手段と、
   前記視線情報又は前記視線状態情報と、前記アプリケーションがキーボードの操作を指示する内容の表示を表示部に表示した際に当該表示に対して前記キーボードから受信した操作信号を測定した測定情報とに基づいて評価値を算出する評価手段として機能させ、
   当該評価手段が算出した当該評価値に基づいて前記印字表示制御手段の動作を切り替えるキーボード制御プログラム。
4. 前記視線情報又は前記視線状態情報と、前記アプリケーションがキーボードの操作を指示する内容の表示を表示部に表示した際に当該表示に対して前記キーボードから受信した操作信号を測定した測定情報とに基づいて評価値を算出する評価手段としてさらに機能させ、
   当該評価手段が算出した当該評価値に基づいて前記印字表示制御手段の動作を切り替える請求項１又は２に記載のキーボード制御プログラム。
5. アプリケーションがキーボードの操作を指示する内容の表示を表示部に表示した際に、当該キーボードを操作する利用者の視線を検出して得られた視線情報又は当該視線情報から算出された視線状態情報に基づいて前記キーボードの印字を表示制御する印字表示制御手段を有し、
   前記印字表示制御手段は、前記アプリケーションの表示内容に応じて前記利用者が前記キーボードを操作する際に、前記視線情報又は前記視線状態情報から、前記利用者の視線が前記キーボードに向かっていると判断された場合、前記キーボードの印字を表示しないように表示制御するキーボード。
6. アプリケーションを実行するとともに、当該アプリケーションの実行内容を表示部に表示制御する情報処理装置と、
   操作に応じた操作信号を前記情報処理装置に出力するとともに、キーの印字の表示内容を制御するキーボードとを有し、
   前記キーボードは、前記情報処理装置の前記アプリケーションが前記キーボードの操作を指示する内容の表示を前記表示部に表示した際に、当該キーボードを操作する利用者の視線が当該キーボードに向かっているか否かを検出し、前記利用者の視線の内容と、前記アプリケーションの表示内容に応じて前記キーボードが操作された際に測定される測定情報とに基づいて前記キーボードの印字を表示制御するキーボード制御システム。
   

Images